Σε ένα μπολ βάζω τις σταφίδες και το ποτό και τις μουσκεύω για 20 λεπτά. Τις στύβω απαλά (όχι τελείως) και τις αφήνω στην άκρη, (κρατάω και το λικέρ).

Σε ένα κατσαρολάκι βάζω το γάλα, τη ζάχαρη και τη βανίλια (τον χαραγμένο λοβό ή τη σκόνη) και τα ζεσταίνω σε μέτρια φωτιά, ανακατεύοντας τακτικά, μέχρι να λιώσει η ζάχαρη, χωρίς να κάψει το γάλα. Αποσύρω από τη φωτιά και αφήνω το γάλα να γίνει χλιαρό.

Ραντίζω τα σαβαγιάρ με το λικέρ. Παίρνω μια μια μακρόστενη φόρμα του κέικ (ή μια μέτρια στρογγυλή φόρμα με τρύπα στη μέση) και στρώνω στον πυθμένα της μια δόση από σαβαγιάρ. Από πάνω σκορπίζω κομματάκια από το γλυκό πορτοκάλι (ή απλώνω λίγη μαρμελάδα) και σταφίδες και σκεπάζω με άλλη μια στρώση σαβαγιάρ. Συνεχίζω με εναλλάξ στρώσεις, μέχρι να τελειώσουν τα υλικά. Αφήνω τη φόρμα κατά μέρος.

Σε ένα μπολ χτυπάω τα αυγά με το σύρμα ή το μίξερ, μέχρι να αφρατέψουν ελαφρά (όχι όμως να γίνουν κρέμα). Προσθέτω το χλιαρό μείγμα γάλακτος και ανακατεύω καλά. Αδειάζω αυτό το μείγμα στη φόρμα. Αφήνω κατά μέρος για 15 - 20 λεπτά, μέχρι τα σαβαγιάρ να μουσκέψουν απ΄το υγρό μείγμα και να αφρατέψουν.

Προθερμαίνω το φούρνο στους 180°C. Βάζω τη φόρμα σε ένα μεγάλο βαθύ ταψί στο οποίο ρίχνω καυτό νερό ώστε η στάθμη να φτάσει μέχρι τη μέση της φόρμας (φτιάχνω δηλαδή ένα μπεν μαρί φούρνου). Βάζω το ταψί με τη φόρμα το μεσαίο ράφι του φούρνου και ψήνω το γλυκό για 30 λεπτά. Το βγάζω από το φούρνο, το αφήνω να κρυώσει τελείως και το σκεπάζω με διάφανη μεμβράνη. Στη συνέχεια το βάζω στο ψυγείο για 6 - 7 ώρες, μέχρι να παγώσει καλά.

Το ξεφορμάρω με προσοχή σε μια πιατέλα, το κόβω σε μέτριες φέτες και το σερβίρω.