Σε ένα μπολάκι βάζω το γάλα, τη μαγιά και 1 κουτ. γλυκού από τη ζάχαρη. Ανακατεύω καλά και αφήνω κατά μέρος το μείγμα για 10 λεπτά, μέχρι να αφρίσει.
Σε ένα μεγάλο μπολ (ή στον κάδο του μίξερ πάγκου) βάζω το αλεύρι, την υπόλοιπη ζάχαρη, το αλάτι και το ξύσμα πορτοκαλιού. Ανακατεύω καλά, κάνω μια λακκούβα στο κέντρο και ρίχνω εκεί σταδιακά περίπου 400 ml χλιαρό νερό (ίσως χρειαστεί λίγο περισσότερο), ζυμώνοντας παράλληλα με τα χέρια μου (ή στο μίξερ, με το εξάρτημα «γάντζος» για ζύμες). Ζυμώνω για περίπου 5 λεπτά, μέχρι να φτιάξω μια μαλακή ζύμη.
Τη μεταφέρω σε μια ελαφρώς αλευρωμένη επιφάνεια και συνεχίζω το ζύμωμα με τα χέρια για άλλα 8 λεπτά περίπου, μέχρι να γίνει ιδιαίτερα μαλακή και ελαστική (εναλλακτικά συνεχίζω το ζύμωμα στο μίξερ πάγκου).
Προσθέτω τις σταφίδες και ζυμώνω για άλλα 2 - 3 λεπτά, μέχρι να διασκορπιστούν ομοιόμορφα στη ζύμη. Τέλος, ρίχνω το ελαιόλαδο και ζυμώνω για λίγο ακόμα, μέχρι να απορροφηθεί όλο από το ζυμάρι.
Βάζω τη ζύμη σε ένα στεγνό μπολ, το σκεπάζω με μια πετσέτα και το αφήνω σε ένα χλιαρό μέρος για περίπου 1 ώρα, μέχρι η ζύμη να φουσκώσει καλά.
Τη χωρίζω σε 8 ίσα μέρη, πλάθω το καθένα σε στρογγυλό καρβελάκι και τα αραδιάζω σε μια μεγάλη λαμαρίνα φούρνου, στρωμένη με λαδόκολλα. Τα αλείφω με το μείγμα του κρόκου.
Προθερμαίνω το φούρνο στους 180°C και ψήνω τα σταφιδόψωμα για περίπου 1 ώρα, μέχρι να φουσκώσουν και να ροδίσουν. Τα αφήνω να κρυώσουν καλά σε μια σχάρα και τα σερβίρω.
Σας ευχαριστώ!