Κόβω τα ροδάκινα σε λεπτές φέτες. Βάζω σε ένα αντικολλητικό τηγάνι τις δύο ζάχαρες, το χυμό και το ξύσμα λεμονιού και την κανέλα. Βάζω τα ροδάκινα και τα σοτάρω σε μέτρια φωτιά μέχρι να μαλακώσουν και να καραμελώσουν. Αποσύρω και αφήνω να κρυώσουν.

Βάζω την κρέμα γάλακτος σε ένα μπολ μαζί με τη βανίλια και χτυπάω με το μίξερ μέχρι να δημιουργηθεί μια αφράτη σαντιγί. Προσθέτω το ζαχαρούχο γάλα και χτυπάω σε χαμηλή ταχύτητα μέχρι να ενωθούν.

Στρώνω με μεμβράνη ένα μεταλλικό δοχείο για παγωτό και απλώνω σε στρώσεις την κρέμα και τα καραμελωμένα ροδάκινα. Σκεπάζω καλά και το αφήνω για 5 ώρες στην κατάψυξη.