Πλένω και σκουπίζω καλά τα κομμάτια του κρέατος και τα αλατοπιπερώνω γενναιόδωρα. Βάζω το ελαιόλαδο σε μια φαρδιά κατσαρόλα να ζεσταθεί καλά. Βάζω το κρέας σε δόσεις (πρέπει να είναι σε μονή στρώση) και τα τσιγαρίζω μέχρι να ροδίσουν και να θωρακιστούν καλά. Τα βγάζω σε μια πιατέλα και συνεχίζω μέχρι να τα σοτάρω όλα.

Χωρίς να καθαρίσω την κατσαρόλα ρίχνω το κρεμμύδι, αλατίζω και σοτάρω μέχρι να γίνει διάφανο. Προσθέτω το σκόρδο και μόλις μοσχομυρίσει επαναφέρω το κρέας μαζί με τα ζουμάκια που θα έχουν συγκεντρωθεί στην πιατέλα. Σβήνω με το κρασί, ανακινώ την κατσαρόλα μέχρι να εξατμιστεί το αλκοόλ. Προσθέτω τη ρίγανη (φρέσκια και ξερή), το θυμάρι, αλάτι και φρεσκοτριμμένο πιπέρι. Προσθέτω αρκετό ζεστό νερό μέχρι να καλυφθεί το κρέας και σκεπάζω την κατσαρόλα. Μαγειρεύω σε μέτρια φωτιά για 1 ώρα μέχρι να μαλακώσει το κρέας.

Ξεσκεπάζω την κατσαρόλα και προσθέτω το χυμό λεμονιού. Αφήνω να βράσει για 2 λεπτά και ρίχνω το διαλυμένο κορν φλάουρ. Ανακινώ την κατσαρόλα για να δέσει η σάλτσα και αποσύρω από τη φωτιά.
Σερβίρω το κατσικάκι με πατάτες τηγανητές και λίγη επιπλέον ρίγανη.