Σε ένα φαρδύ μπολ ρίχνω το ούζο, το μέλι, το μισό ελαιόλαδο και το μαραθόσπορο. Ανακατεύω καλά με ένα πιρούνι, μέχρι το μέλι να διαλυθεί.

Πλένω, σκουπίζω τις γαρίδες και τις καθαρίζω από τα κελύφη και τα κεφάλια. Με τη μύτη ενός μικρού μαχαιριού (ή με μια οδοντογλυφίδα) τραβάω προσεκτικά και αφαιρώ το εντεράκι τους. Τις βάζω στο μπολ με τη μαρινάδα, ανακατεύω με τα χέρια μου για να βραχούν καλά και τις αφήνω για 30 λεπτά, σε θερμοκρασία δωματίου.

Σε ένα βαθύ αντικολλητικό τηγάνι (ή σε μια φαρδιά και ρηχή κατσαρόλα) ζεσταίνω το υπόλοιπο ελαιόλαδο σε δυνατή φωτιά. Ρίχνω το φινόκιο, αλατίζω και σοτάρω για 5-6 λεπτά μέχρι να μαλακώσει. Ρίχνω τις γαρίδες μαζί με την μαρινάδα τους και ανακινώ το τηγάνι μέχρι να εξατμιστεί το αλκοόλ από το ούζο. Προσθέτω τις ντομάτες, τον πελτέ, αλάτι και πιπέρι και μαγειρεύω για 5-6 λεπτά μέχρι να αλλάξουν χρώμα οι γαρίδες και να σωθούν τα υγρά τους. Αποσύρω από τη φωτιά και προσθέτω την φέτα και τον άνηθο.
Σερβίρω με φρυγανισμένο ψωμί και ουζάκι.