Προθερμαίνουμε ένα μεγάλο τηγάνι σε υψηλή θερμοκρασία.
Θωρακίζουμε το κρέας και απ’ τις δύο πλευρές μέχρι να πάρει ένα ωραίο χρυσαφένιο χρώμα περίπου για 6′-7′. Προσθέτουμε αλάτι και πιπέρι.
Αφαιρούμε προσωρινά το κρέας και προσθέτουμε την ψιλοκομμένη συκωταριά. Μαγειρεύουμε για 3-4 λεπτά, στη συνέχεια επαναφέρουμε το κρέας, προσθέτουμε το πελτέ τομάτας και σβήνουμε με το κόκκινο κρασί. Το αφήνουμε σχεδόν να εξατμιστεί και να δημιουργηθεί ένα γλάσο.
Σε μια γάστρα ή πήλινο προσθέτουμε τις πατάτες καθαρισμένες, το κρεμμύδι, το πράσο τα τοματίνια ολόκληρα, το σκόρδο, τις πιπεριές Φλωρίνης, το σέλινο, αλάτι και πιπέρι.
Για να μας βολέψει καλύτερα αφαιρούμε το κρέας από το τηγάνι και αδειάζουμε όλο το περιεχόμενο (συκωταριά και σάλτσα) στη γάστρα και ανακατεύουμε με τα υπόλοιπα υλικά που έχουμε βάλει. Καθίζουμε από πάνω από τα λαχανικά το κατσικάκι μαζί με το δενδρολίβανο σε διάφορα σημεία και περιχύνουμε με το ζωμό. Καλύπτουμε με δύο φύλλα λαδόκολλας και το καπάκι.
Προθερμαίνουμε το φούρνο στους 250 βαθμούς στον αέρα.
Ψήνουμε για 15 λεπτά, στη συνέχεια χαμηλώνουμε τη θερμοκρασία στους 150 και ψήνουμε για περίπου 3 με 3.5 ώρες μέχρι το κρέας να λιώσει.