Σε ένα μπολ ανακατεύουμε ελαιόλαδο, χυμό λεμονιού, ρίγανη, θυμάρι, μουστάρδα, αλάτι και πιπέρι.

Βάζουμε το κατσικάκι στο ταψί ή σε γάστρα και το περιχύνουμε με το παραπάνω μείγμα.

Δουλεύουμε με τα δάχτυλα ώστε να καλυφθεί καλά όλη η επιφάνεια του κρέατος. Προσθέτουμε στο σκεύος το νερό.

Σκεπάζουμε πολύ καλά το ταψί μας με λαδόκολλα και αλουμινόχαρτο, ή κλείνουμε τη γάστρα με το καπάκι της.

Ψήνουμε για 1 ½ ώρα σε προθερμασμένο φούρνο στους 180o C στον αέρα.