Κόβουμε τις πατάτες και τις απλώνουμε στον πάτο μιας φαρδιάς κατσαρόλας. Αλατίζουμε και πασπαλίζουμε με λίγο μαϊντανό και άνηθο. Βάζουμε από πάνω τις φέτες του ψαριού και ρίχνουμε ακόμα λίγο αλάτι και τον υπόλοιπο μαϊντανό και άνηθο. Τελειώνουμε με το σκόρδο κομμένο σε φετάκια και την ρίγανη. Αραιώνουμε την μουστάρδα σε 1 ποτήρι νερό και το προσθέτουμε στην κατσαρόλα μαζί με τον χυμό λεμονιού και το ελαιόλαδο. Ψήνουμε το φαγητό σκεπασμένο σε μέτρια φωτιά μέχρι να γίνουν οι πατάτες και να μείνει το ψάρι με την σάλτσα του.