استخلفه أبوه على القضاء، فكان يقضى معه، وهو خليفة أبيه، فلما مات أبو يوسف أقرّ هارون ابنه يوسف على القضاء إلى أن مات يوسف.
قال الحسن بن حمّاد الحضرمىّ سجّادة: سمعت يوسف ابن أبى يوسف يقول: ولّيت القضاء، وولّى أبى من قبلى، فكان (¬١) ولايتنا ثلاثين سنة ما بلينا (¬٢) أن نقضى بين (¬٣) جدّ وأخ.
قال الطّحاوىّ: حدّثنى ابن عمران، حدّثنى الحسين بن عبدويه الورّاق قال: لمّا أخرجت جنازة أبى يوسف، كان فيمن شهدها أبو يعقوب الخريمىّ (¬٤) قال: فجعل الناس يقولون: مات الفقه مات الفقه.
فأنشأ أبو يعقوب، يقول (¬٥):
يا ناعى الفقه إلى أهله … أن مات يعقوب وما تدرى (¬٦)
لم يمت الفقه ولكنّه … حوّل من صدر إلى صدر
ألقاه يعقوب إلى يوسف … فزال من ظهر إلى ظهر (¬٧)
فهو مقيم فإذا ما ثوى (¬٨) … حلّ وحلّ الفقه فى قبر