القضاة" كان من اختصاص شاغلها تقليد من يصلح لمنصب القضاء، في أنحاء البلاد التي تخضع للخلافة، وله أيضًا حق عزله إذا أصبح مستحقا للعزل، ومن حقه أن يتفقد أحوال القضاة، فينظر في أقضيتهم، ويراجع أحكامهم، ويتتبع أخبارهم وسيرتهم بين الناس، بل كان له الحق في نقض أحكامهم.
وقد نقل هذا النظام عن الفرس، فقد كان عندهم وظيفة "قاضي القضاة"، وأول ظهور هذه الولاية كان في بغداد، وكان لقب "قاضي القضاة" لا يطلق إلا على قاضي بغداد.
وكان أبو يوسف يعقوب بن إبراهيم أحد تلاميذ أبي حنيفة هو أول من شغل هذا المنصب, فكان أول من دعي بقاضي القضاة في الدولة الإسلامية، وهو أيضًا أول من غير لباس العلماء إلى هيئة خاصة، وكانت ملابس الناس كلها شيئًا واحدا، لا تميز فيه لأحد على أحد، وكان لا يقلد أحد القضاء ببلاد العراق، وخراسان والشام، ومصر إلا إذا أشار به القاضي أبو يوسف، وقد عمل من خلال ولايته هذه على نشر مذهب إمامه، فقد كان يولي القضاء أتباع مذهب أستاذه أبي حنيفة١.