ولما توفي رئيس القضاة ابن ماكولا في شهر شوال سنة: "٤٤٧هـ"١، وشغر بذلك منصب القضاء، خوطب القاضي أبو يعلى لِيَلِي القضاء بدار الخلافة والحريم، فامتنع من ذلك، ثم قَبِلَ بعد أن كرر عليه السؤال، واشترط لقبوله شروطًا منها: أنه لا يحضر أيام المواكب الشريفة، ولا يخرج في الاستقبالات، ولا يقصد دار السلطان، وفي كل شهر يقصد "نهر الْمُعَلَّى" يومًا، و"باب الأزج" يومًا، ويستخلف من ينوب عنه في "الحريم"، فأجيب إلى ذلك٢.
وقد قلد القضاء في الدماء والفروج والأموال، وأضيف إليه بعد ذلك قضاء "حرَّان" و"حلوان" فاستناب فيهما.
ولم يكن باستطاعة واحد أن يقوم بالقضاء في كل هذه الجهات، لذلك نجد أبا يعلى قد رد القضاء في عدة أبواب إلى من يثق به، فجعل قضاء "باب الأزج" إلى الجيلي، ولما تبين عدم صلاحيته عزله، وجعل النظر في عقود الأنكحة والمداينات بالباب المذكور إلى تلميذه أبي علي يعقوب، كما جعل النظر في العقار في "باب الأزج" أيضًا إلى أبي عبد الله بن البقال.
واستناب بدار الخلافة و"نهر المعلى" أبا الحسن السيبي.
وظل القاضي أبو يعلى في هذا المنصب الخطير إلى أن انتقل إلى جوار ربه تعالى٣.