ليشغله عن الوزارة، فامتنع اليازورى من ذلك، فأشارت عليه والدة المستنصر بقبول الولاية فقبل. ولم تمض إلّا مدّة يسيرة حتى صرف ابن الجرجرائى عن الوزارة وفوّضت الوزارة إلى اليازورى «١» مضافة لما بيده من قضاء القضاة وديوان والدة المستنصر بالله.
قال القاضى أبو الحسين أحمد الأسوانى فى تاريخه: حدّثنى القاضى إبراهيم ابن مسلم الفوّى قال: شهدت خطير الملك، ولد «٢» اليازورى الوزير، وكان قد ناب عن والده فى قضاء القضاة والوزارة وغير ذلك، وسار إلى الشام بعساكر عظيمة فأصلح أمره. ورأيته بعد ذلك بمسجد فوّة «٣» وهو يخيط للنّاس بالأجرة وهو فى حال شديدة من الفقر والحاجة، فرأيته ذات يوم وهو يطالب رجلا بأجرة خياطة خاطها له، والرّجل يدافعه ويماطله، وهو يلحّ فى الطلب. فلمّا ألح عليه قال له الرجل: يا سيّدنا، اجعل هذا القدر اليسير من جملة ما ذهب منك فى السّفرة الشامية. فقال:
دع ذكر ما مضى. فسألته عن ذلك فلم يحدّثنى بشىء، وسألت غيره فقال:
الذى ذهب منه فى سفرته فى نفقات سماطه ستّة عشر ألف دينار.
قال المؤرخ: وكان اليازورى سيئ التّدبير، أوجب سوء تدبيره خروج إفريقية وحلب عن المستنصر بالله.