فلم ير نظام الملك بعد هذا منشغلا بشرب الخمر وقضاء شهوة على خلاف الشرع قائلا: يكفي سد واحد.
وقد طلب نظام الملك منه أن يقيم معه في الديوان، فرفض قائلا: إنه سيضرني ولا ينفعك.
والعقب منه: أبو شجاع الحسين، وأبو منصور المظفر، ووجيه العلماء أبو نصر أحمد، وبنات، عاشوا وجاوزوا عقبة الستين والسبعين، ولم يبق لهم عقب.
توفي جدي أبو القاسم ﵀ سنة ثلاث وثمانين وأربع مئة.
وتوفي خالي الرئيس المكرم أبو منصور المظفر، في شهر ربيع الأول سنة سبع عشرة وخمس مئة.
وأما وجيه العلماء أحمد الذي كان صاحب أدب جزل، وقول فصل، وحافظا لكتاب الله تعالى، وعالما بعلوم القرآن، فقد توفي في شهور سنة إحدى وعشرين وخمس مئة، ومن منظومه وهو يرثي أخاه أبا شجاع الحسين رحمة الله عليه:
بأن الحسين أخي عني فوا حزنا ... منه ووا أسفا أن لم أمت أسفا
قد كان درا يتيما لا نظير له ... فأصبحت جنة المأوى له صدفا
وقال أيضا وهو يرثي أخاه أبا منصور:
أبو منصور القرم المرجّى ... مضى وأنا قرين الاكتئاب
وقد دخلت- إذا أمسى دفينا- ... عليّ إساءتي من كل باب
وإني في الجعاب بقيت سهما ... سيكسرني الزمان ولا يحابي