قال أبو المواهب: وأنا كنت أذاكره في خلواته عن الحفاظ الذين لقيهم، فقال: أما ببغداد، فأبو عامر العبدري، وأما بأصبهان، فأبو نصر اليونارتي، لكن إسماعيل الحافظ كان أشهر منه.
فقلت له: فعلى هذا ما رأى سيدنا مثل نفسه. فقال: لا تقل هذا، قال الله تعالى: فلا تزكوا أنفسكم قلت: فقد قال: وأما بنعمة ربك فحدث فقال: نعم، لو قال قائل: إن عيني لم تر مثلي لصدق.
قال أبو المواهب: وأنا أقول: لم أر مثله ولا من اجتمع فيه ما اجتمع فيه من لزوم طريقة واحدة مدة أربعين سنة من لزوم الجماعة في الخمس في الصف الأول إلا من عذر، والاعتكاف في رمضان وعشر ذي الحجة وعدم التطلع إلى تحصيل الأملاك وبناء الدور، قد أسقط ذلك عن نفسه.
وأعرض عن طلب المناصب من الإمامة والخطابة، وأباها بعد أن عرضت عليه، وقلة التفاته إلى الأمراء، وأخذ نفسه بالأمر بالمعروف والنهي عن المنكر، لا تأخذه في الله لومة لائم.
قال لي: لما عزمت على التحديث والله المطلع أنه ما حملني على ذلك حب الرئاسة والتقدم، بل قلت: متى أروي كل ما قد سمعته، وأي فائدة في كوني أخلفه بعدي صحائف؟ فاستخرت الله، واستأذنت أعيان شيوخي ورؤساء البلد، وطفت عليهم، فكل قال: ومن أحق بهذا منك؟
فشرعت في ذلك سنة ثلاث وثلاثين، فقال لي والدي أبو القاسم الحافظ: قال لي جدي القاضي أبو المفضل لما قدمت من سفري: اجلس إلى سارية من هذه السواري حتى نجلس إليك، فلما عزمت على الجلوس اتفق أنه مرض، ولم يقدر له بعد ذلك الخروج إلى المسجد. . .