والعشرين من المحرم سنة ثلاثين وأربع مائة، ودفن من يومه بعد صلاة الظهر، وبلغ أربعاً وتسعين سنة.
قال أبو القاسم الحافظ: وسمعت من يحكي عن أبي بكر أحمد بن علي بن ثابت الخطيب، قال: لم ألق من شيوخي أحفظ من أبي نعيم الحافظ، وأبي حازم العبدوي الأعرج.
سمعت أبا طاهر السلفي يقول: كان أبو نعيم من الفصحاء، فقيل له: من أين لك هذا الفصاحة؟ فقال: تعلمتها من حديث رسول الله ﷺ، وأقوال أصحابه ﵃.
قال السلفي في كتابه المترجم بـ ((حلية الأولياء وطبقة الأصفياء)) : لم يصنف مثله، سمعناه على أبي المظفر القاساني عنه سوى يسيراً فاتني من أثنائه، ولي منه إجازةٌ، وكذلك ما ألفه في ((تاريخ أصبهان)) كتابٌ في معناه مفيدٌ، وسوى ذلك.
ومن تصفح تصانيفه رأى ما يعجبه في كل فن.
ومما لأبي نعيم فيه فخرٌ ورفيع ذكر وقدر ما أورده الإمام أبو الحسن الدارقطني الحافظ، وناهيك به عالماً حبراً، وعلماً صدراً في انتقائه على أبي علي كوشيار بن لياليزور بن الحسين الجيلي، ورواه عنه أبو الفرج