انظر إلى جبلٍ تمشي الرّجال به … وانظر إلى القبر ما يحوي من الصّلف
وانظر إلى صارم الإسلام منغمدًا … وانظر إلى درّة الإسلام في الصّدف
مات في ذي القعدة، سنة ثلاث وأربع مائة، وصلى عليه ابنه حسن، وكانت جنازته مشهودةً، وكان سيفًا على المعتزلة والرافضة والمشبهة، وغالب قواعده على السنة، وقد أمر شيخ الحنابلة أبو الفضل التميمي مناديًا يقول بين يدي جنازته: هذا ناصر السنة والدين، والذاب عن الشريعة، هذا الذي صنف سبعين ألف ورقة. ثم كان يزور قبره كل جمعة.
قيل: ناظر أبو بكر أبا سعيد الهاروني، فأسهب، ووسع العبارة، ثم قال للجماعة: إن أعاد ما قلت، قنعت به عن الجواب. فقال الهاروني: بل إن أعاد ما قاله، سلمت له.