وفاته بطوس، في يوم الاثنين رابع عشر جمادى الآخرة، سنة خمسٍ وخمسمائة (٥٠٥ هجرية) ؛ وعمره خمس وخمسون سنة.
قال أبو الفرج بن الجوزي في كتاب "الثبات عند الممات": "قال أحمد أخو الإمام الغزالي: لما كان يوم الاثنين وقت الصبح، توضأ أخي أبو حامد وصلى وقال: عليَّ بالكفن، فأخذه وقبَّله، ووضعه على عينيه، وقال: سمعاً وطاعة للدخول على الملك، ثم مدَّ رجليه، واستقبل القبلة، ومات قبل الإسفار، قدَّس الله روحه".
هذا وقد رثاه الأديب أبو المظفر محمد الأبيوردي، الشاعر المشهور، بأبيات فائية منها:
مضى وأعظمُ مفقودٍ فُجِعْتُ بِه ... من لا نظيرَ لهُ في الناسِ يخلُفُه
وتمثَّل الإمام إسماعيل الحاكمي بعد وفاته بقول أبي تمام من جملة قصيدة مشهورة له:
عجبتُ لصبري بعدَهُ وهوَ ميتٌ ... وكنتُ امرءاً أبكي دماً وهوَ غائبُ
على أنها الأيامُ قد صِرْنَ كلُّها ... عجائبَ، حتى ليس فيها عجائبُ
وقد دُفن الغزالي ﵀ بظاهر الطابرّان، وهي قصبة طوس، رحمه الله تعالى.