مات في شوال سنة اثنتين وسبعين وثلاث مائة ببغداد، وعمل في تابوت، ونقل فدفن بمشهد النجف، وعاش ثمانيًا وأربعين سنة، وقام بعده ابنه صمصام الدولة، وحلفوا له، وقَلَّدَه الطائع.
قال عبد الله بن الوليد: سمعت أبا محمد بن أبي زيد يسأل ابن سعدى لما جاء من الشرق: أحضرت مجالس الكلام? قال: مرتين ولم أعد، فأول مجلس جمعوا الفرق من السنة، والمبتدعة واليهود والنصارى والمجوس والدهرية، ولكل فرقة رئيس يتكلّم وينصر مذهبه، فإذا جاء رئيس قام الكل له، فيقول واحد: تناظروا ولا يحتجّ أحد بكتابه ولا بنبيه، فإنا لا نصدّق بذلك، ولا نقرّ به، بل هاتوا العقل والقياس، فلما سمعت هذا لم أعد ثم قيل لي: ههنا مجلس آخر للكلام، فذهبت فوجدتهم على مثل سيرة أصحابهم سواء، فجعل ابن أبي زيد يتعجّب، وقال: ذهبت العلماء، وذهبت حرمة الدين.
قلت: فنحمد الله على العافية، فلقد جرى على الإسلام في المائة الرابعة بلاء شديد بالدولة العبيدية بالمغرب، وبالدولة البويهية بالمشرق، وبالأعراب القرامطة، فالأمر لله تعالى.