ومات وله سبعة عشر يوماً لم يأكل شيئاً. وكنا نشم من فمه رائحة المسك وروائح الطيب، شيئاً ما شممت مثله قط، ولا بخور هناك.
ولما قرب خروج روحه، كان له سنة وأربعة أشهر لم يتحرك. فمد رجله، وتمدد هو من تلقاء نفسه، وبعد ساعات مات، فحمل على المغْتَسَل وغسّله الأولياء، وحمل إلى الصلاة، وصُلِّي عليه نحوٌ من مائة مرة. واجتمع في جنازته اليهود والنصارى والمجوس، ودفن.
وقيل له عند وفاته: " كيف تجد العلة؟ "، فقال: " سلوا العلة عني! ". فقيل له:، قل: " لا إله إلا الله "، فحول وجهه إلى الجدار، وأنشد:
أفنيتَ كُلِّي بكُلِّك ... هذا جزا من يُحبكْ!