لقد نقل ياقوت الحموي بسنده أن أبا حاتم توفي ليلة الجمعة لثماني ليالٍ بقين من شوال سنة أربع وخمسين وثلاث مئة (٣٥٤) للهجرة، ودفن بعد صلاة الجمعة في الصفة التي ابتناها بمدينة "بست" بقرب داره.
بينما ذكر الحافظ أبو عبد الله الغنجار في "تاريخ بخارى" أنه مات بسجستان سنة (٣٥٤) وتعقبه ياقوت بقوله: "وقبره ببست معروف يزار إلى الآن، فإن لم يكن نقل من سجستان إليها بعد الموت، وإلا فالصواب أنه مات ببست". تغمده الله بواسع رحمته، وأسكنه فسيح جنته.