توفي والده وهو صغير فنشأ في حجر أمه وأقبل على طلب العلم منذ الصغر وقد تحدث عن نفسه فيما ذكره الفِرَبْري عن محمد بن أبي حاتم ورّاق البخاري قال: سمعت البخاري يقول: "ألهمت حفظ الحديث وأنا في الكتاب"، قلت: وكم أتى عليك إذ ذاك؟، قال: "عشر سنين أو أقل"، إلى أن قال: "فلما طعنت في ست عشرة سنة حفظت كتب ابن المبارك ووكيع وعرفت كلام هؤلاء - يعني أصحاب الرأي-"، قال: "ثم خرجت مع أمي وأخي إلى الحج, فلما طعنت في ثمان عشرة سنة صنفت كتاب قضايا الصحابة والتابعين ثم صنفت التاريخ بالمدينة عند قبر النبي ﷺ وكنت أكتبه في الليالي المقمرة"، قال: "وقلَّ اسم في التاريخ إلا وله عندي قصة إلا أني كرهت أن يطول الكتاب".
رحلته في طلب العلم وسماعه الحديث: -