ولما بلغ الثاني عشر من عمره صلى بالناس التراويح في مكة في بيت الله الحرام، إذ أنه كان مع وصيه الخروبي في مكة في تلك السنة.
وسمع في تلك السنة "صحيح البخاري" على مسند الحجاز عفيف الدين عبد الله النشاوري١.
وقد نشأ الحافظ ابن حجر نشأة كانت في غاية العفة والصيانة والرياسة، وتذكر المصادر أن الخرُّوبي المذكور لم يأل جهداً في رعايته والعناية بتعليمه. فكان يستصحبه معه عند مجاورته في مكة٢.
وظل يرعاه إلى أن مات سنة٧٨٧هـ وكان الحافظ ابن حجر راهق ولم تعرف له صبوة ولم تضبط له زلة٣.