تتوالى على المدينة صباح مساء، ثمّ أدّى انتقال مركز الخلافة إلى دمشق أيام الأمويين، ثم إلى بغداد أيام العباسيين إلى صرف الأنظار عن المدينة وتركزها على مراكز الخلافة الجديدة، فأهمل المؤرخون وأصحاب الطبقات كثيراً من نواحي الحياة في المدينة، ومنها أخبار العلم والعلماء.
ولم تزل المدينة تبتعد شيئاً فشيئاً عن دوائر الضوء وتنزوي بين جبال الحجاز ورمال الصحراء في جزيرة العرب، حتى خرجت ومعها جزيرة العرب بكاملها من اهتمامات المؤرخين والكتّاب وأصحاب الطبقات، فليس ثمة ما يغري المؤرخين أو يجبرهم على الخوض في شؤون تلك البقاع سوى ما يتصل بالحج، وأخبار بعض الخوارج والقرامطة.
وأصبحت أخبار تلك البلاد في القرنين الثالث والرابع مما يعزّ وجوده في كتب التُّراث العربيّ، يدلّ على ذلك أننا لا نكاد نعلم شيئا عن بعض العلماء المشهورين؛ كأبي عليّ الهجَريّ، وهو من علماء الأدب واللغة والتاريخ في المدينة في القرنين الثالث والرابع، فلم تصلنا أخباره إلا عن طريق علماء الأندلس الذين نقلوا كثيراً من أخباره في أثناء رحلاتهم للحج.
وفي هذا الشأن يقول الشيخ حمد الجاسر: "أليس من الغريب حقا أن يقال: إننا لولا الأندلس لجهلنا كثيرا من أحوال البلاد التي نعيش فيها، وخاصة ما يتعلق بجزيرة العرب، هذه الجزيرة التي [كانت] صلتها بعواصم الخلافة الإسلامية في دمشق والقاهرة وبغداد أقوى وأوثق، وهي إليها أقرب، وبشؤونها لم تكن يوماً مرتبطة إلا بهذه العواصم، ولم يكن للأندلس ولا للدولة الإسلامية فيه ... أية نفوذ على هذه الجزيرة، ولكن العلم وحده والرابطة الروحية الإسلامية هي أقوى من كل الصلات وأوثق من جميع الروابط.
لقد كان علماء الأندلس يغدون إلى مكة المكرمة لا للحج وحده