أمدًا طويلًا حتى طغوا واستحلوا حرمة البيت وظلموا من دخل مكة من الحجاج وغيرهم، وأكلوا مال الكعبة الذي يهدى إليها، وظهر فيهم الفسق والفساد حتى إنهم كانوا يأتون الفحشاء والمنكر في جوف الكعبة، وكان ذلك السبب المباشر في ضعفهم وضياعهم، فأخرجهم الخزاعيون من مكة ١، وأصبحوا كما قال شاعرهم ٢:
كأن لم يكن بين الحجون إلى الصفا ... أنيس ولم يسمر بمكة سامر
بلى: نحن كنا أهلها فأبادنا ٣ ... صروف الليالي، والجدود العواثر
وكان الخزاعيون قد هاجروا من اليمن واستقروا في مكة إلى جوار الجراهمة، فلما رأوا ما حل بهم من فساد وضعف وانحلال، انتهزوا هذه الفرصة واستولوا على النفوذ والسلطان في أوائل القرن الثالث الميلادي، وقد ظلوا سادة مكة زهاء مائتي سنة، ثم أدركهم داء الأمم وقلب الدهر لهم ظهر المجن، واستطاع زعيم قرشي من بني إسماعيل أن يحاربهم وينتصر عليهم ويعيد نفوذ أجداده القديم وسلطانهم على هذه البلاد، وهذا الزعيم هو: قصي بن كلاب، وهو الجد الرابع للرسول ﷺ.