قال ابن إسحاق: حدثني عبد الملك بن رَاشِدٍ عَنْ أَبِيهِ، قَالَ: سَمِعْتُ السَّائِبَ بْنَ حَبَّاب صَاحِبَ الْمَقْصُورَةِ يُحدِّث، أَنَّهُ سَمِعَ رَجُلًا يُحدِّث عمرَ بْنَ الْخَطَّابِ -وَهُوَ خَلِيفَةٌ- حَدِيثَ قُصَيِّ بْنِ كِلَابٍ، وَمَا جَمَع مِنْ أَمْرِ قَوْمِهِ وَإِخْرَاجِهِ خُزَاعَةَ وَبَنِيَّ بَكْرٍ مِنْ مَكَّةَ، وَوِلَايَتِهِ الْبَيْتَ وَأَمْرَ مَكَّةَ، فَلَمْ يَرُدَّ ذَلِكَ عَلَيْهِ ولم يُنكره.
شعر رزاح بن ربيعة في هذه القصة: قَالَ ابْنُ إسْحَاقَ: فَلَمَّا فَرَغَ قُصيّ مِنْ حَرْبِهِ، انْصَرَفَ أَخُوهُ رِزَاح بْنُ رَبِيعَةَ إلَى بِلَادِهِ بِمَنْ مَعَهُ مِنْ قَوْمِهِ، وَقَالَ رِزاح فِي إجَابَتِهِ قُصيًّا:
لمَّا أَتَى مِنْ قُصَيٍّ رَسُولُ ... فَقَالَ الرسولُ: أَجِيبُوا الخليلَا
نَهَضْنَا إلَيْهِ نقودُ الجيادَ ... وَنَطْرَحُ عنَّا المَلولَ الثقيلاَ
نَسِيرُ بِهَا الليلَ حَتَّى الصَّبَاحِ ... وَنَكْمِي النهارَ؛ لِئَلَّا تزولا١
فَهُنَّ سراعٌ كَورْد القَطا ... يُجِبْن بِنَا مِنْ قُصيّ رسولَا
جَمَعْنَا مِنْ السرِّ مِنْ أشمذَيْن ... وَمِنْ كلِّ حَيٍّ جَمَعْنَا قبيلَا٢
فَيَا لكِ حُلْبة مَا لَيْلَةٌ ... تَزِيدُ عَلَى الْأَلْفِ سَيْبًا رَسيلَا٣
فلما مررنَ على عَسْجَر ... وأسْهلن مِنْ مُستناخ سبيلَا٤
وجاوزْنَ بِالرُّكْنِ مِنْ وَرِقان ... وَجَاوَزْنَ بالعَرْج حَيًّا حُلولَا٥
مررْن عَلَى الحَيْل مَا ذُقْنَهُ ... وعالجنَ مِنْ مَرِّ لَيْلًا طويلَا٦