ولما دخل المهدي العباسي المسجد النبوي عام حجَّ قال له المسيب بن زهير: قم هذا أمير المؤمنين, فقال ابن أبي ذئب، إنما يقوم الناس لرب العالمين, فقال المهدي: اتركه, فلقد قامت كل شعرة في رأسي. ولما سأل المنصور مالكًا عمَّن بقي من المشيخة قال له: ابن أبي ذئب وابن أبي سلمة١، وابن أبي سبرة٢.
وكان بينه وبين مالك ألفة أكيدة، توفي سنة ١٥٩ تسع وخمسين ومائة عن ثمان وسبعين٣.