وقد اتَّفَقَ أكثرُ الأئمةِ على سُوءِ حِفظِه واضطِرابِه، قال أبو عبداللَّه الحاكم: مجمَعٌ على سوء حفظه.
قال الإمام أحمد: مضطرِبُ الحديث، ولكن حدَّثَ عنه الناسُ.
وَقَال ابنُ معين: منكر الحديث، وكان صاحِبُ سُنَّة. وقال مَرَّةً: ليس حديثُه بذاك.
قال أبو حاتم وأبو زرعة: لَيْث لا يُشتَغَل بِهِ، هُوَ مُضطَربُ الحديث.
وقال أبو زرعة: ليث بن أَبي سُلَيم ليِّنُ الحديث، لا تقومُ بِهِ الحجَّةُ عند أهل العلم بالحديث.
وقال ابن سعد: كان رجلاً صالحاً عابداً، وكان ضعيفاً في الحديث.
وقال الجوزجاني: يُضعَّفُ حديثُه، ليس بثَبْت.
قال الحاكم أبو أحمد: ليس بالقوي عندهم. وقال يعقوب بن شَيْبَة: هو صدوق، ضعيف الحديث. وقال الساجي: صَدوقٌ فيه ضَعْف، كان سئ الحفظ كثيرَ الغلط، كان يحيى القطانُ بأخَرَةٍ لا يُحدِّثُ عنه.
وضعَّفَهُ أيضاً: النسائيُّ، والدارقطنيُّ في مَواضع عِدَّة. مرَّةً قال: ليس بحافظ. وفي مَوضع: سئُ الحفظ. وفي مَوضع: ليس بالقويِّ. وفي مَوضِعٍ: ضَعيفٌ.