ومنهم من أنكر عليه تماديه في ذلك وتركه الرجوع عما يخالفه الناس فيه ولجاجته فيه ومنهم من تكلم في سوء حفظه وقد كان من أهل الدين والصلاح والخير البارع شديد التوقي، وللحديث آفات تفسده. وقال ابن المبارك: قلت لعباد بن العوام: ما بال صاحبكم يعني علي بن عاصم؟ قال: ليس تنكر عليه أنه لم يسمع، ولكنه كان رجلًا موسرًا، وكان الوراقون يكتبون له فنراه أتى من كتبه التي كتبوها له.
وقال وكيع: ما زلنا نعرف علي بن عاصم بالخير، فقيل له: إنه يغلط في أحاديث، فقال: دعوا الغلط وخذوا الصحيح، فإنا ما زلنا نعرفه بالخير. وكلام الناس فيه كثير، وقد ذكره في "الميزان" فقال: ولد سنة (١٠٥) وعني بالحديث وكتب منه ما لا يوصف إلى أن قال: قال يعقوب بن شيبة: كان من أهل الدين والصلاح إلى آخر كلامه الذي ذكرته عنه، وذكر كلام الناس فيه، ساق له الذهبي ثمانية أحاديث ثم قال: ساق له ابن عدي جملة أحاديث، ثم ذكر له ابن عدي حديثين في "أكل الطين" ثم قال ابن عدي: وهذان باطلان بهذا الإسناد. قال الذهبي: حاشا علي بن عاصم ﵀ أن يحدث بهما، فإني أقطع بأنه ماحدث بهما. والعجب من ابن عدي مع حفظه كيف خفي عليه مثل هذا؛ فإن هذين من وضع عبد القدوس بن عبد القاهر الباجُدائي. قال الذهبي: فيما أرى. ثم قال ابن عدي: فذكر له حديثين "خلق الله جنة عدن، وغرس أشجارها بيده، فقال لها: تكلمي" الحديث ثم قال الذهبي: قلت: وهذا باطل ولقد أساء ابن عدي في إيراده هذه البواطيل في ترجمة علي والعلاء متهم بالكذب. محمد بن حرب النشائي حدثنا علي بن عاصم حدثنا حميد سمع أنسا يقول: أراد أبو طلحة أن يطلق أم سليم فقال النبي ﷺ: إن طلاق أم سليم لحوب؛ فكف. قلت: وهذا منكر والنشائي صدوق. قال: وحدثنا إبراهيم بن إسماعيل بن الفرج الغافقي بمصر حدثنا محمد بن الوليد بن أبان حدثنا خالد بن عبد الله الزيات حدثنا حماد بن خالد الخياط حدثنا شعبة أخبرني علي بن عاصم عن خالد الحذاء عن عكرمة عن ابن عباس قال: كانت في النبي ﷺ دُعَابة.
قال ابن عدي: ولعلي بن عاصم قدر ثلاثين حديثًا عن خالد الحذاء لا يرويها غيره. وروى عن ابن سوقة حديث: "من عزّى مصابا فله مثل الجره" وتابعه ضعفاء.
ثم قال الذهبي: قلت: لكن أبلغ ما شنع به علي على حديث ابن سوقة وهو مع ضعفه في نفسه له صورة كبيرة في زمانه انتهى. والله أعلم (*).
قال هارون بن حاتم: سألت علي بن عاصم ببغداد سنة ١٨٧ فقلت: يا أبا الحسن متى ولدت؟ فقال: سنة (١٠٥).