عشرين وأنا أحفظ ما سمعت منه، ولقد جاء إنسان إلى باب ابن علية ومعه كتب هشيم فجعل يلقيها علي وأنا أقول: إسناد هذا كذا فجاء (....) وكان يحفظ، فقلت: أجبه فبقي ولقد عرفت من حديثه ما لم أسمعه.
وذكر أحمد بن عبد الله بن صالح الكوفي أحمد بن حنبل فقال عنه: من أهل خراسان، سكن بغداد وولد بها، ثقة، ثبت في الحديث، نزه النفس، بغية في الحديث صاحب سنة وخبر.
وذكره أيضًا أبو عمر النميري الأندلسي فقال: وكان محله من العلم والحديث ما لا خفاء به، وكان إمام الناس في الحديث، وكان ورعًا خيرًا فاضلاً عابدًا صلبًا في السنة، غليظًا على أهل البدع، وكان أعلم الناس بحديث الرسول ﷺ.
وقال أبو عمر أيضًا: ثنا عبد الرحمن بن عبد الله بن خالد قال: نا يوسف ابن يعقوب النحيرمي إملاء في المسجد الجامع بالبصرة قال: نا أبو يحيى زكريا بن يحيى الساجي قال: سمعت حوثرة بن محمد المنقري يقول: تتبين السنة في الرجل في اثنتين: في حبه أحمد بن حنبل وكتابة كتب السنة.
وقال أبو عبد الرحمن النسائي: كان هؤلاء الأربعة في عصر واحد: أحمد بن حنبل، وإسحاق بن راهويه، ويحيى بن معين، وعلي بن عبد الله المديني، فأما أحمد وإسحاق فجمعا الحديث والفقه، وأما يحيى بن معين وعلي بن المديني فكانا يعرفان الحديث خاصة دون غيره.
وقال أبو محمد عبد الرحمن بن أبي حاتم الرازي: سمعت أي يقول: الذي كان يحسن معرفة صحيح الحديث من سقيمه وعنده تمييز ذلك، ويحسن علل الحديث أحمد بن حنبل ويحيى بن معين وعلى بن المديني وبعدهم أبو زرعة كان يحسن ذلك، قيل لأبي: فغير هؤلاء تعرف اليوم: قال: لا.
وقال أبو أحمد بن عدي: ثنا عبد الله بن محمد بن عبد العزيز قال: ثنا أبو الربيع الزهراني قال: ثنا حماد بن زيد قال: ثنا بقية بن الوليد قال: ثنا معاذ بن رفاعة، عن إبراهيم بن عبد الرحمن العذري قال: قال رسول الله ﷺ: "يرث هذا العلم من كل خلف عدو له، ينفون عنه تحريف الغالين،