من حفظه غلط فيه، ثم حدَّث سبع سنين من حفظه لم يغلط في حديث واحد.
وقال عبد الغني بن سعيد: أحسن الناس كلامًا على حديث رسول الله ﷺ ثلاثة: علي بن المديني في وقته، وموسى بن هارون في وقته، وعلي ابن عمر الدارقطني في وقته.
وقال سفيان بن عيينة: حدثني علي بن المديني، وتلومونني على حب علي؟ ! والله لقد كنت أتعلّم منه أكثر مما يتعلّم مني، وكان سفيان يسميه حَيَّةَ الوادي، إذا سئل عن شيء، يقول: لو كان حَيَّة الوادي.
وقال سفيان: إني لأرغب بنفسي عن مُجالَسَتِكم منذ ستين سنة، ولولا علي بن المديني ما جلست.
وقال حفص بن محبوب: كنت عند سفيان بن عيينة، ومعنا على بن المديني وابن الشاذكوني، فلما قام ابن المديني قال سفيان: إذا قامت الخَيْل لم نجلس مع الرَّجّالة.
أنا محمد بن حمزة، أنا هبة الله بن أحمد، أنا أحمد بن علي، ثنا أبو نعيم الحافظ، أنا إبراهيم بن محمد المُزَكِّي، ثنا محمد بن إسحاق السراج قال: سمعت محمد بن يونس يقول: سمعت علي بن المديني يقول: تركت من حديثي مئة ألف، منها ثلاثون ألفًا لعَبّاد بن صُهَيب.
وقال محمد بن يحيى: رأيت لعلي بن المديني كتابًا على ظهره مكتوبٌ: المئة والنيف والستون من علل الحديث.
وقال أبو قدامة: سمعت علي بن المديني يقول: رأيت فيما يرى النائم كأَنَّ الثُّريا تَدَلَّت حتى تناولتُها، قال أبو قدامة: فَصَدَّقَ الله رؤياه؛ بلغ في الحديث مَبْلغًا لم يبلغه كبير أحدٍ.