قال محمد بن طالب بن علي النسفي: سمعت صالح بن محمد يقول: أعلم من أدركت بالحديث وعلله علي ابن المديني، وأفقههم في الحديث أحمد، وأمهرهم بالحديث سليمان الشاذكوني. وقال عبد المؤمن بن خلف: سمعت صالح بن محمد، سمعت إبراهيم بن محمد بن عرعرة، سمعت يحيى بن سعيد القطان يقول لابن المديني: ويحك يا علي، إني أراك تتبع الحديث تتبعا لا أحسبك تموت حتى تبتلى.
الفسوي: سمعت عليا، وقوم يختلفون إليه يقرأ عليهم أبواب السجدة، كان يذكر له طرف حديث، فيمر على الصفحة والورقة، فإذا تعايى في شيء، لقنوه الحرف والشيء منه، ثم يمر ويقول: الله المستعان، هذه الأبواب أيام نطلب كنا نتلاقى به المشايخ، ونذاكرهم بها، ونستفيد ما يذهب علينا منها، وكنا نحفظها. وقد احتجنا اليوم إلى أن نلقن في بعضها.
قال أزهر بن جميل: كنا عند يحيى بن سعيد أنا وعبد الرحمن، وسفيان الرؤاسي وعلي ابن المديني، وغيرهم، إذ جاء عبد الرحمن بن مهدي منتقع اللون أشعث، فسلم. فقال له يحيى: ما حالك أبا سعيد؟ قال: خير. رأيت البارحة في المنام كأن قوما من أصحابنا قد نكسوا. قال علي ابن المديني: يا أبا سعيد هو خير. قال الله - تعالى -: ومن نعمره ننكسه في الخلق قال: اسكت، فوالله إنك لفي القوم.