حدث عنه: أحمد بن حنبل، وأبو يحيى صاعقة، والزعفراني، وأبو بكر الصاغاني، وأبو عبد الله البخاري، وأبو حاتم، وحنبل بن إسحاق، ومحمد بن يحيى، وعلي بن أحمد بن النضر، ومحمد بن أحمد بن البراء، والحسن بن شبيب المعمري، وولده عبد الله بن علي، والبخاري فأكثر، وأبو داود، وحميد بن زنجويه، وصالح بن محمد جزرة، وعبيد الله بن عثمان العثماني، وهلال بن العلاء، والحسن البزار، وأبو داود الحراني، وإسماعيل القاضي، وأبو مسلم الكجي، وعلي بن غالب البتلهي وأبو خليفة الفضل بن الحباب، ومحمد بن جعفر بن الإمام بدمياط، وابن يعلى الموصلي، ومحمد بن محمد الباغندي، وأبو القاسم البغوي، وعبد الله بن محمد بن أيوب الكاتب خاتمة من روى عنه.
وقد روى عنه من شيوخه جماعة: منهم سفيان بن عيينة، وعاش هذا الكاتب بعد سفيان مائة وثمانيا وعشرين سنة.
مولد علي في سنة إحدى وستين ومائة قاله علي بن أحمد بن النصر، ولد بالبصرة.
قال أبو حاتم الرازي: كان ابن المديني علما في الناس في معرفة الحديث والعلل. وكان أحمد بن حنبل لا يسميه، إنما يكنيه تبجيلا له، ما سمعت أحمد سماه قط.
أخبرنا محمد بن عبد السلام التميمي، عن زينب بنت أبي القاسم، وأخبرنا ابن عساكر عن زينب، وعبد المعز البزاز، قالا: أخبرنا زاهر بن طاهر، أخبرنا أبو سعد الأديب، أخبرنا محمد بن محمد الحافظ، حدثنا عبيد الله بن عثمان العثماني ببغداد، حدثنا علي بن عبد الله المديني، حدثنا محمد بن طلحة التيمي، حدثني أبو سهيل نافع بن مالك، عن سعيد بن المسيب، عن سعد بن أبي وقاص قال: قال رسول الله ﷺ: هذا العباس بن عبد المطلب أجود قريش كفا وأوصلها.
أخرجه النسائي عن حميد بن زنجويه النسائي، عن علي ابن المديني، فوقع بدلا عاليا بدرجتين.