قال أبو علي جزرة: قال لي أبو زرعة: مر بنا إلى سليمان الشاذكوني نذاكره. قال: فذهبنا، فما زال يذاكره حتى عجز الشاذكوني عن حفظه، فلما أعياه، ألقى عليه حديثا من حديث الرازيين، فلم يعرفه أبو زرعة، فقال سليمان: يا سبحان الله حديث بلدك هذا مخرجه من عندكم!؟ وأبو زرعة ساكت، والشاذكوني يخجله ويري من حضر أنه قد عجز. فلما خرجنا، رأيت أبا زرعة قد اغتم، ويقول: لا أدري من أين جاء بهذا؟ فقلت له: وضعه في الوقت كي تعجز وتخجل. قال: هكذا؟ قلت: نعم، فسري عنه.
ابن عدي: سمعت محمد بن إبراهيم المقرئ، سمعت فضلك الصائغ يقول: دخلت المدينة، فصرت إلى باب أبي مصعب، فخرج إلي شيخ مخضوب، وكنت ناعسا، فحركني، وقال: يا مردريك! من أين أنت؟ أي شيء تنام؟ قال: أصلحك الله، أنا من الري، من بعض شاكردي أبي زرعة فقال: تركت أبا زرعة وجئتني؟! لقيت مالكا وغيره، فما رأت عيناي مثل أبي زرعة.
قال: ودخلت على الربيع بمصر، فقال: من أين؟ قلت: من الري. قال: تركت أبا زرعة وجئت؟ إن أبا زرعة آية، وإن الله إذا جعل إنسانا آية، أبانه من شكله، حتى لا يكون له ثان.
قال ابن أبي حاتم: سمعت يونس بن عبد الأعلى يقول: ما رأيت أكثر تواضعا من أبي زرعة، هو وأبو حاتم إماما خراسان.
وقال يوسف الميانجي سمعت عبد الله بن محمد القزويني القاضي يقول: حدثنا يونس بن عبد الأعلى يوما، قال: حدثني أبو زرعة، فقيل له: من هذا؟ فقال: إن أبا زرعة أشهر في الدنيا من الدنيا.
ابن أبي حاتم: حدثنا الحسن بن أحمد، سمع أحمد بن حنبل يدعو الله لأبي زرعة. وسمعت عبد الواحد بن غياث يقول: ما رأى أبو زرعة مثل نفسه.
سعيد بن عمرو البرذعي: سمعت محمد بن يحيى يقول: لا يزال المسلمون بخير ما أبقى الله لهم مثل أبي زرعة، يعلم الناس، وما كان الله ليترك الأرض إلا وفيها مثل أبي زرعة، يعلم الناس ما جهلوه.