كان أحد الأئمة الحفاظ. سمع محمد بن عبد الله الأنصارى، وأبا زيد النحوى وعثمان بن الهثيم المؤذن، وهوذة بن خليفة، وإمامنا أحمد فى آخرين. وكان أول كتبه الحديث: سنة تسع ومائتين. روى عنه يونس بن عبد الأعلى، والربيع بن سليمان المصريان - وهما أكبر سنا منه، وأقدم سماعا - وأبو زرعة الرازى، وأبو زرعة الدمشقى، ومحمد بن عوف الحمصى. وقدم بغداد وحدث بها.
فروى عنه من أهلها: أحمد بن منصور الرّمادى، وابراهيم الحربى وغيرهما
وذكره أبو بكر الخلال فقال: إمام فى الحديث. روى عن أحمد مسائل كثيرة. وقعت إلينا متفرقة كلها غرائب.
قال أبو حاتم الرازى: سألت أحمد بن حنبل عن أبى يوسف الزمى؟ فأثنى عليه.
أخبرنا أحمد البغدادى حدثنا أحمد بن الصلت حدثنا القاضى المحاملى - إملاء - حدثنا أبو حاتم الرازى حدثنا داود بن عبد الله الجعفرى حدثنا حاتم عن شريك عن عبد العزيز بن رفيع عن المعرور بن سويد عن أبى ذر عن النبى ﷺ قال «إن الله تعالى يقول: يا ابن آدم، إن لقيتنى بملء الأرض ذنوبا لا تشرك بى شيئا لقيتك بملئها مغفرة».
وقال أبو حاتم: أول سنة خرجت فى طلب الحديث أقمت سنين أحصيت ما مشيت على قدمى: ألف فرسخ. لم أزل أحصى حتى لما زاد على ألف فرسخ تركته
وقال عبد الرحمن بن أبى حاتم: سمعت يونس بن عبد الأعلى يقول:
أبو زرعة وأبو حاتم إماما خراسان. ودعا لهما. وقال: بقاؤهما صلاح للمسلمين.
وقال أبو حاتم: اكتب أحسن ما تسمع، واحفظ أحسن ما تكتب، وذاكر بأحسن ما تحفظ. وأنشد أبو حاتم:
تفكرت فى الدنيا. فأبصرت رشدها … وذللت بالتقوى من الله حدّها