وقد لازم الإمام أحمد ﵀ لمدة أربع سنوات إماماً من أئمة الحديث وعلم الآثار ببغداد ذلك الإمام هو هشيم بن بشير بن أبي خازم الواسطي المتوفى سنة ١٨٣.
روى صالح وعبد الله عن أبيهما قوله "طلبت العلم وأنا ابن ست عشرة سنة وأول سماعي من هشيم سنة تسع وسبعين".١
ومع تخصيصه شيخه هشيم بفضل من الملازمة لم ينقطع عن غيره انقطاعاً تاماً، بل كان يختلط بغيره، ويروي عنهم، ويلقف الأحاديث حيثما وجد الرواي الثقة، فيروى أنه سمع من عمير بن عبد الله بن خالد سنة ١٨٢ قبل موت شيخه هشيم، وسمع في هذه الأثناء عبد الرحمن بن مهدي، وأبا بكر بن عياش ﵏.٢