قال سلمة: لو جمع علم خلف لكان في زاوية من علم علي الرازي، إلا أن خلف بن أيوب أظهر علمه بصلاحه. يروى أن خلفا فرق بين مسئلتين، فلم يقنع السائل به فقال: الفرق بحبة لا بالجوانق. وقيل: لخلف بن أيوب: إنك مولع بالحسن بن زياد، وإنه يخفف الصلاة قال: لأنه حذفها. -يعني أتم ركوعها وسجودها- وفي الخبر: كان رسول الله ﷺ أخفهم صلاة في تمام.
وتفقه خلف على أبي يوسف أيضا، وأخذ الزهد عن إبراهيم بن أدهم وصحبه مدة وروى عن أسد بن عمرو البجلي، وسمع الحديث من إسرائيل بن يونس، وجرير بن عبد الحميد. وروى عنه أحمد، ويحيى، وأيوب بن الحسن الفقيه الزاهد الحنفي. قال الحاكم: قدم "نيسابور" في سنة ثلاث ومائتين، فكتب عنه مشايخنا.
وذكره ابن حبَّان في "الثقات"، وذكره المزي في "الكمال". قال: روى له أبو عيسى الترمذي حديثا عن أبي كريب محمد بن العلاء. قال في "الجواهر": ومتن الحديث: خصلتان لا تجتمعان في منافق: حسن سمت، وفقهه في الدين. قال في "القنية": ورد خلف بن أيوب شاهدا لاشتغاله بالنسخ حالة الأذان.
وذكر خلف بن أيوب هذا الحافظ الذهبى في "تاريخ الإسلام" وعظمه، وأثنى عليه (¬١).