وحمل أبان الحربة يوما، فجعل ينتظر خروج خالد ليحملها بين يديه، فقال له رجل: لو وضعت الحربة حتى يخرج الأمير أو دفعتها إلى من يمسكها، فقال: لوددت أن رجلا أعطاني حربة أخرى أسير بها بين يديه.
وكتب هشام إلى خالد: إنك وليت شرطتك رجلا حدثا فلو وليتها ذا حنكة، ونقلت صاحبك إلى ما هو أجدى عليه منه، فقال خالد لأبان: قد جعل أمير المؤمنين أصلحه الله السبيل لي إلى ما أحب فيك، فولاه فارس وقال:
كلها هنيئا مريئا، وولى شرطته العريان بن الهيثم بن الأسود النخعي، فأتى علي بن زيد بن عبد الله بن أبي مليكة، واسم أبي مليكة زهير بن عبد الله بن جدعان أبان بن الوليد بفارس فوصله بخمسة عشر ألف درهم، ويقال بثلاثة عشر ألفا فقال له: إن منيت بها على شيخ من قريش كانت إليها حاجة، قال يا أبا الحسين منّتك علينا في زيارتنا أعظم.
وقال ابن نوفل يهجو أبان بن الوليد:
أخالد وليت امرأ حدّ سارق … حكومة أهل المصر يا ضيعة الحكم
أليس أبان أمس بالري أرسلت … عليه سياط الجعفري بلا ظلم
فلا تضربنّ الدهر للخمر شاربا … فمن قبلهم أغلى بعاتقة الكرم
وقال ابن نوفل أيضا:
ما سمعنا لابن الوليد أبان … باب دون عامر بن قداد
فكان أبان يقول: قولوا لابن نوفل ينتسب إلى أبوين من حمير، فأما أبواه من موالي ثقيف فمعروفان.
وكان ابن نوفل يزعم في أيام الحجاج أنه من ثقيف، فلما كانت أيام خالد قال: أنا من حمير، فقال أبو عطاء السندي.