نحله إياه لينفر الناس عن محبته.
وذكر العسكري أنه كان مولعا بالكيمياء، وهو الذي شهرها في بلاد العرب.
وفي «تاريخ ابن عساكر»: قال خالد: كنت معنيا بالكتب وما أنا من العلماء ولا من الجهال، كان إذا لم يجد أحدا يحدثه حدث جواريه ثم يقول: إني لأعلم أنكن لستن له بأهل. يريد بذلك الحفظ.
وجاءه رجل فقال: قد قلت فيك بيتين ولست أنشدهما إلا بحكمي قال: نعم فأنشد:
سألت الندى والجود حران ... أنتما جميعا؟ فقالا: إننا لعبيد
فقلت ومن مولاكما؟ فتطاولا ... علي وقالا: خالد بن يزيد
فقال له: سل؟ قال: مائة ألف درهم. فأعطاه إياها.
وفي «الكامل»: وقع الحجاج يوما في خالد. فقال له عمرو بن عتبة: لا تقل ذا أيها الأمير، فإن لخالد قديما سبق إليه، وحديثا لم يقلب عليه، ولو طلب الأمير - يعني الخلافة - لطلبة بحمد وجد، ولكنه علم علما فسلم الأمر إلى أهله.
قال أبو العباس: وكان قد تزوج نساءهن شرف من هن منه، ففي ذلك يقول بعض الشعراء يحض عليه عبد الملك:
إذا ما نظرنا في مناكح خالد ... عرفنا الذي ينوي وأين يريد
وقال أحمد بن عبد ربه: كان خالد بن يزيد عالما كثير الدراسة للكتب. وربما قال الشعر.