الصاحب بن عباد وعليه ثياب خلق، وكان غاصًا بالفضلاء والشعراء من أقطار الأرض، فصعد الصفة فاستزاره الحاضرون، فقال واحد منهم ظنًا منه أنه لا يعرف العربية، من هذا الكلب؟ فقال أبو بكر الخوارزمي: الكلب الذي لا يعرف عشرين لغة في الكلب، فسكت الحاضرون، وأقروا له بالفضل، فذكر لهم أسماء الكلب.
وقال علي بن زيد البيهقي في "تاريخ بيهق": كانت أم الشيخ أبا القاسم الحسين بن أبي الحسين البيهقي هي بنت أبي الفضل بن الأستاذ العالم أبي بكر الخوارزمي، والأستاذ العالم الفاضل أبو بكر الخوارزمي هو ابن أخت محمَّد بن جرير الطبري، ولمصنف هذا الكتاب عرق نزاع لتصنيف وتأليف التواريخ، وقد قيل إن العرق دساس، قال أبو بكر الخوارزمي:
بآمل مولدي وبنو جريرِ ... فأخوالي ويحكي المرء خاله
وأشعار ومصنفات أبي بكر الخوارزمي منتشرة في العالم. وقال ابن خلكان في "الوفيات": أحد الشعراء المجيدين الكبار المشاهير، كان إمامًا في اللغة والإنساب، وكان مشارًا إليه في عصره، ويحكي أنه قصد حضرة الصاحب بن عباد، وهو بأرجان، فلما وصل بابه قال لأحد حجابه: قل للصاحب على الباب أحد الأدباء، وهو يستأذن في الدخول، فدخل الحاجب وأعلمه، فقال الصاحب: قل له: قد ألزمت نفسي ألا يدخل علي من الأدباء إلا من يحفظ عشرين ألف بيت من شعر العرب، فخرج إليه الحاجب وأعلمه بذلك، فقال له أبو بكر: ارجع إليه وقل له: هذا القدر من شعر الرجال أم من شعر النساء؟ فدخل الحاجب فأعاد عليه ما قال: فقال