وكان أبو بكر الصبغي يرجع إلى قوله في اللغة، وسمعت عبد الرحمن بن أحمد بن جعفر، يقول: أتيت أنا وأبو بشر المتكلم، وأبو سعد الفأفاء إلى محمد أباذ، وقد فرغ أبو طاهر من المجلس، وكان مهيبا فقلنا: يتفضل الشيخ بشيء نكتبه؟ فإذا خرج إلى الصلاة نقرأه، فأخرج لنا ثلاثة أجزاء: عن الدوري جزء، وعن الكديمي جزء، وعن أبي قلابة جزء، فكتبنا جزء الكديمي، ومن جزء أبي قلابة الرقاشي. فلما خرج، قال: هاتوا. فقلنا: لم نكتب من جزء عباس شيئًا. فقال: إنما أيست من حماري حين سيبته في القت، اشتغل بالكرنب. فقرأنا عليه إلى أن مر حديث لعروة عن عائشة. فقال أبو بشر للشيخ: عروة هذا مكثر عن عائشة، أفكان زوجها؟ فقام أبو طاهر مغضبا، ثم حكى ذلك لأصحابه.
ثم ساق له الحاكم أحاديث في الترجمة، وقد أكثر عنه أبو عبد الله بن مندة وغيره. يقع لنا حديثه عاليًا.