قال السمعاني: كان شيخًا عفيفًا زاهدًا منقطعًا إلى الله، ثقةً فهمًا، لا يظهر إلَّا يوم الجمعة. سمعت عبد الوهاب الأنماطي يقول: كان أبو طاهر الباقلاني أكثر معرفةً من أبي الفضل بن خيرون، وكان زاهدًا، حسن الطريقة، ما حدث في الجامع، وكان يقول لنا: أنا بحكمكم إلَّا يوم الجمعة، فإنه للتكبير والتلاوة، وكتبوا أسماء شيوخ بغداد لنظام الملك، وألحوا على أبي طاهر، فما أجاب إلى المجيء إليه.
توفي في ربيع الآخر و تسع وثمانين وأربع مائة.