قال أبو عمرو الجيزى: وثقل مكانه على ابن أبي داود، فصرفه عن قضاء مصر سنة ست وعشرين، ولم يجد سبيلا إلى عزله، لأن المعتصم كان وقع اختياره عليه، حتى قرر عند المعتصم أنه استعمل أصحاب ابن المنكدر، الذي كان يشنأه المعتصم، كما ذكرنا في أخباره، وأنه صيرهم بطانة، فعزله وولى أبا بكر بن أبي الليث الأصم، فأقام رجلا يرفع على هارون باستهلاك مال من بيت المال، وكان هارون يدفع مفتاح التابوت إلى غير ثقة، فأتى عليه منه، فأمر الأصم بإحضار هارون ومناظرته مرة بعد أخرى، فامتهنه وأمر بحبسه، فورد كتاب المعتصم برفع ذلك عنه.
فأخذ الله عما قريب من الأصم ما فعل بهارون، وزيادة، على يد الحارث بن مسكين، لما ولى قضاء مصر، أقام الأصم أياما يضربه كل يوم عشرين سوطًا في رد مال بيت المال، ثم أمر المتوكل لما ولى بعد ذلك بحلق لحية الأصم ورأسه، وضربه، وطوافه مصر على حمار، وسجنه، وحمله وأصحابه، واستصفاء ماله، ولعنه على المنبر، فنفذ ذلك كله.
وكان الأصم مبتدعًا معتزليا خبيثا.
وكانت وفاة القاضي هارون سنة ثمان وعشرين ومائتين.
ذكر ملح وحكم من شعره
أنشد له القاضي وكيع في طبقات القضاة مما قاله عند انصرافه عن ابن أبي داود:
أيام معروفك ما لم تعن … بالصبر أحوال وأحوال
فاصبر لها واصبر لمكروهها … فللذي يدبر إقبال
ورب أمر مرتج بابه … عليه إن فتح أقفال