لهشام في واضح فبلغت واضحًا. فسعى على بني ذكوان، بالتهمة في الميل الى البرابرة، وأن الناس تبع لما يشيرون به. فنفذ أمر هشام بإخراجهم عن الأندلس، ونفيهم الى العدوة. فأخرج أبو العباس وأخوه أبو حاتم وأخوهما الأديب أبو عمر. وذلك في سنة إحدى وأربعماية. ووكل بهم من يوصلهم، فحملوا الى المرية، وأجيزوا لحينهم البحر في حال شدة ارتجاجه، وعنِّف بهم، وخلفوا دوابهم وثيابهم، فكتبت سلامتهم. وخرجوا الى وهران. وقامت لنكبتهم بقرطبة القيامة، وعظم على الخاصة والعامة ما جرى عليهم. حتى تفزع جماعة من الأعيان لاستهوال الحادث عليهم، لفرط محنتهم وجلالتهم في القلوب. وأسرعت الإقالة لهم عما قريب. فلما قتل الجند واضحًا حسن الرأي فيهم فوجه فيهم، وعادوا الى وطنهم بالأندلس. إلا أنهم لم يعاودوا بعد العمل، ولا تقلدوا ولاية، مع تكرار الرغبة إليهم من جميع خلفاء الفتنة. بل كان رجال الولايات عن رأيهما، الى أن مات أبو العباس سنة ثلاث عشرة وأربعماية. ثم تلاه أبو حاتم أخوه، فاعتد أهل قرطبة المصيبة بهما كفاء ما جرى عليهم من المحن. وذهب من يستحيي منه. فاستوى الناس بعدهما فكانت مدة عمل أبي العباس على القضاء في الكرتين سبعة أعوام ونصفًا. وترك ابنه أبا بكر فجاء بعد منه خير خلف. وولي القضاء وسيأتي ذكره بعد هذا في طبقته. ورثى ابن الخياط الغرير أبا العباس:
عفاَء على الأيام بعد ابن ذكوان … وقبحًا لدنيا غيّرت كل إحسان
سأبكي دمًا بعد الدموع بعبرة … تغيّر أحزاني تعبر عن شان