نهاية القرن الخامس الهجري (¬١) (الحادي عشر الميلادي)، إلا أن الأمر غير مرتبط برضى أو سخط حاكم الدولة الأموية، والمصادر الأندلسية تعج بالأمثلة المؤيدة لذلك، فكم من موقف خالف فيه القاضي رغبة الأمير أو الخليفة الأموي ولم يعزله عن منصبه (¬٢).
ومادام الأمر على هذه الصورة، فلابد أن تكون هناك أسباب للعزل، إذ أن العزل بدون سبب مقنع هو نوع من التعسف في استعمال السلطة، وإخلال بالعدالة، فالقاضي متى ما شعر أنه عرضة لهوى الحاكم أصبح غير مطمئن، وبالتالي تأتي أحكامه بعيدة عن العدالة المنشودة (¬٣).
وهناك هيئة من الفقهاء تتولى متابعة القاضي ومؤاخذته إذا دعت الضرورة لذلك، وفي الوقت نفسه تركت للقاضي حق الدفاع عن نفسه، والأمثلة على ذلك متوفرة، فقد ورد لدى الخشني أن الفقيه يحيى بن يحيى الليثي ذكر أن حمدون بن فطيس تظلم من قاضي الجماعة محمد بن بشير في شيء حكم به عليه، ورفع الشكوى للأمير الحكم الربضي، الذي أصدر أوامره بتكوين مجلس من الفقهاء للنظر في حكم القاضي الذي سبب هذا التظلم (¬٤).