وكان القاضى الرفيع هذا قد صادر أهل دمشق، وفعل ما لا يفعله ظلمة الولاة. وكتب إلى السلطان يقول: إننى قد حملت إلى خزانتك ألف ألف دينار، من أموال الناس. فقال السامرى: ولا ألف ألف درهم. وكان السامرىّ قد تمكن من الملك الصالح تمكّنا عظيما، لا يخالفه فى شىء ألبتّه.
فقال الملك الصالح: أنا أحاققه، فإنه قد أكل الأموال، وأقام علينا الشّناعة، والمصلحة تقتضى عزله ومؤاخذته، ليعلم الناس أنك لم تأمره بأذاهم. فعزله عن القضاء. ثم تسبب فى قتله.
ولما عزل، فوّض القضاء بعده لقاضى القضاة محيى الدين يحيى، بن قاضى القضاة محيى الدين محمد، بن على بن محمد بن يحيى، القرشى.
وقرىء تقليده بالجامع بدمشق، فى خامس عشرين ذى الحجة. وحكم بإسقاط عدالة أصحاب الرّفيع، وهم: المعزّ بن القطّان، والزّين الحموى، والجمال بن سيده، والموفّق الواسطى، وسالم المقدسى، وابنه محمد- لما فعلوه بالمسلمين من أنواع الأذى، وقطع المصانعات.