وسمعت أن بعضهم بذل في قتل الحافظ خمسة آلاف دينار، فاستدعي وأكرمه العادل، حتى قال الحافظ نفسه:
"والملك العادل اجتمعت به، وما رأيت منه إلا الجميل، فأقبل عليّ وقام لي، والتزمني، ودعوت له، ثم قلت: عندنا قصور هو الذي يوجب التقصير فقال: ما عندك لا تقصير ولا قصور، وذُكر أمر السنة، فقال: ما عندك شيء تعاب به، لا في الدين ولا الدنيا، ولا بد للناس من حاسدين".
فلما كان اليوم الثاني من دخوله عليه، إذا الأمراء مثل سركس وأزكش قد جاءوا إلى الحافظ، فقالوا: آمنا بكرامتك يا حافظ. وذكروا أن العادل قال: ما خفت من أحد ما خفت من هذا الرجل، فقلنا: أيها الملك! هذا رجل فقيه! أيش خفت منه؟ قال: لما دخل ما خيل إليّ إلا أنه سبع يريد أن يأكلني. فقلنا: هذه كرامة للحافظ.
ثم سافر العادل إلى دمشق، وبقي الحافظ بمصر، والمخالفون لا يتركون الكلام فيه، فلما أكثروا عزم الملك الكامل علي إخراجه من مصر.
واعتقل في دار سبع ليالى، فكان يقول: ما وجدت راحة بمصر مثل تلك الليالي وقال الشجاع ابن أبي زكريا الأمير: قال لي الملك الكامل يومًا: هاهنا رجل فقيه، قالوا: إنه كافر. قلت: لا أعرفه. قال: بلى. هو محدِّث. قلت: لعله الحافظ عبد الغني؟ قال: هذا هو. فقلت: أيها الملك! العلماء أحدهم يطلب الآخرة، والآخر يطلب الدنيا، وأنت هاهنا باب الدنيا، فهذا الرجل جاء إليك، أو أرسل إليك شفاعة، أو رقعة؛ يطلب منك شيئًا؟ قال: لا. فقلت: أيها الملك! والله هؤلاء القوم يحسدونه، فهل في هذه البلاد أرفع