فاستمر على ذلك إلى أن صرفه الخليفة بالحسن بن البحباح «١» في يوم الأحد لأربع خلون من صفر سنة ثلاث وتسعين ومائة. فكانت ولايته على مصر سنة واحدة وخمسة أشهر تنقص أياماً لدخوله مصر وتزيد أياماً لولايته ببغداد من الرشيد.
وكان سبب عزله أن الأمين أرسل إليه في أول خلافته بالدعاء على منابر مصر لابنه موسى، واستشاره في خلع أخيه المأمون من ولاية العهد فلم يشر عليه. وكان الذي أشار على الأمين بخلع أخيه المأمون الفضل بن الربيع الحاجب، وكان المأمون يغض من الفضل، فعلم الفضل إن أفضت الخلافة للمأمون وهو حي لم يبق عليه، فأخذ في إغراء الأمين بخلع أخيه المأمون والبيعة لابنه موسى بولاية العهد، ولم يكن ذلك في عزم الأمين، ووافقه على هذا علي بن عيسى بن ماهان والسندي وغيرهما؛ فرجع الأمين إلى قولهم وأحضر عبد الله بن خازم، فلم يزل في مناظرته إلى «٢» الليل، فكان مما قال عبد الله بن خازم: أنشدك الله يا أمير المؤمنين أن تكون أول الخلفاء نكث عهد أبيه ونقض ميثاقه! ثم جمع الأمين القواد وعرض عليهم خلع المأمون فأبوا ذلك، وساعده قوم منهم، حتى بلغ إلى خزيمة بن خازم فقال: يا أمير المؤمنين، لم ينصحك من كذبك ولم يغشك من صدقك، لا «٣» تجرّئ القواد على الخلع فيخلعوك ولا تحملهم على نكث العهد فينكثوا عهدك وبيعتك، فإن الغادر مخذول والناكث «٤» مغلول. فأقبل الأمين على علي بن عيسى بن ماهان وتبسم وقال: لكن شيخ هذه الدعوة وناب «٥» هذه الدولة لا يخالف على إمامه «٦» ولا يوهن طاعته؛ لأنه هو والفضل ابن الربيع حملاه على خلع المأمون. ثم انبرم الأمر على أن يكتب للعمال بالدعاء لابنه