جاءه خبر عزله عن المدينة وأقبل الوالي الجديد الذي سيلي المدينة بعده وهو عثمان بن حيان المري وهو يتهددهم ويتوعدهم وأرسل حراسه يبحثون عن العراقيين ويسوقونهم إلى السجن، أما عمر فقد خرج ليلا من المدينة هو ومزاحم خفية عن أعين الناس وتذكر حين خروجه قول رسول الله ﷺ: «والذي نفس محمد بيده ما خرج أحد من المدينة رغبة عنها إلا أبدلها الله خيرا منه أو ماله (١)»، وتذكر أيضا قوله ﷺ: «المدينة تنفي خبثها (٢)»، فاضطرب وقال: يا مزاحم: نخاف أن نكون ممن نفت المدينة (٣).
وفي الموطأ بلغني أن عمر بن عبد العزيز حين خروجه من المدينة التفت إليها ثم بكى وقال: يا مزاحم: أتخشى (٤) أن نكون ممن نفته المدينة (٥).
وواصل رحلته حتى وصل قرب دمشق وأقام بالسويداء بمقاطعة له بعيدا عن الضوضاء.