ثم إنه لم يتهن بالخلافة؛ لكثرة من خرج عليه من كل جانب إلى سنة اثنتين وثلاثين، فخرج عليه بنو العباس؛ وعليهم عبد الله بن علي عم السفاح، فسار لحربهم، فالتقى الجمعان بقرب الموصل، فانكسر مروان، فرجع إلى الشام، فتبعه عبد الله، ففر مروان إلى مصر، فتبعه صالح أخو عبد الله، فالتقيا بقرية بوصير، فقتل مروان بها في ذي الحجة من السنة.
[من مات في عهده]
مات في أيامه من الأعلام: الشدي الكبير، ومالك بن دينار الزاهد، وعاصم بن أبي النجود المقرئ، ويزيد بن أبي حبيب، وشيبة بن نصاح المقرئ، ومحمد بن المنكدر، وأبو جعفر يزيد بن القعقاع مقرئ المدينة، وأيوب السختياني، وأبو الزناد، وهمام بن منبه، وواصل بن عطاء المعتزلي.
[من عجائب الدهر لسان مروان في فم هر]
وأخرج الصولي عن محمد بن صالح قال: (لما قتل مروان الحمار .. قطع رأسه ووجه به إلى عبد الله بن علي، فنظر إليه وعزل، فجاءت هرة فاقتلعت لسانه وجعلت تمضغه، فقال عبد الله بن علي: لو لم يرنا الدهر من عجائبه إلا لسان مروان في فم هر .. لكفانا ذلك!!).