المؤمنين قد رضى على أبى سلمة، ودعاه فكساه، ثم دخل بعد ذلك عليه فى ليلة فلم يزل عنده حتى ذهب عامة الليل، وانصرف إلى منزله وحده فقتله مرار بن أنس، وقالوا قتله الخوارج، ثم أخرج من الغد فصلّى عليه يحيى ابن محمد أخو السفاح؛ ودفن بالمدينة الهاشمية فقال سليمان بن المهاجر البجلى فيه:
إن الوزير وزير آل محمد ... أودى فمن يشناك صار «١» وزيرا
وكان يقال لأبى سلمة وزير آل محمد، ولأبى مسلم أمين آل محمد، قال:
فلما قتل وجه السفاح أخاه أبا جعفر إلى أبى مسلم، فلما قدم سايره عبيد الله بن الحسن «٢» الأعرج وسليمان بن كثير، فقال سليمان لأبى جعفر: يا هذا إنّا كنّا نرجو أن يتمّ أمركم، فإذا شئتم فادعونا إلى ما تريدون، فظنّ عبيد الله أنه دسيس من أبى مسلم، فأتى إلى أبى مسلم وأخبره بمقالة سليمان، فأحضر أبو مسلم سليمان بن كثير وقال له: أتحفظ قول الإمام- من اتهمته فاقتله- قال: نعم، قال فإنى قد اتهمتك، قال: أنشدك الله!! قال لا تناشدنى فأنت منطو على غش الإمام، وأمر به فضربت عنقه، ورجع أبو جعفر إلى السفاح فقال له: لست خليفة ولا أمرك بشىء إن تركت أبا مسلم ولم تقتله، قال: وكيف؟ قال: والله ما يصنع إلا ما أراد، قال السفاح: فاكتمها.
ووجّه أبو مسلم الخراسانى محمد بن الأشعث على فارس، وأمره أن يقتل عمّال أبى سلمة ففعل ذلك، فوجّه السفاح عمه عيسى بن على على فارس وعليها محمد بن الأشعث، فأراد محمد قتل عيسى فقيل له: إن هذا لا يسوغ لك، فقال: بلى، أمرنى أبو مسلم أن لا يقدم علىّ أحد يدّعى الولاية من غيره إلا قتلته، ثم ترك عيسى خوفا من عاقبة قتله، واستحلف عيسى