أحس بهم هرب وترك بغلته، ففتشا، فوجدا نسوةً ألقين عليه قطيفة خز، وجلسن على حواشيها حاسرات، فجروا برجله، فجعل يطلب إلى محمد بن سعيد أن يرضي عنه كلباً، ويدفع إليه عشرة آلاف دينار، ودية كلثوم بن عمير، وهانئ بن بسر. فأقبلا به إلى يزيد، فلقيه عامل لسليمان على نوبة من نوائب الحرس، فأخذ بلحيته، فهزها، ونتف بعضها وكان من أعظم الناس لحيةً، وأصغرهم قامة فأدخلاه على يزيد، فقبض على لحية نفسه وإنها حينئذ لتجوز سرته وجعل يقول: نتف والله، يا أمير المؤمنين، لحيتي، فما بقي منها شعرة. فأمر به يزيد، فحبس في الخضراء، فدخل عليه محمد بن راشد، فقال: أما تخاف أن يطلع عليك بعض من قد وترت، فيلقي عليك حجراً، فيقتلك؟ قال: لا والله، ما فطنت لهذا، فنشدتك الله ألا كلمت أمير المؤمنين في تحويلي إلى محبس غير هذا، وإن كان أضيق منه. فأخبرت يزيد، فقال: ما غاب عنك من حمقه أكثر، وما حبسته إلا لأوجه به إلى العراق، فيقام للناس، وتؤخذ المظالم من ماله، ودمه.
قال أبو هاشم مخلد بن محمد: أرسل يزيد بن خالد القسري مولى لخالد يكنى أبا الأسد في عدة من أصحابه، فدخل السجن، فأخرج يوسف بن عمر، فضرب عنقه. وذكر أن ذلك كان في سنة سبع وعشرين ومائة.
قال خليفة: وهو ابن نيف وستين سنةً.