واتفق المؤرخون على أن نهاية مدة ولايته على المدينة كانت عام ثلاثة وتسعين١، وقد ذكروا لعزله عن المدينة روايتين.
أحدهما: أن الوليد بن عبد الملك كتب إلى عمر بأن يضرب خبيب بن عبد الله بن الزبير، ومن المهم إيراد نبذة يسيرة عن خبيب هذا، فهو خبيب بن عبد الله بن الزبير بن العوام، القرشي، الأسدي، المدني٢، روى عن أبيه وكعب الأحبار، وعائشة أم المؤمنين، وروى عنه ابنه الزبير بن خبيب، وسليمان بن عطاء، ومحمد بن مسلم بن شهاب الزهري، وكان من أهل العلم والنسك. قال الزبير بن بكار: كان خبيب قد لقي كعب الأحبار ولقي العلماء وقرأ الكتب وكان من النساك٣.
قال الزبير: وأدركت من أصحابنا وغيرهم يذكرون أنه كان يعلم علما كثيراً لا يعرفون وجهه ولا مذهبه فيه، يشبه ما يدعى الناس من علم النجوم.
قال عمي مصعب بن عبد الله: وحدثت عن مولى لخالته أم هاشم بنت منظور يقال له: يعلى بن عقيبة. قال: كنت أمشي معه وهو يحدث نفسه إذ وقف، ثم قال: سأل قليلا فأعطي كثيرا وسأل كثيرا فأعطي قليلا،