كانت بداية طلبه للعلم بالمدينة النبوية صغيراً، فبدأ - كما هو معتاد عند أبناء المسلمين - بحفظ القرآن الكريم، فحفظه في ثمانين ليلةً١، ثم أقبل على تعلِّم الأنساب، فذهب إلى عبد الله بن ثعلبة بن صُعير العدوي، وكان عالماً بالأنساب، فجلس يتعلم منه الأنساب عامةً ونسب قومه خاصةً، فجاء رجلٌ يسأل عبد الله بن ثعلبة عن مسألة فقهية في الطلاق فَعَيِيَ عن الجواب، وأشار إلى سعيد بن المسيب، فقال الزهري: قلت في نفسي: ألا أراني مع هذا الرجل المسن يعقل أن رسول الله ﷺ مسح على رأسه٢ وهو لا يدري ما هذا! فانطلقت مع السائل إلى سعيد بن المسيب، فجالسته سبع حجج، وأنا لا أظن أن أحداً عنده علم غيره٣.
وفي رواية: أن السائل عن المسألة الفقهية هو الزهري نفسه، فقال: إن كنت تريد هذا فعليك بهذا الشيخ سعيد بن المسيب٤.
ومهما يكن، فقد ترك الزهري تعلم الأنساب، واتجه إلى تعلم