وقد عاش الخطيب في بغداد عاصمة الخلافة العباسية، وتولَّى الخلافة في فترة حياته اثنان من الخلفاء العباسيين، وهما: القادر بالله، والقائم بأمر الله.
أما الخليفة القادر بالله، فهو أبو العباس أحمد بن إسحاق بن المقتدر جعفر بن المعتضد العباسي، وقد تولى الخلافة من سنة إحدى وثمانين وثلاثمائة إلى سنة اثنتين وعشرين وأربعمائة، فاستمرت خلافته إحدى وأربعين سنة، وكان رجلًا عالمًا ناصرًا للسنة قامعًا للبدعة، وقد وصفه الخطيب بقوله: «كان من الستر والديانة وإدامة التهجد بالليل، وكثرة البر والصدقات على صفة اشتهرت عنه، وعُرف بها عند كل أحد، مع حسن المذهب وصحة الاعتقاد، وكان صنَّف كتابًا في الأصول، ذكر فيه فضائل الصحابة على ترتيب مذهب أصحاب الحديث، وأورد في كتابه فضائل عمر بن عبد العزيز، وإكفار المعتزلة والقائلين بخلق القرآن، وكان الكتاب يُقرأ كل جمعة في حلقة أصحاب الحديث بجامع المهدي، ويحضر الناس سماعه» (¬١).
وأما الخليفة القائم بأمر الله، فهو أبو جعفر عبد الله بن القادر بالله، تولى الخلافة بعد موت أبيه سنة اثنتين وعشرين وأربعمائة وحتى سنة سبع وستين وأربعمائة، فكانت مدة خلافته خمسًا وأربعين سنة، وكان ورعًا ديِّنًا كثير الصدقة والصبر، ولم يكن له من أمر السلطة شيء، وكان ملوك بني بُوَيه هم أصحاب السلطة الفعلية، وكانت هناك محاولات من الفاطميين بالاستيلاء