كانت تثير ضغينة زملائه عليه (٤٢).
وكانت علاقته حتى مع سيده غير مرنة أيضًا، كما روى عنه رئيس التشريفات، فقال: «إن لهجته وتصرفه في أحاديثه مع السلطان، إلى جانب هفوات صغيرة أخرى، جعلته شخصيًا ... غير محبب لدى جلالته» (٤٣). لكنه، بغض النظر عن «هفواته الصغيرة»، قد واجه هنا المشاكل نفسها التي واجهها في تونس: الفوضى المالية، والصراع على النفوذ بين الدول الكبرى، ورغبة السلطان في الاحتفاظ بسلطته المطلقة. كانت بريطانيا وفرنسا تدعمانه، لكن ذلك لم يكن كافيًا. فقد أخفقت محاولاته لتحقيق إصلاحات داخلية بسبب الأوضاع المالية البائسة، ثم امتناع سالزبري، رئيس وزراء بريطانيا، أن يمنحه القرض الذي طلبه منه. وكان على خير الدين أيضًا أن يجابه مقاومة الجيش والمسلمين المحافظين الذين كانت تدعمهم روسيا. ومع أن السلطان أبدى في أول الأمر تأييده له، فإن هذا التأييد لم يكن إلا ظاهريًا. وهكذا أعاد التاريخ نفسه هنا، في الآستانة، أيضًا: خير الدين يحاول فرض برنامج إصلاحي على السلطان، فينقلب السلطان عليه. وبالرغم من وساطة لا يارد وسالزبري النافذة، استطاع السلطان أن يتخلص منه في ١٨٧٩. فعاش في إسطنبول في شبه عزلة (٤٤)، حتى وفاته في ١٨٩٩.
كان مؤلف خير الدين الأدبي الوحيد، إلى جانب أوراقه الرسمية ومذكراته التي نشرت بعد موته بزمن طويل، دراسة سياسية وضعها باللغة العربية بعنوان «أقوم المسالك في معرفة أحوال الممالك»، نشرت أولًا في تونس عام ١٨٦٧، ثم أعيد طبعها في إسطنبول فيما بعد. وقد أثارت مقدمتها المترجمة إلى الفرنسية تحت إشرافه، والمنشورة بباريس بعنوان «الإصلاحات الضرورية للدول الإسلامية»، اهتمامًا كبيرًا في ذلك الوقت.
يبدو أن خير الدين وضع هذا الكتاب وهو على شي من الاعتقاد أنه يفعل للعصر الحديث ما فعله ابن خلدون لعصر أسبق.