يقول الحضراوي: ودخل إلى البيت الحرام متواضعا صاحب عبادة تامة، وتواضع وانكسار، إذا أراد أن يطوف أو يدخل الحرم الشريف لا ينزل إلا لوحده - منفردًا - كأحد العامة، وربما إذا أراد استلام الحجر الأسود لا يعرفه الحجاج، فهذا يدفعه، وهذا يوكزه حتى يقبّل الحجر بتواضع كأحد الناس، ويقبل عرضحالات (¬١٣٧) الفقراء بنفسه ويقبل على الناس، وإذا ذهب إلى بيت الحريم هو وخادم - يمشى خلفه من بعيد - كثير العبادة، يحب العلماء، غير أنه لم يكن له معرفة بالسياسة الدنيوية، باطل الحركة عن مدارات الرعية، لا يدري الأمور الداخلية والخارجية كأنه ساذج لا يعرف أحوال الدولة.
ثم إنه لما رأى نفسه عاجزًا عن تدبير الرعية توجه بن مكة في أوائل سنة ١٢٧٨ هـ إلى الآستانة العلية وطلب الاستعفاء عن الولاية، فوجهته الدولة إلى أنقرة واليًا عليها.
وقد أوضح الحضراوي بعد ذلك سبب طلبه الإِعفاء من الولاية فقال:
وأسباب طلبه الاستعفاء وتوجهه أنه جاءت بعض أوامر تتضمن إجراءً هامًّا بالحجاز فطلبوا الاستسقاء والاستغاثة بالطائف، وكان جملة أعيان مكة بالطائف وقد شعروا بذلك، فبعد أن استغاثوا، اجتمع الناس من أهالي مكة والطائف حوالي الباشا يلاطفونه بأن مكة والحجاز مستثنى لا يقبل مثل هذا الاعتناء من الدولة العلية به وبأهله، وكون أهله جيران