قال القاضي محيي الدين بن عبد الظاهر: قال لي والدي ﵀: كنا نطلع إليها قبل أن تسكن في ليالي الجمع نبيت متفرّجين كما نبيت في جواسق «١» الجبل والقرافة.
وأول من سكنها الملك الكامل محمد بن العادل أبي بكر بن أيوب انتقل إليها من قصر الفاطميين سنة أربع وستمائة، واستقرّت بعده سكنا للسلاطين إلى الآن.
ومن غريب ما يحكى أن السلطان صلاح الدين ﵀ طلع إليها ومعه أخوه العادل أبو بكر، فقال السلطان لأخيه العادل: هذه القلعة بنيت لأولادك، فثقل ذلك على العادل وعرف السلطان صلاح الدين ذلك منه، فقال: لم تفهم عني إنما أردت أني أنا نجيب فلا يكون لي أولاد نجباء، وأنت غير نجيب فتكون أولادك نجباء فسرّي عنه، وكان الأمر كما قال السلطان صلاح الدين، وبقيت خالية حتّى ملك العادل مصر والشام، فاستناب ولده الملك الكامل محمدا في الديار المصرية فسكنها.
وذكر في «مسالك الأبصار» أن أول من سكنها العادل أبو بكر، ولما سكنها الكامل المذكور، احتفل بأمرها واهتم بعمارتها وعمر بها أبراجا، منها البرج الأحمر وغيره.
وفي أواخر سنة اثنتين وثمانين وستمائة عمر بها السلطان الملك المنصور قلاوون برجا عظيما على جانب باب السر الكبير، وبنى عليه مشترفات حسنة البنيان، بهجة الرخام، رائقة الزّخرفة. وسكنها في صفر سنة ثلاث وثمانين وستمائة.
ثم عمر بها السلطان الملك الناصر محمد بن قلاوون ثلاثة أماكن، كملت بها معانيها، واستحق بها القلعة على بانيها: