وفي سنة ١٨٥٦ كان البيمارستان المنصوري قد بلغ الغاية من الاضمحلال وهجره المرضى ولم يبق به سوى المجانين، فنقلت منه المجانين إلى ورشة الجوخ ببولاق ولم يكن بهذا المحل الاستعداد اللازم لذلك وكانوا غير معتنى بهم فأنشئ مستشفى للمجاذيب في بعض السراي الحمراء التي أنشأها الخديوي إسماعيل باشا بالعباسية ثم أحرقت وكان نقل المجاذيب من ورشة الجوخ ببولاق إلى العباسية سنة ١٨٨٠م.
وقال بريس دافن الذي زار القاهرة في ذلك العصر ووصف البيمارستان في كتابه إنه قد حصلت تغييرات عديدة في أبنيته في عصور مختلفة ولا سيما قد نقلت المجانين منه إلى غيره من الأمكنة