بها ثلاث سنين، ثم عاد إلى بغداد فسكنها مديدة، ثم استدعاه أمير المؤمنين أمير صعدة، فخرج صحبة الحاج إلى مكة، فلما قضى حجة أدركه أجله بالجحفة، ودفن هناك.
وقد تكلم فيه جماعة، ووثقه جماعة. قال أبو زرعة محمد بن يوسف الإستراباذي لما سأله حمزة بن يوسف السهمي الحافظ عن ابن رميح؟ فأومأ إلي: أنه ضعيف أو كذاب، قال حمزة: الشك مني. وقال الخطيب أبو بكر بن ثابت الحافظ: قال أبو نعيم الحافظ يعني الأصبهاني: كان ابن رميح ضعيفاً. والأمر عندنا خلاف قولهما، وابن رميح كان ثقة ثبتاً، لم يختلف شيوخنا الذين لقوه في ذلك، وقال الحاكم أبو عبد الله الحافظ: هو ثقة مأمون، توفي بالجحفة سنة سبع وخمسين وثلاثمائة. وقال غيره: مات في صفر ودفن بالجحفة.
وأبو العباس يعقوب بن يوسف بن الحسن الشرمقاني، سمع بنسا حميد بن زنجويه، وبالعراق العباس بن محمد الدوري، وأبا قلابة الرقاشي، وبمصر محمد بن أصبغ بن الفرج، وبالشام عمران بن بكار بن راشد البزاز، ومحمد بن عوف الحمصي، وعلي بن عثمان النفيلي.