وكان ورعاً منذ كان وقال بن مهدي: كتب عني الحديث بحلقة مالك وقيل لابن مهدي: إن فلاناً صنف كتاباً في الرد على الجهمية؟ فقال عبد الرحمن: رد عليهم بكتاب الله وسنة رسوله ﷺ؟ فقالوا: لا بل بالرأي والعقول فقال: أخطأ رد بدعة ببدعة.
قال بن المديني: كان بن مهدي يقال له في الحديث: روى فلان كذا فيقول: هو خطأ وينبغي أن يكون من وجه كذا فنفتش عليه فنجده كما قال وقال بن مهدي: من فرض الرياسة تبعته ومن طلبها لم يكن ينالها. وتوفي بن مهدي بالبصرة في جمادى الأخيرة سنة ثمان وتسعين ومائة وهو بن ثلاث وستين سنة ويقال: مولده سنة خمس ويقال: أربع ويقال: ست وثلاثين ومائة رحمه الله تعالى.