خمسة، وانفرد مسلم بثلاثة. روى عنه ابن عمرو ومحمود بن لبيد والسائب بن يزيد وأسيد بن ظهير، وروى عنه من التابعين من دون هؤلاء مجاهد وعطاء والشَّعبيّ وابن ابنه عباية بن رفاعة بن رافع، وعَمرة بنت عبد الرحمن، وليس في الصحابة رافع بن خديج سواه.
لطائف إسناده:
فيه التحديث بصيغة الجمع في ثلاثة مواضع، وبصيغة الإفراد في موضع واحد، والقول في خمسة مواضع، والسماع، ورواته ما بين رازيّ وشاميّ ومدنيّ. أخرجه مسلم وابن ماجه في الصلاة.