كان أبو سلمة أول من هاجر من مكة إلى المدينة، قبل العقبة الثانية بسنة تقريباً.
بعد أن رجع أبو سلمة وزوجته أم سلمة من الهجرة إلى الحبشة آذته قريش، وعلم بإسلام من أسلم من الأنصار، فقرر الهجرة إلى المدينة – فراراً بدينه –، فحمل زوجته أم سلمة، وابنهما سلمة وقاد بهما راحلته وخرج متجهاً إلى المدينة، وقبل أن يخرج من مكة لحقه رجال من بني مخزوم فقالوا له: هذه نفسك غلبتنا عليها أرأيتك صاحبتك هذه عَلامَ نتركك تسير بها في البلاد؟ ونزعوا خطام البعير من يده، وأخذوا الراحلة وعليها أم سلمة وابنه سلمة، وغضب لذلك رجال من بني عبد الأسد وقالوا: واللَّه لا نترك ابننا عندها إذ نزعتموها من صاحبنا. فتجاذب بنو مخزوم وبنو عبد الأسد الطفل حتى خُلِعَت يده، وأخذه بنو عبد الأسد وحبس بنو المغيرة أم سلمة عندهم، وانطلق أبو سلمة إلى المدينة هارباً بدينه. قالت أم سلمة: ففرَّقوا بيني وبين زوجي وبيني وبين ابني، فكنت أخرج كل غداة إلى الأبطح، فما أزال أبكي حتى أمسي، وذلك سنة أو قريباً منها حتى مرّ بي رجل من بني عمي – أحد بني المغيرة – فرأى ما بي فرحمني فقال لبني المغيرة: ألا تخرجون هذه المسكينة فرقتم بينها وبين زوجها، وبينها وبين ولدها؟ قالت فقالوا لي: الحقي