ولما قفل هذا الجيش راجعًا إلى الشام وجد نبي الله موسى قد توفاه الله.
ولكن زعماء بنى إسرائيل من بعده لما علموا أن الجيش قد أعفى شابًّا واحدًا من العماليق من القتل، قالوا هذه معصية عصى الجيش بها نبي الله موسى، ولهذا منع بنو إسرائيل هذا الجيش من البقاء بينهم، قائلين .. والله لا تدخلون علينا الشام أبدًا.
ويذكر الأصبهاني أن قادة هذا الجيش تشاوروا فيما بينهم، وأخيرًا استقر رأيهم على أن يعودوا بكامل جيشهم إلى المدينة قائلين: ما كان خيرًا لنا من منازل القوم الذين قتلناهم بالحجاز، نرجع إليهم فنقيم في أرضهم، فرجع على حاميتهم حتى قدموا المدينة واستقروا فيها.
فانتشروا في نواحى المدينة كلها إلى العالية، فاتخذوا بها الآطام والأموال والمزارع.
فكان أفراد هذا الجيش (كما يقول الأصبهاني) أول من سكن المدينة من اليهود.
أما بشأن الفترة الثانية التي نزح فيها إلي اليهود إلى المدينة، فقد ذكر الإخباريون أن الروم لما استولوا على بلاد الشام في الفترة الواقعة ما بين سنة ٧٠، ١٣٢ للميلاد وفتكوا باليهود ونكلوا بهم اضطر هؤلاء اليهود إلى الفرار بأنفسهم وتفرقوا في أنحاء آمنة بعيدة عن مجالات الروم.
ومن هؤلاء اليهود (كما يذكر المستر أوليرى) يهود بنى قريظة وبنى النضير وبنى بهدل، فروا من وجه الرومان إلى الجنوب في اتجاه يثرب