وتاقت نفس يعقوب إلى ولده؛ فذهب إليها وقال لها: سلِّمي إليَّ يوسف. لكنها قالت: والله ما أقدر أن يغيب عني ساعة، ولن أتركه.
فلما خرج يعقوب ﵇ من عندها، عمدتْ إلى شيء من ميراث إبراهيم ﵇ يتوارثه اكبر الأبناء، ووضعته تحت ملابس يوسف.
وكان العُرفُ الجاري أنه إذا سرق أحد شيئاً وتَمَّ ضبطه؛ تحول من حرٍّ إلى عبد، وحين كاد يعقوب أن يخرج مع ابنه يوسف عائداً إلى بيته؛ أعلنت العمة فقدان الشيء الذي أعطاه لها والدها إسحق؛ وفتشوا يوسف فوجدوا الشيء المفقود.
فقالت عمته: والله إنه لَسَلْم أي عبد وكان العرف أن مَنْ يسرق شيئاً يتحول إلى عبد عند صاحب الشيء.
وهكذا بقي يوسف مع عمته محروماً من أبيه لفترة، ولم يستطع الأب استرداده إلا بعد أن ماتت العمَّة.
ثم جاءت حادثة الجُبِّ، ومن بعدها محاولة امرأة العزيز لِغُوايته، ورغم تيقُّن العزيز من براءته إلا أنه أُودِع السجن؛ ويقول الرواة:
«إن يوسف ﵇ قد عُرف في السجن بالجود، والأمانة، وصدق الحديث، وحُسْن السمت، وكثرة العبادة، ومعرفة التعبير أي تأويل الرؤيا والإحسان إلى أهل السجن.