وأمه فاطمة بنت عمرو بن بجرة بن خلف بن صداد من بني عدي بن كعب. ويقال بل أمه فاطمة بنت علقمة بن عامر بن بجرة بن خلف بن صداد. وكان لخارجة من الولد عبد الرحمن وأبان وأمهما امرأة من كندة. وعبد الله وعون وأمهما أم ولد. وكان خارجة بن حذافة قاضيا بمصر لعمرو بن العاص. فلما كان صبيحة يوم وافى الخارجي ليضرب عمرو بن العاص فلم يخرج عمرو يومئذ للصلاة وأمر خارجة يصلي بالناس. فتقدم الخارجي فضرب خارجة وهو يظن أنه عمرو بن العاص. فأخذ فأدخل على عمرو وقالوا: والله ما ضربت عمرا وإنما ضربت خارجة. فقال: أردت عمرا وأراد الله خارجة. فذهبت مثلا.
قال: أخبرنا يزيد بن هارون قال: حدثنا محمد بن إسحاق عن يزيد بن أبي حبيب عن عبد الله بن راشد الزوفي عن عبد الله بن مرة الزوفي عن خارجة بن حذافة العدوي قال: خرج علينا رسول الله ﷺ لصلاة الغداة فقال:، لقد أمدكم الله الليلة بصلاة لهي خير لكم من حمر النعم،. قلنا: وما هي يا رسول الله؟ قال:، الوتر فيما بين صلاة العشاء إلى طلوع الفجر،.