وهو كثير الزواج، تزوج من النساء اثنتي عشرة زوجة، وتوفي عن أربع من الزوجات.
وهن، موضي البازعي، نورة الرواف، جوهرة التويجري، نورة النغيمشي.
وخلف من الأولاد (١٥) ابنًا، ومن البنات (٩) بنات.
وهذا ملخص عن بعض ابناء علي الخلف السيف:
- خلف بن علي الخلف عقيلي ومن أبنائه عبد الرحمن مدير أمن مطار القصيم.
- عبد الله بن علي الخلف السيف، من أولاده مساعد مدرس في ثانوية بريدة وإمام جامع الموطأ.
- سليمان بن علي الخلف، التاجر المعروف باستيراد الأغنام في الدمام ومن أولاده محمد تاجر أغنام معروف على مستوى الخليج، ومن أولاده عبد العزيز تاجر أغنام معروف أيضًا في جدة.