من أقطاب المعرفة والعلم.
من المعلوم أن الكثير من أبناء الجزائر كانوا يتوجهون إلى (القرويين) في المغرب، أو (جامع الزيتونة) في تونس، أو إلى (الجامع الأزهر) في القاهرة؛ لطلب العلم، والاستزادة من المعارف، خاصة بعد أن دبّ الضعف في كتاب الحكم العثماني، واستُعمرت الجزائر من طرف فرنسا، مما أثر في مسيرة نهضتها العلمية التي حوربت بشتى الوسائل والأساليب.
ومن المعلوم أيضاً أن الجزائر قد مدّت المغرب والمشرق العربيين بالكثير الكثير من العباقرة والعلماء، أولئك الذين حوصروا في آرائهم وعقائدهم، وحرموا من أداء أماناتهم العلمية، وواجباتهم الإسلامية، ومُسوا في كرامتهم وحرياتهم، فاتجهوا إلى ديارهم الأخرى في المغرب أو المشرق، يدافعون عن الشريعة، ويدعون إلى الإصلاح، وينشرون العلم، ويجاهدون في سبيل الله من أجل وحدة العرب والمسلمين، لا فرق بين قطر أو قطر، ولا بين مسلم ومسلم، إلا بالتقوى والعمل الصالح.
ومن بين هؤلاء الجزائريين المهاجرين: الشيخ مصطفى بن عزوز، جدّ الشيخ الخضر لأمه، ثم الشيخ الحسين بن علي بن عمر والد الشيخ الخضر، وقد كان من مريدي الشيخ مصطفى بن عزوز، حيث التحق بالشيخ ابن عزوز إلى بلدة "نفطة" في منطقة الجريد التونسي، وتزوج من ابنته والدة الشيخ الخضر، وقد أسس الشيخ مصطفى بن عزوز البرجي في "نفطة" عندما هاجر إليها مع عدد كبير من أتباعه سنة ١٨٣٧ م، أسس زاويته المشهورة، المشتملة على عدد كبير من المساكين لإيواء الواردين عليه من كل صقع، وأحدث بها مدرسته الحافلة، وأنشأ بها بيوتاً لسكنى المنقطعين لقراءة القرآن،