وكان اليهود يختلفون في درجة تَمسُّكهم بتعاليم دينهم حسب معدلات العلمنة الموجودة في مجتمعهم. فكان مدى تَمسُّك يهود مصر باليهودية يختلف عن مدى تمسك يهود اليمن الذين كانوا معزولين عن العالم ومشهورين بتمسكهم بتعاليم دينهم كما يتضح في طريقة قصهم شعر رأسهم وتركهم السوالف وإطلاقهم اللحى. وقد نشبت صراعات دينية بين أعضاء هذه الفرق، وخصوصاً بين الحاخاميين والقرّائين والسامريين، بحيث كان لكل فرقة دينية معبدها وحاخامها وتنظيماتها.
لقد ضمنت دساتير العراق ومصر والمغرب وغيرها من الدول العربية لليهود المساواة في الحقوق الدينية والسياسية والاقتصادية. وكان لكل جماعة يهودية مدارسها وصحفها، العربية والإنجليزية والفرنسية، ومحاكمها (إلى أن أُلغيت المحاكم الشرعية في بعض الدول العربية) . وكان تنظيم الجماعة اليهودية (الذي كان يترأسه شخص يُقال له الناسي أو الحاخام الأكبر) يشبه منصب بطريرك الأقباط في مصر يساعده مجلس أو لجان معيَّنة أو منتخبة تشرف على كل الشئون الاجتماعية للجماعة التي لا تندرج تحت نفوذ أو سلطان الدولة. وفي معظم الأحيان، كانت كل جماعة يهودية سفاردية أو إشكنازية أو مستعربة ... إلخ تحتفظ باستقلالها عن الجماعات الأخرى، ولكن كان يتم التنسيق بين هذه الجماعات أحياناً بحيث تعترف كلها بسلطة مركزية واحدة كما حدث في مصر.