فوليها أخوه (الرّضيّ) ويقال ابنه، وكانوا يعطون الطاعة لبني إدريس من العلوية ملوك فاس، ولما سما الناصر «١» الأمويّ صاحب الأندلس إلى ملك المغرب وتناول أكثره من يد الأدارسة ببلاد غمارة وغيرها حين أخرجوا من فاس وقاموا بدعوة الناصر في جميع أعمالهم، نزلوا للناصر عن سبتة، فبعث إليها العساكر فانتزعها من يد الرّضيّ بن عصام سنة تسع عشرة وثلاثمائة، وانقرض أمر بني عصام وصارت سبتة للناصر ومن بعده من بني أميّة خلفاء الأندلس. وكان عليّ والقاسم ابنا حمّود بن ميمون، بن أحمد، بن عليّ، بن عبيد الله، بن عمر، بن إدريس العلويّ قد لحقا بالأندلس لما أخرج المستنصر «٢» الأمويّ الأدارسة من المغرب، وبقيا بالأندلس إلى أن كانت أيام المستعين سليمان «٣» بن الحكم فاختصّ بقاسم وعليّ ابني حمّود، وعقد لعليّ بن حمّود على طنجة وأعمال غمارة فنزلها، ثم خرج عن طاعته ودعا لنفسه، وعاد إلى الأندلس وولي الخلافة بقرطبة كما سيأتي في مكاتبة صاحب الأندلس، وولّى على عمله بطنجة ابنه يحيى بن علي.
ثم أجاز يحيى بعد موت أبيه إلى الأندلس واستقلّ أخوه إدريس بن علي بولاية طنجة وسائر أعمال أبيه من مواطن غمارة.
ثم أجاز إلى الأندلس بعد مهلك أخيه يحيى، وعقد لحسن ابن أخيه يحيى