مروءته وقدره بالبلد قبل ذلك، فتكلم بين يدي أمير المؤمنين المهدي فأعجب به، وألحق جائزته بأفضل جوائزهم، وكساه كسوة خاصة، وأدخله في صحابته، وخرج به معه إلى بغداد، فقال عبد الله بن مصعب:
لمَّا أوْجَهَ الشفعاء قوماً ... عَلاَ خَطْبِي فَجَلَّ عن الشفيعِ
وجاءَ يُدافعُ الأركانَ عَنَّي ... أبٌ لي في ذُرَى رُكْنٍ مَنِيعِ
أبٌ يتَركَّعُ الأبْنَاء منْهُ ... إذا انتسُبوا إلى الشرَف الرفيعِ
سَعَى فَحوَى المكارمَ ثم ألقَى ... مَسَاعيَهُ إلى غيرِ المُضِيعِ
فورَّثني على رَغْم الأعادي ... مَسَاعِيَ لا ألفَّ ولا وضِيعِ
فقمتُ بلا تَنَحُّلِ خارِجيٍ ... إذا عُدَّ الفَعالُ ولا بَدِيعِ
فإن يكُ قد تَقَدّمَني صَنِيعٌ ... يُشرِّفُنيِ، فما دَنَّى صَنِيعِي
وكانت له من أمير المؤمنين المهدي، ومن أمير المؤمنين موسى ومن أمير المؤمنين هارون الرشيد، خاصة ومنزلة.
حدثنا الزبير قال، وحدثني عبد الله بن نافع بن ثابت قال: بعث أبو عبيد الله إلى عبد الله بن مصعب في أول ما صحب أمير المؤمنين المهدي بألفي