الجزيري يزري بهم ويحب الاشتمال على ابن أبي عامر، ويتصور فرط حاجته إليه في الإنشاء، ولم يكن من شأنهم، فسخط عليه المنصور، وأقصاه عن حضرته على فرط حاجته إلى خدمته، وقلد كاتبه على الحشم ديوان الرسائل، فاستجزأ به لذهاب مشيخة كتاب الرسائل في الوقت، ورضي بعد ذلك عن عبد الملك لما حمد حاله في الرياضة، ولم يزل يتولى له ديوان الرسائل إلى أن هلك المنصور.
ويقال: إن المنصور سجنه في مطبق الزاهرة مدة، فاستعطفه من الرسائل والأشعار بما أثمر تسريحه، فكتب إليه:
عجبت من عفو أبي عامر ... لا بدّ أن تتبعه منّه
كذلك الله إذا ما عفا ... عن عبده أدخله الجنّه
فسر المنصور بذلك، وأعاده إلى حاله، وأطلق له ما اعتقل من ماله، ثم استوزره بعده المظفر عبد الملك بن محمد بن أبي عامر.