قال ابن جراح: كان شاعرًا فصيحًا صحب الرشيد والمأمون، وكان له منهما حال جليلة، وولى المأمون أخاه عبيد الله بن الحسن الحجاز واليمن.
وزعم صاحب زهر الآداب: إنَّ العباس كان في طبقة ابن المهدي وأنشد له: [من الوافر].
أباح لك الهوى بيض حسان … سبينك بالعيون وبالثغور
نظرت إلى النحور فكدت تقضي … فكيف إذا نظرت إلى الخصور
قال: وكان المأمون يقول: من أراد أن يسمع لهوًا بلا حرج فليسمع كلام العباس.
قال أبو دلف: دخلت على الرشيد وهو في طارمة على طنفسة ومعه عليها شيخ جميل المنظر، فقال لي الرشيد يا قاسم ما خبر أرضك؟ فقلت: خراب يباب خربها الأكراد والأعراب، فقال قائل: هذا آفة الجبل وهو أفسده، فقلت: فأنا أصلحه، قال الرشيد: وكيف ذاك؟ قلت: افسدته وأنت علي، وأصلحه وأنت معي، فقال الشيخ: إنَّ همته لترمي به من وراء سنه مرمى بعيدًا، فسألت عن الشيخ، فقيل: العباس بن الحسن.
وسئل العباس عن طيب عشرة جليس له فقال: أنا لمجالسته أطرب من الإبل على الحداء، أو الثمل على الغناء.
وذم رجلًا فقال: الحمى على الإصرار وطول السقم على الأسفار وعظم الدين على الاقتار بأشدّ من لقائه، ولا أعظم إيلامًا من بقائه.
وقال للمأمون: يا أمير المؤمنين إنَّ لساني لينطق بمدحك غالبًا، وقد أحببت أن يزيد عندك حاضر أفتأذن لي أمير المؤمنين؟ فقال: قل فوالله إنك لتقول فتحسن، وتحضر فتزين وتغيب فتؤتمن، فقال العباس: ما بعد هذا كلام يا أمير المؤمنين، أفتأذن في السكوت؟ قال: إذا شئت.