سبب خروجه من بغداد، قصة جرت له لكلام قاله في الشافعي، فخاف على نفسه، وطلب فخرج فارًا عنها؛ قال الشيرازي وأنشد أبو محمد في خروجه من بغداد:
سلام [¬١] على بغداد في كل موطن … وحق لها مني السلام المضاعف
لعمرك ما فارقتها عن ملامة … وإني بشطي [¬٢] جانبيها لعارف
ولكنها ضاقت علي برحبها … ولم تكن الأرزاق فيها تساعف
فكانت كخل كنت أبغي [¬٣] دنوه … وأخلاقه تنأى به وتخالف (¬١)
وقرأت في بعض كتب الأخبار، أن الشعر ليس قوله، وأن القاضي أبا محمد قال: وجدت مكتوبًا على سارية بجدران، فذكرت الشعر، وأكثر الناس يرويه له - فالله أعلم.
ويروي له أيضًا في مثله:
بغداد دار لأهل المال واسعة … وللصعاليك دار الضنك والضيق
أصبحت فيها مضاعًا بين أظهرهم … كأنني مصحف في بيت زنديق