وأشهد على نفسه عند الموت أن عبد الله بن هارون أشهد عليه أن الله وحده لا شريك له، وأنه خالق، وما سواه مخلوق، ولا يخلو القرآن من أن يكون شيئا له مثل، والله لا مثل له، والبعث حق، وإني مذنب، أرجو وأخاف، وليصل علي أقربكم، وليكبر خمسا، فرحم الله عبدا اتعظ وفكر فيما حتم الله على جميع خلقه من الفناء، فالحمد لله الذي توحد بالبقاء، ثم لينظر امرؤ ما كنت فيه من عز الخلافة، هل أغنى عني شيئا إذ نزل أمر الله بي؟ لا والله، لكن أضعف به على الحساب، فيا ليتني لم أك شيئا، يا أخي، ادن مني، واتعظ بما ترى، وخذ بسيرة أخيك في القرآن، واعمل في الخلافة إذ طوقكها الله عمل المريد لله، الخائف من عقابه، ولا تغتر فكأن قد نزل بك الموت، ولا تغفل أمر الرعية، الرعية الرعية، فإن الملك بهم، الله الله فيهم وفي غيرهم، يا أبا إسحاق، عليك عهد الله، لتقومن بحقه في عباده، ولتؤثرن طاعته على معصيته، فقال: اللهم نعم. هؤلاء بنو عمك من ذرية علي ﵁، أحسن صحبتهم، وتجاوز عن مسيئهم.
ثم مات في رجب، في ثاني عشره، سنة ثمان عشرة ومائتين وله ثمان وأربعون سنة، توفي بالبذندون فنقله ابنه العباس، ودفنه بطرسوس في دار خاقان خادم أبيه.
قال الأصمعي: كان نقش خاتمه: عبد الله بن عبيد الله.
وله من الأولاد: محمد الكبير، والعباس، وعلي، ومحمد، وعبيد الله، والحسن، وأحمد، وعيسى، وإسماعيل، والفضل، وموسى، وإبراهيم، ويعقوب، وحسن، وسليمان، وهارون، وجعفر، وإسحاق، وعدة بنات.