قال أبو علي: وخرجت عن بغداذ سنة ثمان وعشرين وثلاثمئة، ثم دخلتُ الأندلس في سنة ثلاثين وثلاثمئة، ثم دخلت إلى قرطبة في شعبان لثلاثٍ بقينَ منه سنة ثلاثين وثلاثمئة.
وسألتُ أبا عليٍّ لِمَ قيل له: "القالي"؟ فقال: لمَّا انحدرنا إلى بغداذ كُنَّا في رفقة فيها أهلُ قالي قلا، فكانوا يحافظون لمكانهم من الثَّغْر، فلما دخلتُ بغداذَ انتسبتُ إلى قالي قلا، وهي قرية من منَازجِرْد، ورجوتُ أن أنتفع بذلك عند العلماء، فمضى عليَّ القاليّ.
وتوفي في ربيع الآخر سنة ست وخمسين وثلاثمئة، ودُفن بمقبرة مُتعَة، وصلى عليه أبو عُبَيدٍ الجُبَيريّ.