وقال أحمد بن خالد ومحمد بن عمر بن لبابة: ما رأينا أفقه من قاسم ممن دخل الأندلس من أهل الرحل. وقال بقي بن مخلد: قاسم: أعلم من محمد بن عبد الحكم لم يقدم علينا من الأندلس أعلم من قاسم. وقال بقي بن مخلد: قاسم أعلم من محمد بن عبد الحكم. وقال أبو عمر بن عبد البر: لم يكن بالأندلس أفقه منه ومن أحمد بن خالد. وذكره بن أبي دليم في الطبقة المالكية فقال: كان يفتي بمذهب مالك وكان يتحفظ كثيراً من مخالفة المالكية.
قال أحمد بن خالد: قلت له: أراك تفتي الناس بما لا تعتقد وهذا لا يحل لك؟ قال: إنما يسألوني عن مذهب جرى في البلد يعرف فأفتيهم به ولو سألوني عن مذهبي أخبرتهم. وألف قاسم كتاباً في الرد على بن مزين والعتبي وعبد الله بن خالد سماه: الرد على المقلدة وكتاباً آخر في خبر الواحد. روى عنه ابنه محمد ومحمد بن عمر بن لبابة وسعيد بن عثمان الأعناقي وأحمد بن خالد ومحمد بن أيمن وابن الزراد وغيرهم. توفي قاسم أول سنة ست وسبعين وقيل: سنة ثمان وقيل سنة سبع وسبعين ومائتين.