وكان جده لأمه: عبيد الله بن عثمان بن يحيى أبا القاسم الدقاق، المعروف بابن "جليقا" بالجيم واللام والمثناة التحتية بعد قاف ممدودة، أو ابن "جنيقا" بإبدال اللام نونًا، نسبة إلى أحد أجداده.
ولد جده المذكور سنة "٣١٨هـ"، وكان ثقة مأمونًا مكثرًا. روى عن المحاملي، وعنه العتيقي والأزهري وابن بنته أبو يعلى.
قال عنه أبو الفوارس: "كان ثقة مأمونًا، حسن الخلق، ما رأينا مثله في معناه".
وقال ابن الجوزي: "كان صحيح السماع، ثبت الرواية". مات في شهر رجب سنة "٣٩٠هـ"١.
وتقف المصادر التي اطلَعت عليها على ما ذكرت من أجداد القاضي أبي يعلى، غير ذاكرة أصله الذي ينتمي إليه، وإنما اكتفت بأنه بغدادي المولد والنشأة والوفاة.