وذكر الطبري أن "العزى" صنم لبني شيبان بطن من سليم -حلفاء بني هاشم- وبنو اسد بن عبد العزى- يقولون: هذا صنمنا، وإنها كانت بيتا يعظمه هذا الحي من قريش، وكنانة ومضر كلها١.
وينسب ابن الكلبي بناء بيت العزى إلى ظالم بن أسعد؛ إذ يقول: بس، بيت لغطفان بن سعد بن قيس عيلان كانت تعبده، بناه ظالم بن أسعد بن ربيعة لما رأى قريشا يطوفون بالكعبة ويسعون بين الصفا والمروة، فذرع البيت، ونص العباب، وأخذ حجرًا من الصفا، وحجرًا من المروة. فرجع إلى قومه، وقال: يا معشر غطفان لقريش بيت يطوفون حوله والصفا والمروة، وليس لكم شيء؟ فبنى بيتا على قدر البيت ووضع الحجرين، فقال: هذا الصفا والمروة فاجتزئوا به عن الحج، فأغار زهير بن جناب، فقتل ظالما، وهدم بناءه٢.