روى عطاء عن ابن عباس أَنَّ آدَمَ بَنَاهُ مِنْ خَمْسَةِ أَجْبُلٍ مِنْ لبنان وطور سيناء وطور زنيا والجودي وحراء.
وقال عثمان بن ساج: حدثت أن آدم لَمَّا بَنَى الْبَيْتَ، قَالَ: يَا رَبِّ! إِنَّ لكل عامر أجر، وَإِنَّ لِي أَجْرًا؟ قَالَ: نَعَمْ. قَالَ: تَرُدَّنِي من حيث أخرجتني. قال: ذلك لك. قال: وَمَنْ خَرَجَ إِلَى هَذَا الْبَيْتِ مِنْ ذُرِّيَّتِي، يُقِرُّ عَلَى نَفْسِهِ بِمِثْلِ الَّذِي أَقْرَرْتُ بِهِ مِنْ ذُنُوبِي أَنْ تَغْفِرَ لَهُ؟ قَالَ: نَعَمْ، ذَلِكَ لَكَ.
وَقَالَ وَهْبُ بْنُ مُنَبِّهٍ: لَمَّا رفعت الخيمة التي وضعها الله لآدم مكان البيت، ومات آدم وبنى بنو آدم من بعده مكانها بَيْتًا بِالطِّينِ وَالْحِجَارَةِ، فَلَمْ يَزَلْ مَعْمُورًا يَعْمُرُونَهُ هُمْ وَمَنْ بَعْدَهُمْ حَتَّى كَانَ زَمَنُ نُوحٍ، فنسفه الغرق.
قال مجاهد: وكان مَوْضِعُ الْبَيْتِ بَعْدَ الْغَرَقِ أَكَمَةً حَمْرَاءَ لا تعلوها السيول، وَكَانَ يَأْتِيهَا الْمَظْلُومُ وَيَدْعُو عِنْدَهَا الْمَكْرُوبُ، فَقَلَّ مَنْ دَعَا عِنْدَهَا إِلا