ما هي هذه فمضى به إلى كنيسة يقال لها صهيون وقال له هذا مسجد داود فقال له كذبت فمضى به إلى مسجد بيت المقدس حتى انته به غل الباب الذي يقال له باب محمد ﷺ وقد انحدر ما في المسجد من الزبالة على درج الباب حتى خرج إلى الزقاق الذي فيه الباب وكثر على الدرج حتى كاد أن يلصق بسقف الرواق فقال له لا نقدر أن ندخل إلا حبوا فقال عمر ولو حبواً فحبا بين يدي عمر وحبا عمر ومن معه خلفه حتى ظهروا إلى صحنه واستووا فيه قياماً فنظر عمر وتأمل ملياً ونظر يميناً وشمالاً ثم قال الله أكبر هذا والذي نفسي بيده مسجد داود ﵇ الذي أخبرنا رسول الله ﷺ إنه أسري به إليه ووجد على الصخرة زبلا كثيراً مما طرحته الروم غيظاً لبني إسرائيل فبسط عمر رداءه وجعل يكنس ذلك الزبل وجعل المسلمون يكنسون معه الزبل ومضى نحو محراب داود وهو الذي على باب البلد في القلعة فصلى فيه ثم قرأ سورة ص ومسجد.
وروي إنه لما جلا المزبلة عن الصخرة قال لا تصلوا فيها حتى يصيبها ثلاث مطرات.
وروي إنه لما فتح عمر ﵁ بيت المقدس قال لكعب يا أبا إسحاق أتعرف موضع الصخرة؟ فقال أذرع من الحائط الذي يلي وادي جهنم كذا وكذا ذراعاً ثم احفر فإنك تجدها وكانت يومئذ مزبلة فحفروا فظهرت لهم فقال عمر لكعب أين تر أن نجعل المسجد - أو قال القبلة -؟ فقال اجعله خلف الصخرة فتجمع القبلتان قبلة موسى وقبلة محمد ﷺ فقال له ضاهيت اليهودية يا أبا إسحاق خير الساجد مقدمها فبناها في مقدم المسجد.
وروي أن عمر قال لكعب أين تر نجعل المصلى؟ قال إلى الصخرة فقال ضاهيت والله يا كعب اليهودية بل نجعل قبلته صدره كما جعل رسول الله ﷺ قبلة مساجدنا صدورها اذهب إليك فأنا لم نؤمر بالصخرة ولكن أمرنا بالكعبة.