Kabe nin yapılışı ve Hacerül esved ile ilgili çeşitli rivayetler vardır.

Bazı kaynaklar..
Hz Adem in Havva ile arafatta buluştuğu yerden batıya doğru yürümüş bugünkü kabenin bulunduğu yerde başını yukarı kaldırıp bu buluşmaya şükretmiş ve cennette iken çevresinde dua ettiği nurdan sütunu yeniden istemiş orada sütun Allah tarafından tecelli etmiştir.
Adem bu koridor çevresinde dua ederek dönmüş ( tavaf) yapmıştır. Daha sonra şit zamanında kötülükler, yalanlar, sapkınlıklardan dolayı bu nurdan ışık koridoru kaybolmuş ve bir yanık taş kalmıştır. "Hacerül esved" Şit o koridor gibi dört köşeli bir bina oluşturmuş ve taşı oraya yerleştirmiştir.

ikinci bir inanış...
Hz. ibrahim ve oğlu ismail tarafından yapılmış ve yapılış esnasında koyulacak özel bir taş isteyen ibrahim oğlu ismaili dağlara yollamış ve ismail bu meteor taşıyla dönmüştür. "Hacerül esved"

Üçüncü bir inanış da...
Taşın cennetten geldiğine inanılır. ilk zamanlar sakat ve hastalar taşa dokunarak şifa bulurlar ancak zamanla cahil insanların ve Allah a şirk koşanların günahları üstüne etkisi azalmış ve kararmıştır.