因此这一时期又被称为犹太民族历史上的第二圣殿时期。公元前37年犹太人对第二圣殿进行了扩建。从公元前63年起犹太人又成为了罗马帝国的臣民。犹太人不断掀起反抗罗马统治的起义。公元前19年左右罗马在又一次镇压犹太人起义后烧毁了犹太人心中无比神圣的圣殿，然后就在第二圣殿的遗址上修建起了一圈护墙以彰显军功。罗马人修建的耶路撒冷城墙经过长年的风吹雨打后只剩下西侧的一段。
这就是哭墙最早的雏形。由于哭墙是耶路撒冷古城墙中西侧的一段，所以哭墙有时也被称为西墙。尽管哭墙最早的雏形是罗马人在公元前19年左右修建的，然而我们今天看到的哭墙早已不是2000多年前罗马人修建的哭墙了。事实上继罗马人之后统治耶路撒冷的阿拉伯人、奥斯曼人都曾修缮过哭墙。这就像秦始皇修建了最早的万里长城雏形，但此后历朝历代都不断对长城进行修缮一样。
如今哭墙底部的大石块基本上还是2000多年前罗马人留下的，中间部分的石块主要是阿拉伯帝国倭马亚王朝时期修缮的，而哭墙顶部的石块主要修筑于奥斯曼土耳其帝国统治时期。现在的哭墙其实是千百年来不同王朝统治者共同修建的结果。公元135年罗马人将巴勒斯坦地区的犹太人逐出，同时又从其他地区移入非犹太居民。犹太人从此开始了近2000年在世界各地颠沛流离的生活。
在相当长一段时期内罗马帝国禁止犹太人返回故土。直到罗马帝国分裂后东罗马拜占庭帝国才允许犹太人每年一次到圣殿山下朝拜，但依然不允许犹太人进入耶路撒冷城内。从此以后每年都有来自各地的犹太人来到耶路撒冷西墙外。他们在西墙上刻字、涂油、朝拜并哭泣着他们不幸的民族命运，因此久而久之耶路撒冷西侧这段城墙就被称为“哭墙”。“哭墙”这个称号最早仅限于犹太人内部，而国际上大多数人一般还是习惯称其为西墙。
