罗马皇帝韦帕芗
罗马皇帝提图斯
公元70年被罗马士兵从西墙上扔下的石头
到公元135年，由于犹太人不断兴起反抗罗马的复国运动，因此罗马帝国在镇压了犹太人的最后起义后，将犹太人驱逐，并把耶路撒冷改名埃利亚·卡皮托利纳（Aelia Capitolina），犹太省改名为叙利亚巴勒斯坦（Syria Palaestina）。并且直到拜占庭帝国时期，犹太人才被允许在圣殿被毁纪念日（禁食日，Tisha B'Av，是犹太人哀悼第二神庙和耶路撒冷的毁灭，以及犹太人遭受的灾难的日子）当天到耶路撒冷朝觐，其他时间不允许进入耶路撒冷，并且罗马帝国曾在圣殿遗址上修筑了一座朱庇特神庙。从此，犹太人被迫离开自己的家乡，流散到全世界，只能在每年圣殿被毁日可以到西墙哭泣祷告，正是因为如此，所以才会有“哭墙”之名。
西墙上的石头
到公元7世纪时阿拉伯倭马亚王朝占领巴勒斯坦，巴勒斯坦开始逐步阿拉伯化，这也就是今天巴勒斯坦地区阿拉伯人的由来。阿拉伯人允许犹太人在圣殿入口附近祷告，具体位置在今天威尔逊拱以北，西墙隧道之内。公元705年，阿拉伯人在第二圣殿遗址上建立了阿克萨清真寺这一伊斯兰教圣地，这样西墙也就成为了伊斯兰教圣地的一部分，但犹太人仍然将之看做是犹太人信仰和团结的象征，仍然每年到此哭泣祷告以表示哀悼，同时也有很多犹太人也将自己的心愿或哀悼写在纸上塞入墙的缝隙中。这其实就是“哭墙”这一称呼的来源。
