波斯帝国被马其顿的亚历山大大帝所灭后犹太人又成为亚历山大帝国的臣民。亚历山大延续了波斯帝国对犹太人相对宽松的统治政策：犹太人在臣服于帝国的前提下可以保持自己的宗教信仰、风俗习惯，也可以保留一定的自治权。亚历山大大帝死后他的帝国迅速分裂成为马其顿王国、叙利亚塞琉古王国、埃及托勒密王国三国，而犹太人所生活的迦南地区则长期处于塞琉古王国和托勒密王国的争夺之中。
公元前160年犹太人建立了以耶路撒冷为中心的哈斯蒙尼王朝（又翻译为马卡比王国）。这个王国周旋于塞琉古王国和托勒密王国两大强国之间，尽管不得不向两大强国称臣纳贡，但实质上相当于一个内政独立的藩属国。后来塞琉古、托勒密两大王国都被新兴的罗马人所征服，在这一过程中罗马人的扩张触角也延伸到了迦南地区：公元前63年罗马统帅庞培兵临耶路撒冷城下。
庞培在经过3个月左右的攻城战后拿下了耶路撒冷。罗马人攻陷耶路撒冷后展开了屠城行动，侥幸活下来的幸存者则被贩卖为奴。此后犹太国家沦为了罗马帝国的附庸，不过在形式上仍保留着一个国家的行政架构。从公元66年起犹太人不断掀起反抗罗马统治的起义。公元70年8月30日罗马人占领并焚烧了犹太人的圣殿。公元73年4月15日罗马人攻陷了犹太起义军固守的马萨达要塞。
此后犹太人又在亚历山大、塞浦路斯等地发动了几次反罗马起义，但最终都被罗马统治当局镇压下去。罗马皇帝哈德良为缓和犹太人的反抗情绪试图修复耶路撒冷的圣殿，然而他很快发现这样做与罗马帝国在当地长期以来所推行的文化政策在目标上并不一致，罗马总督的剥削与勒索也使修复圣殿的工作始终难以完成。哈德良最终变卦了：他不仅放弃重修圣殿，同时还禁止犹太人行割礼。
