此后，伴随着汉朝的开疆拓土，汉长城在秦长城的基础之上继续向西延伸，今天玉门关、阳关一带，还留有部分汉长城遗址。
从魏晋到隋唐，为抵御北方游牧民族的入侵，大多沿用秦汉长城旧址，并结合本朝实际进行改造、重建，其长度、位置各不相同，也随着王朝国力的强弱而进退不定。总体来看，历朝历代长城遗址，基本沿今天内蒙古自治区南界和阴山东西一线上下摆动。
其中，辽金两代的长城修建比较特殊。辽代和金代都以北方民族政权起家，其国防重点在更加西北方向的蒙古高原，因此，辽代在蒙古高原东北部、金代在大兴安岭沿线都曾修建长城。
我们今天所见到的长城，绝大部分是明朝修建的，而且是明朝中期以后才大规模修建的。
1449年土木堡之变以后，明朝国防压力渐渐增大，修建长城的必要性越来越突出。此后一百多年的时间里，榆林、甘肃、宁夏、大同、宣府、蓟镇、辽东等九边重镇纷纷开始建造长城。也就是说，明朝的长城，是各边镇在不同时间分段进行修建，经过一百多年的时间才慢慢连为一体的。
