春秋吴国为伐齐国而开凿邗沟
胥溪、胥浦是大运河最早成形的一段，是运河的萌芽时期，相传是以吴国大夫伍子胥之名命名。当时统治长江下游一带的吴国君主夫差，在吴国早已攻克楚国、越国之后，挡在他面前的只有齐国，夫差为了北伐齐国，争夺中原霸主地位，他调集民夫开挖自今扬州向东北，经射阳湖到淮安入淮河的运河（即今里运河），因途经邗城，故得名“邗沟”，全长170公里，把长江水引入淮河，成为大运河最早修建的一段，运河就是为水上运输而生的。至战国时代又先后开凿了大沟（从今河南省原阳县北引黄河南下，注入今郑州市以东的圃田泽）和鸿沟，从而把江、淮、河、济四水沟通起来。
隋朝大幅度扩修并贯通至都城洛阳且连涿郡。
“隋唐大运河”，分为四段：永济渠、通济渠、邗沟、江南河。
在公元七世纪初隋炀帝统治后，迁都洛阳。为了控制江南广大地区，使长江三角洲地区的丰富物资运往洛阳，于大业元年（公元605年）下令开凿洛阳到江苏清江（今淮安市）约1000公里长的“通济渠”，直接沟通黄河与淮河的交通，并改造邗沟和江南运河；大业四年(608年)开凿从洛阳经山东临清至河北涿郡（今北京西南）长约1000公里的“永济渠”，连同公元584年开凿的广通渠，形成多枝形运河系统。再于公元610年开凿江苏镇江至浙江杭州（当时的对外贸易港）长约400公里的“江南运河”；同时对邗沟进行了改造。这样，洛阳与杭州之间全长1700多公里的河道，可以直通船舶。 扬州是里运河的名邑，隋炀帝时在城内开凿运河，从此扬州成为南北交通枢纽，藉漕运之利，富甲江南，为中国最繁荣的地区之一。
（1）广通渠，从长安至潼关东通黄河。以渭水为主要水源。
（2）通济渠，从洛阳沟通黄、淮两大河流的水运。
（3）山阳渎，北起淮水南岸的山阳（今江苏淮安市淮安区），径直向南，到江都（今扬州市）西南接长江。
（4）永济渠，在黄河以北。从洛阳对岸的沁河口向北，直通涿郡（今北京市境）。
元朝翻修时弃洛阳而取直至北京
在十三世纪末元朝定都北京后，为了使南北相连，不再绕道洛阳，必须开凿运河把粮食从南方运到北方。为此先后开凿了三段河道，把原来以洛阳为中心的隋代横向运河，修筑成以大都为中心，南下直达杭州的纵向大运河，元朝花了10年时间，先后开挖了“济州河”和“会通河”，把天津至江苏清江之间的天然河道和湖泊连接起来，清江以南接邗沟和江南运河，直达杭州。而北京与天津之间，原有运河已废，又新修“通惠河”。这样，新的京杭大运河比绕道洛阳的隋唐大运河缩短了九百多公里。
元代开凿的重点段一是山东境内泗水至卫河段，一是大都至通州段。至元（元世祖忽必烈年号）十八年（公元1281年）开济州河，从任城（济宁市）至须城（东平县）安山，长75公里；至元二十六年（1289年）开会通河，从安山西南开渠。由寿张西北至临清，长125公里；至元二十九年（1292年）开通惠河，引京西昌平诸水入大都城，东出至通州入白河，长25公里。至元三十年（1293）元代大运河全线通航，漕船可由杭州直达大都，成为今京杭运河的前身。
