这条运河北与海河相连，南与钱塘江相接，将海河、黄河、淮河、长江和钱塘江五大水系，连成了统一的水运网。这是我国古代劳动人民改造大自然的一项奇迹。是世界上最长的运河，也是世界比较早的运河。
国外著名的大运河有苏伊士运河、巴拿马运河、前苏联土库曼运河等。这些运河的长度不但都比我国的大运河短得多，而且也都比隋朝开凿南北大运河的时间晚1000多年。
运河开凿最早是在春秋时期，吴王夫差，为了争霸中原，向北扩张势力，在公元前486年引长江水经瓜洲（今江苏省邗江县南部）北入淮河。这条联系江、淮的运河，从瓜洲到末口（今淮安附近），当时称为邗沟，长约150公里。这条运河就是的起源，是大运河最早的一段河道。后来，秦、汉、魏、晋和南北朝又相继延伸了河道。
其后，公元605年，隋炀帝杨广下令开凿一条贯通南北的大运河。这时主要是开凿通济渠和永济渠。黄河南岸的通济渠工程，是在洛阳附近引黄河的水，行向东南，进入汴水（今已湮塞），沟通黄、淮两大河流的水运。通济渠又叫御河，是黄河、汴水和淮河三条河流水路沟通的开始。
应该说开凿运河是杨广的历史功绩之一。当时开凿运河是时代的需要和历史的必然，不能把隋炀帝杨广这个暴君穷奢极欲，爱好游玩，当成主要原因。
但这是劳动人们付出极大代价换来的。晚唐文人韩偓写的《开河记》中描写了修河民工的悲惨生活。文中写道，隋炀帝派遣了酷吏麻叔谋主管修河，强制天下15岁以上的丁男都要服役，共征发了360万人。同时又从五家抽一人，或老，或少，或女子，担负供应民工的伙食炊事。此外杨广还派出五万大汉作为监工，因为劳动负担很重，监工督责太急，动不动就用棍棒毒打，所以不到一年，360万民工死者竟达250万人。
运河的最后阶段是在元朝时期结束的，明清又加以完善。
