隋朝国祚短促，大运河的作用没有得到充分发挥，大运河充分发挥作用是在唐宋时期，就是《元和郡县志》中所说的“隋氏作之虽苦，后代实受其利”。
唐朝把大运河视作生命线.大运河的主要作用是嘈运租调，运输各地粮帛进京。当时都城所在的关中地区经常遭受水旱灾害，粮食不足以供应京师，而淮南一带则是全国最大的谷仓。因此，通过从扬州到洛阳的运河运送嘈粮便成为唐朝中央的中心任务之一。
唐代的大运河主要是连接扬州与洛阳的通济渠以及山阳渎。它们把长江、淮河、黄河、渭河连在一起，东起扬州、西至长安，长达一二千千米。通济渠在唐朝称为汴河。是由汜水‘今河南汜水)开始，引河水入汴，东流经汴州(今河南开封)、商丘、萧县、徐州人泗水;再由泗水入淮。山阳渎则由山阳(今江苏淮安)开始。经常丰堰、白马湖、宝应、高邮、扬州入长江，基本上利用了隋代运河的故道。中唐以后，长江中下游地区成为封建王朝财政收入的主要基地，因此，保证汴河的通航成为维持唐王朝统治的关键所在。唐朝在汴州东面凿了一条水，名叫湛渠，与另一水道白马沟相连，而白马沟又沟通了济水，这样，齐、鲁一带大部分郡县的租调就可以沿着济水、汴河运到洛阳。
此外，唐代还开有广济渠。上游利用唯水，下游利用蕲水，经过虹县(今安徽泗县〕，至淮阴北9千米入淮。
唐朝对永济渠运输量较大的南段加以扩展，渠道加宽到十七丈（56.7米)，浚深到二十四尺(8米)，航道更为通畅了:另外还在永济渠两侧凿了一批新支渠，如清河郡的张甲河、沧州的无棣河等，以便于深入粮区，充分发挥永济渠的作用。
大运河大大促进了沿线许多商业城市的繁荣。如扬楚运河（即隋朝的山阳渎)南端的扬州和北端的楚州(治所在山阳)，汴河上的汴州和宋州(今商丘市)，永济渠上的涿郡等。扬州是南北商人的集中地，南北百货的集散处。它“十里长街井市连”，在全国州一级的城市中位列第一，超过成都和广州，人称“扬一益二”。注州位于汴河北段，经过济水，东通齐鲁;经永济渠，北联幽冀;经黄河，可达秦晋，迅速发展成为黄河中下游的大都会。后来，梁、晋、汉、周、北宋五代都建都于此，其主要原因，就是因为它是一个水运方便的繁华城市。
广通废后漕渠兴
广通渠在隋文帝时对缓解关中的粮食紧张发挥了很大的作用。但在隋炀帝时，政治中心由长安东移到了洛阳，关中对粮食的需求大减，于是广通渠失修，逐渐湮废;唐朝定都长安。起初对东粮西运的需求并不大，通过渭水每年西运几十万石粮食就可以了。后来，长安人口增加，官府膨胀，漕粮逐渐供不应求。于是，唐玄宗天宝元年(742年)决定重开广通渠。新水道由韦坚主持修建，次年修成，取名漕渠。仍然以渭水为新渠的主要水源，并在咸阳附近的渭水河床上修建了一座兴成堰，以节水。同时，还引来了源自南山的沣水、水，增加了漕渠的水量。漕渠在憧关西面的永丰仓与渭水会合，长一百五十多千米。漕渠修成后，每年可运漕粮粟400万石。
当时黄河中三门砒柱对运粮船的威胁仍然很大。大约在漕渠重修的同时，陕郡太守李齐物组织人力，在三门山北侧的岩石上施工，打算凿出一条新的航道，以避开艰险的旧航道。大约苦干了一年左右，凿出了一条名叫开元新河的水道。但因石质坚硬，新河河床约深度没有凿够，在黄河大水时还能通航，但是平时不能过船。三门险道的威胁仍然没有解决。