隋朝国祚短促，大运河的作用没有得到充分发挥，大运河充分发挥作用是在唐宋时期，就是《元和郡县志》中所说的“隋氏作之虽苦，后代实受其利”。
唐朝把大运河视作生命线.大运河的主要作用是嘈运租调，运输各地粮帛进京。当时都城所在的关中地区经常遭受水旱灾害，粮食不足以供应京师，而淮南一带则是全国最大的谷仓。因此，通过从扬州到洛阳的运河运送嘈粮便成为唐朝中央的中心任务之一。
唐代的大运河主要是连接扬州与洛阳的通济渠以及山阳渎。它们把长江、淮河、黄河、渭河连在一起，东起扬州、西至长安，长达一二千千米。通济渠在唐朝称为汴河。是由汜水‘今河南汜水)开始，引河水入汴，东流经汴州(今河南开封)、商丘、萧县、徐州人泗水;再由泗水入淮。山阳渎则由山阳(今江苏淮安)开始。经常丰堰、白马湖、宝应、高邮、扬州入长江，基本上利用了隋代运河的故道。中唐以后，长江中下游地区成为封建王朝财政收入的主要基地，因此，保证汴河的通航成为维持唐王朝统治的关键所在。唐朝在汴州东面凿了一条水，名叫湛渠，与另一水道白马沟相连，而白马沟又沟通了济水，这样，齐、鲁一带大部分郡县的租调就可以沿着济水、汴河运到洛阳。
此外，唐代还开有广济渠。上游利用唯水，下游利用蕲水，经过虹县(今安徽泗县〕，至淮阴北9千米入淮。
唐朝对永济渠运输量较大的南段加以扩展，渠道加宽到十七丈（56.7米)，浚深到二十四尺(8米)，航道更为通畅了:另外还在永济渠两侧凿了一批新支渠，如清河郡的张甲河、沧州的无棣河等，以便于深入粮区，充分发挥永济渠的作用。