灵渠的关键是分水工程。分水工程建在海洋河上，引湘江水入灵渠。湘江上游的海洋河水量比较丰富，在海洋河上建立分水工程，就可以使灵渠保持充足的水量，便于船只从海洋河通过分水工程进入运河。分水工程的具体位置在今兴安县城东南约两千米远的分水村。虽然这里并不是距离始安水最近的地方，但是此处海洋河河床较高，大体与始安水的海拔高度相当，便于把水引入运河。所以也就舍近求远，把分水工程选择在此。
分水工程是“L”形，似木工的曲尺，角尖对着海洋河的上游。这座曲尺形的分水工程，后人称为人字堤，就是今天大小天平的前身。平时，它拦截海洋河，使旧道不再通水，把海洋河水分成两部分，七分进入北渠，三分入南渠。进入北渠的水，从人字坝向北，经过约3.5千米的渠道，到今洲子上村附近回到湘江故道；进入南渠的水，经过人工开凿的4.5千米的渠道，引入灵渠，作为运河的主要水源。故有“三分漓水七分湘”之说。人字堤属于滚水坝性质的工程，来洪水时，大水可以翻越大坝流入海洋河旧道，以减轻天平本身及南、北渠道的压力。唐代在人字堤的顶端前面又建铧嘴，以提高分水功能和保护天平。
南渠可分为上下两段，上段自小天平向西北走向，到兴安县北，接始安水，长约4.5千米。这一段系凿岩成渠，全部由人工开成，宽度虽然只有7-14米，但工程比较艰巨。下段沿始安水、零水向西，至今溶江镇附近接漓江，长约30千米，是在始安水和零水的基础上拓展而成的，宽约10-60米。南渠全长30多公里，落差29米，水面“坡度”很大，渠道上不设辅助工程，不便舟楫上下。船要“爬”山，对水面“坡度”就要有一定的要求。水面的“坡度”在航行术语上叫做“比降”。现代科学证明，适合于航行的比降应在小于1/3000以下的范围，即在长3000米的水面上水位升高或下降不得超过一米。比降越大，水流越急，对航行越不利。而湘江水面和漓江水面的水位差很大，即使用筑堤的办法来提高水位，比降还是太大，离要求还是差得很远。后人推测，为了便于通航，可能已在沿渠建有原始斗门。
北渠在湘江的北部，是指从大天平向右过北陡，直至汇入湘江的人工河段。北渠经过的地带是个山间小平原，这里的地面虽然沟壑较少，但坡度偏大，采用直线渠道，与南渠一样，就会流水过急，不便航行。为了减少这段渠道比降，古代工匠们开挖渠道时有意让河道迂回曲折，多拐几个180度的大转弯。这样，原来直线距离仅为2.3千米的河道被延长成了3.5千米的人工河道，当然比降—也就是水面的“坡度”就相应变小了，船“爬”山也就容易多了。
灵渠从秦开凿始，历代都在使用，尤其在唐宋两代达到使用的高峰期。由于灵渠在军事和经济中的重要作用，历代都非常重视它的维修和治理，使之保持良好的运行状态。隋唐以前，灵渠的维修都与封建中央政权大规模的军事行动有关。隋唐以后，一般的管理和维修有地方官吏承担。自宋以后，灵渠的日常管理和维修在史料中都有明确记载，《明实录》中就明确地记有：灵渠“向系五年大修，三年小修”。到清代，设渠长一人，渠目一人，每陡设陡夫二人对灵渠实行日常管理。