由于万安渡所在的水面风大浪急，其地理形势很不利于修桥，因此桥的施工难度很大。即使如此，蔡襄还是把桥成功地修好了，人们觉得不可思议，就在传说中把蔡襄造桥的事迹神话化了。传说，修桥时海潮汹涌，风浪交加，人们无法施工。怎么办呢?只好求助于海神了。蔡襄就给海神写了一封信，请海神暂停风浪。信写好了，派谁去送呢?蔡襄问大家谁能下海去送信?此时，刚好有一个叫夏德海的公差在一旁打瞌睡.朦胧中似乎听见有人在唤他，急忙上来应命。接过书信，才知道怎么回事。他知道任务艰巨，可是义不能抗命。于是来到海边借酒浇愁，结果喝得酩配大醉，睡倒在沙滩上。等他醒来时，书信已经换了封皮。拿回来呈给蔡襄，蔡襄拆开一看.信上只有一个“醋”字。蔡囊猜到海神令他在21日酉时动工。果然从21日起，潮水退落8日，桥墩的基础得以做好。当然，这只是神话传说。
实际上，万安桥并不是完全由蔡襄一个人主修的，而是在1054年。当地人王实、卢锡倡议并开始修建万安桥的。由于任务艰巨。工期就拖得很长。而蔡襄于1055年赴泉州任郡守，只呆了几个月，又调往福州。1058年再度出任泉州郡守，1060年又奉召还京。在万安桥长达18年的修建过程中，蔡襄在泉州只呆了短短几年，这座桥既不是他开始修建的。也不是他完成的。不过，蔡襄在建桥的过程中的确作出了很大贡献。