伏波山位于市区东北，濒临漓江。唐代山上曾新建新息候祠，新息候祠是汉代伏波将军马援的封爵，所以山以伏波为名。
还珠洞位于伏波山的山腹，关于其名字的来历有很多传说，说法不一，其中一个说法是当年马援率军南征，交趾国得胜，班师回朝，用船运载在当地买来的薏苡作为药材，有人诬告他运的是从合浦搜刮来的珍珠，于是他当众把薏苡倒入的伏波潭里，以表明自己的清白，“还珠”由此得来。还珠洞洞壁上石刻甚多，最著名的是宋代书画家米芾的自画像和诗人范成大的题诗。
试剑石位于洞中临江的东口，“悬空而下，状若浮柱，去地一线不合”。传说马援南征时与作乱犯境者在还珠洞中谈判，谈至僵局，将军拔剑而起，竟将巨大的石柱贴地削去寸余，对方为之色变，应马将军的要求答应退兵一箭之地。伏波将军登上伏波山，只见他箭似流星，一箭射穿三山，直飞到犯境者出发的地界才落下。