五桂桥的名字其实和桂花全然无关。民国时期，在流经此地的沙河之上建有一座三孔石拱桥，桥头以西的小地名叫乌龟坝，那里曾经有一个石刻乌龟。久而久之，无名的石拱桥就被行人喊作乌龟桥，后来有人觉得不雅，才改名为五桂桥。在1950年将石拱桥改建为木桥时，这座桥就正式命名为五桂桥了。