相传大禹治水到此，遇一水怪作乱，数载不克，后得灵龟降伏水怪，治水成功。后灵龟化为一山，即龟山。在龟山东端，有禹功矶、禹王庙、摩崖石刻等古迹晴川阁遗址在禹功矶上，与蛇山矶头上的黄鹤楼隔江相望，“为三楚胜地，千古巨观”。

龟山原名大别山，后又称鲁山，因为东吴大将鲁肃的衣冠冢在此。这名字一直用至明代。