传说山中红鱼洞曾有红鱼自洞口飞上红鱼溪安家落户。鱼山底下奇鱼数出，民间以为此山是鱼鳖发源之地，故名鱼山。还说鱼山底下是水府龙宫，内有鱼祖——鱼龙王，专司鱼鳖的繁衍生息，并由犀牛侍卫。

每年鱼祖打发一批子孙自龙门（鱼泉）奔向江河湖海，繁衍于世界。为感鱼祖之德，人们曾在山顶建成“鱼山寺”