望夫岩相传是舜帝南巡，娥皇女英日夜牵挂，于是闻迹寻踪南下，一路跋山涉水至麒麟山，不巧舜帝刚乘船沿舂陵河南行。

舜离时似乎预料娥皇女英之行，曾咐乡民传意:南行艰辛，莅山候君。为承舜志，造福乡邻，娥皇女英居于仙人崖古樟旁山洞，奔乡野，倡教化，又望舂陵水，盼夫早日归。