白鱼寺相传始建于明朝年间，朱元璋和军师刘伯温经过白鱼庙旁的尼姑庵门前，下起了大雨，二人便进庵避雨。

雨越下越大，短短半个时辰，庵前大河里的水猛涨，忽见河内浪花翻滚并伴有响声，一群白鱼穿梭而过。

见此壮观奇象，二人认为此地乃难得风水宝地，适宜建造庙宇。于是吩咐当地渔夫负责建造，并取名为白鱼庙。

而后四邻八乡太太平平，风调雨顺，遂又把尼姑庵改名为太平庵。方圆十里的百姓皆知，每年白鱼都会来朝庙，这一奇观一直到新中国六七十年代。