五佛山并不是新出现的名字，关于五佛山的名称在当地有一个优美的传说:相传徐达修长城时，找到军师刘伯温来帮忙，军师说:"五佛镇关，太平万年。你此去一定要找到靠山，条件具备，一切无事。"于是徐达来到山海关林中，只见有山有水，却不见五佛，索性踏遍青山。
一日来到平林寺，拜访一位方丈，方丈说:听师傅讲，这里在北齐时就修了一道边墙，俗称老边。风水先生修城时在这里看到有五佛，就把边关修在这里一直到海边，应了"五佛镇关，太平万年"之说。徐达向方丈求教指出五佛的所在，方丈与徐达登上高峰向西方望去，依方丈所指五佛惟妙惟肖的展现眼前。南面一座卧佛，东面站佛，西方坐佛，北方是弥勒佛，中心山上有一观音大士，面向南海做朝拜状。过去老百姓传说五佛镇关，太平万年，就是这五座佛。
