灵应寺原名为“紫帽岩”，创建于唐末天祐年间（904年）。相传后唐年间有个神童叫李文愈，幼时孝行，家贫有志，童真弃俗，坐化于岩后茄吊滕中，后人将他塑造成像，祀奉为灵应祖师。旁立石碑《唐神僧灵应祖师现化记》记载：李文愈祖师（俗称灵应寺李公祖师）系“三真人六祖师”之一。师字文愈，诞生于唐代仁宅李家，幼有孝行，家贫有志，博超群伦，福而有德，常现神爱事迹昭闻，如渡溪飞笠、立石朝天、播竹茁地等，坐化于山中“茄藤”。乡人就其肉身塑像，祀于紫帽岩中，尊为李公祖师。五代后唐年间（923-936年）建寺。