香炉峰建寺的具体年代目前尚无法考证，但史书记载，南朝宋大明间香炉峰（457464)，即有高僧慧静栖于天柱山寺（一称天柱精舍，香炉峰古称天柱山），弘法多年，并著《文翰集》10卷行世。

其后，又有高僧法慧东游禹穴，隐居天柱山寺，诵《法华经》，凡30余年，至齐建武二年（496年）卒于寺，春秋八十有五。至唐，诗人白居易游龙瑞宫后登攀香炉峰，参谒寺院