传说因山上常有紫色云霞覆盖，故名。今康乐街（瑞安剧院一带），古名“紫霞坊”，也是因山名街坊。明嘉靖三十五年（1556）十月，倭寇由闽北犯县境，瑞安守备刘隆曾督兵西山，题名于原石刻“紫霞山”三字下，今题名已剥蚀。
宝光寺紫霞山传说
清代乾隆初年，宝光寺殿宇残破。方丈恢彰禅师衲衣芒鞋，不惮风霜，托钵行化，来到北京。他发下宏誓大愿：不募到足够银两修复寺庙，宁可死在京城。事有凑巧，一位衣著华丽的"富商"送了他一张三千两的银票，并问："和尚是哪座山来的?"宝光寺位于川西坝子的中心，附近也没有山。恢彰正苦于不好回答，突然急中生智，想起唐僖宗住宝光寺时，曾见地面放出紫色霞光，于是赶快回答“贫僧是四川紫霞山来的”。“富商”随口说道：“好，我今后要来紫霞山烧香拜佛哩!”
恢彰回到成都府兑换银两时，方知送银票的"富商"原来是微服出行、游逛北京市街的乾隆皇帝。
过了不久，乾隆皇帝下江南的消息传来，可把恢彰和尚急坏了。皇上来到四川，若瞧不见紫霞山，便有欺君之罪，理当问斩。恢彰对这件事不敢向外声张，只好悄悄命寺里的和尚们召夜挑土，加紧垒山。紫霞山终于垒成了，但是乾隆皇帝六次巡行江南，一行次也没有到过四川，他早就把来紫霞山的事忘了。由于紫霞山与乾隆皇帝有关，从此，这座土山成了宝光寺的胜地，寺内历代方丈更自称为“紫霞主人”。
为了报答皇恩，道光年间的方丈妙胜禅师建罗汉堂时，还为乾隆皇帝塑了像，乾隆手中的金锭，正象征着他送给恢彰的三千两银子。
