钟山名称在历史上曾经频频更换。最早叫做金陵山，战国时代楚国在此设置的金陵邑即由此山而得名，也是南京古称“金陵”的由来。

到了秦汉时代，通称为钟山。东吴时，因孙权的祖父名钟，为了避讳，而此山又是东汉末年秣县尉蒋子文的死地，所以改称蒋山。至东晋初年，人们常常看到山顶上缭绕着紫金色的云彩，所以就叫它紫金山，或金山。其实，这是山上的紫红色页岩，在阳光照耀下反射出来的自然色彩。