卫"是明初朱元璋确立军队编制名。凡沿海险要地段都设"卫"扼守，每"卫"约有560人，由都司率领，隶属于五军都督府，永乐年间，明成祖朱棣在全国设"卫"达到490多处。后来， "卫"就演化进了地名里面。卫字表明了这里曾是明代驻军的地方。

1386年就华亭县的筱馆镇筑城建卫所，以防御海上倭寇侵扰。因与邻近海中大小金山相对，故名金山卫，城呈正方形，周长6公里，为海防要塞，当时有重兵驻扎，作为保卫南京的屏障，金山卫因而发展为附近地区规模最大的城镇。