明太祖朱元璋封其重孙朱守谦为靖江王，设此处为藩邸。所以朱守谦在明洪武五年开始建府，历时20年才完工。桂林王城先后经历了14位靖江王，后来被清定南王孔有德所占而成为定南王府。

清顺治九年，农民军李定国攻克桂林后，孔有德纵火自焚，使有250多年的王城化为焦土。

王城之内的明代旧物，有承运殿前的明代石道，承运殿的雕栏、台基、石栏和云阶玉陛等供人游览。

宋高宗赵构、元顺帝妥欢孛儿只斤铁木尔登基之前，曾在独秀峰下居住，所以王城又被认为是潜龙之地。