半山园原名“晋谢公墩”，早前为谢安故居，北宋时为王安石宅第。

因其距当时城东门七里，距紫金山亦七里，恰为半途，因而王安石将宅府命名为“半山园”，王安石晚年亦自号“半山”。王安石的一生都与金陵有着不解之缘。在园内，王安石结交了许多高逸之友，包括米芾、李公麟、欧阳修和苏东坡等。王安石与苏东坡虽政见不同，却是文化知音。相传有一次苏东坡乘船经过南京，王安石特地骑着驴子，穿着粗布服到江边去迎接，留下一段前任首相布衣见政敌兼诗友的佳话。