上海历史博物馆是从1850年代的上海跑马厅建筑群，到1950年代的上海图书馆和博物馆，再到1990年代的上海市美术馆，最后到现在的上海历史博物馆，是经过多次的利用旧址规划设计改造的成果。

现在的东楼和西楼都是通过地下展厅连接，西楼是1928年建造的，东楼是1934年建造的，现在已成为上海市重要的文化活动场所。