遐昌阁坐落在城东万寿宫内，建于清朝咸丰四年（1854）年，由江西人杨泗建造。为六方木质阁楼式结构，共三层，高20米。阁以抬梁式大木结构为主体，阁内12根大柱支顶，一层一檐，逐层向内收缩，似塔而非塔，造型独具匠心。