明朝末，贵阳人杨大宾(字君山)少时读书东山上。后任浙江吴兴知县，因天旱助民抗租而慷慨自刎，时人钦其节义，刻石"君山读书处"于山顶，以资纪念。东山寺在十年动乱中被摧毁殆尽，仅存屋基。石阶两旁悬崖峭壁上，有摩岩石刻多处，现大多已毁坏。