《中国语言地图集》将遂昌归并到吴语处衢片龙衢小片。吴语，又称江东话、江南话、江浙话、吴越语。周朝至今有三千多年悠久历史，底蕴深厚。在中国分布于今浙江、江苏南部、上海、安徽南部、江西东北部、福建北一角，使用人口九千多万。吴语是汉藏语系汉语语族的一支语言，中国七大方言集合之一。

因此遂昌话是汉藏语系的方言。