维吾尔族主要聚居于常德地区的桃源县枫树乡回维村、莫溪峪、翦永家等地，少部分杂居于津市、常德市和汉寿县。

桃源的维族，原系新疆维吾尔族哈勒家族一支，其祖先哈十八于明平定西北时，在徐达军中为前峰，屡战有功，后授荆襄指挥使。洪武四年（1372年），朱元调哈十八率其军――“翦字营”南下驻军常德府，屯兵戍守于桃源县的枫树岗。后哈十八因战死沙场而封将军，子孙世袭，遂以“翦”字为姓，“就地落户”，繁殖人口。所以湖南维族都姓翦，著名历史学家翦伯赞，就是湖南维吾尔族人。