两广在先秦时期，是少数民族居住地，号称百越，其实就是由不同少数民族成分组成。

秦始皇统一中原后，命主帅任嚣和副帅赵佗领50万(数量存疑）秦兵南征越地。当时很多越族人逃难跑到了今天的越南地区，也就是越南的京族。留下来的和秦兵以及南迁的中原人民结合，成为现在的广东广西人的主体——广府人。至于潮汕以及客家人，则是后来乔迁到岭南地区的。