广东清远潘氏最多，潘姓人徙居广东，大概始于唐代。据《大埔县志·人物》载，生于唐元和十二年（817）的原福建沙县籍潘了拳，从小吃斋，12岁时父母先后去世。17岁流落到广东大埔西河乡，为寡妇游氏收为养子。到养母去世，便出家为僧。后为灵光寺开山祖师。

史载五代十国时，南汉南海人潘崇彻官内侍省局丞，好读兵书，屡立军功。

宋将潘美南下，崇彻奉后主刘鋹之命率军3万防守贺江，遂降于宋。至宋，徙居广东的潘姓人逐渐增多。而大批入粤者，则始于明代。