方世玉，生在乾隆年间的广东省，他的母亲也是武艺高强的侠女，可谓生长在武术世家。从小方世玉就受到母亲的锻炼，在他很小的时候就用药酒给他泡身子，锻炼他的筋骨，使他体格健壮。

在他长大点后，五六岁就开始习武，少年时的方世玉已经能熟练打出少林拳法，附近乡里无人能敌。