《姓氏考略》上提到，卓姓望出西河。古代的西河，即今山西省阳城，全国卓姓人家的老家便在这里，望族居西河郡（今山西省离石县），所以卓氏叫西河世家。

卓姓起源于春秋时候。当时楚国有个公子名叫卓，称为公子卓。公子卓的后代中有的以卓作为姓氏，称为卓氏，是今天卓姓最早的起源。卓氏的繁衍速度是比较迅速的。卓氏大规模地向各地播迁，大约发生于南北朝时期。