霍氏源自周代，出自姬姓。 文王封同母弟于霍，人称霍叔，这就是霍姓的始祖。

周公旦时，武庚叛乱，霍叔受牵连被周公降为庶人，但他曾受封的霍国却依然存在，直到公元前661年为晋国所灭。霍国始封地在今山西省霍县西南，霍叔的子孙以封邑为姓，在此地繁衍生息。这便是霍姓最初的由来。 山西霍县是霍姓人的发源地。汉武帝时一代名将霍去病和名臣霍光皆出于此。这一对霍氏兄弟，一文一武，出将入相，相得益彰，使得山西霍氏的声名显扬天下。