霍光是霍去病的同父义母弟弟，他们有一个共同的父亲霍仲孺，霍光的母亲是霍仲孺的第二任妻子。霍去病凭借着自己的战功，一步步身居高位，他发迹后，丝毫没有忘记弟弟霍光，他将霍光带到长安城，为其寻求了一个郎官的官职。

霍光母亲

生母不详，史书没有记载。

霍光的父亲名叫霍仲孺，公元前141年前后，以县中小吏身份被派到平阳侯家服役。霍仲孺和平阳侯府中侍女卫媪之女卫少儿私通生下霍去病。霍仲孺在平阳侯家任务完毕返回家中，另娶妻子生下霍光，和卫少儿不再来往