元狩二年（前121年），霍去病拜骠骑将军之职，出击匈奴。霍光当时年仅十多岁，在霍去病的帮助下，先任郎官，随后迁任各曹官，侍中等。

又结合宣帝刘询评语：故大司马、大将军、博陆侯宿卫孝武皇帝三十有余年，辅孝昭皇帝十有余年。而辅佐宣帝（刘洵）6年有余，所以综合上述，大概60岁左右。