汉武大帝由于巫蛊案，卫子夫上吊自尽，太子刘据及其子孙被诛杀，卫氏家族被灭门，但是霍光没有被牵连，行为虽然霍光和霍去病是兄弟，但他俩是同父异母的兄弟，霍去病的母亲是卫子夫的姐姐，与霍去病的父亲私通有了霍去病，而霍光与卫氏家族没有关系，所以霍光没有被牵连上。