卫青的长子卫伉系在巫蛊之祸中遭遇打击。其少子卫登在汉宣帝时期因为是外戚受到重赏，家族复振，逐渐繁衍为河东卫氏，美男子卫玠就是河东卫氏。

其后，卫氏子孙绵延，成为人口众多，精英辈出的大姓。