皇甫嵩的爷爷是皇甫旗，皇甫嵩的父亲和爷爷都是东汉地方官，他的叔叔是东汉末年名将皇甫规，他与张奂、段颎合称凉州三明，所以皇甫嵩出身将门世家。

皇甫嵩本人也是一代名将，在平定黄巾之乱时立下不世之功，董卓掌权时，皇甫嵩遭到陷害，经其子皇甫坚寿求情，才得以保全性命。董卓被诛后，出任征西将军，诛灭其宗族。