高欢的爷爷高谧，在三国时代魏飞黄腾达，官至侍御史，专司督察郡县、举劾非法之责。岂知好景不长，终因触犯皇家刑律，不仅被罢了官职，还戴罪戍边，被发配到国之北陲、六镇之一怀朔镇。由世族忽变为刑徒、边民。

高欢的父亲高树生，便出生在这个家族落难之际。这个落魄公子，生来率性，不谋发展家业，混迹于江湖。及高欢出生时，母亲韩氏暴亡，由母亲的姐姐抚养，其姨夫便是怀朔镇狱队尉景。