羊祜屯田兴学，以德怀柔，深得军民之心，所以被称为堕泪羊公。羊公出身泰山羊氏，博学能文，清廉正直，娶夏侯霸之女为妻。曾拒绝曹爽和司马昭的多次征辟，后为朝廷公车征拜。

司马昭建五等爵制时，以功封为钜平子，与荀勖共掌机密。晋代魏后，司马炎有吞吴之心，乃命羊祜坐镇襄阳，都督荆州诸军事。