袁天罡父亲袁玑，任梁州司仓，叔父袁守诚，著名术士，在《西游记》中曾问卦赌雨算死泾河龙王。袁天罡的母亲苏蕤，女神医，是孙思邈的师妹。

祖父袁嵩，周朝时先后担任犍为地区浦阳、蒲江二郡的郡守和车骑将军。曾祖袁达，梁朝时做过江、黄二州的刺使，周朝时连续担任过天水、怀仁二郡的郡守。袁天罡父母早逝，是在孤独与贫穷中度过他的少年时代。他喜欢作学问和学习技艺，精通相术。隋开皇年间科举取士，他参加并中了明经科。