杨岳家境总体来说还是可以的，但自幼亡母，由父亲杨万里（后改名杨程万）拉扯带大。杨岳父亲杨万里以前本是担任锦衣卫一职，但后来又因救袁今夏的母亲而被打折了一条腿，而后又坐了几年牢，岀牢后又担任了六扇门捕头一职，最后娶了个媳妇并生下了杨岳。