家道中落的胡雪岩有三个儿子，大儿子胡楚三在刚成年的时候就英年早逝，二儿子胡缄三育有二子，小儿子胡品三育有四子。

二儿子卖掉了胡庆余堂的相关股份后，就把自己的孩子送到国外读书，可以说胡雪岩的子孙后代都恪守遗嘱，没有去经商，也没有去朝廷做官。胡雪岩的子孙后代有很多，大部分都分布在海外，光直系后代就有两百多个。