应该称呼祖父的爸爸为曾祖父。因为祖父是自己父亲的父亲，当然是自己的爷爷，那么爷爷的父亲就是自己的曾祖父了。当然，祖父的儿子是自己的爸爸和爸爸的亲兄弟，而祖父的孙子是自己或自己的兄弟，而祖父的曾孙子则是自己的儿子或自己其它兄弟的儿子。