蔡康永的家族在解放前的上海曾是显赫一时的轮船主。1949年，家族拥有的一艘客轮满载乘客从上海驶往台湾，不料中途沉没，仅30人生还。此后的理赔和扣压所有船，让蔡氏家族一蹶不振。后来家人去了台湾。

家里还保存着一些船上专有的器具，其中还有蒋介石的皮椅子。蔡康永说，老来得子的父亲把自己当作一只宠物，他也毫不避讳地透露，自己成长历程一路靠父亲的关系，去美国读电影科也是爸爸找知名导演写的推荐信。