他的母亲原是一名庄园的僱佣。

1926年8月13日，卡斯特罗出生于古巴东方省比兰镇的一个种植主家庭。他的父亲安赫尔.卡斯特罗是一名西班牙军人，是当地有名的种植园主。而卡斯特罗的母亲，原本是庄园里的厨师，卡斯特罗出生的时候安赫尔的第一任老婆还在世，卡斯特罗是属于身份比较尴尬的“私生子”。