王宪嫄生刘子业时已经23岁，虽然历史上并不清楚刘楚玉的出生时期，但鉴于刘楚玉和刘子业之间还有两个女儿出生，刘楚玉至少应该比刘子业大两岁。刘楚玉出生时，刘骏与王宪嫄感情正好，而且在她之后又接连早亡了两个女儿，所以刘骏和王宪嫄早先应当是比较宠爱刘楚玉的。

但是刘子业的童年就比较悲惨了，元嘉二十八年，刘子业两岁时，王宪嫄生下嫡次子刘子尚，刘骏被外派镇守寻阳，作为刘骏的嫡长子，刘子业就被留到京城当人质了。