原因如下。

一、紫姬是光源氏按自己理想一手培养教导起来的一名完美无缺的女子，光源氏对其只是欣赏，而不想付诸于世俗的情爱。

二、光源氏在紫姬小的时候舍不得不下手，后来想下手自己岁数也大了，再加上光源氏后期诸事繁杂，再加上接连的打击，恐是已经难以在行事了。

三、光源氏不想过早的和紫姬行房，影响了紫姬的身体发育