白居易53岁的时候，他在杭州刺史任满回洛京途中，看到变换旧村邻而湘灵已不知去向的时候，这段长达35年之久的恋爱悲剧才划上了离开的句号。

白居易在长安作了校书郎，需将家迁至长安，他回家再次苦求母亲允许他和湘灵结婚，但门户大于一切的母亲，不但再次拒绝了他的要求，且在全家迁离时，不让他们见面。他们的婚姻无望了，但他们深厚的爱情并没从此结束。期间，白居易三次写了怀念湘灵的诗：《冬至夜怀湘灵》、《感秋寄远》和《寄远》。