潘安年少时就容貌绝佳，神态儒雅，每当他驾车出现在街上时，会吸引路人驻足下来观看，就连老妇人也被迷住了，无论年轻还是衰老的女子，都将水果扔进他的车里，表达女子对美男子的追捧和喜爱。

在西晋开放的社会环境里，潘安的追求者无数，但他一向洁身自好，从不沾花惹草，对自己的妻子深情且专一。他与妻子杨氏12岁开始订婚，两人结婚后相濡以沫数十年，妻子在他52岁那一年逝世，他伤心欲绝之下写下《悼亡诗》三首，之后再没有另娶。用情至深成为千古佳话，后人用“潘杨之好”来形容这段没好的感情。