破坏杏花形象的第一号人物是晚唐薛能。薛能把杏花比喻成轻佻风流的青楼女子，杏花的节操被他碎了一地。到宋朝以后，杏花更是被文人评鉴为“艳客”和“风流树”。

清代李渔还说：“树性淫者，莫过于杏。”

杏花形象被逆转，是因为杏花开得太早，杏花花朵颜色多变，这些特点在唐宋之后的文人看来，便有了耐不住寂寞，品行不坚，用心不专的含义，乃至被比喻成了艳客、妓女。