另外，在宋代话本《西山一窟鬼》中描写的男主裴少俊和女主李千金反对封建的束缚坚持对彼此的爱情的感人故事中，对女子亦有“如捻青梅窥少俊，似骑红杏出墙头”此形容。而到了元代，该故事还被人改编成《墙头马上》。
广大劳动人民的奇妙想法是无穷尽的，八卦之心也是熊熊燃烧着的，因此后人便也为叶绍翁编了个故事。将叶绍翁妻子的名字编成"红杏"，说是叶绍翁和其成亲后便赴京求功名去了。由于长期相隔两地，夫妻间的感情在日复一日的不得相见中渐渐变质，"红杏"就经常在入夜翻墙找隔壁邻居王二偷情。
而这事情叶绍翁一直被蒙在鼓里，直到两人都老了的时候，才因为半截身子已经埋入黄土，“红杏”终于鼓足勇气，把这件事儿告诉了叶绍翁。但叶绍翁非但没有生气，反而提笔写下了“满园春色关不住，一枝红杏出墙来”。
无论如何，当时对于"红杏"一词确实是有特指的，民间故事，也因其戏剧性太强，深得各吃瓜群众的欢心，反而使得叶绍翁这首诗的前两句慢慢被世人遗忘。其实在当时，"红杏出墙"通常只是一种有潜在内幕的说法，它代表女人的出轨往往"事出有因"，含有轻轻的"风流"的感觉。
元代以后，“红杏出墙”的用法就变得明显起来。比如“恰便似一枝红杏出墙头，不能够折入手，空教人风雨替花羞”等，就能够充分的说明这一点。之后不知原因的，明、清时期关于"红杏出墙"已经变成委婉的提醒或是不愿让当事人太尴尬的说辞了，而这种说法也流传至今。
