金代元好问《杏花杂诗》云：
杏花墙外一枝横，半面宫妆出晓晴。
看尽春风不回首，宝儿元自太憨生。
描写一枝红杏横斜墙外，宛若一位盛装的宫女，粉脸半露，在晴朗的清晨斜倚墙头，楚楚动人。
以上举例说明，直到12世纪末，红杏出墙依然没有女人外遇的含义。
真正用“墙头”暗示女性出轨的是元代戏剧家白朴的《墙头马上》，剧中说尚书之子裴少俊，奉命到洛阳购买花苗，在墙头邂逅女子李千金，二人一见钟情，私订终身，李千金被私藏与裴家后花园七年。
而最早让“红杏出墙”与女人出轨直接联系在一起的是话本《西山一窟鬼》里形容一个女子的一句话：“如捻青梅窥少俊，似骑红杏出墙头”。当女人、红杏再加墙头，三者相遇，就更加有了暧昧。
虽然冯梦龙说《西山一窟鬼》是宋话本，但是许多迹象表明其为元话本，应该在白朴的《墙头马上》之后成书。
由此可见，“红杏出墙”到元代以后才有女性出轨的含义，因为“墙”本来就是一个坏东西，深院之中，一墙之隔，便成了痴男怨女。
红杏本来就是春意的代名词，在古代有着特殊的含义，所以红杏遇到墙，墙是无能为力的，因为已经“春色满园”了，墙能关得住吗？所以“红杏出墙”是必然的。自从元代以后，红杏的含义在历代文人的诗文中有了很大的发展，逐渐有了一种含蓄的指代——女性出轨。
,
