胡雪岩是富甲天下的大商人，因此他在上海的一言一行、一举一动，都是人们关注的焦点。对于大众来说，最感兴趣的，自然是胡雪岩的风月传闻。而在各种笔记小说中，流传有大量关于胡雪岩的风流故事。
根据史学研究，胡雪岩直到35岁才娶了一个小妾。这是因为胡雪岩的正妻陆氏颇有手段，将胡雪岩的母亲——金老太太伺候得舒舒服服。因此在家中，陆氏有着说一不二的权力。
然而陆氏虽然手段狠辣，但仍有个致命的缺陷，那就是生不出男孩。胡雪岩一想到自己偌大的家业，将落于外姓之手，每日都急得像热锅上的蚂蚁。最终，胡雪岩以各种手段，娶来了二房——芙蓉夫人。开了这个口子，胡雪岩更是一发不可收拾。在他*前，胡府内一共有13个明媒正娶的妾室，被杭州人戏称为“杭州十三钗”。
但实际上，胡雪岩的红粉知己，绝不止这“十三钗”。据《见闻琐录》记载：胡雪岩酷爱女色、荒淫无度，他经常在大街上寻觅美色，只要看见有姿色的美丽女子，立刻请人下聘说和，不管对方“身价”多高，他也绝不计较。
据说有一天，胡雪岩经过一个裁缝店，发现掌柜的闺女长得特别标志。裁缝店掌柜见有人直勾勾地盯着自己女儿，很是警惕。他仔细一看，不是别人，正是大富商胡雪岩。于是他赶紧关上大门，并嘱咐女儿不得再抛头露面。
裁缝店父女以为这事就这么过去了。但是几天后，胡雪岩就带着自己的马仔闯入裁缝店，目的只有一个——求亲。一听见这两个字，掌柜的女儿当时就蒙了，咱俩连一面之缘都谈不上，怎么就开始谈婚论嫁了？
一开始，裁缝店老板誓死不从。虽然裁缝一家不算富裕，但也算是良家之人。但凡是良家之女，都不会给其他人做妾。只有青楼或卖身为奴的女子，才会给人做侧室。
然而在胡雪岩的淫威和软磨硬泡之下，裁缝店老板最终松了口、毕竟胡雪岩钱多势大，不好惹啊。虽然妾室的名头不好听，但是吃喝肯定是不愁的。
谁知父亲屈从了，但是女儿却不肯听命。管你什么富商巨贾，我就是不嫁。因此不管胡雪岩如何地阿谀奉承，这位掌柜的女儿依旧誓死不从，最后贞节烈女的劲头一上来，悬梁自尽了。
胡雪岩强抢民女，闹出了人命，事情传出去，就算王公贵族也要被扒层皮。但是胡雪岩有的是钱，可以找贪官污吏为他上下打点。最终判决是，女子身染重病，不能“控制”自己的行动，这才悬梁自尽。
