米家山是家里唯一的儿子，承担着传宗接代的使命，父母特别希望他和潘虹能早日生孩子，但是潘虹一直热心于事业，不想生孩子。1986年，米家山的父亲生病卧床，老人最大的心愿就是看到孙子出生，最后米家山的父亲带着遗憾去世了，这对米家山的打击很大，他深思熟虑之后决定和潘虹离婚。
据说两人在离婚的那天是骑着自行车去的，没有争吵也没有责备，而是心平气和地给这段婚姻画上了一个句号。
离婚后的潘虹又投入到紧锣密鼓的事业当中，在这些年她相继出演了《最后的贵族》、《独身女人》、《股疯》、《赢天下》、《囧妈》等作品
其中《股疯》让她的获得金鸡奖、百花奖、华表奖、凤凰奖等等多个奖项，潘虹的事业因此也达到了巅峰，但是在与米家山离婚的30几年里，她却一直没有再婚。
在这30几年了，潘虹倒是也有传出绯闻，不过也都没有什么结果。第一段绯闻是跟一个叫韩美林的，韩美林毕业于中央工艺美术学院，也是清华大学的教授，很有才华，有魅力。
这段感情是潘虹主动的，韩美林有一次生病住院，从来没有下过厨的潘虹给韩美林送去了自己亲手煲的汤，韩美林被潘虹的举动感动，在两人认识的第二年就像潘虹表明了心意。或许是害怕这次的婚姻重蹈覆辙，潘虹退缩了，最终这段感情以失败告终。
后面几年里，潘虹又经历了两段感情，也都无疾而终，或许她的心底深处一直都有米家山。
而相对于和米家山失败的婚姻，年轻时候没有生下一儿半女也成为她一生的遗憾。她现在到别人朋友家做客都会特别羡慕别人有小孩吵闹的声音，也很羡慕现在很多年轻女演员早早地就生了孩子然后再出来演戏，家庭事业两不误，甚至潘虹还谈及到她在退休后最想做的事情就是开一家幼儿园在，这样每天都有孩子陪伴在自己的身边。
