潘有声在香港创办兴华银行，他比以前任何时候都要拼命，都要努力，因为他知道，戴笠与胡蝶在一起时，在物质上给予了她极大的满足，不仅为她修建了好几处花园别墅，胡蝶的衣食住行都及其奢华。
而如今，重新与潘有声在一起的胡蝶，住所简陋，往日的奢侈再也不见，潘有声嘴上不说，但心里很不是滋味。
胡蝶看着起早贪黑打拼事业的潘有声很是心疼，在主演了电影《春之梦》后，她决心告别影坛，对丈夫说：“你一个人打点洋行太辛苦了，我以后安心做你的贤内助。”
眼见着银行生意好转，生活正慢慢变好，而潘有声却病倒了，胡蝶每日衣不解带地照看着他，潘有声看着憔悴的妻子，在人生弥留之际对胡蝶吐露心扉：“胡蝶，我是个结实的男子汉，硬是给摧残垮了！给羞辱垮了！正值壮年的时候垮了！惨啊！要是日本人不侵略中国，我们就不会来香港，日本人不打香港，我们就不会跑重庆，不跑重庆，也不会碰上戴笠，弄得我妻离子散！惨啊！”
胡蝶听后痛哭不已，可潘有声还是离开了，她颤抖着合上他的双眼，再次成为了无依无靠的胡蝶。
当时很多人劝胡蝶再嫁，毕竟她当时才44岁，保养得当，光彩照人，可是胡蝶听后都只是莞尔一笑，以至于后来人们都不再劝说，因为他们知道：潘有声死的那天，胡蝶就做好了用余生为他守寡的准备。
晚年时，胡蝶在子女的劝说下前往加拿大温哥华，安顿好自己之后，胡蝶第一件事就带着儿子儿媳回到香港，将潘有声的骨灰迁到温哥华的科士兰公墓。
从此以后，胡蝶在温哥华的生活简单而又规律，每日穿戴精致，有时去墓地，有时去海边，嘴里时常碎碎念，儿子说，她是在与父亲聊天。
1989年，胡蝶在温哥华安静辞世，她在回忆录里写道：“我将终老异国，只是对故国的山山水水，故国的亲人好友，思念之情，无时或己。”
离世时，胡蝶自语道：“胡蝶要飞走了！”
后人按照胡蝶的遗嘱，将她安葬在了潘有声的墓地旁，生时不能日日相伴，总有各种阻挠，死后，他们要永远在一起，再也不分开。
