胡蝶《后门》剧照
晚年胡蝶的最大依靠，是她和潘有声的两个子女。可孩子们长大后，都出了国，只她一人辗转流离在香港、台北、日本等地。期间，她的孤独可想而知。
胡蝶的身边人一直劝她再嫁，毕竟，潘有声离世时，她才44岁，且依旧光彩照人。可每次面对这种劝谏，她都只莞尔一笑。后来，人们才知道：潘有声死的那天，她就做好了“用余生为他守寡”的准备。
在胡蝶看来，只有这种方式，才能缓解她对所爱潘有声的亏欠之情。
晚年的胡蝶在子女劝说下定居到了加拿大温哥华，也从那时起，她的人生才终于安定了下来。安顿好自己后，胡蝶做的第一件事，竟是带着儿媳回到香港：将丈夫潘有声的骨灰迁葬到温哥华的科士兰公墓。
此后，胡蝶在温哥华的生活又多了一个项目：祭拜丈夫的墓地。
晚年的胡蝶依旧精致，她常常穿着时髦的衣裳去海边散步。每次，她都会在海边喃喃地说着什么，她的儿子后来知道：她是在跟父亲聊天。
晚年胡蝶
除了想念潘有声，晚年胡蝶还非常想念祖国。在她辞世前一天，即1988年，她给大陆一位编辑写信道：
“请代我向新老读者和观众致以诚挚的问候。我热望中国的电影能够在世界影坛上放一异彩。”
而这样的问候，只要有机会，胡蝶几乎每年都会送到。因为想念祖国，胡蝶经常吟诵于右任的思乡诗句《望故乡》：
“葬我于高山之上兮，望我大陆。大陆不可见兮，唯有痛哭！葬我于高山之上兮，望我故乡。故乡不可见兮，永不敢忘！”
也因为太想祖国，胡蝶还在晚年的回忆录里这样写道：
“人生的安排是由于际遇还是命运呢？我又何曾想到我会远离故国，寄居在北美温哥华这海滨城市······据说温哥华的地形像摊开的右手，她的方向是伸向太平洋彼岸的亚洲，伸向中国。”
在回忆录的结尾部分，胡蝶还满含深情地写道：
“我将终老异国，只是对故国的山山水水，故国的亲人好友，思念之情，无时或已。”
胡蝶如此想念祖国，为何始终不回国呢？答案是：她生怕自己当年与戴笠的事，被公众知晓。实际上，她并不知道，即便后来她与戴笠的那些事被一点点挖出来了，人们对她也只有同情，而并无其他情绪。相反，世人都因她“宁可流亡也不肯给日本人宣传”的行为，钦佩不已。
1989年4月23日，胡蝶在加拿大安静地辞别了人世。离世时，她自语道：“胡蝶要飞走了！”
胡蝶死后，后人遵照她的遗嘱，将她葬在了潘有声墓地的旁侧。而这一次，将没有任何，能将他们分开。
