然而台湾岛传来的消息，却如一盆冷水，狠狠浇在宋子文的脑袋上，叫他一下子“清醒”过来：1953年，台湾“当局”进行“整肃案”，宋子文被开除国民党党籍。
此后，心灰意冷的宋子文不再把目光放到台湾政局上，虽仍旧同顾维钧等人相互往来，可却均以私交好友的立场交往，偶尔交换彼此关心的问题看法而已。
1958年12月底，宋子文离开纽约，回到香港居住20余天。期间有媒体称他是为了重新开启“政治使命”而来。
对此，宋子文特地召开记者会，公开表示：他来香港只是为了探望朋友、过圣诞节，没有担负任何政治使命，“也不准备再搞政治了”。
关于记者频频提问的各种敏感问题，宋子文一概避而不谈，只说自己“年近古稀，早已离开政治生活。”
有记者感慨：看着头发半白的宋子文，很难联想到他就是昔日神采飞扬、气势逼人的“T.V. Soong”，宋子文确实老了，对一切好像已无任何兴趣，变得与世无争起来。
事实上，宋子文的心思确实早不放在“政治方面”，他如同一个真正年迈的老人，开始含饴弄孙，享受颐享天年的平静。
宋子文与夫人张乐怡共生下3个女儿，宋氏夫妇定居纽约后，宋家3个姑娘陆续出嫁，有了自己的家庭。
长女宋琼颐生二子，分别是冯英翰、冯英祥；次女生一子两女；三女生两子两女。
一共拥有9个外孙（女）的宋氏夫妇在家人的陪伴下，尽享美好和欢乐。
他们最期待的便是节假日与周末，诸多外孙（女）在三个女儿的带领下前来探望二老，与二老一起玩乐欢笑。
其中，宋琼颐的次子冯英祥最得宋子文夫妇喜爱。冯英祥从小长在宋子文夫妇膝下，后来回到父母身边生活，令宋子文夫妇对他时常特别牵挂。
