图丨周总理与部分特赦人员合影
中美关系缓和之后，美国解除旅行禁令，允许美国公民前往中国，杨振宁立刻写信回家，表示自己要回国看望家人，国务院得知这一消息后对杨振宁的归来表示欢迎。1971年7月，周总理在人民大会堂宴请杨振宁一家，杨振宁第一次见到杜聿明，不好意思地称呼岳父为“杜先生”，周总理听完笑着纠正说：
“你应该称呼‘岳丈大人’嘛。”
就在曹秀清返回大陆和丈夫安度晚年的时候，他们在台湾留下的四个子女却成了蒋介石的发泄对象。二儿子杜致勇原本是学土木工程的，但毕业之后找工作却屡屡碰壁，理由就是父母是“危险分子”，最后只能找一些简单的工作维持生计。
三儿子杜致严由于没有经济来源，最后只能当出租车司机维生，生活得十分艰难。另外两个女儿杜致义和杜致廉生活也过得不好。孩子们曾经去找杜聿明的旧故帮忙，结果却受尽了白眼，没人愿意再帮他们一把。
图丨周总理同杨振宁亲切握手
杨振宁回大陆探亲之后，台湾方面对杜聿明的四个子女管控更加严格，丝毫没有给他们离开台湾的机会。甚至到杜聿明去世，四个孩子都没有机会见父亲最后一面。
“大孝子却不允许别人尽孝”1981年杜聿明病重到了弥留之际，杜致礼从美国赶回台湾，当时杜聿明已经不能说话，看到女儿回来还是露出了笑容。第二天杜聿明便离开了人世，据杜致礼后来回忆，当时父亲在咽气前还在用眼睛四处找人，却没有看到远在台湾的四个孩子回来，父亲是流着眼泪咽下了最后一口气。
其实在杜致礼离开美国的时候，就委托在香港的朋友转告台湾的弟弟妹妹，希望他们能回到北京见父亲最后一面，可怜杜聿明直到去世都没有见到四个孩子。曾经杜聿明在病床上交待曹秀清，在自己去世之后她哪里都不要去，不要去台湾，更不要去美国：
“共产党待我不薄，你要是出去，容易被人当笑柄，制造谣言。”
图丨杜聿明在办公室留影
杜聿明去世之后，曹秀清给蒋经国和杜聿明黄埔的同学发电报，希望他们能够允许自己的四个孩子回到北京奔丧，后来杜致礼还将这件事情和郑洞国等人说过，请他们出面托在台湾的黄埔同学说情。
为了能够让杜聿明的四个孩子回祖国为父亲奔丧，政协领导同意按照政策办，并将杜聿明的遗体从首都医院移到北京医院，那里有更好的冷藏设备，这也成为杜聿明病逝半个月之后开追悼会的原因。
杜聿明的四个孩子得知父亲去世的消息痛哭流涕，找到台北黄埔同学会会长黄杰，请他务必在蒋经国面前求情，让他们回大陆为父亲奔丧。黄杰深知蒋家人对杜聿明的态度，不敢向蒋经国求情，就这样杜聿明的四个孩子无法回大陆送别父亲。
曹秀清在北京等了好久等不来消息，对台湾当局的做法表示气愤，同时杜聿明的四个孩子再次找到黄杰，要求在台湾为父亲举办追悼会，这一要求获得了蒋经国的同意，但只能设灵堂祭奠，不能发讣告，以示拒绝承认杜聿明的将领身份。
图丨左一为黄杰
5月25日杜聿明的追悼会终于举行，隆重程度令曹秀清十分感动，很多首长和故交旧友出席了杜聿明的追悼会，报纸上还刊登了杜聿明追悼会的消息。杜致礼曾经拿着报纸对父亲的友人说，报道称自己的父亲是“同志”，“后半生为人民的革命事业作出了自己的贡献”：
“这是对我父亲的盖棺定论呀！”
而对于蒋经国和国民党的冷漠，曹秀清曾经在邓颖超面前哭诉，斥责蒋经国自己是大孝子，却不允许别人去尽孝。国民党当局认为曹秀清在大陆已经没有亲人，最合适的安排就是回到台湾子女身边，便想继续在曹秀清身上做些文章，给大陆的改造工作抹黑。
1982年6月，曹秀清在香港和她的三个儿女见面，这是他们分别20多年后的第一次重逢，国民党当局之所以同意曹秀清的三个儿女离岛，正是想让他们劝说曹秀清回台湾定居，杜致严则被扣留台湾，避免他们一去不回。
