1941年，美国曾冻结中国私人银行在美的存款，私人存款达一亿一千八百万美元，这里的美元含金量是很高的，一辆美国福特牌轿车也不过三百美金。到了1948年，私人存款高达五亿美元。期间，中国正处在战争时期，国家的经济状况每况愈下，而在美国的存款却高了数倍，这要不是那些官员贪腐又是哪来的呢？后来据所道，四大家族中，蒋、陈两家确实没有钱，而五亿的私人存款孔、宋两家又占多少呢？
有着“傅大炮”之称的傅斯年，曾任北大校长、参政院参政员，他对孔氏家族的贪腐行为甚是不满，炮轰孔祥熙，一是要斥责他在美金公债蓄储券事件中贪腐行为，二是要求财政金融总清算，这就等于要与孔祥熙算贪腐总帐。孔祥熙被迫于1944年退出政坛，1945年7月又辞去了中央银行总裁的职务，后移居美国。
孔祥熙生育二子二女，除小儿子有一个混血独苗外，其它三儿女均无子嗣。
中国是一个有着数千年封建意识的国家，在中国传统观念中，没有了子嗣就是断了香火。纵使家有铜谷金山、泼天豪富，但家丁不旺，又有什么用呢？
随着孔祥熙退出政坛和金融管理界，孔家便失去了权势、地位和名望，再加上香火不旺，逐渐走向没落。
