其中最深处的因素，则是宋仁宗对刘太后多年压制的不满。在刘太后去世后，宋仁宗不仅将昔日刘太后任用江德明、罗崇勋等大臣罢免贬斥，对郭皇后也更为疏远。
因为在刘太后在世时，郭皇后就仗着太后撑腰，不愿让宋仁宗接触其他女子。这番举动，自然引来宋仁宗不满。尤其是刘太后已经不在，宋仁宗更不愿受人压制后宫事务。《续资治通鉴长编》中记载，在刘太后去世不久，皇帝就“稍自纵，宫人尚氏、杨氏骤有宠”。
郭皇后本就不是善于隐藏自己情绪，假装包容大度的人，夫妻二人关系很快恶劣。甚至在争吵中，郭皇后还一巴掌拍在宋仁宗脖子上，引来皇帝大怒。再加上大臣吕夷简从中挑拨，虽然范仲淹等人极力反对，但宋仁宗还是选择废掉郭皇后。
这段时期，可以说是两个人关系的冰点。而且，宋仁宗很快又立了新的皇后。对于历史上被废掉的皇后来说，后半生的待遇，基本就是在深宫中等待死亡的到来。不过，宋仁宗也并非铁石心肠的人。他毕竟跟郭皇后从小一起长大。也许两人不适合成为夫妻，但毕竟是相识多年的好友。
所以，宋仁宗才会感到后悔。他在游后花园时，看到郭皇后以前乘坐的肩撵，便有了悔意。于是，宋仁宗又派人去看望郭皇后，还给皇后送去一首自己做的《庆金枝》的词。郭皇后也回了一封诗，作为答复，内容极为哀婉悲凉。这让两人的关系变得缓和。
事实上，宋仁宗新册立的曹皇后，也并非完全出自他的本意，而是在大臣的建议下，册立宋代名将曹彬后裔作为皇后。
宋仁宗又让人去找郭皇后，希望她回到皇宫，能够再见面。这说明两人的关系，已经得到恢复。不过，郭皇后并没有动身前往。
她给宋仁宗答复，如果想要让她回宫，就要重新用正式的礼仪上册，以皇后身份回宫。宋仁宗毕竟立了新皇后，不可轻易更改，郭皇后也就没有回去。
