吕夷简虽然能力出众，但他总摆脱不了一个标签，即太后的亲信。公元1033年，太后刘娥驾崩，24岁的宋仁宗终于亲政了，看着满朝的大臣大多是太后培养的亲信，宋仁宗打算重新洗牌。于是，宋仁宗召来了宰相吕夷简，商议罢免官员的事情。
吕夷简和夏竦虽然都是太后亲信，但二人向来不和，吕夷简明白宋仁宗的心思，便对宋仁宗说：夏竦是太后党羽，建议罢免夏竦等官员。据司马光编写的《涑水记闻》记载：
上与吕夷简谋以夏竦等皆太后之党，悉罢之。
宋仁宗听从了吕夷简的建议，非常开心，当天晚上，宋仁宗见到郭皇后，止不住内心的喜悦，便对郭皇后透露他和吕夷简的谈话内容。
郭皇后乃宋仁宗的元配夫人，是刘娥亲自为宋仁宗选娶的皇后。郭皇后有个最大的特点，就是直率。她一听罢免官员是吕夷简的主意，便对宋仁宗说：“吕夷简难道不是太后党羽？只是他这人左右逢源而已。”
退告郭后，郭后曰：“夷简独不附太后耶？但多机智，善应变耳。”（司马光《涑水记闻》）
宋仁宗仔细一想，郭皇后说的有道理，第二天让宦官宣读罢免官员名单，听到夏竦的名字后，吕夷简吕夷简如沐春风。等他听到自己的名字也在罢免名单之列时，吕夷简大惊不已。当天，吕夷简被罢免宰相，贬为武胜军节度使。
是日夷简押班，闻唱其名，大骇不知其故。（司马光《涑水记闻》）
吕夷简以老谋深算著称，他跌了个大跟头，心中百思不得其解，他在宫中有一位亲信，名叫阎文应，是宋仁宗身边的宦官。吕夷简为了弄清楚自己为何被贬，便想办法和阎文应联系上，阎文应告诉他，是郭皇后在背后搞的鬼。
夷简素与内侍阎文应相结，使诇之，久之，乃知事由郭后。（司马光《涑水记闻》）
