然而，实际上夏言并未从中得益，因为当郭勋死于狱中时，世宗意识到自己的判断受到夏言的影响，于是对夏言的不满逐渐显露出来。
夏言与其同乡严嵩之间也展开了激烈的政治斗争，结果更为糟糕，直接导致了他最终的倒台并被处决。
严嵩是一个圆滑、机敏而又富有野心的人，他懂得如何讨好夏言以提升自己的地位。夏言对于严嵩的真实动机完全不了解，同时他在朝中也需要一位政治盟友。
于是他在严嵩角逐礼部尚书职位时给予了极大帮助，并成功将严嵩带入权力核心集团。一旦有机会接触到世宗，严嵩便毫不费力地赢得了皇帝的欢心。
当夏言意识到已经为自己创造了一个难以对付的政敌时，他发现要想除掉严嵩为时已晚了。在严嵩忙于巩固自己地位的同时，夏言与世宗之间的关系持续恶化。
世宗对于侵犯其权威的行为处处提防。如在1537年，世宗宣布，未经其批准，任何人不得穿着或者使用不符合自己职衔的物品。
那时，世宗允许他的宠臣骑马前去西苑斋宫觐见，然而当他看到夏言独自乘坐腰舆时，龙颜大怒。
还有一次，比起帝王的帽冠，世宗更喜欢戴道教的香叶冠，他还专门定制了五顶香叶冠赐予宠臣。只有夏言一人坚持认为这并不是正式的朝服，因此拒绝穿戴。
然而严嵩却毫不在意，戴上香叶冠以取悦皇帝。更为严重的是，当两宫皇后驾崩，有两座宫殿闲置时，夏言建议将其中一座宫殿赐予太子居住，以节省兴建新宫室的费用。
世宗大怒，认为夏言的提议是对孝道原则的亵渎。1542年8月，夏言被革职，严嵩获准进入内阁。
然而，1545年10月，世宗发现严嵩和他的对手犯了同样的错误，于是把夏言重新召回，以维持权力的平衡。
再次入阁担任首辅的夏言，开始以更加专横的态度对待在事实上已经与其平起平坐的严嵩。不仅在重要事务上忽略严嵩的意见，甚至还将严党的一些官员排挤出内阁。
