世宗不但未将严嵩治罪，还认为这是沈炼诋毁大臣，下诏将沈炼廷杖、谪官。严氏父子并不罢休，几年后，指使党羽寻机陷害，沈炼被斩，他的三个儿子，两个被打死，一个被发配到边疆。
被誉为明代第一直谏之臣的杨继盛也是因弹劾严嵩而获罪。嘉靖三十二年（1553），时任兵部员外郎的杨继盛上《请诛贼臣疏》，揭露严嵩祸国殃民的真实面目。在奏章的最后，杨继盛恳求皇帝“听臣之言，察嵩之奸”。疏中所奏严嵩的罪状，严嵩无法抵赖，但严嵩毕竟老谋深算，他抓住杨继盛疏中“或问二王（裕王、景王），令其面陈嵩恶”这句话，诬陷杨继盛与二王串通。刚愎自用的世宗最忌讳大臣们越过他和自己的儿子们结交，生怕因此而产生逼宫，遂不问疏中揭发严嵩的罪状是否属实，就降旨将杨继盛逮捕入狱。在下狱两年多后，杨继盛于嘉靖三十四年（1555）被处决。
嘉靖四十三年（1564），严世蕃被御史林润捉拿后，给他定罪名成了一个难事。当时严世蕃派人大肆散播消息，说审理自己的三法司要为杨继盛和沈炼申冤，称他们之所以会死，全部是严世蕃等所为。三法司也确实把此罪列为头条，可是却被聪明的徐阶驳回。原来，严世蕃知道当年最终给杨、沈二人定罪的就是嘉靖皇帝，绝非是自己所为，而嘉靖却是一个有些刚愎自用且极爱面子的皇帝，看到这些罪名肯定不会批准的，因为一旦批准，就意味着嘉靖要承认自己的错误（造成杨、沈冤狱），这是嘉靖所不能容忍的。
于是，徐阶换了另外三条罪名：
首先严世蕃和罗龙文（严党之一，确系倭寇）是哥们，而罗龙文勾结倭寇，严世蕃也就与倭寇挂上了钩，他们聚集海匪，并企图里通外国，逃往日本。
其次，严世蕃勾结江洋大盗，训练私人武装，图谋不轨。
最后，他还占据土地修房子，而根据现场勘查，这是一块有王气的土地，严世蕃狗胆包天，竟然在上面盖楼，实在是罪大恶极。
