他们在观望两派相争的同时，未尝没有待价而沽的心思。这其中，就有官任中书舍人的李义府、御使大夫崔义玄、以及卫尉卿许敬宗等人。
像许敬宗、李义府，他们皆是少年成名，而偏偏时运不济之人，谁不想封阁拜相、位极人臣？这样的机遇，可能一生中也就只有一次，所以，他们看清局势后，毫不犹豫地加入到天子阵营，为强大己方势力，开始了拥立武照为后的伟大事业。
随着政治势力的不断强大，立武照为后一事，再次被提上日程。这一日，高宗召集几位宰相，提出：“皇后膝下无子，唯武昭仪有子，如今，我想重立昭仪为皇后，你们觉得如何？”毫无疑问，这想法一经提出，便遭到几位宰相的强烈反对。
但是，高宗却不想就此作罢，三番五次的折腾。最终，忍无可忍的褚遂良直接捅破了那层遮羞布：“武氏曾经侍奉于先帝，此乃众所周知之事，天下人的耳目，岂能蒙蔽得了？”在此事上，褚遂良反对的异常激烈，甚至，做出以死进谏的举动，可即便褚遂良以头触柱、血染丹墀也阻挡不了武照的封后之路。
然而，此时李勣再次进宫，并声称：“封后一事实为陛下的家事，又何须再问外人？”有了这“同中书门下三品”的一言，许敬宗在代表高宗规劝长孙无忌被拒后，直接放言：“种地的老农多收点麦粮，还想换个老婆，更何况，贵为天子想立一皇后，这与诸位何干、怎就偏来非议呢？”
这一荒诞的“换妻论”，倒是成就了高宗的舆论场。
同年九月，褚遂良被贬为了潭州都督。
到了显庆二年，褚遂良被贬至越发偏远的桂州，与此同时，李义府被擢升为中书令。同年八月，手握大权的武后意识到时机已到，于是，展开对长孙一党的打压。许敬宗与李义府打头阵，联名上书，举报中书令来济、侍中韩璦与褚遂良暗通款曲，此二人将褚遂良调至军事重地桂林是为建立外援，意图不轨。
八月十一日，韩璦、来济、褚遂良被分别贬至振州、台州、爱州担任刺史。至此，朝中长孙一党被打压斥逐殆尽，唯留长孙无忌一人，势单力孤、回天乏术。
显庆三年，褚遂良最后一次上书天子后，在无尽的悲愤与失落中去世，终年六十三岁。
随着长孙一派人员的接连落马，天子的长剑终于指向了最大的“敌人”——长孙无忌。
显庆四年，武后授意许敬宗是时候对长孙无忌下手了。当时，许敬宗与另一位官员幸茂手上正在料理一桩朋党案，此案牵扯到朝中太子洗马韦季方与监察御史李巢。在许敬宗的言行逼供下，韦季方不堪重刑意图自*，结果未遂。
此时，正为如何完成武后命令发愁的许敬宗灵机一动，立即上奏高宗，说：“韦季方此番畏罪自*，并非是因为他结党营私，而是另有重大隐情。”许敬宗道：“韦季方等人欲图勾结长孙无忌陷害忠良，从而重掌朝政大权，而后伺机发动政变。怎料阴谋败露，这才有了韦季方自*一事。”
案情发展至此，已经远远超出官员结党营私的范畴，而是其罪可诛的谋反案了。并且，而这意图谋反的策划者还是当朝太尉，天子的亲舅父。
明眼人都看得出来，许敬宗这一番话完全是“欲加之罪”，但是，前有房遗爱案做“铺垫”，如今，这案件倒是不让人觉得意外。历史是何其相似，当年，长孙无忌一手炮制出房遗爱案，而许敬宗如今的手法跟他却是一模一样。
长孙无忌涉嫌谋反的消息传入高宗耳里，他第一时间作出的反应是惊讶，说到：“这怎么可能？舅父如今遭到卑鄙小人的离间，可能会与我产生一些嫌隙，但是，何至于做出谋反这大逆不道之事？”
许敬宗回答到：“微臣反复推敲案情始末，长孙无忌意图谋反一事已经败露，陛下却仍怀疑不定，这不是江山社稷之福。”
此时，高宗竟是潸然泪下，说：“是我李家不幸，外戚中屡有心生异志之人，当年，高阳公主与其驸马谋反，如今元舅亦如是，这让朕如何面对江山百姓。若此事属实，又当如何处置？”
许敬宗紧接着说道：“房遗爱一区区小儿，同一女子起事，自然不可能成事，与长孙无忌不可相概而论。他当初一路追随先帝，打下大唐万里江山，才智令世人拜服。至今，担任宰相一职三十余年，众人皆畏其威。他一旦起事，谁人能挡？今幸得宗庙有灵，先皇庇佑，从一小案扯出这大奸之人，实乃天下之大幸。”
微臣担心的是：“长孙无忌知晓韦季方自*未遂、阴谋暴露后干脆攘臂一呼，发动政变。若真到此时，定为宗庙之忧，所以，还望陛下速作定夺。”高宗沉默半响，最终，下令许敬宗再调查一二，务必找出确凿证据。不负所望，许敬宗次日一早，便带着连夜突审出的证据入宫禀告高宗。
他说：“韦季方已经供不讳，承认与长孙无忌等人欲图谋反。”韦季方供称：“韩璦曾对长孙无忌说，‘当初，褚遂良、柳奭就曾劝您拥立梁王，可您不愿。现今，太子被废，陛下定然对您也有了猜忌之心，高履行不就是最好的例子。’”长孙无忌一听此言，便心生惶惶。加之，后来族侄长孙祥被贬，韩璦等人接连获罪，为求自保的长孙无忌，便决定与韦季方一同密谋，准备谋反。
案件发展至此，连“证据”都有了，长孙无忌自是在劫难逃。
高宗听后，故作悲痛状，说：“我自己不忍*舅。”而许敬宗，却不假思索地提到汉文帝时期的薄昭，说：“当初，薄昭犯下*人之罪，汉文帝令百官哭悼，然后，大义灭亲将其诛*。汉文帝这一做法，至今仍受天下人赞扬，并将汉文帝视为明君。长孙无忌将两朝大恩抛之脑后，意图谋反，比薄昭之罪更甚，今其阴谋败露，铁证如山，陛下还犹豫什么？”
