大概是因为武家骤然富贵，有些看不清自己。武华的儿子武士彟，也就是武则天和武顺她们的父亲，在此期间，得罪了隋朝的大权臣杨素。以武士彟的身份，其实原本没有接触杨素的机会。但恰好在建造洛阳城这件事上，杨素是总负责人，武华只是杨素手底下一个打杂的。
杨素是真正的顶级权臣，堪称当时隋朝的二号人物，仅次于皇帝杨广。和他相比，武家最多算是有点钱，根本不值一提。所以在得罪杨素之后，武士彟很快就被关入大牢，武家也即将遭遇灭顶之灾。
但就在武家即将家破人亡的时候，隋朝的另一位权臣，观王杨雄，却主动站出来，为武家说话。至于杨雄为什么要为武家说话，史书上没有明确记载。有可能是因为武家当时不惜血本砸钱，也有可能是杨家内部有人帮武家说话。总之，杨雄开口之后，杨素自然也要给一个面子。最终，武家损失了不少钱财之后，好歹是保住了性命。
这里要多说一句，这个替武家说话的杨雄，有个侄女杨氏。二十多年后，这个侄女杨氏嫁给了武士彟，也就是武则天她妈。所以，后世很多史学家猜测，武士彟在犯事之前，应该是和杨氏有某种特殊关系，说不定已经到了谈婚论嫁的地步。所以，武士彟犯事之后，杨氏才会去求自己的大伯杨雄，再加上武家舍得砸钱，武士彟这才保住了一命。
不过，出了这档子事之后，武家地位一落千丈，杨氏自然也不可能再嫁给武士彟。但此后二十多年里，杨氏也没有嫁人，而是一直留在娘家，吃斋念佛。
至于武士彟这边，历经大劫之后，险死还生，本该是件值得庆幸的事情。但这次劫难之后，武家的政治地位几乎彻底没了，家产也砸进去大半。
另外，在这次事件之后，武士彟的父亲武华，也很快被免了职。大概是因为急火攻心，没过多久，武华就死了。武华死了以后，武士彟接管了武家。而且，应该是武华临死之前的遗愿，武士彟不再去奢望娶杨姑娘，只能去和一个叫相里氏的女子成了亲。
后来，武士彟和这个相里氏，生下了武元庆和武元爽这两个儿子。
度过了这场大劫之后，武士彟也越发意识到，单纯的财富没多大作用，只有权力和地位才是真格的。从这时开始，武士彟开始全力追求权势地位。为了达成这个目的，武士彟甚至主动参军入伍，希望能够靠军功做官。当时恰逢隋炀帝征讨高句丽，武士彟随即参军入伍，而且靠着砸钱，还当上了一名队正。
但遗憾的是，武士彟本人做生意是一把好手，打仗是真的不行。在辽东混了两年，回来之后依然一无所得。
此后，武士彟开始转变思路，既然自己没有打仗当官的才能，那还是老老实实走攀附权贵这条路好了。
就在武士彟改变思路的同时，武士彟人生中最重要的一个男人，也来到了他的身边。这个人，就是后来的唐高祖李渊。
