但李世民看透了他的心思，便说：“你对大唐有辅佐社稷的功劳，长孙无忌也是我的辅政良臣，除了你们两个，没有人能够有资格和我一起乘车。”
于是，裴寂只能听从命令上了车，但一路上他都小心翼翼的，时刻害怕出差错。即使他如此谨小慎微了，但他最终还是逃不过悲惨的结局。
这件事情要从一个和尚说起，他的名字叫做法雅，曾经是李渊很宠信的和尚，他享受到的待遇很高，拥有很多特权。但自从李世民登基后，他便失宠了，身份地位顿时一落千丈。
他对此心怀怨恨，便各种在民间兴风作浪，传播了很多谣言和谬论。在他被逮捕后，他的案子便由李世民的心腹杜如晦来审理。
原本这件事情和裴寂没有关系，但是法雅却不止为何在招供时说：“裴寂知道我做的错事，但是他没有干涉我，如果我有罪的话，那么他也有罪。”
于是，在没有具体证据的情况下，仅仅凭借着法雅的空口白话，位高权重的裴寂便被牵连入狱。不久后，裴寂便被驱逐出了京城，不久后又被牵连，流放岭南地区，最后郁郁而终。
李渊在知晓裴寂的遭遇后，顿时觉得无限悲凉。
在京城里他曾经关系最亲密的大臣就是裴寂，如今裴寂离开了，他的生活变得更加孤单寂寞。李渊明白了儿子一系列的暗示，知道自己不能再一直赖在太极宫了。
于是，他便和儿子说：“我想搬出太极宫，听说弘义宫那边的风景很好看，那就让我搬出皇宫，到弘义宫居住吧。”
李世民答应了他的请求，不久后，便把弘义宫改为大安宫给李渊居住。
大安宫原本是李世民居住的地方，这里的环境远远比不上太极宫。再加上这里的房屋年久失修，对于养尊处优的李渊来说，这里的生活条件很糟糕。
于是，大臣马周便和李世民提出建议，让他修缮和扩建大安宫。但他对此置若罔闻，并不采纳这个意见。
李世民对父亲产生怨恨，不仅只因为太极宫的事情，从李渊登基后，让兄长李建成为太子时，他便开始心生不满了。
