而父亲对儿子们的区别对待更加深这种情绪，父亲给与兄长的是宠爱和栽培，而对他的就是打压和猜忌。他*兄逼宫篡位这件事始终是父子两人间的心结，哪怕是李渊退位，没有了皇权斗争，也无法消除父子间的这层隔阂。
李渊自从搬进了大安宫后，便开始过着大门不出，二门不迈的生活。除了必须要出席的活动外，他都不会离开大安宫，也不会与朝臣有过多的交流，以免引起儿子的猜疑，造成不必要的误会。
而李世民也不曾来到大安宫探望自己的父亲，也不曾给父亲请过安，哪怕朝廷中有人提醒他要尽孝道，他都置之不理。
贞观七年，李世民在未央宫宴请外邦使臣，李渊也应邀参加这次的宴会。在宴席上，欢声笑语不绝于耳，李世民还让突厥使臣给自己父亲跳舞助兴，让南蛮的使者写诗吟诵。
李渊感慨道：“北方的胡人和南方的越人像一家人一样其乐融融，这是从未有过的事情呀。”大家听到这些话后，都开心地笑成一团。
然而，李世民却举杯对父亲说：“刘邦曾经在未央宫里，嘲讽过自己的父亲，他是性格狂妄，但我和他不一样，我来给您祝酒庆祝。”
原来，刘邦也在未央宫里举办过宴会，对他父亲说：“父亲，您曾经说我比不上大哥的聪明才智，整天只知道游手好闲，现在我和大哥比是怎么样呢?”李渊听了李世民的嘲讽后，只能尴尬地随着众人一起尬笑。
贞观八年，李渊再次参加宴请突厥的宴会，他不禁感叹：“如今外邦都被降服了，这是从古到今都没人能做到的事情，这是全是皇帝的功劳呀。”
李世民则眼含热泪地说：“这也不全是我自己的功劳，这也归功于您以前对我的教导。”于是，便再次举起酒杯向李渊敬酒。
但父子俩间的温情只有少数时光，在更多的时候，他们之间仍旧保持着距离。每年夏天，长安的气温都很高，李世民便带着亲眷前往九成宫避暑。但几乎每次都不带李渊，而大安宫里异常闷热，这对年迈的李渊来说是非常煎熬的事情。
年年都有大臣向皇上请奏带上李源前去避暑，但他都没有听取建议。直到贞观八年七月，此时的李渊身体变得非常差，已经卧病在床，到了没法行走的程度了。
这年夏天，他才邀请父亲一同前往九成宫避暑，离开大安宫这个闷热的地方，但这时候的李渊身体条件根本不适合远行。
