最重要的原因莫过于汉武帝刘彻不看好三子刘旦和四子刘胥的品行。
刘旦当初被封为燕剌王后，便常驻于他北方的封地。封地在北，和匈奴接近，看得出刘彻有想要锻炼他，才让他驻守边疆的意思。刚开始，刘旦压根就没有动过太子之位的心思，毕竟在他之前还有两个十分优秀的哥哥，如果没有奇迹发生，皇位应该是轮不到他来坐的，不如安心做自己的藩王。不用策划怎么竞争皇位，空闲的时间变得很多，他也不闲着，便静心研习学问，涉猎各家学说，并因此得到了史书上"能言善辩，广有谋略"的称赞。
但现实就是如此，二哥病逝，大哥自*两件事先后发生，刘旦看到了得到皇位的可能，表面上是对哥哥早逝的悲伤，其实心中却是在暗暗自喜。但是他却实在操之过急，刘据一死，他就上书父皇，请求宿卫长安，希望能因此得立太子之位。刘彻还没从痛失爱子爱妻的悲伤中走出来，就看到刘旦如此急切，既悲又愤，对他很是失望，当即便下令*掉刘旦派来的使者，并削其三县，甚至还感叹"生子放在燕赵之地，果生争权之心。"因此，刘旦彻底失去了继承皇位的机会。
对于刘胥，《汉书》中有记载："胥壮大，好倡乐逸游，力扛鼎，空手搏熊彘猛兽。"力气大到扛鼎都不在话下，而且还能赤手空拳和猛兽决斗，这样一讲，刘胥确实有点猛。大大咧咧如刘胥，自然是连缺点也不加掩饰地表现了出来，谁人都知道刘胥他成为藩王后，时常"动作无法度"。
世人都认定的事，阅人无数而且精明的刘彻当然也知道。面对这个四肢发达头脑简单，充其量只不过是一介莽夫的儿子，刘彻很清楚他是不能治理好国家的。于是在考虑继承人一事时，刘彻压根就没考虑过刘胥。
