后来，莎车王贤变得越来越骄横。公元45年，车师前王、鄯善、焉耆等十八个国家偷偷地各派王子入侍汉廷，进献宝物。
他们哭着给东汉政府说，莎车王贤经常派很重的赋税，谁不按时缴纳，他就派兵攻打谁，所以恳求汉朝另派一个西域都护。
当时，匈奴频频*扰上谷、中山一带，乌桓、鲜卑则在东北侵扰边境，西部羌人也在蠢蠢欲动，显然不是入主西域的最佳时机。
于是，刘秀再次拒绝了西域诸国的请求，而且还把各国送来的人质都送回去了。
公元47年，莎车王贤攻破鄯善国、*死龟兹王。
鄯善王安迫不得已，再次上书刘秀：“请允许我再次派世子入朝，请求皇上派遣西域都护。如果皇上不答应，我们只好投降匈奴了。”
话都说到这份上了，刘秀还是没答应，他回复说，实在是爱莫能助。
于是，鄯善、车师等国再次依附于匈奴。随后龟兹、焉耆、姑墨、 尉犁等也步其后尘，纷纷归附匈奴，这样西域大半落入匈奴之手。
虽然，刘秀放弃西域在当时有一定道理，但客观来看，刘秀还是太保守，因为汉朝完全可以不用出兵，只需要安排一合适的西域大都护人选，整合西域诸国的力量，一是可以牵制匈奴，二是为以后收复西域打下基础。
所以说，刘秀放弃了把西域纳入中原王朝的最好机会，非常可惜。
二、无故废后虽然刘秀与阴丽华的爱情故事被世人认为是帝王专情的典范，但刘秀的“专情”却伤害了另一个女人——郭圣通，甚至有点恩将仇报的意思。
刘秀年轻的时候就有“娶妻当得阴丽华”的梦想，所以当他稍微有点成绩的时候，就娶了阴丽华为妻。可是那时候天下还不太平，刘秀还要打仗，他不得不和阴丽华分开了。
阴丽华留在了老家，刘秀到河北做招安工作去了。在河北这个地方，刘秀遇到了一个坎，被当地的割据势力王朗给围困了。就在这个紧要关头，郭圣通的舅舅刘扬出现了。
当时，拥有数十万精兵的刘杨刚刚归顺了王郎，刘秀要想脱困，刘杨就是一个很好的突破口，于是他派出了自己的心腹大将刘植去当说客，而且成功的将刘扬给说服了。
但刘杨提出了一个条件，就是刘秀必须娶自己的外甥女郭圣通，刘秀没有选择，只能选择娶郭圣通。
