好在雍正念及旧臣功绩，对曹家的这一些老老小小格外开恩，将这一家人安置在了崇文门外的，一处老旧的四合院里，能够逃避流放和处死的罪名，对于那个时候的曹家来说，已经是莫大的恩情了。只是那个在江南称霸一方，享受着锦衣玉食的曹家，已经不存在了。他们手中没有了万亩良田，也没了前拥后护的仆人，仅有几对老仆和几亩田地。再加上破旧的房屋，遭遇强盗洗劫，日子过得越发贫困。
十几岁的小少年，已经不是不懂事的孩童，他亲眼见证了整个家族由盛到衰的惨状，也感受了那些远方亲戚的冷眼与人情冷暖。他再也不是那个任性活泼的小公子，而是与在门口捡石头玩耍的小孩没两样的布衣。搬到京城没几年，他的叔父因为被革官罢职而一蹶不振，最为疼爱他的祖母也病逝了，昔日本就娇弱的寡母更是因此而大病一场。整个偌大的曹家，竟然无人能做顶梁柱。随着曹雪芹的长大，他也逐渐承受起这个凋敝家族的重担。
到了乾隆登基以后，此时曹家已经是戴罪之身长达10年之久，这时候终于得到了皇帝的赦免。曹雪芹也终于能够在内部福利给自己谋一份职位，毕竟他也是22岁的少年，也要承担起养家糊口的责任。踏入官场以后，凭着曹家往日祖父和父亲留下的光辉事迹，他还是结识了不少京城里的贵族，再加上他本就有在繁华江南呆过的经历，那些诗词唱和的场所，总是能够见到曹雪芹的身影。
只可惜他这个官职，只做了几年的时间，就因为惹怒顶头上司而丢了官，本来正在像普通官宦世家转型的曹家，又一次走上了下坡路。只是这一次所有的人都在强调他是一个罪臣后代的身份，无人敢帮衬他。在他33岁的时候，不仅丢了那个不起眼的官职，就连的妻子，也是他的表妹与消香玉损，整个社会对于曹雪芹的抛弃，已经让他的人生落到了谷底。此后他再无大志，也不再期望着家族复兴，甚至穷困到只能够在庙院里的马棚栖身。
