然而岁月流逝，乾隆帝一生子嗣众多，他对永琪的挂念在是时间中慢慢淡化，对永琪之子绵亿的怜悯与疼爱逐渐淡漠。
绵亿18岁时，乾隆封他为多罗贝勒，这对于绵亿说是一重打击。因为依惯例，父亲去世后，儿子袭位，应降一等。永琪身为荣亲王，儿子袭位降一等应为郡王，而绵亿被封为贝勒，降了二等。
庶子的身份，让绵亿的地位永远低其他人一等。
同为幼年丧父的大阿哥之子绵德、绵恩，却深受重用。依惯例，皇子服装多为金色，皇孙则为紫色，但绵德、绵恩两兄弟被乾隆特地批准可享用皇子待遇，使用金黄色服饰，并给予他们许多重要任务，鼓励他们积极参与朝政。
而同辈的绵亿，却越来越边缘化，平日里收到的赏赐也是远远不如其他皇孙。此番对比，绵亿的处境不容乐观。
绵亿前半辈子都在努力增长才干，让自己和父亲一样受人赞赏。然而事与愿违，他始终得不到乾隆的喜爱，他在皇宫中越来越透明。常年的心思郁结，也让他身体一天不如一天，年纪轻轻就羸弱多病。
二、溺于声色，派守皇陵幼年时的郁郁不得志，让绵亿的梦想一步步沉沦，变得麻木平庸。
成年后的他，认为自己无论怎么努力都得不到重用，就放弃了对自己的约束，日日夜夜沉迷声色，身体健康每况愈下。乾隆帝年迈，对这位皇孙也是越来越失望，不愿提及。
1796年，颙琰即位，年号“嘉庆”，绵亿的命运开始有了转机。
嘉庆帝与皇侄绵亿可谓缘分匪浅。身为皇子时，颙琰排行十五，与皇孙绵亿年龄仅隔4岁，年龄相仿的二人多了些共同语言。
颙琰甚至向乾隆提出请求，让绵亿做自己的伴读，一起学习成长。二人的相处时间越来越多。幼年丧父的绵亿，孤单落寞时，也常常愿意与颙琰分享心事，二人之间的亲情联结愈加牢固，关系甚密。
1799年，嘉庆帝封绵亿为荣郡王，绵亿终于得到了自己梦寐以求的地位，一时间觉得自己受到了认可，心情明朗。本以为会就此受到重要，然而，嘉庆帝给他的第一个任务是——守皇陵。
这个任务让绵亿心中一凉，以为自己又要被边缘化。其实嘉庆帝的做法另有深意，其考量有三：
第一，皇室后裔守皇陵，合理合情。守皇陵虽不是什么美差，但也是历朝历代的重要差事，皇子皇孙均有义务实行。让绵亿去守皇陵，无可厚非。
第二，绵亿势弱，便于差遣。绵亿在朝中未担任任何重要官职，派遣他去守皇陵，不影响朝政。而且绵亿无权势庇护，给他这样的任务，他也无力反驳，只得顺从。
第三，守陵生活清苦，品性能力有要求。守皇陵虽不是重要任务，但也有一定要求。前往守陵的人需要清心寡欲，斋戒沐浴，需要日常修检陵墓、主持表演，以表达对列祖列宗的尊敬与思念。
