他的短暂的陕甘总督仕途，用后来《清史稿·列传第一百九十七彭玉麟传》中的话来说：
“岳斌后为朝旨强促西征，用违其才，偾事损望。玉麟终身不任官职，巡阅长江，为国家纾东顾之忧。其疏论古人晚节之失，由于不能自藏其短，且惜朝廷不善全其长，洵至言也”。
其大意是说，清廷将善于水战的武将杨岳斌用于治理负责陆上的军政事务，属于用人不当，勉为其难，结果反倒折损了杨岳斌及朝廷的声望。用人若不能扬长避短，就会使其晚节不保。
而彭玉麟能得以善终，最终与曾国藩、左宗棠、胡林翼、李鸿章并称为晚清中兴名臣。
杨岳斌淡出官场，叶落归根，在老家湖南安静地休养了几年，陪伴家人老小，享受着天伦之乐。
湖南山清水秀，气候湿润，比西北荒漠苦寒之地舒适多了，更适合老年生活。
乾州地处湘西群山环抱之中，鸟语花香，清泉茶茗，乡音小唱。
山高皇帝远，远离战争、政治，仿佛与世隔绝，心无旁扰。正是“无丝竹之乱耳，无案牍之劳形。”
这种褪去人生名利浮华的闲适、静好的岁月，正如他在《枫桥夜泊》中描述的：
“日暮微风起，菰蒲叶有声。晚烟横古渡，皓月满荒城。渔火前村暗，疏钟远寺鸣。”
在这期间，昔日同僚们的命运轨迹各有变迁，其中深谋远虑、老成持重的曾国藩、左宗棠、李鸿章已成为清廷的股肱重臣，创下了旷世伟业。
同治十一年（1872年），曾国藩离世。这意味着一个以他为代表的时代的结束。
这让年届五十岁的杨岳斌感慨、唏嘘不已。
太平天国被平复之后，清政府考虑到要维护长江一带的江防，以及安置湘军立功水勇，于是将湘军水师改建为长江水师。
由于大部分将领都是杨岳斌当年的旧部，于是清廷于光绪元年（1875年）命杨岳斌与彭玉麟巡阅长江，整顿水师。
随后，早已无意于仕途的杨岳斌屡次上疏，以年老多病、回乡奉养父母，请求辞去差使。
直到光绪五年（1879年）方得到朝廷批准回乡。
杨岳斌又归隐家乡，呆了几年。
其间，父亲过世，他在家丁忧。同时也接济乡邻，整修文庙、道路等，造福一方。
四年后的光绪九年（1883年），中法战争爆发。
朝廷正是用人之时。杨岳斌曾任福建水师提督，因而被再次起用，会办福建军务。
但他上疏朝廷，以母亲年迈病重为由请辞。清廷遂让他待母亲病势稍愈，再赴福建。
第二年，清廷以“战局已开，军情万紧”，要求杨岳斌“移孝作忠”，改任他为帮办江南军务。后来，法军占据台湾基隆，清廷又以杨岳斌为帮办福建军务。
这时，72岁的左宗棠以钦差大臣身份督办闽海军务，67岁的彭玉麟率部驻虎门。
