而且，杨岳斌与布政使林之望之间也产生了怨愤。后来，他截获、拆阅了林之望的上疏奏摺。
大臣的奏摺直达圣听，私拆则类同冒犯皇帝，这是清朝官场的常识。
杨岳斌此举也是情急之下的不得已之举。但是却犯下了大错。
对于杨岳斌在陕甘总督任上的综合表现，清廷难免有些失望。
于是，他被革职留任，降为三品顶戴。当然，这个处罚算是轻的，其中有体恤之意。
不久，清廷以左宗棠接替杨岳斌为陕甘总督。
这个结果，有着复杂的原因。
杨岳斌是武将出身，处理复杂政务的能力难免欠缺，私下拆阅林之望奏摺之事便可见一斑；善领水军的杨岳斌在西北陆军中缺乏威望，部属军队哗变便是对他的不满。
其实，这里面还有湘军与清廷常规军之间久积的矛盾、政治党派势力较量等原因。
当时，清廷需要尽快镇压在西北合流的太平军、捻军、回民起义军；阿古柏入侵我国新疆地区，策动维吾尔等少数民族起事，并勾结俄、英等帝国主义者搞政治阴谋。
面对内忧外患，战况紧急，急需一位威望和才能非凡的重臣稳定西北地区政局。
最后，同样是镇压太平军立有大功、才干和威望呼声渐高的左宗棠，被确定为合适人选。
当时左宗棠尚忙于在江南追击太平军余部、筹办福州船政学堂，远赴西北尚需一段时日。于是杨岳斌得以留任，等待交接。
杨岳斌带兵多年，在西北领军却发生了部属兵变；本在官场一路凯歌，步步高升，却在陕甘总督任上跌落。
这无疑是他的人生奇耻大辱。
杨岳斌五味杂陈，加之旧伤复发，在西北苦寒之地难捱。于是只想找个地方休养身心。
他的《除夕》里写道：
“驰驱成底事，望望白云飞。今夕年将尽，他乡客未归。苦寒侵病榻，积雪锁柴扉。把酒不成醉，停杯泪湿衣。”
他一再上疏朝廷，称自己病情加重，要求返回家乡养病。
于是，清廷便命穆图善临时代理陕甘总督，于同治六年（1867年）四月准许杨岳斌解任回籍。
杨岳斌结束了仅一年多的陕甘总督官职，从南方驰骋到西北，匆匆留下了个足迹，而后回到人生的起点—老家湖南。
