贡祖文生怕军中人多嘴杂泄露消息，就将岳霖带回徽州宣城（今属安徽省）贡家村隐居，贡祖文怕秦桧怀疑找到这里，不久又举家迁徙到曲阿县柳塘（今江苏省镇江丹阳市延陵镇柳茹村）隐居起来，经过多次搬家，终于安全。
贡祖文对岳霖的到来如获至宝，待他如亲生，每天对他悉心栽培，教他文治武功，天文地理。
岳霖长到21岁时，变化为一个一表人才、文武双全的青年。贡祖文又操心岳霖的婚事，为他千挑万选找了一位知书达理、聪明美丽的姑娘钮氏成了婚。夫妻二人相敬如宾，恩爱非常，生有四子一女。
为了报答贡祖文的救命和养育之恩，岳霖就跟贡家后代结为了异性兄弟，永远是一家人。岳霖立下祖训，贡祖文为岳家头号恩人，岳贡两家决不许通婚，而且专门在丹阳柳塘修建了一座报本祠，里面供奉的就是岳飞和贡祖文的牌位，让后代永世不忘贡家恩情，岳贡两家世代亲如一家人。
绍兴三十二年（1162），当时金国大兵压境，十分危急，秦桧已死过7年了，宋高宗赵构通过禅让成了太上皇，宋高宗之子宋孝宗赵奢即位，为了激励大家抗金的勇气和决心，赵奢下诏为岳飞冤案平反，岳飞平反以后，岳霖入了仕途，官至尚书。
宋孝宗赵奢
岳飞被平冤昭雪时，岳霖已从12岁的毛头小伙变成32岁的中年大叔，回来后岳霖先后担任右承事郎、南赣都督，广西钦州知县等职务，宋孝宗曾经召见他，拉着他的手对他说：
“卿家纪律，用兵之法， 张、韩远不及，卿家冤枉，朕悉知之，天下共知之”。
岳霖稽首涕泣说：
“仰蒙圣察抚念，故家臣不胜感激”！
岳霖一直有个心愿就是收集父亲的手稿，他上疏孝宗请求归还宋高宗当年所赐御札、手诏等，以进行全面增删和考订，孝宗阜帝诏令准左藏南库还之。秦桧活着的时候，和儿子秦熺，为了掩盖害死岳飞的真相，篡改历史，并将涉及岳飞的资料或改或烧。
岳霖想把岳飞被害死的所有真相公布与众，就与朱熹、张拭为友，在各方的帮助下，着手搜集岳飞遗文，修编成书，可惜的是，文稿未成，岳霖得了重病，临终前他将这重任托付给次子岳珂，他说：
“先公之忠未显，冤未白，事实之在人耳目者，日就湮灭。余初罹大祸，漂泊囚缧。及至仕途，而考于见闻，访于遗卒，掇拾而未及上，余之罪也。子能成吾志，雪尔祖之冤，吾死瞑目矣！”
岳霖去世时62岁，他的两个儿子继承父亲遗志，传承岳飞精神。岳飞成绩突出的后裔，主要在三子岳霖这一脉人，他的两个儿子长子岳琮，次子岳珂，岳飞的孙辈，在诸孙中，岳珂最为出名，第二位则是岳甫。岳珂在岳霖52岁时出生，属于老来子，他们的后代常出人杰。
岳珂没有辜负父亲的愿望，他秉承父志，著有《吁天辩诬》、《天定录》等书，著有《金佗粹编》28卷、《桯史》15卷、《玉楮集》8卷等为祖父辩冤，《金佗粹编》也是研究岳飞和南宋历史的重要资料。由于岳珂居金佗坊，因而后世称岳珂这一系为金佗支。
岳珂的后裔到岳飞七世孙岳琳时，宋度宗时为金部主事；岳琳五世孙岳懋（岳飞十二世孙），在元代做荣寿官；岳懋五世孙岳九皋（岳飞十七世孙），在明朝时是通议大夫，都察院右副都御史，他的弟弟岳九德，是明朝的资政大夫，通政使司，南京兵部尚书。
岳九皋之子岳和声（岳飞十八世孙）是万历二十年（1592年）进士，后封淮藩王，总督陕西三边军务，政绩突出，钦赐蟒金奉，卒后赠谕葬；
岳九德长子岳骏声（岳飞十八世孙），在万历三十八年（1610年）进士，历任七省漕储备道太常寺正卿，通政使加二品服奉，赠刑部尚书；岳九德次子岳元声（岳飞十八世孙），是万历十一年（1583年）的进士，南京兵部左侍郎，赠尚书，有司马，卒后赠谕葬。
岳大舟（岳霖之十五世孙，岳飞十六世孙）在明朝万历年间县任广西漓江卫指挥，后又随军屯甘肃临洮府。
岳大舟的儿子岳钟武（岳飞十七世孙）理父之业，于万历二十年（1592年）入军旅任职于庄浪卫（今甘肃兰州永登）永泰堡，遂携家眷定居于斯，始为岳飞后裔永泰支祖。
岳钟武之子岳文魁（岳飞十八世孙），清朝镇守西北，赠少保三等。岳文魁传子岳镇邦（岳飞十九世孙）。岳镇邦自幼受岳飞精神传承，颇有月给当年的雄风。他为防外族侵扰，变卖家私田产，招募乡间青壮年组成地方武装，抵御蒙族掠扰。
蒙古首领会多尔吉率部落前来侵扰，岳镇邦率兵，五次击退敌人，生擒会多尔吉。从此以后，岳镇邦名声大振，朝廷破格授永泰营把总、千总。后来岳镇邦歼灭俘获吴三桂手下王屏藩手下大将李虎牙一万多人。岳镇邦最后升任浙江绍兴副总兵、山西大同镇总兵官加左都督。
岳镇邦的子孙们就更厉害了。
岳镇邦的长子岳升龙（岳飞二十世孙），曾跟随康熙帝亲征噶尔丹，授四川提督，后任山东省总兵。康熙五十一年（1712年）病逝，雍正四年（1726），追谥“敏肃”。
岳镇邦的次子岳超龙（岳飞二十世孙）曾任天津总兵、湖广提督。
岳升龙长子岳钟琪（岳飞二十一世孙），文武双全，身历康熙、雍正、乾隆三朝，一生战功显赫，在平定青海叛乱、逐准安藏及讨平大小金川的过程中屡建大功，被乾隆帝誉为“三朝武臣巨擘”。史称：
“终清世，汉大臣拜大将军，满洲士卒隶麾下受节制，钟琪一人而已”。
岳钟琪著有《姜园集》《蛩吟集》《复荣上下二集》《容斋诗集》等。岳钟琪有四个儿子，长子岳濬曾任广东巡抚，后官至通政使参议；次子岳沺曾被授为侍卫；三子岳淓曾被授为侍卫；四子岳瀞，岳钟琪死后获准世袭一等轻车都尉。
岳钟琪的叔父岳超龙的次子岳钟璜（岳飞二十一世孙），岳钟琪弟弟，参加了征讨青海罗卜藏丹津和“庄浪王”的战役，历经战火锤炼。后历任四川威茂营参将、副将，福建建宁、江西南赣、云南昭化、昭通诸镇总兵，广西、四川提督，谥“庄恪”。以上是岳霖这支。岳霖的后裔主要分布在陈渡桥、凌家塘岳家村（现已拆迁）、横山桥蓉湖（岳家塘）、牛塘、卢家巷、奔牛琅琊墩等几个地方。
再来看李娃在岭南，当时岳霖逃跑后李娃和岳飞的家人免不了一顿审讯，在李娃的带领下，大家都咬紧牙关，不吐露任何消息。秦桧一直没有放弃对岳霖的追捕，直到他病死。
李娃带着家人在岭南习武、耕读，吃尽苦头，苦熬了20年终于熬出头，岳飞被平反后李娃及家人重新被接回了建康，李娃被封正德夫人、晋秦国夫人，景定二年(1261年)加封楚国夫人，岳家财产经统计也被归还，不过基本没什么值钱的东西，宋孝宗也“恻然叹其贫”。
回想之前在岳飞活着时，有人曾问岳飞：“天下何时太平？”岳飞回答：
四、岳飞的四子和五子“文官不爱钱，武官不惜命，则太平矣。”
再来看，岳飞的第四第五子，本来老四岳震（时年7岁）、老五（初名岳霭,时年3岁）也跟李娃一块流放，后来在亲朋的帮助下二人一块逃脱，他们在家仆的保护下从九江庐山下沙河过长江逃亡，潜于黄梅大河之滨，后又迁入聂家大湾，在那里隐姓（改姓“鄂”）埋名隐居在湖北黄梅县大河镇。
