在岳飞被害之后，秦桧将岳飞的妻子儿女分别流放到洞庭湖以南的蛮夷之地——岭南之地，下令让他们在此自生自灭，这里地理环境复杂，主要有一些少数民族居住，生活条件十分艰苦恶劣。李娃他们刚开始还能得到官府每月仅给少量的粮食，后来连粮食也不给，李娃只好带着子孙开荒耕种自给自足。
当时的岭南经常野兽出没，瘴气丛生，气候变化多样，一般人很难活命，将一班弱小发配到这里，很明显秦桧想让岳飞的家人都灭绝。
李娃是个坚强正直的女人，她发誓无论如何都要保住岳飞的血脉，她对岳飞前妻的孩子视如己出。只可惜岳飞的次子岳雷死在流放地惠州（今属广东省）。岳雷在岳飞入狱后，曾在狱中照顾父亲，亲眼目睹自己父亲被秦桧爪牙酷刑折磨、自己父兄惨死的悲惨场面，每每想起就止不住泪流满面，过度的伤心加上生活条件的恶劣，岳雷含恨而终于贬所，留下四个年幼的儿子。
岳霖当时12岁。李娃生怕这个孩子再有什么闪失，就趁官兵不注意，留下书信一封藏在岳霖腰间让岳霖带着逃跑了。
秦桧一听岳霖跑了，恼羞成怒，下令进行全国大追捕。
当时有一个人叫贡祖文的，是岳飞的“莫逆知己”，官至 “秣陵总镇”、“武德大夫”。岳飞父子的被害让他义愤填膺，他当时没有挽回岳飞被害的损失，常常自责到捶胸捣背，仰天长叹。当他听说岳飞的儿子岳霖逃跑了，又惊又喜，他担忧岳霖被秦桧手下捉住，就带着亲信日夜寻找，结果皇天不负有心人，贡祖文在半道上找到了岳霖，岳霖再自己母亲的交代下正是往贡祖文所在的方向逃亡的。
当时岳霖正芦苇丛里面，浑身哆嗦，贡祖文一摸，孩子身上滚烫，知道岳霖发高烧了，心疼得落泪，赶紧将岳霖带回一个安全得地方，找医生救治。
贡祖文在岳霖腰间发现了一封李氏书信，上面写道：“祖文兄如面，霖儿托据，来世当报”，
贡祖文泪流满面，感动于李娃一家对自己得信任，为岳飞父子被害痛惜不已，他明白岳飞一家此去岭南，凶多吉少，生死未卜更加难过。下定决心，无论如何都要保住岳霖，将他抚养成人。
看到岳霖退了烧，39岁的贡祖文抱着岳霖，连夜骑马赶回任所，将孩子藏于军中。
接着他上书辞官隐居起来。
