苏武来到北海后，匈奴人不供给他粮食，他就靠挖掘野鼠贮存的粮食充饥。他手拄着汉朝符节放牧羊群，时刻把符节带在身边，以至于符节的旄都脱落了。
这样过去了五、六年，单于的弟弟于靬（音qián，前）王游牧到北海，因为苏武能制作猎网和弓箭，校正弓弩，于靬王很喜欢他，送给他衣食。三年多后，于靬王生病，赏赐给苏武马畜、服装和穹庐。
于靬王死后，他的部众迁徙而去。这年冬天，丁令人偷盗走了苏武的牛羊，苏武再度穷困艰难。
当初时，苏武和李陵都汉朝担任侍中，苏武出使匈奴的第二年，李陵投降匈奴，他不敢去面见苏武。过了很长时间，单于派李陵来到北海，为苏武摆设酒宴，陈列乐舞。李陵趁机对苏武说：“单于听说我与你平时交情很深，所以才派我来劝你，单于这是诚心待你。你终究不能返回汉朝，白白待在这无人之地受苦，谁能看到你的忠心呢？以前你的哥哥担任奉车都尉，跟随皇帝到雍城棫阳宫，扶辇下台殿时，辇车撞到柱子上折断了车辕，被以大不敬罪弹劾，他拔剑自*，皇帝赏赐给二百万钱安葬费。你的弟弟跟随皇帝到河东祭祀后土神时，宦骑和黄门驸马争抢船只，黄门驸马被挤到黄河中淹死，宦骑逃跑，皇帝命令你弟弟追捕宦骑，没能捉住，他因为害怕服药自尽。我领兵离开长安时，你的母亲刚刚不幸去世，我一直送葬到阳陵。你的妻子当时年轻，听说现在已经改嫁了。你在汉朝只剩下两个妹妹、两个女儿和一个儿子，现在又过去十多年了，不知是死是生。人生如朝露，何故自苦如此！我开始投降时，也是心神恍惚，如疯如痴，对自己背叛汉朝痛心，再加上老母亲被囚禁在保宫中，你坚持不降的心情怎能超过我呢？何况皇帝年老，法令没有常规，大臣无罪被夷族的有数十家，安危难以预料，你还为谁守节呢？希望你听从我的计策，什么也别想了。”
苏武说：“我们父子无功无德，都是因为皇帝提携才得以位列将军，爵至列侯。我们兄弟三人都身为皇帝近臣，常愿为此肝脑涂地。现在如果能牺牲自己，报效国家，即使蒙受斧钹之诛、汤镬之刑，也甘心情愿。大臣侍奉君主，就如同儿子侍奉父亲，儿子为父亲而死，毫无怨言。希望你不要再讲了。”
李陵和苏武宴饮了几天后，最后又劝说苏武：“你一定要听我的话。”苏武说：“我早已心甘情愿去死，你一定要劝我投降，那就结束今天的欢宴，让我死在你面前吧！”
李陵看到苏武对汉朝如此忠诚，长叹一声说：“唉，他真是义士！我和卫律的罪过，比天还高啊！”随后泪如雨下，沾湿了衣襟，和苏武告别离去。
李陵羞于亲自去给苏武当面赠送财物，就派他的妻子给苏武送去几只牛羊。后来李陵又到北海，他对苏武说：“匈奴边塞哨所活捉到一名云中郡的汉人，他说汉朝太守以下直到普通百姓都穿上白色丧服，并且说汉朝皇帝驾崩了。”
苏武听到这个消息，面对南方痛哭，最后吐出血来，几个月的每天早晚都哭吊汉武帝。
几个月后汉昭帝继位。又过了几年，匈奴与汉朝修好，汉朝向匈奴索要苏武等人，单于撒谎说苏武死了。后来汉朝使者又来到匈奴，常惠请求看守他的人带他晚上一起去面见汉朝使者，详细说明了事情经过。另外教导汉朝使者对单于说，汉朝天子在上林苑中打猎时，射下一只大雁，大雁脚上绑着一封帛书，说苏武还在野外荒泽中。
汉朝使者非常高兴，就按照常惠所说的责问单于。单于左顾右盼，心中暗暗吃惊，只好向汉朝使者道歉说：“苏武确实还活着。”
这时，李陵摆设酒宴祝贺苏武，他说道：“你今天返回后，美名传颂于匈奴，功勋显扬于汉朝，即使古代史*载，丹青所画，有谁能超过你！我李陵虽然无能怯懦，如果汉朝当时能宽赦我的罪过，保全我的老母，使我能施展受辱后积蓄已久的大志，或许能像曹沫那样立功赎罪，这是我以前念念不忘的。但是皇帝逮捕灭掉了我的全族，这是世上最重的*戮，我还有什么可留恋的？算了吧！我只是让你知道我的心思罢了。你我各处异国，这一分手将会永无相见之日了！”
李陵起身舞蹈，他唱道：“径万里兮度沙幕，为君将兮奋匈奴。路穷绝兮矢刃摧，士众灭兮名已聩。老母已死，虽欲报恩将安归！”
李陵唱着唱着涕泪横流，与苏武诀别。单于召集苏武的属吏，除去已投降的和去世的，跟随苏武返回的总共还有九人。
苏武在汉昭帝始元六年（公元前81年）春返回长安。汉昭帝诏令苏武到汉武帝陵墓前供奉牛、羊、猪三牢之礼，然后封他为典属国，官阶为两千石，赏赐二百万钱、公田两顷和一处住宅。跟随回来的常惠、徐圣、赵终根都封为中郎，赏赐各二百匹帛。其余六人因年老返回家中，每人赏赐十万钱，免除终身赋税徭役。常惠后来官至右将军，封为列侯，在《汉书》中其传记。苏武在匈奴共待了十九年，他出发时身体强壮，返回后须发全白。
苏武返回后的第二年，上官杰、上官杰的儿子上官安与桑弘羊以及燕王、盖主谋反。苏武的儿子苏元因参与其中被处死。
开始时，上官杰、上官安和大将军霍光争权，多次逐条陈述霍光的过失，然后送给燕王，让燕王上书向朝廷告状。又说苏武出使匈奴二十年没有投降，返回后却仅封为典属国，霍光的长史没有一点功劳，却封为搜粟都尉，这都是因为霍光专权恣肆。
在燕王等人谋反被诛*后，追查其党羽，苏武平时和上官杰、桑弘羊有交情，多次替燕王申诉，他的儿子苏元还参与了其中，廷尉奏请逮捕了苏武。霍光把这个奏章压下，只是免掉了苏武的官职。
几年后汉昭帝去世，苏武因为曾以中两千石的身份参与朝臣迎立汉宣帝的谋划，被赏赐给关内侯爵位和三百户食邑。过了很长时间，卫将军张安世推荐苏武，说他熟悉明了典章制度，奉命出使不辱使命，汉昭帝生前也经常提到这些。
汉宣帝立即征召苏武在宦者署听候命令，苏武多次进见汉宣帝，又担任了右曹典属国。因为苏武是有节操的著名老臣，汉宣帝命令他可以每逢初一、十五入朝，给予祭酒尊号，非常优待尊宠苏武。
苏武所得到的赏赐财物，他全都赠送给兄弟和旧友，他家中没有余财。汉宣帝的父亲、平恩侯许伯、汉宣帝的舅舅、子昌侯王无故和乐吕侯王武、车骑将军韩增、丞相魏相、御史大夫邴吉都很敬重苏武。
这时苏武年事已高，儿子苏元又犯罪被*，汉宣帝很可怜他，就询问左右大臣：“苏武在匈奴那么长时间，难道没有再生子？”苏武通过许伯向汉宣帝汇报说：“当初从匈奴动身回来时，我的匈奴族妻子正好生下一个儿子，叫做苏通国。现在恰好有音信传来，希望能通过使者用财物把他赎回来。”汉宣帝马上同意了。后来苏通国跟随汉朝使者返回，汉宣帝任命他为郎官。汉宣帝还任用苏武的侄子为右曹。苏武因病去世时八十多岁，时间在汉宣帝神爵二年（公元前60年）。
汉宣帝甘露三年（公元前51年），单于开始到长安朝拜汉朝皇帝。汉宣帝思念那些辅佐自己大臣们的美德，便命人把他们的形体相貌画在麒麟阁上，并标明他们的官职、爵位和姓名，只有霍光没有标注名字，称为大司马、大将军、博陆侯霍氏，以表示尊崇。以下依次为：卫将军、富平侯张安世，车骑将军、龙额侯韩增，后将军、营平侯赵充国，丞相、高平侯魏相，丞相、博阳侯丙吉，御史大夫、建平侯杜延年，宗正、阳城侯刘德，少府梁丘贺，太子太傅萧望之，典属国苏武。这些人都功勋卓著品德高尚，被当世人熟知，因此画名臣像来表彰他们，说明他们是汉宣帝中兴的辅佐之臣，可以和辅佐周宣王中兴时的名臣方叔、召虎、仲山甫相媲美。共计有十一人，在《汉书》中各自有传记。
丞相黄霸、廷尉于定国、大司农朱邑、京兆尹张敞、右扶风尹翁都归到名儒夏侯胜等人的传记中，他们都善始善终，扬名于汉宣帝之时，却不能列于名臣图中，由此可知辅佐之臣的入选标准。
班固赞曰：李广朴实得好像粗鄙之人，他不善言辞，在他自尽的那天，天下人认识和不认识他的人都为他流泪，说明在士大夫们心中他是最忠诚守信的人了。俗语说：“桃李不言，下自成蹊。”这虽然说的是小事，也可以用喻大事。但是李家三代以后的将领，为道家所忌讳，从李广到李陵，宗族都遭诛灭，真是太可悲了！孔子说“志士仁人，有*身以成仁，无求生以害仁”，“使于四方，不辱君命”，苏武这些全部具备。
