惟霍光自是器重文人，加意延聘。适谏议大夫杜延年，请修文帝遗政，示民俭约宽和。光乃令郡国访问民间疾苦，且举贤良文学，使陈国家利弊，当由一班名士耆儒，并来请愿，乞罢盐铁酒榷均输官。御史大夫桑弘羊，还要坚持原议，说是安边足用，全恃此策。经光决从众意，不信弘羊，才得榷酤官撤销，轻徭薄赋，与民休息，百姓始庆承平。可巧匈奴狐鹿姑单于病死，遗命谓嗣子年幼，应立弟右谷蠡王。偏阏氏、颛渠与卫律密谋，匿下遗命，竟立狐鹿姑子壶衍鞮单于，召集诸王，祭享天地鬼神。右谷蠡王及左贤王等，不服幼主，拒召不至。颛渠、阏氏方有戒心，自恐内乱外患，相逼到来，乃亟欲与汉廷和亲，遣使通问汉廷。汉廷亦遣使相报，索回苏武、常惠等人，方准言和。苏武困居北隅，已经十有九年。前时卫律屡迫武降，武执意不从。见七十五回。至李陵败降胡中，匈奴封陵为右校王，使至北海见武，劝武降胡。武与陵向来交好，未便拒绝，既经会面，不得不重叙旧情，好在陵带有酒食，便摆设出来，对坐同饮，侑以胡乐。饮至半酣，陵故意问武状况，武唏嘘道：“我偷生居此，无非望一见主面，死也甘心！历年以来，苦难尽述。犹幸单于弟於靬王弋射海上，怜我苦节，给我衣食，才得忍死至今。今於靬王逝世，丁灵人复来盗我牛羊，又遭穷厄，不知此生果能重归故国否？”陵乘机进言道：“单于闻陵素与君善，特使陵前来劝君，君试思孑身居此，徒受困苦，虽有忠义，何人得知？且君长兄嘉，曾为奉车，从幸雍州棫阳宫，扶辇下除，除系除道。触柱折辕，有司即劾他大不敬罪，迫令自杀。君弟贤，为骑都尉，从祠河东后土，适值宦骑与黄门争船。黄门驸马，被宦骑推堕河中，竟至溺死。主上令君弟拿讯宦骑，宦骑遁逃不获，无从复命，君弟又恐得罪，服毒身亡。太夫人已经弃世，尊夫人亦闻改嫁，独有女弟二人，两女一男，存亡亦未可知。人生如朝露，何徒自苦乃尔！陵败没胡廷，起初亦忽忽如狂，自痛负国。且母妻尽被拘系，更觉心伤。朝廷不察苦衷，屠戮陵家，陵无家可归，不得已留居此地。子卿！子卿！苏武表字，见前。汝家亦垂亡，还有何恋？不如听从陵言，毋再迂拘！”苏武内外情事，即由二人口中分叙。武听得母死妻嫁，兄殁弟亡，禁不住涔涔泪下，惟誓死不肯降胡。因忍泪答陵道：“武父子本无功德，皆出主上成全，位至将军，爵列通侯。兄弟又并侍宫禁，常思肝脑涂地，报达主恩。今得杀身自效，虽斧钺汤镬，在所勿辞，幸毋复言！”李陵见不可劝，暂且忍住，但与武饮酒闲谈。今日饮毕，明日复饮，约莫有三五日。陵又即席开口道：“子卿何妨竟听陵言。”武慨答道：“武已久蓄死志，君如必欲武降，愿就今日毕欢，效死席前！”陵见他语意诚挚，不禁长叹道：“呜呼义士！陵与卫律，罪且通天了！”说着，泣下沾襟，与武别去。
已而陵使胡妇出面，赠武牛羊数十头。又劝武纳一胡女，为嗣续计。尚欲笼络苏武。武曾记着陵言，得知妻嫁子离，恐致无后，因也权从陵意，纳入胡女一人，聊慰岑寂。及武帝耗问，传达匈奴，陵复向武报知，武南向悲号，甚至呕血。到了匈奴易主，与汉修和，中外使节往来，武却全然无闻。汉使索还武等，胡人诡言武死，幸经常惠得闻消息，设法嘱通虏吏，夜见汉使，说明底细，且附耳密谈，授他秘语，汉使一一受教，送别常惠。越宿即往见单于，指名索回苏武，壶衍鞮单于尚答说道：“苏武已病死久了。”汉使作色道：“单于休得相欺，大汉天子在上林中，射得一雁，足上系有帛书，乃是苏武亲笔，谓曾在北海中，今单于既欲言和，奈何还想欺人呢！”这一席话，说得单于矍然失色，惊顾左右道：“苏武忠节，竟感及鸟兽么？”乃向汉使谢道：“武果无恙，请汝勿怪！我当释令回国便了。”汉使趁势进言道：“既蒙释回苏武，此外如常惠、马宏诸人，亦当一律放归，方可再敦和好。”单于乃即慨允，汉使乃退。李陵奉单于命，至北海召还苏武，置酒相贺，且饮且说道：“足下今得归国，扬名匈奴，显功汉室，虽古时竹帛所载，丹青所画，亦无过足下，惟恨陵不能相偕还朝！陵虽驽怯，但使汉曲贷陵罪，全陵老母，使得如曹沫事齐，盟柯洗辱，宁非大愿？曹沫见列国时。乃遽收族陵家，为世大辱，陵还有何颜，再归故乡。子卿系我知心，此别恐成永诀了！”说至此，泣下数行，离座起舞，慷慨作歌道：“经万里兮度沙漠，为君将兮奋匈奴，路穷绝兮矢刃摧，士众灭兮名已
从前苏武出使，随行共百余人，此次除常惠同归外，只有九人偕还，惟多了一个马宏。宏当武帝晚年，与光禄大夫王忠，同使西域，路过楼兰，被楼兰告知匈奴，发兵截击，王忠战死，马宏被擒。匈奴胁宏投降，宏抵死不从，坐被拘留，至此得与武一同生还，重入都门。武出使时，年方四十，至此须眉尽白，手中尚持着汉节，旄头早落尽无余，都人士无不嘉叹。既已朝见昭帝，缴还使节，奉诏使武谒告武帝陵庙，祭用太牢，拜武为典属国，赐钱二百万，公田二顷，宅一区。常惠官拜郎中，尚有徐圣、赵终根二人，授官与常惠同，此外数人，年老无能，各赐钱十万，令他归家，终身免役。独马宏未闻封赏，也是一奇。想是官运未通。
武子苏元，闻父回来，当然相迎。武回家后，虽尚子侄团聚，追思老母故妻，先兄亡弟，未免伤感得很。且遥念胡妇有孕，未曾带归，又觉得死别生离，更增凄恻。还幸南北息争，使问不绝，旋得李陵来书，借知胡妇已得生男，心下稍慰。乃寄书作复，取胡妇子名为通国，托陵始终照顾，并劝陵得隙归汉，好几月未接复音。大将军霍光与左将军上官桀，与陵有同僚谊，特遣陵故人任立政等前往匈奴，名为奉使，实是招陵。陵与立政等，宴会数次，立政见陵胡服椎髻，不觉怅然。又有卫律时在陵侧，未便进言。等到有隙可乘，开口相劝，陵终恐再辱，无志重归，立政等乃别陵南还。临行时，由陵取出一书，交与立政，托他代给苏武。立政自然应允，返到长安复命。霍光上官桀，闻陵不肯回来，只好作罢。独陵给苏武书，乃是一篇答复词，文字却酣畅淋漓。小子因陵未免负国，不遑录及，但随笔写成一诗道：
子卿归国少卿降，
独有杜陵留浩气，
苏武回国以后，只隔一年，上官桀与霍光争权，酿成大祸，连武子苏元，亦一同坐罪。究竟为着何事？待小子下回叙明。
武帝能知霍光之忠，而不能知上官桀之奸，已为半得半失。光与桀同事有年，亦未克辨奸烛伪，反与之结儿女姻亲，是可见桀之狡诈，上欺君，下欺友，手段固甚巧也。女孙不过六龄，乃由子安私托丁外人，运动盖长公主，侥幸成功，得立为后。推原由来，光不能无咎，假使盖长公主不得入宫，则六龄幼女宁能骤登后位乎？至若苏武丁年出使，皓首而归，忠诚如此，何妨特授侯封，乃仅拜为典属国，致为外人所借口。陵复苏武书中，亦曾述及，而后来燕王旦之谋反，亦借此罪光。光忠厚有余，而才智不足，诚哉其不学无术乎！