匈奴自从给卫青、霍去病打败以后，双方有好几年没打仗。他们口头上表示要跟汉朝亲睦，现实上依然随时想进犯中原。
匈奴的单于一次次派使者来求和，可是汉朝的使者到匈奴去回访，有的却被他们扣留了。汉朝也扣留了一些匈奴使者。
公元前100年，汉武帝正想出兵打匈奴，匈奴派使者来求和了，还把汉朝的使者都放返来。汉武帝为了答复匈奴的善意表示，派中郎将苏武拿着旌节，带着副手张胜和随员常惠，出使匈奴。
苏武到了匈奴，送背工留的使者，送上礼物。苏武正等单于写个复书让他回去，没想到就在这个时候，出了一件倒霉的事儿。
苏武没到匈奴之前，有个汉人叫卫律，在出使匈奴后投降了匈奴。单于特别重用他，封他为王。
卫律有一个部下叫做虞常，对卫律很不写意。他跟苏武的副手张胜原来是朋友，就暗地跟张胜商量，想杀了卫律，劫持单于的母亲，逃回中原去。
张胜很表示同情，没想到虞常的打算没成功，反而被匈奴人逮住了。单于大怒，叫卫律审问虞常，还要查问出同谋的人来。
苏武本来不知道这件事。到了这时候，张胜怕受到牵连，才通知苏武。
苏武说：“事儿已经到这个地步，一定会牵连到我。如果让人家审问以后再死，不是更给朝廷丢脸吗？”说罢，就拔出刀来要自杀。张胜和随员常惠眼快，夺去他手里的刀，把他劝住了。
虞常受尽种种刑罚，只承认跟张胜是朋友，说过话，拼死也不承认跟他同谋。
卫律向单于报告。单于大怒，想杀死苏武，被大臣劝阻了，单于又叫卫律去逼迫苏武投降。
苏武一听卫律叫他投降，就说：“我是汉朝的使者，如果违背了使命，丧失了气节，活下去另有什么脸见人。”又拔出刀来向脖子抹去。
卫律沉着把他抱住，苏武的脖子已受了重伤，昏了已往。
卫律赶快叫人抢救，苏武才慢慢苏醒过来。
单于觉得苏武是个有气节的铁汉，十分钦佩他。等苏武伤痊愈了，单于又想逼苏武投降。
单于派卫律审问虞常，让苏武在旁边听着。卫律先把虞常定了死罪，杀了；接着，又举剑威胁张胜，张胜贪生怕死，投降了。
卫律对苏武说：“你的副手有罪，你也得连坐。”
苏武说：“我既没有跟他同谋，又不是他的亲属，为什么要连坐？”
卫律又举起剑威胁苏武，苏武不动声色。卫律没法，只好把举起的剑放下来，劝苏武说：“我也是不得已才投降匈奴的，单于待我好，封我为王，给我几万名的部下和满山的牛羊，享尽富贵荣华。先生如果能够投降匈奴，明天也跟我一样，何必白白送掉性命呢？”
苏武怒气冲冲地站起来，说：“卫律！你是汉人的儿子，做了汉朝的臣下。你忘恩负义，背叛了父母，背叛了朝廷，厚颜无耻地做了汉奸，另有什么脸来和我说话。我决不会投降，怎么逼我都没有效。”
卫律碰了一鼻子灰回去，向单于报告。单于把苏武关在地窖里，不给他吃的喝的，想用长期折磨的办法，逼他屈服。
这时候正是入冬天气，外面下着鹅毛大雪。苏武忍饥挨饿，渴了，就捧了一把雪止渴；饿了，扯了一些皮带、羊皮片啃着充饥。过了几天，居然没有饿死。
单于见折磨他没用，把他送到北海（今贝加尔湖）边去放羊，跟他的部下常惠分隔开来，不许他们通新闻，还对苏武说：“等公羊生了小羊(lamb)，才放你回去。”公羊怎么会生小羊呢，这不过是说要长期羁系他罢了。
苏武到了北海，旁边什么人都没有，唯一和他作伴的是那根代表朝廷的旌节。匈奴不给口粮，他就掘野鼠洞里的草根充饥。日子一久，旌节上的穗子全掉了。
一向到了公元前85年，匈奴的单于死了，匈奴发生内乱，分成为三个国家。新单于没有力量再跟汉朝打仗，又打发使者来求和。那时候，汉武帝已死去，他的儿子汉昭帝即位。汉昭帝派使者到匈奴去，要单于放回苏武，匈奴谎说苏武已经死了。使者信以为真，就没有再提。
第二次，汉使者又到匈奴去，苏武的随从常惠还在匈奴。他买通匈奴人，私下和汉使者晤面，把苏武在北海牧羊的状况通知了使者。使者见了单于，严厉责备他说：“匈奴既然存心同汉朝亲睦，不应该诳骗汉朝。我们皇上在御花园射下一只大雁，雁脚上拴着一条绸子，上面写着苏武还在世，你怎么说他死了呢？”
单于听了，吓了一大跳。他还以为真的是苏武的忠义感动了飞鸟，连大雁也替他送新闻呢。他向使者道歉说：“苏武确实是在世，我们把他放回去就是了。”
苏武出使的时候，才四十岁。在匈奴受了十九年的折磨，髯毛、头发全白了。回到长安的那天，长安的人民都出来迎接他。他们瞧见白髯毛、白头发的苏武手里拿着光杆子的旌节，没有一个不受感动的，说他真是个有气节的大丈夫。