西汉天汉元年，苏武带着的使命，跟着他的副使张胜，属员常惠等一百多人，跋山涉水来到匈奴王廷，把丰厚的礼物赠送给且侯单于，希望双方和睦友好 下去。谁知匈奴单于态度非常傲慢，完全不像所想的那样。使命完成以后，匈奴单于准备派遣使者，把苏武一行送回汉朝，苏武他们也安心等待，准备返回。
没想到，就在此时，匈奴发生了一次谋反事件，苏武回汉的事也化为泡影。
苏武到匈奴之前，有个汉人叫卫律，在出使匈奴后投降了匈奴。单于特别重用他，封他为王。
卫律有一个部下叫做虞常，对卫律很不满意。准备把且侯单于的母亲劫持到汉朝，用以向汉朝报功请赏。
虞常跟苏武同来的副使张胜本来就认识，且很要好。于是虞常便去拜访张胜，寻求帮助，张胜也答应了。不料，虞常做事不密给人告发了。
张胜听说以后，坐卧不安，惟恐他跟虞常的那次密谈被揭发出来，于是把有关情况一五一十地告诉了苏武。
蒙在鼓里的苏武听了张胜的汇报，感到问题十分严重。他气愤地说：“我是汉朝的正式使节，如果因此而被审问、被侮辱，甚至危及生命，那岂不辜负了朝廷！”说完，就要拔刀自杀。张胜、常惠连忙上前抱住他，这才作罢。
虞常在被审讯时，果然说出了跟张胜的那次谈话。匈奴单于听了以后，非常气愤，立即决定把汉朝使者全部扣押起来，并让卫律把苏武找来听审。
这一天，匈奴王廷卫士林立，戒备森严，气氛非常紧张。苏武见这种情况，便对常惠等人说：“我是无辜受审，这有损于我的人格和气节，会玷辱我的使命，就是不杀我，也没有脸再回汉朝了！”说罢，就要拔刀自杀。卫律大吃一惊，赶紧上前，抱住了苏武。可是，苏武已经受了重伤。
奄奄一息的苏武过了很久才逐渐苏醒过来。常惠见苏武这样刚强、悲壮，感动得放声大哭。许多人也跟着流泪。
单于觉得苏武是个有气节的好汉，十分钦佩他。苏武的伤势经过了一段时间的调养，渐渐痊愈。这时，匈奴单于便派人去通知苏武，要他去一同审判虞常。实际上是趁机威胁苏武，设法强迫他投降。
经过这天的审讯，虞常被当场杀掉。卫律转过身来，对张胜说：“你谋杀单于的亲信大臣，按律应当处死；只有投靠单于，才有活路！”说罢，就举起宝刀恐吓张胜。张胜贪生怕死，投降了。
卫律对苏武说：“你的副手有罪，你也得连坐。”
苏武说：“我既没有跟他同谋，又不是他的亲属，为什么要连坐？”
卫律又举起剑威胁苏武，苏武不动声色。卫律没法，只好把举起的剑放下来，劝苏武说：“我卫律先前背弃汉朝，投奔了匈奴，单于提拔我、重用我，还封我为了 灵王。论兵员，我有好几万；论牛羊，满山遍野。你看，这是多么荣耀富贵啊！假如你今天投降，明天就会像我一样。你这样执迷不悟，白白送掉了性命，有谁能理 解你、同情你呢？”
苏武怒气冲冲地站起来，说：“卫律！你是汉人的儿子，做了汉朝的臣下。你忘恩负义，背叛了父母，背叛了朝廷，厚颜 无耻地做了汉奸，还有什么脸来和我说话。况且，匈奴单于信任你，让你掌握着生杀大权，你不仅不主持公道，伸张正义，反而要让汉朝皇帝和匈奴单于相互攻打， 自己却坐山观虎斗，幸灾乐祸看热闹！你也知道我不会变节投降，还想方设法来逼我，无非是想让双方大动于戈，祸害匈奴！我决不会投降，怎么逼我也没有用。”
卫律碰了一鼻子灰回去，向单于报告。匈奴单于听了越发觉得苏武气节不凡，更想让苏武投降。为了这个目的，他下令把苏武监禁起来，关在一个破败的地窖里，不给吃，不给喝，想用长期折磨的办法，逼他屈服。没想到苏武竟顽强地活了下来。
匈奴单于见苏武没吃没喝竟活得很好，还以为他有神灵保佑。于是把他送到北海边去放羊，跟他的部下常惠分隔开来，不许他们通消息，还对苏武说：“等公羊生了小羊，才放你回去。”公羊怎么会生小羊呢？这不过是说要长期监禁他罢了。
北海在匈奴北边。苏武赶着一群公羊，到了北海。北海人烟稀少，非常荒凉，到处是冰天雪地，气候十分恶劣。这儿原来是匈奴打猎和流放犯人的地方。苏武一个 人孤单地呆在这里，非常想念故乡和亲人！可是，眼前只有一群不会说话的公羊。惟一和他做伴的是那根代表朝廷的旌节。匈奴不给口粮，他就掘野鼠洞里的草根充 饥。日子一久，旌节上的穗子全掉了。
一直到了公元前85年，匈奴的单于死了，匈奴发生内乱，分成了三个国家。新单于没有力量再跟汉朝打仗，又打发使者来求和。那时候，汉武帝已死去，他的儿子汉昭帝即位。汉昭帝派使者到匈奴去，要单于放回苏武，匈奴谎说苏武已经死了。使者信以为真，就没有再提。
第二次，汉使者又到匈奴去，苏武的随从常惠还在匈奴。他买通匈奴人，私下和汉使者见面，把苏武在北海牧羊的情况告诉了使者。使者见了单于，严厉责备他 说：“匈奴既然存心同汉朝和好，就不应该欺骗汉朝。前不久，汉朝皇帝在上林苑里打猎，射下了一只南飞的大雁。大雁的脚上绑着一条用绸子写的信，是苏武的亲 笔。信中说，他仍在北海牧羊。”单于听了，吓了一大跳。只好向汉使道歉说：“苏武等人确实还活着。”
匈奴单于为了表示要改善关系，便答应了汉使的要求，决定让苏武等人回汉朝。
公元前81年（始元六年）春，离别汉朝19年的苏武已满头白发，回到了盼望已久的长安。
