苏武牧羊的故事令古今各代的中国人感动，苏武不屈的英雄形象也起着对后来很多封建王朝对待北狄蛮族的垂范作用——对单于和酋长们“以礼谕之”、“以节斥乏”，这样的大汉使者们虽然不一定能够完成外交使命，但在声名上总会有加分，至少可以达到立言的效果。《汉书》里，大汉的使节苏武、张胜、常惠都是好人，而匈奴一边都是恶棍和奸贼。这是后人在读《苏武传》时很容易产生的感情效果。《汉书》的编纂者班固，也正是带着这个目的对有关苏武、匈奴的史料加以处理的。
而事实上，苏武到匈奴出使时，正值汉匈战争最激烈的第一阶段刚刚结束。新即位的匈奴单于想用缓兵之计改善与汉朝的关系，争取时间巩固内部，所以就主动提出双方互相释放扣押在己处的外交使节。当时，汉武帝很痛快地答应了。为什么呢？这里边就有玄机。而且，这个派苏武出使的时机，从后来的结果看，是非常险恶的，也是苏武被扣押在匈奴长达19年的最根本原因。因为，汉武帝当时正在策划一次对于匈奴的攻击，而且是规模空前的一次攻击，目的就是要把匈奴彻底消灭。
而这次攻击的大背景，则是当时世界上规模最大、持续最久的战争——汉匈百年战争。匈奴是漠北一个非常古老的民族。在中原的春秋战国时代，匈奴还没有成大气候，与中原国家也没有大的交手记录。那时，北方的晋(后来是赵)、燕等国，主要对手是山戎;西方的泰国，面对的西戎也呈一盘散沙的状态。秦朝统一天下后，着力扩张，四面出击，其中，对北面用兵最狠。秦始皇派蒙恬带精兵30万，携带当时最先进的复合兵器——弩机，把匈奴的部落驱赶出了其世代栖息的河套一鄂尔多斯一带，并在那里设郡筑城镇守。失去了水草肥美的家园，匈奴人只好在大草原里漂泊流浪。但到后来，匈奴出现了轻骑兵大军团战术，这种战术的精髓，就是人(智慧)、马(速度)、弓箭(远程杀伤)合一，呈现出强大的机动性和杀伤力。
靠着这一当时世上最强的战术，匈奴的大英雄冒顿单于统一了北方所有的骑射民族，并组建了多达30万的人、马、箭主力兵团。凭借此，匈奴迅速重新占据了河套故地，并伸出“右臂”，降服了西域各国，将当时占据河西走廊的月氏人赶到中亚养骆驼去了;又伸出“左臂”，消灭东胡，一直打到兴安岭以南。然后，匈奴双臂合拢，准备拥抱中原，却发现新兴的汉朝十分难缠。汉初，因为打楚汉战争而民穷财尽，所以，高、吕、文、景四朝，都对匈奴采取和亲政策，用美色和奢侈品满足匈奴上层，延缓战端，同时，在国内不断积极备战。匈奴多次犯边掳掠，汉军都只是严防要塞、坚壁清野而已。
因为经过几十年的经营，到武帝时，汉朝国力大增，军队实力也得到迅猛发展。更为重要的是，名将卫青、霍去病在汉武帝的授意下，连续对匈奴发动了不计成本和伤亡的攻击。卫青夺取河套鄂尔多斯，霍去病占据河西走廊，打通了通往西域的大门。而且，从霍去病开始，汉军开始对匈奴境内的人口采取了犁庭扫穴式的攻击，也就是开始了对非战斗人员的灭绝式杀掠。匈奴没有办法在漠南立足，只好全部避往漠北，等待时机反扑。而汉武帝这边几次派兵到漠北，结果连匈奴的人影都没见到。于是，汉武帝开始使用外交手段，企图以派使节交涉的方式，侦察匈奴的虚实，搜集北方的气候与地理情报。到苏武出使前夜，武帝已经掌握了匈奴的虚实和位置，准备动手了。
还有一个微观的背景，就是汉不光在打击匈奴，促使匈奴人大批来降，像昆邪王、休屠王以及后来武帝的托孤重臣金日磾一样，其实，当时还有大批的汉人也混杂在匈奴人中间。在这样的背景下，苏武出使到了匈奴，而且，其副使张胜等还策划绑架单于的母亲，此举导致两国外交形势急剧恶化。在屠刀面前，张胜投降，苏武不屈被扣。两国就此事件展开激烈交涉。恰在这时，不按牌理出牌的武帝，突然发动了对匈奴的新一轮攻势。当时，霍去病已经早殇，武帝任命了新统帅李广利。此人是武帝新宠李夫人的哥哥，是新得势的国舅。卫青当时还健在，但因为卫子夫已经失宠，大将军卫青只能负责东、西、南三面的战线，不再参与对匈奴的作战了。李广利的军事水平并不次于卫青，但他的战绩却远不如后者。因为，当时汉的军事潜力和后勤供给能力，都已经远远不如卫、霍统率兵马的时候了。
新的一轮攻势兵分两路;主力由李广利率领西进，出河西走廊，直扑匈奴与西域的结合地带，意图扫清匈奴对汉朝准备占据的西域地区的威胁;李广之孙李陵，率领一支步兵(所有好马都已经拨李广利使用)，北上进入匈奴境内牵制单于主力。这一战汉朝失败，李广利先告败绩，李陵也基本全军覆没。李陵本人投降后，成了匈奴的大将。苏武因此更不可能回到汉朝。汉朝接下来连年进攻失利，匈奴失去西域的大部分土地，也感到了疲惫。于是，两国较量的核心环节开始从直接军事对抗，改为主要在西域各国作外交对抗。武帝晚年，国内民穷财尽，上层祸起萧墙，国家陷入重重危机。主帅李广利的家眷，因为国内的“巫蛊之祸”被灭，李广利本人投降匈奴，被单于当作了祭天的牺牲品。而匈奴内部同样还是天灾人祸不断，并没有因为李广利作了牺牲就有所改善，反而天灾更加剧烈。
古人云，大战之后，必有凶年。穷兵黩武的汉匈双方，也逃不脱这个规律。直到‘武帝驾崩、昭帝即位后，汉才改善了与匈奴的关系，两国开始外交谈判。但匈奴一直拒绝承认苏武还活着。当时，匈奴的单于已经换了好几茬，两国和议也达成了，为什么还不愿释放苏武？因为，苏武在北海(今俄罗斯贝加尔湖地区)牧羊的地方正是匈奴与丁令(即后来的铁勒)的边界。我们惯常的认识，是苏武牧羊的地方非常荒凉，没有人迹，兔子都不拉屎。其实不然，那里有包括丁令在内的很多游牧民族，水草肥美，鸟语花香，草原上歌来歌往，热闹得很。后来，蒙古人的数次西征，出发点都离那里不远。
苏武在北海生活多年，当然就非常了解匈奴的生态、气候与虚实。匈奴给苏武娶了媳妇(当然是匈奴人)，苏武在那里还有了小孩，其中有个孩子名叫苏通国，后来随汉使回国，为苏武延续了香火。在匈奴看来，男丁就是战士，生育人口当然也就是国防建设的一部分，从这一角度上说，也算是苏武变相给匈奴作出了贡献。
这时的匈奴最不希望看到的，是掌握了匈奴虚实与规律的汉使们，回到汉朝，再带着汉军来攻打他们。尤其是苏武这样的杰出人物，回到汉朝，他就是又一个博望侯张骞了。这就是苏武一行在匈奴的后期继续被扣的主要原因，两国的前仇倒成了其次了。但是，苏武的部下常惠偷偷把苏武的情况通报给了汉使(这次会面竟然能实现，说明了汉在匈奴安插了有效的“内鬼”)，这样单于不得不放归了苏武。