河南之战后，汉武帝进行了朔方边疆大开发，一时间，汉朝全民动员热火朝天，而与此同时，匈奴那边却陷入了一派惨淡与纷乱之中，汉元朔三年冬，军臣单于在忧愁与愤懑中重病身亡，匈奴各部顿时失去了主心骨，军臣的弟弟左谷蠡王伊稚斜趁势发动政变，自立为大单于，率军突袭匈奴王庭，太子於丹慌忙应战，最终不敌，无奈率部众逃奔汉朝。
秦汉时期，北方的匈奴始终对中原王朝是个巨大的威胁。在秦代，匈奴曾一度为大将蒙恬所击败，逃往漠北，十多年不敢南下。秦朝覆亡后，匈奴趁楚汉相争、无暇北顾之机再度崛起。在骁勇善战的冒顿单于统率下，四面出击，重新控制了中国西北部、北部和东北部的广大地区。
卫青首次出征匈奴是元光五年，卫青为车骑将军，从上谷出发，直捣茏城取得大捷。汉武帝听取了王恢的建议，在雁门关马邑山谷设伏击圈引诱匈奴偷袭，然后派李广、王恢、李息、公孙贺、韩安国等五路大将，率领大约三十余万兵马，准备在马邑伏击单于。
经历了漠南之战和河西之战，取得了一系列的胜利。但是，匈奴单于毫发未损。前119年春天，汉武帝同诸位将军们商议说:“翕侯赵信向单于献计，居住到大沙漠以北去，认为汉朝军队不能到达，他以为这样，我们就打不到他了吗，我们反其道而行之，必然会成功。”
