汉军本来的部署是：霍去病部出定襄，寻击伊稚斜单于；卫青部出代郡，寻击匈奴左贤王。后来从一匈奴俘虏的口中得知，伊稚斜单于在东方。于是武帝急令两军对调路线：霍去病部东出代郡，卫青部西出定襄。霍去病部无裨将，便把右北平太守路博德、李广之子大校李敢等人当裨将使用。卫青部的宿将比较多，其名字与职位分别为：郎中令李广为前将军，太仆公孙贺为左将军，公孙敖为中将军，主爵都尉赵食其为右将军，曹参后裔平阳侯曹襄为后将军。
匈奴探子侦知汉军的行动后，飞报伊稚斜单于。赵信为单于谋道：“汉军即使越过了沙漠，也必定人马疲惫。届时我军以逸待劳，击败敌人，当不费吹灰之力。”于是伊稚斜单于令人将辎重远输至北边，全部精兵聚于漠北，休整养神，以等待汉军的到来；与此同时，匈奴人将病死的牛、马、羊等牲口埋在汉军必经之地的水源中，祭祀诅咒汉军，希冀产生瘟疫，以困杀对手。
卫青部出塞一千余里后，捕捉得一个匈奴俘虏，从其口中得知了伊稚斜单于的准确位置。卫青大喜，刚想发布作战命令，却不免犹豫起来。原来前将军李广本应为先锋的。然而，出征之前，武帝认为他的年纪太老，本不允许他出战的，后来经不住李广的一再请求，才同意他出任前将军。但武帝私下里又认为李广命运不佳，便暗中警告卫青，不要让他与单于正面对阵，以免耽搁捕获单于的大计。
权衡片刻，卫青心想：“若令李广为前锋，如圣上所愿那便罢了，若不能捉得单于，以圣上的个性，那么，我必有用人失察之责，李广则轻有牢狱之灾，重则……”卫青不敢再往下想了，不再犹豫，立时做出决定，令李广部与赵食其部合并，取路东道，迂回前行，攻击单于部侧翼。李广得知后，认为东路迂回曲折，稍微有点绕远，而且缺乏水草，势必不能并队行进，如此则不利对阵匈奴。于是李广请求说：“我的职位是前将军，大将军却命令我部从东路出兵，这恐怕不合时宜吧？况且我从结发成年时便与匈奴作战，至今才得到一次与单于正面对阵的机会。望大将军成全，我愿为前锋，先与单于决一死战。”
卫青的主意已定，岂能轻易更改，因而不管李广如何请求，就是不肯更改命令，只说从侧翼攻击，能弥补我军的空缺，说不定真能捕获漏网的单于呢。李广还是不听。卫青就命令长史发文书到李广的幕府，接着对李广道：“速速回归本部，按文书上说的办。”李广听了，脸色很不好看，也不与卫青告辞，怒气冲冲就离去了。到本部后，李广便与赵食其合兵一处，随后大军从东路出发。也不知行了多远，突然，意外发生了，向导逃亡。李广与赵食其不免都傻眼了，无奈之下，只得另寻向导，可惜不得力，因而大军时不时的陷入迷路的状态。
而卫青率主力越过沙漠后，终于碰到了单于的主力。伊稚斜单于自是大喜，以为汉军疲惫，有机可乘，急令万骑前来相攻。为防止敌人冲阵，卫青一面下令将武刚车（有遮掩物体的战车）集中起来，环绕为营；一面发五千骑前去迎敌。双方就此捉对厮杀，展开激烈的搏斗。这时，太阳即将落山，刮起了大风，沙砾击面，飞沙走石，遮天蔽日，因而两军都无法看清对方。卫青大喜，令左右两翼急速包抄敌军，又想若李、赵联军能及时赶到，伊稚斜单于怕是插翅也难飞了。
伊稚斜单于见汉军人数众多，又虽为长途远征，但士卒与战马俱未显露疲乏、厌战之态，料想再争斗下去，必下场不妙，因而心里渐渐有了别的想法。薄暮时分，伊稚斜单于下令将能显露身份的装饰全除去了，然后乘坐六骡之车，在数百名壮骑的护卫下，冲向汉军的西北角，一番厮杀，突出重围，然后疾驰而去。
黄昏时分，两军互相乱搏，混战在一起，杀伤大致相当。激战中，汉军左校尉捕到一些匈奴俘虏，从他们口中得知单于在天未黑时便已离去了。卫青得知后，连叹可惜，当即下令，着轻骑连夜追击，自己则率大部队紧随其后。匈奴兵趁机四散逃走，但多数人的方向皆是设法追随单于。
汉军一路追击，一路冲杀，天明时，已奔驰二百余里，未追到单于，但斩杀、俘虏敌人已达一万九千人。又向北追击一番后，汉军冲杀至寘颜山（杭爱山脉南面的一支）的赵信城（匈奴为赵信所安排的居处），缴获了匈奴存放的积粟。汉军正好又疲又饥，便挑选了大量的粟米，以为军粮，又于城中留居一日。次日，卫青下令将城中带不走的粟全部烧掉，然后领军折返。
伊稚斜单于自逃出包围圈后，与他的大部队失去联系达十余日，因而大多数人都以为他已经战死了。于是其部下右谷蠡王自立为单于，以安众心。后来，伊稚斜单于与匈奴大部成功会合。于是右谷蠡王识趣地除去单于之号，仍尊伊稚斜为大单于。
卫青率领大军向南横渡沙漠后，终于碰上了迷路的李广、赵食其二军。