太初元年（公元前104年），因李夫人及其次兄李延年得宠，武帝便看上了他们的长兄、中山人李广利。当然，事后证明：因裙带关系而上位者通常能力不济，这一论断在大多数情况下是对的。那李广利被武帝任命为贰师将军后，立刻依令领军出塞，西征大宛（古国名。在今新疆以西中亚卡散赛一带。）
这年冬天，匈奴下了大雨雪，牲畜多半因饥饿寒冷而死去。儿单于年少(4)，好杀伐，国人多不安。左大都尉欲杀儿单于，使人密告武帝道：“我欲杀儿单于降汉。但汉廷太遥远了，如果贵方派兵近而迎之，我立即发兵攻打单于。”武帝大喜，故而令因杆将军公孙敖领人建造受降城（在今内蒙古乌拉特中后联合旗东），以利迎接，但左大都尉还是认为此城离匈奴太遥远了。
太初二年春，武帝索性派浞野侯赵破奴率领两万多骑兵前去迎接匈奴的左大都尉。汉军出朔方郡后，向其西北方向行进了二千余里，与左大都尉约定在浚稽山（在居延之北，今杭爱山脉南。）会师，若对方逾期未至，汉军就班师回归。赵破奴率部到达约定地点后，左大都尉立时依约而动，不想行动暴露，反为单于所杀。赵破奴见左大都尉失期未至，知道事情不妙，当即下令全军折返。单于派出左方兵，尾随而来。于是两军大动干戈。汉军边击边走，斩获达数千人。儿单于自是大怒，追加兵马，前来围攻。在离受降城还有大约四百里的地方，八万匈奴骑兵将汉军团团包围了。
匈奴围攻甚紧，又断了汉军的水源。为免军心混乱，赵破奴趁夜独自出营寻找水源，不巧行踪为对方探知，儿单于立即令人暗中捕捉。赵破奴一时不慎，竟为对方所活捉。儿单于大喜，挥军急击汉军。汉军中的郭纵担任护军，维王担任匈奴降兵的头领，两人见形势危急，就私下里商量道：“诸位校尉皆惶恐不安，害怕因失掉将军而回朝后会遭诛杀，那么，就都不相劝归汉了，不如就此向匈奴投降吧。”于是汉军全部陷没于匈奴。
自卫、霍北击匈奴之后，匈奴人何曾有过这样的大胜利。匈奴儿单于自然欣喜若狂，便再接再励，乘胜扩大战果，急攻汉之受降城，未能如愿，便入侵边塞，杀掠一番后，扬长而去。武帝得知后，又是气愤又是叹息。
第二年，也就是太初三年，儿单于又振作起来，决定有所作为，逐步恢复匈奴故有的荣光，便又挥军南下，兵锋直指受降城。不想人算不如天算，行军途中，儿单于竟突发急病，很快就奄奄一息了。匈奴人只得铩羽而归。
儿单于仅在位三年，逝世之后，因其子年龄过于幼小，匈奴人便立儿单于的季父、乌维单于的弟弟、右贤王呴犁湖当单于。
这一年，武帝派光禄勋徐自为率部出五原塞近则数百里，远者千里，修筑城鄣（小城堡）、列亭（哨所），直到庐朐（山名。在阳山北麓。）；游击将军韩说，卫青长子、长平侯卫伉则各自领军驻扎在这些地方。武帝又派强弩都尉路博德率部在居延城北、居延泽西修建城堡。
这年秋天，匈奴人大举入侵云中、定襄、五原、朔方等郡，击败数位俸禄二千石的汉官，杀略数干人，于路又破坏了光禄勋徐自为所修筑的城堡和哨所。匈奴左贤王部则入侵酒泉、张掖，抢掠了数千人，恰巧汉朝将军任文领军截击相救。左贤王只知不敌，只得下令放弃了抢来的所有人，率部疾驰而去。
不久，贰师将军李广利率汉军攻破大宛，诛杀了大宛王，回师途中，匈奴人欲半道截击，却没有赶上。这年冬天，呴犁湖单于与人谋划攻打汉之受降城，不巧竟如儿单于一样，事未成而先病逝。是以这位单于在位仅一年。
太初四年，匈奴人立呴犁湖单于的弟弟、左大都尉、且鞮侯为单于。汉军攻破大宛，并诛杀其王后，汉廷之威，震动外国。武帝欲乘机围困匈奴，便下诏曰：“高皇帝遗朕平城之忧，高后时单于书绝悖逆。昔齐襄公复九世之仇，《春秋》（《春秋公羊传》）大之（认为光明正大）。
且鞮侯单于刚继位不久，听闻这一诏令后，害怕汉军前来攻袭，便想缓和与汉廷的关系，为示以诚意，主动释放了先前被扣押而又不肯归降的汉使如路充国等人，将他们礼送回国后，顺便遣使给武帝传话说：“我是儿子辈分，哪敢同汉天子相比！汉天子是我的长辈。”武帝得知，以为匈奴即将臣服，大为高兴，便派中郎将苏武等人为使，携带大量财物前去慰问。哪知苏武等人到了匈奴后，且鞮侯单于便原形毕露，不仅言辞傲慢，还态度不恭。这自然不是汉廷所希望的，因而苏武等人自是大失所望，正准备回国时，不想发生了一些变故，苏武等人皆被扣留。十九年后，一百多人的使团，只有苏武、常惠等十人能回归故国。