汉军的另一路，重合侯莽通率军到达天山（今博格多山脉）之后，狐鹿姑单于令匈奴大将偃渠与左呼知王、右呼知王共同率领两万骑兵前去拦截汉军。匈奴人见汉军强大，不敢攻击，观望一阵后，便退去了。是以重合侯部没有什么所得，也没有什么损失。这里还有一个小插曲，重合侯部出塞之后，武帝怕车师（西域国名。在今新疆吐鲁番县附近。）兵寻机截击重合侯部，便令闿陵侯成娩（匈奴人）领军出塞，为重合侯部解除后顾之忧。于是闿陵侯率部包围了车师，一番厮杀后，攻破了城池，俘虏了车师王及其部众，得胜而归。
汉军实力最强大的一路贰师将军部快要出塞的时候，狐鹿姑单于便早早做出了对策，令右大都尉与卫律共领五千骑于夫羊句山峡（在今蒙古达兰札达加德城西）设伏，截击汉军。汉军到达此处后，李广利令自己属下的二千胡骑前去迎战。一番攻杀后，对方死伤数百人，余者溃逃。汉军乘胜向北追击，到达范夫人城（在夫羊句山狭东北，在今蒙古达兰札达加德城东北。）时，守卫的匈奴人也纷纷逃走，没人敢抗拒汉军。形势一片大好时，意想不到的变故发生了。
征和二年，京师爆发了巫蛊之祸。事情的大概经过是：有一次，在白天小睡，梦见有好几千木头人手持棍棒想要袭击他，霍然惊醒，从此感到身体不舒服，精神恍惚，记忆力大减。江充自以为与太子刘据、卫皇后有嫌隙，见汉武帝年纪已老，害怕汉武帝去世后被刘据诛杀，便决定先下手为强，谎称武帝的病是因为有巫术蛊作祟造成的。武帝那时正迷信这一套，立即听信，命江充去追查。江充装模作样地率领胡人巫师到各处掘地寻找木头人，真实用意则是有意无意地将关注焦点锁定在卫皇后和太子刘据的住室，然后把事先准备好的木头人拿出来陷害太子。此时汉武帝在甘泉宫养病，不在长安。太子刘据为江充所诬陷，欲自辩却又难以及时得到当面向武帝说明真实情况的机会，惶恐之下，派人假冒使者收捕江充等人，并把江充杀了。江充的帮凶苏文逃到甘泉宫，向武帝诬告太子于长安造反了。武帝不信，派出使者，召唤刘据来对质。但使者听信了苏文的谎言，不敢到刘据那里去，在外漫无目的地游荡一番，回报武帝，谎称：“太子反已成，欲斩臣，臣逃归。”武帝这下不再怀疑了，令丞相刘屈氂率兵平乱。号称“子不类父”的太子刘据也索性破罐子摔碎，子弄父兵，驱市人而战，终因势单力孤而败亡。太子自裁之后，伤心的武帝迟迟未立新太子。因而有觊觎之心的人自然盯上了这个位置。
此次出征之前，丞相刘屈氂为李广利饯行。李广利的女儿是刘屈氂的儿媳，两人是儿女亲家，因而关系很是要好。酒酣耳热之际，李广利寻机怂恿刘屈氂在武帝面前美言几句，让他妹妹李夫人所生的儿子昌邑王刘髆立为太子，如此则自己将成为国舅，地位将更尊贵，权势也更大；而刘屈氂的尊贵之位也将更稳固。因而刘屈氂满口应承，答应寻找机会，向汉武帝建言。
螳螂捕蝉，黄雀在后。李广利率军出征之后，刘屈氂尚未来得及活动，自己倒先被人给盯上了。这一年，也就是征和三年六月，内者令郭穰密告丞相刘屈氂的妻子因刘屈氂曾多次遭武帝责备，故而心怀不满，便请巫师祈祷神灵，诅咒武帝早死；这人同时密告刘屈氂与李广利共同向神灵祝祷，希望昌邑王刘髆将来做皇帝。武帝那时相当迷信巫蛊之术，听了这番话，自是勃然大怒，便下令廷尉查办。结果刘屈氂夫妇被处死，李广利的妻儿也被逮捕囚禁。
正在前线指挥作战的贰师将军李广利听闻这一变故，如五雷轰顶，既忧虑，又害怕，一时之间，茫然而不知所措，不知该怎么办才好。其部下有一掾吏，曰胡亚夫，待罪之身，躲避在外，随军出征。这人乃一腌臜泼才，为人圆滑，不讲道义，本就没有归汉之心，见李广利进退两难，便以言挑逗道：“一个人的家室全为官府所收押，倘若他回去不能如愿解救他们，却反而与他们皆相会于狱中，那么，再想见到郅居以北的这些土地，还有可能吗？”见李广利犹豫不决，胡亚夫干脆挑明道：“假如将军也被牵连入狱，虽欲投降匈奴，却已不可能了。”李广利止道：“不可胡言乱语，事情还没到这一步。”
是的，还没到山穷水尽的时候，李广利的心思是：若投降匈奴，将加速妻儿老小的死亡，情况会更惨，不如立功赎罪，也许还有一线生机。于是李广利下令全军继续北上，深入匈奴，到了郅居水边。这时，匈奴人往更北的地方逃去了。李广利不甘心，令护军将军率领二万骑兵渡过郅居水，寻击匈奴。有一天，这一部汉军碰上了匈奴左贤王、左大将，恰巧对方的兵力也是二万骑兵。于是双方二话不说，大战一日。匈奴左大将阵亡，被杀伤和被俘虏的匈奴人也很多。战报传来，李广利得意地笑了。