刘邦领着陈平等人快马加鞭经荥阳西约二十公里处的成皋（河南荥阳汜水镇）回到关中，留下御史大夫周苛等人坚守荥阳。楚军继续包围荥阳城，顺势占领成皋。
成皋西面北面有黄河流经，东面南面是嵩山余脉，地理位置险要，自古就是兵家必争之地。成皋的虎牢关有“一夫当关，万夫莫开”的美誉。
刘邦在关中集合兵马，准备再次出关找项羽决战。有个叫辕生的人进谏说：“大王您和项羽在荥阳一带僵持了好几年，汉军经常因为水陆粮道陷入被动。大王不如出武关，项羽一定会率军南下，大王加高壁垒，不出战，让荥阳、成皋一带得到休息。等到韩信安定赵国、燕国、齐国，形成合围之势，大王再进军荥阳也不晚。”
辕生这条计策十分厉害，变被动为主动，牵着敌人的鼻子走。楚军要多方防备，力量分散，而汉军主力得到休整，再跟楚军作战，胜算就大了。事实上，楚汉战争打到最后，楚军士兵被拖的疲惫不堪，战斗力大幅度下滑。
刘邦采纳了辕生的建议，从武关（陕西丹凤县北）出关到宛城，以吸引楚军，减轻荥阳、成皋前线的压力。项羽听说刘邦在宛城，果然率军南下。汉军加强守卫，不出来交战。同时，刘邦命令彭越在楚军背后偷袭。彭越渡过睢水，在下邳（江苏睢宁县古邳镇）大败楚将项声。项羽听闻就率军向东攻打彭越。刘邦趁机率军北上，夺回成皋。
项羽大军一来，彭越打了败仗。彭越一点不含糊，收拾剩下的部队就跑了。彭越算是游击战的始祖，他对项羽一直奉行敌进我退、敌退我追的战术，不断在楚军后方制造麻烦，逮着机会就建个敌后根据地，截断楚军粮道，起到很好的牵制楚军的作用。
项羽听说刘邦占领了成皋，领兵西进，攻下荥阳。荥阳被围已经有一年多，城中粮草断绝。周苛坚守到最后，楚军破城时，俘虏了他。项羽打算招降，周苛严词拒绝，项羽很生气，烹杀了他。在参加过沛县起义的一帮老兄弟里，周苛死的最惨。汉朝成立后，刘邦封周苛的儿子周成为高景候，算是给惨死的老部下一点安慰。
项羽兵锋直指成皋。刘邦这回精乖了，楚军还没到，他就逃跑了。成皋再次被楚军占领。
刘邦渡过黄河，逃进河北岸韩信、张耳的军营，命令韩信东征攻打齐国，派张耳去赵国征兵。刘邦打算亲自领兵渡河攻打项羽。被项羽追着打过多少次，刘邦咽不下这口气。郎中郑忠劝刘邦暂时不要出战，等待时机。刘邦冷静下来，听从了郑忠的劝告，另外派遣卢绾、刘贾领兵两万，渡过白马津（河南滑县东），深入楚地，和彭越会合，开辟敌后战场。
公元前204年9月，彭越等人攻下睢阳（河南商丘）、外黄（河南兰考）等十七座城。项羽接到消息后急了，领兵去攻打彭越，留下部将曹咎守成皋。
离开前，项羽反复叮嘱曹咎，“你把成皋守好，汉军来挑战，千万别出城作战，只要挡住汉军就行了，我十五天之内收拾完彭越他们就来找你。”
曹咎没能等到十五天。起初曹咎确实守城不出。刘邦连续几天派士兵到城下辱骂曹咎，什么难听骂什么，目的就是激曹咎出战。曹咎忍不了，他没让刘邦失望，领兵出城。汉军假装撤退。楚军渡汜水河，追击汉军。在楚军渡河时，汉军突然反扑，大破楚军。曹咎自杀。
汉军再次收复成皋，恢复敖仓粮道，胜利的天平开始向刘邦倾斜。