程潜几乎动用了所有兵力阻击援军、围歼土肥原，想在不利的局面下力挽狂澜，可是商丘一破，败局以定。
日军重新部署，将第十师团的濑谷启旅团拨发给第十六师团，增强其攻击了。十六师团就像一把尖刀，直插豫东兵团的复地。而第十师团剩余兵力留守商丘、豪州。
在北面的第一军第四混成旅团五千多人以强渡黄河、直逼兰封，营救围困的日军第14师团。
国军十几万部队如果在不撤离，就很有可能遭到东西夹攻的局面。再由，数日来薛岳的豫东兵团各军激烈作战，伤亡较大。撤退以成定局。
时间紧迫，程潜连夜拟定了全军撤退的方案，然后交于委员长过目。
“委座，这是我连夜拟定的撤退方案，请委座过目。”
程潜恭敬的将方案放在委员长的办公桌上。此时，蒋委员长精神有点萎靡，一副睡眠不足的表情。
看完过后，委员长强颜振作，道：“这么短的时间你就拟定出了这么详细的计划，颂云看来你也一夜没睡。”
“大兵压境，不敢懈怠。只是……”程潜犹豫了下，惋惜道：“只是这仗打有点窝囊。”
“此仗乃千古一笑柄，不说也罢。”委员长感到一丝的失落，道：“这份撤退方案我很满意，就按照你的方案去执行吧。”
“是。”
程潜拿回了方案，转身离开。
程潜连夜拟定的《战区兵力转移部署方案》简要内容如下：
“……宋希濂军向密县转移；胡宗南军团向汜水、巩县转移；李汉魂军向禹县、郏县转移；桂永清军向洛阳转移；黄杰军向襄城、叶县转移；俞济时军向泌阳转移。……
以上各部队依脱离敌人及情况缓急程度，对开始西进之先后，应行精确之规定，以期秩序整齐。”
薛岳很快收到了这份撤退方案，他又附加一条转移命令，要求“各军所派出之战场掩护部队，须沉着应战，努力抵抗，迟滞敌军，确实掩护我主力转移之安全。孙桐萱、商震两总司令所部应俟我主力军转移完毕后，于6月3日夜开始转移”。
国军部队开始陆续往西转移，土肥原师团危机才彻底得以解除。可土肥原并没有因死里逃生而感到喜悦，他的头脑依旧保持着冷静。
一名通讯兵走到土肥原面前，报告道：“报告！华北司令部来电。敌主力以陆续撤离，欲逃往京汉线以西。方面军决定首先向中牟、尉氏一线追击敌人。第2军司令官应一并指挥第14师团及其配属部队，向上项指定一线追击。另外，令你一部迅速挺进，切断京汉线。”
“八嘎~”土肥原低轻骂了句混蛋，声怕被他人听到。但不骂又难泄心中的不满。
当初自己就听了一名愚蠢的指挥官命令冒进兰封，才落到了被薛岳团团包围的下场，害整个师团损失大半，元气大伤；现在华北方面军又要命令自己突击追击，这道命令是完全错误且愚蠢的。
土肥原的想法和大本营不谋而和，他了解河南的局势，更加了解中国军队和他们的委员长。
日本大本营的意思是，追击行动停止在兰封、归德等地，并下达命令：未经批准，不许越过兰封、归德、永城、蒙城、正阳关、六安一线进行作战。
但华北方面军根本不听大本营的命令，将第14师团也配属给第2军，和其他部队一起向兰封以西追击国军。
国军嫡系部队向来有一大特色，天才制定了作战方案，执行的却是一群猪！
程潜制定的撤退方案堪称完美，然而撤退却演变成了溃退，用一个成语形容“兵败如山倒”。
然而，薛岳已经预感到了撤退不会这么顺利，因为他知道桂永清、黄杰二人造成的严重恶果还会蔓延下去。在撤退过程中，各路军都出现了逃跑将军。
日军第16师团攻占杞县、通许、陈留，新编第35师师长王劲哉放弃兰封，不战而退。
6月4日，日军土肥原的第14师团占领兰封后继续向开封进攻。6月5日夜，日军从西北角攻城。6日凌晨1时许，宋肯堂率141师只打3个小时就退走开封，开封失守。
（现在回想西北军31师池峰城守台儿庄一个月，真是奇迹。）
此时，日军第16师团已占领尉氏、扶沟，第10师团已占领柘城。
这么多逃跑将军倒是为委员长那句“千古笑柄”增添了浓厚的一笔，可薛岳却笑不出来，他彻底急了。
“这么多嫡系将领不听命令擅自撤离，这不是叫各路地方军看黄埔军人、看委员长的笑话吗！？”
薛岳感到羞愧和恼怒，立即致电商震：“宋师擅自撤出开封，即令固守中牟县城至中牟车站之线所有阻击部队，非奉命令再敢擅自撤退者，军法严办！”
及时薛岳如此严令，畏死或无能的国军高级军官，在豫东作战中擅自撤退及私自逃走者大有人在。
如：属主力军的第29军团第187师，团长张鼎光守杞县猪皮冈时，擅自撤退；该师参谋长张淑民屡次煽动退却，复敢弃职潜逃；旅长谢锡珍首先退出猪皮冈，未经报告师长，即便借口收容，擅自乘车南下；叶赓常旅长，当睢县之战时，突告失踪，事后闻已赴汉口。
日军第10师团、第14师团及第16师团的西进，严重地威胁到了第一战区司令长官部所在地郑州，及平汉路的安全。
当时第一战区虽然拥有近30个师的数十万军队，而且大多为中央嫡系的所谓主力部队