决堤之后，突入豫东地区的日军对奔涌而至的黄河水猝不及防，有的被洪水淹没，有的为伤病所累而被丢弃，还有一部分为中国军队所歼灭，其他的只好停止追击，集结于黄泛区以东。
《东史郎日记》中记载，早上，他刚支上锅准备吃早饭，军队中便传来了“敌人炸毁了黄河堤坝，大队及时疏散”的命令，士兵们紧急转移，没跑两步，便发现湍急的浊流滚滚而来，冲走了一个个村庄……”在此后十几天的日记中，记载了日军和后勤部队失去联络、给养断绝、被中国军队紧追不舍的情形。惊魂未定的东史郎等士兵们才登上火车，一路退到了安徽境内。
花园口决堤之后的一个月内，中国军队开展了反攻，豫东地区的日军基本得到肃清，日军被迫逃往豫皖交界处。
后来，日军承认“曾受相当损失”，从中日双方所披露的材料来看，这个数字大约在7000人左右。
黄河决堤给日军带来的重创，不仅仅在占领区的缩小和部队减员上，更为深远的影响是，日军预期的进攻路线被打破。豫东战场渐渐冷却下来，穿越豫东大平原的新黄河就成为军事分界线，把日军阻隔在黄泛区的东面。直到1944年日本发动打通大陆交通线战役，郑州才被他们攻取。