此时清军重占长江，上下游音信断绝。张煌言请一僧人密藏书信，经小路急送郑成功大营，信中苦劝郑成功千万别撤退，天下事尚可图。
信还未送到，郑成功已将沿岸数百里舟师以及驻军撤了，全军逃返福建。
深感绝望的张煌言在清军夹击下，退入崇山峻岭间打游击。
经过残酷的厮杀，他的军队牺牲的牺牲，溃散的溃散，最终仅剩一个随从携印陪着他突围，在善良民众的掩护下，一路往东，徒步两千余里，退回了海上。
这次失败之后，张煌言再难发起有力的进攻。他的被捕，只是时间问题了。
不过，在此之前，首先受到伤害的是他的至亲。
得知张煌言生还浙东的消息后，总督郎廷佐忍无可忍，派兵抄没了他在宁波的老家，将他的妻子董氏和唯一的儿子张万祺作为人质，以此逼迫张煌言投降。
张煌言不为所动。他让自己“铁石心肠”：至亲可以怀念，但不可以成为谈判的条件。
张煌言为了抗清，与家人聚少离多。他与妻子的第一个儿子出生后，他就离家抗清去了。