南陈不服陈蒨的人很多，内部不合。这是上给王琳一个绝佳的机会。
王琳听陈霸先病死后大喜，便命少府卿孙瑒总揽留守事宜，自己则拥奉萧庄出兵屯驻濡须口，准备灭陈。
北齐也派扬州道行台慕容俨率军众逼近长江，为其声援。
十一月，王琳进犯大雷，陈蒨命侯瑱、侯安都与徐度率军抵御。陈朝安州刺史吴明彻溯流而上，乘夜袭击湓城，王琳派巴陵太守任忠率军进击，大破吴明彻，吴明彻只身脱逃。王琳乘势引兵东下，南陈岌岌可危。
如果没有后面的事情，王琳无论是裂土封王，还是打下建康，南北朝的历史都会是另外一番景象。
然而在大好形势下，王琳却是阴沟里翻船了。
启三年（公元560年）二月，王琳率军抵达栅口，侯瑱等屯驻于芜湖，两军相持一百多。
东关一带春季水位高涨，可以供船舰通航，王琳便率合肥、漅湖一带的部众，乘兵船沿江排列而下，舳舻首尾相连，军势强盛。
侯瑱跟王琳几回合较量，互有损失，不过多半都是毁在气上。
然而这时北周听王琳东下灭陈的消息，派荆州刺史史宁率军数万乘虚袭击郢州，守将孙瑒绕城固守。
王琳闻讯后，担忧因军心不稳而溃散，只得便加紧率领水师东下，直到离芜湖十里地才停泊下来，军中敲击木柝报时示警的声音，一直传到侯瑱军郑
而北齐派仪同三司刘伯球率军一万余人支援王琳，行台慕容恃德的儿子慕容子会率两千名铁骑屯驻在芜湖西岸，以声援王琳。（事后证明北齐的这一招完全是一通操作猛如虎，事后效果二百五）
同月十四日，侯瑱率军防备王琳进犯。当时西南风刮得又急又猛，王琳认为得了助，打算直取扬州，侯瑱等慢慢从芜湖出来跟在他后面。
等到交战时，西南风反被侯瑱利用，王琳让士兵往侯瑱的船上扔火炬（史书上这么，但王琳一辈子几乎都在打水战，不会犯这样的低级错误，极有可能是他手下私自行动），因为逆风，反而将自己的兵船全部烧毁。
侯瑱趁机大破王琳军，军士溺水而死的有十分之二、三，其余的都弃船上岸，被侯瑱军队斩杀殆尽。
王琳败得虽然莫名其妙，但终究是败了，被侯瑱捡了个大便宜。
同时北齐援军也是大乱，刘伯球、慕容子会都被抓获（援军不识地理，全部陷入泥坑，无力吐槽），侯瑱军斩俘数以万计，王琳与北齐援军的军用物资和兵器也全被缴获。
王琳乘坐舴艋船突围而出，抵达湓城，想收拢散失流离的军士，但再也没有人愿意归附他，他只好率妻妾及左右亲信十多人出逃，萧庄也在侍中袁泌、御史中丞刘仲威等饶护送下抵达北齐边境，与王琳会合，一同逃往北齐。
然后高洋也因为酗酒病死了，北齐鲜卑勋贵与北方世家的第一波内讧开始。
这一幕急转直下，看得当时人和后人都莫名其妙，只能总结一句：时也命也运也。
王琳可谓是成也兄弟，败也兄弟。
皇建二年（公元561年）正月，北齐孝昭帝高演派王琳到合肥，纠集旧部，再图进取。
平心而论，高演是有作为了，他此时正在研究卢叔武的《平西策》，惊为人，打算让王琳坐镇江淮，然后其他力量集中起来对付北周。
这个策略是正确的。
王琳绝望中逢春，于是大喜，开始修理战船，分派人去招募淮南民众，这些人都愿意和他同心协力。（为什么北齐人却愿意听王琳使唤呢，后面会）
陈朝的合州刺史裴景晖（一作裴景徽），是王琳兄长王珉的女婿，他请求让他家里的奴仆为王琳充当北齐军的向导，高演委派王琳和行台左丞卢潜率兵前去接应。
王琳迟疑不决，裴景徽担心自己求作内应的事泄漏，便投奔北齐。
齐孝昭帝赐王琳印封文书让他镇守寿阳，准许他部下将帅还都跟从他，任王琳为骠骑大将军、开府仪同三司、扬州刺史，封会稽郡公，镇守寿阳。
又增发给王琳军饷，赐一班铙吹乐器。王琳率军严阵以待，准备随机而动。适逢当时陈朝与北齐结好，北齐便让王琳以后再作打算。
然后就没有然后了。
因为高演坠马死去。（极大可能是高湛联合鲜卑贵族做局暗杀，因为高演登基后十分重用北方汉人世家，引人不满）
王琳在寿阳，与行台尚书卢潜不和，二人屡次产生矛盾，他因而被召还邺城。
北齐武成帝高湛草包一个，自然是对王琳置而不问，任命王琳为沧州刺史，后又任特进、侍中，有名无实，龙游浅滩。
适逢武平四年（公元573年）三月，陈宣帝陈顼命大将吴明彻北伐，北齐后主高纬派领军将军尉破胡等出兵救援秦州，并令王琳等参与谋划。
尉破胡等出兵后，司徒赵彦深曾私下向秘书监源彪讨教抵御陈朝的计策。源认为尉破胡的人品“王（赵彦深）之所知，败