杨素在弘农郡谋反之后，先是攻破黎阳城，凑够了八万人挥师向西直取河内，河内守军守了半日，便投降开门。
紧接着杨素没有停留，又带兵攻下修武，修武县令王玄义带领官吏开门投降，杨素又继续东进扑到了汲县渡口，从那里南渡黄河，沿着黄河大堤向西直扑洛阳。
杨素一边走，一边强征百姓入伍，到了洛阳城外，兵马总数已经到达十五万人。
同时，杨素命四子杨积善率兵五千为左军从偃师以南沿洛水西进，命令次子杨玄纵带领精兵五千为右军自白司马坂越过邙山迂回进攻洛阳，自己带领本部人马为后军，四下接应。
此时留守洛阳的太子杨暕早已慌乱不堪，见敌军来势凶猛，不得不赶鸭子上架，派河南令达奚善意带兵五千抵抗杨积善，派河南赞治裴弘策带领将士八千迎战杨玄纵。