由于桓冲现在还担任着青州刺史一职，因此桓温调任之前一直守孝在家的二弟桓云为青州刺史，同时又提拔侄子桓石虔为宁远将军，率军跟随桓云进驻青州广固城，协助桓云镇守青州。
桓温任命桓冲为冠军将军、徐州刺史、广陵相，都督江北诸军事，命他在京口之地招募北方流民当中的骁勇之士，组建一支全新的军队，因为京口位于京城以北，所以也被称之为北府，所以桓温便给这支崭新的军队起名为“北府兵”。
桓冲领命之后，便带着一直追随自己的手下将领，已经官至建武将军的谢玄、参军刘牢之前往京口着手组建新的军队。
在晋室东渡之前，京口实则仍是贫瘠荒凉之处，但是因为有长江作为有效屏障，因而南渡过来的流民因为财力匮乏、势单力薄，所以在抵达了可落脚的安全之地后便再也无力南行。
因此京口作为北方流民第一个落脚点，聚集了大量的流民，而这些流民为了自保又纷纷组成武装军队，以防御异族继续南下，因此也成为了一支不可忽视的力量。
在王敦之乱时，朝廷兵力匮乏，无力抵挡王敦的荆州兵，当朝太尉郗鉴就曾在此地组织流民军队平乱拱卫晋室，并取得了不错的效果，所以，郗鉴应该称得上第一任北府流民帅。
因此，在桓冲在京口打出了招募士卒的大旗之后，响应者众多，短时间内就聚集起了八万人，其中又主要以徐州、兖州、青州这三州的流民最多，由于这些流民长期在军队里与北方异族作战，又多半都遭受过胡人的掠夺和欺辱，甚至还有不少人的妻子儿女都是死在了胡人的刀下，国恨家仇都挤在一块，使他们对胡人格外的仇视。
再加上这些南渡流民在这之前就是半武装性质，整天个跟胡人作战，所以战斗力颇为强劲，战斗意志十分坚定，因而由这些流民组建起来的军队的整体实力要比朝廷的正规军都要高出一大截，战斗力十分可观。