北府兵是东晋孝武帝初年谢玄组建训练的军队，又名北府军。《晋书·刘牢之传》记载：“太元初，谢玄北镇广陵。时苻坚方盛，玄多募劲勇，牢之与东海何谦、琅邪诸葛侃、乐安高衡、东平刘轨、西河田洛及晋陵孙无终等以骁猛应选。玄以牢之为参军，领精锐为前锋，百战百胜，号为北府兵。”

　　《资治通鉴》也云：“玄募骁勇之士，得彭城刘牢之等数人，以刘牢之为参军，常领精锐为前锋，战无不捷，时号北府兵。”

　　东晋孝武帝太元二年(377年)，由于前秦已一统北部中国，东晋王朝受到空前的军事压力，因此诏求良将镇御北方，当时的重臣谢安遂任命其侄子谢玄应举。朝廷任命谢玄为建武将军、兖州刺史、领广陵相、监江北诸军事，镇广陵。其时广陵和京口聚居着大量逃避北方战乱而来的流民，谢玄到任后，在流民中选拔骁勇士卒，建立了一支军队，太元四年(379年)，谢玄改镇京口，因为当时京口又名北府，故其所率军队得名北府兵。

　　太元八年(383年)，北府军在淝水之战中一举击败前秦大军，刘牢之一度追到邺城，由此名声大振。

    晋安帝元兴元年(402年)，北府军奉命征讨在荆州割据的桓玄，刘牢之投降桓玄。桓玄称帝后大大削减了刘牢之的兵权，刘牢之欲起兵反抗，但已众叛亲离，最后自杀而亡。

　　元兴三年(404年)，原北府军参军刘裕率余部在京口起兵，杀死桓玄。此后，北府军成为刘裕的军事支柱。

　　420年，刘裕废东晋恭帝司马德文，自立为帝，建立大宋政权，北府军成为其皇家军队的中坚。