東晉孝武帝初年謝玄組建訓練的一支精銳軍隊。太元二年(377)，朝廷因前秦強大，詔求文武良將鎮禦北方。其時謝安當國，以兄子謝玄應舉。朝廷拜玄建武將軍、兗州刺史、領廣陵相、監江北諸軍事，鎮廣陵。徐（治京口）、兗（治廣陵）二州本是北來僑民的集中地。“人多勁悍”，富於戰鬥經驗，桓溫曾說：“京口酒可飲，箕可用，兵可使。”謝玄召募勁勇，徐、兗人民紛紛應募入伍，彭城劉牢之、東海何謙、瑯邪諸葛侃、樂安高衡、東平劉軌、西河田洛、晉陵孫無終等皆以驍勇應選。謝玄以劉牢之為參軍，，常領精稅為前鋒，戰無不捷，威震敵膽。太元四年，謝玄加領徐州刺史，鎮京口。東晉稱京口為“北府”，所以稱這支軍隊為北府兵。這支軍隊建立不久，抗禦前秦屢立戰功。早在太元三年八月，秦將彭超進攻彭城（今江蘇徐州）。次年二月，謝玄率高衡、何謙解彭城之圍。後彭超復與俱難、毛當等率秦軍六萬南下，圍晉幽州刺史田洛於三阿（今江蘇高郵西），朝廷大震。五月，謝玄復率何謙、劉牢之等解田洛之圍。六月，又連續大敗秦軍，彭超、俱難僅以身免而北逃。八年，在有名的肥水之戰中，謝玄、劉牢之率領的北府兵更發揮瞭主力軍的作用。此後，北府兵乘勝北伐，先後收復今河南、山東境內黃河以南大片土地。劉牢之率領的前鋒，還一度打到黃河以北的鄴城（見鄴）。
十二年，朝廷征謝玄為會稽（今浙江紹興）內史，以朱序為青、兗二州刺史，代玄鎮廣陵。謝玄從此失去對北府兵的領導權。此後，譙王司馬怡，外戚王恭相繼任青、兗二州刺史，統領北府兵。安帝隆安元年(397)，王恭自京口起兵反晉，北府兵從此成為東晉統治集團內部火並的工具。次年，王恭二次舉兵反晉，司馬劉牢之投降朝廷，倒戈擊敗王恭。朝廷乃以劉牢之代恭都督兗、青、冀、幽、並、徐、揚州晉陵諸軍事。劉率北府兵鎮京口，成為割據一方的軍閥。三年，三吳地區爆發瞭孫恩起義。朝廷遣衛將軍、徐州刺史謝琰（謝安子）與劉牢之前往鎮壓。不久，謝琰兵敗被殺，劉牢之率領的北府兵成為鎮壓這次起義的主要力量（見孫恩、盧循起義）。東晉政府成立北府兵，也是為瞭拱衛首都，充實長江下遊軍事力量，以改變荊、揚的形勢。元興元年(402)正月，朝廷以宗室司馬元顯為驃騎大將軍、征討大都督，以劉牢之為前鋒都督，率北府兵征討荊州軍閥桓玄。三月，劉牢之投降桓玄，不久，被桓玄奪去兵權，被迫自殺。北府兵遂為桓玄並吞。三年二月，劉牢之原參軍劉裕與劉毅、何無忌（牢之外甥）等聯絡一部分北府兵中下級將領分別在京口與廣陵舉兵擊滅桓玄。劉裕等人都是北府兵將領出身，但此後他們的軍隊已不復是原來意義上的北府兵瞭。