北周開始設置的區域性軍事管理機構。魏晉以來，逐漸形成一些軍事指揮區域，即都督區。其長官稱都督，都督例兼所駐某州的刺史，兼治軍民。大區都督常兼管數州，稱為“都督諸州軍事”。東晉王敦為江州刺史，鎮武昌，都督江、揚、荊、襄、交、廣六州軍事，即以長江中遊為中心，直至嶺南地區均歸其指揮。南北朝承魏晉之制，均有都督之設。如北魏有都督中外軍事、都督府州諸軍事、都督三州諸軍事等。北周明帝武成元年(559)，始改都督諸州軍事（疑為都督州諸軍事）為總管，總管兼任所駐州刺史，並並統轄鄰近各州。諸州都督府改稱總管府。偶有以一般總管身分轄數州總管之例。北周總管府大部分置於武帝時。建德六年(577)北周滅北齊，於北齊舊地增置一批總管府。總管府的設置，或在都會之地，或處守禦之要。北周總管府中，洛州、並州、相州最重要。北周武帝平齊後，於相、並兩州總管府各置行宮及六府官，即塚宰、司徒、宗伯、司馬、司寇、司空府，取代北齊之大行臺（見行臺）。後廢並州六府。大象元年(579)，移相州六府於洛州，稱東京六府。河陽、幽、相、豫、兗、青、徐七總管，皆受東京六府統轄。
隋代總管府分上、中、下三等置於諸州。其中統轄數州及至數十州的俗稱大總管，如秦王楊俊為並州總管，管二十四州諸軍事，後改授漢王楊諒。楊俊轉任揚州總管，鎮廣陵，管四十四州軍事。蜀王楊秀為益州總管，管二十四州諸軍事。大業元年(605)，鑒於漢王楊諒以並州總管起兵，煬帝下詔廢除諸州總管。唐初於緣邊及襟要地區的一些州治置總管府，領軍出征者為行軍總管或大總管。武德七年(624)改稱都督府，而行軍總管及大總管不變。