魏晉至金代尚書臺（省）臨時在外設置的分支機搆。“臺”指在中央的尚書省，出征時於其駐在之地設立臨時性機構稱為行臺，又稱行尚書臺或行臺省。曹魏甘露二年(257)，司馬昭討伐諸葛誕，尚書僕射陳泰、中書侍郎鐘會等以行臺隨從出征。西晉永嘉之難，尚書令東海王司馬越率軍討伐石勒，表以行臺隨軍。自後尚書省長官出征或出鎮，隨軍衙署稱為行臺。北魏天興元年(398)，魏道武帝拓跋珪攻佔河北諸州，以都城遠在平城，不易控制，於鄴城、中山置行臺，令尚書令秦王拓跋儀鎮守。北魏行臺成為皇皇帝派出的特使，下置僚屬，指揮軍事，不常設，不管地方民政。熙平元年(515)，北魏軍攻壽春，以李平為尚書右仆射，別置行臺，節度諸軍。皇帝委派尚書出使，巡視邊境，亦稱行臺。魏孝文帝元宏遷都洛陽，以北方貧困，今尚書左仆射源懷為行臺，加使持節的稱號巡行北邊六鎮和恒、燕、朔三州。正光五年(524)，六鎮、關隴起義相繼爆發，北魏政權復諸道行臺，指揮鎮壓各地起義軍。遣尚書仆射元脩義為西道行臺，討伐關中莫折念生起義。元脩義病重，以蕭寶寅為西道行臺、大都督，自關以西，皆受節度。孝昌元年(525)，以幽州刺史、尚書常景為行臺，討伐河北杜洛周起義軍。
北魏孝明帝、孝莊帝時，行臺設置較多。出任行臺者多兼任當州刺史或都督諸州軍事，成為地方性軍事指揮機關。正光年間，有曹世表為東南道行臺、東豫州刺史。魏子建為山南行臺，梁、巴、二益、兩秦之事，皆歸其節度。正光末，以薛脩義都督華、豳、東秦諸州軍事，為西道行臺。孝昌年間，楊津為定州刺史兼北道行臺。爾朱榮專權，武泰元年(528)孝明帝任命為北道大行臺，大行臺稱號始見於此。其後爾朱氏兄弟子侄各據一方，權強莫比，多任大行臺。
北魏末年，高歡執政，為大行臺，其餘行臺皆罷。孝武帝欲分高歡之勢，以賀拔嶽為關西道大行臺，都督雍、涼、梁、益等二十州諸軍事；以賀拔勝為荊州刺史、尚書左仆射、南道大行臺。賀拔嶽死，宇文泰繼任。東、西魏分立，高歡在東魏為丞相、大行臺，駐並州，於州治晉陽置丞相府。宇文泰在西魏亦任大行臺，都督中外軍事，鎮雍州。高歡任命侯景為河南道大行臺，鎮虎牢，擁兵十萬，專制河南，指揮對西魏、梁朝的戰爭。梁中大通二年(547)，侯景叛東魏降梁，上表稱黃河以南，皆他所掌管，請舉函谷（今河南新安北）以東，瑕丘（今山東兗州北）以西，豫、廣、郢、荊、襄、兗、南兗、濟、東豫、洛、陽、北荊、北揚等十三州內附，所列當即河南道大行臺的管轄范圍。
北齊行臺承北魏制，並州大行臺改稱並州尚書省，地位僅在鄴城北齊中央尚書省之下。其餘下臺多以州劃分，史籍所見有：幽州道行臺，亦稱北道行臺，駐薊（今北京西北）。朔州道行臺，駐廣安（今山西朔縣）。晉州道行臺，駐平陽（今山西臨汾）。建州道行臺，駐高都（今山西晉城東北）。東雍州行臺，駐正平（今山西新絳）。洛州行臺，亦稱河南道行臺，駐洛陽。河陽道行臺，駐河陽（今河南孟縣西）。豫州道行臺，駐汝南（今屬河南）。東徐州行臺，亦稱東南道行臺，駐下邳（今屬江蘇）。揚州道行臺，駐壽春（今安徽壽縣）。
以上行臺之外，東魏北齊又有臨時性行臺，指揮與西魏、蕭梁作戰，巡視地方，事畢即撤。北齊文宣帝時，辛術為東徐州刺史、東南道行臺，駐下邳，所統十餘州地犯法者，悉由術判處。行臺始管理地方民政。
西魏行臺不常設。除宇文泰自任大行臺外，獨孤信為荊州刺史、東南道行臺。王思政為東道行臺，駐玉壁，都督汾、晉、並諸州軍事。侯景叛東魏，王思政率西魏軍入據潁州，行臺亦移至潁州。北周置總管府（實即行臺的後身），遂廢行臺之制。
南朝無行臺之制。梁末侯景來降，梁武帝蕭衍保留其大行臺稱號，封侯景為河南王，都督河南諸軍事。南朝宋、齊時，由中央派出催征賦稅之臺使，往往亦自稱行臺。
隋開皇二年(582)於並、洛、益三州各置河北道、河南道、西南道行臺尚書省，文帝以其子楊廣、楊俊、楊秀各為行臺尚書令。後廢洛州行臺，又於襄州、壽春兩地設置山南道、淮南道行臺。這兩處行臺都因伐陳設置，事定即罷。大致開皇九年(589)後，行臺均廢，而置並、揚、益、荊四大總管府，各統十餘州至數十州。煬帝大業元年(605)諸州總管府盡廢。唐初復置大行臺。其陜東道大行臺置於洛陽，以秦王李世民為尚書令，地位在其餘行臺之上。其餘行臺如益州道、襄州道、東南道、河東道、河北道，均以宗王或親信大將任尚書左仆射，為行臺主。武德九年(626)，諸道行臺並廢。
北魏行臺的組織雖略同於中臺（在中央的尚書臺），有令、仆射、尚書、丞、郎等員，但都是臨時權置，並不完備。行臺的首長，不一定都有令、仆射、尚書等官位。隋唐的行臺尚書省則以行臺尚書令為最高長官，若不置令，即以左仆射為首。置官大略同中臺而人數較少。行臺主要為處理軍務而設，故以兵部居首，又兼綜民事，故吏、戶、禮、刑、工並置，卻往往一人兼兩職或三職。行臺的統轄地區既廣，位重權大，不利於中央集權，所以唐太宗李世民即位後就予以廢除。
金天會十五年(1137)，廢齊國，於汴京立行臺尚書省，管理齊國舊地。行臺尚書省由朝廷尚書省統領，設行臺左右丞相。天眷元年(1138)，以河南、陜西地還宋，改設行臺尚書省於燕京。三年，復設於汴京。天德二年(1150)，廢。元代行禦史臺，亦簡稱為行臺。