秦漢統率衛士守衛宮禁之官，隋以後改掌軍器、儀仗等事。秦已有此官，始皇時有衛尉竭。漢景帝時一度改名中大夫令，後又恢復舊名。新莽時改為大衛，東漢時仍稱衛尉。
西漢時護衛宮殿者有郎衛和兵衛。光祿勳率郎官為郎衛，衛尉率衛士為兵衛。西漢時衛尉所部稱南軍。宮內設廬舍以駐紮衛士，衛士晝夜巡警，檢察門籍。衛尉主宮門和宮內，與主宮外的中尉相為表裏。西漢時皇帝居未央宮，守護未央宮是衛尉的職責，故有時也稱未央衛尉。皇後所居為長樂宮，設長樂衛尉尉。武帝時李廣為未央衛尉，程不識為長樂衛尉。長安城外的建章宮，距長安較遠的甘泉宮，也曾設有建章、甘泉兩衛尉。又設衛將軍居諸衛尉之上，如文帝時拜宋昌為衛將軍，領南北軍；宣帝時張安世為衛將軍，掌管兩宮衛尉及城門北軍兵。衛尉秩為中二千石，其副職為丞，屬官有公車司馬、衛士、旅賁三令、丞。吏民若向皇帝上書，由公車司馬轉達。
漢“衛尉之印章”封泥
東漢時無衛將軍，也不再每宮皆設衛尉。衛尉下設北宮、南宮衛士令，以分管南北宮，省去旅賁令。東漢初年，漢光武帝劉秀任命他的親信李通、銚期為衛尉，後來外戚馬廖、馬光、竇固、梁淑等人都擔任過這個職務。
魏晉以後，衛尉職掌漸生變化。從隋代起，改掌軍器、儀仗、帳幕之事，與漢制截然不同。南宋並入尚書省工部。元代一度恢復衛尉，旋罷。明、清不設。