西晉地方行政區劃承襲東漢末年以來形成的制度，為州、郡、縣三級制。三國曹魏有司、豫、兗、青、徐、冀、幽、並、雍、涼、荊、揚十二州，平蜀後增益州，又分益州置梁州。泰始元年(265)西晉代曹魏，初即有此十四州。泰始時，先後析雍、涼、梁三州置秦州、析益州置寧州，後又析幽州置平州，太康元年（280）平吳，又得荊、揚、交、廣四州，荊、揚兩州與原有同名州合併，計十九州。秦州、甯州曾一度廢罷，後又複置。元康元年(291)，分荊州、揚州置江州，永嘉元年(307)，分荊州、江江州置湘州，共有二十一州。
州仍東漢末及曹魏舊制，置刺史或牧，但州牧僅為少數，由資望高的重臣擔任，設置視人而定，如衛瓘為青州刺史，後加青州牧；東海王司馬越為豫州牧。牧秩二千石，刺史為六百石。東漢末以後，刺史還掌握兵權，有都督出鎮地方兼刺史之制，西晉不少州也由都督兼任刺史，負責本州軍事、民政或鄰近數州軍事，稱號以都督諸軍為上，監諸軍次之，督諸軍為下；使持節為上，持節次之，假節為下，權任各有差別。但有的都督並不兼任刺史。這一時期，亦有單為刺史而不領兵者，稱為單車刺史。
州以下為郡、王國。太康中，司州領十二郡國、豫州十、兗州八、青州七、徐州七、冀州十三、幽州七、平州五、並州六、雍州七、涼州八、秦州六、益州八、梁州八、寧州四、荊州二十二、揚州十八、交州七、廣州十，共有郡國一百七十三。郡國中，仍吳所置二十五，仍蜀所置十二，仍魏所置十七，仍漢舊九十六，新置二十三。郡置太守。王國為皇子或皇族封地，地位同郡；國置相，後改為內史，由朝廷任命，性質同太守。西晉因曹魏諸王徒有國土之名，而無社稷之實，又禁防壅隔，以致孤立而亡，故在泰始(265～274)初大封同姓諸王。但諸王大都留於京師或出任都督，並不至所封之國。咸寧三年（277）始遣諸王赴國，以平原（治平原，今山東平原南）、汝南（治新息，今河南息縣）、瑯邪（治開陽，今山東臨沂北）、扶風（治眉縣，今陜西眉縣東北）、齊（治臨淄、今山東淄博東北）為大國，梁（治睢陽，今河南商丘）、趙（治房子，今河北高邑西南）、樂安（治高菀，今山東鄒平東北）、燕（治薊縣，今北京西南）、安平（治信都，今河北冀縣）、義陽（治新野，今河南新野）為次國，其餘為小國，分別規定所封戶數、領軍人數等，實際上未全部實行，諸王仍僅食租稅，王國官並不掌握地方政權，“法同郡縣，無成國之制”。西晉諸王擁有的很大權力，主要不是源於所轄王國，而是來自領兵出鎮地方。
郡、王國以下為縣。縣大者置令，小者置長。另有公國、侯國，地位同縣。
三國時，魏、吳均在其州縣境內屯田，設置各級農官管理。西晉泰始二年後，罷廢各級農官，或改置為郡縣。東漢末約有十四州，一百二十多郡國，縣、邑、道、侯國據順帝時記錄為一千一百八十。而西晉太康時有十九州、一百七十多郡國、一千二百多縣。但其戶口卻又減於東漢。兩漢時，西域設都護府，東漢安帝始設長史府，以班勇為西域長史，長史駐地不一。魏晉時，據樓蘭古城出土魏晉簡牘文書，知這時長史府治海頭（今新疆若羌東北樓蘭古城）。