抗日戰爭時期，中國共產黨領導的八路軍3個主力師之一。
1937年8月，中國工農紅軍第二方面軍和西北紅軍、紅軍總部直屬隊各一部，改編為國民革命軍第八路軍第120師。賀龍任師長，蕭克任副師長，周士第任參謀長，關向應任政訓處主任，甘泗淇任副主任。下轄第358、第359旅、教導團和騎兵、工兵、炮兵、輜重、特務等營。全師共1.4萬人。第358旅由紅2軍團和西北紅軍第28軍編成，旅長張宗遜（原為盧冬生，未到職），副旅長李井泉，下轄第第715、第716團；第359旅由紅6軍團和紅32軍等部編成，旅長陳伯鈞，副旅長王震，下轄第717、第718團。9月3日，第120師（陳伯鈞率第718團和部分直屬營留守陜甘寧邊區，歸八路軍總留守處建制）從陜西富平縣出征，東渡黃河，開赴山西抗日前線。10月，恢復政治委員制度和政治部名稱，關向應任師政治委員，李井泉任第358旅政治委員，王震任第359旅政治委員。
9月下旬，遵照中共中央軍委的戰略部署和八路軍總部的命令，第120師師部率第358旅挺進到以管涔山脈為依托的晉西北地區，第359旅挺進到五臺、平山地區，發動群眾，開展敵後遊擊戰爭，創建抗日根據地。9月底，第120師以第716團第2營為基礎組成雁北支隊，深入雁門關以北同蒲鐵路以西的日軍占領區，開展遊擊戰爭，襲擊瞭井坪、平魯，逼近大同。同時，組成瞭幾個地方工作團深入敵後，發動群眾，擴大部隊和創建抗日根據地。在配合國民黨軍同蒲鐵路北段的作戰，尤其是忻口戰役中，第120師先後取得瞭雁門關、王董堡等戰鬥的勝利。部隊於1938年1月進行整編，將由地方遊擊隊發展起來的獨立團，分別編為第358旅第714團和第359旅第718、第719團。全師由出發時的8200人發展到2.5萬餘人。2月下旬，日軍黑田旅團等部及偽軍共1萬餘人對晉西北抗日根據地進行首次圍攻，師主力在遊擊隊和人民群眾的配合及晉綏騎兵軍的應援下，經近40天的作戰，收復瞭苛嵐、五寨等7座縣城，殲滅日偽軍1500餘人，鞏固瞭晉西北抗日根據地。
5月，第120師遵照中共中央軍委的指示，派雁北支隊轉進至北平（今北京）以西地區，並與晉察冀軍區之鄧華支隊合編為八路軍第4縱隊，挺進冀東地區。同時，派第359旅挺進恒山地區，開展抗日鬥爭。8月，以第715團等部編成大青山支隊，進軍塞外，協同當地蒙漢人民遊擊隊，於同年冬開辟瞭大青山抗日遊擊根據地。9～11月間，日軍5萬餘人對晉察冀邊區進行多路圍攻。第359旅在晉察冀軍區指揮下，參加瞭反圍攻作戰，取得瞭邵傢莊等戰鬥的勝利。第120師其他部隊為配合反圍攻作戰，積極向同蒲鐵路北段和平綏鐵路西段出擊，取得瞭滑石片等戰鬥的勝利。
1938年12月，根據中共中央的命令和八路軍總部的指示，第120師主力在賀龍、關向應率領下挺進冀中地區，執行鞏固冀中、幫助八路軍第3縱隊和擴大自己的任務。1939年1月，於河北省河間縣與冀中軍區領導機關會合。此後，為統一指揮第120師和第3縱隊的作戰行動，成立瞭冀中總指揮部，賀龍任總指揮，呂正操任副總指揮，關向應任政治委員。第120師與冀中軍民密切協同，粉碎瞭日軍的連續圍攻，取得黑馬張莊伏擊戰的勝利。4月，在齊會戰鬥中殲滅日軍約700餘人。5月，第359旅進行瞭上下細腰澗戰鬥，殲滅日軍500餘人。在此前後，第715團與冀中軍區獨立第4支隊合編為師獨立第1旅；第716團與冀中軍區獨立第5支隊合編為師獨立第2旅（後改稱第358旅）。並調張宗遜、張平化到冀中，組成縱隊指揮部，統一指揮獨立第1、第2旅。同時，將留晉西北地區的部隊擴編為第358旅，彭紹輝任旅長，亦稱彭358旅（後改稱獨立第2旅）。
為保衛陜甘寧邊區，增強黃河河防力量，1939年8月，第359旅由恒山地區返回陜甘寧邊區；第120師在冀中的部隊也轉戰到晉察冀邊區，整訓待命。9月下旬，第120師在晉察冀軍區一部的配合下，進行瞭陳莊戰鬥，殲滅日偽軍1200餘人。年底，國民黨頑固派發動第一次反共高潮，山西閻錫山部舊軍，向山西新軍發動武裝進攻，制造“晉西事變”（亦稱“十二月事變”）。1940年2月，第120師主力趕回晉西北地區，配合新軍勝利地打退瞭舊軍的進攻。接著，組成瞭晉西北新軍總指揮部，續范亭任總指揮，羅貴波任政治委員，下轄暫編第1師、青年抗敵決死隊(簡稱決死隊)第2、第4縱隊和工人武裝自衛旅等部。隨後，該部編入晉西北軍區戰鬥序列。6月，第120師在夏季反“掃蕩”作戰中，取得瞭米峪戰鬥的勝利，殲滅日軍500餘人。
從1940年8月起，第120師參加瞭百團大戰。在作戰中殲滅日偽軍3500餘人。為瞭加強晉西北地區武裝力量的指揮，於11月7日成立晉西北軍區，賀龍兼任司令員，關向應兼任政治委員，續范亭任副司令員，周士第兼任參謀長，甘泗淇任政治部主任，轄6個軍分區。自1937年8月至1940年底，晉西北軍區部隊（含晉西北新軍）發展到5.1萬餘人。從1940年開始，第359旅在駐地南泥灣地區，開展大生產運動，實行生產自給，減輕瞭人民負擔。
從1941年開始，在日本侵略者的“掃蕩”、“蠶食”和“治安強化運動”的緊逼下，晉西北抗日根據地進入極端困難時期。晉西北軍區部隊在人民群眾的支援下，進行瞭艱苦卓絕的反“掃蕩”、反“蠶食”和反“治安強化運動”的鬥爭。
為戰勝困難，堅持抗戰，晉西北軍區部隊積極貫徹執行中共中央提出的精兵簡政政策，1942年進行瞭兩次精簡整編，主力部隊由3.9萬餘人減至2.5萬人，並調整瞭軍分區機關。同時，開展瞭整風、生產和擁政愛民運動，加強瞭地方武裝建設，實行瞭主力軍、地方軍和民兵三結合的武裝力量體制。1942年5月，日軍一個大隊及偽軍一部，奔襲晉西北軍區領導機關，被軍區部隊圍殲於興縣以南田傢會地區。6月，設在延安的陜甘寧晉綏聯防軍司令部成立，第120師及晉西北軍區隸屬聯防軍建制。9月，晉西北軍區改稱晉綏軍區。與此同時，晉綏軍民堅決執行中共中央軍委主席毛澤東關於“把敵人擠出去”的方針，運用各種形式，向敵人擠地盤。至1943年上半年，基本上把日偽軍擠到其主要據點和交通線附近。1943年秋，呂正操率八路軍第3縱隊主力9個團，由冀中等地先後到達晉綏地區。隨後，中共中央軍委任命呂正操為晉綏軍區司令員，林楓為政治委員，續范亭和周士第為副司令員。10月，粉碎瞭日軍的秋季“掃蕩”，並在山西興縣以南甄傢莊地區，殲滅日軍700餘人。1944年秋至1945年夏，晉綏軍區部隊連續舉行3次攻勢作戰，全區面積由1944年7月的8.3萬餘平方公裡，擴大到8.7萬餘平方公裡。
為瞭建立以五嶺山脈為依托的抗日根據地，把中原地區和廣東東江地區的遊擊戰爭聯結起來，使華南成為戰略一翼，1944年10月，中共中央決定，以第359旅為基礎組成第18集團軍獨立第1遊擊支隊（通稱南下支隊），由延安出發，挺進湘粵邊。該部主力於1945年8月到達廣東南雄地區。後因日本投降和遭到國民黨頑固派軍隊的重兵圍攻，遂即北返，於10月回到中原地區。此後，該部與新四軍第5師部隊共同堅持中原地區的鬥爭。
1945年8月，晉綏軍區部隊在賀龍、李井泉指揮下，向日偽軍展開大反攻。為加強大反攻的組織指揮，隨後成立瞭呂梁、雁門、綏蒙3個軍區。呂梁軍區由張宗遜任司令員兼政治委員；雁門軍區由呂正操兼任司令員，高克林任政治委員，許光達任副司令員；綏蒙軍區由姚喆任司令員，張達志任政治委員。晉綏軍區的大反攻作戰，分南北兩線：南線以太原為中心，由張宗遜指揮；北線以歸綏為中心，由呂正操、許光達指揮。9月初，賀龍、李井泉率領第358旅和獨立第1旅由陜甘寧邊區東渡黃河，參加反攻作戰。晉綏部隊經過連續奮戰，收復瞭離石、中陽、文水、交城、陶林、武川、左雲、右玉、朔縣、平魯等許多城鎮，斃傷日偽軍1.6萬餘人，俘日偽軍5100餘人。在大反攻中，主力軍發展到4.5萬餘人，地方武裝發展到4萬餘人，民兵發展到10萬人以上。
在八年抗戰中，第120師及晉綏軍區部隊，作戰近2萬次，消滅日偽軍12萬餘人，建立瞭晉綏抗日民主根據地。還協同晉察冀軍區部隊開辟瞭恒山區，加強瞭平西區，鞏固瞭冀中區，並保衛瞭陜甘寧邊區，為抗戰勝利作出瞭重大貢獻。