9月16日，八路軍總部發布第二階段作戰命令：
1.一二零師以切斷同蒲路之交通目的，集結主力破擊寧武、軒崗段同蒲路而徹底破壞之。
2.冀中、冀南部隊以打擊敵修築滄石路、石德路、邯清路之目的，應集結主力毀滅各路之修復修成之部分及前線路基。
3.晉察冀軍區以開展邊區西北方面工作之目的，應集結主力破襲淶靈公路及奪取該兩城，並以有力一部在同蒲路東側積極配合一二零師之作戰。
4.一二九師以收復榆社、遼縣之目的，開展遼榆地區鬥爭，並以有力一部不斷破擊同蒲路北段。
5.晉察冀軍區與一二九師原留在正太線行動之部隊不變，並積極襲擾敵修復鐵路。
6.挺進軍應以有力部隊在平漢路北段、平綏路及北平城郊積極活動；冀中應以有力一部在北寧路及津浦路北段積極活動，不斷破路傾車，擴大影響，阻敵增援。
7.其餘各大小交通線之配屬作戰部隊，由各戰略區自行配置之。……
百團大戰發動後，從華北敵後到大後方的報刊都大力傳播勝利的消息，祝捷電文、信件從四面八方飛向延安，飛向八路軍總部，極大地鼓舞了人心土氣。
連日來，延安一片熱氣騰騰，人們爭先恐後傳閱著每份《百團大戰要報》，大街小巷貼滿了慶祝百團大戰勝利的標語。9月20日，延安全城放假，召開紀念「九一八事變九周年和慶賀八路軍百團大戰勝利」的大會。中共中央、中共中央西北局與陝甘寧政府機關人員，各大中小學的師生和各界群眾，踏著《八路軍進行曲》的雄壯節奏，排著整齊的隊伍前來參加大會。毛澤東、朱德、洛甫、王稼祥、陳雲、任弼時等在延安的政治局委員都出席了大會。
大會開始後，陝甘寧邊區政府副主席高自立飽含激情地致開幕詞。八路軍總政治部主任王稼祥發表了演講。朱德總司令代表黨中央講了話，他向在百團大戰中光榮犧牲的4000餘將士，表示至高無上的敬意，向光榮負傷和中毒的4000餘將士，表示最熱烈的慰問。他希望八路軍繼續發揚視死如歸、勇往直前的精神，再接再厲，進一步擴大百團大戰的偉大勝利成果。
在這一歡樂的氣氛中，毛澤東也受到了強烈的感染。這位有著強烈詩人氣質的領袖，用這樣一封電報表達了他喜悅的心情：百團大戰真是令人興奮，像這樣的戰鬥是否還可以再組織一兩次？
在百團大戰第一階段宣布結束、各參戰部隊轉入休整的1940年10月，中共中央發出了兩個重要文件：《中央關於時局趨向的指示》和《中央關於「擊敵和友」的軍事行動總方針的指示》。《中央關於時局趨向的指示》鄭重指出：「中央七七宣言及七七決定，對於國際國內形勢的估計與我黨政策的指示，經過兩個月國內外事態的發展，已證明是完全正確的。目前國際國內的政治情況，正處在劇烈變化的前夜，我黨對於這種變化，必須在精神上有所準備。」
根據對國際國內政治情況正處在劇烈變化前夜的這一科學分析，中共中央在《中央關於「擊敵和友」的軍事行動總方針的指示》中明確指出：
我八路軍、新四軍全部力量，在目前加強團結時期，應集中其主要注意力於打擊敵人，應仿照華北百團戰役的先例，在山東及華中組織一至幾次有計畫的大規模的對敵進攻行動，在華北則應擴大百團戰役行動，到那些尚未遭受打擊的敵人方面去，並在山東與華中方面繼續擴大我軍之數量，而給予二百萬友軍及國民黨大後方與敵占區內千百萬人民以良好之影響，給予敵人向重慶等地進攻計畫以延緩的作用。
八路軍總部領導人完全贊同中共中央在七七宣言和七七決定發布兩個月後對國際國內政治形勢所作的估計，完全擁護中共中央關於軍事行動的指示。還在對正太路破擊正酣的時候，彭德懷、左權等就按照毛澤東來電提出的「像這樣的戰鬥是否還可組織一兩次」的希望，開始考慮「在正太路不能繼續堅持作戰或已徹底完成正太戰役任務之情況下，我軍之行動方針」問題，曾經提出「乘勝開展正太線兩側之戰鬥，去收復敵深入各根據地內之某些據點」的設想，要求晉察冀軍區組織淶（源）靈（丘）戰役，打開邊區北部之局面；第一二九師在榆社遼縣公路組織以收復榆社、遼縣為目的的榆遼戰役。
9月12日，總部領導召開作戰會議，總結第一階段經驗，布置第二階段作戰任務。彭德懷說：「同志們，這次戰役部隊確實打得頑強，打出了水平。可是，我們也付出了代價，沒死的也累得走不動路了，許多部隊十幾天來沒吃一頓飽飯，沒睡過一宿好覺，不少戰士眼睛熬得血紅，累得倒頭便睡。我們要通知各部隊抓緊時間休整，改善伙食，吃飽了、睡足了，不要被勝利沖昏頭腦，要作好充分的準備，準備第二階段打得更漂亮。」然後，他站起身，走近地圖說：「第一階段正太路破壞得比較徹底，平漢、北寧、津浦、同蒲、白晉及其他公路，都已截斷，第二階段的目標是縮小敵占區，擴大根據地，在繼續破路的同時，繼續消滅敵人有生力量。」說罷，便向各部隊下達作戰任務：晉察冀軍區發起淶源靈丘戰役，力爭奪取淶源和靈丘兩城，破壞淶靈公路，派少量部隊破壞同蒲鐵路；一二零師破擊同蒲路，將寧武至軒崗段徹底摧毀；一二九師發起榆遼戰役，力爭奪取榆庄、遼縣城，並派一部兵力破壞白晉路；冀中呂正操部、冀南陳再道部重點破壞滄石、德石、道濟路，攻克沿路據點。
四天後，八路軍總部正式下達了百團大戰第二階段作戰命令。
接到命令，八路軍各部迅速行動起來。晉察冀軍區以8個團、3個游擊支隊、2個獨立營組成左、右翼隊和預備隊，於9月22日發起淶（源）靈（丘）戰役，對該地區的日軍獨立混成第二旅和第二十六師及偽軍各一部發動進攻。右翼隊重點攻擊淶源縣城，由於缺乏攻堅器材，日軍頑強抵抗，經通宵激戰，未能得手。23日，轉為攻擊淶源外圍日軍據點。至26日，相繼攻佔叄甲村、東團堡等10餘處據點。28日，由張家口增援的日軍3000餘人進抵淶源城，右翼隊遂轉移兵力於靈丘、渾源方向，協同左翼隊先後攻佔了南坡頭、搶風嶺、青磁窯等日軍據點。10月9日，又有大同日軍1000餘人來援。晉察冀軍區遂決定結束淶靈戰役。此役共殲滅日偽軍1000餘人。
第一二九師以第三八六旅和決死隊第一縱隊兩個團組成左翼隊，以第三八五旅（附第三十二團）組成右翼隊，於9月23日發起榆（社）遼（縣）戰役，向守備榆遼公路的日軍獨立混成第四旅展開攻擊。至30日，左翼隊經過艱苦奮戰，攻佔榆社縣城，殲日軍400餘人。右翼隊攻佔榆遼公路上的小嶺底、石匣等日軍據點後，準備協同新編第十旅進攻遼縣時，和順、武鄉的日軍同時出援，第一二九師遂決定停止攻城，轉移兵力於紅崖頭、關帝堖地區伏擊由武鄉出援的日軍。第三八五旅在向伏擊地域開進途中，與日軍援兵600餘人遭遇，經15小時激戰，日軍雖被消滅過半，但余部依託有利地形進行頑抗，雙方形成對峙。同時，由和順出援的日軍突破新編第十旅狼牙山阻擊部隊陣地。在這種情況下，第一二九師遂撤出戰鬥，榆社復為日軍佔領。榆遼戰役共殲日軍近1000人。10月14日，第一二九師一部在和（順）遼（縣）公路上的弓家溝設伏，殲滅日軍一支運輸隊，擊毀汽車40餘輛。
第一二零師為配合淶靈、榆遼地區的作戰，對同蒲鐵路北段進行了新的破擊，再度切斷了該線交通。第一二九師所屬冀南軍區以12個團的兵力，對日軍正在修築的德石鐵路和邯（鄲）濟（南）鐵路以及一些重要公路線，均進行了破擊，共殲日偽軍1700餘人。晉察冀軍區所屬冀中軍區部隊於10月1-12日，舉行任（丘）河（間）大（城）肅（寧）戰役，攻克據點20餘處，殲日偽軍1500餘人，破壞公路150公里。