日军在占领平津后，很快侵入山西。阎锡山为应付危局，急于扩充实力。
薄一波审时度势，建议组建一支新军，得到阎的同意。北方局对这一工作极为关注，指示今后工作的重点应当放在掌握武装上。从此，山西省公开工委的工作重点转到了组建和发展新军上来。
1937年8月1日，以原来的军政训练班、民训干部教练团和国民兵军官教导团第8、第9团各一部组成山西青年抗敌决死队第1总队（相当于团），薄一波任政治委员，各级军事干部由阎锡山委派旧军官充任，政治干部绝大部分由“牺盟会”派共产党员担任。决死队在成立后一个多月的时间里，迅速发展为4个总队。到1938年初由原来的4个总队扩建为4个纵队（相当于旅）。第1纵队，由鲁应麟（旧军官）任纵队长，薄一波任政治委员，下辖第1、第2、第3总队；第2纵队，由陈庆华（旧军官）任纵队长，张文昂任政治委员，下辖第4、第5、第6总队；第3纵队，由陈光斗（旧军官）任纵队长，戎子和任政治委员，下辖第7、第8、第9总队；第4纵队。由梁浩（旧军官）任纵队长，雷任民任政治委员，下辖第11、第12、第13总队。
由牺盟会组织起来的新军部队还有政卫队和4个支队。1938年秋，政卫队扩大为旅级单位，张韶芳任代司令兼政治主任，下辖10个支队（营）。
1939年春，政卫队改为政卫旅。与此同时，中共地方党及牺盟会先后在晋西南地区组织起若干支自卫队和游击队。1938年秋，将这些自卫队和游击队统一整编为政治保卫第1、第2、第3支队。是年冬，又将活动于晋南地区的县自卫队改编为政治保卫队第4支队。
此外，在“九 一八”六周年之际，中共太原市委恢复了总工会，成立了山西工人武装自卫队（相当于团），简称工卫队，由郭挺一任队长，侯俊岩任政治主任。
在牺盟会各项工作迅猛开展的同时，第2战区民族革命战争战地总动员委员会也迅即组成。
1937年9月，周恩来以中共中央代表的身份抵达太原后，与阎锡山等多次会谈，商定在第2战区行营直接指挥下，成立有共产党、八路军代表参加领导的战地总动员委员会。9月20日，第2战区民族革命战争战地总动员委员会（简称动委会）在太原成立。国民党爱国将领续范亭任主任，中共代表程子华任人民武装部长，南汉宦任组织部长。动委会成立后，活动于晋北及察哈尔、绥远全省，积极配合八路军、牺盟会动员群众，组织人民自卫军，开展游击战争。
1937年11月，首先以太原、清源、交城、文水和汾阳等县游击队合编为抗日游击第1路纵队，程子华兼任纵队司令，下辖第1、第2、第3、第4、第5支队。到1938年3月，动委会先后共组建了25个基干支队。8月，第4支队随第120师大青山支队挺进绥远，开辟大青山抗日根据地。其余部队整编为晋西北保安第2区队，续范亭任司令员。到1939年夏，保安第2区队又统一整编为陆军暂编第1师，由续范亭任师长。这支部队是山西新军的一个组成部分。
山西新军在共产党的领导和八路军的帮助下，不断发展壮大，到1939年冬，下辖决死队4个纵队、第207、第209、第212、第213旅，暂编第1师及山西第3、第5、第6行政区组建的保安司令部所辖保安团，共发展到50个团，计5万余人。
山西新军在建制上归第2战区的晋绥军，实际上是在中国共产党领导下的抗日武装，是中国共产党抗日民族统一战线正确路线、政策和策略的产物。
山西新军建立后，即分别活动于晋西北、晋西南、晋东南地区，积极配合八路军发动群众、建立根据地，广泛开展抗日游击战争，为华北敌后战场的开辟及坚持敌后抗战发挥了重要作用。
二、河北人民抗日武装的建立和游击战争的发展
中共河北省各地方组织，遵照中共中央和北方局的指示，于“七 七”事变之后即在平西、冀中、冀南等地发动群众，建立人民抗日武装，展开了轰轰烈烈的抗日游击战争。
1937年8月10日，在中共北平市委和“东特”＇中共北方局为了对流亡北平的东北军家属和学生进行群众抗日救亡工作，成立了“东北工作特别委员会”，简称“东特”。＇ 的直接领导下，组成一支数十人的抗日武装，活动于北平郊区圆明园附近地区。8月22日深夜，他们砸开北平德胜门外的第二监狱，救出被囚禁的几十位共产党员和爱国志士，部队迅速发展到1000余人。9月5日，这支武装打起了“国民抗日军”的旗帜，由赵侗任司令，下辖3个总队。
12月11日，该部开赴阜平地区进行整训。后经八路军总部批准，编为晋察冀军区第5支队，由赵侗任司令员，高鹏任副司令员，下辖第1、第2、第3等3个总队。
第5支队整训后，即于3月下旬奉命返回平西地区。与此同时，晋察冀军区根据中共中央的指示，以第1支队第3大队为主组成邓华支队，进抵平西地区，为挺进冀东、开辟以雾灵山为中心的冀东抗日根据地进行准备工作。
两个支队相互配合，积极袭击日军，连续攻克敌军据点，逐步开辟了房山、涞水、良乡、昌平、宛平等县的抗日工作，建立了3个联合具政府和抗日救国会，使平西抗日根据地初具规模，为八路军向冀东挺进创造了条件。
在冀中地区，抗日斗争也迅速发展起来。
“七 七”事变后，中共保属特委南移石家庄，改组为平汉线省委，李菁玉任省委书记，统一领导河北省中部地区的各项抗日工作。石家庄夫陷后，平汉线省委西迁阳泉与八路军第129师会合，所属保东、保南特委于1937年10月10日合并为保属省委，张君任省委书记，继续领导该地区的抗日斗争。此时，在延安抗日军政大学学习的红军团长孟庆山