1944年4月22日，毛泽东致电邓小平、滕代远，为开辟豫西工作基地做准备。之后，中共中央多次发出指示，明确规定了开辟河南根据地的方针政策。7月25日，中共中央发出《向河南进军的部署命令》，决定从太行军区抽调干部和部队组成豫西抗日先遣支队，尽快挺进豫西开辟敌后抗日根据地。

太行军区根据中央的部署，抽调两个主力团和地方武装一部，组成了豫西抗日先遣支队。支队辖第三团、第三十五团和1个警卫连，由皮定均任司令员、徐子荣任政委，方升普任副司令员，郭林祥任副政委兼政治部主任。在偃师、巩县、登封一带活动，后来在嵩山地区建立了豫西一分区。11月6日，太岳军区组成“豫西抗日游击第二支队”，刘聚奎任司令员兼政委，11月14日由济源南下渡过黄河，到达新安、渑池一带。建立了河南军区豫西二分区，渑池县全部，新安、洛宁、陕州、宜阳都成了根据地的一部分，各县也相继建立了县政府与县委会。二分区司令员为韩钧，地委书记兼政委为刘聚奎，地委副书记兼副政委为贺崇升，1945年2月，在延安组建的河南区党委、河南军区进入豫西，至抗战胜利时，豫西抗日根据地面积扩展到2万平方公里，拥有300万人口。