抗日战争初期，原新编第三十五师进驻河南开封，王劲哉兼任开封警备司令。1938年夏，原新编三十五师参加豫东会战，伤亡惨重同年秋参加武汉会战，在江西瑞昌等地与日军交战，又遭受重大损失。武汉失守，王部撤至湖北咸宁，改番号为第一二八师，编入汤恩伯的第三十一集团军序列。