1939年10月孫連仲由重慶返回河南葉縣他的總司令部所在地的。孫連仲回到葉縣不久，調他任第五戰區副司令長官的命令就發表了，接着李宗仁就命令第二集團軍總部移駐唐河，並令第三十軍和第六十八軍接替泌陽以東確山以南地區的第一線防務，與信陽方面的日軍對峙。另外還有活動於平漢路東側的豫南遊擊總指揮田鎮南部，活動於桐柏山地區的豫鄂邊區遊擊總指揮閻廷俊部，也都歸孫連仲指揮。這年年底，第五戰區發動了一次冬季攻勢。第二集團軍的任務是攻佔信陽。當時信陽和湖北廣水一帶駐有日軍一個旅團，而孫連仲指揮的部隊有七八萬人，按說攻佔信陽是不成問題的，但孫部的將領看到蔣介石把嫡系部隊大部分放在後方，把雜牌軍隊放在第一線，誰也不肯去和日軍死拼。這個攻勢進行了一個多月，連日軍的外圍據點也沒有攻下一個。只是第三十軍抽出一個團、乘夜襲入信陽城內、亂打了一陣槍，到天明前自動撤回。這個冬季攻勢延續到1940年春節才停止下來。

1940年春，蔣介石曾打算叫孫連仲接替鹿鍾麟任冀察戰區總司令兼河北省政府主席，帶一部分隊伍去河北省打游擊。孫連仲接到蔣介石徵求意見的電報後，曾和高級幕僚們研究，當時有人主張接受這個職務，因爲蔣介石是不會把正式的戰區司令長官和後方的省政府主席職位讓給孫連仲的。河北省條件雖不好，總算獨當一面。但也有人主張不接受，認爲河北省不僅有日僞軍，而且有八路軍。到那裏以後，如果和八路軍合作抗日，蔣必不答應;如果與八路軍鬧磨擦，恐怕很難站住腳，結果有可能連老本都保不住。孫連仲權衡利害，認爲還是不去爲好，就覆電蔣介石表示推辭。但是如果蔣介石非讓他去不可，也只好前往，所以也做了一些準備工作。在部隊中挑選了一部分原籍在河北省的官兵，辦了一個諜報訓練班。想訓練一批特務人員，準備在進入河北省時使用。後來蔣介石把冀察戰區總司令兼河北省政府主席的職務給了龐炳勳。

1940年5月間，豫南、鄂北方面的日軍發動了一次掃蕩性的攻勢，其目的在於把第五戰區的主力部隊擊破，以免第五戰區再次發動攻勢。孫連仲的部隊在第一線抵抗了兩天，防線就被日軍突破了。六十八軍退到泌陽以北地區，三十軍退到新野以南地區，第二集團軍總部也由唐河撤到鎮平附近。這時日軍的主力轉趨湖北襄樊，接連打敗了孫震、王纘緒、張自忠等幾個集團軍，然後自動撤回原防。當襄樊失守，戰局緊張的時候，李宗仁曾令孫連仲以副司令長官身分擔任前敵總指揮，前往襄樊一帶督戰。孫連仲到達襄陽附近的隆中時，日軍已經撤走。於是第五戰區便謊報軍情，說是把敵人誘至襄河以東地區，造成反包圍，將敵擊潰，迫使敵人回竄信陽、廣水一帶。日軍撤退後，孫連仲把指揮所推進到唐河縣的湖陽鎮附近，在那裏駐了兩個多月。等到第五戰區部隊完全恢復了原來的態勢，才由湖陽回到南陽。

1941年下半年，第五戰區長官部把第五十五軍曹福林部調到鄧縣一帶整訓，並編入第二集團軍序列。這個軍原來是韓復渠的部隊，韓被捕後，孫桐萱繼任第三集團軍總司令，曹福林任副總司令兼五十五軍軍長。因爲曹對孫桐萱不大服氣，無法合作。後來蔣介石就把第五十五軍編入第三十三集團軍序列，歸張自忠指揮。張自忠殉國後，馮治安繼任第三十三集團軍總司令，曹福林又不願歸馮指揮，而孫連仲在舊西北軍將領中資格較老，聲望較高，所以李宗仁就把曹福林的五十五軍調歸孫指揮了。五十五軍當時有兩個師:一個是第二十九師，師長是許文耀;一個是第七十四師，師長是李益智。

該軍副軍長是榮光興，參謀長是李明亞。 五十五軍編入第二集團軍後，孫連仲已經指揮三個軍，下面有七個師和兩個獨立旅，大約10萬之衆了。但孫覺得劉汝明、曹福林和他屬於貌合神離，不會完全聽他的，於是就想法把劉、曹換掉，讓自己手下的人去帶這兩個軍。從此以後，孫就在總司令部接連召開了幾次全集團軍參謀長會議和高級軍官會議，並印發了一本由孫連仲署名的小冊子《第二集團軍軍官備忘錄》，彙集了些帶兵、練兵、用兵的辦法，軍官們人手一冊，作爲工作中的參考。

總司令部還組織了校閱組，對各軍進行了一次全面校閱。校閱後，對較差的給予批評，較好的給予表揚。在進行了這樣一系列工作後，即以調整編制，加強團結，互相學習，提高戰鬥力爲理由，把兩個獨立旅合編爲暫編第三十六師，以原第二十七旅旅長劉汝珍爲師長，以吳鵬舉爲副師長，列入第三十軍建制，把原屬第三十軍的第三十師張華堂部調歸第六十八軍建制。接着又把第三十軍第二十七師師長黃樵松調爲第六十八軍第一四三師師長，把一四三師師長李曾志調爲第五十五軍第二十九師師長，把第二十九師師長許文耀調爲第二十七師師長。

劉汝明和曹福林對於這樣的人事調整，表面上雖然接受了，但實際採取了消極抵制的辦法。對於調到自己部隊的師長，使他有職無權，起不到多大作用。對於調歸自己指揮的部隊，則不聞不問，使其無所依從。而劉汝珍對於他的暫編三十六師則把持得很緊，暗中仍然接受劉汝明的指示，使三十軍軍長池峯城無法過問。這樣僵持了一個時期，池峯城和張華堂均感不便，經池、張的請求，孫連仲又把第三十師調回第三十軍，把暫編第三十六師調到第六十八軍去了，不久，第二十九師師長李曾志病故，曹福林立即保他的五十五軍副軍長榮光興繼任。許文耀和黃樵松以後也調任別的職務。孫連仲對付劉、曹的第一步計劃未能成功。以後孫連仲調到第六戰區，劉汝明和曹福林不再歸他管轄，他也就無計可施了。