在抗日戰爭時期，新四軍的發展可以分爲兩個階段，以1940年末皖南事變爲分界線，之前的新四軍有四個支隊的建制，之後重建的新四軍有七個師的建制。1937年7月，盧溝橋事變之後，抗日民族統一戰線形成。1937年8月，紅軍主力在陝北改編爲了八路軍，而活躍於南方地區的紅軍隊伍，則於1937年10月改編爲了新四軍。

新四軍在成立之後，由於兵力人數不多，所以並沒有建立師、旅等編制，而是組編了四個支隊，分別是第一支隊、第二支隊、第三支隊、第四支隊。在以上新四軍四個支隊之中，相對來說兵力最多的支隊，就是第四支隊，最初的兵力共有3100多人。

新四軍第四支隊是由長征時期留守鄂豫皖根據地的紅二十八軍，以及豫南紅軍游擊隊等武裝改編而成的。它的戰鬥序列之下最初有四個團，分別是第七團、第八團、第九團以及手槍團。其中，第七團、第九團和手槍團由紅二十八軍改編，第八團由豫南紅軍游擊隊改編。在1939年5月，新四軍江北指揮部成立，第四支隊劃歸江北指揮部。

1941年1月，也就是皖南事變發生之後不久，新四軍很快得到了重建，而第四支隊也進行了整編，改編爲了新四軍第二師，從而走上了新的發展歷程。從1937年10月，新四軍第四支隊組建；到1941年1月，新四軍第四支隊改編爲新四軍第二師。新四軍第四支隊一共存在了不到四年的時間。

在新四軍第四支隊存在的不到四年時間裏，先後有三位將領擔任支隊司令員一職。新四軍第四支隊首任司令員是高敬亭，他之前就是紅二十八軍軍長。高敬亭是河南新縣人，出生於1907年，他是鄂豫皖根據地的領導人之一。在紅四方面軍離開鄂豫皖根據地之後，高敬亭負責留守，並收攏部隊重建了紅二十八軍，有着很大的功勳。

1937年10月，新四軍成立之後，高敬亭率領的紅二十八軍改編爲新四軍第四支隊，高敬亭出任支隊司令員，率領部隊在大別山地區堅持敵後遊擊作戰。1939年6月，高敬亭遭受錯誤對待而被錯殺，終年三十二歲。後來在1977年，高敬亭得到了平反，恢復了名譽。

1939年6月，高敬亭被錯殺之後，接替擔任新四軍第四支隊司令員的是徐海東，他當時還兼任着新四軍江北指揮部副指揮。徐海東是湖北大悟人，出生於1900年，他曾經參加過鄂豫皖根據地系列軍事鬥爭，率領紅二十五軍參加了長征。到了陝北之後，徐海東擔任紅十五軍團軍團長，在抗日戰爭初期擔任八路軍第三四四旅旅長。

徐海東長期在艱苦的環境中工作，健康情況並不理想，很快在1940年1月病倒在了戰場，只得離開了部隊進行休養。後來，徐海東一直處於療休養狀態，直至新中國成立。1955授軍銜的時候，勞苦功高的徐海東被授予了大將軍銜。

1940年1月，徐海東因病離開部隊之後，接替他擔任新四軍第四支隊司令員的是張雲逸，當時張雲逸還擔任着新四軍江北指揮部指揮。張雲逸是海南文昌人，出生於1892年，他很早就參加了革命，經歷過辛亥革命、北伐戰爭、右江起義和紅軍長征。在紅軍長征中，張雲逸曾經擔任過紅八軍團參謀長。

在抗日戰爭中，張雲逸參與了新四軍的組建工作，擔任過新四軍參謀長兼第三支隊司令員、新四軍江北指揮部指揮等職務。1940年1月，徐海東離開新四軍第四支隊之後，張雲逸兼任第四支隊司令員。在皖南事變之後，第四支隊改編爲新四軍第二師，張雲逸繼續擔任師長。後來，張雲逸還經歷瞭解放戰爭，擔任華東軍區副司令員一職。在1955年，張雲逸也被授予了大將軍銜。