1941年1月上旬，新四军军部及直属部队九千余人在奉国民政府军事委员会之命令北撤时在安徽泾县遭到国民党军队八万多人的伏击，军长叶挺被扣押入狱，项英、周子昆、袁国平等领导人牺牲，全军仅两千多人突围，“皖南事变”爆发。

“皖南事变”后，蒋介石宣布新四军为“叛军”，但人民的眼睛是雪亮的，国民政府遭到了全国人民的强烈舆论谴责，而中央军委也决定迅速重组新四军。1941年1月20日，新四军于苏北盐城重建，陈毅为军长，将原新四军部队及陇海铁路以南的八路军部队整编为七个师，其中就有由八路军第四纵队整编而成的第四师以及由八路军第五纵队整编而成的第三师。

新四军第三师是新四军重组后七个师中兵力最多的一个师，共辖3个旅、2个军区及1个保安司令部，总兵力达两万余人，由原八路军第五纵队司令员黄克诚任师长。八路军第五纵队是中央军委为实施南下支援新四军而成立的八路军纵队，由于国民政府严令禁止八路军南下华中，八路军第五纵队成立后一直在陇海铁路沿线活动，直到整编为新四军第三师。八路军第五纵队成立于1940年8月，共辖三个主力支队及皖东北保安司令部等地方部队。

第五纵队第一支队由苏鲁豫支队改编而成，司令员为彭明治，政委为朱涤新，辖三个团，兵力有9000余人。苏鲁豫支队又称彭朱支队，是一支具有悠久历史、战功卓越的英雄部队，其可追溯到北伐战争时期的叶挺独立团，八路军成立时为115师343旅685团，1939年1月在山东湖西地区（今菏泽）与山东纵队挺进支队等地方抗日武装合编为苏鲁支队，著名的铁道游击队就曾归属其建制。

苏鲁豫支队原辖1、2、3大队，后2大队改编为115师东进支队，1940年年中开始南下。1940年8月，115师苏鲁豫支队第1、3大队改编为八路军第五纵队第一支队，同年10月115师改编，第五纵队第一支队改编为115师教导第一旅，115师东进支队改编为教导第五旅，新四军重建后两部分别改编为新四军第三师第七旅及新四军独立旅。1955年彭明治将军被授予中将军衔。

第五纵队第二支队由八路军第四纵队新编第二旅第5团、第6团及344旅第7团三个团改编而来，由田守尧任司令员，吴信泉任政治委员。1941年初，八路军第五纵队第二支队改编为新四军第三师第八旅，田守尧任旅长，政委仍为吴信泉，辖3个团共3000余人。1943年田守尧将军牺牲后由张爱萍任旅长。1955年，张爱萍将军被授予上将军衔，吴信泉被授予中将军衔。

第五纵队第三支队由八路军陇海南进支队和新四军第6支队第4总队改编而来，由张爱萍任司令员，韦国清任政治委员。新四军重建后，八路军第五纵队第三支队改编为新四军第三师第九旅，后与第四师第十旅对调划归第四师。1955年，张爱萍、韦国清两位将军均被授予上将军衔。