湘军攻克安徽省会安庆后，两江总督曾国藩将湘军大营由东流移驻于此。不久，清廷下诏命他全权负责东南四省苏、浙、皖、赣的军务。接到圣旨后，曾国藩诚惶诚恐，自吴三桂以来，尚没有汉人能拥有如此巨大的权力。

为了打消清廷未来将会产生的猜忌，曾国藩决定分权，于是先后保奏沈葆桢为江西巡抚，左宗棠为浙江巡抚。安徽巡抚李续宜是湘军大将，自然留任，无需人事变动。唯有江苏巡抚没有合适人选。

那时，李秀成指挥太平军围攻上海，守备清军接战即溃，只能借助洋人雇佣军偏守一隅之地，苦苦支撑。所以，惊慌不已的上海士绅公推太仓人钱鼎铭为代表，搭乘洋轮溯江而上，到安庆向曾国藩求援。

本来，曾国藩属意弟弟曾国荃，然而老九正大举募兵，围攻太平天国都城南京，欲图建不世之功。便又授意幕僚陈士杰带兵前往，结果陈士杰对此也毫无兴趣。最后，无奈之下，曾国藩转而向门生李鸿章求计。

李鸿章早年以翰林身份跟着老乡工部侍郎吕贤基在安徽办过团练，带过兵打过仗。此刻已在湘军大营当了一年多的幕僚，亲眼得见那些以书生带兵作战的湘军将领们，一个个由白丁升至督抚提镇，心里极为艳羡，眼热得很，所以借着机会对曾国藩侃侃而谈。他说江淮一带人才很多，自古就是兵源之地，那里办团练的乡绅们与我很熟，老师如果有意，我愿前往招募这些人，为老师所用。

师徒间经过一番长谈计议后，都认为必须出兵上海。毕竟那里是两江总督的辖地，兼且地方富裕，赋税可观，对于粮饷捉襟见肘的湘军来说，是块不可放弃的肥肉。同时，如果上海保住，从军事上来说只要上海的清军沿江向西用兵，与安庆东下的湘军遥相呼应，就会对夹在其中的太平军产生巨大压力。这就是后来的“用沪平吴”之计。

曾国藩觉得这位得意门生才大心细，勇于任事，是个可造之材，决定举荐官职为福建候补道的李鸿章出任江苏巡抚，到皖中另募一支军队，开赴上海。淮军就此而生！

李鸿章动身前，曾国藩特意叮嘱说，此去先把那些你认为可以担任指挥作战的将领们带来，我要亲自过目看看他们是否真的能堪大用，顺便也替你把把关。

当后来那些名动天下、此刻还是无名小卒的淮军大将们，尽数被李鸿章带至安庆大营后，曾国藩暗中对这些人进行了逐一考察。

师徒巡视完毕，众人都不知道刚才这位貌不惊人的老头子就是湘军统帅，亦没人起身趋迎李鸿章。事后，曾国藩对李鸿章说，你招募的这些人都是大将之才，以后都能立大功、做大事。尤其是窗边光膀子读书饮酒的那位，以后成就最高。

曾国藩口中所称誉的，就是人称“刘六麻子”，淮军第一大将，台湾第一任巡抚的刘铭传。