在抗日戰爭的戰略相持階段中，地處湖南的第九戰區成爲戰火最爲頻繁之處，第九戰區司令長官薛嶽手下有兩支王牌部隊，一個是抗日鐵軍第74軍，另外一個就是因善守而聞名的“泰山軍”第10軍；王耀武的第74軍在換裝蘇械後被確定爲“攻擊軍”，成爲重慶軍事委員會直屬的戰略機動部隊，如此，第九戰區可以直接指揮的王牌部隊實際上僅有第10軍，首任軍長是黃埔一期的李玉堂中將。

在國民革命軍的作戰序列中，共出現過七次“第10軍”的番號，最早的第10軍是在北伐戰爭中由黔軍部隊改編而成的，軍長王天培在蔣介石第一次下野前被找藉口槍決。李玉堂率領的第10軍實際上是1940年4月，由李玉堂的第8軍和被打殘的梁華盛第10軍合編而成，雖然沿用了第10軍的番號，其主力反倒是李玉堂一直服役的正牌子中央軍第8軍，前身是具有黃埔黨軍血脈的陸軍第3師。

李玉堂

陸軍第3師由黃埔軍校教導第2團發展而來，北伐戰爭開始前的1925年組建，1928年7月時任師長爲錢大鈞、副師長陳繼承，這兩位都是蔣介石“八大金剛”裏的人物，足見第3師血統的正宗。彼時李玉堂任該師下轄的第8旅上校副旅長，“龍潭大捷”後第3師駐防蘇州。1929年1月蔣介石暗訪部隊，發現第3師多名軍事主官擅離職守，因而勃然大怒，將該部團以上軍事主官全部就地免職，而副旅長李玉堂因“在線值班”因禍得福升任第8旅旅長。此後歷經中原大戰和蘇區作戰後，1932年5月，李玉堂終於執掌第3師。

1937年抗日軍興，李玉堂奉命率領第3師自江西開赴上海蔘加淞滬會戰，激戰十餘日傷亡慘重；1938年6月，軍事委員會以第3師爲基幹，調入預備第2師和預備第11師組成第8軍，李玉堂升任軍長率部參加武漢會戰，因此在1939年的第一次長沙會戰期間，這支部隊的番號仍然是第8軍。1940年軍事委員會合編組建新的第10軍，仍以李玉堂爲軍長，準備派入滇緬作戰，後因中國遠征軍第一次入緬失利任務取消，由此第10軍成爲第九戰區的絕對主力，此時下轄的三個師分別是第3師、第190師和預備第10師，隸屬戰區直轄而不屬於任一集團軍。

薛嶽

第二次長沙會戰期間由於情報泄露，本擬側擊日軍的李玉堂第8軍和王耀武第74軍，在金井地區均遭到預伏日軍的打擊而損失慘重，戰後追究責任，第74軍58師師長廖齡奇被槍決，第10軍軍長李玉堂也被撤職查辦，但事出有因，新任軍長鍾彬亦藉故拖延上任時間，第10軍實際仍以李玉堂爲代理軍長。僅僅兩個月後，1941年12月日軍阿南惟畿捲土重來，第三次長沙會戰打響，第10軍終於有機會一雪前恥。

薛嶽吸取前二次會戰的教訓，運用了後退決戰的“天爐戰法”，前線部隊稍加抵抗後撤往兩翼，引誘日軍進至長沙城下，再以戰區主力合圍之，而選擇守爲“爐膛”的正是第10軍。爐膛若破，日軍將把握主動，天爐戰法就將功敗垂成，因此第10軍任務非常艱鉅，蔣介石親自給李玉堂打來電話：

蔣：你是第10軍軍長李玉堂嗎？

李：報告委座，是的。

蔣：你是黃埔一期學生嗎？

李：報告校長，是的。

蔣：那麼長沙交給你了。

李玉堂

蔣介石隨即掛斷電話，但已經包含了解除處分和恢復信任兩層意思，李玉堂立刻恢復視事，率領三個師長認真組織長沙防禦，並召開新聞發佈會表達誓與長沙共存亡之決心。1942年1月1日，日寇第11軍主力第3師團開始猛攻長沙，1月3日另外一個精銳師團第6師團也投入攻城戰鬥，第10軍24000餘將士奮勇殺敵，在敵優勢地空火力的殺傷下死戰不退，三個師長方先覺（預10師）、周慶祥（第3師）、朱嶽（第190師）全部頂到一線督戰，血戰三天三夜，力保長沙不破。隨着天爐戰法“熔爐”態勢的形成，周邊及敵後國軍正兼程趕來，已對長沙城下的日軍完成了反包圍，日寇第11軍司令官阿南惟畿發覺不妙，於1月4日夜裏下達了全軍撤退的命令，沿途遭到中國軍隊圍追堵截，傷亡極爲慘重，史稱“長沙大捷”。

第三次長沙會戰勝利後，軍事委員會向第10軍頒授“泰山軍”榮譽稱號，以褒獎該軍在防守時的不動如山，李玉堂獲“青天白日勳章”並晉升爲第27集團軍副總司令，在長沙守城作戰中表現出色的預備第10師師長方先覺（黃埔三期）獲寶鼎勳章，被直接提升爲第10軍代理軍長、軍長，“泰山軍”自此一戰成名。

方先覺

1944年5月，侵華日軍糾集空前兵力發起“一號作戰”，駐武漢第11軍加強到十個師團第四次進犯長沙，由於薛嶽的輕敵和照搬老戰法，長沙僅兩天即告淪陷，日軍兵鋒直撲南面的重要交通樞紐衡陽，以期打通進入廣西的道路。第九戰區全線潰敗，使正在衡陽整補的第10軍頓時成爲孤軍，方軍長先覺接到的命令是死守衡陽10到14天，周圍援軍必至。第10軍第190師由於在救援常德的戰役中遭到重創，只剩不足2000人，因此方先覺用來守衡陽的只有兩個滿編師17000餘人，加上配屬的炮兵等不超過18000人。

1944年6月23日，日酋第11軍司令橫山勇命令第68、第116師團發起了對衡陽的第一次攻擊，結果一週之內，在第10軍的“方先覺壕”以及手榴彈雨下競未建寸功，日軍的傷亡卻高達5000，無奈之下停止了進攻。在補充了彈藥加強了炮兵後，日軍於7月11日發起了第二次總攻，第10軍兀自奮勇殺敵，衡陽的天空因守軍的英勇而變色，第68師團長佐間中將重傷，主攻的黑獺聯隊兩任六名大隊長全部被擊斃，酷熱的7月成了雙方軍隊的人間地獄。由於衡陽久攻不下，日本東條英機內閣隨之垮臺，第10軍幾乎成了日軍的噩夢，7月19日再度停止進攻，原因有三：1，第10軍打得太頑強，日軍需要調整；2、日軍彈藥供應不足；3、日軍要分兵去外圍打援。

然而負責救援的中國軍隊卻出現了嚴重問題，薛嶽的第九戰區殘餘部隊在湘東被壓迫的自身難保，自廣西方向出動的援軍戰意不旺，始終未能突破少量日軍的阻擊線。最有戰鬥力的王耀武第24集團軍也沒有發揮出應有的水準，三路救援兵團始終沒能形成一個拳頭，在日軍不到二個師團兵力的機動防禦下進展緩慢，也可能各部均有自保心理，生怕自己也成爲衡陽守軍的一部分。正是在這樣的情況下，方先覺的第10軍可戰之兵和糧食彈藥變得愈發困難，傷員增至6000餘，其中重傷員1300多人。

方先覺和蔣經國

而日軍卻又增調了第58和第13師團主力加入衡陽攻堅戰，1944年8月4日，日軍發動了第三次總攻，衡陽守軍最後的時刻來到了，8月8日凌晨，鑑於彈盡援絕，方先覺爲保傷員免遭日軍屠殺，與日軍接洽停戰，第10軍殘部放下武器，至上午11時，持續了47天的衡陽保衛戰以這樣不算完美的方式落幕。衡陽保衛戰第10軍傷亡約11000人（內戰死5000餘人），日軍傷亡根據綜合評估僅戰死即達15000人，傷者無算，第10軍的殺傷力足可泣鬼神也，日軍戰後恐稱此戰爲“昭和的203”（日俄戰爭203高地）。

第10軍被俘官兵後來大多逃出日軍控制，然而“泰山軍”自此已經散了，軍魂不再，一支抗日勁旅就此消亡。一段時間以後重建的第10軍和抗戰勝利後以此改編的“整編第3師”，軍事主官爲黃埔四期的趙錫田，誠已不復昔日英勇，解放戰爭中居然三次被殲。