1948年11月6日，華野中野兩大野戰軍以徐州爲中心，發起淮海戰役，戰役三個階段，分別打掉了黃伯韜兵團、黃維兵團以及杜聿明集團，標誌着國民黨精銳徹底被殲滅，長江以北再也沒有大的戰事，而長江以南的國民黨軍，也大多數都是新招募的部隊，戰鬥力並不是很強，隨着渡江戰役以後，各大野戰軍陸續南下，開始了打掃戰場。

平心而論，讓黃維出任12兵團司令，其實是有爭議的，國民黨軍這一快速強大的機動兵團，胡璉出任比較有利，畢竟黃維在任兵團司令之前，已經有8年時間沒有指揮過軍隊打仗。

黃維是黃埔一期畢業，和胡宗南、俞濟時、杜聿明等都是同學，作爲黃埔系的一員干將，黃維自然也受到了蔣介石的重用，1927年黃維升任第9軍團長，該部是老蔣嫡系第一軍分化出來的部隊，是妥妥的嫡系，1928年黃維調任11師任團長，該部當時還只是一個雜牌，黃維之所以調任11師，和當時副師長有密切關係。

1928年6月，陳誠調任11師副師長，當時師長爲曹萬順，陳誠調任雜牌，是奉了蔣介石的命令去改造和收編雜牌，爲了將部隊完全掌控，陳誠在部隊中大量的安插黃埔系將領，像關麟徵（時任11師團長）、李默庵、蕭乾。不過相比於關麟徵、李默庵後來各自建立派系以後，黃維卻始終留在了11師，由此被看作是陳誠土木系早期的主要將領。

黃維陸大畢業以後，陳誠提拔他爲11師61旅旅長，隨着11師擴編爲18軍以後，黃維接着出任18軍67師師長，並率部參加淞滬會戰，戰場上黃維率部硬拼日軍精銳部隊，特別是在羅店一戰與日軍交手，打出了中國人的氣勢，從抗日這一點上來說，黃維絕不遜色，甚至還有可能更出色。不過也由於傷亡慘重，黃維“書呆子”的名號也是在這一時期有的。

而更壞的地方在與黃維的脾氣不怎麼樣，和誰也尿不到一個壺裏去，和杜聿明、俞濟時等這些黃埔同學基本上都有矛盾，羅卓英卸任以後，黃維曾短暫的任18軍軍長過，後來由於18軍下轄編制太多，於是抽調了一個師連同幾個雜牌重新組建的54軍，考慮到將這一支部隊也納入麾下，陳誠調黃維出任54軍軍長。

不過很顯然陳誠低估了黃維的脾氣，由於此前在18軍的時候，是嫡系部隊，因此部隊給養都是優先補充，基本上都是最好的，但調54軍以後，黃維發現部隊喫的大米之中居然摻着傻子，由於54軍隸屬第九集團軍，當時集團軍司令爲關麟徵，黃維向上反映，關麟徵卻見怪不怪，黃維認定是關麟徵從中作梗。

因爲54軍任命的問題，關麟徵敢直接和陳誠硬頂，把陳誠氣的胃出血，就不難理解爲啥黃維和關麟徵都尿不到一個壺裏，兩人原來都是一個脾氣，黃維卸任54軍軍長後，坐了一段時間的冷板凳，一直到抗戰末期，黃維始終負責新兵招募工作，並且還籌備的青年軍，由於抗日熱情持續高漲，黃維徵兵工作一度十分順利，黃維也在1946年6月出任新組建的31軍軍長。

不過黃維並沒有機會走上戰場，隨着內戰爆發以後，前方兵員緊張，黃維又重新負責徵兵工作，並創辦新的軍事學校，可以說自1939年離開部隊以後，黃維基本上就沒帶兵打過仗，他自己也認爲自己“久疏戰陣，恐難勝任”，但被老蔣劈頭蓋臉一頓數說，黃維想不答應也不行，結果僅3個月，這個考慮各方勢力平衡的強大兵團，就被我軍“包了餃子”。