1948年11月6日，华野中野两大野战军以徐州为中心，发起淮海战役，战役三个阶段，分别打掉了黄伯韬兵团、黄维兵团以及杜聿明集团，标志着国民党精锐彻底被歼灭，长江以北再也没有大的战事，而长江以南的国民党军，也大多数都是新招募的部队，战斗力并不是很强，随着渡江战役以后，各大野战军陆续南下，开始了打扫战场。

平心而论，让黄维出任12兵团司令，其实是有争议的，国民党军这一快速强大的机动兵团，胡琏出任比较有利，毕竟黄维在任兵团司令之前，已经有8年时间没有指挥过军队打仗。

黄维是黄埔一期毕业，和胡宗南、俞济时、杜聿明等都是同学，作为黄埔系的一员干将，黄维自然也受到了蒋介石的重用，1927年黄维升任第9军团长，该部是老蒋嫡系第一军分化出来的部队，是妥妥的嫡系，1928年黄维调任11师任团长，该部当时还只是一个杂牌，黄维之所以调任11师，和当时副师长有密切关系。

1928年6月，陈诚调任11师副师长，当时师长为曹万顺，陈诚调任杂牌，是奉了蒋介石的命令去改造和收编杂牌，为了将部队完全掌控，陈诚在部队中大量的安插黄埔系将领，像关麟征（时任11师团长）、李默庵、萧乾。不过相比于关麟征、李默庵后来各自建立派系以后，黄维却始终留在了11师，由此被看作是陈诚土木系早期的主要将领。

黄维陆大毕业以后，陈诚提拔他为11师61旅旅长，随着11师扩编为18军以后，黄维接着出任18军67师师长，并率部参加淞沪会战，战场上黄维率部硬拼日军精锐部队，特别是在罗店一战与日军交手，打出了中国人的气势，从抗日这一点上来说，黄维绝不逊色，甚至还有可能更出色。不过也由于伤亡惨重，黄维“书呆子”的名号也是在这一时期有的。

而更坏的地方在与黄维的脾气不怎么样，和谁也尿不到一个壶里去，和杜聿明、俞济时等这些黄埔同学基本上都有矛盾，罗卓英卸任以后，黄维曾短暂的任18军军长过，后来由于18军下辖编制太多，于是抽调了一个师连同几个杂牌重新组建的54军，考虑到将这一支部队也纳入麾下，陈诚调黄维出任54军军长。

不过很显然陈诚低估了黄维的脾气，由于此前在18军的时候，是嫡系部队，因此部队给养都是优先补充，基本上都是最好的，但调54军以后，黄维发现部队吃的大米之中居然掺着傻子，由于54军隶属第九集团军，当时集团军司令为关麟征，黄维向上反映，关麟征却见怪不怪，黄维认定是关麟征从中作梗。

因为54军任命的问题，关麟征敢直接和陈诚硬顶，把陈诚气的胃出血，就不难理解为啥黄维和关麟征都尿不到一个壶里，两人原来都是一个脾气，黄维卸任54军军长后，坐了一段时间的冷板凳，一直到抗战末期，黄维始终负责新兵招募工作，并且还筹备的青年军，由于抗日热情持续高涨，黄维征兵工作一度十分顺利，黄维也在1946年6月出任新组建的31军军长。

不过黄维并没有机会走上战场，随着内战爆发以后，前方兵员紧张，黄维又重新负责征兵工作，并创办新的军事学校，可以说自1939年离开部队以后，黄维基本上就没带兵打过仗，他自己也认为自己“久疏战阵，恐难胜任”，但被老蒋劈头盖脸一顿数说，黄维想不答应也不行，结果仅3个月，这个考虑各方势力平衡的强大兵团，就被我军“包了饺子”。