1948年8月，國軍迫於形勢和重點防禦的需要，將整編師恢復軍的建制，並重組兵團，整編第18軍改編爲第12兵團，原整編軍長鬍璉未能擔任兵團司令，而只擔任了副司令。

這是國軍中派系博弈的結果。國軍華中總司令白崇禧是桂系首領之一，排斥屬中央軍陳誠土木系的胡璉，蔣介石不得已派人徵詢陳誠意見後，選配黃維擔任司令。黃維是黃埔一期畢業，是黃埔四期畢業的胡璉的學長，抗戰時擔任過第18軍軍長，胡璉不得不服，但心裏仍然不痛快。

10月時，胡璉的父親病危，這是個表達不滿和緩解抑鬱不得志的機會，於是胡就以探親及“牙痛”爲由，請假回家去了。不久其父病故，胡在家服喪，一直未回第12兵團。

等到黃維帶着第12兵團奉命北進增援徐州，被中野圍困在雙堆集時，蔣介石才發現胡璉不在軍中，於是急招胡璉到南京。胡獻計集中兵力決戰後，鑑於以往多次防守成功的經驗，認爲解放軍還一下子喫不掉第12兵團，向蔣表決心，說願去雙堆集協助黃維，堅決防守，等待援兵到達，希望蔣多派飛機空投糧彈。蔣對胡很是嘉許，並滿口答應胡關於空投糧彈的要求，隨後胡於11月28日坐飛機飛抵雙堆集戰場。

應該說這個時候胡璉還是信心滿滿的，畢竟他此前有過幾次防守成功的經驗，但他錯估了形勢，因爲解放軍已經定下了戰略決戰的決心，想在淮海戰役中抑留國軍主力在江北，逐次削弱和消滅，而且動員了三大戰區兩大野戰軍的人力物力和資源。所謂知己知彼百戰不殆，不能知彼，僅靠經驗固守待援，是第12兵團覆滅的主要原因。

到了雙堆集，胡璉與黃維商議的事，一直都是如何固守，等待援軍到達。這個時候，國軍獲得的美援裝備已經消耗過多，所剩無幾，因爲東北、濟南和黃百韜兵團的失利，大量的武器資材都失去了，美國又拒絕再次援助，所以空投是越來越少，固守已經形同坐以待斃。

不得已，黃維與胡璉商議，派他去南京向蔣介石彙報實際情況，並請求李延年兵團及空軍等配合，以實施突圍。同時，黃維還建議胡璉不要再回來了，即使第12兵團有什麼閃失，胡璉還可以善後，以待東山再起。

蔣介石見到胡璉後，答應說可以突圍，但要他們不要管杜聿明，也不要指望李延年，並讓胡璉再次回去維持部隊，這說明蔣介石此時已經方寸大亂，沒了整體策略，只剩下疲於應付到處堵漏了。

胡璉第二次坐飛機回到雙堆集，傳達蔣的指示後，大家都覺得莫名其妙，因爲沒有配合的自行突圍，無異於立即垮臺，而且會讓杜聿明也跟着垮臺，於是要求空軍配合突圍，不然則堅持固守，打一天算一天。

隨着情況一天天惡化，黃維等人決定固守待援是死路，於是動了突圍的心思。但突圍光靠自身是很難的，畢竟周圍解放軍的防禦陣地層層疊疊難以突破，所以黃維和胡璉就起了歹心，要求蔣介石動用空軍投擲凝固汽油彈，進行大規模轟炸，在規定的時間和區域形成火海，以掩護突圍。

蔣介石沒有動用凝固汽油彈，卻批准動用毒氣彈，隨後空投親筆信給黃維，並空投下毒氣彈轟炸、使用和防護說明。毒氣彈又分甲種彈（糜爛性）和乙種彈（窒息性），蔣介石原擬要求空投甲種彈，因被國際公約嚴格禁止，後安排空投幾十箱數百顆乙種彈（也違反國際公約，但傷害性相對低）。

因爲國際公約禁止使用毒氣彈，黃維和胡璉就祕密進行準備，只和他們的參謀長及各軍軍長研究使用辦法，然後安排進行發射訓練。後來在遇到解放軍攻擊猛烈難以抵抗時，就發射毒氣彈阻擊，一開始取得了阻擊效果。

後來解放軍做了些防範措施，國軍再發射毒氣彈也不太管用了，阻止不了解放軍的進攻。第12兵團支撐到12月14日下午，在大王莊和尖谷堆等防禦陣地丟失後，兵團部已經直接受到解放軍的攻擊，大勢已去，黃維和胡璉躲在掩蔽部裏一籌莫展。

盤桓了一天後，黃維和胡璉想出的突圍辦法，還是空軍配合下進行突圍。他們先是致電蔣介石和空軍總部，要求務必於15日配合實施突圍計劃，而擬定的計劃是“四面開弓、全線反撲、覓縫鑽隙、衝出重圍”，這實際上是四散逃命。各部隊主官還要了大量安眠藥，準備突圍不成被俘時吞食自殺。

但空軍副總司令王叔銘飛到雙堆集上空，與黃維通話說無法照他們計劃實施，黃維只好決定自己斷然處置，也就是在沒有空中支援的情況下強行突圍。

黃維和胡璉找來第10軍軍長覃道善和第18軍軍長楊伯濤，說明突圍計劃，規定各部隊於黃昏後開始突圍。因判斷解放軍兵力主要集中在南面和東南面，以防止第12兵團向蚌埠突圍，故黃維選擇西北面爲主要突圍方向，突出去後繞個圈子，再向南奔往蚌埠。突圍前，黃維和胡璉命令將所有能攜帶的武器人手一支，不能帶走的重型武器一律破壞，由此可見他們骨子裏還是終於蔣介石的，屬於比較頑固的，黃維後來最晚被特赦，也是這個原因。

到下午四時，因戰車營停車場遭到解放軍炮擊，有的戰車紛紛移動躲避，引起各部隊以爲突圍開始的誤會，於是爭先逃命。

黃維和胡璉各自鑽進一輛坦克，命令第11師和戰車隊突圍。第11師在戰車配合下，打開了一個缺口，黃維和胡璉的戰車都衝了出去。途中黃維的戰車出了故障，只好下車夾在亂兵中逃跑，後被解放軍俘虜。

隨後乘車跟進的第85軍軍長吳紹周，則因爲黃胡兩人的坦克把玉皇廟渡口的浮橋壓壞，無法通過，便索性停下來束手就擒，因爲他的部隊此前大部分都起義或投降了，已成光桿司令。

胡璉則幸運多了，他乘坐的坦克是指揮車，有地圖和指北針，而且繞道向南飛馳時，路上行進的解放軍和民兵還以爲是自己人在試車，紛紛避讓，胡璉等人一口氣奔至渦河岸邊，下車後被解放軍發現受到攻擊，背部負傷，但仍乘船渡過了渦河，隨後乘坐一輛牛車趕往蚌埠。

在蚌埠橋頭，胡璉遇到了剛出發準備去增援的第20軍，聽說是去解圍，胡璉說部隊都搞光了，讓他們不要去了。

隨後胡璉去上海治傷，竟無大礙。幾天後蒙蔣介石在南京召見，胡璉說了一番很牛氣的話，說解放軍華野和中野的將領中，也就劉伯承和陳毅能和他比，其他的如粟裕、陳士渠、許世友、楊勇、陳錫聯、陳再道、王必成、葉飛等都不是他的對手。

部隊丟個精光，尚且如此牛氣的，也就胡璉了，而且胡璉不知道的是，華野一直是粟裕在負責戰役指揮，此時也是他統帥華野作戰，只是因爲陳毅仍然兼着華野司令和政委，對外透漏的信息也是如此，所以國軍仍然把華野稱爲陳毅部，殊不知陳毅早在半年前就去中野就任副司令並負責軍區日常工作了。要是胡璉早知道這情況，也就不會說怕陳毅而不怕粟裕了。

蔣甚爲嘉許，命令胡璉擔任第二編練司令部司令，下野前用手令指示國府國防部給胡璉劃撥可裝備三個軍的美援武器，胡璉則收集到殘兵八千多人，後用美援裝備重組了三個軍，並將第二編練司令部改爲第12兵團，胡璉擔任第12兵團司令。他也是國軍五大主力指揮官裏唯一一個最晚擔任兵團司令的，也是最幸運的一個。