南京脱险后，廖耀湘赶到当时的国府行政中枢武汉。1938年初，国民政府成立了第一支机械化师200师，这支部队是当时国军装备最好的，专门在法国进修机械化作战的廖耀湘任少将参谋长。1938年9月，200师扩编为新11军，廖耀湘转任22师副师长。

1939年11月，昆仑关战役打响，这是一次中日两支钢铁部队硬碰硬的交战，当时22师划归新5军，军长杜聿明，22师师长邱清泉，包括廖耀湘在内，都在这场战役中威名远扬。

昆仑关位于广西境内，距南宁七十华里，周围群山环抱，地势险要。1939年12月4日，日军占领昆仑关，直指滇、黔，威胁陪都的安全。昆仑关日前已被日军抢占，直接威逼重庆。统帅部要求将昆仑关夺回来。同年12月18日，新5军在其他友军的配合下，向昆仑关猛攻，驻守昆仑关的是日军第五师团第二十一旅团，号称“钢军”。进攻的国军主要是200师和22师两支机械化部队，此役廖耀湘表现非常抢眼，身先士卒带领部队打冲锋。是役日军4000余人被击毙，旅团长中村正雄被击毙，战后从阵地搜索出他的日记本，中村如此记载：“帝国皇军第五师团第二十一旅，之所以在日俄战争中获得‘钢军’称号，那是因为我们的顽强战胜了俄国人的顽强。但是，在昆仑关我应该承认，我遇到了一支比俄国军队更强的军队。”剧作家田汉事后采访了廖耀湘，将其比喻成北宋名将狄青。

战后论功行赏，邱清泉任新5军副军长，廖耀湘升任22师师长。

1942年3月，廖耀湘率22师远征缅甸，配合盟军对日作战，但战局出现了逆转，英国人决定放弃缅甸，新五军西渡怒江，接应200师从同古撤退，一场血战后，回国的路已经被日军56师团堵住，廖建议军长杜聿明冲击防线，杜没有采纳，命令部队进入野人山。进山22师尚有7000余人，在野人山中损失一半以上，四个团长都死在野人山突围的途中。最后，杜聿明率军部回国，廖耀湘带领3000余人撤退到印度。新22师和先一步达到印度的孙立人的38师组成新1军，军长郑洞国。新22师在印度兰姆迦整训。1943年10月，第二次缅甸战役打响，廖耀湘率部向缅北挺进，与新38师密切配合，二进野人山，占领了胡康河谷，攻克于邦、下孟关、攻占瓦鲁班……在整个缅甸反攻战役中，新22师给日军王牌18师团毁灭性打击，歼敌20000有余，一雪1942年初年兵败野人山的耻辱。

缅北反攻胜利后，第14师和第50师空运来到缅北反攻的前线，驻印军扩为两个军，和加上新22师组成了新六军。廖耀湘任新6军军长，随后攻克八莫、南坎、芒市，打通了遍染鲜血的滇缅公路，此时，抗战已接近尾声，新6军在战火中成长为国军装备最精良、兵员素质最高的一支王牌军。

1945年4月，雪峰山战役打响。统帅部命令廖耀湘率新6军从缅北空投到芷江，作为此次战役的总预备队。尔仗，主要是74军、18军、73军、100军等兄弟部队打的。

雪峰山战役完毕不久，《美国纽约时报》发表评论说：“芷江会战胜利佳音，可视为对日战争转折之暗示。”不久，这段评论就被言中。1945年8月15日，日本天皇裕仁接受《波茨坦公告》，宣布无条件投降。

抗战胜利后，一个重要的问题是接收南京，史迪威的接任者魏德迈将军认为，日本当时很嚣张，并不认为他们失败了，到南京去受降，部队应该有一种威慑力量。当时中国部队有威慑力量是新1军和新6军，新1军还没有回国，新6军就在芷江，就在空军基地。到南京几个钟头航程就行了，应该让新6军去。 于是廖耀湘率领新6军被空运到首都，接受日军的投降。