在開國將領中，十幾歲投身革命到比比皆是，但從小受父親影響走上革命道路的不多見，但鄭維山就是其中之一。他在紅軍時，經歷過失利，曾乞討回到延安，12年後滅掉讓他失利的馬家軍，又成爲傅作義的剋星。

鄭維山，是大別山走出來的將領，早年他父親也是一位革命者，在其影響下走上了革命道路，黃麻起義是他12歲，並擔任了兒童團隊長、赤衛隊副指導員。直到15歲，他帶領70多人蔘加了鄂豫皖的紅四方面軍。

鄭維山加入紅軍主力後，他很幸運成徐向前的傳令兵，在徐的影響下鄭維山進步很快，不久升爲了班長、連指導員，參加了三次反圍剿戰鬥。第四次反圍剿，紅四方面軍西撤川陝，由於鄭維山作戰勇敢，同一年內升爲了團政委、師政委。此時，他在18歲。

在川陝地區，他打了與川軍較量打了多次打勝仗。在1936年是鄭維山最艱難的一年，他率部接應紅二方面軍，爬了三次雪山、過了三次草地。在幾個方面軍會師後，紅四方面軍被改編爲西路軍出征，中途遇到馬步芳的馬家軍襲擾，造成西路軍失利，鄭維山是少數死裏逃生的指揮員。

他在負傷後，在老鄉的救治下躲過了馬家軍，等傷病好一些後，去陝北尋找大部隊。他一路乞討，按下決心一定爲死去的戰友報仇。

抵達延安後，他先在抗大任教。抗戰爆發後，他抗大分校副校長、團長、軍分區副司令等職；解放時期，他人晉察冀野戰軍縱隊司令，在清風店戰役取得了殲敵1.7萬人，又首開解放大城市石家莊的先例。

1948年1月，他與傅作義賴以起家的35軍交戰，在誘敵之下，滅掉35軍一個師7000餘人，氣得傅作義揚言報此仇。同年11月張家口戰役時，鄭維山再次把傅作義35軍包圍在新保安，最終導致35軍全軍覆沒。

1949年，鄭維山3縱被改編爲63軍開赴大西北與兄弟部隊解放太原、蘭州等大城市。在蘭州戰役時，他面對的是馬步芳的馬家軍，曾經西路軍的仇敵。在此次作戰時，馬步芳的主力被全殲，唯一讓馬步芳逃走，留下遺憾。但他也告慰了西路軍犧牲的戰役。

新中國成立後，他被派往朝鮮作戰，擔任兵團副司令、代司令等職，指揮了金城戰役。1952年他被評爲副兵團級，被授予中將，是一位能文能武的戰將。