1937年7月7日，日本華北駐屯軍藉口士兵失蹤向我北平第二十九軍發起突然襲擊，儘管29軍廣大官兵奮勇還擊，佟麟閣、趙登禹兩位將軍壯烈殉國，終因寡不敵衆而後撤，平津迅速淪陷。1937年10月初，日軍已經進入山東境內，山東軍閥韓復榘在稍作抵抗後所部迅速南撤，1938年初徐州會戰結束後，山東全境淪陷。

中共山東省委積極團結各種力量，組織廣大羣衆發動武裝起義，在短短數個月時間內全省爆發了十多起武裝起義，各種抗日武裝十幾支，武裝抗日活動蓬勃發展。爲統一番號、加強戰鬥力，中共中央決定將山東各種抗日武裝整編爲八路軍山東縱隊，山東縱隊於1938年12月正式成立，張經武、王建安分別任正、副指揮，黎玉爲政治委員，參謀長王彬，全縱隊共十個支隊及蘇魯人民抗日義勇隊第一總隊等部隊，全軍2.45萬人。

八路軍山東縱隊所轄十個支隊分別爲第二、第三、第四、第五、第六、第八、第九、第十二支隊及挺進支隊、隴海南進支隊，這十個支隊的司令員分別爲劉湧、馬耀南、廖榮標、高錦純、劉海濤、馬保三、王林肯、董慕仲、李貞乾及鍾輝，其中建國後授銜將軍的則有三位，分別爲劉湧、廖容標、鍾輝。

八路軍山東縱隊第二支隊由山東人民抗日遊擊第二支隊編成，轄三個營，司令員爲劉湧，政治委員景曉村。劉湧爲江西興國人，爲參加過蘇區反圍剿及長征的紅軍老戰士，著名的瀘定橋勇士之一，抗日戰爭爆發後到山東開展武裝抗日工作，先後任山東縱隊二支隊司令、膠東軍區東海軍分區司令員等職，解放戰爭時期曾任九縱26師師長、膠東軍區副司令員、華東軍區第三十二軍副軍長兼參謀長等職。1955年，劉湧被授予少將軍銜。

八路軍山東縱隊第四支隊由山東人民抗日遊擊第四支隊編成，共轄三個團，司令員爲廖容標，政治委員林浩。廖容標是江西贛州人，1929年加入紅軍，曾參加了中央蘇區反圍剿及長征，到達陝北後曾入抗日軍政大學學習。抗日戰爭爆發後，廖容標被派往山東發展抗日武裝，組織領導了著名的黑鐵山起義，組建了山東人民抗日救國軍第5軍，後整編爲山東縱隊第四支隊，均任司令員。此後，廖容標歷任山東縱隊第1旅副旅長、第4旅旅長，第4旅旅長兼泰山軍分區司令員、山東軍區第4師師長、渤海軍區副司令員等職，1955年被授予中將軍銜。

八路軍山東縱隊隴海南進支隊由邳縣青年救國義勇軍等部改編，轄兩個營，司令員爲鍾輝。鍾輝是江西瑞金人，曾參加蘇區反圍剿及長征，抗日戰爭爆發後任鍾輝組織發起了邳縣青年救國義勇軍，改編爲隴海南進支隊後仍任司令員，後赴延安學習。解放戰爭時期，鍾輝曾任熱北軍分區司令員兼蒙漢聯軍司令員、東北野戰軍第十一縱隊161師政治委員等職，1955年被授予少將軍銜。