抗戰時期，盤踞在膠東的僞軍，十分猖狂，第一號、第二號僞司令，分別趙保原和蔡晉康，這些人經常出動僞軍配合日軍，下山掃蕩，破壞抗日根據地。同時，他們又在國民黨內有職務，一方面爲日軍充當漢奸，另一方面接受國民政府的援助，對我八路軍根據地造成了巨大的威脅。

1941年3月，許世友任八路軍膠東反投降指揮部總指揮，統一指揮膠東第五旅和五支隊，經過認真研究，他決定先把盤距在膠東牙山的第二號僞司令蔡晉康給打掉，戰鬥方案研究完後，便召開戰鬥動員會。這一天是3月15日，也是許世友剛走馬上任沒幾天，且是在膠東軍區幹羣大會上的首次亮相，會一開始，許世友就說，太平我不來，我來不太平。我來要打仗，打仗要喪命。接着，他又激昂慷慨地說：“蔣介石製造了血腥的”皖南事變“，膠東投降派配合日軍天天打我們。我們不打就沒有出路，不打就不能抗戰到底。我們一定要當硬骨頭，堅決打出去，打垮投降派的進攻，打出膠東的新局面。”許世友一口氣說佔了七個“打”字，在簡短的講話裏，“打、打”之聲不絕於耳。會場上羣情振奮，不斷高呼：“配合全國克服投降內戰危機！”“以反投降的勝利轉變膠東局面！”“爲皖南新四軍遇難同志報仇！”“打到牙山去，活捉蔡晉康！”

開罷動員會，許世友指揮部隊，兵分三路，合圍牙山。3月15日夜晚，許世友親自率領五旅和清河獨立團，從蓬萊、棲霞邊界的艾固山下，按預定方案出發東進。部隊在叢林和峽谷中接近蔡晉康的駐地。中路十三團以突然動作包圍了牙山西側的大楊家，敵人一個營未及展開即被殲滅，營長被擊斃。右路十四團，連克下張家、唐家泊，直逼蔡晉康的司令部所在地刁崖前、刁崖後。左路清河獨立團亦包圍了牙山背後的北亮口。十七日，十四團向刁崖後進擊。蔡晉康見八路軍來勢勇猛，怯戰而逃。十三團、十四團不畏疲勞當即分兵尾追，復又將敵包圍在桃村。當夜發起攻擊，至18日下午，蔡部大部被殲，蔡晉康負傷逃跑。清河獨立團也將北亭口之敵殲來。許世友率部只用三天時間，就把膠東這個二號“僞司令”給抹掉了。

與此同時，膠東五支隊主力，由昆嵛山出發向西猛進，撲向投降派“抗八聯軍”的左路洪彪見勢不對，不戰自潰，五支隊順勢直下弁平城南的觀水。18日，將駐觀水的投降派陳煜四面包圍。經數小時激戰，將其大部殲滅，觀水爲五支隊佔領。這是許世友進入膠東後指揮部隊進行反投降作戰取得的第一個勝利。奪取牙山以後，許世友馬不停蹄，揮師南下，尋殲膠東最大的投降派趙保原的主力。4月27日，和趙保原會戰於榆山，趙保原遭到慘敗，膠東反投降作戰取得了很大勝利。許世友剛走馬上任一個月，便打垮了趙保原，蔡晉康等大小十多個僞軍司令，打散僞軍兩萬餘，俘虜八千多，根據地成倍擴大，大大改變了膠東戰略局勢。