抗战时期，盘踞在胶东的伪军，十分猖狂，第一号、第二号伪司令，分别赵保原和蔡晋康，这些人经常出动伪军配合日军，下山扫荡，破坏抗日根据地。同时，他们又在国民党内有职务，一方面为日军充当汉奸，另一方面接受国民政府的援助，对我八路军根据地造成了巨大的威胁。

1941年3月，许世友任八路军胶东反投降指挥部总指挥，统一指挥胶东第五旅和五支队，经过认真研究，他决定先把盘距在胶东牙山的第二号伪司令蔡晋康给打掉，战斗方案研究完后，便召开战斗动员会。这一天是3月15日，也是许世友刚走马上任没几天，且是在胶东军区干群大会上的首次亮相，会一开始，许世友就说，太平我不来，我来不太平。我来要打仗，打仗要丧命。接着，他又激昂慷慨地说：“蒋介石制造了血腥的”皖南事变“，胶东投降派配合日军天天打我们。我们不打就没有出路，不打就不能抗战到底。我们一定要当硬骨头，坚决打出去，打垮投降派的进攻，打出胶东的新局面。”许世友一口气说占了七个“打”字，在简短的讲话里，“打、打”之声不绝于耳。会场上群情振奋，不断高呼：“配合全国克服投降内战危机！”“以反投降的胜利转变胶东局面！”“为皖南新四军遇难同志报仇！”“打到牙山去，活捉蔡晋康！”

开罢动员会，许世友指挥部队，兵分三路，合围牙山。3月15日夜晚，许世友亲自率领五旅和清河独立团，从蓬莱、栖霞边界的艾固山下，按预定方案出发东进。部队在丛林和峡谷中接近蔡晋康的驻地。中路十三团以突然动作包围了牙山西侧的大杨家，敌人一个营未及展开即被歼灭，营长被击毙。右路十四团，连克下张家、唐家泊，直逼蔡晋康的司令部所在地刁崖前、刁崖后。左路清河独立团亦包围了牙山背后的北亮口。十七日，十四团向刁崖后进击。蔡晋康见八路军来势勇猛，怯战而逃。十三团、十四团不畏疲劳当即分兵尾追，复又将敌包围在桃村。当夜发起攻击，至18日下午，蔡部大部被歼，蔡晋康负伤逃跑。清河独立团也将北亭口之敌歼来。许世友率部只用三天时间，就把胶东这个二号“伪司令”给抹掉了。

与此同时，胶东五支队主力，由昆嵛山出发向西猛进，扑向投降派“抗八联军”的左路洪彪见势不对，不战自溃，五支队顺势直下弁平城南的观水。18日，将驻观水的投降派陈煜四面包围。经数小时激战，将其大部歼灭，观水为五支队占领。这是许世友进入胶东后指挥部队进行反投降作战取得的第一个胜利。夺取牙山以后，许世友马不停蹄，挥师南下，寻歼胶东最大的投降派赵保原的主力。4月27日，和赵保原会战于榆山，赵保原遭到惨败，胶东反投降作战取得了很大胜利。许世友刚走马上任一个月，便打垮了赵保原，蔡晋康等大小十多个伪军司令，打散伪军两万余，俘虏八千多，根据地成倍扩大，大大改变了胶东战略局势。