元至元十一年十二月，荆湖行省左丞相伯颜率军攻占鄂州(今武汉武昌)后(参见鄂州之战)，命右丞阿里海牙领兵4万戍鄂州，自率主力沿江东进。因荆湖地区多数州县未下，郢州(今湖北钟祥)即成为鄂州的隐患。至元十二年春，忽必烈命安抚使贾居贞为签书行中书省事，协助阿里海牙戍鄂，并不断为其增兵，加强防御力量。先后遣伯术、唐永坚等人四次持诏书谕降，虽然都统制张世杰已率军一万赴临安(今杭州)勤王，守城将士仍未应。阿里海牙与贾居贞商议，郢州不降皆因有江陵(今属湖北)、岳州为依托。江陵屯有重兵，若不乘隙先取，迨春水涨，恐为宋军所图。遂报请忽必烈批准，贾居贞留戍鄂州，阿里海牙率军西进。时宋湖北安抚副使兼知岳州高世杰奉京湖四川安抚使朱祀孙之命，集郢、复(今湖北天门)、岳三州以及上流诸军战船1600艘，兵2万人，扼守荆江口，准备袭击鄂州。三月二十一日，阿里海牙率军至荆江口，屯军于东岸。夜半，高世杰率军遁去。次日黎明，宋军战船于洞庭湖口成列而阵。阿里海牙命水军万户张荣实捣其中坚，水军万户解汝楫率舟师从左右两翼进击，宋军溃败，高世杰败走，元军追至桃花滩(一说夹滩)，遣郎中张鼎新召之，高世杰乃降。约半数溃卒在都统密佑、刘俊带领下退往江西。阿里海牙以高世杰力屈始降，仍斩之。以枪揭其首招降岳州，总制盂之绍惧，举城降。二十七日，阿里海牙遣山东经略使王俨戍岳州。

此战，阿里海牙不失时机地主动出击，指挥果断，迅速占领岳州，为攻占江陵奠定了基础。