ASRU2019中英混雜語音識別挑戰賽最終結果近日出爐，憑藉語音識別系統建設的積累及針對Transformer網絡的優化，網易杭州研究院（簡稱網易杭研）團隊在端到端語音識別賽道奪得冠軍。網易杭研人工智能部語音算法專家劉東認爲，這表明網易杭研在基於端到端框架的中英混雜語音識別領域達到業界領先水平，網易業務發展再獲AI新動能。

ASRU2019中英混雜語音識別挑戰賽由數據堂、西北工業大學和中國計算機學會聯合主辦，旨在促進國內外語種混雜語音識別領域的研究，獲獎團隊將參加2019年12月新加坡ASRU2019會議（語音和語言領域的旗艦技術活動）的頒獎與技術交流活動。比賽吸引了國內及新加坡近40個團隊參加，其中包括很多語音識別技術聲名在外的企業和高校。

數據驅動破語種混雜難題，網易杭研端到端識別奪冠

人類實際日常交流中經常會有中文語境下英文單詞夾雜的現象，這在學術上稱爲語種混雜（Code-switch），是當前語音識別技術面臨的重要挑戰之一。其技術難點主要表現爲：嵌入語受主體語影響形成的非母語口音現象嚴重、不同語言音素構成之間的差異給混合聲學建模帶來巨大困難、帶標註的混合語音訓練數據極其稀缺。

劉東介紹，傳統語音算法在不同語種識別基礎建模單元上，語言學信息是不一樣的，如漢語是基於拼音的聲母韻母、英語則是英文的音素，這種技術架構對指定語種的語言學知識依賴較大，也難以擴展到多語種識別。網易杭研智能語音團隊近期重點研發的端到端語音識別系統，用統一的網絡進行建模，不需要人工進行建模單元選擇與發音詞典編輯等工作，更多依賴於數據而非語言學信息。

網易杭研採用基於注意力（Attention）機制的Transformer網絡結構，並做了各種細節優化，如引入多任務學習機制(multi-task learning)，在編碼端加入CTC準則，在解碼端加入逐字的語種判別準則，以及訓練數據的頻譜加噪、大batch訓練、學習率調整等，突破了各種技術挑戰，在端到端語音識別賽道提供的數據集上實現了5.91%的綜合錯誤率（Mix Error Rate），從28個團隊中脫穎而出，成績大幅領先第二名（8.82%）。

數據驅動的技術路線也意味着對數據和計算的更高需求，如以前需要幾千數據跑出的結果，現在可能需要幾萬數據。得益於團隊在底層平臺優化方面的積累，包括分佈式訓練框架和推理引擎，都有比較成熟的方案，這並未對網易杭研造成困擾。“底層平臺優化靠的是長期的積累，這對網易集團降低智能語音應用成本至關重要。”劉東說，生產級語音識別系統的建設，需要團隊既懂網絡架構，又懂底層優化。

端到端識別將迎大規模應用，助力業務國際化

網易杭研發力端到端語音識別的目標，是打破傳統技術侷限，實現一套易於擴展的語音識別系統，能夠快速識別各種各樣的語種，滿足網易業務發展尤其是國際化的需求。例如，一些全球同服的遊戲，用戶語音轉換文字時，會同時有中英日韓多種語言需要支持；語音翻譯應用，目前需要先選擇語種再說話，實際應用中容易選錯導致無法識別……這些實際的業務場景，都在呼喚多語種混合識別系統的誕生、成熟。

端到端語音識別系統能夠減少對語言學知識的依賴，突破語種支持的限制，將現有成果很快遷移到其他語言上，成爲了網易杭研的選擇。此次端到端語音識別賽道的設置，正好可以檢驗團隊的階段成果。也正因爲如此，網易杭研只參加了第三賽道的比賽。但結果讓團隊感到滿意。劉東表示，算法層面，杭研中英混合識別在基礎框架研發、調優已經基本完成，系統正在逐步完善和優化之中，目前已有業務在測試。當然，要實現大規模應用還有一些細節需要優化，包括針對一些特定場景的數據收集、模型微調等，這需要在業務實踐中調整。

未來數字化經濟的發展要從拼本土走到拼世界，網易遊戲、教育等業務已在國際化探索方面取得初步進展，網易杭研的這項創新技術，預計將成爲網易發展的一個重要助力。

據悉，網易杭研語音識別服務自2014年首次上線以來，多年來已爲遊戲、教育、音樂、傳媒、企業服務領域的多個業務提供持續穩定的服務支持，在通用領域的識別準確率達到95%以上，尤其在電商、電話客服等領域，經過針對性的定製優化，識別性能達到行業領先水平。在業務方組織的各項對比測試中，綜合性能比肩甚至超過行業標杆企業。