ERNIE 2.0模型結構

【網易智能訊7月31日消息】今天，百度宣佈ERNIE升級到了2.0版本，據介紹，繼1.0後，ERNIE英文任務在共計16箇中英文任務上超過了BERT和XLNet, 取得了SOTA效果。

據瞭解，該框架支持增量引入詞彙(lexical)、語法 (syntactic) 、語義 (semantic) 等3個層次的自定義預訓練任務，能夠捕捉訓練語料中的詞法、語法、語義等潛在信息。這些任務通過多任務學習對模型進行訓練更新，每當引入新任務時，該框架可在學習該任務的同時，不遺忘之前學到過的信息。這也意味着，該框架可以通過持續構建訓練包含詞法、句法、語義等預訓練任務，持續提升模型效果。

目前，百度ERNIE 2.0的Fine-tuning代碼和英文預訓練模型已開源。（定西）