當地時間2月24日,Meta公司發佈一款新的人工智能大型語言模型LLaMA,加入微軟谷歌等硅谷公司的競賽。

Meta首席執行官扎克伯格在Instagram表示,LLaMA模型旨在幫助研究人員推進工作,在生成文本、對話、總結書面材料、證明數學定理或預測蛋白質結構等更復雜的任務方面“有很大的前景”。

根據Meta官網發佈的論文,LLaMA目前包含70億、130億、330億和650億這4種參數規模的模型。其中,參數規模最小的LLaMA 7B也經過了超1萬億個tokens的訓練。Meta表示,在大多數基準測試中,參數僅爲十分之一的LLaMA-13B的性能優於OpenAI推出的GPT3(175B),也即支持ChatGPT的GPT3.5的前身。LLaMA-65B也可與業內領先的Chinchilla-70B和PaLM-540B競爭。

Meta在去年5月曾推出一款面向研究人員的名爲OPT-175B的大型語言模型,去年年底還發布過另一款模型Galactica,但後者被發現經常分享有偏見或不準確的信息,在48小時內被迅速下架。

相關文章