來源： 潮新聞

當地時間3月17日，特斯拉首席執行官（CEO）馬斯克的AI創企xAI正式發佈3140億參數的混合專家模型Grok-1。xAI官方網站稱，其遵照Apache 2.0協議開放模型權重和架構。

3月17日，馬斯克宣佈開源Grok-1，這使得Grok-1成爲當前參數量最大的開源大語言模型，擁有3140億參數，遠超OpenAI GPT-3.5的1750億。

馬斯克硬剛OpenAI

大模型開源與否，馬斯克與OpenAI可謂針鋒相對。

最近，馬斯克一紙訴狀將OpenAI告上法庭，指責其放棄了“創始協議”；但OpenAI則指出馬斯克是在捏造事實，目的是爲了“促進他自己的商業利益”。

在開源和非盈利的問題上，雙方吵得不可開交。很快，馬斯克便宣佈了要開源Grok大模型，並宣稱“OpenAI是一個謊言。”

Grok在宣佈開源之後，ChatGPT賬戶評論說，“偷了我的整個笑話”。

3月17日，馬斯克則在社交平臺上對OpenAI進行了嘲諷：“告訴我們更多關於OpenAI開放部分的信息。”

據悉，Grok-1是一個混合專家（Mixture-of-Experts，MOE）大模型，由馬斯克旗下的AI創企xAI在過去4個月裏開發。

早在2023年11月，xAI官網發佈文章，公佈了Grok的詳細進展。

文章稱，Grok是一款仿照《銀河系漫遊指南》設計的AI，幾乎可以回答任何問題，它甚至可以建議要問什麼問題。“Grok回答問題時略帶機智和叛逆，所以如果你討厭幽默，請不要使用它”。

現在，xAI遵守Apache 2.0許可證來開源Grok-1的權重和架構。Apache 2.0許可證允許用戶自由地使用、修改和分發軟件，無論是個人還是商業用途。

記者注意到，在代碼開放平臺GitHub，開源幾小時後，Grok已經攬獲9600星標，熱度還在持續增加。

社交網絡上，不少人支持大模型開源，開源之後，意味着它允許用戶自由地使用、修改和分發軟件，無論是個人還是商業用途。許多人認爲，這種開放性鼓勵了更廣泛的研究和應用開發。

迭代更快速可回答尖銳問題

按照xAI此前介紹，Grok-1將作爲Grok背後的引擎，用於自然語言處理任務，包括問答、信息檢索、創意寫作和編碼輔助。未來，長上下文的理解與檢索、多模態能力都是該模型將會探索的方向之一。

官方介紹還說，Grok的一個獨特且基本的優勢是，它可以通過X平臺實時瞭解世界。它還將回答被其它大多數AI系統拒絕的尖銳問題。

當然，Grok仍然是一個非常早期的測試版產品，是“我們在數月的訓練中所能做到的最好產品，期望在您的幫助下每週都能快速改進”。

在研發的四個月中，Grok-1經歷了多次迭代。“宣佈創立xAI後，我們訓練了一個330億參數的LLM原型（Grok-0）。這個早期模型在標準LM測試基準上接近LLaMA 2（70B）的能力，但只使用了一半的訓練資源。在過去兩個月裏，我們在模型的推理和編碼能力方面取得了顯著進步，Grok-1終於誕生。”

據介紹稱，這是一款功能更爲強大的SOTA語言模型，在HumanEval編碼任務中達到了63.2%，在MMLU中達到了73%。

爲了瞭解對Grok-1所做的性能改進，xAI使用了一些旨在衡量數學和推理能力的標準機器學習基準，對其進行一系列評估。

在這些基準測試中，Grok-1顯示出了強勁的性能，超過了其計算類別中的所有其它模型，包括ChatGPT-3.5和Inflection-1。只有使用大量訓練數據和計算資源訓練的模型，例如GPT-4，才能超越它。“這展示了我們在高效訓練LLM方面取得的快速進展”。

同時，官方介紹也指出，由於這些基準可以在網上找到，並且他們不能排除模型無意中進行了相應的訓練。因此，他們在收集完數據集之後，根據去年5月底公佈的2023年匈牙利全國高中數學期末考試題，對他們的模型（以及Claude-2和GPT-4模型）進行了人工評分。結果，Grok以C級（59%）通過考試，Claude-2也取得了類似的成績（55%），而GPT-4則以68%的成績獲得了B級。文章稱，他們沒有爲應對這個考試而特別準備或調整模型。

責任編輯：於健 SF069