就在剛剛,文心大模型 4.0 版本正式發佈!

北京首鋼園現場,李彥宏直接放話:

話不多說,一起來看現場演示效果。

先來段倒裝 prompt:

不僅關鍵信息“北京工作”放在了最後,公積金具體是在哪裏交的也沒有明示。

但新版文心一言完全沒有被這些小陷阱坑到,順利給出了正確答案。

生成方面,當場剪出一整段數字人口播視頻,毫不費勁:

解起數學題來也得心應手,可以說是家長輔導作業神器了(doge)。

新版文心一言還現場寫起了武俠小說,即使持續添加人物角色、增加戲劇衝突,也不會出現記憶混亂、前言不搭後語的情況:

如此表現,着實是讓現場觀衆 high 了一把。

文心大模型 4.0 相關話題,也立刻被國內外網友們熱議起來。

據現場介紹,相比線上 3.5 版本的文心一言,文心大模型 4.0 進步明顯:僅 9 月啓動小流量測試這過去的一個月,就又提升了 30%。

那麼,問題來了:文心大模型 4.0 真有這麼好?具體與 GPT-4 相差幾何?

目前,文心大模型 4.0 已經開啓邀測,量子位也在第一時間拿到了測試資格。

我們直接實測走起。

獲得測試資格後,切換到文心大模型 4.0,就可以開始玩耍了。

相比文心大模型 3.5 剛出來的時候,文心大模型 4.0 現在已經進化出了更多功能,光是插件就有 8 個,包括一鏡流影(文字轉視頻)、說圖解畫(看圖說話)、E 言易圖(可視化數據分析)等。

這些插件還可以自由組合,來完成更復雜的任務。

百度在世界大會現場,重點演示的還是文心大模型 4.0 的圖文創作、數理邏輯推理等實用功能。那我們還是老樣子,從更基礎的角度出發,測測它的四大“基本功”——

理解、生成、邏輯和記憶能力。

理解能力,尤其是中文理解能力

第一波,先來看看文心大模型 4.0 的理解能力。

這裏我們主要考考它應對“語言陷阱”的能力,以及網絡段子的“識別力”。

先來個中文十級能力測試題,考考大模型究竟懂不懂“真的假的”是什麼意思。

文心大模型 4.0 的回答很簡潔,直接給出答案。

GPT-4 則要每一句話都仔細分析句意,最後再給出回答:

雖然更仔細,但總感覺有點像是在認真做中文測試的歪果仁(doge)。

再來上點難度,“小偷偷偷偷東西”。

文心大模型 4.0 很快拆解出了“小偷”、“偷偷”和“偷東西”三個詞,get 到了這句話的意思:

不過,GPT-4 反而一頭“栽”進了這個陷阱中,以爲中間的兩個“偷”也是動詞,最後還漏了一個偷……

考查完語言陷阱後,再來看看雙方對網絡段子的理解。

針對“哪李貴了”這個本土梗,文心大模型 4.0 很快給出了答案,人物事件都直觀:

GPT-4 如果沒有開搜索,會 get 不到 2022 年 1 月之後的梗:

但如果打開搜索,很快也能“與時俱進”,給出這個問題的答案:

同理,我們也試了試從國外傳入國內的梗。

文心大模型 4.0 和 GPT-4 都能回答出來,文心大模型 4.0 更概要一些,GPT-4 則是直接搬運了一套百科(更詳細,但 tokens 也更貴💰……):

網絡段子測評看下來,文心大模型 4.0 和加了搜索的 GPT-4 可以說是各有千秋。

多模態生成能力

那麼接下來這波,就要考驗當下最受關注的大模型多模態生成能力了。

先來試試圖像生成能力,順便考查一下對古詩“孤舟蓑笠翁,獨釣寒江雪”的理解。

文心大模型 4.0 很快給出了 4 張圖像,風格和基本意境都比較符合:

GPT-4 也利用 DALL・E 3 畫出了 4 幅畫,同樣畫風各異:

這一次雙方打了個平手。

那麼視頻生成呢?這裏我們調用一下文心大模型 4.0 的自帶插件,本想着只是生成一段落葉剪輯,沒想到連文案和字幕語音都配好了,完成度很高那種:

GPT-4 本體目前還不支持生成視頻,需要藉助外部插件(如 Capcut)實現這一功能。

邏輯能力

然後,就到了我們喜聞樂見的數學計算 + 邏輯推理能力測試了。

文心大模型 4.0 說是重點升級了數學計算能力,我們也不客氣,直接上難倒一片大模型的 Old McDonald 問題:

文心大模型 4.0 一口氣列出了 4 個未知數(doge),但解題過程還是比較嚴謹的,最終答案也沒有問題。

此前,我們曾將這個問題餵給 Claude、ChatGPT 等一衆大模型,“橫向評測”過一波它們的數學能力,當時只有 GPT-4 能做出來。

接下來,直接上弱智 benchmark,考考邏輯推理能力。

第一個問題,文心大模型 4.0 和 GPT-4 都很快給出了正確答案:

第二個問題,雙方的回答也很快,文心大模型 4.0 還順口給出了“七分海洋三分陸地”的地理題背誦口訣:

看起來雙方的數學、邏輯都不錯,點個贊。

記憶能力

大語言模型公認的評判標準之一,是多輪對話能力。GPT-4 的多輪對話已經有不少測試了,我們再來簡單看看文心大模型 4.0 的效果。

先來解讀一下長論文,沒什麼問題:

以這個爲主題寫一首詩歌,順便讓它改成英文,也能 hold 住:

試試讓它改得押韻一點,no problem:

最後再來提問一下詩歌中用到的 Transformer 知識點,並挑出其中的某個知識點要求解釋原理,也信手拈來:

另外,試着將上文中的知識點用“它”代替,文心大模型 4.0 同樣能承接上文的對話,並給出相關知識回答。

看來無論是長文本解讀、還是多輪對話,可以說都是難不倒文心大模型 4.0 了。

附加題

正經測試完畢,咱們最後整點樂子(doge)。

這段時間,一道神奇的考題又被拎出來,在小紅書等社交媒體上“難倒衆人”,題面是這樣的:

乍一眼還真看不出答案,不如交給文心大模型 4.0 和 GPT-4 回答試試。

文心大模型 4.0 給出的回答算是有理有據,雖然細看仍有一點 bug,但整體問題不大。

然而當我們將這個問題拋給 GPT-4 的時候,它先是停頓了好一會,然後直接被“急出母語”(doge)

翻譯一下大概就是,GPT-4 認爲 D 選項是正確的……

我們再嘗試一遍。這次 GPT-4 倒是用中文回答了,只不過好像開始打起了太極,對於每一個選項,它的回答都是:

測到這裏,不妨做個小小的總結:

整體來看,與 GPT-4 相比,文心大模型 4.0 在綜合能力上確實不落下風,尤其是在中文理解能力和通用知識能力上甚至更好。

那麼,這樣的大模型究竟是怎麼煉成的呢?

先來看看文心大模型 4.0 的“自進化”程度。

據百度 CTO 王海峯介紹,大模型表現出的創作、編程、解題、規劃等能力,實際上都依賴於背後的 4 大核心基礎能力 ——

理解、生成、邏輯和記憶能力。

相比 3.5 版本,文心大模型 4.0 的 4 大基礎能力均有了不少提升,而提升最大的,又要屬邏輯和記憶能力。

其中,邏輯的提升幅度達到了理解的近 3 倍,而記憶的提升幅度則達到了理解的 2 倍多:

以大模型寫代碼爲例。

目前,百度的不少員工已經用上了大模型寫代碼應用 Comate,平均代碼採納率達到 40%,高頻用戶達到 60%。

甚至現在百度每天新增的代碼中,20% 都是靠 Comate 生成的,比例還在不斷增加。

所以,文心一言背後的文心大模型 4.0,究竟是怎麼煉成的?

據王海峯表示,核心架構雖然還是從文心大模型 3.0 和 3.5 一脈相承,包括最初 3.0 的有監督精調、基於人類反饋的強化學習,以及 3.5 的知識點增強、邏輯推理增強、插件機制等。

但文心大模型 4.0 的技術改進,可以直接用三個“更”來總結:

訓練上,目前飛槳平臺已經能在萬卡算力上運行,基於集羣基礎設施、調度系統、軟硬件協同優化,支持大規模穩定高效訓練;同時,基於可再生訓練技術中的增量式參數調優,來節省訓練資源和時間。

基於這套技術,自 3 月份以來,文心大模型系列訓練算法已經累計提效 3.6 倍,周均訓練穩定有效率超過 98%:

數據上,團隊建設了一套多維數據體系,從數據挖掘、分析、合成標註和到評估,形成了一整套“流水線”,來進一步提升模型訓練效果。

算法上,則基於有監督、精調、偏好學習和強化學習等技術,進行了多階段的對齊,確保大模型能更好地與人類判斷和選擇進行對齊。

在這其中,有兩方面很關鍵的技術細節。

一方面是知識點增強的能力。

過去大模型可能只在一個階段做知識點增強,但現在百度在輸入和輸出兩方面同時進行了知識點增強。

輸入先用知識點增強,對用戶輸入的問題進行理解,拆解出回答問題所需知識點,基於搜索引擎、知識圖譜、數據庫查找知識,生成第一遍結果;

輸出再用知識點增強,對第一遍生成的結果進行分析,並用搜索引擎、知識圖譜、數據庫進行“double check”,對其中有差錯的地方進行修正。

另一方面是智能體機制。

《思考,快與慢》這本書中,將認知系統分成系統 1(反應快但易出錯)、系統 2(反應慢但更理性準確)。

根據這個原理,百度在大模型基礎上,進一步研製了系統 2。

也就是說,相比大模型直接給出答案,現在進一步讓它學會理解、規劃、反思和進化,這樣大模型執行就能更可靠、甚至完成自我進化,思考過程“白盒化”。

這兩大技術細節,也造就了文心大模型 4.0 水平的飛速提升,甚至光是過去一個月的時間裏,就提升了 30%。

這樣的技術,也讓文心大模型 4.0 的用戶和開發者人數增長得飛快。

截至目前,文心一言用戶規模已經達到 4500 萬人,開發者達到 5.4 萬人,遍佈 4300 多個使用場景,應用數量達到 825 個,並接入了超過 500 個插件。

而在技術之外,更值得關注的是,百度世界大會上透露出的信息顯示,文心大模型 4.0 已經全面重構了百度的搜索、GBI、文庫、網盤、地圖等數十款應用。

爲什麼這麼說?李彥宏在百度世界大會現場分享時強調:

無獨有偶,紅杉資本在《生成式 AI 進入第二階段》中同樣認爲,生成式 AI 市場正在進入“第二幕”:

底層的邏輯其實很簡單:底層技術的重要性毋庸置疑,但前沿技術想要真正在人們的生活中創造價值,還是需要通過應用的形式。

如果說,大模型掀起的是人機交互方式變革的風暴,那麼 AI 原生應用,正是純自然語言交互的具體體現形式。

正如百度現場所演示的,數據分析現在可以是醬嬸的 ——

直接對任意數據提問,AI 分分鐘就能展開具體分析,不再需要人工跨數據庫、跨表格分析。

在辦公軟件如流裏,交代出行計劃,AI 超級助手立馬就能把差旅機酒安排妥當。

根據文檔生成 PPT,也就是一句話的事,像百度文庫這樣的產品,直接化身“生產內容最好的起點”。

我們日常熟悉的網盤、地圖等 App,基於大模型能力,也湧現出了全新的體驗。

比如從網盤視頻裏直接提取重點內容。

比如在地圖指揮 AI 訂餐廳。

百度此番出手,可以說是直接展示了一把大模型全方位的應用滲透,揭開了 AI 原生時代大幕的一角。

而百度“第一個把全部產品用大模型重做一遍”的先手優勢,也已經在更大範圍內開始顯現。

李彥宏透露,百度的大模型技術已經應用在製造、能源、電力、化工、交通等實體產業中,17000 家企業已參與其中,大模型正在成爲新型工業化的重要推動力。

從 3 月份文心一言發佈,到年中文心大模型 3.5 版本更新,再到現在 4.0 驚豔亮相,百度文心大模型的迭代速度不可謂不迅速。

這背後既是國產大模型從技術 demo 到落地應用的激烈競爭,也再一次體現了百度在大模型領域深厚的技術積累。

並且隨着文心大模型 4.0 和百度一衆 AI 原生應用的亮相,大模型賽場上新一階段的競爭方向愈發明顯。

正如李彥宏所說:

在此過程之中,無論是國產大模型基礎能力的快速追趕,還是 AI 原生應用開發的主動進擊,都令人心潮澎湃。

AI 原生時代,在各種層面上,都越來越值得期待了。

廣告聲明:文內含有的對外跳轉鏈接(包括不限於超鏈接、二維碼、口令等形式),用於傳遞更多信息,節省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

相關文章