機器之心報道

參與：澤南、杜偉

人工智能算法也遵循着自己效率提升的「摩爾定律」。

在人工智能領域裏，因爲研究人員的努力，頂尖算法的效率提升速度超過了芯片中摩爾定律的速度。

著名人工智能研究機構 OpenAI 今天更新了有關業內頂尖機器學習模型算法需求的報告，並得出最新結論：自 2012 年以來，在著名數據集 ImageNet 上訓練一個圖像分類系統所需的算力每 16 個月減少一倍。

這一觀點和 OpenAI 幾個月前「最先進 AI 模型算力需求增長 30 萬倍」的態度有了很大變化，其結論或許意味着人工智能在未來發展的過程中將不大可能受到算力瓶頸的掣肘。

除了關注模型的最優表現之外，OpenAI 本次研究發現的模型效率提升是最引人關注的地方。它還有着更深層次的意義：爲 AI 的技術屬性和社會影響提供依據。

「算法的改進是 AI 技術提升的核心。不過尋找衡量所有技術進步的標準非常困難，特別是它們在使用算力方面變化的趨勢，」OpenAI 表示。「算法效率的提升使得研究人員可以在同樣時間內進行更多實驗，並減少資金花費。分析表明，政策制定者需要增加對於計算效率研究的投資，這不僅對於學術界有幫助，而且可以進一步幫助業界。」

此外，值得注意的是，OpenAI 並不是首個公開提出對 AI 模型的效率展開基準測試的機構。2019 年，艾倫人工智能研究所、卡內基梅隆大學以及華盛頓大學的科學家提議將效率作爲 AI 學術論文以及準確性和相關度量的更常用評估標準。同時，也有人呼籲進行工業級的效能分析，併爲機器學習項目建立每瓦特計算（compute-per-watt）的標準。

「後浪推前浪」：更高效模型不斷湧現，算力持續提升

在調查研究中，OpenAI 發現在 WMT-14 翻譯任務上谷歌 Transformer 所需算力已經比此前常用的 seq2seq 模型要少 61 倍——而兩者推出的相隔時間也僅有 3 年。

DeepMind 的著名人工智能 AlphaZero 不僅可以從零開始自我學習實現在圍棋、象棋、日本將棋等遊戲中超越人類的水平，而且要比前一代系統，僅早一年推出的 AlphaGoZero 節省 8 倍算力。

對於 OpenAI 自己，最近被人們所熟知的技術當然是 Dota 2 人工智能 OpenAI Five 了，其最新的 Rerun 版本僅需 1/5 的算力即可打敗前一代算法，而兩代推出的相隔時間僅有三個月。

近年來各種算法訓練出 AlexNet 級圖片分類效果所需的算力，藍色點爲當時效率最優。

簡而言之，僅以圖像分類任務來看的話，過去 7 年人工智能的效率已經提升了 44 倍。這個速度超過了摩爾定律，似乎意味着只要持續努力下去，我們無需擔心會因爲硬件瓶頸而導致人工智能發展受阻的情況。另一方面，考慮到 2012 年的算力價格和 2019 年大有不同，在實踐中情況還要更好一些。

如此樂觀的結論，和不到一年前 OpenAI 得出的「AI 計算量每年增長 10 倍」看起來有些不同。去年 11 月，這家機構的研究發現從 AlexNet 到 AlphaGo Zero，跨方向最先進 AI 模型對計算量的需求已經增長了 30 萬倍。

OpenAI 推測算法效率可能超過摩爾定律帶來的增益，因爲它觀察到集成電路中的晶體管數量大約每兩年翻一番。有趣的是，人工智能的發展規律也類似於英特爾芯片近年來提出的「Tick Tock」發展戰略——新的功能通常需要耗費大量的算力才能獲得（新制程），然後這些功能的優化版本得益於流程改進而實現更高效的部署（似乎可以對應芯片上新微架構的提升）。

此外調研結果表明，對於投入大量研究時間和/或算力的 AI 任務來說，算法效率的提升可能超過了對硬件效率的需求。

作爲總體基準測試的一部分，OpenAI 首先進行視覺和機器翻譯效率基準測試，特別是在 ImageNet 和 WMT14 數據集，並且之後會添加更多的基準方法。不允許出現人工標籤、其他圖像或數據，但對用於翻譯或擴增增強的訓練數據不會施加任何限制。

從 ImageNet 數據集上的 79.1% top-5 準確率來看，從 2012 年的 AlexNet 到 2019 年的 EfficientNet，算力提升了 44 倍之多。

從 WMT-14 EN-FR 數據集上的 34.8 BLEU 來看，從 2014 年的 Seq2Seq(Ensemble) 到 2017 年的 Transformer(base)，算力提升了 61 倍。

算力、算法相結合，繼續加大 AI 算法效率的研究投入

OpenAI 表示：「業界領袖、政策制定者、經濟學家和潛在的研究人員都力圖更深刻地理解 AI 進展，並決定他們應該投入多少以及這些投入的未來走向。AI 模型效率的基準測試正好可以幫助他們做出正確的決策。」

AI 算法的效率提升雖然可觀，但相對於呈指數增長的新算法參數數量來講還是顯得不夠。OpenAI 研究人員提出的「有效計算」概念把算力和算法的提升結合了起來，我們可以直觀地看到各領域對於人工智能發展的貢獻：

看起來，並行計算和芯片製程的提升加起來還是佔大頭。但正如研究人員得出的結論：我們需要加大對於 AI 算法效率研究的投入。

參考內容：https://openai.com/blog/ai-and-efficiency/

本文爲機器之心報道，轉載請聯繫本公衆號獲得授權。

------------------------------------------------

加入機器之心（全職記者 / 實習生）： [email protected]

投稿或尋求報道：content @jiqizhixin.com

廣告 & 商務合作： [email protected]