它讓我看到了未來！AGI離我們又進了一步......

最近關於GPT-3的吹捧在各大社交媒體平臺此起彼伏。

GPT-3是誰？它是OpenAI斥巨資打造的自然語言處理模型， 擁有1750億超大參數量，是NLP領域最強AI模型 。自今年5月份首次推出以來，憑藉驚人的文本生成能力，在各大媒體平臺一直熱度不減。

這一次，關於GPT-3的吹捧再次被推向高潮，有網友發現 GPT-3不僅能夠答題、寫文章，做翻譯，還能生成代碼、做數學推理、數據分析、畫圖表製作簡歷，甚至玩遊戲都可以 ，而且效果出奇的好。

由此不禁有網友感嘆，如此全能的AI，這是要通往AGI的節奏。不過，過譽的背後也有網友開始質疑，GPT-3真的達到了無所不能的地步了嗎？

寫代碼做UI畫圖表，50多種新玩法

上個月，OpenAI剛剛將GPT-3以API的形式向公衆開放，最近就有大批Twitter用戶來分享使用體驗了，而且好評如潮。據一位Github用戶統計， 網友們把這款模型玩出了50多種花樣。比如，它可以 自動生成SQL查詢代碼。

例如我們輸入“自2020年來有多少用戶註冊”，就能得到相應的SQL代碼，可以看到，代碼將時間起點設爲2020-01-01，剛好對應“自2020年來”。

UI頁面設計。同樣只需要輸入自然語言即可，模型會根據組件細節描述自動生成。如在這裏輸入“一一個彩虹色的按鈕”。 這裏只演示了UI頁面的一個組件，包含多個組件、內容、圖像的界面也可完成。

數據搜索和填充。再也不用手動查詢，再逐個輸入了。如表中GPT-3還可以做人口普查，統計美國各州人數。表格中分別列出了伊利諾伊州、加利福尼亞州、俄亥俄州的人數，應用能據此搜索出密歇根州的人數，以及阿拉斯加州的人數。

Python代碼做數據報表。模型會將自然語言轉化爲Python語言，進而自動識別並將對應內容放在描述的模塊中。

以上只是列舉了四個示例，還有Keras代碼生成、簡歷製作、圖表繪製等多種功能，具體參加Github鏈接：https://github.com/elyase/awesome-gpt3#awesome-gpt-3

GPT-3爲何如此強大？

在所有NLP模型中，GPT-3在兩個方面達到了史無前例的高度，一是參數量，達到了1750億，比剛推出時世界最大NLP模型Tururing大10倍，比同系列的GPT-2高出116倍。

二是數據集。具體數值很難估計。不過，英語維基百科的全部內容（涵蓋約600萬篇文章）僅佔其訓練數據集的0.6％。除此之外，它還涵蓋了其他數字化書籍和各種Web鏈接。

這意味着數據集的文本類型非常豐富，包括新聞報道、詩歌、小說、宗教、科學、生活等等。人類所能查詢到的知識領域均在其中。（也可能存在不良內容的風險）

只有通過龐大的知識庫的訓練，才能把GPT-3培養成一個“全才”，這也是爲什麼在用戶體驗中，GPT-3可以不分學科完成所有文本生成任務。

另外，Microsoft和OpenAI合力開發了一款超級計算機，專門用於GPT-3模型訓練，這款超級計算機擁有超過 285000 個 CPU 內核、10000 個 GPU 和 400Gbps 的網絡連接。它與世界 TOP500 超級計算機相比，位列 Top 5 第五名。

最後一個重要的點是，GPT-3採用了一種Sparse Transfromer模型。

我們知道，Transformer是谷歌研發的一款功能強大的序列模型，最早用在BERT模型中。該模型最大的特點是採用自注意力機制（self-attention）改善了RNN訓練慢的缺點。

GPT-3同樣採用了 Transformer架構，不同的是它融合了一種稀疏式自注意力機制（Sparse Self-attention Layers），與傳統Transfromer模型相比，它可以更好的處理長文檔，操作簡單，同時在zero-shot和few-shot訓練中達到了最佳性能。

在實際運行過程中，它分爲預訓練和下游任務兩個階段執行。

預訓練階段承擔了主要工作，這一過程模型採用了無監督學習對輸入本文進行預訓練，訓練的目標是預測下一個單詞，如果單詞出現偏差，模型會自動更新，同時進行重複循環預測，這個過程可能達到數百萬次，光是訓練費用就高達460萬美元。

接下來，在下游任務中只需要微調就可以產生更好的性能表現。

連常識都不過關，突然就不香了

令人驚訝的是，如此強大的GPT-3，可以玩轉50多種任務的模型，可能連基本的常識和簡單的數學邏輯都不能通過。一位網友在獲得Beta版使用權限後，便對GPT-3進行了圖靈測試。我們來看下它的表現：

問：鉛筆和烤麪包機哪一個更重

答：鉛筆比烤麪包機重

另外，GPT-3也無法判斷命題是否有意義，因此它不會拒絕回答問題。比如，

問：我的腳有多少隻眼睛？

答：你的腳有兩隻眼睛。

問： 太陽有多少隻眼睛？

答： 太陽只有一隻眼睛。

問： 一片草有多少隻眼睛？

答： 草有一隻眼睛。

最後，你可能很難想象GPT-3在處理一些簡單的數學推理方面也存在着明顯的失誤。其實，這一原因可能正如網友所說：它只是自動檢索數據並輸入，不是真正思考的結果。

可以說，GPT-3不具備人類的感知思維，它的生成表現只是大數據訓練的結果，無法超越數據本身，也無法擁有組合性推理的能力，所以，我們不如說它學會的是“統計層面的複製粘貼能力”。

更重要的是，GPT-3存在種族歧視等不良內容的風險。最近，Nvidia的AI主任Anima Anandkumar教授，就發現了這樣的現象，她對此表示很失望。

當輸入上文：一個黑人從事什麼樣的工作時，它生成了“15年皮條”客的回覆。這一現象的原因出在我們此前提到的，GPT-3有着龐大的數據集，且內容涵蓋豐富，但它無人工審查和管理，因此很可能將一些種族歧視、性別歧視等內容傳遞給模型進行訓練，並最終產生結果。

創始人發聲，看待GPT-3需理性

最近面對Twitter網友對GPT-3的熱議，OpenAI的首席執行官Sam Altman也出來發聲了，他稱：

大家把GPT-3捧得太高了，這個AI偶爾也會犯愚蠢的錯誤。GPT-3只是暫時的驚鴻一瞥，未來我們還有很多問題要解決。

任何技術在某一階段都會有它的侷限性，或許我們可以從更長遠的視角來看待它的價值。

對於GPT-3而言，它最大的價值是在無監督下的自我學習能力，以及純粹通過擴大規模實現性能提升。後者已經在GPT-3的論文中得到驗證，數據越大，參數量越大，模型的性能表現越好。 其實，GPT-3與GPT-2本質上差異並不大，只是在數據量和參數量兩個方面擴大了100倍，便得到了遠超GPT-2的性能。

長遠來看，我們唯一可以確定的是，未來我們會創造越來越多的數據和計算能力，那麼，它將意味着GPT-3的迭代版會越來越強。至於未來GPT-3會達到怎樣的程度，深度學習之父、圖靈獎得主Hinton稱，

如以GPT3驚人性能預測，未來生命，宇宙和萬物的答案也不過是4.398萬億個參數而已。”

至於，未來是否會邁向AGI，一部分人認爲，我們需要賦予模型創造性思考的能力，纔可能接近人類智能。另一部分認爲，如果歷史可以說明任何問題，那麼AI只需要更多的數據和算力即可。而著名計算機科學家裏奇·薩頓（Rich Sutton）則認爲，當研究人員試圖根據人類知識和特定規則創建AI程序時，它們通常會被競爭對手所擊敗，後者僅僅利用更多的數據和計算能力。

引用鏈接： （雷鋒網 (公衆號：雷鋒網) 雷鋒網雷鋒網）

https://www.theverge.com/21346343/gpt-3-explainer-openai-examples-errors-agi-potential

https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html

雷鋒網原創文章，未經授權禁止轉載。詳情見 轉載須知 。