題圖來自視覺中國，本文來自 微信公衆號：investguru（ID：investguru） ，作者：王川

1. GPT-3 全名“General Pretrained Transformer-3” （通用預訓練轉換器，第三版） ， 是 OpenAI 開發的一個自然語言處理的計算模型，最初出現在 2020年五月底公開發布的一篇論文 “Language Models are Few-Shot Learners” （小樣本學習的語言模型， 第一作者爲 Tom Brown） 。到七月中旬一位開發者發現此工具可以把普通英文口語自動轉化成計算機程序代碼，因此迅速在科技社區風靡。

2. GPT-3 說白了，就是一個電腦程序， 根據你輸入的提示性文字或示範，可以不斷按照你的要求自動生成新的文字， 直到某個長度的上限。它的一大優點是不是專門爲某一個特定任務所訓練，所謂“任務無偏” （task-agnostic） ， 但在很多任務的表現上，已經不輸於那些爲某個特定任務微調多次的語言模型。打個比方，它就像一個通才教育的自學者，沒有接受細分專業的特別培訓，但解物理數學題，吹拉彈唱，望聞問切，殺豬宰羊的水平，和科班出身的專業人士不分伯仲。

3. 在應用上，GPT-3 被發現可以——

i. 直接把英文口語轉化成相應的程序代碼。
 
ii. 把英文翻譯成法文或別的語言。
 
iii. 在收到簡單的要點提示後，可自動生成完整的段落，並回覆電子郵件。
 
iiii. 自動實現法律用語和口語之間的轉換。
 
iv. 自動寫小說， 詩歌，劇本等等。

4. 據使用者說，GPT-3 的 60~70% 的輸出都是些垃圾， 但這並不妨礙有 30%的輸出是高質量的甚至令人驚豔的文字。這比之前的 GPT-2 版本只有 5~10% 的高質量文字輸出已經大大提高。

5. 下面是 GPT-3 自動生成的一些金句。 （摘自推特 @Wisdom_By_GPT3）

“世界上任何你看不慣的東西，都可以用‘這不好玩’來應對。”
 
"大自然殘酷無情，從不寬恕，而又美麗的方式，和人腦清楚的思維格格不入。” 
 
“一旦你擁有了過去，你就可以創造整個宇宙。”
 
“如果我知道人生的意義是什麼，我 （TMD）還會上這來浪費時間嗎？” 

6. GPT-3 作爲最新的自然語言處理模型，耗費了大約 3640 個 Pflops-day 的算力。 （ 一個 Pflops-day 接近十的二十次方個浮點計算） 。這個計算成本大約一千兩百萬美元，猜測是按照當下微軟的雲計算價格估計的。微軟號稱投資十億美元給 OpenAI， 這裏面很大部分來自於把雲計算的算力按某個批發價折算成投資金額。實際也就只夠訓練 GPT-3 大約八十次而已。

7. 支持 GPT-3 和其它類似的自然語言處理模型的發展，主要有三個方面。第一是算力的提高。有分析指出，過去幾年同等算力 （以半精度浮點計算爲標準） 的 GPU 價格下降幅度大約每年 26%，這相當於每八年降低一個數量級，或者說，同等成本，每八年算力就增加十倍。

8. 第二，新的計算模型湧現， 提高自然語言處理的效率。Transformer 模型本身的出現，也就是來自 2017年十二月一篇名爲 “Attention is all you need” （ “注意力機制就是你全部所需的”， 第一作者爲 Ashish Vaswani） 的論文。這個算法允許高並行度的數據處理，因此大大減少數據訓練的時間。完全可以預期，未來還會有更新更高效的計算模型湧現。

9. 第三，更多更高質量的原始數據。GPT-3 的訓練數據，60%來自於一個名叫 Common Crawl 的截止到 2019年底數據庫，經過過濾整理後，數據量仍然高達 570 GB。另外的數據來自維基百科和其它互聯網數據庫。

10. GPT-3  的一個潛在應用，是可以更快更精準地尋找到用戶的深度搜索需求，而不只是基於少數關鍵詞的較爲膚淺的搜索，這可能對傳統搜索業務形成直接威脅。幾乎可以肯定的是，它的出現會激發谷歌，臉書，亞馬遜等競爭者的迅速跟進。OpenAi 的領先時間窗口不會超過十二個月。機器和計算費用，對於這些萬億美元市值的公司而言，都不是障礙。把訓練好的模型儘早對外開放使用，搶佔市場高地，纔是當務之急。

11. 什麼是創意？無非就是把以前沒有連接起來的知識點，連接起來，發現可以更高效地做更有趣的事。Gpt-3 用於訓練的原始數據總共接近 1000 GB。與之相比，一本普通電子書的大小不超過 3 MB， 這就意味着 GPT-3 的閱讀量相當於至少三十萬本書籍。古人的“學富五車”， 如果一輛車最多裝載一百本竹簡做成的書，那GPT-3 的知識量相當於“學富三萬車”。 筆者的老文章裏曾提到 （ 王川： 一年讀五百本書，讓你每天高潮迭起 ） ，但面對一個存儲三十萬本書籍的智慧的程序，也只能自愧不如。

12. GPT-3 通過程序連接各種知識點的效率和可能性比人腦強幾個數量級，而且還在不斷進步。這是幫助所有藝術家，科學家和企業家產生創意的利器。有人把 GPT-3 比做和一萬名博士在對話。如果你能和一個相當於“萬名博士”的智能體不斷愉快地對話，爲什麼還要在其他人或事上浪費時間？

13. 互聯網的轉折點是1993年三月 Mosaic 瀏覽器的出現，其重大價值在於可以讓全世界任何人非常方便地實時，零成本地共享大量文件。Gpt-3 目前似乎還相當於瀏覽器之前的 ftp， gopher 之類的工具的水平， 但這類工具讓人看到的期望是，全世界任何人都能以極低的成本，掌握一個不斷增長的超人的信息檢索，處理和輸出的能力， 更多參與者在這類平臺上以超人的能力交流合作，其財富創造的爆發不可限量。

14. 在計算速度，原始數據和算法模型繼續提高的基礎上，未來幾年 gpt-3 之類的自然語言處理工具，將會演變成一種吸取了人類幾千年的所有智慧，並結合深度搜索和分析能力的超級智囊。

15. 比如一個女生問，“我的男朋友今天說了如此如此的話，我很生氣，他還愛我嗎？” gpt-3 回答可能是，“還愛，你想多了”，或者是， “他外面肯定有人了，趕快分手”。

16. 再如，某個男生問：“我和某某女生今天有如此如此的對話，她對我有意思嗎？” ；gpt-3 的回答可能是，“她還在騎驢找馬，你只是備胎” ；或者是，“傻小子，暗示已經很明顯了，還不趕快往前衝”。

17. 再比如，讓 gpt-3 分析一下某個當紅公司的財務報表，gpt-3 掃描之後可能迅速發現：它實際上隱性負債不斷增加，現金流在萎縮；它所在的這個行業其它競爭者利潤率一般都在10%以下，它並不是行業領先者，高利潤率非常可疑 ；它的幾個主要大客戶身份不明，關聯交易和造假帳的嫌疑極大，需要繼續調查。

18. 而讓 gpt-3 分析另外一個小公司，它可能會發現：此公司雖然目前還很小，估值相對很高，但利潤率極高，沒有任何負債，現金增長速度非常快，營銷費用和獲客費用極低，在業內的品牌已經很明顯了。按現在趨勢過了某個臨界點，會有爆發性增長， 這是不可多得的好公司。

19. 再比如，某某給你許諾高官厚祿，要讓你反水背叛現在的老闆，你該怎麼做？gpt-3 會告訴你，“請參見1936年蔣介石用兩百萬現大洋把陳濟棠手下的黃光銳挖過來，後來又怎麼一步步冠冕堂皇把錢賴掉，然後黃還有苦說不出的案例。”

20. 再比如， 上司突然要把你調到不熟悉的外地工作，和你自己的嫡系人馬隔離開，這是什麼意思？gpt-3 會告訴你，“請參見 1937年史大林把圖哈切夫斯基調離莫斯科到伏爾加分區工作，然後過了幾周又抓回來再處決的案例 " 。

“那怎麼破？”

GPT-3 回答，“有上中下三策， 下策請參見資治通鑑，第*卷，某某紀。中策……對不起，您的餘額不足，請充滿******大洋後再重新提問”。

（未完待續）

本文來自 微信公衆號：investguru（ID：investguru） ，作者：王川