這個史上最強文本生成AI，真的要成精了？
本文來自微信公衆號： 新智元（ID：AI_era） ，編輯：夢佳、白峯，頭圖來自：《她 Her》電影截圖
上半年的疫情，讓很多朋友、戀人都不得不相隔兩地，我在海淀頭，君在朝陽尾，日日思君不見君，只能……
這個時候有個GPT-3陪你，看星星看月亮，從詩詞歌賦談到人生哲學，豈不美哉？
還玩什麼戀與製作人啊，直接申請一個API接口，和GPT-3聊天就好了。 未來，紙片人+GPT-3的電子男女朋友，市場潛力巨大。
他有時候很直男，總是講一些蹩腳的玩笑哄你開心，尬聊的樣子有點可愛。
來源：計算機科學家Kevin Lacker博客
有時候又化身文藝青年，浪子詩人，時不時吟誦一些脫離俗套和低級趣味、另闢蹊徑的隨想，警示金句如下：
“世界上任何你看不慣的東西，都可以用‘這不好玩’來應對”
“如果我知道人生的意義是什麼，我還會上這兒來浪費時間嗎？”
如果說最近computer science圈子裏什麼最火，那非GPT-3莫屬。
簡單來說，GPT-2 和 GPT-3 都是一種續寫文本的 AI 模型，開頭給幾句提示，後面的故事全靠他的語言模型一點一點續寫。思路順暢，很少遇到“寫作瓶頸”。
GPT-3 是著名人工智能科研公司 OpenAI 開發的文本生成 （text generation） 人工智能， 相關論文在5月份發表，當時就以天文數字級別的1750億參數量引發了巨大轟動。
對於語言模型來講，大小真的很重要。要知道，人的大腦也才只有860億個神經元。
API開放了以後，各路網友腦洞大開，讓GPT-3寫代碼，做簡歷，簡直是比男朋友還管用。
寫SQL畫圖表搞運維做PPT，GPT-3 要成精！
GPT-3不是被玩壞了，而是玩出了新高度。
你可能還停留在GPT-3驚人的文本生成能力，但看了下面這些應用，你一定會被震撼到，“找老黃買顯卡來不及了，趕快申請API，我要開發自己的GPT應用”！
給GPT-3一個提示，融入各種融入流行文化的表情包就到手了。
什麼，Excel中也能用GPT-3了，還能進行自動推理？演示表格裏列了幾個大公司的CEO，把含有數據的單元格框住，Loading 一秒鐘，自動推斷出了Ben Horowitz所屬的公司，need no operation！
爲什麼你的圖表這麼low，別人做的可視化卻賊漂亮，只能強行解釋一波，“不會寫代碼，好看的圖表都是代碼寫的”。現在有了GPT-3，就不用解釋了，只需把你的數據餵給GPT-3，不用Excel表格，嘴說就行！
“3個蘋果，5個梨，2個橙子”，bang！精美的Dash 圖表就生成了。
找工作寫簡歷是個頭疼的事，現在你只要告訴GPT-3你在哪個公司工作了幾年，後面的事就不用管了，條理清楚，格式精美的簡歷就幫你“編好了”，工作年限、主要職責、項目經歷一應俱全。
向老闆彙報工作要做PPT，只需要把文本一複製，就能生成合適的演示文稿。
想找個運維的工作，不會操作AWS？
“你好，我需要創建一個AWS實例，謝謝”。
等一秒鐘，GPT-3：“我好了，你複製下代碼就行”！
簡直要成精啊！
不會寫SQL你好意思說自己是運維？不好意思，有了GPT-3真的可以爲所欲爲！
運維：“GPT-3，我想查詢下年齡在25到35之間的工人的薪資信息”，
GPT-3：好的，SQL拿去“select salary from worker where age between 25 and 35”。
“增刪改查”工程師已哭暈在廁所。
喫了3000億token的GPT-3，內部是如何工作的？
將包含3000億個token的文本餵給GPT-3進行無監督訓練，目前OpenAI已經完成了這一壯舉。你現在看到的所有實驗都來自於這個龐大且昂貴的模型。 據估計，它花費的成本高達460萬美元。
我們再來看看它的訓練細節，GPT-3在所有文本中進行滑動，每滑動一個窗口就會生成大量示例。
GPT-3如何處理“robotics”這個單詞併產生“A” 呢？
“robotics”經歷了下面三個過程，首先被轉換爲詞向量，中間經過96個Transformer的洗禮，最後再將向量重構爲單詞 “A”，如果不是“A”，就開始計算並反向傳遞誤差，直到得出正確的單詞，這一過程要重複數百萬次。
訓練好的模型如何食用呢？只需要簡單的微調即可。比如想應用在英法機器翻譯上，只需要提供給GPT-3少量的平行語料對。
這樣說可能不夠直觀，我們使用Python來演示下如何教會GPT-3幹活。
寫LaTeX公式對非學術研究人員來說是個頭疼的事，但有了GPT-3，LaTeX語法轉換竟是如此簡單。
前面我們說了，如果你想應用在特定任務上，需要給GPT-3一點小小的“提示”，它才能領會到你具體想幹啥。
跟OpenAI申請一個GPT-3的API Key，你就能一鍵調用這個1750億參數的模型了。
想寫一個從a到b的積分，如果不給提示，GPT-3直接返回原文了，但是，如果你輸入個例子，告訴它你想把自然語言翻譯爲LaTeX，那GPT-3就心領神會了，完美輸出了f（x）從a到b的積分公式。
OpenAI CEO：GPT-3 只是驚鴻一瞥，是否過譽？
GPT-3對於小白來講，也是一個直觀地感受到人工智能如此強大的入口。
OpenAI 的CEO Sam Altman講，他把GPT-3展示給一個10歲的小男孩兒，他當即說自己想進入人工智能領域。
一名開發者認爲，GPT-3 確實讓我預感到， 在未來10年內，AI有望通過圖靈測試。圖靈測試目的就是測試機器是否具備人類智能。
關於人類智能的討論，又涉及到一個問題，如何定義“人類智能”。到底是隻談到它具備人類的“智力” （包括思維能力學習能力等） ，還是說它應該完整地具有一個“人格”，甚至擁有靈魂等等超越性的東西。讓人想起網上那段著名有關上帝的靈魂拷問。
但業界也紛紛傳出聲音，認爲GPT-3有過譽之嫌。Altman在一條推特中謙遜地表示，“ GPT-3的宣傳最近太過火了 ，確實讓人印象深刻，但它仍然有嚴重的弱點，有時會犯非常愚蠢的錯誤。人工智能將改變世界，但 GPT-3只是一個非常早期的驚鴻一瞥。我們還有太多問題需要解決。”
業界專家：GPT-3表現出了推理能力，但還不是真正的智能
更有人預測，按照這種進化速度，GPT-3五年內可以部分替代，甚至在某些地方超越心理醫生了。“以後大家最上癮的娛樂就是和GPT-3交流互動了。”
也有網友提出GPT-3並非是全知全能，對長篇大論理解能力差，邏輯推理也繞不過幾個彎，還是沒法給美國執業醫師考試USMLE寫解析，暫時沒法取代內科大夫.....
還想取代內科大夫，要啥自行車？
新智元也就GPT-3是否具有認知智能等問題，採訪了一位NLP領域的資深技術專家，他認爲GPT-3跟認知智能還是有點距離，但GPT-3做到了few-shot learning，GPT-3 模型本身就已經學習到了大量的經驗，給一些小樣本做個微調，這種做法和BERT 很像，而成績主要歸功於Transformer，分佈式學習+ 長距離依賴，單就原理上來說，沒有本質的突破。
而網友展示的例子背後，也說不定有多少bad case。
認知智能的定義很寬泛，目前也沒有形成統一。理解，自主決策，可思考我認爲是其中的幾個核心點，GPT-3展現出來的推理能力只是認知智能的一種表現形式。
反而是近兩年逐漸興起的知識圖譜，在推理智能上表現出了一定潛力，知識圖譜增強了認知智能的可解釋性 （路徑可知） ，但目前在算力、模型、數據上還存在很大的缺陷，還有很長的路要走，要時刻保持清醒。
從長期來看，構建大規模的知識圖譜數據，將知識圖譜學習和深度學習結合起來是一個重要趨勢。
不論是否過譽，GPT-3都預示着一種可以想見的未來。就算GPT-3的理解能力不能和人類劃等號， 但在人類永恆的交流慾望面前，GPT-3，一個溫柔，情緒穩定，老實肯幹，懂得分析和思考的AI也許終有一天會勝過人類的陪伴。
參考鏈接：
本文來自微信公衆號： 新智元（ID：AI_era） ，編輯：夢佳、白峯
