經典也會被經典超越。

20世紀深度學習研究中，引用最多的論文不再是反向傳播。

新的寵兒，是1997年Hochreiter和Schmidhuber發表的Long short-term memory。

大名鼎鼎的 LSTM 。

超越反向傳播

LSTM的引用量，目前已經超過了26000。

而反向傳播，相關的論文雖然不少，但都不再比LSTM高：

如果只算一年，比如馬上結束的2019年，根據Google Scholar的結果，DE Rumelhart、GE Hinton、RJ Williams三人組的兩篇反向傳播論文，今年一整年的引用量加起來足足有3085次。

但新寵LSTM被引用了6750次。

超過前者的兩倍。

因此，當一位喫瓜人士將這個數據發佈到Reddit的機器學習版塊後，它迅速成爲了討論的焦點。

不過，至於反向傳播與LSTM兩者的地位，在人們心中尚無定論。

有人覺得，可能反向傳播引用的太多，歷史地位太高，已經被當做了一個常識，所以乾脆後來的論文作者們就不引用它了。

但深度學習走到如今這個時代，LSTM有着更廣泛的作用。

它部署在了每部智能手機上，它讓DeepMind拿到了《星際II》冠軍，讓OpenAI拿到了Dota冠軍。

Schmidhuber的LSTM

1997年，Hochreater和Schmidhuber提出了長短期記憶網絡。

這是一種時間循環神經網絡，主要是爲了解決一般RNN所存在的長期依賴問題：

所有的RNN都具有一種重複神經網絡模塊的鏈式形式。

在標準的 RNN 中，這個重複的模塊只有一個非常簡單的結構，例如一個 tanh 層。

而LSTM也是類似的結構，不同點在於重複模塊的結構。

與單一的神經網絡層不同，LSTM有四個類似tanh的層，並以一種非常特殊的方式進行交互。

LSTM通過各種門(gate)來實現信息的添加與刪除。

根據谷歌的測試表明，LSTM中最重要的是遺忘門(Forget gate)，其次是輸入門(Input gate)，最後是輸出門(Output gate)。

遺忘門

遺忘門決定會從上一個細胞狀態中丟棄什麼信息，也就是說決定要記住什麼和要遺忘什麼。

輸入門

輸入門決定讓多少新的信息加入到cell狀態中。

更新細胞狀態

把舊狀態與ft相乘，丟棄掉確定需要丟棄的信息，再加上經過篩選後的新信息，就得到了當前cell的狀態。

輸出門

此時，就基於當前的cell狀態進行輸出。

LSTM的表現通常比時間遞歸神經網絡及隱馬爾科夫模型(HMM)更好，還普遍用於自主語音識別，可作爲複雜的非線性單元用於構造更大型深度神經網絡。

兩位傳奇作者

LSTM的作者Sepp Hochreiter和Juergen Schmidhuber二人都來自德國，

Sepp Hochreiter，現在是奧地利約翰內斯開普勒大學機器學習研究所的負責人，LSTM是他在慕尼黑工業大學的碩士畢業論文。

博士畢業後他也曾在柏林科技大學、科羅拉多大學、慕尼黑工業大學等高校任職，對強化學習、計算機視覺、NLP和生物信息學方面都有研究。

而他的老師，LSTM共同作者Juergen Schmidhuber則是一位充滿爭議的大牛，他現在是達勒·莫爾人工智能研究所的負責人，也曾在盧加諾大學、慕尼黑工業大學任教，開了自己的公司NNAISENSE。

不過，之所以說他充滿爭議，是因爲他的研究總是和其他人的研究莫名撞車，和深度學習三巨頭、圖靈獎得主Yoshua Bengio、Geoffrey Hinton、Yann LeCun都有過糾紛，還曾跟Ian Goodfellow爭吵過GAN到底算誰的。

貴圈有點複雜。

One More Thing

最後，說了這麼多上世紀最火論文，你知道本世紀最火的深度學習論文是哪篇嗎？

Hinton等大佬發在NeurIPS 2012上的Imagenet classification with deep convolutional neural networks，引用超過53000。

畢竟也是有歷史意義的ImageNet 2012得勝選手。

另外，CVPR 2016最佳論文Deep Residual Learning for Image Recognition，引用次數也超過了36000。

這幾位作者何愷明、張祥雨、任少卿、孫劍也都是當今華人AI圈的佼佼者了。

版權所有，未經授權不得以任何形式轉載及使用，違者必究。

相關文章