摘要：這篇文章由 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 三人合著，從卷積、循環和反向傳播算法等核心概念概覽了深度學習，並提出無監督學習、深度學習結合強化學習等方向是未來的發展趨勢。我們第一次公開發表相關研究時的確不知道反向傳播的歷史，因此沒有引用之前提出者的工作。

前幾天，計算機科學家、LSTM 之父 Jürgen Schmidhuber 發文， 以六條理由批評 Geoffrey Hinton 不應獲得 2019 年本田獎 。其中第一條理由就是「反向傳播並非 Hinton 原創」。

這件事在 reddit 等平臺上引發了大量討論。昨日，Hinton 親自下場，在帖子上表示「我只回應這一次」，並對 Jürgen 喊話：「或許 Jürgen 應該談談誰發明了 LSTM？」

以下是 Hinton 的回應：

和 Jürgen Schmidhuber 就學術信用進行公開辯論是不明智的，因爲這隻會鼓勵他，而他願意投入無限的時間和精力讓他所認爲的對手失去信用。他甚至還耍一些把戲，比如在維基百科上有好幾個別名，讓別人以爲有人附和他。Jürgen 網站上對阿蘭·圖靈的介紹就是他貶低別人貢獻的一個典型案例。

我知道不應該理他，但我認爲不能讓他的指控完全不做回應，因此我決定回應，且僅此一次。

我從未說過反向傳播是我發明的。David Rumelhart 獨立提出了反向傳播，在那之前已經有很多其他領域的人提出了它。我們第一次公開發表相關研究時的確不知道反向傳播的歷史，因此沒有引用之前提出者的工作。

不過，我需要聲明一點，我是明確表明反向傳播可以學習有趣的內部表徵，並使該想法推廣開來的人。我通過讓神經網絡學習詞向量表徵，使之基於之前詞的向量表徵預測序列中的下一個詞實現了這一點。正是這個案例使得 Nature 發表了 1986 年那篇論文《Learning representations by back-propagating errors》。

確實有很多媒體說我是反向傳播的提出者，我花費了大量時間進行糾正。在 Martin Ford 2018 年出版的《Architects of Intelligence》一書中，我就曾經說過：

「在 David Rumelhart 之前，很多人提出了不同版本的反向傳播。其中大部分是獨立提出的，我覺得我承受了過多的讚譽。我看到媒體說我提出了反向傳播，這是完全錯誤的。科研人員認爲他因爲某事獲得了過多讚譽，這樣的情況不常見，但這就是其中之一！我的主要貢獻是展示如何使用 BP 算法學習分佈式表徵，因此我要做出澄清。」

或許 Jürgen 應該談談誰發明了 LSTM？

在 1960 年代，反向傳播的基礎知識由多位研究者在控制理論和鏈式規則的背景下得出，並早在 1970 年就實現了計算機上的運行。不過這一術語的確定，以及被人們廣泛所知的確要等到 1986 年《自然》雜誌上 David Rumelhart、Hinton 與 Ronald Williams 合著的論文發表之後。

到了 2015 年，《自然》雜誌發表了一篇介紹人工神經網絡的文章《Deep Learning》，它是深度學習的一篇標誌性文章，目前引用量已經達到了 24621。這篇文章由 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 三人合著，從卷積、循環和反向傳播算法等核心概念概覽了深度學習，並提出無監督學習、深度學習結合強化學習等方向是未來的發展趨勢。

Schmidhuber 在當年的一篇批評文章中表示，作者在這篇文章中引用了很多自己的研究工作，而忽視了半個世紀以前開創領域的先驅者。

Jürgen Schmidhuber 和 Geoffrey Hinton 的討論在機器學習社區中迅速發酵，越來越多的從業者對此發表了自己的看法。對此，DeepMind科學家 Oriol Vinyals 也有一個更中立化的建議：「我們應當把榮耀歸於思想本身，而不是人。科學應是公正而匿名的。」

參考鏈接：

https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/