1993珍貴錄像：32歲的LeCun向世界親自展示了首個CNN

【新智元導讀】想看看CNN剛被髮明的時候是什麼樣嗎？近日，Reddit上公開了一則視頻，上面記錄了1993年Yann LeCun展示的，用於文本識別的世界上第一個卷積網絡，所有人都可以通過當時的視頻，親自深刻感受到，當今經典又偉大的CNN，是如何誕生的。

隨着AI的發展，卷積神經網絡（Convolutional Neural Network，CNN）已經成爲從業者使用的最經典，也是最高效的神經網絡架構之一。

1980年，日本科學家福島邦彥在論文《Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position》提出了一個包含卷積層、池化層的神經網絡結構。

1998年，Yann LeCun等人發表論文《Gradient-Based Learning Applied to Document Recognition》，在其中提出了LeNet-5，將BP算法應用到神經網絡結構的訓練上，就形成了當代卷積神經網絡的雛形。

隨着之後的不斷改進和發展，CNN的框架和結構趨向成熟，性能逐漸進一步上升，從而漸漸演變爲了我們現在看到的經典結構。

研究者和工業界從業者，也早已經將CNN作爲再自然不過的框架，在此基礎上進行改進和創新。當然，Yann LeCun也早已成爲大家心目中的“深度學習三巨頭”之一。

至今，CNN已經在圖像分類、物體檢測、物體追蹤、姿態預估、文本檢測識別、場景標記、目標定位、物體分割等等領域得到了廣泛的應用，爲人們的日常生活提供了極大的便利。

都知道，想到並創造出一個新事物，遠遠比接受和掌握它要困難百倍。

那大家有沒有想象過，CNN剛誕生的時候，場景是怎麼樣的？

今日，Reddit上一則帖子曝光了一段視頻：

視頻上記錄了1993年32歲Yann LeCun展示的，用於文本識別的世界上第一個卷積網絡。

注意，這是《Gradient-Based Learning Applied to Document Recognition》發佈的五年以前。

視頻中詳細展現了當時Lecun等人在手動數字數據集上的實驗結果。

毫無例外，當時的CNN已經可以以強大的準確率，正確對應輸入，表現了完美的結果：

說到這裏，我們可以看看過去是如何識別手寫數字的，下圖是過去識別手寫數字的網絡結構：

每一層網絡都和相鄰層全部連接。但是這樣並沒有考慮到圖片中像素的空間分佈，不管兩個像素離的很近還是非常遠都一視同仁，顯然這樣做是不合理的。

而CNN的出現，考慮到了輸入值的（像素的）空間分佈，（再加上一些人工設定的特性例如共享權重等）使得它非常容易訓練。也就可以做出更深層的網絡結構，擁有更好的識別效果。

舊神經網絡架構上的調整和改變，以及BP算法的引入，使得識別效果發生了驚人的提升，也爲經典架構CNN的發展真正叩開了大門。

除此之外，我們還可以發現，算法輸出的結果還可以“學習”到輸入數字的位置，並且針對不同輸入情況，有着極好的魯棒性，這在1993年，完全稱得上令人驚歎。

此外，這次曝光出來的實驗涉及的輸入類型，並不侷限於MNIST：

當時的LeCun和其他研究人員很可能無法想象，在一個小小的實驗室裏提出的架構，竟然會對未來整個AI的發展，起着舉足輕重的作用。

看着當時他們臉上的笑容，除了滿滿的成就感，更多的是熱愛、激情，以及對研究結果的興奮：

雖然身穿最樸素不過的衣服，窩在小小的辦公室裏，但是他們身上的光芒，卻閃耀地無法令任何人無視。

是啊，無關乎功利，真正追求自己真正熱愛的東西的時候，身上纔會散發着任何人都會爲之吸引的光芒。

當前，全世界仍然有大批研究者正在孜孜不倦的探索，努力開拓前景，爲後來的人打開一扇扇窗。

可能有人會懷疑自己所做工作是否真正有意義，是的，一份工作的真正價值，並不一定會體現在當下，就像直到2012年，Imagenet圖像識別大賽中，Hinton組的論文《ImageNet Classification with Deep Convolutional Neural Networks》中提到的Alexnet引入了全新的深層結構和dropout方法，一下子把error rate從25%以上提升到了15%，顛覆了圖像識別領域之後，CNN纔開始得到最蓬勃的發展一樣。