剛剛，ICLR 2021放榜：接收率上升，860篇論文創新高

機器之心報道

編輯：澤南、小舟

又到了激動人心的揭榜時刻。

幾個小時前，人工智能頂會 ICLR 2021 放出了今年的論文接收結果。

和其他著名人工智能會議一樣，今年的 ICLR 論文投稿數量繼續增長：共獲得 2997 篇有效投稿，860 篇論文最終被接收（2020 年爲 687 篇），其中 53 篇將進行口頭講述報告（Oral），114 篇 Spotlight，其餘爲 Poster 論文。

今年大會論文 29% 的接收率相比去年的 26.5% 也有提升，與其他一些頂會大幅降低接收率相比，ICLR 似乎更加友好。但在社交網絡上，我們仍然看到了「評分 6、8、6、8，但仍被程序主席斃掉」的慘劇。在此之前，所有論文的初審結果已於去年 11 月 11 日公佈。值得注意的是，此次會議收到的論文中有 856 篇是 NeurIPS 2020 Rejection 之後再提交的。

論文結果放出以後，人們也整理了本次大會的論文評分和鏈接列表：

https://docs.google.com/spreadsheets/d/1n58O0lgGI5kI0QQY9f4BDDpNB4oFjb5D51yMr9fHAK4/edit#gid=1546418007

其中可見，不同於去年超過 30 篇滿分論文，今年只有 15 篇論文獲得了平均 8 分及以上的分數，也沒出現「滿分論文」。其中排名最高的是來自麻省理工學院（MIT）Keyulu Xu、馬里蘭大學 Mozhi Zhang、Jingling Li 等人的論文《How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks 獲得了 9、8、9、9 四個評分。

論文鏈接：https://openreview.net/forum?id=UH-cmocLJC

該研究的主題是通過梯度下降訓練的神經網絡如何外推（extrapolate），即在訓練分佈的支持以外還能學到什麼。之前的研究表明用神經網絡外推時的混合實驗結果如下：雖然多層感知機（MLP）在一些簡單任務中無法很好地外推，但是圖神經網絡（GNN，一種具有 MLP 模塊的結構化網絡）在一些較爲複雜的任務中已經顯示出一定的成功。通過理論解釋，研究者確定了 MLP 和 GNN 良好推斷的條件。

首先，該研究對 ReLU MLP 從原點沿任何方向快速收斂到線性函數的觀察結果進行量化。這意味着 ReLU MLP 不會外推大多數非線性函數。但是，當訓練分佈足夠多樣化時，ReLU MLP 被證明可以用於學習線性目標函數。其次，結合分析 GNN 的成功和侷限性，這些結果提出了一種假設：GNN 在將算法任務外推到新數據（例如較大的圖或邊權重）方面的成功取決於架構或特徵中的特定於編碼任務的非線性性。該研究爲這種假設理論和實驗依據。該研究的理論分析建立在超參數網絡與神經正切核的連接上。實驗表明，該研究的理論適用於不同的訓練設置。

圖 1：ReLU MLP 如何外推。研究者訓練 MLP 以學習非線性函數（灰色），並從內部（藍色）和外部（黑色）兩方面繪製其預測結果。MLP 從原點沿多個方向迅速收斂至訓練數據範圍以外的線性函數。因此，MLP 在大多數非線性任務中無法很好地外推，但 MLP 能夠很好地全局外推線性目標函數。

圖 2：GNN 如何外推。由於 MLP 在學習線性函數時可以很好地進行外推，因此研究者作出如下假設：如果在架構（左）和輸入表徵（右，藉助域知識或表徵學習）中編碼適當的非線性，GNN 就會在動態規劃（DP）中很好地進行外推。編碼的非線性可能對於插值（interpolation）是非必需的，因爲它們可能是通過 MLP 模塊近似化的，但是它們有助於外推。

ICLR 全稱爲 International Conference on Learning Representations（國際學習表徵會議）。自 2013 年開始每年舉辦一次，2021 年將舉辦第九屆會議。該會議與 CVPR、ACL、NeurIPS 等學術會議一樣被認爲是國際人工智能頂會，同時也是 CCF 評選的一類會議。

ICLR 的創始人包括深度學習三巨頭之二的 Yoshua Bengio 和 Yann LeCun。數據的應用表徵對機器學習的性能有着重要的影響，表徵學習對於計算機視覺、語音處理、自然語言處理等多個領域都起着至關重要的作用，ICLR 旨在打造這一領域交流研究的平臺。

今年的 ICLR 大會原定於奧地利首都維也納舉行，但由於新冠疫情的原因已連續第二屆改爲線上形式，正式的活動將在 5 月 4-8 日進行。

雖然參會的人數還不是最多，但 ICLR 的影響力已不容小覷。在今年的論文結果放出之後，Yann LeCun 在推特上給出了一些 ICLR 大會的數據：