机器之心报道

编辑：泽南、小舟

又到了激动人心的揭榜时刻。

几个小时前，人工智能顶会 ICLR 2021 放出了今年的论文接收结果。

和其他著名人工智能会议一样，今年的 ICLR 论文投稿数量继续增长：共获得 2997 篇有效投稿，860 篇论文最终被接收（2020 年为 687 篇），其中 53 篇将进行口头讲述报告（Oral），114 篇 Spotlight，其余为 Poster 论文。

今年大会论文 29% 的接收率相比去年的 26.5% 也有提升，与其他一些顶会大幅降低接收率相比，ICLR 似乎更加友好。但在社交网络上，我们仍然看到了「评分 6、8、6、8，但仍被程序主席毙掉」的惨剧。在此之前，所有论文的初审结果已于去年 11 月 11 日公布。值得注意的是，此次会议收到的论文中有 856 篇是 NeurIPS 2020 Rejection 之后再提交的。

论文结果放出以后，人们也整理了本次大会的论文评分和链接列表：

https://docs.google.com/spreadsheets/d/1n58O0lgGI5kI0QQY9f4BDDpNB4oFjb5D51yMr9fHAK4/edit#gid=1546418007

其中可见，不同于去年超过 30 篇满分论文，今年只有 15 篇论文获得了平均 8 分及以上的分数，也没出现「满分论文」。其中排名最高的是来自麻省理工学院（MIT）Keyulu Xu、马里兰大学 Mozhi Zhang、Jingling Li 等人的论文《How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks 获得了 9、8、9、9 四个评分。

论文链接：https://openreview.net/forum?id=UH-cmocLJC

该研究的主题是通过梯度下降训练的神经网络如何外推（extrapolate），即在训练分布的支持以外还能学到什么。之前的研究表明用神经网络外推时的混合实验结果如下：虽然多层感知机（MLP）在一些简单任务中无法很好地外推，但是图神经网络（GNN，一种具有 MLP 模块的结构化网络）在一些较为复杂的任务中已经显示出一定的成功。通过理论解释，研究者确定了 MLP 和 GNN 良好推断的条件。

首先，该研究对 ReLU MLP 从原点沿任何方向快速收敛到线性函数的观察结果进行量化。这意味着 ReLU MLP 不会外推大多数非线性函数。但是，当训练分布足够多样化时，ReLU MLP 被证明可以用于学习线性目标函数。其次，结合分析 GNN 的成功和局限性，这些结果提出了一种假设：GNN 在将算法任务外推到新数据（例如较大的图或边权重）方面的成功取决于架构或特征中的特定于编码任务的非线性性。该研究为这种假设理论和实验依据。该研究的理论分析建立在超参数网络与神经正切核的连接上。实验表明，该研究的理论适用于不同的训练设置。

图 1：ReLU MLP 如何外推。研究者训练 MLP 以学习非线性函数（灰色），并从内部（蓝色）和外部（黑色）两方面绘制其预测结果。MLP 从原点沿多个方向迅速收敛至训练数据范围以外的线性函数。因此，MLP 在大多数非线性任务中无法很好地外推，但 MLP 能够很好地全局外推线性目标函数。

图 2：GNN 如何外推。由于 MLP 在学习线性函数时可以很好地进行外推，因此研究者作出如下假设：如果在架构（左）和输入表征（右，借助域知识或表征学习）中编码适当的非线性，GNN 就会在动态规划（DP）中很好地进行外推。编码的非线性可能对于插值（interpolation）是非必需的，因为它们可能是通过 MLP 模块近似化的，但是它们有助于外推。

ICLR 全称为 International Conference on Learning Representations（国际学习表征会议）。自 2013 年开始每年举办一次，2021 年将举办第九届会议。该会议与 CVPR、ACL、NeurIPS 等学术会议一样被认为是国际人工智能顶会，同时也是 CCF 评选的一类会议。

ICLR 的创始人包括深度学习三巨头之二的 Yoshua Bengio 和 Yann LeCun。数据的应用表征对机器学习的性能有着重要的影响，表征学习对于计算机视觉、语音处理、自然语言处理等多个领域都起着至关重要的作用，ICLR 旨在打造这一领域交流研究的平台。

今年的 ICLR 大会原定于奥地利首都维也纳举行，但由于新冠疫情的原因已连续第二届改为线上形式，正式的活动将在 5 月 4-8 日进行。

虽然参会的人数还不是最多，但 ICLR 的影响力已不容小觑。在今年的论文结果放出之后，Yann LeCun 在推特上给出了一些 ICLR 大会的数据：

ICLR 的谷歌学术 h5 指数已经排到了全榜第 17 名，超过了 NeurIPS、ICCV、ICML，落后于 CVPR（该榜单的前三名是 Nature、新英格兰医学杂志和 Science）。

对于一个 2013 年刚起步的学术会议来说，这是相当值得称赞的成绩。LeCun 表示，开放的审稿形式，以及深度学习领域近年来的良好发展趋势是 ICLR 大会成功的原因。

参考内容：

https://iclr.cc/Conferences/2021/Dates

https://scholar.google.com/citations?view_op=top_venues&hl=en