機器學習頂級會議 ICML 2020 於本月 13 日至 18 日以線上形式舉行。此次會議共收到 4990 篇論文， 接收論文 1088 篇 ，接收率達 21.8%。與往年相比，接收率逐年走低。

剛剛，ICML 2020 大會放出了傑出論文獎和傑出論文榮譽提名獎，一篇發表於 2009 年的論文獲得此次大會的時間檢驗獎。

其中，北京理工大學和劍橋大學合作的論文《Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems》獲得了此次會議的傑出論文獎。我們之前報道過的OpenAI新研究 《Generative Pretraining From Pixels》 獲得了傑出論文榮譽提名獎。

傑出論文獎

論文1：On Learning Sets of Symmetric Elements

  • 論文地址：https://arxiv.org/pdf/2002.08599.pdf

  • 論文作者：Haggai Maron（英偉達研究院）、Or Litany（斯坦福大學）、Gal Chechik（英偉達、以色列巴伊蘭大學）、Ethan Fetaya（以色列巴伊蘭大學）

從無序集合中學習是一種基本的學習設置，最近這引起了越來越多的關注。這一領域的研究集中於用特徵向量表示集合元素的案例，很少關注集合元素本身即遵循其自身對稱性的常見情況。而後者與大量應用具備相關性，如圖像去噪、多視圖 3D 形狀識別與重建等。

這篇論文提出了一種原則性方法來學習一般對稱元素的集合。研究者首先描述了線性層的空間。線性層與元素重排序和元素的內在對稱性具備等變性。

該研究進一步表明，由被稱爲 Deep Sets for Symmetric elements layers (DSS) 的層構成的網絡是不變函數和等變函數的通用逼近器。此外，DSS 層很容易實現。

最後，研究者用一系列使用圖像、圖以及點雲的實驗，證明該方法比現有的集合學習架構有所改進。

論文2：Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems

  • 論文地址：https://arxiv.org/pdf/2002.09611.pdf

  • 論文作者：Kaixuan Wei（北理工）、Angelica Aviles-Rivero（劍橋大學）、Jingwei Liang（劍橋大學）、Ying Fu（北理工）、Carola-Bibiane Schnlieb（劍橋大學）、Hua Huang（北理工）

即插即用（PnP）是將 ADMM 或其他近端算法與高級去噪先驗結合的非凸（non-convex）框架。近來，PnP 取得了巨大的實驗成功，特別是集成了基於深度學習的去噪器。但是，基於 PnP 的方法存在一個關鍵的問題：這些方法需要手動調參。此類方法必須在成像條件和場景內容具備高度差異的情況下獲得高質量結果。

該研究提出了一種免調參的 PnP 近端算法，支持自動設置內部參數，包括懲罰參數、去噪強度以及終止時間。 該方法的核心部分是開發一個用於自動搜索參數的策略網絡，該網絡能夠通過混合無模型和基於模型的深度強化學習來高效地學習參數。

研究人員通過數值和視覺實驗表明，該方法學到的策略能夠爲不同的狀態定製不同的參數，並且比現有的手動調參更加高效。

此外，該研究還探討了插入式去噪器，它和學得策略一起可達到 SOTA 結果，在線性和非線性的示例逆成像問題中皆是如此，尤其是在壓縮感知 MRI 和相位恢復問題上都取得了不錯的結果。

個人主頁：https://kxwei.net/

另外，這篇論文的第一作者魏愷軒目前就讀於北京理工大學，是一名研二學生。研究興趣爲圖像處理、計算機視覺、計算攝影學、計算成像學，在 NEUCOM、CVPR、ICML 等會議上發表論文。

傑出論文榮譽提名獎

本屆傑出論文榮譽提名獎授予了兩篇論文，分別是帝國理工學院、聖彼得堡國立大學等研究者的《Efficiently sampling functions from Gaussian process posteriors》和OpenAI研究者的《Generative Pretraining from Pixels》。

論文 1：Efficiently sampling functions from Gaussian process posteriors

  • 論文地址：https://arxiv.org/abs/2002.09309

  • 論文作者：James T. Wilson（帝國理工學院） 、Viacheslav Borovitskiy（聖彼得堡國立大學）、Alexander Terenin（帝國理工學院）、Peter Mostowsky（聖彼得堡國立大學）、Marc Peter Deisenroth（倫敦大學學院）

該研究發現了一種高斯過程（Gaussian process）分解形式，該分解通過從數據中分離出先驗，從而自然地進行可擴展采樣。在這種因式分解的基礎上，研究者提出了一種易用且通用的快速後驗採樣方法，該方法可以無縫匹配稀疏近似，從而在訓練和測試階段保證可擴展性。

該研究進行了一系列實驗，表明只需要通常成本的一部分即可利用解耦採樣路徑準確地表示高斯過程後驗。

論文 2：Generative Pretraining From Pixels

  • 論文地址：https://cdn.openai.com/papers/Generative_Pretraining_from_Pixels_V2.pdf

  • 論文作者：Mark Chen、Alec Radford、Rewon Child、Jeff Wu、Heewoo Jun、Prafulla Dhariwal 、David Luan、Ilya Sutskever（均來自 OpenAI）

受自然語言無監督表示學習進展的啓發，OpenAI的研究者探究了類似模型是否可以學習圖像的有用表示。具體來說，OpenAI推出了用於圖像分類的模型 iGPT，並發現該模型似乎能夠理解物體外觀和類別等 2D 圖像特徵。那麼，iGPT 緣何能夠成功呢？這是因爲，在下一像素預測（next pixel prediction）上訓練的足夠大的 transformer 模型最終可能學會生成具有清晰可識別物體的樣本。一旦學會了生成此類樣本，那麼通過「合成分析」，iGPT 將知道目標類別。

實驗表明，iGPT 模型的特徵在大量的分類數據集上實現了當前 SOTA 性能，以及在 ImageNet 數據集上實現了接近 SOTA 的無監督準確率。

時間檢驗獎

ICML 大會時間檢驗獎旨在獎勵對機器學習研究和實踐有着巨大影響的論文。今年獲得此獎項的是發表於 2009 年的論文《Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design》，目前這篇論文的被引用次數超過 1000。

論文地址：https://icml.cc/Conferences/2010/papers/422.pdf

這篇論文通過分析高斯過程賭博機優化（Gaussian process bandit optimization），將貝葉斯優化、賭博機和實驗設計進行融合，進而提出了一種通過互信息增量推導有限樣本 regret bound 的方法。

過去十年中，這篇論文對學界產生了深刻的影響，包括該方法本身、所使用的證明方法和實際結果。這些點燃了其後大量研究和實踐工作的創造性，從而豐富了社區。

該獎項委員會對這篇論文的評價很高：

這篇論文的結果影響了現代深度學習系統中的超參數搜索方法，其算法經過十年風霜仍然是流行的捕獲算法。該論文的定理和引理得到大量引用，其證明方法也被其後的論文廣泛借鑑。不管是技術深度，還是影響力，這篇論文都出類拔萃。

過去十年，貝葉斯優化成爲很多機器學習問題中的強大工具…… 該論文證明中所用的數學方法極大地影響了其後的研究。

BLM 運動帶來影響

「Black Lives Matter」運動持續了很長時間，對學術界帶來了很大影響。ICML 2020 會議在首頁上表達了對 George Floyd 以及其他受警察暴力和種族暴力傷害的人們的悼念。

ICML 2020 會議表示將深化與 AI 領域黑人羣體的合作，共同爲增加黑人研究者在 AI 領域的參與度而努力。

快速瞭解 ICML 2020 會議論文

ICML 2020 會議接收論文數量超過 1000 篇，如何能夠快速瞭解這些論文呢？

近期 Paper Digest Team 發佈了「一句話總結論文亮點」的系統，涵蓋該會議中 1084 篇論文的亮點信息。感興趣的讀者可以前往觀看。

地址：https://www.paperdigest.org/2020/07/icml-2020-highlights/

示例如下：

參考鏈接：https://icml.cc/Conferences/2020/Awards

相關文章