近來,深度神經網絡(DNN)的突破性進展使其在諸多領域取得了巨大的成功,但應看到DNN在面對輸入的小擾動時表現出了對抗脆弱性。爲此,提升DNN的對抗魯棒性至關重要,其中對抗訓練(AT)是最有效的方法之一。

但是,現有的AT方法通常基於特定攻擊算法來解決內部最大化(innermaximization)問題,有時無法很好地泛化至同一威脅模型中其他未見過的攻擊。後續提出的一些方法(如PGD等)雖然面對常見攻擊實現了SOTA魯棒性,但還是會被其他攻擊打敗。這表明先前提出方法中的防禦可能導致梯度掩蔽,並且被更強或自適應的攻擊愚弄了。此外,單一的攻擊算法可能不足以探索可能擾動的空間。

因此,爲了進一步緩解這些問題以及提升模型面對更廣泛對抗攻擊的魯棒性,在清華大學這篇被NeurIPS2020會議接收的論文《AdversarialDistributionalTrainingforRobustDeepLearning》中,研究者提出了一種名爲對抗分佈式訓練(adversarialdistributionaltraining,ADT)的新型框架,它通過一種分佈圍繞着自然輸入對對抗示例進行顯式地建模。研究者表示,該研究提出的方法雖然取得了比以往對抗訓練方法更高的自然準確率,但依然不及標準的訓練模型。自然準確率的下降可能會產生一些負面結果,但對保護用戶隱私而言不失爲一件好事。

機器之心最新一期NeurIPS線上分享邀請到了論文共同一作、清華大學計算機系博士生董胤蓬,爲大家詳細解讀此前沿研究。

分享主題:面向魯棒深度學習的對抗分佈式訓練

分享嘉賓:董胤蓬,清華大學計算機系四年級博士生,導師爲朱軍教授。主要研究方向爲機器學習與計算機視覺,聚焦深度學習魯棒性的研究,先後發表CVPR、NeurIPS、IJCV等頂級國際會議及期刊論文十餘篇,其中代表性論文"BoostingAdversarialAttackswithMomentum"被引用超過500次,並獲得VALSE年度傑出學生論文獎(2018)。作爲TeamLeader在Google舉辦的NeurIPS2017人工智能對抗性攻防大賽中獲得全部三個比賽項目的冠軍,並多次在極棒組織的對抗比賽中獲獎。曾獲得國家獎學金,清華大學未來學者獎學金、CCF-CV學術新銳獎、微軟獎學金、百度獎學金、字節獎學金等。

分享摘要:以深度學習爲代表的人工智能算法在對抗場景中的魯棒性存在嚴重不足,很容易被攻擊者所惡意構造的對抗樣本欺騙。對抗訓練通過在訓練數據中加入對抗樣本的方式可以有效地提升模型的魯棒性,也是目前最有效的防禦算法之一。但是大部分對抗訓練算法在訓練過程中通過特定的攻擊方式產生對抗樣本,對於其他未知攻擊的防禦效果無法保證,同時也不能夠有效地探索對抗樣本空間。

本文提出了一個新穎的訓練方式—對抗分佈式訓練(ADT)。通過將對抗樣本建模爲分佈的形式,學習輸入數據附近的對抗樣本分佈形式,並利用最差情況下的分佈進行訓練。通過理論分析推導出ADT的訓練算法,並提出了三種不同的方式對對抗分佈進行參數化。實驗結果顯示在一些數據集上,本文提出的算法可以幫助訓練魯棒性更好的模型。

直播時間:北京時間11月26日20:00-21:00

論文鏈接:https://papers.nips.cc/paper/2020/file/5de8a36008b04a6167761fa19b61aa6c-Paper.pdf

加入機動組,一起看直播

「機動組」是機器之心發起的人工智能技術社區,將持續提供技術公開課、論文分享、熱門主題解讀等線上線下活動,並在社羣中提供每日精選論文與教程、智能技術研究週報,同時「機動組」也將不定期組織人才服務、產業技術對接等活動,歡迎所有AI領域技術從業者加入。添加機器之心小助手(syncedai5),備註「2020」,加入本次直播羣。

ps:如果小助手無法添加,請將「微信ID」發送郵件到[email protected],我們將與你聯繫,邀你入羣。

2020NeurIPSMeetUp

受新冠疫情影響,NeurIPS2020轉爲線上舉辦。雖然這可以爲大家節省一筆包括註冊、機票和住宿的開支,但不能線下參與這場一年一度的學術會議、與學術大咖近距離交流討論還是有些遺憾。

機器之心獲得NeurIPS官方授權,將於12月6日在北京舉辦2020NeurIPSMeetUp,設置Keynote、論文分享和Poster環節,邀請頂級專家、論文作者與現場參會觀衆共同交流。

點擊閱讀原文,立即報名。

相關文章