目錄

  • 層次遞歸網絡序列標註的轉移學習

  • 注意力神經網絡序列標記模型中的特徵

  • 基於雙向LSTM-CNNs的命名實體識別

  • 通過雙向LSTM-CNNs-CRF進行端到端序列標記

  • 更好的物體表徵，更好地從純圖像重建世界

   層次遞歸網絡序列標註的轉移學習

論文名稱：TRANSFER LEARNING FOR SEQUENCE TAGGING WITH HIERARCHICAL RECURRENT NETWORKS

作者：Zhilin Yang /Ruslan Salakhutdinov

發表時間：2017/3/18

論文鏈接： https://paper.yanxishe.com/review/10864?from=leiphonecolumn_paperreview0214

核心問題：在序列標註問題中，爲了解決傳統的機器學習存在的需要手動構建特徵的問題，這裏常常使用神經網絡的方式，但是神經網絡常常需要大量的數據纔可以，那麼現在就面臨一種情況，當數據量不足的時候，如何纔可以解決這個問題呢？

創新點：在計算機視覺中，當面臨數據不足的時候，我們常常使用遷移學習的方式，本論文也將探討遷移學習的方法，其中使用具有豐富註釋的源任務來改善具有較少可用註釋的目標任務的性能

研究意義：通過這種方式可以將訓練的模型參數和架構遷移過來，並且取得了不錯的效果，事實上現在nlp中的重要預訓練模型興起，這也一定程度上證明了這種方向的可行性。

   注意力神經網絡序列標記模型中的特徵

論文名稱：Attending to Characters in Neural Sequence Labeling Models

作者：Marek Rei /Gamal K.O. Crichton /Sampo Pyysalo

發表時間：2016/11/14

論文鏈接： https://paper.yanxishe.com/review/10863?from=leiphonecolumn_paperreview0214

推薦原因

核心問題：序列標註問題有一個問題需要處理，這個問題就是當一句話中出現的單詞是陌生詞的時候，那麼此時就會出現問題。這種詞稱爲OOV問題

創新點：創新點就是爲了解決這個問題，首先單詞有OOV問題，但是字符沒有OOV問題，這裏引入了字符級別的信息。然後引入了注意力機制，使用經典的attention+RNN+CEF的組合方式，這樣通過將詞級別和字符級別的向量相結合，從而達到非OVV的詞的字符向量與其詞向量相近。

研究意義：在許多數據集上達到了很好的效果，並且這種模型的參數較少。

   基於雙向LSTM-CNNs的命名實體識別

論文名稱：Named Entity Recognition with Bidirectional LSTM-CNNs

作者：Jason P.C. Chiu /Eric Nichols

發表時間：2016/7/19

論文鏈接： https://paper.yanxishe.com/review/10862?from=leiphonecolumn_paperreview0214

推薦原因

核心問題：本文解決的是命名實體識別的任務，這是nlp中非常具備挑戰性的工作，傳統的機器學習方法需要使用手工的方式，但是這種方式並不好。

創新點：本論文使用的是深度學習的方式，和傳統的深度學習方法不同的是，這裏搭建了一個新的神經網絡結構，能夠自動檢測字級和字符級特徵使用雙向LSTM和CNN混合架構，消除了大多數特徵工程的需要。除此之外本文還提出了一種新的方法，使用這個方法在神經網絡中對部分詞典匹配進行編碼，可以取得較好的效果。

研究意義：實驗表明，這種模型效果超過當前的模型，並且在多個數據集中取得了最佳的效果。

   通過雙向LSTM-CNNs-CRF進行端到端序列標記

論文名稱：End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF

作者：Xuezhe Ma /Eduard Hovy

發表時間：2016/5/29

論文鏈接： https://paper.yanxishe.com/review/10861?from=leiphonecolumn_paperreview0214

核心問題：本文核心是解決nlp領域中的命名實體識別的問題

創新點：在之前的常用的模型是LSRM+CRF，本論文搭建了一個端到端的神經網絡模型，引入了CNN結構，這可以很好的處理局部信息

研究意義：這個模型的效果超過之前的模型效果。

   更好的物體表徵，更好地從純圖像重建世界

論文名稱：Contrastive Learning of Structured World Models

作者：Thomas Kipf /Elise van der Pol /Max Welling

發表時間：2019/9/26

論文鏈接： https://paper.yanxishe.com/review/10860?from=leiphonecolumn_paperreview0214

人類可以從眼睛觀察到的視覺信號理解還原出世界中的物體、物體間的關係、層次等等，這是人類認知能力的重要組成部分，也是機器學習、深度學習、計算視覺仍面對的一大挑戰（從原始的像素輸入還原帶有結構的世界模型）。

維吉尼亞大學的作者們在這篇論文中提出了一個基於對比度訓練的有結構的世界模型C-SWM，它使用了一種對比度方法來用組合式的結構學習環境的表徵。它可以不需要直接的監督，只通過對原始像素的觀察就發現提取環境中的物體。

作者們在含有多個獨立、可控制的物體的交互環境中評價了模型的表現，既包括了簡單的Atari遊戲，也包括了多物體的物理仿真環境。實驗表明，這個模型可以克服以往的基於像素重建的模型的很多不足，在高度結構化的環境中也發揮了比同類表徵模型更好的表現，同時它學習到的基於物體的表徵還是具有可解釋性的。

這篇論文的方法實際、效果出色，得到了審稿人的高度評價，被ICLR2020接收爲口頭報告論文。

   論文作者團隊招募

爲了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作爲聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復現。致力成爲國內外前沿研究成果學習討論和發表的聚集地，也讓優秀科研得到更爲廣泛的傳播和認可。

我們希望熱愛學術的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

1.署着你名字的文章，將你打造成最耀眼的學術明星

2.豐厚的稿酬

3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

1.將你喜歡的論文推薦給廣大的研習社社友

2.撰寫論文解讀

如果你已經準備好加入 AI 研習社的論文兼職作者團隊，可以添加運營小姐姐的微信，備註“論文兼職作者”

雷鋒網雷鋒網 (公衆號：雷鋒網) 雷鋒網

相關文章：

今日 Paper | 梯度剪切；命名實體識別；自然語言處理；免強度函數學習等

今日 Paper | 小樣本學習；機器學習；單幅圖像去霧 ；零樣本目標檢測等

今日 Paper | 可視問答模型；神經風格差異轉移；圖像壓縮系統 ；K-SVD圖像去噪等

今日 Paper | 依賴性解析器；DNNs對圖像損壞；高效人臉特徵學習 ；虛擬試穿統一框架等

今日 Paper | 模態平衡模型；組合語義分析；高表達性SQL查詢；多人姿態估計模型等

今日 Paper | 多人姿勢估計；對話框語義分析；無監督語義分析；自然語言處理工具包等

今日 Paper | 多人線性模型；身體捕捉；會話問答；自然語言解析；神經語義

今日 Paper | 手部和物體重建；三維人體姿態估計；圖像到圖像變換等

今日 Paper | 動態手勢識別；領域獨立無監督學習；基於BERT的在線金融文本情感分析等

今日 Paper | 新聞推薦系統；多路編碼；知識增強型預訓練模型等

今日 Paper | 小樣本學習；視覺情感分類；神經架構搜索；自然圖像摳像等

今日 Paper | 蚊子叫聲數據集；提高語音識別準確率；對偶注意力推薦系統等

今日 Paper | 人臉數據隱私；神經符號推理；深度學習聊天機器人等

今日 Paper | 虛擬試穿網絡；人羣計數基準；聯邦元學習；目標檢測等

今日 Paper | 人體圖像生成和衣服虛擬試穿；魯棒深度學習；圖像風格遷移等

今日 Paper | 隨機微分方程；流式自動語音識別；圖像分類等

今日 Paper | 高維感官空間機器人；主動人體姿態估計；深度視頻超分辨率；行人重識別等

今日 Paper | 3D手勢估計；自學習機器人；魯棒語義分割；卷積神經網絡；混合高斯過程等

今日 Paper | 精簡BERT；面部交換；三維點雲；DeepFakes 及 5G 等

今日 Paper | 虛假新聞檢測；馬爾可夫決策過程；場景文本識別；博弈論框架等

雷鋒網原創文章，未經授權禁止轉載。詳情見 轉載須知 。

相關文章