加入極市 專業CV交流羣，與 6000+來自騰訊，華爲，百度，北大，清華，中科院 等名企名校視覺開發者互動交流！更有機會與 李開復老師 等大牛羣內互動！

同時提供每月大咖直播分享、真實項目需求對接、乾貨資訊彙總，行業技術交流。 關注  極市平臺  公衆號  ， 回覆  加羣， 立刻申請入羣~

作者：Weiran Huang

https://zhuanlan.zhihu.com/p/78743300

來源：知乎，已獲作者授權轉載，禁止二次轉載。

簡單介紹一下我們在今年 ICCV 2019 的一個小樣本學習的工作《Few-Shot Learning with Global Class Representations》

項目地址：

https://tiangeluo.github.io/GlobalRepresentation.html

論文地址如下： https://arxiv.org/abs/1908.05257

圖像識別是計算機對圖片進行理解和處理的第一步

• 常見應用場景： 手機相冊自動分類，識別拍攝物體以便進行後續處理等

• 近年來，在深度網絡的幫助下，計算機已經在圖像識別上取得了超越人類的效果

• 存在的問題：

• 現有的圖像識別技術集中於大規模的物體識別，因爲深度網絡 需要大量訓練數據

• 現實世界中，有很多場景沒有這麼多的標註數據， 獲取標註數據的成本也非常大 ，例如在醫療領域、安全領域、終端用戶手動標註等

• 在沒有大量訓練數據的條件下，如何讓深度神經網絡也能夠像人類一樣， 把過往的經驗遷移到新的類別 上

相比之下，藉助於之前豐富的知識積累，人類只需看一次就能輕鬆識別出新的類別。 受到人類這種利用少量樣本即可識別新類能力的啓發，研究者們開始研究小樣本學習問題。 在小樣本學習問題中，我們假設有一組基類，以及一組新類。 每個基類具有足夠的訓練樣本，而每個新類只有少量標記樣本。 小樣本學習的目的是通過從基類轉移知識來學習識別具有少量標註樣本的新類別。 我們提出一種基於全局類別表徵的小樣本學習方法，可以應用於：

1. 標準小樣本 學習問題：給定一個大規模的訓練集作爲基類，可以類比於人類的知識積累，對於從未見過的新類（與基類不重疊），藉助每類少數幾個訓練樣本，需要準確識別新類的測試樣本。

2. 廣義小樣本 學習問題：相比與小樣本學習，廣義小樣本學習中測試樣本不僅包含新類，還包含了基類。

傳統小樣本學習的方法，通常只使用基類數據進行學習。由於基類和新類之間 存在嚴重的樣本不均衡問題 ，導致容易過擬合到基類數據，這一點在廣義小樣本問題中尤爲突出。通過 在訓練階段引入新類的數據 ，我們同時對基類和新類學習全局類別表徵，並利用樣本生成策略解決類別不均衡問題，有效防止訓練模型在基類數據中出現過擬合的現象，從而提高了模型泛化到新類的能力。

解決方案

我們的思路是將每個類（包括基類和新類）表示爲特徵空間中的一個高維向量（稱爲類別表徵），然後將測試圖片到各個類的表徵的距離進行比較，來對測試圖片進行分類。我們同時使用基類與新類的 “所有訓練樣本” 來學習這種類別表徵，因此稱這種表徵爲 全局類別表徵 。

上圖給出了一個直觀的幾何解釋：第一個框是尚未進行 “樣本生成” 和 “註冊” 的初始狀態，其中每個點代表一個樣本在特徵空間中的位置，綠色三角形的點代表某個基類的樣本，橙色的圓點代表某個新類的樣本。爲了能夠將兩類分開，我們需要對特徵空間做變換，使得綠色和橙色的點能夠分開（如第三個框所示）。第二個框表示了對特徵空間做變換的過程：首先我們先對新類數據進行樣本生成（生成的樣本用橙色的叉表示），然後將綠色和橙色兩類的樣本分別往各自的全局類別表徵 “拉近”，同時把不同類的樣本互相 “推開”。這個過程被稱作 “ 註冊 ”。

下圖是我們訓練框架的示意圖（點開看大圖）：

訓練框架示意圖

訓練方法

輸入基類圖片池和新類圖片池，我們分階段進行訓練（episodic training）。初始狀態時，我們把各個類別所有訓練樣本的特徵向量的平均值作爲對應全局類別表徵。在每個訓練階段（training episode），我們先選取若干個類作爲本輪訓練的數據。將樣本通過特徵提取網絡提取圖像特徵，然後對於每個基類，我們使用該類樣本的特徵向量的平均值作爲該類的階段性類別表徵；對於每個新類，由於樣本量小，我們首先使用數據增強手段進行樣本生成，然後將其作爲該新類的階段性類別表徵。之後將得到的階段性類別表徵送入註冊模塊和全局類別表徵進行配準，得到對應的全局類別表徵以及註冊誤差。隨後通過將每個問詢集中的樣本與配準後的全局表徵進行比較，用最近鄰的方法預測樣本的標籤，然後與真實標籤對比，得到分類誤差。把註冊誤差和分類誤差相加得到總體誤差，然後用來訓練我們的模型（需要更新的是特徵提取網絡，全局類別表徵和註冊模塊）。

測試方法

將測試圖片提取圖片特徵向量後，與配準後的全局類別表徵進行比較，用最近鄰的方法預測樣本的標籤。測試方法與訓練過程中對問詢數據進行預測的方法一致。

部分實驗效果

1、標準小樣本學習

我們從 miniImageNet 中取 64 類用作 training，16 類用作 validation，20 類用作 testing。待分類的測試圖片只從新類中選取。1 shot 表示在訓練集中每個新類有 1 個樣本，5 shot 表示每個新類有 5 個樣本。每次預測需要從 5 個候選類中選擇一個作爲給定圖片的分類。下表給出了我們的方法和其他小樣本學習方法的對比結果。從表中可以看出，我們的方法具有很好的表現。

2、廣義小樣本學習

我們仍然在 miniImageNet 上進行實驗，具體設定和小樣本學習的設定相同。唯一的區別在於測試樣本同時從基類和新類抽取。每個新類包含 5 個訓練樣本。衡量指標有三個：

• 基類（base）測試樣本的分類準確度；

• 新類（novel）測試樣本的分類準確度 ；

• 所有（all）測試樣本的分類準確度。

下表給出了我們的方法和其他方法的對比實驗結果，從表中可以看出，我們的方法顯著超過了對比算法。

總結

1、我們提出的方法同時使用了基類數據和新類的小樣本數據來學習類別表徵，可以防止訓練的模型在基類上過擬合。

2、相比於之前學習階段性類別表徵的方法，我們提出的全局類別表徵直接與所有基類和新類訓練樣本進行比較，可能更具可分辨性。

3、我們的方法能同時有效處理標準小樣本學習和廣義小樣本學習。

-End-

添加極市小助手微信 （ID : cv-mart） ，備註： 研究方向-姓名-學校/公司-城市 （如：目標檢測-小極-北大-深圳），即可申請加入 目標檢測、目標跟蹤、人臉、工業檢測、醫學影像、三維&SLAM、圖像分割等極市技術交流羣 ，更有每月 大咖直播分享、真實項目需求對接、乾貨資訊彙總，行業技術交流 ， 一起來讓思想之光照的更遠吧~

△長按添加極市小助手

△長按關注極市平臺

覺得有用麻煩給個在看啦~   

相關文章