跟大家分享一篇前天新出的非常有意思也有啓發的論文 D2D: Keypoint Extraction with Describe to Detect Approach ，該文研究的內容是局部特徵提取，在圖像匹配、SLAM、三維重建等領域均顯示出了性能提升。

該文作者信息：

作者來自倫敦帝國學院和Scape Technologies公司。

提到局部特徵提取，傳統方法如SIFT等往往是先檢測關鍵點，然後以關鍵點爲中心計算特徵描述，近年來出現了一些檢測和描述聯合計算的方法，如 SuperPoint、 D2-Net 、 R2D2等，如下圖：

作者認爲特徵描述部分本就含有巨大信息量，本身就能代表着某個位置像素的顯著程度，爲什麼不先計算得到大量的密集特徵描述再從中篩選關鍵點呢？這話聽起來很有道理，所以作者的 核心思想是：先描述後檢測 ，這可以大大簡化局部特徵提取的流程。

密集特徵提取並不是新鮮事物，有大量的傳統方法和深度學習方法可供使用，能夠得到大量不同種類的密集特徵， 關鍵是：如何衡量某特徵向量描述的顯著性？

作者從兩個角度來思考這個問題：

1）特徵描述要具有 絕對顯著性 ，指某位置的特徵各維度特徵變化大；

作者以特徵各維度與均值的平方差來衡量絕對顯著性。

2）特徵描述要具有 相對顯著性 ，指某位置的特徵與其周圍臨近點的特徵相比差異性更大；

作者以某特徵與臨近位置特徵的距離之加權和來衡量。

以絕對顯著性和相對顯著性之積作爲某位置是否爲關鍵點的依據，選取Top N個作爲最終的關鍵點。

實驗結果

作者的這個思路很簡單，也很容易與圖像的密集描述特徵結合，作者在 圖像匹配、視覺定位、三維重建 三個任務中評價了這種方法

圖像匹配的實驗結果：

HarNet 和SOSNet 是作者使用的描述方法。在HPatches數據集上的結果顯示，使用D2D的方法超越了之前幾種SOTA方法，正確配對的關鍵點更多。

下圖爲在Aachen Day-Night 數據集上的視覺定位結果，D2D在替換SIFT關鍵點檢測之後大大提高了精度，雖然與最好結果還有一定差距，但這可能是訓練數據和使用網絡較小的差異造成的。

在ETH SfM數據集上三維重建的實驗結果：

使用窄網絡D2D的精度顯著超越了那些在大數據集上訓練的局部特徵提取方法的結果。

D2D因爲簡單，所以速度也很快，使用 HardNet 或者SOSNet作爲描述的話參數量也很小，如下圖：

總之，D2D打開了一種新思路， 特徵描述本身就含有關鍵點的重要性信息 ，可以作爲關鍵點篩選的依據（我爲什麼之前沒想到呢。。。）

應該說D2D本身不是一種算法，而是一類局部特徵提取模式。這項工作還有很多值得探索，比如使用什麼樣的描述方法更好、有沒有更好的篩選策略？相信會啓發更多的工作，歡迎大家follow！

論文地址：

https://arxiv.org/pdf/2005.13605.pdf

目前還未發現有開源代碼。

相關閱讀：

CVPR 2020｜打臉SOTA！不能忍，谷歌發起圖像匹配挑戰賽

END

在看，讓更多人看到  

相關文章