©PaperWeekly 原創 · 作者｜黃飄

學校｜華中科技大學碩士

研究方向｜多目標跟蹤

隨着這兩年 GNN 的發展，其對於關係的建模特性也被引入了多目標跟蹤領域，這次我通過對這兩年基於 GNN 的 MOT 算法的介紹來分析其特點。相關 MOT 和數據關聯的基礎知識可以去我的專欄查看。

EDA_GNN

論文標題： Graph Neural Based End-to-end Data Association Framework for Online Multiple-Object Tracking

論文來源： CVPR 2020

論文鏈接： https://arxiv.org/abs/1907.05315

代碼鏈接： https://github.com/peizhaoli05/EDA_GNN

從算法的示意圖可以看到，作者通過一個孿生網絡求得了觀測目標 j 與當前目標軌跡 i 的表觀相似度，然後取目標軌跡的歷史位置爲輸入，通過 LSTM 得到預測的位置，計算該位置與觀測目標位置的運動相似度，兩個相似度結合構建相似度矩陣。

至此， 所有目標軌跡與觀測目標的相似度構成了一個二部圖，以目標和觀測信息作爲節點，相似度作爲邊權，表觀特徵和位置信息拼接作爲節點屬性特徵。

然後基於消息傳遞機制，作者通過 GNN 的網絡框架實現對節點特徵的更新：

鄰接矩陣的 normalization 採用的是 row-wise softmax，即對相似度矩陣進行逐行 softmax，可以用注意力的方式來理解，W 爲待學習的權重。最後通過一個激活函數 ReLU 實現特徵的更新。對於邊權關係的更新則是簡單地利用 MLP 將兩個節點特徵的差轉換爲標量。

在訓練的時候，損失函數由三部分組成：

其中第一部分是預測得到的關聯矩陣的分類損失，第二部分則是將 groundtruth 中的關聯對取出，計算分類損失，第三部分是將新出/消失的目標單獨取出，計算 MSE 損失。

DAN

論文標題： Deep association: End-to-end graph-based learning for multiple object tracking with conv-graph neural network

論文來源： ICMR 2019

論文鏈接： https://dl.acm.org/doi/pdf/10.1145/3323873.3325010

這裏的 DAN 並非我之前提過的DAN，其整體流程跟 EDA_GNN 基本一樣：

都是先提取表觀和運動特徵，由此構建網絡圖，通過 GNN 得到最終的關聯矩陣。首先相似度矩陣怎這裏用的是 IOU 信息：

IOU 後面的部分是幀間差，如果目標存在跨幀鏈接，那麼間隔越久，相似度越低。不過 DAN 與 EDA_GNN 不同的是，並沒有將圖結構構建爲二部圖，而是將跟蹤節點和觀測節點統一爲節點集合，因此鄰接矩陣/相似度矩陣就變成了 (m+n)x(m+N)，這就是最基礎的 GNN 網絡結構了。所以節點特徵的更新就是：

鄰接矩陣的更新爲：

損失函數爲 Graph Loss，即對正負鏈接邊權的交叉熵損失函數：

結果如下:

GNMOT

論文標題： Graph Networks for Multiple Object Tracking

論文來源： WACV 2020

論文鏈接： http://openaccess.thecvf.com/content_WACV_2020/papers/Li_Graph_Networks_for_Multiple_Object_Tracking_WACV_2020_paper.pdf

代碼鏈接： https://github.com/yinizhizhu/GNMOT

首先我們看看算法流程：

可以看到，GNMOT 的不同在於表觀和運動部分分別採用了 GNN 網絡，二者結合得到的是相似度矩陣，由此輸入數據關聯部分。關於 GNN 網絡的更新流程，作者設計了 4 步：

其中第一次邊和節點的更新都是通過兩層 FC 進行更新的。第三次的全局更新這裏，作者引入了一個全局變量 u，先計算所有節點的特徵均值和邊權均值，再通過兩層 FC 進行更新。這裏的 u 會在出現在所有更新過程中，作爲一個調節量。

最後一次的邊權更新則是在兩層 FC 之後再加了一層 softmax 層。

MPN Tracker

論文標題： Learning a Neural Solver for Multiple Object Tracking

論文來源： CVPR 2020

論文鏈接： https://arxiv.org/abs/1912.07515

代碼鏈接： https://github.com/selflein/GraphNN-Multi-Object-Tracking

我之前也介紹過這篇文章，但是之前不懂 GNN，所以只能做搬運工，現在學習了 GNN，所以就再次分析一下。首先是圖的構建，圖節點由所有幀的所有目標構成，直接將觀測信息作爲節點，沒有跟蹤，只有關聯。

節點屬性特徵由訓練得到的表觀特徵和幾何特徵構成，其中幾何特徵爲位置和形狀。並且定義表觀特徵距離用歐氏距離度量，幾何特徵距離用下面的公式度量：

時間特徵自然就是幀數，這幾個特徵通過一個 MLP 網絡得到最終的特徵表達。

邊的連接自然就是跨幀節點存在連接，而同一幀節點不存在連接，邊權的設定就是上面的距離度量。也就是說，這相當於一個端到端的離線跟蹤框架。

消息傳遞機制中，對於邊權的更新和節點的更新方式如下：

其中對於邊的更新就是由節點特徵和原始邊權通過 MLP 過程更新的。對於節點的更新，由於一個節點連接有多條邊，所以需要進行聚合，聚合方式可以求和、取平均，還可以是取最大值。而更新的代數 L 自然也就決定了圖卷積網絡的感受野，當 L 越大時，與之相關的節點在時間跨度上越大。

上面這個圖從左往右是不同時間幀的節點，這裏舉的例子是一個相鄰三幀的節點連接。原始的更新機制中，對於節點的更新會將周圍邊的影響通過求和的方式聚合。而這裏作者考慮了時間因素，將時間分爲了過去和未來兩個部分：

然後通過拼接的方式聚合，最後利用 MLP 結構實現特徵降維。

可以看下消息傳遞代數的影響：

我們發現在 3 代的時候就已經達到了性能上限，不過爲了保證魯棒性，作者還是選了 12.

不得不說離線的方法在 IDF1 指標上的表現很好：

PS：大家可能對於第一張圖中的 Edge Classification 有疑惑，即如何實現的邊的稀疏化。這裏由於每條邊權都經過了一個 sigmoid 層，因此作者直接利用固定閾值 0.5 進行了裁剪。

GNN3DMOT

論文標題： Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning

論文來源： CVPR 2020

論文鏈接： https://arxiv.org/abs/2006.07327

代碼鏈接： https://github.com/xinshuoweng/GNN3DMOT

從這篇開始，接下來的全是這個組的文章。這篇文章所涉及的算法框架很完整，值得一讀：

算法流程通過這張圖可以很容易得到，運動特徵是通過 LSTM 網絡迴歸得到的，表觀特徵是通過 CNN 網絡得到的，二者相拼接。其中 3D 部分的輸入則是點雲信息和 3D 位置信息，o 表示物體，d 表示檢測。將 2D 和 3D 特徵拼接/相加得到每個節點的特徵。而節點自然就是上一幀存在的目標和當前幀的觀測。

對於邊權/相似度矩陣的確定，作者嘗試了三種方式，餘弦距離、歐氏距離還有網絡迴歸，即上圖中的 Edge Regression：

當然這個也是邊權更新的機制，而對於節點 消息傳遞機制，作者也設計了四種：

方法很明瞭，我就不細講了，可以看到聚合方式都是求和。另外由算法框架示意圖可知，每次消息傳遞都會計算關聯矩陣的損失，那麼爲什麼會採用 batch triplet loss呢？

作者把關聯矩陣中的每條邊權看作了 N 對匹配，三元組損失中，首先選取相鄰幀中的一對連接 i,j，然後分別選取不同 id 的兩幀節點 r,s，計算上述損失。即要保證不同幀間不同 id 身份的邊權的最小距離越大越好。而對於相似度損失，則是採用了兩種交叉熵損失：

效果如下：

可以看到利用網絡迴歸的方式得到的相似度度量方式要比餘弦距離和歐氏距離好， 2D 和 3D 特徵融合的方式更優，結合了關聯矩陣和節點差異的聚合方式，即 Table7 中的 type4 更優。

GNNTrkForecast

論文標題： Joint 3D Tracking and Forecasting with Graph Neural Network and Diversity Sampling

論文鏈接： https://arxiv.org/abs/2003.07847

代碼鏈接： https://github.com/xinshuoweng/GNNTrkForecast

這篇論文裏面，作者通過 GNN 將 3D MOT 和軌跡預測結合在一起了。其中對於 GNN 網絡的構建以及關聯矩陣的獲取跟之前的論文幾乎一致，具體我們就不介紹了：

那麼 3D MOT 分支實際上就是 GNN 模型中的一部分，是根據 GNN 的邊權矩陣進行數據關聯：

而對於軌跡預測分支，作者基於條件自編碼器的形式，設計的流程圖如下，由於這塊我不熟悉，所以我就不細講了。

效果如下：

JDMOT_GNN

論文標題： Joint Detection and Multi-Object Tracking with Graph Neural Networks

論文鏈接： https://arxiv.org/abs/2006.13164

也許是看到最近聯合檢測和跟蹤的框架很熱門，作者團隊又給加入了 GNN 模塊，所以我們簡單提一下：

最開始的表觀和運動特徵部分就不提了，一個是 LSTM/MLP 迴歸，一個是 Darknet53 迴歸得到的。圖的構建依舊是以檢測框和目標作爲節點，節點特徵的更新則是：

這裏面要注意的是兩個 head，其中檢測 head 的是根據各節點特徵利用 MLP 降維得到用於分類和迴歸的特徵。而數據關聯 head 則是邊權，它的確定是依據節點特徵的差異，通過三層全連接得到的：

最終效果如下：

可以看到單純用 GNN 做數據關聯的提升並不大，當然，這裏並沒有做消融實驗，也不能妄下評論。

[1] Jiang X, Li P, Li Y, et al. Graph Neural Based End-to-end Data Association Framework for Online Multiple-Object Tracking[J]. arXiv preprint arXiv:1907.05315, 2019.

[2] Ma C, Li Y, Yang F, et al. Deep association: End-to-end graph-based learning for multiple object tracking with conv-graph neural network[C]//Proceedings of the 2019 on International Conference on Multimedia Retrieval. 2019: 253-261.

[3] Jiahe L, Xu G, Tingting J.Graph Networks for Multiple Object Trackin[C]//The IEEE Winter Conference on Applications of Computer Vision (WACV).2020.

[4] Brasó G, Leal-Taixé L. Learning a neural solver for multiple object tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 6247-6257.

[5] Weng X, Wang Y, Man Y, et al. GNN3DMOT: Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning[J]. arXiv preprint arXiv:2006.07327, 2020.

[6] Weng X, Yuan Y, Kitani K. Joint 3d tracking and forecasting with graph neural network and diversity sampling[J]. arXiv preprint arXiv:2003.07847, 2020.

[7] Wang Y, Weng X, Kitani K. Joint Detection and Multi-Object Tracking with Graph Neural Networks[J]. arXiv preprint arXiv:2006.13164, 2020.

更多閱讀