圖神經網絡前沿工作：結合域適應的跨網絡嵌入

©PaperWeekly · 作者｜沈笑

單位｜香港理工大學博士後研究員

研究方向｜圖神經網絡、網絡遷移學習等

近些年來，域適應和遷移學習已經廣泛應用於計算機視覺（CV）和自然語言處理（NLP）領域。然而，在網絡結構數據上運用域適應算法以解決跨網絡預測問題並未受到廣泛關注。

一方面，傳統的域適應算法假設域內實體是獨立同分布的（iid），它們無法有效捕獲網絡內不同實體間錯綜複雜的關係。另一方面，當前的網絡嵌入（圖神經網絡）算法大多是基於單一網絡的，它們不可學到具有網絡可遷移性的低維特徵表示。因此，當前的域適應算法和當前的網絡嵌入（圖神經網絡）算法都不可直接解決跨網絡預測問題。

接下來，本文將介紹兩個近期的新工作，通過有效結合域適應和深度網絡嵌入（圖神經網絡）以學到具有網絡可遷移性的低維特徵表示以有效解決跨網絡節點分類問題。這兩個工作分別發表於 IEEE Transactions on Neural Networks and Learning Systems 期刊和 AAAI 2020 會議。

跨網絡節點分類（Cross-network Node Classification）

在跨網絡節點分類問題中，我們有一個具有豐富節點標籤的源網絡（source network）和一個缺乏節點標籤的目標網絡（target network），我們需要遷移從豐富標籤的源網絡中學到的知識以幫助目標網絡進行節點分類。在每個網絡中，每個節點有關聯的網絡拓撲結構（network connection）信息、節點屬性（node attribute）信息和節點標籤（node label）信息。

其中，源網絡和目標網絡共享相同類別的節點屬性和相同類別的節點標籤。但是，源網絡和目標網絡具有不同的數據分佈，這些分佈差異（distribution discrepancy）會阻礙將源網絡中學到的模型直接運用到目標網絡上。

爲了有效解決跨網絡節點分類問題，以下的兩個工作提出了跨網絡嵌入（Cross-network Embedding）算法，通過結合深度網絡嵌入和域適應以學習具有網絡可遷移性的低維特徵表示。

一方面，通過深度網絡嵌入（圖神經網絡）學習具有類別可鑑別性（label-discriminative）的低維特徵以保留原始網絡的拓撲結構、節點屬性和節點標籤信息。另一方面，通過域適應算法減少源網絡和目標網絡間的分佈差異以學到具有網絡不變性（network-invariant）的低維特徵表示。

接下來，我們將分別簡介兩個跨網絡嵌入工作，具體細節大家可以參照原文。

CDNE

論文標題： Network Together: Node Classification via Cross-Network Deep Network Embedding

論文鏈接：https://ieeexplore.ieee.org/document/9108549

這個工作近期發表於 IEEE Transactions on Neural Networks and Learning Systems 期刊。在這篇論文中，作者提出了一個跨網絡深度嵌入算法 Cross-network Deep Network Embedding (CDNE)，通過結合域適應和深度網絡嵌入以學到具有類別可鑑別性和網絡不變性的低維節點特徵表示。

CDNE 的模型框架如 Fig.1 所示，它採用兩個 stacked autoencoder (SAE)，即 SAE_s 和 SAE_t，來分別重構源網絡和目標網絡各自的 PPMI (Positive pointwise mutual information) matrix，從而分別爲源網絡和目標網絡學習各自的低維特徵表示以保留單一網絡內的拓撲結構特性（with-network proximities）。

另一方面，它使用節點屬性和節點標籤信息來捕獲源網絡和目標網絡間的相似性（cross-network proximities）。具體地說，基於源網絡的節點屬性和節點標籤信息，它訓練了一個 Logistic regression 分類器，然後利用這個分類器爲目標網絡的無標籤的節點推測模糊標籤（fuzzy label）。

基於源網絡的已知標籤和目標網絡的模糊標籤，通過最小化 Conditional Maximum Mean Discrepancy (Conditional MMD) 來減少不同網絡同一類別的節點的低維特徵表示差異：

計算了目標網絡中屬於類別 c 的節點的均值特徵表示，計算了源網絡中屬於類別 c 的節點的均值特徵表示。通過最小化 Conditional MMD，來自不同網絡的同一類別的節點將具有相似的低維特徵表示，從而有益於跨網絡節點分類任務。

對於 CDNE 的訓練，該算法首先採用 stochastic gradient descent (SGD) 來優化 SAE_s 的 loss function。當 SAE_s 達到 maximum training iteration 後，SAE_s 將被固定，然後 SAE_s 學到的低維特徵表示將作爲 SAE_t 的部分 input 來繼續優化 SAE_t，直到將 SAE_t 的低維特徵表示可對齊到 SAE_s 的低維特徵表示。

ACDNE

論文標題： Adversarial Deep Network Embedding for Cross-network Node Classification

論文鏈接：https://www.aaai.org/Papers/AAAI/2020GB/AAAI-ShenX.1703.pdf

這個工作發表於 AAAI 2020 會議。該論文提出了對抗跨網絡深度嵌入算法 adversarial cross-network deep network embedding (ACDNE) model，通過結合對抗域適應和深度網絡嵌入（圖神經網絡）以學習具有類別可鑑別性和網絡不變性的低維節點特徵表示。

與 CDNE 相似的是，ACDNE 同樣結合了域適應和深度網絡嵌入兩個模塊。不同的是，CDNE 採用的是基於 MMD 的域適應方法，而 ACDNE 是採用了更先進的對抗域適應（adversarial domain adaptation）方法；此外，CDNE 和 ACDNE 的深度網絡嵌入模塊也大不相同。

下圖展示了 ACDNE 的基礎框架模型，它主要由 3 大部分構成，即深度網絡嵌入模塊（deep network embedding）、節點分類器（node classifier）、和域鑑別器（domain discriminator）。

在深度網絡嵌入模塊中，它採用了兩個feature extractor（FE），FE1 和 FE2 來學習低維特徵表示。其中，FE1 使用每個節點各自的節點屬性作爲 input 來學習 latent node attribute representation，而 FE2 使用每個節點的鄰接節點（neighbors）加權平均後的節點屬性作爲 input 來學習 latent neighbor attribute representation。

接下來，通過 concatenate 由 FE1 學到的 latent node attribute representation 和由 FE2 學到的 latent neighbor attribute representation 作爲 concatenation layer（一個全連接層）的 input，來學習最終的低維特徵表示，從而同時保留網絡拓撲結構特性和節點屬性。對於深度網絡嵌入模塊，源網絡和目標網絡使用了共享的可訓練參數。

一方面，由深度網絡嵌入模塊學到的低維特徵表示將作爲 node classifier 的 input，運用源網絡的已知標籤來優化 cross-entropy 目標函數,從而學到具有類別可鑑別性的低維特徵表示。

另一方面，由深度網絡嵌入模塊學到的低維特徵表示還會作爲 domain discriminator 的 input。Domain discriminator 和 deep network embedding 將進行對抗訓練，一方面，domain discriminator 需要準確區分一個節點是來自源網絡還是目標網絡；另一方面，deep network embedding 需要學到網絡不可區分的特徵表示以欺騙 domain discriminator。當對抗訓練達到平衡後，deep network embedding 將可輸出具有網絡不變性的低維特徵表示。

實驗結果

CDNE 和 ACDNE 在兩個 Blog networks 進行了 2 組跨網絡節點分類任務測試和三個 citation networks 上進行了 6 組跨網絡節點分類任務測試。

CDNE 和 ACDNE 與多個 state-of-the-art 網絡嵌入、圖神經網絡、域適應算法進行了豐富的實驗對比。得出的主要結論如下：

1. 節點屬性比網絡拓撲結構更具有網絡通用性（more generalized across networks）。因此，單純考慮網絡拓撲結構的早期網絡嵌入算法（如 DeepWalk、DNE-APP）不適用於跨網絡節點分類問題。共同考慮網絡拓撲結構、節點屬性和節點標籤信息的圖神經網絡更適用於解決跨網絡節點分類問題。

2. 單獨的域適應算法（如 TCA、MMD、DANN）由於缺乏考慮複雜的網絡拓撲結構，無法取得良好的跨網絡節點分類效果。

3. 基於單一網絡的網絡嵌入、圖神經網絡算法（如 ANRL、LANE、SEANO、GCN、GraphSAGE）由於缺乏考慮不同網絡間的分佈差異，也無法取得良好的跨網絡節點分類效果。

4. CDNE 和 ACDNE 有效結合了深度網絡嵌入和域適應算法，因此在所有跨網絡節點分類任務上大幅度領先了 baselines 算法。

5. ACDNE 比 CDNE 取得了更好的結果，主要原因是: 一方面，對抗域適應比 MMD 域適應更有效地減少域間分佈差異；另一方面，ACDNE 的深度網絡嵌入模塊比 CDNE 的深度網絡嵌入模塊更好地捕獲網絡結構特性和節點屬性。