近日，第29屆國際計算機學會信息與知識管理大會（CIKM 2020）在線上召開,CIKM是CCF推薦的B類國際學術會議，是信息檢索和數據挖掘領域頂級學術會議之一。

本屆CIKM會議共收到920篇論文投稿，其中錄用論文193篇，錄取率約爲21%。

而在衆多論文當中，一篇BOSS直聘基於多視圖協作學習的人崗匹配研究吸引了我們的注意力。

論文題目：《Learning to Match Jobs with Resumes from Sparse Interaction Data using Multi-View Co-Teaching Network》。

論文鏈接：https://arxiv.org/abs/2009.13299

本論文針對求職者和招聘方的交互行爲數據稀疏且帶有噪聲這一場景，基於多視圖協作學習，提出了一個新型匹配模型。

新型模型相比以往模型，增加了基於關係的匹配模塊，且將兩個匹配模塊融合進行協作訓練，優化了該場景下的人崗匹配效率。

CIKM大會評審反饋，該論文提出的多視圖協作學習網絡能夠解決人崗匹配系統的負樣本噪聲問題。同時，融合文本匹配模塊和關係匹配模塊進行的聯合表示學習有助於解決雙邊交互行爲數據稀疏問題，突破了以往匹配模型需要大量有效樣本數據的限定條件。而該思路對於互聯網求職招聘場景以外領域的推薦系統研究也有一定指導意義。

以下AI科技評論對本論文做詳細介紹：1

背景介紹

近年來，隨着以BOSS直聘爲代表的移動互聯網求職招聘平臺的興起，人崗匹配任務越來越受到學術界的關注。

針對該問題，常見的方法是將其轉化爲一個有監督的文本匹配任務來解決，當標記樣本足夠充分時，此類方法往往能取得較好的效果。

然而，在真實的互聯網求職招聘平臺上，求職者和招聘方的交互行爲數據往往是稀疏且帶有噪聲的，這嚴重影響着匹配算法的性能。

因此，本文提出了一種基於稀疏交互數據的多視圖協作學習模型，並將其應用於人崗匹配任務，取得了較好的效果。

該方法的思路如下：

【我們設計了一種全新的匹配模型，包含基於文本的匹配模塊和基於關係的匹配模塊兩部分，這兩部分能捕獲不同視角下的語義信息，並相互補充。

此外，爲了解決交互行爲數據稀疏的問題，我們設計了兩種特定訓練策略來更好地融合這兩個匹配模塊：

一方面，兩個模塊共享學習參數和表示，可以增強每個模塊初始的表示；

另一方面，我們採用了一種協作學習的機制來減少噪聲數據對訓練的影響。核心思想是讓這兩個模塊通過選擇更置信的訓練實例來互相指導訓練。

這兩種策略可以更好地用於表示的增強和數據的增強。

與單純基於文本的匹配模型相比，我們所提出的方法 能夠從有限甚至稀疏的交互數據中更好地學習數據的表示，在帶有噪聲的訓練數據上該方法也更具魯棒性。】

2問題定義

對於人崗匹配任務，給定職位文本數據集合

和簡歷文本數據集合

，以及匹配結果集合

。

其中，每一個職位j或簡歷r均由多句描述職位或簡歷的文本構成，

代表簡歷和職位是否匹配。根據上述定義，我們的任務是學習一個預測函數

來預測未知的職位簡歷對的匹配結果。

3 方法描述

多視圖協作學習的人崗匹配模型圖

爲了解決在線求職招聘場景下由於交互數據稀疏和採樣負例而帶來的噪聲問題，我們提出了一種基於多視圖協作學習的人崗匹配模型。

基於文本的匹配模塊

近年來，基於預訓練語言模型的方法在各種自然語言處理任務上均取得了不錯的效果。

鑑於此，這裏採用BERT編碼簡歷和職位的每一個句子表示，然後使用Transformer編碼表示整篇文檔表示。

j和r分別代表職位和簡歷文檔，

和

分別代表第層的輸入簡歷和職位的向量。

最後將職位表示和簡歷表示拼接後再接一個Sigmoid層輸出得到的

作爲候選簡歷和職位的匹配分。

基於關係的匹配模塊

前文所述的匹配模塊主要關注文本語義上的匹配，但由於顯式交互數據是相對稀疏的，因此挖掘潛在的隱式關聯將有助於抽取出更多額外信息作爲補充。

爲此我們設計了基於關係的匹配模塊，該模塊包含構造職位-簡歷關係圖和學習職位簡歷的表示兩部分。

構造職位-簡歷關係圖

首先定義職位-簡歷關係圖

。其中，

代表職位和簡歷兩類節點，

代表關係集合。

由於有職位和簡歷兩類節點，所以共包含三種連接類型，即職位-職位，職位-簡歷和簡歷-簡歷。同時，採用如下兩種數據信號來刻畫節點間的連接關係：第一類是相同領域標籤的職位或者簡歷之間構建連接關係；第二類是根據職位描述或簡歷文本中抽取出的關鍵詞，職位或者簡歷之間出現了同樣的關鍵詞構建連接關係。

職位簡歷的表示學習

基於職位-簡歷關係圖，可以進一步捕捉圖上潛在的語義信息來學習節點上的特徵表示（即職位和簡歷）。

圖神經網絡近年來已經成爲學習圖節點特徵表示的最流行的方法，由於在職位-簡歷關係圖中存在大量不同類別的關係連接，爲了更好刻畫在這類帶有豐富關係的圖結構，這裏採用關係圖卷積網絡（Relational Graph Convolutional Network）來刻畫不同關係和節點的表示。

第l層的節點學習到的表示的公式如下：

代表了第l層節點的表示，

代表節點

的鄰接節點集合。由於每一種關係t對應一個特定的參數矩陣

，所以能夠基於關係的語義信息學習到節點的表示。

通過在圖上學習的節點表示，最終得到簡歷和職位的表示，與之前的方法類似，通過拼接簡歷表示和職位表示計算最終匹配分。

多視圖的協作學習網絡

接下來將介紹所設計的多視圖協作學習網絡，以及如何將基於文本和基於關係的匹配模塊集成到統一的訓練方法中。

首先，網絡會共享學習到的信息和參數，以增強每個模塊的原始表示；其次，針對如何減少訓練數據對噪聲的影響，我們借鑑了機器學習中協同學習的思想，通過選擇更可靠的訓練實例來讓這兩個組件相互幫助。接下來，介紹這兩種策略的細節。

表示增強

由於在匹配過程中包含文本表示和關係表示兩類表示方法，爲了在初始表示學習的過程中互相增強，在初始學習文本模塊的表示時會拼接關係圖上節點的表示。

類似地，爲了增強圖關係上節點的表示，會採用文本模塊學習到的表示作爲關係圖訓練時的初始表示。

利用協作學習的數據增強

這裏的基本假設是，真實樣本通常在不同的模型視角下會得到相似的預測結果，而噪聲數據則會在不同視角下表現得不穩定。

在協作學習網絡中，文本匹配模塊和關係匹配模塊可以視爲兩個對等的learner。用於訓練一個learner的樣本首先由另一個learner進行檢查，並且僅將標記爲高置信度的實例保留在訓練過程中。

由於這兩個learner從不同視角對數據建模，學習的策略有所不同，因此他們可以互相幫助選擇高置信度的訓練樣本，從而提升模型效果。

具體訓練方法如下圖所示：

提出的co-teaching的算法流程圖

這裏具體提出了兩種實現策略。

（1）實例的重加權

給定一個模型，其對等模型目的是在不同視角下，增加高置信度樣本的權重並降低不可靠樣本的權重。例如，對於模型B，假設在訓練過程中的一個batch中有K個實例。

讓其對等模型A爲這個K個實例分配權重。其核心想法是根據樣本真實標籤信息與A的預測之間的一致程度對實例賦予權重：

這裏的權重

越高代表了該實例越可信。同時將這些權重結果傳遞給模型B並讓其進行模型參數的更新。

（2）實例的篩選過濾

除了對不同樣本重新加權外，還可以直接篩除相對較差的實例。直觀地，如果實例對應的損失較小，則它離決策邊界很遠，更有可能是可靠的樣本。可以通過以下公式建模：

實例重加權和篩選過濾方法都旨在爲模型學習選擇更可靠的樣本。他們用不同的方法達到這個目的。

實例重新加權是一種相對“軟”的方法，其所有實例均保留，只不過不同實例具有不同的重要程度。而實例篩選過濾是一種相對“硬”的方法，會直接丟棄一些樣本。還有一種思路是通過在對樣本重新加權之前對樣本進行過濾來將這兩種方法結合起來。

4 實驗結果

數據集介紹

本文基於在線招聘平臺BOSS直聘的數據集進行相關實驗。該數據集包括三個領域類別，便於測試我們的模型在不同領域下的穩定性。

表1總結了處理後的數據統計信息，可以看到：

(1)所有數據集都很稀疏,無論是達成匹配或拒絕；

(2)不同領域下的數據稀疏程度有所不同。例如，技術類規模較大但較稀疏，而銷售相對稠密；

(3)對於每個領域類別，發生顯示拒絕(即不匹配)的數量要比達成匹配的數量少得多。

表1:數據集的統計信息

實驗結果

對比方法

1、DSSM [1]提出的深度結構語義匹配模型。

2、BPJFNN [2]提出的基於循環神經網絡的匹配模型。

3、PJFNN [3]提出的基於卷積神經網絡的匹配模型。

4、APJFNN [2]提出的基於層級注意力機制的匹配模型。

5、DGMN [4]提出的基於全局句子粒度交互的匹配模型。

6、JRMPM [5]提出的引入歷史交互作爲記憶模塊的匹配模型。

7、UBD [6]用來解決噪聲數據帶來的影響，採用分歧的思想對分類器雙方產生不同結果的數據進行參數更新。

8、NFM [7]使用神經因子分解機來學習高階交互，使用文本和ID特徵作爲輸入。

表2:主實驗的結果

根據表2中的實驗結果，結論如下：

1、首先，NFM很難在我們的任務上取得良好的效果。

原因是該任務比傳統推薦場景數據更加稀疏；同時，DSSM在大多數情況下表現不佳，因爲它無法捕獲文本信息中的時序信息；BPJFNN、PJFNN、APJFNN、JRMPM和DGMN之間的性能差異很小，並且針對不同指標或不同領域會有微小差別；此外，UBD是唯一訓練時解決噪聲問題的baseline，與其他baseline方法相比，該方法的效果有顯著提升，這也側面證實了該任務下處理噪聲數據的必要性。

2、我們提出的模型在不同數據集的所有指標上均獲得了最佳性能。

與其他方法相比，模型中的協作學習機制能夠識別更多信息量豐富且更可靠的樣本來學習參數，也更容易削弱噪聲數據帶來的影響，因此優於其他baseline方法。

3、對比篩選過濾和重加權這兩種策略，我們發現後者在大多數情況下更優異。

可能因爲重新加權策略採用了“軟”降噪的方法，該方法在處理噪聲數據時會更魯棒。

除了上述主實驗結果分析外，我們也同時分析了不同模塊組件對最終效果的影響。

如表3所示，這裏T代表文本匹配模塊、R代表關係匹配模塊、C代表協作學習網絡。

結果表明，所有這三個組件對提高人崗匹配的性能都有正向作用。尤其是文本匹配模塊和協作學習網絡給模型帶來的提升較大。

此外，一個有趣的觀察是，簡單地融合多視圖的數據可能不會導致良好的性能（即TR <T）。

這側面證實了仔細設計策略將多視圖數據用於任務融合的必要性。

表3:消融實驗結果

參考文獻

[1] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero, and Larry Heck. 2013. Learning deep structured semantic models for web search using clickthrough data. In Proceedings of the 22nd ACM international conference on Conference on information and knowledge management, pages 2333–2338. ACM.

[2] Chuan Qin, Hengshu Zhu, Tong Xu, Chen Zhu, Liang Jiang, Enhong Chen, and Hui Xiong. 2018. Enhancing person-job fit for talent recruitment: An ability-aware neural network approach. In In Proceedings of the 41st International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR-2018) , Ann Arbor, Michigan, USA.

[3] Chen Zhu, Hengshu Zhu, Hui Xiong, Chao Ma, Fang Xie, Pengliang Ding, and Pan Li. 2018. Person-job fit: Adapting the right talent for the right job with joint representation learning. ACM Transactions on Management Information Systems ACM TMIS.

[4] Shuqing Bian, Wayne Xin Zhao, Yang Song, Tao Zhang, and Ji-Rong Wen. 2019. Domain Adaptation for Person-Job Fit with Transferable Deep Global Match Network. In EMNLP-IJCNLP 2019. 4809–4819.

[5] Rui Yan, Ran Le, Yang Song, Tao Zhang, Xiangliang Zhang, and Dongyan Zhao. 2019. Interview Choice Reveals Your Preference on the Market: To Improve Job-Resume Matching through Profiling Memories. In KDD 2019. 914–922.

[6] Eran Malach and Shai Shalev-Shwartz. 2017. Decoupling ''when to update'' from ''how to update''. In NeurIPS 2017. 960–970.

[7] XiangnanHe and Tat-SengChua. 2017.Neural Factorization Machines for Sparse Predictive Analytics. In SIGIR 2017. 355–364.