R-MeN: 個性化搜索的關係記憶網絡Embedding

導語

本文是ACL20的一篇表示學習work。

文末附 Github Repo.

知識圖譜Embedding對於知識圖譜補全以及下游任務扮演着重要的角色，然而現有的研究方法沒有充分利用三元組之間潛在的依賴關係。

本文以此爲出發點，提出基於關係記憶網絡的Embedding模型：R-MeN, 其中包含多頭注意力機制編碼，並在三元組分類以及個性化搜索任務中驗證模型效果。

R-MeN: R elational Me mory N etwork

一、背景和出發點

1.1 背景

知識圖譜Embedding(知識表示學習)在早期的研究中有很多的研究工作，比如以TransE爲研究起點的翻譯模型，因爲其簡單高效，得到了學術界和工業界的青睞。但是由於其內身存在的缺點，又衍生出來一系列模型，包括TransH、TransR、TransD等，這些模型大多以簡單的線性操作建模。近兩年來，也慢慢的開始採用深度神經網絡進行研究工作，包括ConvE、CapsE等。

1.2 出發點

上述的研究方法在知識圖譜補全方面(目標是：根據已有的關係和實體推斷出另外的實體)有良好的表現，然而在其他的兩個實際應用中卻沒有捕捉三元組之間潛在的依賴關係，即三元組分類和個性化搜索。

三元組分類(Triple Classification): 判斷給定的三元組是否有效。

個性化搜索(Search Personalization):對於用戶給定的query，對搜索系統返回的相關文檔重新排序(re-rank)。

本文以學習三元組之間潛在的依賴關係爲出發點，借鑑已有的工作[2]提出R-MeN。其中採用Transformer中的多頭注意力機制編碼潛在依賴關係，並採用CNN對三元組解碼打分。

二、R-MeN

我們先來看一下 R-MeN模型結構圖 Fig1(這個圖示很簡單哈)。

M 代表一個記憶存儲

g 代表一個記憶門控單元

具體包含三部分

輸入向量
多頭注意力編碼
CNN解碼

2.1 輸入向量

我們將三元組的形式採用以下形式存儲：

(subject, relation, object)

簡寫：(s, r, o)

衆所周知，Transformer中考慮了位置向量信息，所以在此假設s, r和o之間的相對位置對推理關係是有用的，具體的輸入向量如下，其中,,分別爲 s, r, o 的向量，爲位置向量，並未提及具體怎麼計算的位置向量， W 和 b 分別爲權重和偏置。

2.2 多頭注意力編碼

我們假設記憶矩陣 M 由 N 行組成，每一行是一個記憶槽位，其中表示時間 t 上的記憶存儲，代表在時間 t 上的第 i 個記憶槽位。

具體的計算公式如下：

H 是多頭注意力機制中 head 數量

⊕ 爲向量拼接操作

α 是softmax計算得到的attention權重值

根據上述計算得到的 M 通過結構圖中的MLP以及門控單元g，得到編碼輸出向量。

2.3 CNN解碼

根據上述的計算，我們對三元組(s, r, o)得到其編碼向量(,,)，然後通過卷積運算計算這個三元組的分數。

∗ 表示局卷積運算

Ω 表示設置的過濾器集合，屬於

m 是卷積窗口大小

w 是權重向量

三、實驗

3.1 任務相關介紹

三元組分類任務
三元組分類任務是判斷給定的三元組是否有效 ，實驗的數據集採用的是 WN11 和 FB13 ， 評價指標是準確率 ，其中有一個閾值，得分超過這個閾值爲有效，否則無效，下面是數據統計：
個性化搜索任務

1. 個性化搜索(Search Personalization) :對於用戶給定的query，對搜索系統返回的相關文檔重新排序(re-rank)，返回的文檔相關度越高，排名越高。

2.根據用戶提交的 query ，用戶，以及 返回的文檔 ，可以將三元組看成(query, user, document)。

3.評測數據集是 SEARCH17 ，採用評價指標是 MRR(mean reciprocal rank)和Hit@1 .

3.2 實驗結果

1、下面是三元組分類在兩個數據集上面的實驗效果，在WN11上面取得了最好的效果，在FB13上面取得了第二的效果。

2、在個性化搜索數據上面取得了最好的效果。

SEARCH17

3、消融實驗，去掉位置編碼和不使用關係記憶模塊。

論文代碼：

https://github.com/daiquocnguyen/R-MeN

結束語

本文考慮到三元組間潛在的依賴關係，借鑑已有的工作提出R-MeN，在三元組分類任務和個性化搜素任務上驗證其有效，可以作爲這兩個任務一個新的嘗試點。

參考資料

[1] A Relational Memory-based Embedding Model for Triple Classification and Search Personalization

[2] Santoro A, Faulkner R, Raposo D, et al. Relational recurrent neural networks[C]//Advances in neural information processing systems. 2018: 7299-7310.

R-MeN: 個性化搜索的關係記憶網絡Embedding