本文轉載自機器之心

僅從一個人的抖音、快手、騰訊視頻的觀看記錄裏，我們能發現什麼？這篇被信息檢索領域頂級國際會議 SIGIR 接受爲長文章的論文可以告訴你。

近日，騰訊看點推薦團隊、Google Research 和中科大的研究工作首次證實，僅依靠用戶視頻新聞觀看記錄，就可以精確地推測出用戶的各種個人信息信息，包括但不限於用戶年齡段、性別、喜好、人生狀況（例如單身/已婚/懷孕等）、職業、學歷等信息，甚至是否有心理抑鬱暴力傾向。

這一客觀發現和研究方法將有利於改進現有的一些公共服務質量，提供相關輔助依據實現更爲精準的政府決策，也可以爲商家和廣告商等帶來更大的利潤，同時也會進一步推動隱私保護的相關研究和相關法案（可以想像以抖音快手這種短視頻 APP 爲例，每天每個常規用戶可以產生數百乃至數千的點擊記錄，如此巨大的用戶行爲數據潛在地包含了我們無法想象的個人隱私數據）。該項研究已經被信息檢索領域頂級國際會議 SIGIR 接受爲長文章。以下主要針對該文章的技術部分進行總結介紹。

論文題目：Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation

鏈接： https://arxiv.org/pdf/2001.04253.pdf

開源代碼：

https://github.com/fajieyuan/sigir2020_peterrec

會議：SIGIR2020

摘要：推導遷移學習對計算機視覺和 NLP 領域產生了重大影響，但尚未在推薦系統廣泛使用。雖然大量的研究根據建模的用戶-物品交互序列生成推薦，其中很少嘗試表徵和遷移這些模型從而用於下游任務（數據樣本通常非常有限）。

在本文中，我們深入研究了通過學習單一用戶表徵用戶各種不同的下游任務，包括跨域推薦和用戶畫像預測。優化一個大型預訓練網絡並將其適配到下游任務是解決此類問題的有效方法。但是，微調通常要重新訓練整個網絡，優化大量的模型參數，因此從參數量角度微調是非常低消效的。爲了克服這個問題，我們開發了一種參數高效的遷移學習架構，稱爲 PeterRec。PeterRec 可以快速動態地配置成各種下游任務。具體來說，PeterRec 通過注入一些的的小型但是極具表達力的神經網絡，使得預訓練參數在微調過程中保持不變。我們進行大量的實驗和對比測試以展示學習到的用戶表示在五個下游任務中有效的。此外，我們證實了 PeterRec 可以在多個領域進行高效的遷移學習時可以達到與微調所有參數相當或有時更好的性能。

序言：

在過去的十年中，社交媒體平臺和電子商務系統（例如抖音，Amazon 或 Netflix）越來愈多的被使用。大量的點擊和購買互動，以及其他用戶反饋是在此類系統中顯式或隱式創建的。

以抖音爲例，常規用戶在每個周可能觀看成百上千個短視頻。與此同時，大量的研究表明這些用戶交互行爲可以用來建模用戶對於物品的喜好。比較有代表性的深度學習模型，例如 GRU4Rec 和 NextItNet 在時序推薦系統任務中都取得了較大的成功。然而絕大多數已有工作僅僅研究推薦任務在同一平臺的場景，很少的工作嘗試學習一個通用用戶表徵，並且將該用戶表徵應用到下游任務中，例如冷啓動用戶場景，用戶畫像預測。

爲了解決這個挑戰，本文嘗試一種無監督訓練方式預訓練一個神經網絡，然後將此神經網絡遷移到下游任務中。爲此，論文需要至少解決三個問題；（1）構造一個有效的預訓練模型，能夠建模超長用戶點擊序列；（2）設計一種微調策略，能夠將預訓練網絡適配到下游任務。目前爲止，沒有相關文獻證實這種無監督學習的用戶表徵是否對其他場景有幫助。（3）設計一個適配方法，能夠使得不同任務都能充分利用預訓練網絡參數，從而不需要微調整個網絡，達到更加高效的遷移學習方式。

注意：PeterRec 不需要藉助於任何圖像和文本特徵，僅需要用戶點擊物品 ID 即可。中間網絡爲大量堆疊的空洞卷積網絡。

爲了達到以上目標，研究者提出採用空洞卷積神經網絡構建大型的預訓練模型，採用一定空洞率設置的多層卷積網絡可以實現可視域指數級增長，從而捕獲和建模超長的用戶點擊行爲，這一優勢是目前很多時序網絡難以達到的，例如經典的 RNN 網絡建模長序列時通常會遇到梯度消失和爆炸問題，並且並行訓練低效，Transformer 等知名 NLP 網絡對顯存需求和複雜度也會隨着序列長度以二次方的級增加。同時爲了實現對預訓練網絡參數的最大化共享，論文提出了一種模型補丁方式，類似於植物嫁接技術，只需要在預訓練網絡插入數個的模型補丁網絡，既可以實現預訓練網絡的快速遷移，效果甚至好於對整個模型全部微調。研究主要貢獻：

1. 提出一種通用用戶表徵學習架構，首次證實採用無監督或者自監督的預訓練網路學習用戶點擊行爲可以內用來推測用戶的屬性信息。這一發現將有望改進很多公共服務，帶來更大的商業利潤，同時也會引發甚至推動對於隱私保護的相關問題的研究。

2. 論文提出了一種非常有效的模型補丁網絡，網絡相對於原來的空洞卷積層參數量更小，但是具有同等表達能力。

3. 論文提出了兩種模型補丁的插入方式，並行插入和串行插入

4. 論文通過分割實驗報告了很多有洞察的發現，可能會成爲這個領域的未來一些研究方向

5. 論文開源相關代碼和高質量的數據集，從而推動推薦系統領域遷移學習的研究，建立相關基準。

方法：

本研究預訓練網絡採用空洞卷積網絡，每層空洞因子以

增加，通過疊加空洞卷積層達到可視域指數級的增加，這一設計主要遵循時序模型 NextItNet[1]，如圖 1 所示。預訓練優化方式，本文采用了兩種自監督方式，分別是單向自迴歸方式[1]以及雙向遮掩法[2]，分別對應因果卷積和非因果卷積網絡，如圖 2 所示。

本文的微調方式非常簡單，採用直接移除預訓練 softmax 層，然後添加新任務的分類層，另外，本文的主要貢獻是在預訓練的殘差塊（圖 3（a））插入了模型補丁網絡，每個模型補丁有一個瓶頸結構的殘差塊構成，如圖 3（f）所示。本研究提出了幾種可選擇的插入方式，如圖 3（b）（c）（d）。注意（e）的設計效果非常差，文章分析很可能是因爲模型補丁的和操作，並行插入的和操作與原始殘差網絡的和操作夾雜在一起，影響最終優化效果。另外文中給出分析，通常模型補丁的參數量僅有原始空洞卷積不到十分之一的參數量，但是可以達到與所有參數一起優化類似或者更好的效果。

實驗：

本文作者進行了大量的實驗，並且論文會開源代碼和相關脫敏後的數據集。

實驗 1

論文首次證實採用無監督預訓練方式非常有效，論文對比 PeterRec 的兩種設置，有無預訓練下的實驗效果，如圖 4. 圖中所示 PeterRec 大幅度超越 PeterZero，證實了本研究預訓練的有效性。

實驗 2

幾種微調方式比較，如圖 5 所示。圖中證實 PeterRec 僅僅微調模型補丁和 softmax 層參數達到了跟微調所有參數一樣的效果，但是由於僅有少數參數參與優化，可以很好的抗過擬合現象。

FineAll 微調所有參數，FineCLS 只微調最後 softmax 層，FineLast1 微調最後一個空洞卷積層，FineLast2 微調最後兩個空洞卷積層。

實驗 3

與常規的比較知名的 baseline 比較冷啓動推薦效果和用戶畫像預測效果。具體分析可參見原文分析。

實驗 4

在少量標籤有效的情況下 PeterRec 效果。可以發現 PeterRec 不僅超過 FineAll，而且相對於 FineAll 微調過程幾乎不會出現過擬合現象。

論文在結論和未來工作部分說明 PeterRec 不僅僅可以用戶論文中的實驗，甚至可以用來提前感知青少年心理健康，例如如果我們如果知道青少年每天觀看瀏覽的視頻信息，通過 PeterRec 僅需要少量的標籤數據就可以預測出該少年是否心理健康，是否存在暴力傾向陰鬱等問題，從而提前告知父母以便提前採取措施。

[1] A simple convolutional generative network for next item recommendation.Yuan, Fajie and Karatzoglou, Alexandros and Arapakis, Ioannis and Jose, Joemon M and He, Xiangnan, WSDM2019.

[2] Future Data Helps Training: Modeling Future Contexts for Session-based Recommendation. Yuan, Fajie and He, Xiangnan and Jiang, Haochuan and Guo,Guibing and Xiong, Jian and Xu, Zhezhao and Xiong, Yilin. WWW2020