對話用眼鏡破解19款手機人臉識別團隊：APP同樣存風險
原標題：對話用眼鏡破解19款手機人臉識別團隊：APP同樣存風險，對抗樣本攻擊是新型安全威脅
破解19款主流手機的人臉識別解鎖系統，以及十餘款金融和政務服務類APP。
近日，依託清華大學人工智能研究院成立的團隊瑞萊智慧RealAI公司披露了一項研究成果引發輿論關注。研究人員通過佩戴一副帶有對抗樣本圖案的眼鏡，輕鬆破解了19款主流手機的人臉識別解鎖系統，甚至還包括十餘款金融和政務服務類APP。
團隊選取了20款手機進行測試。開始前，這20部手機被統一錄入同一位測試人員的人臉驗證信息，隨後另一位作爲“攻擊者”的測試人員戴上該眼鏡依次去嘗試解鎖。結果，除iPhone11外，其餘19款手機全部被成功解鎖。
據介紹，對抗樣本是結合攻擊者的圖像與被攻擊者的圖像通過算法計算生成的干擾圖案，干擾圖案可以使人臉識別系統誤判兩個面部特徵不一致的人爲同一個人。
實際上，對抗樣本是人工智能領域公認的一大漏洞，但以往攻擊嘗試主要在實驗環境下進行。2019年8月，來自莫斯科國立大學、華爲莫斯科研究中心的研究者們曾發佈，在腦門上貼一張對抗樣本圖案，能讓公開的Face ID系統識別出錯，但本次攻擊僅實現讓識別系統“看不到”目標任務，並非攻破商用的手機，其安全性、複雜性與讓人臉識別算法將A識別爲B仍有很大差距。團隊認爲，這次手機的攻擊測試佐證了這一有風險的安全漏洞在商用領域的真實存在性，這也是在全球範圍內首次攻破商用人臉識別系統的案例。
目前，人臉識別技術被廣泛應用於公共安全（罪犯識別、邊防管理）、場所進出（機構門禁、物業服務）、信息處理（賬戶認證、文件解密）等領域，其潛在的安全漏洞除對用戶隱私、個人信息形成威脅外，還可能因系統或算法受到攻擊導致非法侵入，進而引發盜竊、詐騙、侵入住宅等下游犯罪，危及數據、財產乃至人身安全。不過，也有網友認爲此次攻擊測試僅選擇了19款採用2D人臉識別技術的安卓手機和1款使用3D技術的iPhone11，結果不具普遍性和可比性。
2月3日，作爲該研究項目負責人之一、瑞萊智慧高級產品經理張旭東接受了21世紀經濟報道記者專訪，對該對抗算法的技術原理、攻擊樣本選擇情況、3D和2D人臉識別技術有何區別、團隊的初衷與下一步計劃等問題進行了解答。
張旭東表示，選用的19個測試手機人臉解鎖均採用2D技術的原因，其實反映了一個現實問題——市面上搭載3D人臉識別方案的手機型號仍是少數，一般頂配的高價位手機以及安全級別非常高的應用場景纔會選擇3D方案，另一方面，一些價位不算低的旗艦機也主要採用2D方案，可以說，2D方案的應用普及率要遠遠高於3D方案，因此這一安全風險是普遍存在的。他也進一步說明，目前這款眼鏡設計較爲簡單，僅在平面上加一些干擾，所以3D人臉識別方案的解鎖系統不容易被這種方式破解。
對於下一步計劃，他表示要從防禦角度解決目前商用系統中存在的“對抗樣本”漏洞，也會繼續深入人工智能安全對抗研究，嘗試3D人臉識別方案的攻擊路徑，挖掘人臉識別在應用場景中的更多潛在風險，健全人臉識別技術的安全保障，讓大衆更安全地享受人臉識別的便利。
對抗眼鏡破解人臉識別
《21世紀》：爲什麼想要對商用人臉識別系統進行對抗樣本攻擊測試，初衷是什麼？
張旭東：早在2015年在校期間，我們團隊就意識到，人工智能如果日後普及，就必須要解決其安全性的問題，所以從那時起，我們就開始着手相關研究。2018年，隨着清華大學人工智能研究院成立，公司作爲官方的產學研機構孵化成立。我們發現，人臉識別可能是公衆日常生活中接觸最多的人工智能應用場景，因此想驗證學術界討論了很多的“對抗攻擊”這一安全漏洞在商用系統中是否確實存在。
《21世紀》：可否介紹一下對抗眼鏡的製作和技術原理？
張旭東：對抗眼鏡的製作過程比較簡單。比如我要解鎖某個人的手機，我需要用到他的一張照片和我自己的一張照片，然後輸入到我們提前開發好的攻擊算法中，算法會基於兩張照片自動生成一個最優的干擾補丁，就是那個梯形圖案，將圖案打印出來，貼在眼鏡上，對抗眼鏡就製作好了。
背後的原理，可以這樣理解：我在不同場景下的兩張照片，算法一般都會識別出這是同一個人。本質原因是算法把我臉上的一些特徵，比如鼻子眼睛，看成了“數值”，當兩張照片的特徵“數值”比較接近的話，就會被判定爲是同一個人，不同的人之間的特徵“數值”可能相差較遠。
我們可以“問”這個算法，應該在上面加什麼樣的干擾“數值”，也就是干擾圖案，和已有的特徵“數值”加起來後，跟攻擊目標上的特徵“數值”一樣或接近，計算機很快便可以找到一個圖案來匹配。其實，對抗樣本攻擊算法的核心就是找到干擾圖案，找到這個圖案之後，我們就可以人臉識別算法出錯。
《21世紀》：研發對抗樣本攻擊算法耗時多久？
張旭東：這是一個持續迭代的過程，早在2019年，我們就嘗試過在圖片上直接疊加像素擾動去攻擊測試商用手機，當時也能測試成功，但效果不夠穩定。這次我們經過半年左右的時間進行算法升級後，攻擊效果提升比較明顯。
據我們瞭解，業內應該還沒有其他公司或研究團隊能用一張對抗樣本的補丁紙張去解鎖商用的手機，以及一些商用的服務系統。
APP人臉識別同樣存風險
《21世紀》：有部分網友認爲測試的只是2D人臉識別的手機，測試結果容易形成誤導。在測試前，團隊是否調查過市面上手機人臉識別技術的分佈情況，如何選樣的？
張旭東：測試選擇的手機，由兩部分組成，一部分是新買了一批做測試的，包括5個品牌不同價位的安卓機型，另外一部分是團隊日常在使用的手機。都是2D方案的一個主要原因在於，採用3D方案的手機其實並不多，另外3D方案的大多都是七八千元價位的頂配手機，相較之下，2D方案應用率更高。
《21世紀》：你剛纔提到還可以攻擊商用系統，比如說要解鎖某一款APP，甚至利用人臉識別功能進行一些敏感操作，可以直接用嗎？
張旭東：對，理論上是可行的，實際上我們也驗證了這一風險確實存在。雖然APP人臉識別服務與手機的人臉識別服務可能不是一個技術方案，比如手機刷臉解鎖用的是A廠商的技術服務，某個APP用的B廠商的服務。但是他們都能夠破解，原因在於我們生成的攻擊樣本具有遷移性。
《21世紀》：測試中iPhone11倖免於難的原因是什麼？
張旭東：iPhone目前採用的是3D結構光技術，是識別人臉的三維結構圖像。我們目前這款眼鏡製作比較簡單，主要還是在平面圖案上添加了一些干擾，所以不太能攻擊成功。
《21世紀》：也就是說3D人臉識別的技術相對更安全？
張旭東：是的。3D人臉識別方案包括結構光、ToF（飛行時間法）等，它們與2D方案的區別在於採集的是人臉三維立體信息，3D技術方案可能只應用在人臉識別的活體檢測環節，也可能既用來判斷活體也用來做識別。
對抗樣本攻擊是新型安全威脅
《21世紀》：對抗算法現在是否已經反饋給手機廠商？
張旭東：對抗算法是在保密中的，但與廠商有針對風險問題進行溝通。
《21世紀》：這一對抗算法如果被不法人員獲取將帶來什麼影響？是否有防守辦法？
張旭東：人臉識別的應用非常廣泛，就目前而言，考勤門禁、通行閘機等應用都存在這一安全問題，更嚴重的是，一些金融類跟政務類APP的身份認證環節也能被攻破，如果這一技術被不法分子獲取，可能會進行一些非法獲利的行爲。
因爲對抗樣本攻擊不同於傳統的假體攻擊，是一類新型安全威脅，像市面上活體檢測方法難以解決這個問題，所以需要一些新的解決方案。防禦方面，我們有推出相應的安全性評估產品和防火牆產品，能夠檢測識別目標是否佩戴了對抗補丁，有效抵禦針對於人臉比對、識別別模型的物理世界對抗樣本攻擊。
《21世紀》：除了推進對抗樣本算法的解決方案，在人臉識別安全方面，團隊日後還有什麼研究計劃？
張旭東：修補這一漏洞是最首要的。畢竟這類攻擊技術如果被惡意開源普及開來的話，要實施攻擊只是花一兩元去打印一副眼鏡的事。下一步，我們希望修補漏洞，和一些廠商、合作伙伴去共同加固人臉識別的安全性。
同時，我們將繼續拓展對抗樣本攻擊的實現場景，比如如何對3D技術人臉識別實施更加穩定的攻擊。目前，3D人臉識別會更多的應用於安全級別更高的場景，比如移動支付，我們會想知道對抗樣本攻擊對這類場景的危害級別是什麼樣的。包括我們也會研究一些新的漏洞，對抗樣本攻擊主要針對的是算法運行階段，其實訓練等環節也會存在一些安全問題，這些也是我們未來的研究範疇。
（作者：張雅婷，實習生鍾焯）
