近日,AI換臉技術因幾例詐騙案的告破引發大衆關注。一位包頭老闆被AI換臉詐騙430萬元後,安徽警方又公佈了另一起AI換臉導致的詐騙案,涉案金額同樣高達百萬元。

伴隨着AI大模型的發展,深度合成技術應用範圍越來越廣,門檻也越來越低,催生了美顏換臉、影視製作、虛擬主播等應用服務。

技術突破還使得換臉後的人物表情、動作細節更爲逼真,存在被不法分子惡意利用,製作違法和不良信息,詆譭貶損他人名譽,仿冒他人身份實施詐騙等現象。

付費軟件可支持直播換臉

商家宣稱“混合多個人臉”可降低侵權風險

紅星新聞記者注意到,自今年起,市面上湧現出許多以“AI換臉”爲宣傳標籤的軟件和網站。由於涉及人臉信息泄露等網絡安全問題,該類技術的運用一直是網絡安全監管的重點對象,許多換臉軟件因而通過短視頻平臺、社交賬號等私密渠道進行資源共享。

5月底,紅星新聞記者實測發現,以“AI換臉”爲關鍵詞在電商平臺搜索,顯示“沒有找到相關寶貝”,但通過類似關鍵詞搜索,依舊可以搜索到相關的換臉技術服務。一名商家向紅星新聞記者介紹,目前店鋪只支持換大部分國外明星的臉,不含國內明星的臉部模型。

另一位商家則介紹,可以提供國內明星換臉服務,軟件價格2000元一套,可送一個模型,“模型可以定製,另外加500元一個。”據該商家銷售人員說,他們的模型要比網上免費分享的“swapface、表情照相機”效果更好,且操作上簡單易學,幾分鐘便可以學會。

此外,該名商家提供了多組套餐供選擇:包括單圖換臉、實時換臉、全自動換臉等,價格多集中在2000元至3000元每套。對於紅星新聞記者提出的侵權顧慮,該商家表示可以進行多個人臉混合的方式,即將使用者本人的臉和明星的臉進行混合,從而降低侵權風險。

在某銷售網站上,一名軟件開發者向紅星新聞記者展示瞭如何將知名女星的眼睛和嘴巴拼接融合到一起,生成全新虛擬數字人的過程。據介紹,該款軟件提供了從初級(LV1)到超級(LV4)再到全套(LV5)的不同版本。以初級套餐來說,付費499元可提供軟件界面、視頻指導、入門級模型、基礎指導等,付費2888元,則可得到全套(LV5)等級的視頻換臉模型。價格不同,套餐中包含的人臉模型數目也不同。

上述軟件開發者介紹,軟件不僅可以實現視頻換臉,還支持直播換臉。“如果你有看中的臉,可以找到某個人的正面、側面等各種角度視頻拿來訓練。”該軟件開發者同樣表示,“如果你想要明星臉,又怕侵權,不想那麼像,就可以找幾個人的臉放在一起訓練,就可以看上去又像又不像,達到明星臉的效果。”

多款AI換臉APP快速火爆又下架

有開發者稱目前人臉已通過原作者授權

由於涉及到個人最重要的生物特徵信息——人臉,存在濫用之嫌的AI換臉技術從誕生起就面臨着許多爭議。近年來多款AI換臉APP在快速爆火後又悄然下架。

2019年起,AI換臉技術就風靡全球,2019年換臉技術DeepFake一出現便引發巨大的倫理和法律爭議。同年,國內一款名爲“ZAO”的換臉社交軟件爆火,用戶只需要在平臺上提交一張自己的正臉照片,便可以替換特定視頻段落中的人物,生成包含自己的影視片段。爆火幾天以後,該軟件就被質疑“霸王條款”過度獲取用戶授權,使用戶拱手相讓自己的肖像權,同時明星被侵權的責任也可能由用戶承擔。幾天後該軟件被工業和信息化部網絡安全管理局約談後下架。此後出現的如“螞蟻呀嘿”換臉軟件等也重複了類似的命運。

近日,紅星新聞記者在應用軟件平臺以“換臉”爲關鍵詞進行搜索,發現平臺中已新出現多款具有AI換臉功能的軟件。以“秀臉FacePlay”爲例,其《隱私政策》條款提到:“我們既不會存儲也不會與任何第三方共享/處理您的個人面部信息。”進入應用後,該軟件再次提示不會保存個人的任何照片,分析完即刪除。紅星新聞記者以明星的名字進行搜索,幾乎沒有出現明星相關的視頻影像。其用於換臉的視頻影像樣本幾乎都是素人用戶。紅星新聞記者諮詢了該軟件的客服,其表示使用該軟件製作的視頻可以進行娛樂分享,不支持商用。“目前我們軟件內上架的視頻模板均由原作者授權或者用戶自行授權投稿,您可以放心使用。”

在短視頻平臺也有許多相關換臉特效,包括影視片段、明星發佈會視頻、網紅視頻等,紅星新聞記者點開後沒有簽署用戶協議的提示。在某短視頻平臺的AI隨拍中,提供了許多明星的視頻供用戶進行換臉。紅星新聞記者選擇了一段視頻並提交照片後,程序提示“15元每週可提供無廣告快速製作,看廣告則可以免費製作”。看過廣告以後,生成的視頻左下角出現一行字進行了顯著標識,稱“該視頻由AI技術合成”,右下角提示“該內容僅供娛樂”。就是否會造成人臉數據泄露、人臉詐騙等問題,紅星新聞記者詢問了該平臺客服,對方表示已在生成或者編輯的信息內容的合理位置、區域進行顯著標識,建議用戶偶爾娛樂,本身被起訴的幾率不高,維權方“維權成本比較高”。

在直播領域,許多網友也發現多位帶貨直播博主都長了一張“明星臉”,神似明星楊冪、迪麗熱巴、angelababy、佟麗婭等。而在直播過程中,沒有出現顯著的標識表明主播的臉可能使用了AI合成技術。另外,有些直播也沒有對明星名字的明顯標識。甚至有網友吐槽,他在直播間提醒商家可能涉嫌侵權後被商家踢出拉黑。

↑在直播領域,許多網友也發現多位帶貨直播的博主都長了一張“明星臉”,神似明星楊冪、迪麗熱巴、angelababy、佟麗婭等

針對這一法律問題,多位律師受訪時認爲,如果對該明星的形象有抹黑,則涉及侵犯名譽權。如果是利用AI換臉技術製作明星的色情視頻,則可能涉嫌刑事犯罪。由於讓公衆誤以爲是明星帶貨,還可能涉及欺詐或虛假宣傳。另外,被侵權的明星可以要求商家賠償換臉“明星”帶貨所得的利潤。

專家:靠AI識破AI仍不現實

有效的標識監管體系能提前釐清邊界

當人們已經很難用肉眼識別出AI合成痕跡,進而可能被AI詐騙時,有網友想到一個辦法:是否可以用AI技術打敗AI技術。

據瞭解,國內已有許多科學家在深耕此領域。中科院計算所一團隊近年來搭建了國內首個AI識謠平臺——睿鑑識謠,通過“睿鑑AI”小程序,利用大數據和AI平臺向公衆開放了“新聞可信度分析”“圖像視頻僞造檢測”等服務,檢測圖片視頻內容真僞。紅星新聞記者上傳了幾張首次進行AI換臉的圖片,被成功證僞。後上傳了一段由AI合成的新聞視頻,該程序則稱AI合成視頻爲真。可見,目前通過技術識別內容真僞還存在一定的侷限。

目前,AI換臉技術用於違法犯罪的行爲主要集中於換臉淫穢視頻盈利、實時換臉詐騙以及換臉直播領域,主要涉及聲音合成、AI換臉、轉發微信語音、AI程序篩選受害人等。浙江大學網絡空間安全學院院長任奎2022年4月接受新華社採訪時表示,隨着合成技術應用門檻的進一步降低,合成內容已模糊真實與僞造的邊界。許多專家擔心,科技界針對深度合成技術的識別能力,跑不過“僞造”技術的升級。

清華大學教授、博士生導師瀋陽也介紹,現在國外有一些AI安全技術雛形,可以自動檢測某個圖片或視頻是否爲AI合成,但當前技術還不是太成熟。“技術難點在於,AI生成的數據量太大,檢測的算力跟不上,且很多AI內容都經歷了多次合成,當前技術難以找到合成特徵。”

創新工場AI子公司CTO張發恩指出,用AI識破AI是個僞命題。有一種人工智能模型訓練方式叫生成辨別對抗訓練,在這種訓練方式下,有兩個AI模型,一個是“造假”模型,一個是辨別模型。同時訓練這兩個模型,當“造假”模型產出的內容越來越逼真,辨別模型就無法辨別真假。基於這種邏輯,我們無法依靠AI來揭穿AI。

北京嘉維律師事務所律師、IT法律專家趙佔領表示,根據2023年1月10日起施行的《互聯網信息服務深度合成管理規定》要求,深度合成服務提供者和技術支持者應當加強訓練數據管理,採取必要措施保障訓練數據安全;訓練數據包含個人信息的,應當遵守個人信息保護的有關規定;提供智能對話、合成人聲、人臉生成、沉浸式擬真場景等生成或者顯著改變信息內容功能的服務的,應當進行顯著標識,避免公衆混淆或者誤認。4月11日,國家網信辦起草了《生成式人工智能服務管理辦法》,提到AI內容必須遵循法律法規等。“從目前來說,如果能夠有效落實標識的要求,形成有效的監管體系,可以在很大程度上提前釐清‘AI換臉’所帶來的模糊邊界。”

紅星新聞記者 蔡曉儀 實習生 徐三妹

編輯 彭疆 責任編輯 魏孔明

相關文章