來源：北京商報

隨着人工智能技術的迅猛發展，AI生成內容已越來越多出現在互聯網上，然而對AI技術的不當使用也頻頻引起社會關注。近日，抖音安全中心發佈不當利用AI生成虛擬人物的治理公告，指出將嚴格處罰違規使用AI生成虛擬人物發佈違背科學常識、弄虛作假、造謠傳謠的內容，針對不當使用AI生成虛擬人物用於犯罪的線索，將報警打擊。

再次規範AI技術使用

3月27日，抖音安全中心公衆號發佈了《抖音關於不當利用AI生成虛擬人物的治理公告》。公告再次重申，創作者、主播、用戶、商家、廣告主等在抖音應用生成式人工智能技術時，須遵循相應規範。

根據公告內容，此次抖音將重點治理利用AI生成假外國人、假精英及利用AI生成形象騙互動等三類內容，包括生成境外虛假人設，消費愛國心理、博取關注；生成俊男美女虛假形象，騙取互動，交友導流；生成精英人士虛假人設，發佈心靈雞湯、財商、僞國學、厚黑學、僞成功學等不良內容，低質吸粉，甚至引流到站外以賣課、入羣等方式獲利。

同時公告還明確指出，發佈者應對人工智能生成內容進行顯著標識，虛擬人需在平臺進行註冊，虛擬人技術使用者需實名認證等。

北京商報記者實操發現，作爲創作者，用戶可以在“設置”頁面對虛擬人身份自行進行申報和備案。抖音官方目前在部分AIGC視頻左下角添加“內容疑似AI生成，請謹慎甄別”文字來提示相關風險，然而在虛擬人領域，除了創作者自行在視頻文案中添加“虛擬偶像/虛擬人”等標籤之外，記者並未在觀衆側看到其他虛擬人身份的官方標識。

去年5月，抖音就曾發佈《關於人工智能生成內容的平臺規範暨行業倡議》，但公告也指出，“近期站內仍有不當使用AI技術生成虛擬人物發佈內容的賬號，平臺進行了嚴厲處置”。

AI欺詐案增長率爆表

利用AI技術的欺詐也層出不窮。《2024人工智能安全報告》顯示，2023年基於AI的深度僞造欺詐案件呈現出驚人的增長趨勢，增長率高達3000%。

今年春節期間，烏克蘭網紅Olga Loiek曾發佈過一條題爲《我在中國被人克隆了》的視頻，宣稱自己的臉和聲音在中文網絡上被盜用，通過AI技術出現在數十個視頻賬號中，並進行帶貨。

截至北京商報記者發稿，抖音平臺上仍存在以Olga Loiek的AI形象示人的帶貨賬號，名爲“Katarina卡塔琳娜”，簡介是一位“在中國生活了五年的俄羅斯女孩”。

雖然該賬號在1月28日後未發佈新內容，但櫥窗信息顯示跟買人數已經超過2.5萬，售出商品件數超2萬，賬號和視頻界面未顯示任何AI風險提示，櫥窗內產品還可以正常購買。

此外，還有不少自稱來自俄羅斯的美女“網紅”活躍於短視頻平臺，用生硬的表情表達着對中國的喜愛，並且表達“想嫁到中國”的願望。北京商報記者發現，這類視頻的目的是通過視頻帶貨推銷各類俄羅斯特色商品，受衆則是二、三線城市的中年男性。

AI帶貨“主播”風波還未完全平息，AI“復活”又登上風口浪尖。近日，多位已逝明星的AI視頻頻繁出現在短視頻平臺上，引發廣泛爭議。

北京商報記者觀察到，“AI復活”服務在淘寶上的定價在10—300元不等。讓去世的明星在視頻中和粉絲說話，或是讓過世的親屬和家人對話，儼然已經變成了一門生意。

值得注意的是，除了封號等常規處罰手段，針對詐騙行爲，抖音本次在公告中特別提到了“平臺已掌握部分黑產團伙不當使用AI生成虛擬人物用於犯罪的線索，將報警打擊”。這種嚴厲的措辭在抖音過往的公告中並不常見，顯示抖音此次治理的力度或將相當大。

在接受北京商報記者採訪時，一位從事短視頻平臺AIGC技術研發的工作人員提到，目前該公告更像是一個“君子協議”，因爲利用模型和技術對這些違規行爲進行高準確度識別仍有挑戰，因此平臺主要還是會通過事後懲罰的方式來限制，當然，監控技術也會越來越成熟，“這是個此消彼長的過程”。

北京商報記者 楊月涵 實習生 李苗