繼此前“10分鐘被AI換臉騙走430萬元”事件引發關注之後，5月25日，4月發生的又一起AI換臉詐騙事件被媒體曝光。這次金額達到245萬元，且整個詐騙過程時間更短，只有9秒鐘。據大皖新聞報道，今年4月，安徽安慶經開區發生一起“冒充熟人”詐騙案，經開公安分局反詐中心民警調查發現詐騙分子使用了一段9秒鐘的智能AI換臉視頻佯裝“熟人”，讓受害人放鬆警惕從而實施詐騙。

5月24日，中國互聯網協會發文提醒，今年以來，ChatGPT和GPT-4等技術的應用，成爲了信息科技領域的熱點，引起公衆對AI技術的廣泛關注和熱情。但伴隨着深度合成技術的開放開源，深度合成產品和服務逐漸增多，利用“AI換臉”“AI換聲”等虛假音視頻，進行詐騙、誹謗的違法行爲屢見不鮮。面對利用AI技術的新型騙局，廣大公衆需提高警惕，加強防範。

除AI換臉詐騙外，生成式AI寫作也被用於編造、傳播虛假信息。5月24日，科大訊飛股價午後一度大幅下跌，之後科大訊飛回應稱，股價下跌系某生成式AI寫作“虛假小作文”導致，謠傳風險爲不實消息。

2023年4月，國家網信辦發佈《生成式人工智能服務管理辦法（徵求意見稿）》，其中提到，“利用生成式人工智能生成的內容應當真實準確，採取措施防止生成虛假信息。”

AI造假亂象所帶來的網絡安全問題引發市場關注，上市公司在AI安全領域積極佈局。

深信服於5月18日舉行產品發佈會，發佈深信服安全GPT，該產品不依賴其他開源模型，由深信服自主訓練，並部署於深信服託管雲，實現完全自主可控。浙商證券分析師劉雯蜀表示，公司基於自身對於威脅情報和攻防技術行業knowhow對通用大模型進行微調，使得安全GPT模型在安全垂直領域的認知超過通用大模型，呈現出檢測效果好、專業性強、個性化診斷以及迭代快速的特點。相較於傳統AI小模型而言，公司安全GPT模型的能力更加強大。針對數據安全問題，公司安全GPT爲自主訓練研發，不依賴開源模型服務，訓練數據部署在深信服託管雲上，可實現數據不出境。

天融信在投資者交流會上表示，公司在惡意樣本、風險信息、威脅知識、安全情報等方面具有多年的海量安全數據積累，提前佈局人工智能領域的研究與應用。已發佈了融入AI技術的防火牆、入侵防禦、僵木蠕、沙箱、大數據分析、態勢感知、EDR、數據防泄漏等多款創新型產品。未來將推出更多賦能網絡安全行業的產品與服務。

美亞柏科稱，在AI監管產品方面，公司已經發布了AI-3300“慧眼”視頻圖像鑑真工作站，可以對深度合成僞造的視頻圖像、AIGC生成視頻圖像進行監測鑑定；公司推出的AIGC檢測平臺支持AIGC生成文本的檢測識別。後續公司將持續圍繞包括反生成式AI在內的AI安全及監管領域進行研究並根據業務需要適時佈局相關產品。

綠盟科技表示，公司在AI安全領域已佈局多年，主要圍繞兩個維度：一方面是利用大數據、人工智能等技術賦能公司原有產品，另一方面是關注AI發展和應用自身面臨的安全風險問題。

（文章來源：新華財經）