核心安全團隊解散後，OpenAI公佈10大安全措施，網友點贊

來源：華爾街見聞

第二屆國際AI峯會召開，這次會議的目的是爲AI的安全使用制定指導原則，以防止AI技術給人類帶來潛在危害。OpenAI、谷歌等16家公司表示，如果不能控制風險，將停止開發任何AI模型。同時，在覈心安全團隊解散風波後，OpenAI也在會上公開介紹了實施安全措施的最新情況，證明自己並非將產品凌駕於安全之上，網友紛紛對此表示感謝。

如何安全地發展人工智能？

5月21日週二，爲期兩天的“AI首爾峯會”以在線視頻的方式開幕。本次會議主題主要圍繞如何安全地發展AI。世界各地的領導人、科技公司的高管以及國際組織的代表，在會上共同討論了AI的風險和潛在的好處。

在韓國總統尹錫悅和英國首相蘇納克的共同主持下，16家世界領先的AI公司，包括Meta、OpenAI、谷歌、亞馬遜、微軟等均做出了自願承諾，保證在開發最前沿的AI技術時注重安全，確保AI系統不會失控並危害人類。如果發現某些極端風險無法控制，他們甚至會選擇停止相關AI模型的開發。

同時，AI公司們還提出需要制定一些規則和政策框架，來評估和控制AI可能帶來的風險。不僅是公司，一些國家的集團（比如G7、歐盟等）也表示支持這個想法，他們同意要把AI的安全和創新放在重要位置。

與會者還強調，雖然公司可以自願承諾要安全使用AI，但也需要有政府出臺相關的法律來確保這些承諾能落到實處。被稱爲“人工智能教父”的計算機科學家Yoshua Bengio稱，自願承諾必須伴隨法律監管。目前，全球各地的政府都在努力制定AI相關的法規，例如，聯合國已經通過了關於AI系統安全使用的第一項決議，而歐盟的AI法案預計今年晚些時候將生效。

對此，網友們紛紛點贊稱：“這真是個好消息！很高興看到歐盟爲協調人工智能法規而採取的進步措施。這確實有助於爲人工智能道德和安全制定高標準。期待看到該法案的積極影響顯現！”

雖然AI技術的迅速發展雖然可以造福人類，但同時來帶了一些問題，如大批量失業、誤導人們、傳播錯誤信息等。牛津大學在X上發帖表示：“全球的AI界正在努力推動AI技術的能力越來越強大，但安全和倫理問題往往是事後才考慮的。科學家們在向世界領導人發出呼籲，要求對AI帶來的風險採取行動。他們警告說，自從AI安全峯會以來，在處理這些風險方面的進展還不夠。”

在覈心安全團隊解散風波後，OpenAI披露公司安全措施最新情況，消除網友對公司安全問題的擔憂

例如，在此前OpenAI解散了AI風險團隊事件中，該團隊負責人Jan Leike離職後吐真言，指責OpenAI在過去幾年裏將華而不實的產品凌駕於安全之上，並呼籲OpenAl必須成爲一家以安全爲先的通用人工智能公司。Jan的發言引起了網友的廣泛擔憂，網友擔心OpenAI是否能確保AI技術安全可靠地發展。

5月21日，在覈心安全團隊解散風波後，OpenAI在“AI首爾峯會”上公開分享了公司正在實施的10大安全措施：

模型測試與評估：在發佈新的AI模型前，OpenAI會進行嚴格的安全測試，包括內部和外部的評估。如果發現風險超過了他們可接受的“中等”水平，他們會先進行改進，直到風險降低到可以接受的程度。他們還會請外部的專家來幫助評估風險。

持續的安全與對齊研究：隨着時間的推移，他們的模型在安全性上有了顯著改進，這包括減少錯誤信息的產生和在不利條件下減少有害內容的輸出。公司還在投資實用的安全系統和研究，來進一步提高模型的安全性。

監控濫用行爲：隨着越來越強大的語言模型的部署，公司使用了各種工具來監控安全風險和濫用行爲。他們與合作伙伴（如微軟）共同揭露了技術被濫用的情況，以幫助其他人更好地防範類似風險。

系統性的安全措施：公司在模型的每個生命週期階段實施安全措施，從訓練前到部署。他們在數據安全、模型行爲控制和監控基礎設施方面進行投資。

保護兒童：保護兒童是他們工作的重點。公司在其產品中內置了強大的安全措施，以減少對兒童的潛在危害。

選舉完整性：公司與政府和其他利益相關者合作，以防止AI生成內容的濫用，確保內容透明度，並改善公衆獲取準確投票信息的途徑。

影響評估和政策分析投資：公司的影響評估工作對研究、行業規範和政策具有廣泛的影響。他們也出版了關於如何管理與語言模型相關的風險的先驅性研究。

安全與訪問控制措施：公司重視保護客戶、知識產權和數據安全。他們控制對AI模型的訪問，並投資於網絡安全，如內外部滲透測試和懸賞尋找漏洞的計劃。

與政府合作：公司與全球各地的政府合作，共同制定有效且可適應的AI安全政策。

安全決策和董事會監督：公司有一個稱爲“準備框架”的系統，這個框架AI安全決策提供了指導。公司還有一個跨功能的安全顧問小組，這個小組由來自公司不同部門的成員組成。他們的任務是審查AI模型的性能報告，評估這些模型是否安全，以及在模型正式發佈前提出改進建議。儘管有安全顧問小組提供建議和信息，但最終決定權在公司的高層領導手中。在這整個過程中，公司的董事會也會進行監督。

最後，OpenAI還計劃在未來繼續改進這些做法。