據 IT 之家 12 月 8 日消息,Meta 昨日推出一款名爲 Purple Llama 的 AI 檢測套件,號稱提供了一系列工具,可幫助開發者檢測自家 AI 安全性,並“負責任地部署生成式 AI 模型與應用程序”。 Purple Llama 套件目前提供“CyberSec Eval”評估工具、Llama Guard“輸入輸出安全分類器”,Meta 聲稱,之後會有更多的工具加入這一套件。Meta 介紹稱,Purple Llama 套件旨在規範自家 Llama 語言模型,也能夠作用於其它友商的 AI 模型,這一套件的名稱由來,是基於安全領域的“紫隊概念”。 Meta 聲稱,紫隊是“攻擊紅隊和防禦藍隊”的結合,而 Purple Llama 套件的作用,就是在評估和緩解 AI 模型的潛在威脅,“兼顧攻擊和防禦策略”。具體而言,Purple Llama 套件目前能夠量化大模型在網絡安全風險的指標,評估可能存在的代碼漏洞,併爲模型的安全性提供見解,此外還能檢查並過濾模型的輸入和輸出內容,防止黑客“越獄”相關模型。
相關文章