IT之家 2 月 8 日消息，相比較微軟的風生水起，蘋果公司在 AI 領域的佈局顯得低調很多，但這並不意味着蘋果在該領域就沒有絲毫建樹。蘋果公司近日發佈了名爲“MGIE”的新型開源人工智能模型，它可以根據自然語言指令編輯圖像。

圖源：VentureBeat 與 Midjourney 合作製作

MGIE 的全稱是 MLLM-Guided Image Editing，利用多模態大型語言模型（MLLM）解釋用戶指令並執行像素級操作。MGIE 可以理解用戶下達的自然語言命令，進行 Photoshop 風格的修改、全局照片優化和局部編輯等操作。

蘋果公司和加州大學聖巴巴拉分校研究人員合作，在 2024 年國際學習表徵會議（ICLR）上發表 MGIE 相關研究成果，而 ICLR 是人工智能研究的頂級會議之一。

介紹 MGIE 之前，IT之家先來介紹下 MLLM。MLLM 是一種強大的人工智能模型，可以同時處理文本和圖像，從而增強基於指令的圖像編輯能力。MLLMs 在跨模態理解和視覺感知響應生成方面表現出卓越的能力，但尚未廣泛應用於圖像編輯任務。

MGIE 通過兩種方式將 MLLMs 集成到圖像編輯過程中：首先，它使用 MLLMs 從用戶輸入中推導出富有表現力的指令。這些指令簡潔明瞭，爲編輯過程提供了明確的指導。

例如，當輸入“讓天空更藍”時，MGIE 可以生成“將天空區域的飽和度提高 20%”的指令。

其次，它使用 MLLM 生成視覺想象力，即所需編輯的潛在表徵。這一表徵捕捉了編輯的本質，可用於指導像素級操作。MGIE 採用了一種新穎的端到端訓練方案，可聯合優化指令推導、視覺想象和圖像編輯模塊。

MGIE 可以處理各種編輯情況，從簡單的顏色調整到複雜的對象操作。該模型還可以根據用戶的偏好執行全局和局部編輯。MGIE 的部分特性和功能包括：

• 基於指令的表達式編輯：MGIE 可以生成簡潔明瞭的說明，有效指導編輯過程。這不僅能提高編輯質量，還能增強用戶的整體體驗。

• Photoshop 風格修改：MGIE 可以執行常見的 Photoshop 風格編輯，如裁剪、調整大小、旋轉、翻轉和添加濾鏡。該模型還可以應用更高級的編輯，如更改背景、添加或刪除對象以及混合圖像。

• 全局照片優化：MGIE 可以優化照片的整體質量，如亮度、對比度、清晰度和色彩平衡。該模型還能應用素描、繪畫和漫畫等藝術效果。

• 局部編輯：MGIE 可以編輯圖像中的特定區域或對象，如臉部、眼睛、頭髮、衣服和配飾。模型還可以修改這些區域或對象的屬性，如形狀、大小、顏色、紋理和風格。

MGIE 是 GitHub 上的一個開源項目，用戶可以點擊這裏找到代碼、數據和預訓練模型。該項目還提供了一個演示筆記本，展示如何使用 MGIE 完成各種編輯任務。

廣告聲明：文內含有的對外跳轉鏈接（包括不限於超鏈接、二維碼、口令等形式），用於傳遞更多信息，節省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。