機器之心轉載

中科院計算所高林團隊在計算機圖形學頂會 ACM SIGGRAPH 上發表成果DeepFaceEditing,並在計圖框架上開源。


不會PS也想精修照片?找不到驚豔的個性化濾鏡?修出心目中的你,基於計圖的DeepFaceEditing讓這不再是夢想!
DeepFaceEditing是一種新的基於幾何和外觀解耦的人臉編輯的方法,可以通過草圖自由編輯人臉。
基於該方法的智能人臉編輯軟件,不需要用戶擁有專業的PS技術,就能夠通過草圖實現面部細節的編輯與控制,並且同時支持個性化的外觀定製,從而降低了人臉肖像修圖的門檻,同時也減輕專業PS修圖師的工作難度,簡單實用。
先看2個使用DeepFaceEditing軟件的驚豔效果!

從Sketch到DeepFaceEditing
草圖作爲一種圖形交互媒介,很早便受到關注。1963年,圖靈獎得主Sutherland的代表作便是關於草圖繪板[1]。2009年,清華胡事民教授團隊發表於ACM SIGGRAPH ASIA的Sketch2Photo[2]開創基於草圖的互聯網圖像合成的新方向。2020年ACM SIGGRAPH上的DeepFaceDrawing[3]實現了由手繪的草圖生成真實人臉。使用草圖進行人臉肖像的合成與編輯是一個熱門研究話題。
爲了更好的控制生成人臉的外觀特徵,DeepFaceEditing 工作另闢蹊徑。其核心思路是通過引入“深度幾何學習”的研究思路,通過分析和解耦人臉圖像的幾何結構,將真實的人臉解耦爲幾何(Geometry)和外觀(Appearance)兩個特徵。基於此,用戶可以通過草圖編輯人臉的幾何特徵,例如五官的形狀、面部皺紋等,也可以通過選擇參考圖像,編輯人臉的膚色、髮色等信息,定製個性化風格濾鏡。
讓我們先來看一下該方法的人臉生成的效果:

從圖3中可以看出,在給定來自同一人(a)的幾何和外觀特徵時,DeepFaceEditing 可以完美重建輸入人臉(d)。與此同時,當改變對應的外觀參考圖片,DeepFaceEditing可以改變膚色、髮色(b),生成個性化濾鏡。用戶也可以通過編輯草圖,對人臉進行細節的編輯(e)。同時,該方法也可以通過手繪的草稿,生成具有特定外觀的真實人臉(c)。
經典的人臉圖像編輯工作[4]通過語義標籤對人臉圖像進行屬性編輯,近期工作[5]將人臉運動圖像解耦爲全局頭部運動和局部表情運動來合成新的人臉圖像,[6]設計了一種交換的策略來對一般圖像的結構和紋理進行解耦與合成。DeepFaceDrawing[3]以草圖爲基礎由草圖生成真實的人臉圖像,可以實現從無到有的人臉圖像合成卻無法用於編輯已經存在的人臉圖像,而對已有人臉圖像進行美顏和美妝具有巨大的需求。
受上述系列工作的啓發,DeepFaceEditing應運而生,該工作提供一種用戶友好的草圖交互方式對人臉圖像進行編輯。作者將人臉圖像解耦爲幾何特徵和外觀特徵,用戶既可以通過草圖編輯幾何細節,也可以通過參考圖片編輯人臉外觀。同時,針對人臉結構所具有的特殊性,該論文也採取了幾何結構優化策略,對人臉的關鍵區域(雙眼、鼻、嘴和其他區域)分別進行解耦,在生成關鍵區域中間結果後,再融合合成高質量的人臉圖像。通過上述方法,該論文不僅可以實現局部細節的編輯優化,也可以合成全局一致的高質量的人臉圖像。
DeepFaceEditing 算法原理
如圖4所示,DeepFaceEditing 系統主要由兩個模塊組成:局部解耦模塊(Local Disentanglement)和全局融合模塊(Global Fusion)。局部解耦模塊由三個組件構成:幾何編碼器、外觀編碼器、圖像合成器。該模塊可以同時從真實圖片和草圖中提取幾何信息,以此支持用戶的編輯。

在局部解耦模塊中,需要預先訓練幾何編碼器。幾何編碼器針對草圖和真實圖像,分別使用了不同的編碼網絡,獲取幾何特徵。訓練完成幾何編碼器後,算法固定幾何編碼網絡的權重,訓練外觀編碼器與圖像合成器。外觀編碼器使用全局平均池化,消除人臉外觀特徵圖像上的空間信息並提取與幾何特徵無關的外觀特徵。圖像合成器則以幾何編碼網絡生成的結果作爲輸入,將外觀特徵與幾何特徵融合,生成局部圖像及中間特徵圖。
局部解耦模塊的訓練包含了三部分損失函數:重建損失、對抗損失和交換損失。當幾何特徵和外觀特徵來自同一圖像時,重建損失保證網絡可以完美的重建對應的局部圖像。算法局部和全局網絡都使用了GAN的訓練策略,用對抗損失保證局部生成圖像的真實性。
在局部解耦的訓練過程中,該論文使用了一種交換的策略:分別從圖像I1和I2中提取幾何特徵和外觀特徵,合成新的交換結果I’。通過約束該交換結果I’與幾何輸入圖像I1有相同的幾何編碼特徵,來保證交換後幾何特徵不變。針對外觀特徵,使用一種循環重建的約束方式:從該交換結果I’中提取外觀特徵,與外觀輸入圖像I2的幾何特徵進行合成I2’,循環重建對應的外觀輸入圖像。
局部解耦模塊訓練完畢之後,則開始對全局融合網絡進行訓練。全局融合網絡先對局部解耦網絡生成的中間特徵圖進行拼接,再以拼接後的特徵圖作爲輸入,基於Pix2PixHD的網絡結構,融合局部特徵,生成具有全局外觀一致性的人臉。
用戶怎麼編輯
DeepFaceEditing可以從真實照片中提取草圖,用戶通過編輯草圖,可以對人臉進行細節編輯。如圖5界面中的(a),即爲用戶對圖像提取到的草圖編輯後的結果。(d)爲外觀參考圖像列表,用戶通過選取/加載外觀參考圖,實現人臉的膚色、髮色等外觀信息的編輯。控制菜單欄(c)中包含幾何/參考圖像加載,橡皮筆刷、控制筆觸大小等功能。根據編輯的幾何和選擇的外觀,最終合成的人臉編輯結果將實時展示在(b)上。

更多結果展示和應用
再看2個DeepFaceEditing的精彩例子。


鑑於DeepFaceEditing將圖像解耦爲幾何表示和外觀表示,因此,在草圖到真實人臉生成的過程中,可以添加外觀控制。如圖8所示,結合DeepFaceDrawing的流形投影技術,可以從手繪的草圖生成具有不同外觀特徵的真實人臉圖像。


同時,基於解耦的優勢,可以實現對不同圖像的幾何和外觀特徵進行插值,並進一步利用插值後的特徵生成人臉圖像,實現人臉變換,結果如圖9所示。


結語和研究團隊
人臉圖像編輯有着重要應用,不論是嚴肅認真的證件照或是個性潮流的藝術照,一張驚豔的照片都會帶來便利與好運。然而修出一副自然完美的肖像照片,需要高超的PS技術與高昂的時間成本,對於沒有深入學習過PS的新手,是非常困難的事情。同時,想要定製個性化的人臉濾鏡,更是需要大量的精力與非凡的創造力。DeepFaceEditing 改變了這一切,使用該智能人臉編輯軟件,每個人都是藝術家,有如神助!
DeepFaceEditing 採用局部到全局的方法,將人臉的幾何特徵(Geometry)和外觀特徵(Appearance)進行解耦(Disentanglement),能分別對真實圖像的幾何細節和外觀特徵進行編輯,這是該方法行之有效的原因。
DeepFaceEditing的論文已被圖形學頂會ACM SIGGRAPH接受,並將刊登於著名期刊ACM Transactions on Graphics上。
論文的主要作者
高林博士,本文通訊作者。現爲中國科學院計算技術研究所博士生導師/副研究員, 研究方向爲智能計算機圖形學、深度幾何學習等。他畢業於清華大學,獲得工學博士學位(導師:胡事民教授),曾在德國亞琛工業大學進行公派訪問研究(合作導師:Leif Kobbelt 教授)。在ACM SIGGRAPH\TOG、IEEE TVCG、IEEE CVPR等國際知名期刊會議上發表論文40餘篇。他曾獲得亞洲圖形學青年學者獎(Asia Graphics Young Researcher Award)、中國計算機學會科學技術獎技術發明一等獎、CCF-騰訊犀牛鳥基金卓越獎等,併入選英國皇家學會牛頓高級學者。


劉鋒林,共同第一作者,中國科學院計算技術研究所客座本科實習生,研究方向爲智能計算機圖形學。


陳姝宇博士,共同第一作者。現爲中國科學院計算技術研究所特別研究助理,於2021年在中國科學院計算技術研究所獲得博士學位,主要研究方向爲智能計算機圖形學,相關的研究成果發表在計算機圖形學領域國際頂級期刊與會議上,如ACM SIGGRAPH/TOG、IEEE TVCG、Eurographics/CGF和IEEE VR等,曾獲得中科院院長優秀獎,中國科學院計算技術研究所所長特別獎等榮譽稱號。


該項目研究團隊還包括英國卡迪夫大學來煜坤教授、Paul Rosin教授、香港城市大學傅紅波教授、以及中科院計算所李淳芃副研究員,有關論文的更多細節,及論文、視頻、代碼的下載,請瀏覽項目主頁:
http://www.geometrylearning.com/DeepFaceEditing/
目前智能人臉編輯軟件已經發布計圖(Jittor)版本,Jittor是清華大學計算機圖形學實驗室開源的自主深度學習框架。開源代碼見:
https://github.com/IGLICT/DeepFaceEditing-Jittor
參考文獻
Sutherland, Ivan E. 1964. Sketch Pad a Man-Machine Graphical Communication System.Tao Chen, Ming-Ming Cheng, Ping Tan, Ariel Shamir and Shi-Min Hu. Sketch2Photo: Internet Image Montage. ACM Transactions on Graphics (SIGGRAPH Asia 2009), 28, 5 (2009), 124:1-124:10.Shu-Yu Chen, Wanchao Su, Lin Gao, Shihong Xia and Hongbo Fu. DeepFaceDrawing: Deep Generation of Face Images from Sketches. ACM Transactions on Graphics (SIGGRAPH 2020), 39, 4 (2020), 72:1-72:16.Zhenliang He, Wangmeng Zuo, Meina Kan, Shiguang Shan and Xilin Chen. AttGAN: Facial Attribute Editing by Only Changing What You Want. IEEE Transactions on Image Processing, 28, 11 (2019), 5464 – 5478.Yong Li, Jiabei Zeng and Shiguang Shan. Learning Representations for Facial Actions from Unlabeled Videos. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.Taesung Park, Jun-Yan Zhu, Oliver Wang, Jingwan Lu, Eli Shechtman, Alexei A. Efros and Richard Zhang. Swapping Autoencoder for Deep Image Manipulation. In Neural Information Processing Systems (NeurlPS), 2020.

相關文章