如果只有一張圖片，怎麼創建出一個人逼真的數字化身？

在 2020 年計算機視覺與模式識別會議（CVPR）期間，倫敦帝國學院和 AI 面部分析初創公司 FaceSoft.io 的研究人員介紹了一種 “AvatarMe” 技術，該技術能夠僅僅通過一張普通的圖像或照片，就重建逼真的 3D 半身像。更厲害的是，不僅能從低分辨率目標生成真實的 4K x 6K 分辨率的 3D 人臉，而且還可進行細緻的光線反射。

圖｜3D 人臉重建和實時渲染效果（來源：GitHub）

從視頻會議、虛擬現實到影視遊戲，渲染 3D 人臉都有着數不盡的應用場景，儘管可以在沒有 AI 的情況下擬合出幾何形狀，但是需要更多的信息才能在任意場景中渲染人臉。

爲了提取這些信息，研究人員使用一個有 168 盞 LED 燈和 9 個單反相機的採樣裝置，拍攝了 200 張人臉的毛孔級反射圖，然後他們用這些數據訓練了一個人工智能模型 GANFIT，它可以從紋理合成逼真的人臉圖，同時優化渲染和輸出之間的“身份匹配”。

與其他生成性對抗網絡（GANs）類似，GANFIT 是一個由兩部分組成的模型：一個生成樣本的生成器和一個試圖區分生成樣本和真實樣本的鑑別器。生成器和鑑別器各自的能力互補，直到鑑別器無法將真實的例子與合成的例子區分開來。

此外，AvatarMe 的另一個組件則負責增強紋理的分辨率，還有一個單獨的模塊從被照明的紋理中預測皮膚結構（如毛孔、皺紋或頭髮）中每個像素的反射率，甚至估計表面細節（如細皺紋、疤痕和皮膚毛孔）。

研究人員說，在實驗中，AvatarMe 在最終的渲染中沒有產生任何僞影，併成功地處理了像太陽鏡這樣的 “極端” 案例和遮擋，反射率是一致的，即使在不同的環境中，系統都 “真實地” 照亮了被攝體。

圖｜不同場景下可以自適應的人臉光線反射（來源：GitHub）

三維人臉和幾何紋理的重建是當前計算機視覺、圖形和機器學習交叉領域中最受歡迎的方向，這項研究的關鍵工作之一，是對三維可變形模型（3DMM）擬合法的改進。

在優化渲染和輸入之間的身份匹配的同時，將 3DMM 擬合到 “野生” 輸入圖像，併合成完整的 UV 紋理。

紋理被上採樣 8 次，以合成合理的高頻細節。然後，研究人員使用圖像轉換網絡對紋理進行照明，並獲得具有高頻細節的漫反射反照率，使用單獨的網絡從漫反射反照率和 3DMM 形狀法線推斷出鏡面反射率、漫反射法線和鏡面法線。此外，網絡是在 512x512 補丁上訓練的，推斷過程則是在 1536x1536 補丁上進行。最後，將面部形狀和一貫推斷出的反射率傳遞給頭部模型，呈現出在任何環境中實時渲染的效果。

圖｜AvatarMe 的基本方法框架（來源：GitHub）

如何增強細節？核心是基於補丁的圖像到圖像轉換。照明任務、去光以及從給定的輸入圖像（UV）中推斷漫反射和鏡面反射分量的任務可以表述爲域適應問題，研究人員選擇的模型是 pix2pixHD，它在高分辨率數據的圖像到圖像轉換中顯示了令人印象深刻的結果。

爲了實現皮膚的真實感繪製，研究人員分別對所需幾何體的漫反射、鏡面反射反照率以及法線進行建模。因此，在給定一幅無約束的人臉圖像作爲輸入的情況下，他們就能推斷出人臉的幾何參數以及漫反射反照率（AD）、漫反射法線（ND）、鏡面反射反照率（as）和鏡面反射法線（NS）。

圖｜a、圖像輸入；b、基礎重建；c、超分辨率；d、去光；e、最終渲染（來源：GitHub）

這個細節優化過程還是存在一定小坎坷的。例如，爲了訓練算法模型，研究人員捕獲的數據具有非常高的分辨率（超過 4K），因此不能用於使用 pix2pixHD 進行 “原樣” 訓練，因爲硬件限制（即使是在 32GB 的 GPU 上，也無法以原始格式擬合此類高分辨率數據）。此外，pix2pixHD 只考慮紋理信息，不能利用形狀法線和深度形式的幾何細節來提高生成的漫反射和鏡面反射組件的質量。

所以，爲了克服上述問題，研發人員將原始高分辨率數據分割成 512×512 像素的小塊進行訓練，在推斷過程中，由於網絡是完全卷積的，則補丁可以更大（例如 1536×1536 像素）。

AvatarMe 並非沒有侷限性，這個侷限性就是現在美國科技公司都在極力呼籲的 “種族歧視” 問題。

論文中提到，由於訓練數據集沒有包含來自某些種族的主題示例，因此在嘗試重建膚色較深的面孔時會導致效果不佳，且由於所需數據與 3DMM 模型的微小對準誤差，重建的鏡面反照率和法線有時會顯示出一些高頻孔隙細節的輕微模糊。最後，面部重建的精度跟輸入的照片質量息息相關，一張光線充足、分辨率較高的照片會產生更精確的結果。

研究人員表示，在業內，這是用任何肖像圖像（包括黑白照片和手繪圖）實現 “可渲染” 人臉的第一種方法，作爲一種最新的 3D 人臉生成和實時渲染 AI 系統，AvatarMe 有望使以前需要人工設計的過程逐步自動化。