摘要:如今 Halide 應用可以支持 iPhone XR、SE 拍攝小動物或其它物體的虛化照片,其實也是利用了蘋果的人像效果遮罩技術來獲得深度圖,再加入自己的後端優化來實現。但目前來看,這套基於機器學習的分割技術更多是爲「拍人」所準備的,它的確可以彌補 iPhone XR 、iPhone SE 這類單攝手機在視差數據上的不足,但如果拍攝對象從人物換成其它物體,算法也會出現判定錯誤。

用單攝像頭去實現虛化拍照並不是什麼新鮮事,之前的 iPhone XR 以及更早的 Google Pixel 2 都有過類似的嘗試。

蘋果新推出的 iPhone SE 也是如此,但它的攝像頭元件過於老舊,主要功勞還是在算法上。

▲ 從左到右,分別是新 iPhone SE、iPhone 8 和 iPhone XR 的攝像頭傳感器

從 iFixit 的拆解報告可以得知 ,新款 iPhone SE 中的某些零部件和 iPhone 8 是完全一致的,甚至達到了可以互換使用的程度——其中就包括了那顆 1200 萬像素的廣角攝像頭。

「舊瓶裝新酒」的做法對 iPhone SE 而言並不稀奇,倒退回四年前,第一代 iPhone SE 也套用了 5s 的外觀和大部分硬件,所以蘋果才能給出更低的價格。

理論上,照搬相同的攝像頭硬件,兩者的拍照特性應該也不會有太大差異。比如說 iPhone 8 就不支持拍主體清晰、背景模糊的小景深照片,也就是我們常說的「人像模式」。

但查閱蘋果的支持頁面時你會發現,iPhone 8 所不支持的人像模式,卻被新款 iPhone SE 支持了——哪怕兩者的後置鏡頭規格是完全一樣的。

在正常情況下,手機拍虛化照片往往需要靠雙攝來完成——這就和人類的雙眼一樣,手機也要通過兩個位置不同的鏡頭,來獲取兩張不同角度的畫面,然後結合視角差估算出景深,從而實現背景虛化,保持主體清晰。

如今列表上的 Plus 系列,或是近幾年的 X、 XS 和 11 等,基本都是靠多攝系統來完成人像虛化拍攝。

那麼 iPhone 的前置單攝又是怎麼解決的?核心在於 Face ID 系統中的紅外點陣投影器,同樣可以獲取到足夠精準的深度數據,相當於是一顆「輔助鏡頭」。

這麼來看,iPhone SE 能拍人像模式照片就很特殊了:一來它沒有多攝,二來它也沒有 Face ID,基本不存在硬件支持的可能性。

很顯然,蘋果在軟件層面做了些我們看不到的改動。

最近,第三方相機應用 Halide 的開發者 Ben Sandofsky 就透露了其中的技術原理,解釋爲什麼新 iPhone SE 採用了和 iPhone 8 一樣的單鏡頭規格,但卻可以做到後者所無法實現的人像拍照模式。

他們表示,新 iPhone SE 很可能是「第一款只使用單一的 2D 圖像,就可以生成人像虛化效果的 iPhone」。

你可能會說,iPhone XR 不也是單攝拍虛化的嗎,SE 照搬它的方案不就好了?

然而拆解的情況已經證明, iPhone SE 和 iPhone XR 的攝像頭並不一致,這也導致了兩者在技術實現上存在差異。

▲ 三星 Galaxy S7 系列是首個將 DPAF 技術運用在智能手機攝像頭上的設備

最重要的一點,iPhone XR 的攝像頭可以使用雙像素自動對焦(DPAF)技術,這讓它能基於硬件獲得一定的深度數據。

簡單來說,DPAF 技術相當於將攝像頭傳感器上的像素點,分割成兩個更小的並排像素,去捕捉兩張角度不同的照片,就像是我們的左右雙眼一樣。

雖然這產生的視角差不如雙攝那麼明顯,但仍有利於算法去生成深度數據。

▲ Google Pixel 2、3 使用 DPAF 技術獲得的兩張視差圖,肉眼難以感知,但仍可以幫助圖像分割算法做出判斷

此前,Google 在 Pixel 2、3 上也運用了這樣的技術來實現單攝虛化。而在 Pixel 4 上,由於該機換成了多攝規格,視差探測明顯比單攝更精準。

▲ 再來看看 Pixel 4 靠兩顆攝像頭獲得的數據,視差更明顯,也能收集到更精準的數據

至於新 iPhone SE,由於它的傳感器過於老舊,Halide 稱它無法依靠傳感器來獲取視差圖,基本只能靠 A13 Bionic 芯片所提供的機器學習算法,去模擬和生成深度數據圖。

一句話解釋就是,iPhone SE 的人像虛化拍攝,完全是靠軟件和算法來實現的。

▲用 iPhone XR 和新 iPhone SE 直接對着這張照片拍攝

Halide 用 iPhone XR 和新 iPhone SE 分別拍攝了一張小狗的照片(並非實拍,只是給「一張照片」拍照),然後對比兩張圖的深度數據。

他們發現,iPhone XR 僅僅是做了簡單的圖像分割,將主體摳了出來,但並沒有正確識別出小狗的耳朵。

▲ 深度數據圖,左邊是 iPhone XR,右邊是新 iPhone SE

但在新 iPhone SE 上,配合 A13 芯片所提供的全新算法,我們則得到了一張完全不同於 XR 的深度圖。它不僅正確識別出了小狗的耳朵和整體輪廓,還針對不同遠近的背景做了分層處理。

這種深度圖並不是 100% 準確的,Halide 表示,新 iPhone SE 在拍攝非人臉題材的虛化照片時,摳圖和虛化的精準度明顯沒有拍人像時來得精準。

尤其是在一些主體和背景圖十分模糊的情況下,此時多攝像頭的優勢會更明顯些。

▲ 在這類非人臉題材,且主體和背景沒有明顯分割的場景下,新 iPhone SE 的虛化就很容易出錯

從這張圖可以看到,配備了多攝系統的 iPhone 11 Pro,不僅能將圓木上小植物輪廓完整地勾出來,而且還能對識別出背景的遠近距離,並做出分層處理。

▲ 深度數據圖,左邊是 iPhone 11 Pro,右邊是新 iPhone SE

而在新 iPhone SE 上,儘管同樣有分層處理的結果,但被攝主體和背景已經完全融在了一起,做後期虛化處理時自然會比 iPhone 11 Pro 差不少。

▲ 實際的虛化樣張,左邊是 iPhone 11 Pro,右邊是新 iPhone SE

這也是爲什麼,當新 iPhone SE 使用 iOS 自帶相機應用時,只有在檢測到人臉的情況下,才能啓用「人像模式」拍虛化照片,其餘情況則會出現錯誤提示。

原因仍然和蘋果的算法有關。Halide 提及了一個名爲「Portrait Effects Matte」(人像效果遮罩)的技術,主要用於在人像模式照片中尋找出精確的人物輪廓,包括邊緣的髮絲、眼鏡框等細節,然後再將主體和背景進行分割。

但目前來看,這套基於機器學習的分割技術更多是爲「拍人」所準備的,它的確可以彌補 iPhone XR 、iPhone SE 這類單攝手機在視差數據上的不足,但如果拍攝對象從人物換成其它物體,算法也會出現判定錯誤。

至於像 iPhone 11 Pro 這類多攝手機,則可以直接通過攝像頭硬件來獲得視差數據,所以它們在使用自帶相機時,也能將人像模式用在非人臉場景中。

▲ 新 iPhone SE 的前置鏡頭也支持人像模式,對人臉的摳圖精度非常高,成像差異只是在散景效果上

當然,官方不支持的東西,第三方開發者還是可以拿來加以改造。如今 Halide 應用可以支持 iPhone XR、SE 拍攝小動物或其它物體的虛化照片,其實也是利用了蘋果的人像效果遮罩技術來獲得深度圖,再加入自己的後端優化來實現。

▲ 使用 Halide 這樣的第三方應用,就可以用新 iPhone SE 拍非人臉題材的虛化照片

總得來看,本次新 iPhone SE 所實現的人像虛化拍照,算是單攝手機靠軟件優化所能做到的極限了。嚴格意義上,這其實也得歸功於那顆 A13 芯片,如果不是它帶來了最新的機器學習算法,單靠攝像頭本身,SE 的拍攝體驗顯然得打個對摺。

所以, 智能手機發展多攝系統仍然是有意義的,我們可以用超廣角來拓寬取景視野,可以靠長焦頭來獲得無損變焦照片,更別說 ToF、激光雷達這類「特殊鏡頭」對 AR 增強現實的探測幫助,這些都不是單純靠一個 OTA 升級,或是算法的打磨就能實現的。

當然,一味地吹噓、比拼攝像頭數量同樣令人厭煩,如果說硬件只是決定了成像的下限,那麼一套優秀的算法,則可以顯著拉昇成像的上限,甚至是重新壓榨出老硬件的價值和潛力。

不知道再等個四年,下一代 iPhone SE 面世時,單攝還能否在手機行業留有一席之地?

題圖來源:Apple

相關文章