智東西

文 | 雲鵬

如果要拎出當下旗艦手機三大比拼核心點,那麼芯片性能、影像系統、屏幕效果必不可少。

在5G時代,短視頻拍攝火爆,攝影和視頻創作已經逐漸走進普通人的生活中,因此攝影攝像幾乎成爲了手機廠商們爭奪的關鍵技術高地。

當然,攻下這座山頭似乎並不容易,各家都組建起自己的影像算法研究團隊,並且和索尼、徠卡這種“大廠”進行合作,共同調教算法。

其實這種利用算法,拓展相機硬件獲取信息能力,來儘可能豐富和全面呈現我們肉眼所見世界的方式,被行業內稱之爲計算攝影。

對於計算攝影的研究,難度其實很大,因爲這需要有比較聚焦、專一的研究團隊和一定的數據基礎,同時在算法研發工具、平臺方面的要求也不低。

有需求,就有市場,很多在視覺算法領域有一定積累的企業,也開始抓住計算攝影這條關鍵賽道,嘗試給出自己的解題方案,而AI似乎在這其中扮演着越來越重要的角色。

爲了揭開這層面紗,理解AI對於計算攝影的根本意義,以及不同玩家究竟是如何與“光影藝術”打交道的,智東西與AI企業曠視科技的工程師進行了深入交流。 一、都是800萬像素,憑什麼你拍的更好?

其實大家真正對於“拍照不止於硬件”有所感知,是從iPhone開始。從iPhone 5一直到iPhone 6s,蘋果一直在沿用一顆800萬像素攝像頭。

但蘋果卻憑藉這一枚祖傳800萬像素攝像頭,“吊打”了當時一衆安卓旗艦手機的拍照素質,在一個小小的相機模組背後,對於硬件的調教和算法產生了關鍵作用。

時間來到2018年,谷歌Pixel 3系列憑藉最佳鏡頭模式、超級變焦、夜景拍照等功能,成爲了當時的“地表最強單攝”手機。

從過去讓手機拍的到,到今天讓手機拍得好,同樣的像素,接近的光學尺寸,但成像效果卻相去甚遠。

曾經廠商們給手機拍照增加各種各樣的功能,但最後發現,一拍即得,反而是用戶最需要的,而實現這種體驗的背後,需要算法提前做大量工作。

其實在計算攝影領域,曠視已經深耕多年,只不過略顯低調。前幾年手機刷臉解鎖和刷臉支付成爲熱門,這背後曠視的算法就多有應用。今天,曠視要將AI的能力融入影像算法,在他們看來,AI纔是計算攝影的未來方向。 二、跟“光“打交道,硬件需要AI來幫忙

那麼AI到底如何給手機影像系統賦能?這聽起來似乎有些抽象。通過與曠視工程師進行交流,我對他們基於深度學習神經網絡能力的“AI+CV”超畫質技術有了更深的理解。

其實通俗來講,這類技術就是通過AI來對高畫質數碼相機的成像特性進行學習,還原景物原有的細節紋理,使畫面品質得到整體提升。

也就是說,“原來硬件看不到的,AI來告訴它都有什麼”,獲得超越圖像原本的效果,從而讓用戶可以更加簡單便捷的獲得一張“好照片”。

曠視特別提到,目前他們的超畫質產品已經在50多款熱銷手機中有所應用,並多次在相機評測機構DXOMark中取得當時的最高分。

具體來看,曠視的超畫質技術主要是針對全局和細節兩方面分別進行優化處理。

比如畫面細節增強、動態範圍提升、降噪效果提升這類屬於全局優化的範疇,而閉眼融合修復、天空噪聲優化、揮手鬼影優化這些則屬於細節優化。

曠視的工程師告訴智東西,對於“超畫質”,曠視追求的是整體影像拍照好看,這個好看主要是對於光的處理。

“光有三個域,分別是時域、頻域、空域。曠視超畫質做的核心工作,就是對三個域上的信號進行增強,或者優化處理。”

就比如對於噪聲的優化,曠視算法的核心就是對時域和空域信號的補充。

首先AI會對自然光譜進行學習並總結特性,然後就可以藉此對相機傳感器所捕捉的信號進行分辨,哪些是噪聲,哪些是成像需要的信號。最後把需要的部分還原,把噪聲的部分去掉,這就是AI在降噪算法上的一個典型應用。 三、計算攝影的本質,是“光感知”的協同設計

從超畫質技術,我們可以看出曠視對於計算攝影的發展路徑有着自己的理解和判斷。

其實拍攝本質上是一個“光感知”的過程。光:光線本身及光學路徑;感:接收光線做光電轉化;知:將光信號做計算處理。

形象的來理解,其實可以比作人眼看到物體的過程。人眼中的晶狀體和角膜是光學系統,而感知的部分是視網膜,處理的部分是大腦。

以前手機相機硬件之間的交流是通過相對固定的信息參數,光的部分以鏡頭爲媒介,把參數給到感的部分(傳感器),基於這些信息感的部分來做優化設計,這是單一“小水管”形式,各個部分單打獨鬥,各自提升。

而現在通過AI算法,曠視在各硬件之間搭建了一個類似神經網絡的鏈接,從最優影像效果出發,優化各個硬件的參數。

曠視的工程師特別強調說,光感知系統是一個整體,他們一定是協調工作的。邏輯上是通過擴大整體信息管道的通量,讓不同硬件設備之間形成更有效的全局優化,使整個系統的效果更往上走一個臺階。

曠視將這種思路和方法稱爲:用AI重新定義光感知系統。而AI計算攝影就是曠視在手機影像領域應用這種方法的體現。 四、爲了讓AI更懂“什麼是美”,先要把自己訓練成“美學家”

可以看到,AI的加入讓影像系統的算法之爭又上升到了一個更高的維度,而這也需要大量研發人員、大量研發資金的投入來慢慢打磨。

九年前,曠視進入了AI視覺這條賽道。從面部識別到計算攝影算法,他們一直在拓展自己在AI算法領域的研究邊界。

目前曠視研究院已經擁有500多位研究員,據稱這樣的規模在全球範圍內也屬於比較領先。

爲了提升超畫質的實際表現,曠視搭建了自己的光學實驗室、圖卡實驗室等專業實驗室。

曠視的工程師告訴智東西,爲了讓AI更懂“什麼是美”,他們從事超畫質研發的同學,在訓練算法前,都要先將自己訓練成能夠辨識美的“美學家”,只有自己能夠熟練辨識什麼是好照片,才能開發出實際表現更貼近用戶需求的超畫質算法。

就比如,色彩的表現力和自然真實之間如何做取捨?這就是一個非常令人糾結的問題。這時候,就不能盲目訓練算法,而是要先通過人來評判。

曠視的超畫質工程師們會跟專業的圖像質量測評集去打交道,也會跟客戶一起討論,“先把自己訓練出來,知道怎樣做好看了,才知道自己做的圖是不是好。”

憑藉研發人員這種認真和執着,依託曠視Brain++平臺的能力,在不到2年的時間裏,曠視超畫質技術已經迭代到3.0版本,整體研發及交付效率提升了6倍。

從算法驅動到價值驅動。曠視的工程師說,客戶曾有一句評價令他們印象很深刻:“曠視只要選好方向,就非常堅定,最終能夠做出來好的產品。”

這種口碑的養成,其實都需要一步一個腳印的慢慢積累。 結語:AI計算攝影未來還有很大想象空間

隨着拍照軟硬件系統整體的複雜度越來越高,通過深度學習神經網絡找到最優參數的解法,其優勢逐漸突顯。在手機AI計算攝影這條路上,曠視找到了屬於自己的核心要訣。

當下,手機仍然是目前技術創新密度和技術價值密度最高的產品之一。智能手機攝影攝像在近幾年內依然會成爲各家產品的主打賣點,因此市場對於AI拍照算法的需求也會只增不減。

這條賽道既有蘋果這樣的手機廠商在帶動,也有曠視這樣的AI公司在持續投入,更有許多創業公司仍然在探索更多細分領域的機會,AI計算攝影這條賽道,好不熱鬧。

相關文章