本文來自@flypig

Jon McCormack 是位很有趣的攝影師。他的 Instgram 頁面上 （/jonmccormackphoto）充滿了人文和風光攝影作品——加州的鯨、南極的冰川、肯尼亞的原住民。從頭像看，他常用的機身是 SONY 全畫幅數碼相機，轉接 Leica 的 Elmarit-M 24mm F/2.8 ASPH 鏡頭。他是資深的器材黨。

不拿照相機的時候，他在 Apple 擔任軟件副總裁。他的重要工作：進一步提升 iPhone 的影像系統。

在測試了 iPhone 12 和 12 Pro 之後，我對影像系統中的改進大感興奮，計算攝影的加成功不可沒，同時，我也產生了不少疑問。在和 Jon McCormack 的越洋電話中，他進行了儘可能詳盡的回答。

- 我們在今年的 iPhone 發佈會上聽到了很多次‘計算攝影’（computational photography）。您是 Apple 負責軟件的副總裁，又是一個優秀的人文攝影師。您如何看待‘計算’和‘攝影’之間的關係？

在過去，我們要創作出畫質更好的照片，只能在‘拍攝’這個環節去提升硬件。我們買非常非常大的膠片——大畫幅相機的底片真的很大一張，安裝起來也很麻煩——去買非常非常貴的鏡頭，去手動控制景深和曝光，慎重地按下快門。

但是我們現在用的 iPhone，鏡頭只有這麼小，感光元件也只有指甲蓋大。那麼我們如何找回模擬時代的體驗？我們要靠‘計算’，讓手機做很多的數學題，通過各個傳感器——比如最新加入的 LiDAR——獲得的信息，讓手機自動完成過去‘數碼暗房’裏手動完成的工作。

- 那麼，‘打贏專業的單反和電影機’是你們的目標嗎？

這不是我們的思維方式。

我們在 iPhone 12 的樣片拍攝過程中，能把攝製團隊壓縮到非常小，只有幾個人就完成了樣片拍攝。過去，你要拍攝這樣的鏡頭，要很多人，有的人扛機器，有的人測光，有的人對焦，有的人操作電影機。這種變化，纔是我們工作的核心。

我們的目標是讓每個人都能講述自己的故事，而且讓每個人都能用到最好的科技——比如‘杜比視界’。他們可以從口袋裏掏出一臺小巧的手機，拍下身邊溫馨的畫面，完成編輯，再分享出去，整個流程裏都是‘杜比視界 HDR’的視頻。這種體驗非常美妙。

- 但現在的手機視頻，似乎還不像手機拍照片那樣，在‘計算攝影’上達到很高的完成度。這裏面的瓶頸是什麼？

拍攝視頻和拍攝照片還不太一樣。在拍攝照片的時候，手機有足夠的時間，去做後置的計算處理。但是在拍攝視頻的時候，一秒有 30 幀甚至 60 幀，需要完成的計算任務就非常多了。

在過去的幾年時間裏，手機視頻的中間影調的成像質量已經被解決得很好，大家的水平都差不多。

那麼，挑戰主要集中在陰影和高光。你注意觀察的話，今年 iPhone 在畫面暗部的噪聲已經少了很多，畫面乾淨了很多。另外，我們今年將視頻的色深從 8 比特提升到了 10 比特。我們利用多記錄的這些色彩信息，也對高光做了更好的還原。

還有，我們今年在延時攝影裏也加入了‘夜景模式’。這其實是視頻的範疇，不是拍攝靜態照片。這和照片的‘夜景模式’其實是兩套不同的代碼，因爲拍視頻需要更快的處理。照片和視頻的‘夜景模式’裏，共享了很多計算邏輯和知識，但本質上還是非常不同。

- 你覺得現在手機感光元件的實際動態範圍，能夠餵飽 HDR 視頻所能承載的動態範圍嗎？

手機視頻的改良是一條非常漫長的道路。A14 這個芯片，裏面加入了大量對 HDR 視頻拍攝能力的優化。它的神經網絡引擎速度提升了 80%，它提供了很強的多幀融合（fusion）能力。你將 iPhone 12 Pro 的視頻和上一代相比，已經有了長足的進步。

而在未來，你會看到更多這方面的提升。

- 我看現在 iPhone 的‘杜比視界 HDR’視頻，傳到電腦上以後是 HLG 曲線。這和我們過去處理的‘杜比視界’素材——它們都採用了記錄絕對亮度值的 PQ 曲線——好像不太一樣。爲什麼這麼做？

在 iPhone 內部，這是一個完整的‘杜比視界’拍攝流程。這是一個全新的 8.4 版本的標準。我們和杜比進行了很深入的合作，這個標準將會得到更大範圍的應用，將會有更多的設備從中受益。

你看到的 HLG 曲線是爲了更好的兼容性。我們希望這個導出的視頻文件，能夠在各種各樣的設備和屏幕上觀看，而 HLG 曲線滿足了這個需求。

- 我看現在的 HDR 視頻，如果直接從手機傳到社交網絡上，顏色有點偏差。這個兼容性問題如何解決？

在 iPhone 內部的視頻流程裏，我們保存了兩套 metadata，一套對應於 HDR，一套對應 SDR。

隨着 iPhone 12 和 12 Pro 的上市，我們將會推送新的 iOS 版本，到時候會有新增加的 API，讓 app 告訴系統，他們是否支持杜比視界 HDR 視頻，這樣系統就會上傳正確動態範圍的版本。

- 今年的 HDR 照片，我看好像和去年的 HDR 視頻不太一樣。似乎高光更亮了？是這樣嗎？

相比於 iPhone 11 Pro 拍攝的 HDR 照片，我們今年在存儲下來的照片文件裏面，還增加了一個‘高光導圖’（Highlight Map）。

這樣可以充分利用我們今年推出的 Super Retina XDR Display 來展現出更高兩檔的高光，讓用戶直接在手機屏幕上看到更大的動態範圍。這也是爲什麼，你在手機上看你拍的藍天白雲，會覺得雲比過去的手機上更亮了一些。

- 謝謝。

採訪者注：

在測試過程中，我們看到，使用 iPhone 12 系列拍攝的視頻，HDR format 是‘Dolby Vision， Version 1.0， dvhe.08.04， BL+RPU， HLG compatible’。

在‘dvhe.08.04’字符串中，‘dvhe’指杜比視界高性能壓縮視頻（Dolby Vision High Efficiency）。根據白皮書《Dolby Vision Profiles and Levels Version 1.3.2》的信息，‘08’指 profile 版本爲 8，‘04’指 level 爲 1920 x 1080 @ 30。

Profile 8 的編碼爲‘10-bit HEVC’，信號兼容性爲‘1， 2， or 4’，既 HDR10、SDR 及一種‘在特定的廣播和移動設備’上工作和‘爲了某些特定設備優化’的標準。（引用自杜比在 2019 年 9 月 16 日發佈的公開資料。）

‘BL+RPU’指‘base layer + reference picture unit’。我們猜測， iPhone 拍攝的 HDR 視頻可能在 HLG 曲線之外，爲回放設備提供了正確解析 SDR 和 HDR 色彩的參考信息（RPU），將 HLG 曲線記錄的色彩進行再次解析——既是 Jon McCormack 所說的‘兩套元數據’。

實際上在 iPhone 12 錄製的視頻裏，存在三套元數據。我們暫時無法知曉各自對應的用途。

截止發稿時爲止，搜索不到更多的關於‘Dolby Vision Profile 8.4’和 iOS、macOS、tvOS 上關於‘杜比視界新 API’的資料。