本文來自廣告導演、NOMO 創始人 @flypig，愛范兒經授權發布。
Jon McCormack 在 Apple 擔任軟體副總裁。他的重要工作：進一步提升 iPhone 的影像系統。
在測試了 iPhone 12 和 12 Pro 之後，我對影像系統中的改進大感興奮，計算攝影的加成功不可沒。同時，我也產生了不少疑問。在和 Jon McCormack 的越洋電話中，他進行了盡可能詳盡的回答。同時參與訪問的還有 iPhone 12 的產品經理 Vitor Silva。
以下為采訪內容：
Q：我在這幾天試用 iPhone 12 系列的過程中，感受到了照片和視頻拍攝質量的大幅提升，令人非常高興。能不能先請 Vitor 簡單介紹一下今年 iPhone 12 系列的改進？
首先，我們在 iPhone 12 和 12 Pro 上放入了 f/1.6 光圈的主攝像頭。這是 iPhone 上光圈最大的攝像頭。所以你的照片和視頻都會有更明亮的畫面和更少的噪點。而且我們這次採用了 7 片的鏡頭片租，讓畫面得到了進一步提升。
然後，我們在 iPhone 12 Pro 上放入了全新的科技 ——LiDAR。它的全稱是「light detection and ranging」。通過檢測一束光發射再返回的時間，判斷物體的距離。因為 LiDAR 可以在黑夜里工作，我們可以用它加快相機在夜景中的對焦時間，最快能夠提升 6 倍。
這些新功能的背後，都是 iPhone 最新的 A14 仿生晶片，這是所有隻能手機里最快的晶片。以及全新的圖像信號處理器，能夠更好地進行畫面融合，減少早點，並帶來了更好的 HDR 視頻能力。
在這些硬體的支持下，我們走向了第三步，也就是軟體系統。Jon McCormack 將會為你進一步介紹。
Q：我們在今年的 iPhone 發布會上聽到了很多次「計算攝影」（computational photography)。Jon 是負責軟體的副總裁。請您告訴我，Apple 如何看待「計算」和「攝影」之間的關系？
在過去，我們要創作出畫質更好的照片，只能在「拍攝」這個環節去提升硬體。我們買非常非常大的膠片 —— 大畫幅相機的底片真的很大一張，安裝起來也很麻煩 —— 去買非常非常貴的鏡頭，去手動控制景深和曝光，慎重地按下快門。
但是我們現在用的 iPhone，鏡頭只有這麼小，感光元件也只有指甲蓋大。那麼我們如何找回模擬時代的體驗？我們要靠「計算」，讓手機做很多的數學題，通過各個傳感器 —— 比如最新加入的 LiDAR—— 獲得的信息，讓手機自動完成過去「數碼暗房」里手動完成的工作。
Q：那麼，「打贏專業的單反和電影機」是你們的目標嗎？
這不是我們的思維方式。
我們在 iPhone 12 的樣片拍攝過程中，能把攝制團隊壓縮到非常小，只有幾個人就完成了樣片拍攝。過去，你要拍攝這樣的鏡頭，要很多人，有的人扛機器，有的人測光，有的人對焦，有的人操作電影機。這種變化，才是我們工作的核心。
我們的目標是讓每個人都能講述自己的故事，而且讓每個人都能用到最好的科技 —— 比如「杜比視界」。他們可以從口袋里掏出一台小巧的手機，拍下身邊溫馨的畫面，完成編輯，再分享出去，整個流程里都是「杜比視界 HDR」的視頻。這種體驗非常美妙。
Q：但現在的手機視頻，似乎還不像手機拍照片那樣，在「計算攝影」上達到很高的完成度。這里面的瓶頸是什麼？
拍攝視頻和拍攝照片還不太一樣。在拍攝照片的時候，手機有足夠的時間，去做後置的計算處理。但是在拍攝視頻的時候，一秒有 30 幀甚至 60 幀，需要完成的計算任務就非常多了。
在過去的幾年時間里，手機視頻的中間影調的成像質量已經被解決得很好，大家的水平都差不多。
那麼，挑戰主要集中在陰影和高光。你注意觀察的話，今年 iPhone 在畫面暗部的噪聲已經少了很多，畫面干淨了很多。另外，我們今年將視頻的色深從 8 比特提升到了 10 比特。我們利用多記錄的這些色彩信息，也對高光做了更好的還原。
還有，我們今年在延時攝影里也加入了「夜景模式」。這其實是視頻的范疇，不是拍攝靜態照片。這和照片的「夜景模式」其實是兩套不同的代碼，因為拍視頻需要更快的處理。照片和視頻的「夜景模式」里，共享了很多計算邏輯和知識，但本質上還是非常不同。
Q：你覺得現在手機感光元件的實際動態范圍，能夠餵飽 HDR 視頻所能承載的動態范圍嗎？
手機視頻的改良是一條非常漫長的道路。A14 這個晶片，里面加入了大量對 HDR 視頻拍攝能力的優化。它的神經網絡引擎速度提升了 80%，它提供了很強的多幀融合（fusion）能力。你將 iPhone 12 Pro 的視頻和上一代相比，已經有了長足的進步。
而在未來，你會看到更多這方面的提升。
Q：我看現在 iPhone 的「杜比視界 HDR」視頻，傳到電腦上以後是 HLG 曲線。這和我們過去處理的「杜比視界」素材 —— 它們都採用了記錄絕對亮度值的 PQ 曲線 —— 好像不太一樣。為什麼這麼做？
在 iPhone 內部，這是一個完整的「杜比視界」拍攝流程。這是一個全新的 8.4 版本的標準。我們和杜比進行了很深入的合作，這個標準將會得到更大范圍的應用，將會有更多的設備從中受益。
你看到的 HLG 曲線是為了更好的兼容性。我們希望這個導出的視頻文件，能夠在各種各樣的設備和螢幕上觀看，而 HLG 曲線滿足了這個需求。
Q：我看現在的 HDR 視頻，如果直接從手機傳到社交網絡上，顏色有點偏差。這個兼容性問題如何解決？
在 iPhone 內部的視頻流程里，我們保存了兩套 metadata，一套對應於 HDR，一套對應 SDR。
隨著 iPhone 12 和 12 Pro 的上市，我們將會推送新的 iOS 版本，到時候會有新增加的 API，讓 app 告訴系統，他們是否支持杜比視界 HDR 視頻，這樣系統就會上傳正確動態范圍的版本。
Q：今年的 HDR 照片，我看好像和去年的 HDR 照片不太一樣。似乎高光更亮了？是這樣嗎？
相比於 iPhone 11 Pro 拍攝的 HDR 照片，我們今年在存儲下來的照片文件里面，還增加了一個「高光導圖」（Highlight Map）。
這樣可以充分利用我們今年推出的 Super Retina XDR Display 來展現出更高兩檔的高光，讓用戶直接在手機螢幕上看到更大的動態范圍。這也是為什麼，你在手機上看你拍的藍天白雲，會覺得雲比過去的手機上更亮了一些。
采訪者註：
在測試過程中，我們看到，使用 iPhone 12 系列拍攝的視頻，HDR format 是「Dolby Vision, Version 1.0, dvhe.08.04, BL+RPU, HLG compatible」。
在「dvhe.08.04」字符串中，「dvhe」指杜比視界高性能壓縮視頻（Dolby Vision High Efficiency)。根據白皮書《Dolby Vision Profiles and Levels Version 1.3.2》的信息，「08」指 profile 版本為 8，「04」指 level 為 1920 x 1080 @ 30。
Profile 8 的編碼為「10-bit HEVC」，信號兼容性為「1, 2, or 4」，既 HDR10、SDR 及一種「在特定的廣播和移動設備」上工作和「為了某些特定設備優化」的標準。（引用自杜比在 2019 年 9 月 16 日發布的公開資料。）
「BL+RPU」指「base layer + reference picture unit」。我們猜測， iPhone 拍攝的 HDR 視頻可能在 HLG 曲線之外，為回放設備提供了正確解析 SDR 和 HDR 色彩的參考信息（RPU），將 HLG 曲線記錄的色彩進行再次解析 —— 既是 Jon McCormack 所說的「兩套元數據」。
實際上在 iPhone 12 錄制的視頻里，存在三套元數據。我們暫時無法知曉各自對應的用途。
截止發稿時為止，搜索不到更多的關於「Dolby Vision Profile 8.4」和 iOS、macOS、tvOS 上關於「杜比視界新 API」的資料。
來源：愛范兒
