那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

迄今為止我們測試過的最佳智慧型手機相機——DxOMark

2016 年的智慧型手機市場,每一家都在摩拳擦掌,准備大展身手,但任誰都想不到是,那一年手機拍攝領域最亮眼的既不是 iPhone 也不是三星,而是 Google 自研的 Pixel。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

之後 Pixel 2 推出時,同樣的情況再次上演,只用單攝的 Pixel 2 超越了同期大量雙攝旗艦,登頂 DxOMark,還帶來了人像模式。此後的 Pixel 系列也一直維持同樣的策略,它的相機物理硬體並非最強,但在手機攝影領域卻有著不俗的表現,Pixel 3 帶來了夜景模式、Pixel 4 帶來了天文攝影。

Marc Levoy 作為 Pixel 相機團隊的首席工程師,正是幕後推動這一切的主要推手,用現在流行的話來說,Marc Levoy 用計算攝影,改變了潮水的方向。

與 Google 相遇

Levoy 原本就是一位攝影愛好者,在他的個人網站上還能看到不少他拍攝的照片。而他和 Google 的相遇則要從史丹福大學說起。1990 年,Levoy 進入史丹福大學計算機科學系,主要教授計算機圖形學、數碼攝影、藝術科學等課程。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

▲ Marc Levoy

1993 年,Levoy 借了一些磁碟驅動器給博士生 David Filo 和 Jerry Yang,他們用磁碟等工具建立了一個網際網路目錄網站,這個網站之後被稱為 Yahoo。同為博士研究生的拉里・佩奇(Larry Page)和謝爾蓋・布林(Sergey Brin)則在離 Levoy 辦公室兩扇門遠的地方研究網際網路索引,後來他們創立了一個搜索網站——Google。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

▲ Google 創始人拉里・佩奇和謝爾蓋・布林

拉里・佩奇和 Levoy 的研究生公用一個辦公室,而謝爾蓋・布林則是 Levoy 的計算機圖形課上的學生。在斯坦福,Levoy 幾乎是目睹了網際網路的崛起,而由於他和 Google 創始人的師生關系,漸漸與 Google 有了越來越多的聯系。

拉里・佩奇和謝爾蓋・布林離開斯坦福創立 Google 後,很快投資了一個由 Levoy 主導的研究項目 CityBlock ,通過拍攝視頻並將其復制到圖片中,再通過計算處理等方式復原實際場景,也就是後來被 Google 商業化的 Google 街景項目。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

Levoy 在計算攝影領域上的深厚造詣令 Google 團隊十分欽佩,以至於 Google X 實驗室遇到問題時第一時間想到了這位斯坦福教師。當時 Google X 正在研究一個名為 Google Glass 的產品,旨在推出一款可穿戴的「計算機」,而這台計算機將以眼鏡的形式出現。

據 Google X 實驗室發布的Blog網誌,由於 Google X 選擇了眼鏡這種可穿戴式的產品形態,對硬體的要求極高,就算是手機中常見的微縮型相機硬體模組,應用到 Google Glass 上還要保持較好的拍攝效果,也並非一件簡單的事。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

▲ 早期的 Google Glass 原型

既然通過硬體實現很難、或者說幾乎不可能,是不是應該換一種思路,用軟體來解決呢。就這樣,Google X 找到了計算攝影領域的專家 Levoy 幫忙一起解決這個問題。

最終 Levoy 和 Google X 團隊研究出了一種名為 HDR 成像的算法,即快速拍攝多張圖片,並通過計算處理合成出高質量的圖片。多張合成的方式可以更好的渲染暗部細節,同時又能保證高光處保持更高的清晰度。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

與 Google X 合作期間,Levoy 自己還製作了一個 App——SynthCam,同樣是通過合成計算的方式,讓使用微縮相機模塊的手機也能模擬單反,實現拍攝主體之外內容逐漸模糊的效果。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

▲ Levoy 用自製軟體 SynthCam 拍攝的圖片

盡管以現在的眼光來看,效果並不算特別好,但在當時已經是手機攝影領域的一次新突破了。

對於計算攝影極強的興趣,也促進了 Levoy 從斯坦福退休後加入 Google 。

Pixel 系列,計算攝影的新起點

2014 年,Marc Levoy 從斯坦福退休,進入 Google 成為全職員工,並擔任了 Google 內部最具影響力的部門之一 Google Research 的領導人,主要負責研究計算攝影領域相關的事項。

在和 Google X 實驗室合作時,Levoy 就意識到了 HDR 算法能應用在智慧型手機上,畢竟 Google Glass 和智慧型手機都是移動終端,便攜性是優勢。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

就這樣,Levoy 帶領團隊在 Nexus 系列上嘗試應用 HDR 算法,不過效果一直不算太突出,Nexus 系列最後一款機型 Nexus 6P,就算使用上 Levoy 團隊研發出的升級款 HDR+ 算法, DxOMark 分數也只有僅僅 73 分,和當時的主流旗艦還有一段距離。

直到 Google CEO 達爾・皮蔡(Sundar Pichai)在 2016 年提出由「移動為先」轉為「AI 為先」的口號,Pixel 系列正是在這樣環境下誕生的。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

整個公司的策略轉向,也讓專精於軟體計算領域的 Levoy 獲得更多的靈活度與資源,他成為了 Google 首款自研智慧型手機——Pixel 系列的相機團隊負責人,而相機正是 Pixel 系列的核心。

得益於 Pixel 用上了新的處理器驍龍 821,處理能力有不少提升,Levoy 能讓 HDR+ 算法更舒暢自由的發揮,至少採集圖片和合成計算的速度提升了不少,不會出現 Nexus 系列上開啟 HDR 算法一會後手機就會過熱,按下快門鍵後需要等待一會才能完成拍攝的情況。

2016 年 10 月 4 日,Google 正式發布了 Pixel,它的相機模組和 Nexus 6P 相比並沒有太大變化,都是 1230 萬像素和 1.55 μm 的單像素尺寸,只多了一個相位對焦功能。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

但 Pixel 卻讓整個業界為之震驚,它超越了同期旗艦 iPhone 7 Plus 和三星 S7 登頂了 DxOMark 榜單。硬體幾乎沒有太大變化,但拍照能力卻獲得了質變,可見 Levoy 帶領團隊開發的 HDR+ 算法是有多強。

2017 年,Levoy 又嘗試將自己在 2011 年左右開發的 App SynthCam 的技術拓展應用在 Pixel 2 上,同樣是通過採集多張照片進行計算合成。不過,為了不出現之前 Nexus 系列上硬體拖後腿的現象,Pixel 團隊特別為 Pixel 2 加入了一顆名為「Pixel Visual Core」的定製圖像處理單元,以加速圖像採集速度和計算速度。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

有了硬體支持,Levoy 也更好發揮了,這次他在 Pixel 2 上加入了 AI(神經網絡),用來判斷物體的相對位置,進而推出「人像模式」,實現人物主體清晰,人像後的背景卻逐漸模糊的效果。

不出意外,Pixel 2 再次超越同期旗艦三星 Galaxy Note 8 和 iPhone 8 Plus,登頂 DxOMark 榜首。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

兩次都是使用單攝,兩次都是硬體普通甚至算落後(同期旗艦都用上了雙攝),但 Pixel 卻兩次登頂,超越所有的對手,這讓 Levoy 成為業界炙手可熱的人物,甚至被稱為是重新發明了「計算攝影」。

計算攝影,改變了潮水的方向

Pixel 系列的成功並沒有讓 Levoy 沉溺於其中,相反他又將目光轉向了攝影領域的另一座高峰——夜間攝影,在 Pixel 推出的同一年,Levoy 在做極端低光條件下的拍攝實驗。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

要知道夜間攝影的光照條件可比不上白天,而且智慧型手機作為移動便攜設備,相機模組並不大,導致進光亮極少,不開閃光燈的話,想拍清楚是極難的一件事。

Levoy 對計算攝影的強大信念讓他成功堅持了下來,正如他在極端極光拍攝實驗視頻中所說的:

我認為,當我們從硬體主導的攝影轉向軟體定義的計算攝影的新領域時,這個領域才剛剛開始令人興奮。

結果,現在我們都已經知道了, Levoy 登上了夜間攝影這座山的山巔。2018 年 10 月,Google 推出了 Pixel 3,這款新機最大的亮點正是 Levoy 帶領團隊開發的 Night Sight 夜景模式,即使是在晚上手機也能拍出精細度、亮度極高的照片。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

▲Night Sight 效果樣張 . 圖片來自 Google

和以往一樣, Levoy 的解決辦法還是老一套,採集圖片加合成計算,只不過和我們直覺相反的是,Night Sight 夜景模式並非採集不同曝光度圖片或是採集明亮而模糊的照片進行合成計算,而是選擇捕捉大量昏暗而銳利的圖片,進行合成計算,最終輸出一張清晰的照片。

而在 Pixel 4 上,Levoy 在攝影領域的突破是天文攝影。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

▲ 圖片來自:Google

Pixel 系列,做到了以往硬體主導的攝影所做不到的事,無論是 HDR+、人像模式,還是 Night Sight 夜景模式、天文攝影,無不是對以往的突破。由軟體定義的計算攝影,幾乎啟發了整個智慧型手機行業。

蘋果、三星、華為等手機廠商在計算攝影上的投入越來越多,夜間模式幾乎成為了高端旗艦手機的標配,AI 拍照加持從高端旗艦普及到中低端產品中,成為一個基礎宣傳點。

Marc Levoy ,改變了潮水的方向。

現在, Levoy 要為每台手機裝上一個「Pixel 相機」

計算攝影給整個智慧型手機行業帶來的好處是顯而易見的,對於相機硬體模組較為落後的機型來說,它們也能利用算法顯著提升拍攝質量。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

它為拍照所帶來的優勢甚至引發了一次 Pixel 相機程序移植潮,我們在之前的報導中就提到過,開發團隊 B-S-G 曾修改了 Pixel 的相機應用程式,讓它能兼容其他 Android 手機,並把修改版程序發布到了 XDA 論壇中,有不少用戶下載嘗試了。

在我們的實際測試中,利用修改版的 Pixel 相機程序拍出來的照片,暗部的亮點有較好的提升、過曝現象也有一定減少,但偶爾還是會出現偏色的情況,畢竟是修改版程序,有 bug 也能理解。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

▲左:正常、右圖:HDR+

不過,現在這個問題可能要解決了,作為 Pixel 系列相機軟體的主導者,Levoy 在 Google 工作了近 6 年後選擇了離職,而他的新工作正是 Adobe 公司的副總裁。

根據媒體 Gizmodo 的報導,Levoy 在 Adobe 的主要工作除了繼續研究計算攝影外,還有研發一個能在不同平台、不同設備上使用的通用相機程序,此前 Adobe 在移動端推出的 lightroom 軟體就自帶相機應用程式。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

▲ lightroom 自帶拍照功能

基於 Levoy 在計算攝影的積累與多項成就,再加上 Adobe 在圖片領域的長久積累,這款不限平台、不限設備的「Pixel 相機應用程式」還是很令人期待的。

而且現在中端手機的相機硬體素質相較幾年前已經獲得了較大的提升,2099 元起售的榮耀 30S 用上了 6400 萬像素主攝像頭,此外還有長焦、微距、超廣角 3 顆後置鏡頭,1599 元的 Redmi 10X 也用上了 4800 萬主攝。

那個創造了計算攝影的男人,現在要為每台手機安一個「Pixel 相機」

對於消費者來說,已經完成升級的硬體,再加這款通用型的「Pixel 相機應用程式」,拍出好照片只會越來越容易。

只是,當計算攝影通過智慧型手機完成真正的普及之後,你還會相信眼見為實嗎?

來源:愛范兒