2023年4月20日

《 Google 》Pixel 的超解析度變焦的工作原理

瞭解為 Pixel 長焦功能提供支援的硬體、軟體和機器學習演算法

Super Res Zoom 在 Pixel 手機上推出了 Pixel 3，多年來它只會變得更好 - 事實上，我最近意識到它在拍攝優勝美地的 Firefall 現象時非常有用，當夕陽的特定角度使已經令人驚歎的瀑布看起來從內部照亮時，就會發生這種情況。但是因為我無法非常接近，我需要依靠 Pixel 7 Pro 的 Super Res Zoom 功能。

“Pixel 的變焦方法是結合了最先進的硬體，一堆很棒的軟體，然後是大量的 AI，” 像素相機和 AI 集團產品經理 Alexander Schiffhauer 說。“這意味著品質在一系列變焦設置中效果很好 - 而不僅僅是一個特定的設置，如 5 倍或 10 倍。以下是硬體、軟體和 AI 結合在一起製作超級解析度縮放的幾種方式。

硬體

雖然所有 Pixel 3 和更新的手機都有 Super Res Zoom，但我在最近的旅行中使用了 Pixel 7 Pro，Alex 解釋了為什麼相機的架構對我如此有用。“Pixel 7 Pro 有一個專業級攝像頭，它實際上由三個後置攝像頭組成：一個 .5 倍超廣角攝像頭，一個 1 倍攝像頭 - 當你打開相機應用程式時的主攝像頭 - 和一個 5 倍長焦攝像頭，” 他說。長焦相機是可以用來放大遠處的物體的相機，一旦你放大 5 倍到 30 倍之間的任何地方，Pixel 就會啟動。

所有這些變焦潛力都來自一個令人驚訝的小封裝，特別是與典型的長焦相機鏡頭相比，後者非常大。要從遠處捕獲圖像，您需要大量光線，並以正確的方式彎曲。傳統的長焦相機使用一堆鏡頭來實現這一點 —— 這些鏡頭捕獲大量光線，然後在它碰到相機中的感測器之前將其彎曲。感測器的工作是將光轉換為信號，手機軟體讀取並將其轉換為您在手機螢幕上看到的照片圖元。

不過，您可能已經注意到，Pixel 7 Pro 沒有一個巨大的管狀鏡頭。“那是因為我們使用了一面鏡子，可以讓我們將鏡頭橫向堆疊，我們將其水平構建到相機欄上，” 亞歷克斯說。光線進入相機並照射到鏡子上，鏡子將光線水準重定向到感測器。一旦光線照射到感測器上，軟體和人工智慧演算法就會開始發揮作用。

軟體

以下是瞭解 Super Res Zoom 如何工作的重要事項：當您放大並拍照時，您的手機實際上正在適應您的變焦範圍並幾乎同時拍攝多張圖像。按下快門按鈕后，軟體和機器學習演算法協同工作，以創建所有這些圖像捕獲的最佳版本。

在軟體方面，手機的長焦攝像頭使用 HDR + 和包圍曝光來合併在不同曝光下拍攝的圖像。這個過程讓你在一張照片中獲得最佳的照明和細節，而不是為了另一張照片而犧牲一個。為了便於使用，當您使用任何級別的變焦時，帶包圍曝光功能的 HDR+ 會自動打開 - 長焦鏡頭幾乎可以立即拍攝多張圖像，因此您不會注意到也不必提示它。

Super Res Zoom 的另一個重要軟體是 “重新鑲嵌”，它與 HDR + 和包圍式配合使用。“通過裁剪到 Pixel 7 Pro 的 48 萬像素感測器的內部，Super Res Zoom 可以以 12 倍的速度輸出 10 萬像素的照片，”Alex 解釋道。不過，那些 12 萬像素的照片比以前更嘈雜，而且它們也採用了不同的感測器格式。因此，一種稱為重新鑲嵌的新演算法將感測器數據轉換為具有包圍式的 HDR + 可以處理的內容，以減少最終輸出中的雜訊量。“所以你可以兩全其美：高解析度和低噪音，”Alex 說。

機器學習

最後，一些機器學習演算法為 Super Res Zoom 做出了貢獻。一個例子是 Fusion Zoom，這是一種對齊和合併來自多個相機的圖像的演算法，確保您的照片在主相機和長焦相機之間拍攝時仍然看起來很棒（例如，如果您從 2 倍到 5 倍變焦）。

另一種有助於超解析度變焦的演算法是變焦穩定，它可以在您構圖時對抗潛在的抖動。“在 15 倍及以上時，您會注意到螢幕右上角會顯示一個小迷你地圖，” 亞歷克斯說。“它可以穩定你的拍攝對象，因為當你放大到很遠的時候，在手機上構圖真的很困難 —— 最微小的手部動作都會讓你的相機脫落。在 20 倍變焦后，Pixel 7 Pro 使用新的 ML 升頻器，其中包括一個神經網路來增強照片的細節。放大得越多，長焦相機就越傾向於 AI。

如果沒有其他領域來創建 Super Res Zoom，這三個領域中的每一個都無法工作 - 這就是 Alex 所欣賞的。“正是這種跨硬體、軟體和人工智慧領域的深度集成，使我們能夠為您提供這些照片，” 他說。“你可以自信地放大以獲得你想要的任何視角，你可以知道你的照片會很漂亮。