自拍相機是所有智慧型手機的重要構造，但為前置鏡頭尋覓最佳安放之處，卻常會阻礙無縫的瀏覽體驗。螢幕下鏡頭（UDC）的問世，為廣大用戶捎來福音，自此告別螢幕前的小黑點。三星最新登場的 Galaxy Z Fold4，其 UDC 大幅升級，讓用戶享受不受干擾、更勝以往的沉浸式觀賞體驗。
世界上的偉大革新，背後往往匯聚無數人的心血，最新的 UDC 亦不例外，其集結三星專家團隊的智慧，與眾多消費者的寶貴回饋。三星新聞中心專訪合力開發該技術的三星研究院專家群，解開 Galaxy Z Fold4 UDC 再進化的背後玄機。
請繼續閱讀下文報導，探索三星美國研究院（SRA）運算式相機團隊負責人 John Seok-Jun Lee，與印度邦加羅爾三星研發中心（SRI-B）AI 視覺方案團隊負責人 Alok Shukla 如何凝聚眾人之智，為此款手機注入升級的 UDC 技術。
問：何謂螢幕下鏡頭（UDC）？
Seok-Jun：螢幕下鏡頭（UDC）是一項創新的相機解決方案，透過將鏡頭隱藏在顯示面板下方，在應用程式執行的過程中，完全釋放螢幕，提供用戶不受干擾的行動裝置觀賞體驗。要將相機置於顯示面板下方，需硬體技術及演算法創新，以還原影像畫質，而這正是最複雜的影像還原問題之一。
問：螢幕下鏡頭如何運作？
Alok：以 UDC 架構而言，前置相機位於顯示面板底部，該區域的螢幕畫素密度會被降低，使螢幕不受阻礙地顯示影像；而當相機處於啟用狀態時，又不致影響透光率。由於相機置於顯示面板下方，UDC 可能會因繞射，而產生耀斑、光飽和、模糊等，導致成像畫質不佳。因此，雖然 UDC 實現更佳的瀏覽體驗，但同時也影響了相機畫質和其它的下游視覺任務。這些複雜而多樣性的失真，使還原 UDC 畫質極具挑戰性。
問：為何 UDC 是 Galaxy Z Fold4 的關鍵技術？它為消費者創造哪些價值？
Seok-Jun：三星的摺疊螢幕手機，不僅標榜設計新穎且與眾不同，亦透過突破性的顯示技術，將智慧型手機和沉浸式觀賞體驗，結合至單一行動裝置。摺合時，它能發揮一般智慧型手機的用途；展開時，其顯示螢幕能提供更上層樓的沉浸感，以及高效生產力體驗。根據三星消費者研究顯示，Galaxy Z Fold 系列用戶在拍照及自拍時，偏愛使用封面螢幕相機；而在執行高生產力任務時，例如觀賞影片、暢玩遊戲和處理文書，則偏好出動沉浸式內頁螢幕。因此，我們認為 UDC 技術，一方面能滿足用戶對不受視覺干擾的需求，另一方面，它具備啟動視訊通話等任務的能力。三星在 Galaxy Z Fold3 首次應用摺疊螢幕 UDC 解決方案，而今隨著 Galaxy Z Fold4 登場，其畫質表現更上層樓。
Alok：Galaxy Z Fold4 揭開沉浸式螢幕的新紀元，而 UDC 技術是實現全螢幕顯示體驗的重要基石。Galaxy Z Fold4 結合顯示技術的先進創新，與影像還原領域的 AI 技術，在螢幕畫質和相機影像畫質之間，達到完美平衡。
問：自 Galaxy Z Fold3 以來，該相機在畫質表現上有何進化？
Alok：三星 Galaxy Z Fold3 以領先全球的腳步，率先於摺疊手機採用 UDC 技術。Galaxy Z Fold3 上市後，來自消費者的其中一項重要回饋，是期望 UDC 變得較不明顯。Galaxy Z Fold4 優化子畫素的排列方式，使螢幕下鏡頭（UDC）達到更佳的視覺隱形效果。
如前文所述，當相機放置於顯示面板下方時，可能會因繞射而產生耀斑、光飽和、模糊等，導致成像畫質不佳。
基於此理由，針對 Galaxy Z Fold4 產品設計，我們借助 AI 之力，以多幀處理技術作為後盾，為 UDC 影像還原開發一種新型的運算式成像管道。
SRI-B 與 DX（裝置體驗）事業群視覺軟體研發團隊攜手合作，全力開發支援拍照與預覽的 AI 影像還原技術，以補償 UDC 的光學繞射。同時，SRA 的行動處理器創新（MPI）實驗室，亦進化多幀運算式攝影演算法。Galaxy Z Fold4 所採用的 UDC，解決了畫質上的關鍵技術挑戰，為終端消費者提供獨特體驗。
問：請帶領我們回顧 SRA-SRI 的合作歷程。兩大團隊合作的原因為何？
Seok-Jun：自三星成立 MPI 以來，SRA MPI 實驗室一直與 SRI-B 維持密切的合作關係，如從 2014 年的 Galaxy Note4 相機商業化，一直到 2022 年的 Galaxy Z Fold4 和 Z Flip4。在支援 UDC 的 MX 多幀處理（MFP）技術研發、夜間模式、Expert RAW 和其它技術的開發上，SRA MPI 始終扮演主導者角色。SRI-B 藉由打造令人驚艷的相機軟體、畫質調整、商業化資源及 AI 相機研發，為所有的商業化 SRA MPI 多幀處理技術 MFP 創造莫大貢獻。MX 研發團隊、SRA MPI 和 SRI-B 三方的無間合作，締造了成功佳績，尤其是全球團隊高效率地運用時差，實現此項複雜專案的里程碑。很高興能與他們並肩朝相同目標邁進、抵達成功彼岸，催生全球最卓越的智慧型手機相機。
問：請闡述您的職務角色，以及貴團隊對 UDC 的貢獻。在提供最佳用戶體驗上，貴團隊付出哪些努力？
Alok：三星 Galaxy Z Fold4 UDC 是一項複雜的研發專案，SRI-B 的角色是從端到端的角度思考，獲得最佳的消費者體驗。這有賴跨領域的專業知識，及跨團隊的深度合作。來自 SRI-B、SRA-MPI 實驗室，以及 MX 視覺軟體研發小組的專家合作無間，成功實現端對端 UDC 體驗。
SRI-B 亦在各方面發揮關鍵作用，包括運用神經處理單元（NPU）執行 AI 模型，於預覽作業上達成及時效能，相較 Galaxy Z Fold3 可大幅縮減 UDC 成像處理時間。相機成像預覽、影片錄製、視訊通話等使用情境，皆須仰賴及時的處理效能，不遺漏任何畫面。以 NPU 加速預覽處理的 AI UDC 影像還原技術，首次應用於三星 Galaxy Z Fold4。雖然拍照不需要及時處理，但因其所需的畫質，較預覽來得更高，以更短的處理時間，獲得更佳的畫質，是我們所追求的用戶體驗。
問：在開發此項技術時，您面臨了哪些挑戰？您如何克服這些挑戰？
Seok-Jun：低透光率和光繞射，是 UDC 相機技術面臨的最大挑戰。此外，與開孔相機成像管道不同的另一個挑戰，在於 UDC 所捕捉的影像畫質，不僅受到相機模組的影響，亦與顯示面板有關。SRA MPI 的 AI 3D ISP 演算法，在設計時已顧及必要的靈活性，能根據不同的顯示特性，而調整輸出的影像畫質。3D ISP 所具備的此項靈活性，有助於克服前述挑戰。
Alok：SRI-B 的重點任務，是開發支援三星 Galaxy Z Fold4 UDC 的 AI 影像還原模組。這些還原模組，是相片與影片模式的必要元件。錄影和視訊通話的使用情境，對於在有限的耗電範圍內，完成影像的及時處理，為相當嚴苛的要求。
基於 AI 的 UDC 影像還原技術，首次應用於三星 Galaxy Z Fold4 UDC 錄影。為實現優於 Galaxy Z Fold3 的影像畫質體驗，我們必須使 AI 模型更輕量化，同時維持良好的畫質還原水準。在網路設計和訓練方面，我們進行了多次實驗，以實現良好的及時畫質。SRI-B 廣泛運用 NPU 和先進的量化技術，來製作更輕量化、高度優化的 AI 模型，以實現低功耗與及時影像處理效能。
問：有關三星未來的 UDC 技術迭代，您抱持什麼樣的願景？
Alok：三星 Galaxy Z Fold4 的 UDC 技術，為智慧型手機的型態開闢嶄新的維度。未來 UDC 技術將能實現更大的相機感光元件，以及靈活位置的多重相機配置，絲毫不影響瀏覽體驗。另一個重大挑戰，是在更多產品的前置主相機上，大規模採用 UDC 技術。為實現此目標，我們必須在相機畫質、處理時間和顯示體驗等環節，作出重大的升級。
Seok-Jun：由於 Galaxy Z Fold4 UDC 大幅提升用戶體驗，包括將相機隱藏於螢幕下方，以及提升畫質表現，因此未來上市的旗艦裝置，其研發方向將擺在致力使 UDC 完全隱形。這有助於提供不受干擾的最佳沉浸式行動顯示體驗，同時獲得與開孔相機相同的成像畫質。
以上內容來自 [ Samsung Newsroom ] bit.ly/3T9Uych
