視頻技術(shù)的問(wèn)世掀起了一場(chǎng)席卷全球的視聽(tīng)通信革命。今天，整個(gè)世界都非常依賴照片和視頻媒體來(lái)實(shí)現(xiàn)各種目的，包括商業(yè)、通信、教育和娛樂(lè)。采集和顯示視頻的機(jī)制也突飛猛進(jìn)。而3D攝像頭的采用，使用戶可以以前所未有的信息量觀察事物。

這個(gè)過(guò)程所不可或缺的一環(huán)，就是給數(shù)字視頻添加深度信息，使其更接近真實(shí)。本文探討了如何使用飛行時(shí)間（ToF）傳感器實(shí)現(xiàn)此目的，以及ToF傳感器正在如何改變我們與VR和其他視頻技術(shù)的交互方式。

ToF 3D圖像傳感器簡(jiǎn)介

總的來(lái)說(shuō)，飛行時(shí)間（ToF）是一種基于光的飛行時(shí)間測(cè)量物體距離的方法。ToF傳感器或攝像頭會(huì)發(fā)射調(diào)制紅外光束，并測(cè)量從不同距離的不同表面接收到的光的相位差。該數(shù)據(jù)被轉(zhuǎn)換為距離，并為照明場(chǎng)景提供深度。ToF傳感器使用逐像素處理，這需要復(fù)雜的算法，但由于其廣泛的適用性，愈發(fā)受到物流、汽車和消費(fèi)電子領(lǐng)域的親睞。通過(guò)在三個(gè)維度上進(jìn)行掃描，ToF傳感器可以創(chuàng)建目標(biāo)對(duì)象的3D圖像。

ToF傳感器工作原理

3D ToF圖像傳感器的操作非常簡(jiǎn)單。它根據(jù)光子混合器設(shè)備（PMD）的原理進(jìn)行檢測(cè)。ToF傳感器主要分為兩類：直接傳感器和間接傳感器。直接ToF傳感器的工作原理是通過(guò)發(fā)射光、收集反射信號(hào)，然后測(cè)量信號(hào)延遲[圖1]；接著，用光飛行時(shí)間來(lái)測(cè)量距離，從而實(shí)現(xiàn)場(chǎng)景的3D重建。

圖1 ?直接ToF傳感器的工作原理（簡(jiǎn)版）

間接ToF傳感器的工作原理是，不斷發(fā)射調(diào)制信號(hào)并分析反射信號(hào)，以確定相位差。兩個(gè)接收器以調(diào)制光的頻率不斷地打開(kāi)和關(guān)閉，其中一個(gè)接收器與另一個(gè)接收器的操作相位不同。因此，每個(gè)接收器都會(huì)收到部分反射信號(hào)，并根據(jù)接收到的光的數(shù)量，來(lái)確定相位差，如圖2所示。

圖2 兩個(gè)檢測(cè)器交替收集感興趣物體的光

優(yōu)勢(shì)及應(yīng)用

ToF傳感器可以在不影響圖像分辨率的情況下，擴(kuò)大測(cè)量范圍，并在低成本、可靠和緊湊的封裝中提供全部數(shù)字細(xì)節(jié)，這為3D增強(qiáng)型攝影提供了優(yōu)化解決方案。最新的ToF傳感器功耗較低，對(duì)移動(dòng)設(shè)備來(lái)說(shuō)，是一個(gè)具有吸引力的選擇。此外，與結(jié)構(gòu)光發(fā)射等技術(shù)相比，ToF傳感器對(duì)精確的機(jī)械對(duì)準(zhǔn)的依賴程度較低。新型ToF傳感器允許使用更高的調(diào)制頻率，因此，顯著提高了精度。

Stratview Research的數(shù)據(jù)顯示，從2021到2026年，ToF的年增長(zhǎng)率有望達(dá)到16.8%。ToF攝像頭的應(yīng)用主要集中在消費(fèi)電子行業(yè)和物流行業(yè)的3D成像和掃描。它有望通過(guò)以低成本提供豐富的3D視覺(jué)效果來(lái)徹底革新3D檢測(cè)和成像。

ToF傳感器可以用于輔助面部識(shí)別、安全跟蹤、庫(kù)存管理，以及環(huán)境和建筑物映射等應(yīng)用。在現(xiàn)代車輛中，ToF傳感器可實(shí)現(xiàn)近距離環(huán)境映射、輔助泊車以及車內(nèi)的許多其他功能，例如：駕駛員監(jiān)控或手勢(shì)控制。不過(guò)，最有趣的應(yīng)用要數(shù)消費(fèi)電子和混合現(xiàn)實(shí)。憑借小巧的外形和較高的能效，ToF傳感器可能是唯一一項(xiàng)準(zhǔn)備進(jìn)軍消費(fèi)電子領(lǐng)域的3D成像技術(shù)。

案例研究：增強(qiáng)AR/ MR體驗(yàn)

將3D ToF傳感器整合到消費(fèi)電子領(lǐng)域，仍是一個(gè)尚未開(kāi)發(fā)的市場(chǎng)，具有顛覆性的意義。Counterpoint Research稱，在智能手機(jī)中整合ToF攝像頭，有望成為未來(lái)的主要趨勢(shì)之一。在最近的一場(chǎng)網(wǎng)絡(luò)研討會(huì)上，來(lái)自TECNO、三星和DXOMARK Image Labs的專家聲稱，ToF和動(dòng)態(tài)視覺(jué)傳感器（DVS）等功能可以使手機(jī)攝像頭的性能勝過(guò)數(shù)碼單反相機(jī)（DSLR）。在過(guò)去，智能手機(jī)和游戲設(shè)備將3D ToF攝像頭用于高度逼真的增強(qiáng)顯示/混合現(xiàn)實(shí)（AR/MR）應(yīng)用。AR/MR應(yīng)用將現(xiàn)實(shí)世界與虛擬元素相融合，為用戶帶來(lái)了更好的商業(yè)互動(dòng)、3D設(shè)計(jì)和游戲娛樂(lè)體驗(yàn)。

盡管AR/MR尚未成為主流，但隨著這些技術(shù)背后的工具的迅猛發(fā)展，AR/MR成為智能手機(jī)日常用途的代名詞指日可待。

實(shí)現(xiàn)MR體驗(yàn)所需的兩大要素分別是：智能手機(jī)攝像頭以及可以檢測(cè)用戶周圍環(huán)境并將其顯示在屏幕上的應(yīng)用程序。通過(guò)這種方式，就可以映射現(xiàn)實(shí)世界，然后將虛擬圖像放入其中。為實(shí)現(xiàn)這一點(diǎn)，智能手機(jī)攝像頭必須能夠?qū)呙鑵^(qū)域提供深度和細(xì)節(jié)圖像。

ToF傳感器通過(guò)準(zhǔn)確映射物體及其周圍環(huán)境，成為該場(chǎng)景中的主角。MR是大有前途的3D設(shè)計(jì)輔助技術(shù)，例如：室內(nèi)設(shè)計(jì)師可以使用自己的手機(jī)繪制房間，并進(jìn)行數(shù)字化家具布置。同樣，真實(shí)世界的物體也可以使用ToF傳感器攝像頭進(jìn)行3D映射和數(shù)字化處理。市面上已經(jīng)有了很多這類商用移動(dòng)應(yīng)用程序，但卻因攝像頭而無(wú)法實(shí)現(xiàn)逼真的映射效果。

ToF將顯著增強(qiáng)深度信息，而映射圖像又為創(chuàng)新和快速的3D設(shè)計(jì)帶來(lái)了無(wú)限可能。混合現(xiàn)實(shí)的另一個(gè)應(yīng)用是商業(yè)交互，專業(yè)人士可以借此展示逼真的場(chǎng)地/項(xiàng)目圖像，來(lái)加深理解。

MR還被用于創(chuàng)建真實(shí)的商業(yè)背景，也就是將人們插入一個(gè)人的視野中，并將虛擬會(huì)議變成真實(shí)會(huì)議。ToF傳感器是這個(gè)操作的核心，因?yàn)橹挥?D成像提供的深度信息才能使這種體驗(yàn)更加逼真。最近，由社交網(wǎng)絡(luò)巨頭推出的元宇宙概念就將利用這一精確技術(shù)，這將促進(jìn)對(duì)ToF傳感器的需求和創(chuàng)新。

游戲是另一個(gè)利用AR/MR ToF優(yōu)勢(shì)的領(lǐng)域。游戲設(shè)備和現(xiàn)在的智能手機(jī)正在使用ToF傳感器的手勢(shì)識(shí)別功能來(lái)實(shí)現(xiàn)完全沉浸式的體驗(yàn)。當(dāng)ToF傳感器被集成到移動(dòng)設(shè)備的前置攝像頭時(shí)，就可以大幅增強(qiáng)面部識(shí)別等安全措施。通過(guò)在后置攝像頭中使用3D技術(shù)，ToF傳感器有望實(shí)現(xiàn)出色的計(jì)算攝影和沉浸式VR體驗(yàn)。無(wú)需大量后期處理，ToF傳感器就可以在圖像和視頻中有效地渲染背景虛化效果。

在理想的情況下，混合現(xiàn)實(shí)要比虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)先進(jìn)得多。它對(duì)處理能力提出了較為苛刻的要求，需要實(shí)時(shí)獲取高精度3D深度數(shù)據(jù)。此外，光照條件是實(shí)現(xiàn)MR所需的逼真感的一大挑戰(zhàn)。不論是房屋和車輛等室內(nèi)環(huán)境，還是光照受天氣影響的室外環(huán)境，強(qiáng)大的ToF攝像頭都必須能夠在所有光線條件下捕獲準(zhǔn)確的深度數(shù)據(jù)。

在商業(yè)交互和日常生活中使用MR技術(shù)，對(duì)許多人來(lái)說(shuō)似乎為時(shí)過(guò)早。然而，在新冠疫情期間，整個(gè)世界對(duì)模糊虛擬世界和現(xiàn)實(shí)世界邊界的服務(wù)需求呈指數(shù)級(jí)增長(zhǎng)，這促使非面對(duì)面服務(wù)加速發(fā)展。因此，我們可以合理地預(yù)期，在不遠(yuǎn)的將來(lái)，增強(qiáng)AR/MR技術(shù)將成為工作和娛樂(lè)所不可或缺的技術(shù)。更不用說(shuō)ToF這類技術(shù)，它作為愈發(fā)強(qiáng)大的MR性能的支柱性技術(shù)，將變得更加重要。

審核編輯：劉清