為什么光場相機(jī)得不到普及？！

外界（特別是攝影消費(fèi)者）對當(dāng)下光場相機(jī)性能和前景的普遍看法，即這盛極一時(shí)的“神器”被負(fù)面看待為“雞肋”，科技媒體界甚至曾在一段時(shí)間內(nèi)普遍看衰光場相機(jī)的市場價(jià)值。

所謂普及，就是指這一設(shè)備的廣泛應(yīng)用，廣泛的應(yīng)用意味著旺盛且龐大的需求。而在需求層面，可以分為To C （個(gè)體消費(fèi)者，如攝影愛好者）和To B（企業(yè)機(jī)構(gòu)）兩個(gè)方面。

本文在嘗試回答這個(gè)問題之余，也逆向探討這一個(gè)問題的反問，即光場相機(jī)究竟在什么樣的條件下可以得到普及？限制其走向大眾市場的“緊箍咒”究竟為何？后續(xù)技術(shù)進(jìn)步的“大乘佛法真經(jīng)” 能否去除這一桎梏？如果可以，光場相機(jī)又會在哪些領(lǐng)域發(fā)揚(yáng)光大？

一、 空間－視角信息折中，光場相機(jī)的阿喀琉斯之踵

就To C端而言，最大的需求源于攝影攝像，而光場相機(jī)的市場遇冷，最主要的原因還是其本身硬件系統(tǒng)的空間－視角折中設(shè)計(jì)導(dǎo)致其空間分辨率過低。光場相機(jī)的原理是一個(gè)微透鏡陣列被置于主透鏡和CCD/CMOS感光芯片之間 （見圖1）， 以同時(shí)得到不同視角下的場景圖片。每個(gè)微透鏡下的一個(gè)像素，對應(yīng)主透鏡上的一小部分，從而代表了一個(gè)觀察視角；每個(gè)微透鏡本身則對應(yīng)一個(gè)物方景象空間點(diǎn)。假定感光芯片像素總數(shù)為, 則其等于視角信息數(shù)目?（每個(gè)微透鏡下的像素?cái)?shù)）與空間信息數(shù)目（微透鏡總數(shù)）的乘積，。

圖1 光場相機(jī)硬件結(jié)構(gòu)圖 （Lynch, Kyle. Development of a 3-D fluid velocimetry technique based on light field imaging. Diss. 2011）

在這一原理的限制下，一個(gè)原始像素?cái)?shù)目為5638*7728 （4357萬）像素的感光芯片，如果微透鏡下像素?cái)?shù)目為14*14， 則最終得到的單視角圖片只有402*552（22萬）像素。這什么水平呢？用手機(jī)攝像頭的像素?cái)?shù)目做類比，這種級別的分辨率，僅僅略優(yōu)于世界上第一款安裝攝像頭的手機(jī)，于千禧年2000發(fā)布的夏普J(rèn)-SH04，就圖3這款爺爺輩的手機(jī)，攝像頭像素11萬。

這一原理性的硬件限制，極大地降低了原始感光芯片的有效利用率。而攝影愛好者對像素分辨率有著極其挑剔的訴求，就生活場景而言，要求相機(jī)千萬像素起步。為了達(dá)到纖毫畢現(xiàn)，甚至有人寧愿回歸使用膠片相機(jī)。在如此反差強(qiáng)烈的性能要求與供給能力對比下，光場相機(jī)敗走消費(fèi)者市場就幾成定局！

由于視角－空間折中關(guān)系的存在，低空間分辨率這一問題的解決并不容易。最直接的解決方法，就是增加感光芯片的像素?cái)?shù)目。一方面，但像素?cái)?shù)目的增加也意味著數(shù)據(jù)存儲量的增加，使得數(shù)據(jù)的處理和計(jì)算更加麻煩。另一方面，像素?cái)?shù)目的增加，要么是增加感光芯片的靶面積，要么是在感光芯片面積一定的條件下使得單個(gè)像素的面積變小，但兩種方法都存在各自的問題和挑戰(zhàn)。

對前者而言，感光芯片的尺寸，有著明確的行業(yè)標(biāo)準(zhǔn)，它與鏡頭的尺寸存在著適配關(guān)系，芯片的大小決定了對應(yīng)鏡頭的尺寸大小，從而進(jìn)一步?jīng)Q定了DOF、信噪比、動態(tài)范圍等一系列性能。簡單來說，越大的芯片意味著越沉重且昂貴的鏡頭，越淺的DOF, 越高的噪聲水平還有越明顯的漸暈效應(yīng)……

如果不改變感光芯片的面積，而使單個(gè)像素的尺寸變小（工藝的進(jìn)步毫無疑問可以達(dá)到），則又會面臨另外一個(gè)窘境。即微透鏡尺寸的衍射效應(yīng)約束以及f#（f數(shù)，fnumber）匹配關(guān)系約束。當(dāng)僅考慮衍射效應(yīng)的時(shí)候，微透鏡衍射光斑的尺寸為：

其中M是微透鏡的放大系數(shù)，對微透鏡可以認(rèn)為其聚焦在無窮遠(yuǎn)，即M近似于0,fnumber = 微透鏡焦距?除以微透鏡口徑, 這里不妨假定為4，即鏡頭常用的fnumber; 是光波的波長，不妨假設(shè)其為可見綠光532nm, 則衍射光斑直徑 為5.1微米。這意味著，對微透鏡而言，它的物理分辨極限為5.1微米，假設(shè)將進(jìn)入微透鏡的光看作成很多根光線，那么這些光線中最細(xì)的就是的這個(gè)尺度。換而言之，像素尺寸低于這個(gè)值，就會造成硬件浪費(fèi)，在微透鏡尺寸大小不變的條件下，讓像素尺寸變小，并不會提高相機(jī)的角度分辨率！這也就意味著，也無法簡單通過讓微透鏡尺寸變小，使得固定的CCD面積可以鋪滿更多的微透鏡，因?yàn)楦〉奈⑼哥R，對應(yīng)著更大的衍射光斑。

而為了讓感光芯片上的像素被充分利用，微透鏡下各個(gè)方向入射光線形成的光斑尺寸需要正好等于微透鏡本身的尺寸，因此微透鏡的fnumber和主鏡頭的fnumber必須匹配。如果采取更小的微透鏡尺寸，為了匹配主鏡頭的fnumber, 微透鏡的焦距就需要更短，意味著微透鏡本身的形狀曲率更高，相應(yīng)的成像像差更加嚴(yán)重。fnumber匹配讓微透鏡的硬件參數(shù)無形中又增加了一個(gè)枷鎖。

圖4 光場相機(jī)的fnumber 匹配示意圖 （Ng, Ren, et al. Light field photography with a hand-held plenoptic camera. Diss. Stanford University, 2005.）

由于上述約束關(guān)系的存在，可以不妨做一個(gè)大膽的判斷：如果保持現(xiàn)有成像系統(tǒng)結(jié)構(gòu)不變，即使感光芯片的制造工藝取得長足進(jìn)步，光場相機(jī)的空間分辨率也無法得到明顯改善。光場相機(jī)能在To C端被消費(fèi)者接納存在前提條件，需要等到十億到百億級別的感光芯片誕生，相應(yīng)的半導(dǎo)體計(jì)算、存儲能力也得到巨大飛躍。就目前而言，一億級別的芯片，已經(jīng)是人類工業(yè)能力的極限。

一句話以概括：光場相機(jī)的局限源于微透鏡，微透鏡的局限源于透鏡光學(xué)衍射極限。微透鏡即賦予了光場相機(jī)同時(shí)記錄光線強(qiáng)度和角度的能力，但也限制了其空間分辨率的提高。

二、工業(yè)檢測與醫(yī)療診斷，光場相機(jī)的兩大潛在需求爆發(fā)點(diǎn)

在To B方面，對光場相機(jī)沒有那么高的空間分辨率要求，光場相機(jī)可以被用作科研工具，例如顯微成像[1]、流體測速[2]和波前探測[3]等等，但這一領(lǐng)域的市場需求并不旺盛，無法稱得上令技術(shù)普及。因此，光場相機(jī)的大規(guī)模應(yīng)用取決于工業(yè)界需求，在這一領(lǐng)域，其扮演的角色是類似結(jié)構(gòu)光、雙目視覺一樣的深度傳感器。而與這些技術(shù)相比，光場相機(jī)具有被動視覺、成像快速、解算迅捷以及寬視場大景深的優(yōu)勢。

表1深度傳感器性能對照

在工業(yè)需求中，當(dāng)下潛在巨大需求的領(lǐng)域主要集中以下兩個(gè)領(lǐng)域：工業(yè)檢測與醫(yī)療診斷。

工業(yè)檢測方面，可以分為內(nèi)部探傷與外觀檢測。工業(yè)產(chǎn)品的外觀尺寸，反映了其加工誤差，不同加工環(huán)節(jié)的外觀瑕疵則反映了工序的好壞，因此工業(yè)外觀檢測在產(chǎn)品的質(zhì)量控制、成本控制上舉足輕重，其重要性不言而喻。而工業(yè)外觀檢測種類繁多，工業(yè)產(chǎn)品琳瑯滿目。這兩者充分說明了光場相機(jī)的潛在市場空間十分巨大。也因此，光場相機(jī)的第一步商業(yè)實(shí)用化，是在工業(yè)外觀檢測上被落地實(shí)用。比如手機(jī)屏幕模組的瑕疵三維檢測、精密工業(yè)零件（MEMS, 燃?xì)廨啓C(jī)葉片等等）的加工誤差檢測、芯片的金屬線檢測，等等。應(yīng)用案例可以參見，國內(nèi)奕目科技公司的Vomma光場相機(jī)主頁。

在內(nèi)部探傷領(lǐng)域，隨著X-ray光場成像[4]的提出，光場成像可以利用其三維立體成像優(yōu)勢，發(fā)展成為一種新的快速無損內(nèi)部探傷手段，這是只能進(jìn)行外觀深度探測的結(jié)構(gòu)光和線激光所不具備的優(yōu)勢。

光場相機(jī)在醫(yī)療診斷也具備巨大的潛力，這里僅僅列舉若干案例。

比如光場相機(jī)作為一種深度傳感器，可以輔助手術(shù)機(jī)器人完成精準(zhǔn)操作的微創(chuàng)手術(shù)。利用光場相機(jī)寬視場、大景深，深度信息解算迅速（100ms級別）, 光場相機(jī)可以快速定位醫(yī)療機(jī)械臂上的手術(shù)工具頭的位置，同時(shí)光場相機(jī)也可以完成目標(biāo)區(qū)域人體組織的定位，比如下圖中，在光場相機(jī)的定位輔助下，手術(shù)機(jī)器人精準(zhǔn)完成了傷口的縫合，光場相機(jī)甚至可以通過測量縫合線頭的形貌，判別縫合質(zhì)量。得益于光場相機(jī)的結(jié)構(gòu)緊湊型，機(jī)械臂與相機(jī)的手眼標(biāo)定（即相機(jī)坐標(biāo)系和機(jī)械臂的運(yùn)動坐標(biāo)系轉(zhuǎn)換）也更加便捷。

圖5 基于光場相機(jī)的手術(shù)機(jī)械臂 （Shademan, Azad, et al. Plenoptic cameras in surgical robotics: Calibration, registration, and evaluation. 2016.）

再比如光場相機(jī)應(yīng)用于內(nèi)窺鏡。由于光場相機(jī)基于被動視覺，無需輔助光源，基于光場相機(jī)的內(nèi)窺鏡，可以集成到一根探頭上，而基于結(jié)構(gòu)光的內(nèi)窺鏡則需要兩個(gè)探頭，即光源和成像系統(tǒng)，加劇了結(jié)構(gòu)的復(fù)雜度和手術(shù)操作難度 （在可以只往身體內(nèi)插一根管子的時(shí)候，也沒病人希望插兩根）。光場相機(jī)與內(nèi)窺鏡之間通過中繼鏡頭使得fnumber得到匹配。光場相機(jī)同時(shí)返回人體組織的深度信息和二維影像。

圖6 基于光場相機(jī)的硬式內(nèi)窺鏡 （Le, Hanh ND, et al. ;3-D endoscopic imaging using plenoptic camera.2016.）

圖7 基于結(jié)構(gòu)光的內(nèi)窺鏡（Lin, Jianyu. ;An endoscopic structured light system using multispectral detection.2015）

再比如光場相機(jī)應(yīng)用于人眼部的醫(yī)療檢測。例如虹膜的形態(tài)，除了反映人眼部健康之外，也是人其他部位生理信息的重要指標(biāo)，如晚期糖尿病可引起虹膜新生血管形成，也稱虹膜紅腫，虹膜上出現(xiàn)細(xì)小血管。此外，治療良性前列腺肥大（BPH）的藥物也會改變虹膜肌張力，導(dǎo)致虹膜結(jié)構(gòu)改變和眼部手術(shù)并發(fā)癥。針對這一問題，目前的主要檢測手段是OCT斷層掃描，還有超聲顯微鏡。但虹膜是一種動態(tài)組織，它的形狀和配置可能會隨著眼球運(yùn)動而改變，OCT測著測著，沒準(zhǔn)病人就眨眼了。超聲顯微鏡則需要給病人眼部麻醉，探頭需要和眼球直接接觸，操作也復(fù)雜。光場相機(jī)則可以避免這些問題，利用其快速成像的優(yōu)勢，檢測只需要一瞬間。

圖8 基于光場相機(jī)的虹膜檢測 a）病變的眼睛 b）虹膜上的腫瘤凸起 （Chen, Hao, et al. Human iris three-dimensional imaging at micron resolution by a micro-plenoptic camera. 2017）

再比如光場相機(jī)應(yīng)用于牙齒取模。牙科診所，病人牙齒有缺損，需要用石膏對病人進(jìn)行取模，患者咬住十分鐘到半小時(shí)，石膏固化后寄送給人造牙的工廠，等個(gè)十天半個(gè)月后澆筑好的牙齒再寄送到牙醫(yī)手上。但是光場成像，可以在瞬間完成牙齒三維形貌的測定。因此有希望完成快速取模，同時(shí)數(shù)據(jù)資料即時(shí)傳輸?shù)饺嗽忑X生產(chǎn)廠家，利用3D打印造出牙齒的模具或者直接打印牙齒本身，從而極大地降低取模時(shí)間，并且顯著縮短患者等待人造牙齒的時(shí)間周期。

圖9 基于光場相機(jī)的牙齒3D測量 （https://raytrix.de/）

此外，光場相機(jī)在醫(yī)療美容也可以存在應(yīng)用，作為一種深度相機(jī)，可以提供整形前后的立體的外觀相對變化信息……

三、超透鏡，光場相機(jī)的必由之路

如前文所述，光場相機(jī)的低空間分辨率源于微透鏡導(dǎo)致的空間－視角信息折中，而微透鏡又受限于光學(xué)衍射極限，使得即使感光芯片加工工藝提高，也無法把微透鏡做得更小。這一問題難道無解？非也，超透鏡（metalens）技術(shù)，毫無疑問是解開這個(gè)限制的關(guān)鍵技術(shù) [5]。人類技術(shù)的進(jìn)步，源于兩大推動力，尺度和維度。超透鏡就是一種在尺度上通過細(xì)微結(jié)構(gòu)，調(diào)整波前的技術(shù)。透鏡的作用，無非是調(diào)制波前，使得光線匯聚。從菲涅爾透鏡上我們可以看到超透鏡的邏輯，對于一個(gè)凸透鏡，去除掉透鏡中對波前調(diào)制沒有貢獻(xiàn)的部位，可以得到一個(gè)很薄的但功能等效的凸透鏡。這種菲涅爾透鏡中的每個(gè)細(xì)微結(jié)構(gòu)，負(fù)責(zé)調(diào)制波前。由此及彼，假如一個(gè)平面上有很多的細(xì)微結(jié)構(gòu)（尺度接近光波波長），每個(gè)細(xì)微結(jié)構(gòu)都參與調(diào)制，就可以得到一個(gè)和凸透鏡一樣的波前調(diào)制器。這種超透鏡的最大優(yōu)勢在于，不僅結(jié)構(gòu)輕薄，消除了因?yàn)橥哥R厚度造成的復(fù)雜像差，更重要的是突破了衍射極限。

圖10 菲涅爾透鏡制造原理

可以大膽預(yù)測，在超透鏡技術(shù)成熟后，光場相機(jī)的下一步道路必然是采用基于超透鏡的主透鏡與微透鏡，在沒有衍射效應(yīng)的束縛下，微透鏡可以越做越小，只要感光像素的尺寸可以繼續(xù)變小，微透鏡的尺寸就可以跟進(jìn)變化。不僅可以有效提高光場相機(jī)的空間分辨率，視角分辨率也可以因?yàn)橄袼刈冃《岣摺Ｔ俱Q制光場相機(jī)的小基線問題，也必將得到進(jìn)一步緩解，成像像差也會得到改善。

簡單總結(jié)來說，光場相機(jī)的普及，在攝影群體中具有很大的難度，受限于光場相機(jī)的空間－角度信息折中關(guān)系，這一情況不會因?yàn)楦泄庑酒闹圃旃に囘M(jìn)步而有明顯改善；而光場相機(jī)的獨(dú)特優(yōu)勢，令其在工業(yè)上被廣泛應(yīng)用存在可能；同時(shí)，超鏡頭技術(shù)的出現(xiàn)以及迭代更新的感光芯片，使得光場相機(jī)的分辨率將會得到提高，從而克服現(xiàn)存的性能缺陷。

在當(dāng)下的技術(shù)水平下，為了繞開折中設(shè)計(jì)這一性能陷阱，光場成像也有其他變種，比如掩碼、鬼成像等等，可以下次繼續(xù)探討，這些光場相機(jī)變種與微透鏡構(gòu)型的光場相機(jī)在性能上的區(qū)別與優(yōu)劣之分。

參考文獻(xiàn)：

[1] Broxton, Michael, et al. Wave optics theory and 3-D deconvolution for the light field microscope. Optics express 21.21 (2013): 25418-25439.

[2] Mei, Di, et al. "High resolution volumetric dual-camera light-field PIV."Experiments in Fluids60.8 (2019): 1-21.

[3] Rodríguez-Ramos, Luis Fernando, et al. "Concepts, laboratory, and telescope test results of the plenoptic camera as a wavefront sensor."Adaptive Optics Systems III. Vol. 8447. International Society for Optics and Photonics, 2012.

[4] Viganò, Nicola. Emulation of X-ray Light-Field Cameras. Journal of Imaging 6.12 (2020): 138.

[5] Lin, Ren Jie, et al. "Achromatic metalens array for full-colour light-field imaging."Nature nanotechnology14.3 (2019): 227-231.

編輯：黃飛