來自普林斯頓和華盛頓大學的一組研究人員創造了一種新的照相機，捕捉到的圖像和測量結果只有一個粗粒鹽大小的半毫米。

發表在 Nature Communications， 上的新的 研究 概述了使用光學超表面和機器學習來產生高質量的彩色圖像，具有廣闊的視野。該設備可用于從機器人到醫療領域的各個行業，以幫助疾病診斷。

光學超表面依賴于一種新的光操縱方法，使用設置在小正方形表面上的圓柱柱。這些柱子的幾何形狀不同，其工作原理類似于天線，可以捕獲入射光子（電磁輻射波）。然后，這些波作為信號從元表面發送到計算機，以解釋并生成圖像。

圖 1 傳統透鏡與神經納米光學的比較。由普林斯頓計算成像實驗室提供。

微型攝像機在醫學上有著巨大的應用潛力，從腦成像到微創內窺鏡。但是，到目前為止，這項技術已經用有限的視野捕捉到模糊、扭曲的圖像。

研究人員采用神經納米光學技術，將光學超表面與基于神經特征的圖像重建相結合，以解釋數據并生成更高質量的圖像。

“為了從測量數據中恢復圖像，我們提出了一種基于特征的反卷積方法，該方法采用可微逆濾波器和神經網絡進行特征提取和細化，”資深作者、普林斯頓大學計算機科學助理教授 Felix Heide 說。

該團隊使用模擬器測試了機器學習算法，比較了天線的不同配置。由于光學表面上有 160 萬個圓柱體和復雜的光相互作用，模擬需要大量內存。

使用 cuDNN – 加速 TensorFlow 深度學習框架和 查看 P100 GPU 對算法進行測試和訓練。結果是一個新的系統能夠從一個小 50 萬倍的設備上產生與現代相機鏡頭相當的圖像。根據這項研究，這種新相機在過濾錯誤方面也比以前的技術好 10 倍。

計算機科學博士 Ethan Tseng 說：“設計和配置這些微小的微結構以滿足您的需求是一個挑戰。”。普林斯頓大學的學生和該研究的共同負責人在 press release 中說。“對于這個拍攝大視場 RGB 圖像的特殊任務來說，這是一個挑戰，因為有數以百萬計的小微結構，而且不清楚如何以最佳方式設計它們。”

該團隊目前正在努力為相機增加更多的計算能力，并在未來的迭代中設想目標檢測和醫學或機器人傳感器等功能。除此之外，他們還看到了一個超小型成像儀將表面變成傳感器的用例。

Heide 說：“我們可以將單個表面變成超高分辨率的攝像頭。這樣，你就不再需要在手機背面安裝三個攝像頭，但整個手機背面將變成一個巨大的攝像頭。我們可以在未來想出完全不同的方式來構建設備。”。

關于作者

Michelle Horton 是 NVIDIA 的高級開發人員通信經理，擁有通信經理和科學作家的背景。她在 NVIDIA 為開發者博客撰文，重點介紹了開發者使用 NVIDIA 技術的多種方式。

審核編輯：郭婷