用于敏捷自主機器人的視覺處理需要在有限的功耗和空間預算內完成低延時計算。這對傳統計算硬件來說是一項挑戰。并行處理器陣列（Parallel processor arrays）是一種新型視覺傳感器架構，該陣列利用半導體技術的進步，在圖像傳感器陣列的每個像素中嵌入了處理器。感測到的像素數據可以直接在焦平面上進行處理，因此只有少量的相關信息從視覺傳感器傳輸出去。這種在大規模并行計算架構中的傳感、處理和存儲的緊密融合造就了機器視覺系統在高性能、低延時、低功耗、低成本與多功能性之間的有趣權衡。

據麥姆斯咨詢報道，近日，英國曼徹斯特大學（The University of Manchester）與英國布里斯托大學（University of Bristol）的研究者共同合作在Science Robotics發表了以“Sensor-level computer vision with pixel processor arrays for agile robots”為主題的綜述論文。該論文通訊作者為曼徹斯特大學電氣工程與電子系的Piotr Dudek。

這項研究首先從像素內計算的角度回顧了圖像傳感器和處理硬件的歷史；然后，通過對SCAMP-5系統的描述，概述了基于像素處理器陣列（PPA）器件的最先進的智能相機系統的關鍵特征；隨后，描述了多種關于敏捷地面和空中飛行器的機器人應用，證實了PPA的傳感功能，這些應用包括高速里程計、目標跟蹤、障礙物探測和避讓。最后在結論中，該研究對PPA器件的未來發展提供了一些見解和展望，包括其在敏捷、穩固、強適應性和輕量級機器人中的應用及優勢。

典型視覺系統方法的比較

在傳統的視覺系統（如上圖A所示）中，通常利用相機中的圖像傳感器來獲取視覺信息、生成視頻幀并發送至處理硬件。盡管在提升此類硬件的速度和效率方面的相關研究不斷取得進展，但其發展的根本限制來自于“傳感器-處理器”的瓶頸。在此過程中，大量的視覺數據被采集、數字化，然后從相機端發送至處理器，然后在整個處理系統中完成運算。這樣會大幅限制系統延時和功耗降低。

為了克服這種限制，需要將數據處理轉移到更靠近傳感器的位置（如上圖B所示）。這樣視覺傳感器的作用不僅僅是獲取視覺信號，而是還要對信號進行處理、產生有意義且高度壓縮的信息，來替代原來的視頻幀。由此產生的傳感器級別的數據縮減，不僅加快了數據傳輸速度，而且降低了對下游計算硬件的要求。為了實現該目標，近傳感器處理硬件需要提供高計算性能和低功耗的組合。處理電路通常是并行數字信號處理單元或更專業的硬件。將感知和處理保持在近距離，可以實現更大的“傳感器-處理器”帶寬，并降低與遠距離信號通信相關的功率。這顯然是有利的，但將單獨的傳感器和處理器電路放在一個器件上的好處僅僅在于可以實現傳統視覺傳感器的小型化；從根本上講，“傳感器-處理器”的瓶頸仍然存在。而如今的微電子技術可以通過重新設計像素級傳感器電路來徹底消除這種瓶頸。本研究中使用的方法已超越了圖像傳感器和處理器的共置：它將計算硬件放在圖像信息獲取的位置，進入了圖像傳感器像素本身（如上圖D所示）。

圖像傳感器中的像素級電路

像素內處理的概念可以更進一步，通過在圖像傳感器中每個像素內集成完整的可編程處理器核心，可顯著提升器件的復雜度和靈活性，這類器件被稱為像素處理器陣列（PPA），如下圖所示。

像素處理器陣列（PPA）

研究中的SCAMP-5系統如下圖所示。其中的核心PPA功能是由定制型集成電路提供，但SCAMP-5視覺芯片、大多數外圍組件（如微控制器、FPGA器件、ADC和DAC等）均使用組裝在印刷電路板上的現成電子器件來實現。這將大幅增加整個相機系統的尺寸和功耗，可能會限制部分實際應用，但提供了易于使用的研究原型。

SCAMP-5智能相機系統

該SCAMP-5陣列的顯著特點是其全局和基于事件的讀取模式。雖然圖像處理的結果讀取為二進制或灰度圖像幀，這通常在程序開發/調試階段完成，但PPA最強大的特點在于可以在像素內部完成處理圖像，只有計算的結果才會從傳感器器件輸出。下圖列舉了SCAMP-5系統執行的幾種基本算法及其執行時間，如卷積濾波器、角提取和光流計算等基本的像素并行操作在PPA中很容易實現。

在SCAMP-5 PPA上執行的多種圖像處理算法

這項研究還介紹了完全可編程PPA器件在敏捷機器人系統中的應用。常見應用主要有：敏捷目標跟蹤和探測（Agile object tracking and detection）、傳感器視覺里程計（On-sensor visual odometry，VO）、繪圖測繪和定位（Pictorial mapping and localization）。

PPA方法的關鍵是在像素級完成信息提取和數據壓縮，從而實現了從傳感器器件到系統其余部分的高效、高速信息傳輸。傳感器生成的稀疏數據類型需要針對每種應用進行優化。對此有希望的解決方案是優化從傳感策略到主機級處理的整個流程。同時，PPA器件不僅能處理圖像數據，還能影響光傳感本身（例如每個像素中的可編程曝光級別）。

除了前文提到的三大應用外，另一方面的應用是人機交互，在低延時注視跟蹤和手勢識別方面有潛在的應用。PPA器件的應用已超越了機器人系統，可擴展到更通用的計算機視覺應用領域，隨著微電子芯片集成和封裝技術的改進，該領域有望繼續取得進展。PPA還可以在發展更好的隱私感知系統中找到機遇，這類系統可以智能地關注從PPA輸出的數據。因此，可以預測，基于PPA的視覺傳感器能夠以高時間分辨率、低延時和低功耗來產生高信息量的稀疏數據，將越來越多地應用于各種未來的機器人系統。

這項研究工作獲得英國工程和物理科學研究委員會（Engineering and Physical Sciences Research Council，EP/M019284/1(P.D.)和EP/M019454/1 (W.M. and T.R.)）的資金支持。

論文鏈接：
https://www.science.org/doi/10.1126/scirobotics.abl7755

審核編輯 ：李倩