隨著機器視覺及其應用的最新進展，相比基于幀的CCD或CMOS圖像傳感器，業界對更快、更節能、更靈敏的傳感器硬件的需求越來越高。除了基于傳統CMOS技術并已達到較高成熟度的事件相機（硅視網膜），現在對新型圖像采集和數據預處理技術的研究也越來越多，其中許多技術模擬了人類視覺系統的某些神經生物學功能。

近幾十年來，一種被稱為像素合并（pixel binning）的圖像預處理技術得到了應用，它是將圖像中相鄰的n個點像素相加合并變為一個點像素的過程。這提供了很多優勢，例如（1）由于輸出數據量減少而提高了幀速率，以及（2）在低光水平或短曝光時間下，提高了信噪比（SNR）等。對于后者來說，正常模式下每個探測像素都會受到暗噪聲的影響，但在合并模式下，每個像素僅受到一次噪聲影響。然而，合并的代價是空間分辨率降低，或者說丟失信息。在模式識別應用中，即使信噪比很高，這也會降低結果的準確性。

據麥姆斯咨詢介紹，維也納技術大學（Vienna University of Technology）光子學研究所的一支研究團隊通過將大量傳感像素合并成一個“超像素”，將合并的概念推向了極限。超像素的最佳形狀通過機器學習算法在訓練數據中確定。研究人員展示了在超短時間尺度上對光學投影圖像分類，具有增強的動態范圍，并且不損失分類精度。這項研究成果已發表于Scientific Reports期刊。

像素合并

不同類型像素合并的人工神經網絡（ANN）分類精度。傳統像素合并可以在低光照強度下擴展動態范圍，但隨著光照強度的提高會犧牲精度。數據驅動（Data-driven）的像素合并則不存在這個缺點。

對于具有獨熱編碼（one-hot encoding）的多類分類，每個類都需要一個這樣的超像素。對于傳統合并，系統對噪聲變得更具彈性，并且提高了動態范圍。然而，與傳統情況相比，對于更高的光照強度，其分類精度沒有損失，因此性能沒有妥協。當然，這些優勢的代價是降低了靈活性，因為每個特定應用都需要自定義配置/設計。

光電傳感器實現

下圖展示了這款采用數據驅動像素合并的光電傳感器示意圖。該傳感器由N個像素組成，排列成二維陣列。每個像素最多被劃分為M個子像素，這些子像素連接合并在一起形成M超像素，測量其輸出電流。

（a）光電傳感器示意圖。（b）用于MNIST數據集分類的NB分類器的顯微圖像，N=14 x 14像素，M=10個輸出通道。（c）具有兩個金屬層的GaAs肖特基光電二極管剖面圖。（d）光學照明下其中一個探測器元件的電流-電壓特性。

注：MNIST數據集（Mixed National Institute of Standards and Technology database）是美國國家標準與技術研究院收集整理的大型手寫數字數據庫，包含60，000個示例的訓練集以及10，000個示例的測試集。

樸素貝葉斯（NB）光電傳感器

（a）工作原理示意圖。（b）實驗裝置示意圖。（c）根據MNIST訓練數據集確定的NB分類器的超像素形狀。（d）計算混淆矩陣。（e）測量的光響應圖。（f）實驗混淆矩陣由10?位數字光學投影逐個確定，并將已知/真實類別標簽與傳感器預測的標簽進行對比。

ANN光電傳感器

（a）具有權重和偏差約束的ANN示意圖。（b）ANN傳感器的混淆矩陣。（c）最高和所有其他輸出電流之間的相對差。ANN相比NB分類器展現了更寬的輸出電流分布。（d）ANN的超像素形狀。

數據驅動像素合并的優勢

顯然，與在傳統CMOS圖像傳感器中讀出整個圖像相比，讀出M超像素信號需要的時間、資源和能量更少。事實上，光電二極管陣列本身根本不消耗任何能量；能量僅由選擇最高光電流的電子電路消耗。模式識別和分類實時進行，并且僅受光電流產生的物理特性和/或數據采集系統的電帶寬的限制。

器件性能評估

結語

研究人員總結提出了未來研究的建議路線。當前器件的主要限制是缺乏可重構性。雖然在某些情況下（例如專用光譜應用）可能是合適的，但通常很看重傳感器的可重構性。例如，這可以通過利用具有可調響應的光電探測器或基于非易失性存儲器材料的可編程網絡將各個像素合并在一起來實現。

除了標準獨熱編碼之外的其他方案，還可以節省硬件資源并進一步擴展動態范圍。這項技術的可能應用包括需要高速識別簡單物體或圖案的工業圖像識別系統，以及光譜學應用，其中入射光被分散成不同的顏色，傳感器經過訓練以識別某些特征光譜。在這兩種應用中，經典機器學習算法將為數據集的逼近提供足夠的繁復和深度。