據麥姆斯咨詢介紹，神經形態視覺傳感是一種受生物啟發的相機，可以捕捉場景中的活動，降低數據冗余和延遲。這些基于事件的傳感器使機械的自主性更加接近現實，并在工業自動化、消費電子和自動駕駛車輛等領域基于視覺的高速應用中找到用武之地。

“為什么說基于事件的視覺傳感器是神經形態的？因為每個像素都是一個神經元，把人工智能引入像素邊緣完全有意義。”Yole首席分析師Pierre Cambou稱。

最近幾個月，沉寂多年的神經形態視覺傳感產業似乎又重新回到了人們的視野。去年11月，三星為其移動和平板電腦應用的動態視覺傳感器（Dynamic Vision Sensor， DVS）技術提交了商標申請。Pierre Cambou說，“這算是一個驚喜！因為三星最初市場化的動態視覺傳感器主要用于汽車高級駕駛輔助系統（ADAS）。”

2019年12月，索尼悄悄收購了總部位于蘇黎世的Insightness公司，該公司的視覺傳感器即使在運動中也可以在幾毫秒內實現運動檢測。2020年2月，總部位于巴黎的Prophesee公司在完成2800萬美元額外融資后不久，和索尼一起在美國舊金山舉行的國際固態電路會議（International Solid-State Circuits Conference）上聯合宣布，他們已經開發出一種基于事件的堆疊式圖像傳感器。

Prophesee基于事件的圖像傳感器的成像圖片

神經形態傳感起源于1991年蘇黎世聯邦理工學院（ETH Zurich）神經信息學研究所Misha Mahowald開發的“硅視網膜”技術。Mahowald解釋稱，“模仿人類視網膜，這種‘硅視網膜’通過從圖像中減去平均強度水平，只報告空間和時間變化，從而減少了帶寬。”這種靈感推動了動態視覺傳感器背后的概念，使蘇黎世聯邦理工學院成為該技術的創新中心，并孕育了像Prophesee、Insightness等無數初創企業。瑞士創新公司iniVation也是其中之一。

iniVation開發的DAVIS346

這家總部位于蘇黎世的初創公司由基于事件的視覺先驅們于2015年創建，他們開發了一種動態視覺平臺，結合硬件和軟件用于高性能機器視覺系統。iniVation的神經形態動態視覺傳感器芯片DAVIS346模仿了人類視網膜的特性。只有在發生局部像素級的變化時才會進行傳輸，以微秒級的分辨率生成事件流，與傳統的視覺傳感器相當，但數據量卻少得多。該公司聲稱，由于采用本地化處理，其功耗（最多減少90%）、數據存儲和計算要求顯著降低，同時還提高了傳感器的動態范圍（高于120 dB）。

iniVation通過300個客戶的網絡，與賓夕法尼亞大學（University of Pennsylvania）、蘇黎世大學（University of Zurich）和美國國防高級研究計劃局（DARPA）的研究人員合作開發了IBM的TrueNorth仿人腦芯片。這項研究的重點是無人駕駛飛機的自主飛行。

暢想智能制造

現代制造業正在發生一場無聲的革命。機器自主和自動化相輔相成，大量制造自動化的發展背后是機器視覺。與簡單的傳感器不同，機器視覺傳感器會產生大量的數據以識別有缺陷的系統，了解它們的缺陷并進行快速干預。其結果是節約的成本和提高的生產率。

iniVation稱，其動態視覺平臺適用于工業視覺，可實現基礎設施的高速3D掃描，用于預測性維護、高速生產檢測、顆粒、熒光成像顯微鏡以及人體運動分析。換句話說，它能夠以高速度、高精度和高一致性執行普通或復雜的重復任務。

“我們花了一段時間才找到一個好的策略。”iniVation首席執行官Kynan Eng說，“很多公司可以提供高速計數，由于傳統相機可以實現每秒1000幀甚至更高，所以高速計數并不是根本。如果應用不需要即時響應，那么，使用我們的傳感器就沒有什么意義。”

對于iniVation傳感器應用，關鍵的是延遲而不是數據吞吐量，iniVation的傳感器具有快速響應時間，例如一個不斷移動執行任務的機器人，它需要實時調整它的路徑。如果調整得越快，它就能移動得越快，同時檢測自己錯誤的速度也越快。

“在我看來，工業視覺是一個相對低風險，但市場規模也低的市場。”Eng說。因此，風險投資基金很少有興趣。著眼于有機增長，iniVation正在考慮規模經濟。通過2019年與三星（Samsung）的合作，iniVation從制造和芯片銷售轉向對機器視覺行業銷售相機。“你可以賣100美元的芯片，也可以把它裝在相機里，賣1000美元的相機。”Yole分析師Cambou指出。

通過轉向系統級產品，iniVation正在往高價值鏈上拓展。

“我們認識到，只成為一家芯片公司沒有意義。”Eng說，“我們可以融資10億美元，但這仍不足以自己制造芯片。客戶一直問我們，為什么我們的相機價格昂貴，如何才能讓它們便宜。與三星合作，就是問題的答案。”

對產品質量的高要求，推動了食品、包裝、消費電子、航空航天以及汽車行業的機器視覺。Eng說，iniVation的目標是進入更大的市場。

移動領域空間巨大

基于事件的相機只傳輸強度的變化。它們不會受到運動模糊的影響，延遲時間約為微秒級。加上很高的動態范圍和很低的功耗，使基于事件的相機非常適合虛擬現實和增強現實應用（VR/AR）。“這是一個巨大的潛在市場，不過，現在還不知道什么時候會真正起量。現在，它是一個利基市場。”Eng說。

基于事件的相機也可以應用于移動設備。“重點在于說服手機制造商在手機背面再增加一顆傳感器。”Eng說。最初，iniVation和其它基于事件相機的廠商只生產使用DVS像素的相機。Eng補充說：“這些特性有利于應對高速變化，但在很多情況下，人們只是想自拍或者給美食拍照。幾年前，我們開始開發一種兼具基于事件像素和正常像素的傳感器。用戶可以拍攝普通照片，進行普通處理，但對于特定的用例，用戶會用到我們基于事件的像素。”

因此，手機制造商不必做出非此即彼的決定，并能維持同樣水平的價格。

Cambou說：“手機市場或將在2021年~2022年前后開啟。現在，我們已經在華為手機的背面看到了5顆攝像頭。除了‘永久在線’的神經形態相機，我想不出再下一顆攝像頭還有誰。有人會說‘多光譜相機’，但我認為更多的可能是讓智能手機始終保持‘意識’。基于事件的相機可以實現無接觸的交互，如鎖定和解鎖手機。”

與Prophesee和索尼的合作一樣，和三星的合作為iniVation在智能手機市場上提供了一條新的發展道路。Cambou說，一如既往，這是一個如何落地的問題。“永久在線意識已經提出好多年了，但現在的問題是如何實現它。這取決于應用，以及在客戶體驗方面可以提供哪些改善。”

為汽車提供智慧雙眼

基于事件的相機很節能，因為像素活動微不足道；對于“靜默時”的像素幾乎不需要能量。這是一個賣點，因為自動駕駛汽車正從內燃機向電動引擎過渡。對于汽車公司來說，功耗比最初認為的要重要得多。Eng說，“在目前的電動汽車設計中，如果一輛汽車以恒定速度使用4 kW的總功率預算，那么其中一半會用于推動汽車，另一半則要用于計算。計算環節省下來的每一瓦特電能，都可以延長汽車的續航里程，或者使用更小的電池。”

iniVation的動態視覺傳感器平臺能夠在惡劣的照明條件下實現車輛量距、高速即時定位和地圖繪制（SLAM）以及自動駕駛輔助。“隨著處理技術的發展，自動駕駛汽車的前景將會越來越明朗。”Eng說，“我們將提供一種混合傳感器，它將同時具備幀速和基于事件的傳感能力，這樣汽車制造商就可以繼續使用它們已經投入數十億美元開發的產品。”

傳感器是解鎖自動駕駛的關鍵。Cambou表示，這些傳感器會產生大量的數據，系統將嚴重受限于處理能力。更多的攝像頭和隨之而來的更多數據意味著“計算爆炸”。一個解決方案是提高數據質量。Cambou 補充說，“真的要解決自動駕駛問題，就需要更多類型的傳感數據，例如激光雷達、熱像儀和高光譜相機等。我認為汽車廠商也應該考慮基于事件的相機。”

神經形態工程的潛力仍有待開發。Yole稱，到2029年，神經形態半導體、傳感和計算將成長為71億美元規模的市場。如果在未來4~5年內可以解決所有技術問題，神經形態計算市場將從2024年的6900萬美元增長到2029年的50億美元，以及2034年的213億美元。神經形態傳感市場將從2024年的3400萬美元增長到2029年的20億美元，以及2034年的47億美元。