Prophesee為其事件驅動的人工智能（AI）視覺開發生態系統新增開源模塊和訓練數據資源庫。

開源模塊和訓練數據資源庫

據麥姆斯咨詢報道，法國AI視覺開發商Prophesee面向光流和目標探測等AI視覺應用，發布了一套關鍵的開源軟件模塊和一組事件驅動的機器學習工具。

Metavision Intelligence套件

作為Metavision Intelligence套件的一部分，Prophesee向開發者提供了業界最大的高清事件驅動數據集OpenEB（免費下載）。這有助于開發人員使用事件驅動的方法來進行機器學習，這種方法由場景的變化而不是神經網絡框架觸發。

和人眼視覺原理類似，Prohesee開發的傳感器只有在感知到場景變化時才會進行記錄，不同于傳統圖像傳感器以固定的幀時鐘記錄圖像信息。即僅在場景發生變化時，這種基于事件的視覺傳感器上的像素才做出反應，場景中靜態的部分都不會被捕捉。

Prohesee基于事件驅動的圖像傳感器

這種基于事件的視覺感知設計，主要有三大優勢：產生數據量更少；反應速度更快；以及實現更高的動態范圍（》120 dB）。這些優勢對于當代機器視覺而言極具價值，尤其在減少數據量的問題上，對于有限的通信、存儲與計算資源都顯得相當友好。

傳統基于幀和Prophesee基于事件的視覺傳感器成像對比

Prophesee聯合創始人兼首席執行官Luca Verre解釋稱：“所謂‘事件’，是指一個像素激活自身并發送事件檢測到發生的X、Y坐標和時間戳。傳感器上每個像素獨立接收光子，光電二極管因此產生電流，進行累加之后，像素再持續地將電流的實時電荷電壓與參考值做比較。在電壓增減達到一定程度時，該像素就會發出一個事件。整個過程是μs級別的速度。”

首款事件驅動AI相機已出貨

日本CenturyArk推出的SilkyEvCam人工智能相機，采用了Prophesee的事件驅動圖像傳感器和軟件

日本CenturyArk在2020年末面向廣泛的工業機器視覺應用推出了超小型USB攝像頭SilkyEvCam。SilkyEvCam采用了Prophesee的Metavision視覺傳感器以及Metavision Intelligence套件。為采用事件驅動方案的機器視覺開發人員，提供了更快的上市時間。

相比傳統基于幀的視覺傳感技術，這款相機采用了基于時間的Metavision視覺傳感器，將場景中收集的數據量減少了1000倍，顯著提高了性能。這種事件驅動方案能夠以等效10000 fps以上的時間分辨率進行高速視覺，并支持超過120 dB的寬動態范圍，使其適合在苛刻的照明條件下進行高效運行。

在此基礎上，這款相機率先提供了對Metavision Intelligence套件的全面支持，這是業界最全面的一套開發工具，用于加速機器視覺系統中對基于事件的視覺技術的探索和實現過程。該套件包含62種算法、54個代碼示例和11個現成的應用程序。它為用戶提供了C++和Python API以及大量的文檔和示例，通過增加難度來逐步引入基于事件的機器視覺的基本概念。

Prophesee最新發布的Metavision Intelligence版本增加了一套擴展的開發工具和軟件，用于設計具有事件驅動機器學習的工業視覺系統。該套件現在包括近100種算法、67個代碼樣本以及11個特定用例的應用模塊，可以加速用戶的開發過程。

OpenEB的開源模塊可以通過Github獲取，它允許設計人員構建自定義插件，并兼容用于開發事件驅動系統的Metavision Intelligence套件。它為開發者提供了一個跨機器視覺生態系統共享軟件組件的平臺。

“我們希望在機器視覺生態系統中建立一個開放的技術標準，實現易得性和互操作性的新高度。”Luca Verre說，“我們的方案為基于事件的技術提供了持續增長的生態系統，具有豐富的開放基礎和強大的開發框架。它包括了我們多年來收集的廣泛而可靠的數據，以及利用我們在各種用例中積累的專業知識，加速客戶特定系統開發的應用模塊。”

OpenEB數據庫為相機制造商及其客戶提供了標準的基于事件的數據格式。Metavision Intelligence套件的開源模塊，可以兼容相機制造商及其客戶的生態系統。Prophesee開源許可提供關鍵模塊，可以加速定制插件的創建，同時確保兼容相機制造商提供的底層硬件。

從Prophesee過去四年來創建的實際序列數據集開始，其開發環境為機器學習應用的快速發展提供了一個完整平臺。開發人員可以利用各種工具指導神經網絡模型的開發，對基于事件的數據進行推理，以進行用于目標探測的監督訓練和用于光流的自監督訓練，均為基于事件的視覺應用進行了優化。

此外，開發人員可以利用提供的基于事件的模擬器輕松創建自己的模型，或利用其現有的基于幀的數據集和模型，并使用基于事件的視覺對其進行改進。

Metavision Intelligence套件添加了新的即用型應用，并可以通過基于事件的視覺進行增強，其中包括：

- 粒度監測：在生產線上以極高的速度（高達50000像素/秒），對通過視場的物體進行計數和測量，計數精度高達99.9%，從而確保更好地控制過程。

- 噴射監測：實時監測液體分配的速度和質量。對高速噴射進行檢測和計數，支持高達500 Hz的噴射分配，并在分配器出現錯誤時自動生成警報。

- 輪廓特征跟蹤：利用基于事件的傳感器提供的低數據率和稀疏信息，以較低的算力實現超穩健的3D目標實時跟蹤。
編輯：lyn