使嵌入式機(jī)器視覺應(yīng)用程序更易訪問是OpenMV的最終目標(biāo)，該項(xiàng)目負(fù)責(zé)開發(fā)開源、低成本嵌入式相機(jī)平臺(tái)的多個(gè)迭代。

OpenMV始于2013年，當(dāng)時(shí)副總裁兼聯(lián)合創(chuàng)始人Ibrahim Abdelkader正在尋找一款比他更好，更便宜的串行相機(jī)模塊。期望的結(jié)果是一個(gè)小型，可擴(kuò)展的機(jī)器視覺模塊，成本低于100美元。最終，OpenMV轉(zhuǎn)移到Hackaday項(xiàng)目，然后轉(zhuǎn)移到Kickstarter項(xiàng)目，然后 – 總裁兼聯(lián)合創(chuàng)始人Kwabena Agyeman于2015年加入運(yùn)營業(yè)務(wù)。

從那時(shí)起，OpenMV開發(fā)并銷售了多個(gè)相機(jī)平臺(tái)的迭代。 OpenMV Cam的當(dāng)前版本H7采用STMicroelectronics STM32H743VI ARM Cortex M7處理器，運(yùn)行頻率為400 MHz，內(nèi)存為1 MB，閃存為2 MB。所有I / O引腳輸出3.3V且耐5V。 I / O接口包括USB計(jì)算機(jī)接口;一個(gè)能夠100 Mbps讀/寫的μSD卡插槽;可以運(yùn)行高達(dá)100 Mbps的SPI總線，I2C總線，CAN總線和異步串行總線，用于連接其他微控制器和傳感器，以及12位ADC，12位DAC，三個(gè)I / O引腳伺服控制，RGB LED和兩個(gè)850 nm紅外LED。

使用OpenMV Cam H7，一次可跟蹤多達(dá)16種顏色。

可拆卸攝像頭模塊允許OpenMV Cam H7與不同的傳感器連接，但攝像頭配有OmniVision Technologies的OV7725圖像傳感器。這款640 x 480色彩傳感器是一個(gè)1/4“CMOS圖像傳感器，全分辨率下以60 fps運(yùn)行，速度高達(dá)120 fps，分辨率低于320 x 240.另外，相機(jī)的鏡頭尺寸為2.8 mm標(biāo)準(zhǔn)M12鏡頭卡口。

對于專業(yè)機(jī)器視覺應(yīng)用，OpenMV提供全球快門相機(jī)模塊，由安森美半導(dǎo)體的752 x 480 MT9V034全局快門CMOS傳感器組成。對于熱成像應(yīng)用，OpenMV提供FLIR Lepton適配器模塊。

“使用我們的系統(tǒng)部署散熱功能是一個(gè)簡單的過程，”Agyeman說。 “假設(shè)您想將相機(jī)放在房間的角落以進(jìn)行安全或監(jiān)視。也許它有一個(gè)Wi-Fi芯片可以在它看到任何東西時(shí)向服務(wù)器發(fā)送一條消息。 OpenMV cam是一體化的包裝，可以完成所有工作。“

他繼續(xù)說道，“我們有一個(gè)電池連接器，一個(gè)Wi-Fi屏蔽，F(xiàn)LIR Lepton支持，并且軟件可以讓整個(gè)系統(tǒng)開啟，捕獲熱圖像并關(guān)閉，同時(shí)以非常低的功耗生存等待一些環(huán)保行動(dòng)發(fā)生。“

關(guān)于軟件，編程是通過MicroPython完成的 – 一種用C編寫的Python可編程語言版本，經(jīng)過優(yōu)化可在微控制器上運(yùn)行。 OpenMV的攝像頭有一個(gè)運(yùn)行在機(jī)上的MicroPython內(nèi)核。

“通過內(nèi)核，您可以發(fā)送Python代碼腳本，并解析，編譯和執(zhí)行該代碼。我們所有的函數(shù)都是用C語言編寫的，然后他們?yōu)樗麄儎?chuàng)建了一個(gè)Python模塊，您可以使用MicroPython解釋器調(diào)用它們。使用Python的原因是我們的固件現(xiàn)在約為2 MB，加載固件需要很長時(shí)間，“他說。

“如果你在C工作，”Agyeman繼續(xù)說道，“每次對設(shè)備進(jìn)行編程需要很長時(shí)間，包括任何時(shí)候進(jìn)行一次更改。可以努力使固件的某些部分可重新編程，而某些部分不可重新編程，從而無需擦除整個(gè)部分，但通過使用MicroPython，我們的編譯，上載和執(zhí)行時(shí)間不到一秒。 ”

openmv最新的相機(jī)，openmv cam h7，建立在ARM Cortex m7處理器上。

真實(shí)案例和性能

Agyeman說，OpenMVCam的所有版本都可以完成各種成像任務(wù)，包括顏色跟蹤、人臉檢測、視頻記錄和基準(zhǔn)標(biāo)記跟蹤（Apriltag標(biāo)記跟蹤），但機(jī)器視覺社區(qū)的一個(gè)潛在的有趣功能是字符識(shí)別，這是使用chars74k圖像數(shù)據(jù)完成的。ET.由大量字母A-Z和數(shù)字0-9的圖片組成，該數(shù)據(jù)集可以用H7識(shí)別打印字符。

Agyeman說，雖然它不一定有“全文識(shí)別”，但OpenMVCamH7可以指向一個(gè)字母并識(shí)別該字母。

“當(dāng)針對圖像的感興趣區(qū)域時(shí)，算法以大約20 fps的速度運(yùn)行。如果你不需要很高的幀速率，你可以拍一張照片，如果你知道圖像中的數(shù)字應(yīng)該在哪里，你可以在該區(qū)域啟動(dòng)算法，并將文本數(shù)字化，”他說。

Agyeman提供的一個(gè)例子是，openmv cam指向帶有旋轉(zhuǎn)數(shù)字的機(jī)械刻度盤，目的是借助于機(jī)器學(xué)習(xí)實(shí)現(xiàn)刻度盤的數(shù)字化。

“即使有了OpenCV和基于Linux的處理器，這也不容易，”他說。“只有模板匹配或機(jī)器學(xué)習(xí)才能解決這一問題。然而，有了H7，我們就有了一個(gè)機(jī)器學(xué)習(xí)示例腳本，該腳本直接內(nèi)置在相機(jī)中，不需要安裝任何軟件。

OpenMV相機(jī)部署的其他現(xiàn)實(shí)應(yīng)用包括機(jī)器人競賽，如First Robotics以及用于簡單特征檢測的產(chǎn)品線裝配應(yīng)用程序。相機(jī)內(nèi)置的免費(fèi)功能包括條形碼讀取、二維碼讀取和數(shù)據(jù)矩陣讀取功能。雖然H7相機(jī)或以前版本的相機(jī)無法與工業(yè)相機(jī)或智能相機(jī)（通常用于機(jī)器視覺）的功能匹配，但OpenMV及其相機(jī)的一個(gè)優(yōu)勢是成本。

Agyeman說：“當(dāng)人們不想為復(fù)雜的機(jī)器視覺攝像機(jī)系統(tǒng)支付費(fèi)用時(shí)，他們使用OpenMV攝像機(jī)，他們希望能夠完成一些涉及最低質(zhì)量控制檢查的工作，并希望能夠快速實(shí)施一個(gè)簡單的解決方案。”“這避免了他們使用系統(tǒng)集成商和昂貴的相機(jī)和個(gè)人電腦。

使用OpenMV相機(jī)作為微控制器，將其插入編寫簡單代碼的計(jì)算機(jī)，并使用編輯器來處理安裝，這是Agyeman最近看到的另一個(gè)應(yīng)用程序。

展望未來，OpenMV團(tuán)隊(duì)著眼于開發(fā)新的人工智能（AI）解決方案。

“我們可以做的一件事是，因?yàn)樗且粋€(gè)處理器，直接使用SPI總線接口與其他處理器通信。不同的人工智能板現(xiàn)在存在，幫助加速和啟用新的應(yīng)用程序。他說：“我們正在考慮將這些設(shè)備集成為未來相機(jī)的防護(hù)罩。”

“此外，”他說，“我們正在努力將人工智能功能集成到相機(jī)中。”