在無(wú)人機(jī)視覺(jué)系統(tǒng)的常規(guī)研究中，用于基于視覺(jué)的導(dǎo)航的視覺(jué)同步定位和映射（Visual SLAM）和視覺(jué)里程計(jì)（VO）是主要課題。V-SLAM技術(shù)構(gòu)建無(wú)人機(jī)經(jīng)過(guò)的周?chē)h(huán)境的實(shí)時(shí)地圖，并且無(wú)人機(jī)相對(duì)于該構(gòu)建的地圖進(jìn)行自身定位。VO使用連續(xù)捕獲的圖像來(lái)估計(jì)無(wú)人機(jī)的自我運(yùn)動(dòng)，而不是構(gòu)建無(wú)人機(jī)的完整環(huán)境圖。這些研究集中在 3D環(huán)境的識(shí)別上，并根據(jù)識(shí)別結(jié)果控制無(wú)人機(jī)。但是V-SLAM的計(jì)算成本很高，處理速度不是很高。另一方面，在飛行生物中，實(shí)時(shí)視覺(jué)信息用于避免碰撞并在狹窄空間飛行。在這種情況下，無(wú)需獲取詳細(xì)的世界坐標(biāo)系3D環(huán)境地圖，即使只獲取無(wú)人機(jī)機(jī)身與障礙物之間的相對(duì)位置和方位，無(wú)人機(jī)也可以通過(guò)視覺(jué)伺服飛行。省略了準(zhǔn)確的3D環(huán)境識(shí)別過(guò)程，實(shí)現(xiàn)了響應(yīng)迅速的飛行。

我們認(rèn)為這種響應(yīng)式視覺(jué)伺服在傳統(tǒng)無(wú)人機(jī)研究中的表現(xiàn)仍然不夠高。因此，開(kāi)發(fā)了一種用于無(wú)人機(jī)的新型輕型高速視覺(jué)系統(tǒng)和用于快速目標(biāo)跟蹤的視覺(jué)伺服控制。所提出的視覺(jué)系統(tǒng)可以在短時(shí)間內(nèi)識(shí)別周?chē)h(huán)境，并可以立即將控制信號(hào)傳輸?shù)斤w行控制器。圖1顯示了本文中使用的基于相對(duì)位置的視覺(jué)伺服與傳統(tǒng)方法之間的差異。基于相對(duì)位置的視覺(jué)伺服估計(jì)與目標(biāo)的相對(duì)位置和方向以進(jìn)行視覺(jué)伺服，而不是收集完整的環(huán)境信息來(lái)制定控制策略。

圖1 傳統(tǒng)方法 （ a ） 和基于相對(duì)位置的視覺(jué)伺服 （ b ） 的概念

開(kāi)發(fā)用的無(wú)人機(jī)

圖2a顯示了我們?cè)趯?shí)驗(yàn)中使用的平臺(tái)。對(duì)于快速運(yùn)動(dòng)，我們選擇了QAV250光纖框架作為飛行平臺(tái)。對(duì)于高速目標(biāo)識(shí)別，我們選擇了配備Theia SY110M超廣角鏡頭的XIMEA MQ003CG-CM高速相機(jī)。考慮到快速圖像處理和姿態(tài)估計(jì)的需要，我們選擇了Jetson TX2，這是NVIDIA推出的低功耗嵌入式平臺(tái)，包括一個(gè)256核的NVIDIA Pascal GPU，一個(gè)六核ARMv8 64位CPU復(fù)合體，以及帶有128位接口的8 GB LPDDR4內(nèi)存。作為飛控，我們選擇了Pixhawk2.1 Cube作為基礎(chǔ)硬件來(lái)開(kāi)發(fā)自己的飛控。

圖2 開(kāi)發(fā)用的無(wú)人機(jī)：（ a ） 平臺(tái) （ b ） 接線配置

圖2b顯示了我們的無(wú)人機(jī)的接線圖。高速相機(jī)通過(guò)USB3.0 電纜將原始圖像傳輸?shù)脚涮子?jì)算機(jī)。在計(jì)算出相對(duì)位姿后，當(dāng)前位置和設(shè)定點(diǎn)通過(guò)FTDI USB到TTL電纜使用mavlink協(xié)議傳輸?shù)斤w行控制器。最后，PPM信號(hào)被發(fā)送到ESC以將它們轉(zhuǎn)換為三相信號(hào)以驅(qū)動(dòng)無(wú)刷電機(jī)。

移動(dòng)目標(biāo)

在實(shí)驗(yàn)中，我們準(zhǔn)備了一個(gè)樣本移動(dòng)目標(biāo)作為視覺(jué)伺服的參考，以定量驗(yàn)證其性能。為了方便圖像處理中的快速特征檢測(cè)，我們?cè)谝粔K板上安裝了四個(gè)LED燈作為移動(dòng)目標(biāo)，如圖3a所示。將每個(gè)LED的坐標(biāo)定義為（0 ， 0 ， 0 ），（0.21 ， 0 ， 0 ），（0 ， 0.15 ， 0 ），（0.21 ， 0.15 ， 0 ）分別從第1點(diǎn)到第4點(diǎn)。為了移動(dòng)目標(biāo)板，我們使用了Barrett WAM7-DoF機(jī)器人機(jī)械手，如圖3b所示，并以不同的速度和加速度移動(dòng)它。

圖3 目標(biāo)對(duì)象的配置：（ a ） 目標(biāo)對(duì)象 （ b ） 用于移動(dòng)目標(biāo)的機(jī)械臂

特征檢測(cè)

我們使用Harris角點(diǎn)算法來(lái)檢測(cè)目標(biāo)上的特征。這是一種通用的特征檢測(cè)算法，可以很容易地應(yīng)用于其他識(shí)別任務(wù)。此外，由于計(jì)算量低，它適用于高速圖像處理。在使用高速視覺(jué)的情況下，幀之間只觀察到目標(biāo)的微小變化，并且可以假設(shè)時(shí)間連續(xù)性，因此很容易防止誤檢。

圖像質(zhì)心

在時(shí)間t，我們可以使用所有圖像特征的中心C將特征分類(lèi)為一些部分，如圖4所示。

圖4 為姿勢(shì)估計(jì)選擇四個(gè)內(nèi)點(diǎn)的圖像處理

基于相對(duì)位置的視覺(jué)服務(wù)

為了實(shí)現(xiàn)響應(yīng)式快速運(yùn)動(dòng)，我們提出了基于相對(duì)位置的視覺(jué)伺服，它只計(jì)算無(wú)人機(jī)相對(duì)于目標(biāo)的位姿。由于我們的控制器只需要相對(duì)位置，因此車(chē)載伴侶計(jì)算機(jī)上圖像處理的計(jì)算量將得到有效降低，我們可以在相同的時(shí)間內(nèi)獲得更多可用的視覺(jué)信息。圖5顯示了我們?cè)趯?shí)驗(yàn)中使用的基于相對(duì)位置的視覺(jué)伺服方法。

圖5 基于相對(duì)位置的高速視覺(jué)伺服控制回路

坐標(biāo)變換

我們的系統(tǒng)中有三個(gè)坐標(biāo)系：目標(biāo)坐標(biāo)系O、相機(jī)坐標(biāo)系C和無(wú)人機(jī)機(jī)身坐標(biāo)系B，如圖6a所示。我們可以通過(guò)PnP直接獲得°x和°R。

圖6坐標(biāo)系和相對(duì)姿態(tài)：（ a ） 各坐標(biāo)系之間的關(guān)系 （ b ） 相對(duì)偏航角

在實(shí)驗(yàn)中，首先讓四旋翼手動(dòng)起飛，一旦目標(biāo)在視野范圍內(nèi)，飛行模式就會(huì)自動(dòng)切換到位置保持模式。四旋翼飛行器將飛行到相對(duì)于目標(biāo)原始點(diǎn)的設(shè)定點(diǎn)并保持其位置。由于目標(biāo)和四旋翼之間的相對(duì)位置用于基于位置的視覺(jué)伺服，因此四旋翼將在目標(biāo)移動(dòng)期間繼續(xù)飛行到設(shè)定點(diǎn)。在進(jìn)行動(dòng)態(tài)目標(biāo)跟蹤實(shí)驗(yàn)之前，我們?cè)谝粋€(gè)位置保持實(shí)驗(yàn)中測(cè)試了直接視覺(jué)伺服的性能，實(shí)驗(yàn)配置如圖7所示。

圖7 位置保持飛行的配置

軌跡模擬

對(duì)于動(dòng)態(tài)目標(biāo)跟蹤，為了方便設(shè)置目標(biāo)的移動(dòng)速度，預(yù)先設(shè)置了目標(biāo)的軌跡。實(shí)驗(yàn)中，目標(biāo)在不同運(yùn)動(dòng)速度的機(jī)械臂兩個(gè)姿態(tài)之間前后移動(dòng)，以驗(yàn)證不同條件下的跟蹤結(jié)果。圖8顯示了為跟蹤任務(wù)設(shè)置的位置。

圖8 目標(biāo)軌跡模擬：（ a ） 目標(biāo)的第一個(gè)位置 （ b ） 目標(biāo)的第二個(gè)位置

跟蹤軌跡被轉(zhuǎn)換到位于機(jī)器人手臂上的世界坐標(biāo)系（圖9），如圖10所示，目標(biāo)以0.5［m/s］的線速度和0.1［m/s2］的線加速度移動(dòng)。圖11顯示了1.7秒內(nèi)動(dòng)態(tài)目標(biāo)跟蹤的實(shí)驗(yàn)結(jié)果。

圖9 物體坐標(biāo)系與世界坐標(biāo)系的關(guān)系

圖10 自主目標(biāo)跟蹤軌跡（移動(dòng)速度：v = 0.5 ［m/s］，a = 0.1 ［m/s2］，目標(biāo)識(shí)別率：350 Hz）

圖11 自主目標(biāo)跟蹤（移動(dòng)速度：v = 0.5 ［m/s］，a = 1.0 ［m/s2］

提出了一種基于相對(duì)位置的視覺(jué)伺服系統(tǒng)，該系統(tǒng)采用高速目標(biāo)識(shí)別方法和新穎的控制器設(shè)計(jì)。與以往對(duì)無(wú)人機(jī)視覺(jué)伺服的研究相比，我們的系統(tǒng)利用視覺(jué)位置信息直接對(duì)無(wú)人機(jī)進(jìn)行高速控制，并在定位飛行中驗(yàn)證了所提出的控制方案的可行性。通過(guò)實(shí)時(shí)目標(biāo)跟蹤實(shí)驗(yàn)證明了該方法的優(yōu)點(diǎn)。實(shí)驗(yàn)結(jié)果表明，我們提出的方法可以實(shí)現(xiàn)比低速目標(biāo)識(shí)別設(shè)置更好的跟蹤性能?！　?/p>