來源：3D視覺工坊

0.這篇文章干了啥？

這篇文章提出了一種新穎的目標跟蹤方法SFTrack，針對無人機(UAV)視頻中的獨特挑戰，采用了三種簡單有效的策略，尤其是在處理低置信度檢測、小規模物體和無人機運動方面表現出色。通過在VisDrone2019、UAVDT和MOT17等多個廣泛認可的數據集上進行評估，SFTrack在多個指標上顯著超越了現有的先進方法。此外，文章還對UAVDT數據集的注釋錯誤進行了識別和修正，提供了一個增強版本的數據集，以便于更準確的基準測試。整體而言，SFTrack展現了在復雜環境中提高目標跟蹤精度的強大能力。

2. 摘要

本文研究了無人機（UAV）視頻中的多目標跟蹤問題，這在交通監控系統、警方實時追蹤嫌疑人等無人機應用中具有關鍵作用。然而，由于無人機的快速運動以及高空和廣角視角下目標物體的尺寸較小，此任務極具挑戰性。為了解決這些問題，我們提出了一種簡單卻更有效的方法，相較于以往的工作更加高效。我們的方法引入了一種新的跟蹤策略，從無人機應用場景中常見的低置信度檢測結果開始跟蹤目標物體。此外，我們建議重新審視基于外觀的傳統匹配算法，以改善低置信度檢測的關聯效果。為了評估我們方法的有效性，我們在兩個無人機特定數據集（VisDrone2019、UAVDT）以及一個通用目標跟蹤數據集（MOT17）上進行了基準測試。結果表明，我們的方法優于當前的先進方法，突顯了其在多樣化跟蹤環境中的魯棒性和適應性。此外，我們對UAVDT數據集的標注進行了改進，糾正了原始標注中的一些錯誤和遺漏之處。我們將提供該數據集的改進版本，以便為該領域的基準測試提供更好的支持。

3. 效果展示

低空視頻跟蹤結果對比。(a)沒有運動補償（MC）的ByteTrack無法保持軌跡。(b)BoTSORT的MC會導致邊界框變形。(c)SFTrack與無人機MC，確保一致和準確的跟蹤。推薦課程：零基礎入門四旋翼建模與控制(MATLAB仿真)[理論+實戰]。

這張圖片提供了原始無人機和我們改進的無人機注釋的比較可視化。原始注釋中與實際對象不對應的錯誤將以“紅色”突出顯示。“黃色”標記代表我們對Refined UAVDT數據集中可見對象的附加注釋。

4. 主要貢獻

我們提出了一種適用于無人機多目標跟蹤的方案，能夠有效應對無人機固有的挑戰，包括快速且不規則的運動、小尺度物體和遮擋等問題。

我們引入了一種從低置信度檢測開始跟蹤的新策略，在無人機場景中尤其有效。為管理這些低置信度檢測，我們建議重新審視基于手工設計特征的傳統外觀匹配算法。

我們在多個數據集上對我們的方法進行了全面評估，包括VisDrone2019、UAVDT和MOT17，展示了其有效性和卓越的性能。

我們識別并修正了UAVDT數據集中缺失和錯誤的標注，貢獻了更準確的評估并促進了進一步研究。

5. 基本原理是啥？

該方法的基本原理圍繞三個關鍵策略展開，以提高無人機視頻中的目標跟蹤效果。這些策略主要集中在如何更好地處理小目標、低置信度檢測，以及無人機運動帶來的挑戰。

低置信度檢測的利用：傳統跟蹤方法通常會忽略置信度較低的檢測結果，而本方法則充分利用這些低置信度檢測，以避免遺漏小目標或快速移動的物體。通過引入低置信度檢測，能有效減少漏檢，提高整體跟蹤精度（MOTA和IDF1指標）。

自適應關聯策略：為了應對無人機在飛行過程中可能遇到的復雜視角變化和快速移動，本方法結合了基于傳統外觀特征的匹配算法，適用于頻繁出現低置信度檢測的情況。這種方法在連續幀之間維持較高的身份保持能力，不易因光線變化和視角偏移而丟失目標。

無人機運動補償：由于無人機視頻中的相機運動較大，本方法引入了一種專門為無人機設計的運動補償技術（UAV Motion Compensation, UAV MC），通過保持目標的縱橫比來改善運動帶來的目標形變，從而提升跟蹤的穩定性。

這三種策略的結合，使得該方法在無人機特定場景下表現出色，特別是在跟蹤小目標和快速運動物體時，能提供更加平衡和可靠的跟蹤表現。

6. 實驗結果

實驗結果表明，本文提出的SFTrack方法在多個基準數據集上顯著優于現有方法，尤其是在無人機(UAV)數據集上的表現更加突出。

與現有方法的對比

VisDrone2019和UAVDT數據集：在這些無人機數據集中，SFTrack在大多數評估指標上都優于其他方法。例如，與表現最好的ByteTrack相比，SFTrack的多目標跟蹤準確率（MOTA）提高了4.9%；與在IDF1指標上表現最好的FOLT相比，SFTrack的IDF1分數提升了5.2%。這證明SFTrack在跟蹤準確度和身份保持方面的表現優越。

MOTA與IDF1的權衡：盡管SFTrack在降低漏檢（FN）上表現優異，但也帶來了一定的誤檢（FP）增加。這種權衡來自于SFTrack方法中低置信度檢測的使用和傳統外觀匹配算法的應用。然而，與其他先進方法相比，SFTrack的跟蹤表現更加平衡，尤其在無人機場景中，保證目標不被漏檢往往比短暫誤檢更為關鍵。

困難場景測試

小目標和快速移動物體：在VisDrone2019數據集中，SFTrack在包含大量小目標和快速移動物體的視頻中表現尤為出色。具體而言，SFTrack在平均相對加速度（Mean Relative Acceleration，MRA）較高的場景中展示了顯著的性能提升，能夠更好地應對快速移動的物體。

高海拔和視角變化的場景：在Refined UAVDT數據集上，SFTrack在高空飛行（70米以上）和視角頻繁變化的條件下，超過了次優方法，展示了更強的魯棒性和適應性。

MOT17數據集評估

在MOT17（非無人機）數據集上，SFTrack同樣表現出色。特別是在不同檢測器（YOLOX和YOLOX Nano）的應用下，SFTrack在低置信度檢測頻繁的情況下仍能有效工作。尤其是在使用性能較低的YOLOX Nano時，SFTrack能夠有效處理檢測性能下降帶來的更多低置信度檢測。

消融實驗

通過消融實驗，研究了SFTrack中各個組件的影響，驗證了每個模塊的改進效果：

無人機運動補償（UAV MC）：用保持縱橫比的無人機運動補償方法替換BoTSORT的運動補償技術后，MOTA提升了1.4%，IDF1提升了3.7%。

低置信度檢測的初始化：增加了低置信度檢測的初始化，使MOTA和IDF1分別提高了3.2%。

外觀匹配策略：使用傳統外觀匹配算法后，MOTA和IDF1分別又增加了1.7%和0.2%。

盡管這些改進對跟蹤速度有輕微影響，SFTrack依然可以達到每秒10幀的跟蹤速度，尤其在后續優化（如C語言實現）中，速度有望進一步提升。

7. 總結 & 未來工作

在本研究中，我們提出了一種新穎的關聯方法，通過三個簡單而有效的策略來進行目標跟蹤，重點解決無人機視頻中的獨特挑戰。我們的方法針對低置信度檢測提出的策略，能夠有效地應對小尺度目標的跟蹤以及無人機運動的管理。在多個基準上，我們的方法優于現有的主流方法，并在VisDrone2019、UAVDT和MOT17等廣泛認可的數據集上進行了驗證。此外，我們還識別并修正了UAVDT數據集中現有的標注錯誤。增強版的數據集將公開發布，為該領域提供更為準確的基準資源。