在本文中，我將通過一個車輛檢測示例，介紹如何使用深度學習創建目標檢測器。相同步驟可用于創建任何目標檢測器。

經常有朋友和同事問我，自動駕駛系統怎么感知周圍環境并做出“人類”的決定？如何在系統中使用 MATLAB？在接下來的文章中，我將解釋如何使用深度學習和 MATLAB 完成兩種常見的自動駕駛感知任務。

目標檢測是指在圖像和視頻中對目標進行定位和分類。

下圖顯示了一個三類車輛檢測器的輸出結果，檢測器對每一種類型的車輛進行了定位和分類。

對不同類型車輛進行定位和分類的車輛檢測器顯示的輸出結果

在創建車輛檢測器之前，我需要一組標注的訓練數據，這是一組用感興趣目標的位置和標簽標注的圖像。更具體地說，是需要有人對每幅圖像或視頻幀進行篩選，并對所有感興趣目標的位置進行標注。這個過程稱為“真值標注”。

真值標注通常是創建目標檢測器過程中最耗時的部分。下圖左側顯示的是原始訓練圖像，右側顯示的是經過真值標注的相同圖像。

原始輸入圖象（左）和經過地面實況標注的輸入圖象（右）

用于標注視頻和圖像數據的 Ground Truth Labeler 屏幕截圖

實現標注過程部分自動化的一種方法是使用跟蹤算法。

我使用的KanadeLucas Tomasi算法（KLT）是在實際應用中使用的第一種計算機視覺算法。KLT 算法將目標表示為一組特征點，然后逐幀跟蹤它們的移動位置。我們可以在第一幀中手動標注一個或多個目標，然后使用跟蹤算法標注視頻的其余部分。

Ground Truth Labeler 還允許用戶導入自己的算法進行自動化標注。

我見過的最常用的方法是，用戶導入自己現有的檢測器，再進行新數據標注，這可以幫助他們創建出更精確的檢測器。下圖演示了使用 Ground Truth Labeler 標注一系列圖像或視頻的工作流程。

使用MATLAB進行自動真值標注的流程

標注數據最終以 table 格式存儲，table 中列出了訓練集視頻中車輛在每個時間點的位置。真值標注完成后，我可以開始訓練車輛檢測器。

本例中，我估計真值標注過程最高可加速119倍。我們以每秒30幀的速度捕捉訓練視頻數據，每4秒對目標進行一次標注。這意味著我們將節省中間119幀的標注時間。當然這是最好的情況，因為我們有時還得花時間更正自動標注的輸出結果。

我們的車輛檢測器使用的是FasterR-CNN網絡。首先，定義一個網絡架構，如下面的MATLAB代碼片段所示。Faster R-CNN算法主要分析圖像的區域，因此輸入層比輸入圖像的預期尺寸要小。本例中，我選擇了一個32x32像素的窗口。輸入尺寸需要根據執行時間和希望檢測器解析的空間細節進行衡量。

中間層是網絡的核心構造塊，具有重復的卷積層、ReLU 層和池化層。

本例中，我只會使用幾個層。若要提高準確性，或者如果想要將更多的類并入檢測器中，可以重復這些使用層，創建一個更深的網絡。

CNN 的最后一層通常是一組全連接層和一個 softmax loss 層。

在本例中，我在全連接層之間添加了一個 ReLU 非線性層，用以提高檢測器的性能，因為我們這個檢測器的訓練集并沒有我想要的那么大。

為訓練目標檢測器，我將layers 網絡結構輸入trainFasterRCNNObjectDetector 函數。如果您安裝了 GPU，算法會默認使用 GPU。如果不想使用 GPU 或者想使用多個 GPU，您可以在trainingOptions（訓練選項）中調整ExecutionEnvironment參數。

完成訓練之后，可以在測試圖像上試一試，看看檢測器是否正常工作。我使用下面的代碼在單一圖像上測試檢測器。

Faster R-CNN車輛檢測器檢測到的邊界框和得分

若確信自己的檢測器正常工作，我強烈建議您使用統計指標（例如，平均精度）在更大的一組驗證圖像集上進行測試。平均精度提供的單一分數可衡量檢測器進行正確分類的能力（準確率）以及檢測到所有相關對象的能力（召回率）。