每次丟了東西，我們都希望有一種方法能快速定位出失物。現在，目標檢測算法或許能做到。目標檢測的用途遍布多個行業，從安防監控，到智慧城市中的實時交通監測。簡單來說，這些技術背后都是強大的深度學習算法。

在這篇文章中，我們會進一步地了解這些用在目標檢測中的算法，首先要從RCNN家族開始，例如RCNN、Fast RCNN和Faster RCNN。在本系列接下來的文章中我們會談到更高級的算法，例如YOLO、SSD等等。

1. 解決目標檢測任務的簡單方法（利用深度學習）

下圖是描述目標檢測算法如何工作的典型例子，圖中的每個物體（不論是任務還是風箏），都能以一定的精確度被定位出來。

首先我們要說的就是在圖像目標檢測中用途最廣、最簡單的深度學習方法——卷積神經網絡（CNN）。我要講的是CNN的內部工作原理，首先讓我們看看下面這張圖片。

向網絡中輸入一張圖片，接著將它傳遞到多個卷積和池化層中。最后輸出目標所屬的類別，聽上去非常直接。

對每張輸入的圖片，我們都有對應的輸出類別，那么這一技術能檢測圖片中多種目標嗎？答案是肯定的！下面就讓我們看看如何用一個卷積神經網絡解決通用的目標檢測問題。

1.首先，我們把下面的圖片用作輸入：

2.之后，我們將圖片分成多個區域：

3.將每個區域看作單獨的圖片。

4.把這些區域照片傳遞給CNN，將它們分到不同類別中。

5.當我們把每個區域都分到對應的類別后，再把它們結合在一起，完成對原始圖像的目標檢測：

使用這一方法的問題在于，圖片中的物體可能有不同的長寬比和空間位置。例如，在有些情況下，目標物體可能占據了圖片的大部分，或者非常小。目標物體的形狀也可能不同。

有了這些考慮因素，我們就需要分割很多個區域，需要大量計算力。所以為了解決這一問題，減少區域的分割，我們可以使用基于區域的CNN，它可以進行區域選擇。

2. 基于區域的卷積神經網絡介紹

2.1 RCNN簡介

和在大量區域上工作不同，RCNN算法提出在圖像中創建多個邊界框，檢查這些邊框中是否含有目標物體。RCNN使用選擇性搜索來從一張圖片中提取這些邊框。

首先，讓我們明確什么是選擇性搜索，以及它是如何辨別不同區域的。組成目標物體通常有四個要素：變化尺度、顏色、結構（材質）、所占面積。選擇性搜索會確定物體在圖片中的這些特征，然后基于這些特征突出不同區域。下面是選擇搜索的一個簡單案例：

首先將一張圖片作為輸入：

之后，它會生成最初的sub-分割，將圖片分成多個區域：

基于顏色、結構、尺寸、形狀，將相似的區域合并成更大的區域：

最后，生成最終的目標物體位置（Region of Interest）。

用RCNN檢測目標物體的步驟如下：

我們首先取一個預訓練卷積神經網絡。

根據需要檢測的目標類別數量，訓練網絡的最后一層。

得到每張圖片的感興趣區域（Region of Interest），對這些區域重新改造，以讓其符合CNN的輸入尺寸要求。

得到這些區域后，我們訓練支持向量機（SVM）來辨別目標物體和背景。對每個類別，我們都要訓練一個二元SVM。

最后，我們訓練一個線性回歸模型，為每個辨識到的物體生成更精確的邊界框。

下面我們就用具體的案例解釋一下。

首先，將以下圖片作為輸入：

之后，我們會用上文中的選擇性搜索得到感興趣區域：

將這些區域輸入到CNN中，并經過卷積網絡：

CNN為每個區域提取特征，利用SVM將這些區域分成不同類別：

最后，用邊界框回歸預測每個區域的邊界框位置：

這就是RCNN檢測目標物體的方法。

2.2 RCNN的問題

現在，我們了解了RCNN能如何幫助進行目標檢測，但是這一技術有自己的局限性。訓練一個RCNN模型非常昂貴，并且步驟較多：

根據選擇性搜索，要對每張圖片提取2000個單獨區域；

用CNN提取每個區域的特征。假設我們有N張圖片，那么CNN特征就是N*2000；

用RCNN進行目標檢測的整個過程有三個模型：

用于特征提取的CNN

用于目標物體辨別的線性SVM分類器

調整邊界框的回歸模型。

這些過程合并在一起，會讓RCNN的速度變慢，通常每個新圖片需要40—50秒的時間進行預測，基本上無法處理大型數據集。

所以，這里我們介紹另一種能突破這些限制的目標檢測技術。

3. Fast RCNN

3.1 Fast RCNN簡介

想要減少RCNN算法的計算時間，可以用什么方法？我們可不可以在每張圖片上只使用一次CNN即可得到全部的重點關注區域呢，而不是運行2000次。

RCNN的作者Ross Girshick提出了一種想法，在每張照片上只運行一次CNN，然后找到一種方法在2000個區域中進行計算。在Fast RCNN中，我們將圖片輸入到CNN中，會相應地生成傳統特征映射。利用這些映射，就能提取出感興趣區域。之后，我們使用一個Rol池化層將所有提出的區域重新修正到合適的尺寸，以輸入到完全連接的網絡中。

簡單地說，這一過程含有以下步驟：

輸入圖片。

輸入到卷積網絡中，它生成感興趣區域。

利用Rol池化層對這些區域重新調整，將其輸入到完全連接網絡中。

在網絡的頂層用softmax層輸出類別。同樣使用一個線性回歸層，輸出相對應的邊界框。

所以，和RCNN所需要的三個模型不同，Fast RCNN只用了一個模型就同時實現了區域的特征提取、分類、邊界框生成。

同樣，我們還用上面的圖像作為案例，進行更直觀的講解。

首先，輸入圖像：

圖像被傳遞到卷積網絡中，返回感興趣區域：

之后，在區域上應用Rol池化層，保證每個區域的尺寸相同：

最后，這些區域被傳遞到一個完全連接的網絡中進行分類，并用softmax和線性回歸層同時返回邊界框：

3.2 Fast RCNN的問題

但是即使這樣，Fast RCNN也有某些局限性。它同樣用的是選擇性搜索作為尋找感興趣區域的，這一過程通常較慢。與RCNN不同的是，Fast RCNN處理一張圖片大約需要2秒。但是在大型真實數據集上，這種速度仍然不夠理想。

4.Faster RCNN

4.1 Faster RCNN簡介

Faster RCNN是Fast RCNN的優化版本，二者主要的不同在于感興趣區域的生成方法，Fast RCNN使用的是選擇性搜索，而Faster RCNN用的是Region Proposal網絡（RPN）。RPN將圖像特征映射作為輸入，生成一系列object proposals，每個都帶有相應的分數。

下面是Faster RCNN工作的大致過程：

輸入圖像到卷積網絡中，生成該圖像的特征映射。

在特征映射上應用Region Proposal Network，返回object proposals和相應分數。

應用Rol池化層，將所有proposals修正到同樣尺寸。

最后，將proposals傳遞到完全連接層，生成目標物體的邊界框。

那么Region Proposal Network具體是如何工作的呢？首先，將CNN中得來的特征映射輸入到Faster RCNN中，然后將其傳遞到Region Proposal Network中。RPN會在這些特征映射上使用一個滑動窗口，每個窗口會生成具有不同形狀和尺寸的k個anchor box：

Anchor boxes是固定尺寸的邊界框，它們有不同的形狀和大小。對每個anchor，RPN都會預測兩點：

首先是anchor就是目標物體的概率（不考慮類別）

第二個就是anchor經過調整能更合適目標物體的邊界框回歸量

現在我們有了不同形狀、尺寸的邊界框，將它們傳遞到Rol池化層中。經過RPN的處理，proposals可能沒有所述的類別。我們可以對每個proposal進行切割，讓它們都含有目標物體。這就是Rol池化層的作用。它為每個anchor提取固定尺寸的特征映射：

之后，這些特征映射會傳遞到完全連接層，對目標進行分類并預測邊界框。

4.2 Faster RCNN的問題

目前為止，我們所討論的所有目標檢測算法都用區域來辨別目標物體。網絡并非一次性瀏覽所有圖像，而是關注圖像的多個部分。這就會出現兩個問題：

算法需要讓圖像經過多個步驟才能提取出所有目標

由于有多個步驟嵌套，系統的表現常常取決于前面步驟的表現水平

5. 上述算法總結

下表對本文中提到的算法做了總結：

目標檢測是很有趣的領域，在商業中也大有前景。得益于現代硬件和計算資源的發展，才能讓這一技術有重要的突破。

本文只是目標檢測算法的開門介紹，在下一篇文章中，我們會講解YOLO、RetinaNet這樣更流行的算法，請繼續關注！