這篇文章的目標是解決實例分割的實時性問題。通過在現有one-stage目標檢測模型的基礎上添加mask分支來解決這一問題。與Mask R-CNN等明顯使用特征定位步驟（特征repooling）的方法不同，在YOLACT中并不存在這一步。

為了達到這一目的，作者將實例分割任務劃分為兩個更簡單的平行任務，通過對這兩個任務的結果進行融合來得到最終的實例分割結果。具體如下：

第一分支：使用全卷積網絡（FCN）作為分支來產生一些具有整個圖像大小的“prototype masks”，這些prototype masks不與任何實例相關；

第二分支：在目標檢測分支的基礎上添加額外的head，該head針對每一個anchor都預測一個掩膜系數（mask coefficients）。這些系數的作用是在prototype空間對某個實例的表示進行編碼。

最后，在使用NMS得到所有的實例后，對其中的每一個實例都通過對上述兩個分支的結果進行線性組合來得到所對應的掩膜。結構如下圖所示：

作者這么做的依據在于掩膜之間是空間相關的：例如相鄰的兩個像素更有可能屬于同一個實例。卷積層很自然地利用了這一相關性，但全連接層沒有。這會導致一個問題，對于one-stage目標檢測器來說，其使用全連接層來針對每一個anchor輸出類別預測和box系數，無法利用到掩膜的空間相關性；而類似于Mask R-CNN的two stages方法則使用額外的定位步驟（RoI-Align）來解決這一問題，定位步驟既保留了特征圖中的空間相關性，也可以使用卷積運算得到掩膜輸出。但是這一做法的代價是，定位層會引入額外的計算，降低算法的運行效率。

因而，將這一問題分為了兩個平行的步驟：使用善于產生語義向量的全連接層來產生掩膜系數，而使用善于產生空間相關掩膜的卷積層來產生”prototype masks”。

Protonet由FCN構成，其最后一層輸出k個通道，每一個通道對應一個類別的prototype mask。結構如下所示。

接著，將上述兩個步驟得到的prototype mask和掩膜系數做矩陣乘法，并使用Sigmoid進行激活，便可以得到最終的實例掩膜。

實驗結果

在COCO上的對比結果：

總結

大多數錯誤來自于目標檢測部分：誤分類、邊界框誤對準。但是，除此之外，掩膜生成算法部分也有兩個典型的錯誤：

定位失敗：如果在一個場景中的某一個點上有著太多的目標，那么網絡則無法在prototype中定位每一個目標。在這種情況下，網絡將輸出與前景掩膜更為接近的而不是這一組中的一些目標實例分割。

泄露：該算法的裁剪步驟是在掩膜集成后進行的，因而無法過濾裁剪區域之外的噪聲。當邊界框是準確的時候，這一方法有著較好的效果，但當邊界框不準確的時候，噪聲將被裁剪進實例的掩膜中，導致裁剪區域之外的掩膜的泄露。同時，當預測的邊界框太大時，掩膜中也會包含一些離得很遠的實例掩膜。

導致AP差距的原因：作者認為這一差距是由檢測器相對差的性能所導致的，而不是產生masks的方法。

YOLACT++

YOLOACT++ Better Real-time Instance Segmentation

https://arxiv.org/abs/1912.06218

在YOLACT的基礎上，作者進一步進行了如下修改，來得到一個準確度更高的實例分割模型。

在backbonde網絡中加入可變形卷積（deformable convolutions）；

使用更好的anchor尺度和比例對prediction head進行優化；

加入新的mask re-scoring支路。

最終，在MS COCO上，YOLACT++可以獲得34.1mAP和33.5fps的成績，其精度已經非常接近SOTA模型。

Fast Mask Re-Scoring分支

對于模型來說，其分類置信度和預測的掩膜的質量之間是存在差異的。為此，作者引入了一個fast mask re-scoring分支，該分支依據所預測的掩膜與ground-truth的IoU對掩膜進行評分。具體來說，Fast Mask Re-Scoring網絡由6層FCN組成，每一層卷積層之后跟一層ReLU，最后一層為全局池化層。該網絡以YOLACT所輸出的裁剪過的mask（未經過閾值）為輸入，輸出mask對于每一個目標種類的IoU。接著，將分類分支預測的類別所對應的mask IoU與相對應的類別置信度的乘積作為該mask最終的分數。

與Mask Scoring R-CNN相比，作者提出的方法有以下不同：

輸入為全尺寸的圖像的mask（預測框之外的區域值為0），而Mask Scoring R-CNN輸入的是RoI repooled的掩膜與來自于掩膜預測分支的特征圖所拼接得到的；

沒有全連接層，因而本方法更快，加入Fast Mask Re-Scoring分支后時間僅增加了1.2ms。

可變形卷積

通過加入可變形卷積，mAP提高了1.8，速度慢了8ms。作者認為性能提升的原因有以下幾點：

通過和目標實例進行對準，使得網絡可以處理不同尺度、旋轉角度和比例的實例；

YOLACT本身沒有再采樣策略，因而一個更好、更靈活的采樣策略更重要。

同時作者發現，在引入可變形卷積時需要選擇合適的插入位置才能取得性能的提升。

實驗結果

下圖為YOLACT和YOLACT++的實驗結果對比：

下表為加入改進措施后的性能提升：

可變形卷積的不同插入位置的結果對比：

編輯：黃飛