這張Gif圖演示了 SiamMask 的效果，只需要鼠標(biāo)滑動(dòng)選擇目標(biāo)的包圍框，即可同時(shí)實(shí)現(xiàn)目標(biāo)跟蹤與分割。

這種視頻里目標(biāo)的像素級(jí)標(biāo)注，很有用，比如給視頻疊加特效可以不覆蓋目標(biāo)人物，或者視頻編輯中扣掉特定目標(biāo)。想想前段時(shí)間浙江衛(wèi)視和北京衛(wèi)視如果有了這套軟件，讓某吳姓演員從節(jié)目中消失就簡(jiǎn)單多了，是不是？

近日，CVPR 2019 的接收論文《Fast Online Object Tracking and Segmentation: A Unifying Approach》作者Qiang Wang開源了這套SiamMask代碼，引起了極大關(guān)注。我們一起來(lái)看看吧。

論文作者信息：

論文作者團(tuán)隊(duì)來(lái)自中科院自動(dòng)化所、牛津大學(xué)、Five AI公司。

感謝～

研究目的

以往大多數(shù)目標(biāo)跟蹤得到的結(jié)果是目標(biāo)的包圍框，而作者希望將跟蹤與分割結(jié)合起來(lái)，算法“實(shí)時(shí)“給出目標(biāo)的像素級(jí)標(biāo)注。

上圖中，左側(cè)是初始化的操作，在視頻第一幀給出目標(biāo)的包圍框，右側(cè)的多張圖像為普通的跟蹤算法計(jì)算得到估計(jì)的包圍框和SiamMask估計(jì)的目標(biāo)的分割mask。

算法原理

作者是在近年出現(xiàn)的 SiamFC 跟蹤算法基礎(chǔ)上做的改進(jìn)。

下圖展示了其整天算法流程。左側(cè)上面圖像為框出來(lái)的目標(biāo)圖像，左側(cè)下面圖像為要搜索目標(biāo)位置的視頻中的一幀，經(jīng)過(guò)卷積網(wǎng)絡(luò)，生成Row（response of a candidate window，候選窗口響應(yīng)），網(wǎng)絡(luò)后面有三個(gè)head，除了在SiamFC法中已經(jīng)存在的預(yù)測(cè)box（目標(biāo)位置）的head和預(yù)測(cè)響應(yīng)score（目標(biāo)出現(xiàn)概率）的head，作者增加了預(yù)測(cè)目標(biāo)mask（目標(biāo)二值掩碼）的head。

另外也可以直接去掉預(yù)測(cè)box的head，提高計(jì)算速度，包圍框也可以通過(guò)mask計(jì)算得到。網(wǎng)絡(luò)結(jié)構(gòu)如下：

下圖展示了使用SiamMask算法計(jì)算得到的圖像中不同位置的score值。

實(shí)驗(yàn)結(jié)果

作者在VOT-2016、VOT-2018數(shù)據(jù)集上測(cè)試跟蹤精度，在DAVIS-2016、DAVIS-2017數(shù)據(jù)集上測(cè)試了目標(biāo)分割的精度。

下圖是與普通的跟蹤算法的結(jié)果比較：

SiamMask 相比之前的跟蹤算法的 state-of-the-art 精度又改進(jìn)不少。

下圖是與現(xiàn)有的視頻目標(biāo)分割算法的精度的比較：

雖然SiamMask精度并不是最高的，但速度卻比其他算法快1到2個(gè)數(shù)量級(jí)！在真實(shí)應(yīng)用中更有價(jià)值。

下圖為mIoU-速度的散點(diǎn)圖：

一些視頻目標(biāo)分割示例（請(qǐng)點(diǎn)擊查看大圖）：

重點(diǎn)來(lái)了！代碼地址：

https://github.com/foolwood/SiamMask