斯坦福大學和Adobe研究院的研究者們提出了全新的通用深度網絡架構CPNet，用于學習視頻中圖片之間的長程對應關系，來解決現有方法在處理視頻長程運動中的局限性。在三大視頻分類數據集上取得了優于之前結果的性能。相關論文獲CVPR 2019 oral。

這是一款全新的通用深度網絡架構。

現有的視頻深度學習架構通常依賴于三維卷積、自相關、非局部模塊等運算，這些運算難以捕捉視頻中幀間的長程運動/相關性。

近日，來自斯坦福和Adobe的研究人員，受到點云上深度學習方法的啟發，提出了一個通用的深度網絡架構CPNet，用于學習視頻中圖片之間的長程對應關系，來解決上述問題。

arXiv地址：

https://arxiv.org/abs/1905.07853

研究人員們所提出的CPNet是一個全新的通用的視頻深度學習框架。該網絡通過尋找對應的表征來學習視頻中圖片之間稀疏且不規則的對應模式，并且可以融合進現有的卷積神經網絡架構中。

研究人員在三個視頻分類數據集上進行了實驗，結果表明，CPNet在性能上取得了較大的突破。

CPNet：對應提議網絡

視頻是由一串圖片組成。然而，視頻并不是任意圖片隨機的堆砌，其前后幀有強烈的相關性，表現為一幀圖片中的物體通常會在其它幀中出現。

相比于單張靜態的圖片，這樣的對應關系構成了視頻中動態的部分。我們總結視頻中圖片之間的對應關系有如下三大特點：

對應位置有相似的視覺或語義特征。這也是我們人類判定兩幀中的像素是否屬于同一物體的標準之一。

對應位置在空間維和時間維上都可以有任意長的距離。空間維上，物體可以很快從圖片的一端運動到另一端；時間維上，物體可以在視頻中存在任意長的時間。

潛在的對應位置所占比例為少數。對于一個像素/表征，在其它幀中通常只有極少的相似像素/表征是可能的對應，其它明顯不相似的像素/表征則可以忽略掉。換言之，對應關系存在不規則性和稀疏性。

那么什么樣的網絡架構可以滿足上述特點呢？

三維卷積無法檢測相似性；自相關是局部操作，無法勝任長程對應；非局部模塊側重于注意力機制，無法適應稀疏性和不規則性，也無法學到長程運動的方向。因此我們需要全新的網絡架構。

圖1

我們提出了對應提議網絡CPNet（Correspondence Proposal Network），其架構能同時滿足上述三種特點。

核心思想如圖1所示：深度網絡架構中，我們將視頻表征張量視為一個點云，在語義特征空間中（而非一般的時空空間），對于表征張量中的每一個表征即“點”，我們尋找其在其它幀里最近的k個“點”，并將其視為該表征的潛在對應。然后類似于點云上的深度學習，對于這k對“點”中的每一對，我們使用相同且互相獨立的神經網絡處理他們的特征向量和位置，然后用最大池化操作從k個輸出中提取出最強的響應。本質上，我們的網絡架構可以學到從這k對潛在對應中選擇出最有趣的信息。如此一來，最后的輸出表征向量就包含了視頻中的動態信息。

CPNet的架構

我們將網絡的核心命名為”CP模塊“，其結構如下，大致分為兩個部分。輸入和輸出都是一個THW x C的視頻表征張量，我們將這兩者都視為一個THW個點的帶C維特征向量的點云。

第一個部分為語義特征空間k最近鄰算法，如圖2所示。我們先求出所有表征對之間的負L2語義距離得到THW x THW形狀的矩陣；然后將對角線上的T個HW x HW子矩陣的元素置為負無窮，這樣位于同一幀的表征就可以排除在潛在對應表征之外了。之后對每一行進行arg top k操作就可以得到潛在對應表征的下標。

圖2

第二個部分為對應關系的學習。我們用上一步得到的下標從輸入視頻表征張量中提取出表征。對于每一個輸入表征和其k個最近鄰表征組成的k對表征對中的一對，我們將這一對表征的語義特征向量以及其之間的時空相對位置連在一起，得到k個長向量。然后我們將這k個長向量送入相同且互相獨立的多層感知器（MLP），然后再用元素級的最大池化操作（element-wise max-pooling）得到輸出向量，也就是輸出視頻表征張量該表征位置的語義特征向量。

圖3

為了防止訓練時梯度爆炸或消失，類似于ResNet中的跳躍連接，我們將上一步的輸出表征張量加回到了輸入表征張量中。可以看到，該模塊可以無縫銜接進現有的卷積神經網絡架構如ResNet中。在實驗中，所有CP模塊一開始初始化為全等操作，這樣我們就可以使用ImageNet預訓練模型來初始化網絡其它部分的參數。

實驗結果

我們在大規模視頻分類數據集上進行了實驗。首先，我們在Kinetics數據集上進行了小規模模型的實驗來研究CP模塊的數量、位置以及k值的大小對視頻分類結果的影響。由結果可知，模型的性能隨CP模塊數量增多而提高并趨于飽和；CP模塊放置的位置對性能有影響；k值在訓練時和推理時保持一致且合適的值可以得到最佳性能。

我們在Kinetics數據集上與其它已發表結果進行了比較。我們同時比較了小規模和大規模模型。CPNet在參數數量更少的情況下取得優于之前結果的性能。

我們也在Something-Something和Jester數據集上與其它已發表結果進行了比較。相比于Kinetics，這兩個數據集更偏重動態信息對分類的影響。CPNet同樣在參數數量更少的情況下取得優于之前結果。

值得注意的是，相比于沒有CP模塊的基準二維卷積ResNet，CPNet僅僅額外加入了極少的參數，就在這兩個數據集上得到了極大的性能提升，進一步證明了其學習視頻中動態信息的強大能力。

模型的可視化

我們對訓練好的模型進行了可視化來理解其工作原理。

我們選取了一個表征的位置，然后在圖片中用箭頭標注出其k個最近鄰表征的位置。特別地，我們用紅色箭頭標注出哪些最近鄰表征在最大池化過程中被選中。我們同時用熱圖來顯示表征圖在經過CP模塊后的變化。

可以看到，通過語義特征的距離，CP模塊可以大致找到正確的潛在對應位置，例如上圖中的籃球、易拉罐和大拇指。

在上述例子中，對于錯誤的對應提議，CP模塊也能在最大池化過程中忽略掉它們。同時，熱圖顯示CP模塊對于處于運動狀態的圖片部分更加敏感。