CNN卷積神經網絡問世以來，在計算機視覺領域備受青睞，與傳統的神經網絡相比，其參數共享性和平移不變性，使得對于圖像的處理十分友好，然而，近日由Facebook AI、新家坡國立大學、360人工智能研究院的研究人員提出的一種新的卷積操作OctConv使得在圖像處理性能方面得到了重大突破與提升，OctConv和CNN中的卷積有什么不同呢？

論文下載地址：

https://arxiv.org/pdf/1904.05049.pdf

CNN網絡中的卷積層主要用來提取圖像特征，如下圖所示，利用卷積核（也稱濾波器）對輸入圖像的每個像素進行卷積操作得到特征圖，由于圖像中相鄰像素的特征相似性，卷積核橫掃每個位置，獨立的存儲自己的特征描述符，忽略空間上的一致性，使得特征圖在空間維度上存在大量的冗余。

圖1 普通卷積操作示意圖

OctConv主要基于于處理多空間頻率的特征映射并減少空間冗余的問題提出的。

原文地址：

https://export.arxiv.org/pdf/1904.05049

下面文摘菌將從論文的四個部分展開對OctConv原理的闡述。

Why?—OctConv之誕生

文章摘要（Abstract)部分指出，在自然圖像中，信息以不同的頻率傳輸，其中高頻率通常以細節進行編碼，而較低頻率通常以總體結構進行編碼，同理卷積層的輸出可以看做不同頻率的信息混合，在論文中，研究者提出通過頻率對特征融合圖進行分解，并設計出了一種新的Octave卷積（OctConv）操作，旨在存儲和處理在空間上變化緩慢的較低分辨率的特征圖，從而降低內存和計算成本。與現存的多尺度方法不同，OctConv是一種單一、通用、即插即用的卷積單元，可以直接代替普通卷積，而無需調整網絡結構。

OctConv與那些用于構建更優拓撲或者減少分組或深度卷積中信道冗余的方法是正交和互補的。

實驗表明，通過使用OctConv替代普通卷積，能很好的提高語音和圖像識別任務中的精度，同時降低內存和計算成本，一個配備有OctConv的ResNet-152能夠以僅僅22.2 GFLOP在ImageNet數據集上達到82.5%的top-1分類準確率。

What?—初探OctConv

論文Introduction（介紹）部分基于CNN現存的空間維度冗余問題引出了下圖：

圖2 論文思路闡述圖

（a）動機：研究表明，自然圖像可以分解為低空間頻率和高空間頻率兩部分；

（b）卷積層的輸出圖也可以根據空間頻率進行分解和分組；

（c）所提出的多頻特征表示將平滑變化的低頻映射存儲字低分辨率張量中，以減少空間冗余；

（d）所提出的OctConv直接作用于這個表示。它會更新每個組的信息，并進一步支持組之間的信息交換。

具體解釋為：如圖 2(a) 所示，自然圖像可以分解為描述平穩變化結構的低空間頻率分量和描述快速變化的精細細節的高空間頻率分量。類似地，我們認為卷積層的輸出特征映射也可以分解為不同空間頻率的特征，并提出了一種新的多頻特征表示方法，將高頻和低頻特征映射存儲到不同的組中，如圖 2(b) 所示。因此，通過相鄰位置間的信息共享，可以安全地降低低頻組的空間分辨率，減少空間冗余，如圖 2(c) 所示。

How?—再探OctConv

論文Method（方法）部分：octave feature 減少了空間冗余，比原始表示更加緊湊。然而，由于輸入特征的空間分辨率不同，傳統卷積不能直接對這種表示進行操作。避免這個問題的一種簡單方法是將低頻部分上采樣到原始的空間分辨率，將它與連接起來，然后進行卷積，這將導致額外的計算和內存開銷。為了充分利用緊湊的多頻特征表示，我們提出 Octave Convolution，它可以直接在分解張量X={XH，XL}上運行，而不需要任何額外的計算或內存開銷。

Octave Convolution的設計目標是有效地處理相應張量中的低頻和高頻分量，同時使得Octave特征表示的高頻分量和低頻分量之間能夠有效通信。設X,Y為分解輸入和輸出張量，那么輸出的高頻和低頻信號將由下式給出：

其中H→H，L→L表示自身的更新，L→H，H→L表示高頻與低頻分量之間的通信，如圖3所示綠色箭頭表示信息更新，紅色箭頭表示兩個頻率之間的信息交換。

圖3 Octave Convolution示意圖

同理，我們將卷積核分解為高頻和低頻W={WH,WL}，WH=WH→H+WL→H；WL=WL→L+WH→L，如圖4所示：

圖3 Octave Convolution kernel示意圖

對于低頻特征所使用的低頻所占比例a的不同，當a=0時（即沒有低頻成分），OctConv就會退化為普通卷積。經過實驗評估k×k Octave 卷積核與普通卷積核等價，即二者具有完全相同的參數量。

To do—Just do it

論文的實驗部分：研究人員驗證了提出的Octave卷積對于2D和3D網絡的效能和效率，首先展示了ImageNet圖像分類的控制變量研究，然后將其與當前最優的方法進行了比較。之后研究人員使用Kinetics-400和Kinetics-600數據集，展示了提出的OctConv也適用于3D CNN。

圖4 ImageNet上的控制變量結果圖

上表為論文中的表8，視頻中的動作識別、控制變量研究結果統計。