編者按：深度卷積神經網絡對視覺系統來說是個不錯的模型，但這些靜態系統不能解釋現實視覺反應中的短暫動態行為。于是神經科學家們建造了一個基于任務的深度循環網絡，加入循環單元可以解決更困難的視覺問題。以下是論智的編譯。

摘要

前饋卷積神經網絡（CNN）是目前最先進的目標分類任務工具，例如ImageNet。另外，他們是靈長類動物大腦中視覺系統中精準定量平均響應時間的模型。然而，生物視覺系統的兩種普遍存在的結構特征是典型CNN不具備的，即皮質區域內的局部循環，以及下游區域到上游區域的遠距離反饋。在這篇文章中，我們研究了循環結構在提高分類性能時的作用，我們發現，在ImageNet任務中，標準的循環形式（vanilla RNN和LSTM）無法在深度CNN中達到良好表現。相反，能將兩種結構特征——bypassing和gating——結合起來的結構能將任務精確度極大地提升。

我們將這些設計原則應用在數千個模型中的自動搜索上，它們確定了局部循環單元和遠距離反饋連接對目標辨認很有用。另外，這些經過任務優化的卷積RNN能比反饋網絡更好地解釋靈長類動物神經系統中神經元的活動，說明大腦的循環連接在執行不同的視覺動作時非常重要。

背景介紹

大腦的傳感器系統必須在含有噪音的復雜感知數據中檢測出有意義的模式。視覺環境可以揭示物體正面或負面的價值，例如食物種類、危險的信號或難忘的人。然而這些信號在不同場景中的位置、姿勢、背景和前景都相差很大，所以從低屬性圖像中很難辨別出目標物體。

最近的研究表明，針對任務優化的深度卷積神經網絡（CNN）是靈長類動物大腦的視覺編碼精確的量化模型。CNN經過訓練，可以識別ImageNet中的物體，并且能比其他模型更好地解釋視覺系統中的神經元反饋。模型的各個卷積層分辨提供不同視覺區域的線性預測。

但是，靈長動物的視覺系統有些結構并沒有被前饋CNN完全模仿，即皮質區域的局部循環連接和不同區域的遠距離連接。目前還不清楚循環的作用，有科學家猜想循環是用來填補缺失的數據，或進行從上到下基于注意力的特征調整。

雖然經過增強的有循環結構的CNN可以用來解決相對簡單的遮擋或預測任務，但這些模型既不能適應復雜的任務（前饋CNN可以解決），也不能解釋神經反饋。事實上，由于目標識別的復雜性和多樣性，ImageNet中的很多圖片質量都參差不齊，所以有可能要用到上述的循環處理機制。而且最近很多對ImageNet高效的解決方法都提出在多個圖層之中用同樣的結構基序。于是我們選擇研究循環結構究竟能否提高模型在ImageNet數據集上的分類表現。雖然其他工作用CNN的輸出最為RNN的輸入解決視覺任務，在這里我們將循環結構和CNN本身結合，因為這類結構在神經科學中是非常常見的。

模型結構

為了研究卷積RNN的空間結構，我們用TensorFlow庫增強標準的、有局部和遠距離循環結構的CNN，如圖所示：

卷積循環網絡中含有局部循環和遠程前饋連接的結合

在卷積RNN的每個圖層中，來自較高層的前饋輸入被重新修改尺寸，以匹配前饋輸入的空間維度。兩種類型的輸入都由標準的2D卷積處理。如果該層有任何局部循環，則輸出會輸入到下一個循環單元。

在這項工作中，所有形式的循環都向前饋基礎模型中添加了參數。由于這樣可以提升模型的性能，我們訓練了兩種與卷積RNN相對照的模型：

有更多卷積過濾層的前饋模型（更寬）或者更多層的模型（更深），以匹配循環模型中參數的數量；

將卷積模型展開后進行復制，其中的參數數量和原始的卷積RNN一樣。

實驗結果

新型RNN結構提高了任務處理性能

我們首先測試了有著標準RNN單位的增強CNN（例如vanilla RNN和LSTM）能夠提高在ImageNet目標物體辨認上的表現。二者對比如圖所示：

結果發現在類似AlexNet這樣的六層前饋上，精確度稍有提升。

但這里的循環結構存在兩個問題，首先，由于單一參數數量的增多，這些卷積RNN并沒有檢測性能提升了多少。其次，將前饋模型做得更寬或更深，比單純地增加標準RNN單元性能提升得更多，參數卻更少。這說明標準RNN結構雖然適用于很多種任務，但是不適合深度CNN中的任務。

我們研究后發現這是因為標準RNN中缺少兩種關鍵屬性：

Gating，即隱藏狀態的值決定下一步的輸入有多少能通過、保留或丟棄；

Bypassing，即一個零初始化的隱藏狀態允許前饋輸入通過下一層。

重要的是，這兩種特征都是為了解決梯度消失的問題。于是我們將兩種特征部署到循環結構中。具體結果如圖：

之后經過對更深的循環結構進行超參數優化后，我們用卷積RNN模擬了靈長類動物腹流（參與物體識別）神經。

結語

實際上，這篇論文詳細介紹了CNN中的循環單元能在目標識別中有效提高性能，我們的發現能提高不同的局部循環結構對應大腦中不同的行為的概率。我們相信通過將該方法應用到CNN上，我們能提高現有的很多方法的性能。未來的實驗將探尋不同的任務是否能在卷積RNN對神經的反饋上取代監督目標辨別。另外還將測試模型能否低于其他形式的噪聲。