編者按：論智曾系統地介紹過視覺問答技術，而在本文中，MIT的研究人員研發了一種新型神經網絡，稱為Transparency by Design，既有出色的性能，還易于解釋。以下是論智對論文的大致編譯。

視覺問題回答（VQA）需要對圖像進行高階推理，這是機器系統執行復雜指令的基本能力。最近，模塊化網絡已被證明是執行視覺推理任務的有效框架。雖然模塊化網絡最初設計時具備一定的模型透明度，但當用于復雜的視覺推理任務時，表現卻不那么完美。即使是目前最先進的方法也沒有理解推理過程的有效機制。在本文，我們消除了可解釋模型和最先進的視覺推理方法之間的性能差距，提出了一套視覺推理原型，它可以作為一個模型，以明確可解釋的方式執行復雜的推理任務。而原型輸出的準確性和可解釋性能讓人輕易地判斷模型的優點和缺點。重要的是，我們證明原型的性能出色，在CLEVR數據集上的最高精確度達99.1%。另外，當面對含有新數據的少量樣本時，模型仍然能有效地學習。利用CoGenT泛化任務，我們證明該模型比現有技術水平提高了20個百分點。

一個VQA模型必須具備推理圖片中復雜場景的能力，例如，要回答“大金屬球右邊的正方體是什么顏色？”這個問題，模型必須先判斷哪個球體是最大的，而且還是金屬的，然后理解“右邊”是什么意思，最后把這一概念應用到圖片中。在這一新興領域中，模型必須找到正方體，然后辨別它的顏色。這種行為需要綜合能力才能應對任意推理過程。

Transparency by Design

將一個復雜的推理過程分解成一連串小問題，每個問題都能被獨立解決再組合，這種推理方法非常強大且有效。這種類型的模塊化結構同樣允許在推理的每個步驟對網絡輸出進行檢查。受此啟發，我們開發了一種神經模塊網絡，能夠在圖像空間中建立一個注意力機制模型，我們稱之為Transparency by Design network（TbD-net），重點突出透明度是此次設計的亮點。

下表是TbD-net中用到的模塊匯總?！癆ttention”和“Encoding”分別表示從上一模塊中輸出的單一維度和高維度。“Stem”表示訓練過的神經網絡生成的圖像特征。變量x和y表示場景中的目標物體，[property]表示物體的顏色、形狀、大小或是材料的其中一個特點。

Attention模塊負責能體現目標物體特征的圖像區域，例如如果圖像中有紅色目標，模塊就會被使用。在Attention模塊中輸入圖像特征，然后進行微調。之后輸出一張關于維度的熱圖1×H×W。

And或Or邏輯模塊分別在交集和并集中組合兩個注意力掩碼，這些操作不需要學習，因為它們已經經過微調并且可以用手工實現。

Relate模塊表示一個區域與另一個區域有某種空間關系；Same模塊負責從區域中提取某種相關特征，然后與圖像中的其他模塊分享這種特征。例如，當回答“哪個物體的顏色和小正方體一樣？”這種問題時，網絡需要利用Attention模塊鎖定小正方體，然后利用Same模塊判斷它的顏色，然后輸出一個注意力掩碼，定位出所有與其有相同特征的物體。

Query模塊需要從圖片中某個位置提取出特征。例如，這些模塊要判斷某個對象的顏色是什么。每個Query模塊就會輸入特征和注意力掩碼，然后產生帶有相關特點的特征映射。

Compare模塊可以比較兩個Query模塊輸出的屬性，并生成一個特征映射，該映射對特征是否相同進行了編碼。

下圖是TbD網絡在解決復雜VQA問題時，在推理過程中注意力變化的過程：

注意，模塊在使用注意力時并不用學習，而是利用經過它們的注意力，生成精確的注意力映射。所有的注意力掩碼都是由感官上一致的顏色映射生成的。

實驗過程

為了評估模型性能，研究人員使用了兩個數據集：CLEVR和CLEVR-CoGenT。CLEVR是一個含有7萬張訓練圖像和70萬個訓練問題的VQA數據集，同時還有15000張圖像和150000個問題作為測試和對照集。

CLEVR

最初在CLEVR數據集上測試時，模型的精確度為98.7%，遠遠優于其他神經模塊化網絡。在這之后研究人員檢查了模型產生的注意力掩碼，發現背景有噪音。雖然不影響模型的性能，但這些雜亂的區域可能會誤導用戶。于是，研究人員對其進行了泛化處理，對比結果如下圖所示：

沒有經過泛化，模塊在背景區域產生了少量的注意力，目標物體處的注意力較多，而其他物體上的注意力為零。當加上泛化后，背景中雜亂的注意力消失，注意力精準地落在目標物體上。

除此之外，最初的模型將14×14的特征映射作為每個模塊的輸入，但是這對于解決密集物體圖片卻很困難。于是將特征映射的分辨率調整為28×28之后，這個問題就解決了。如下圖所示：

當要求觀察藍色橡膠物體后面和青色大圓柱前面的空間時，左邊是輸入的圖像，中間是分辨率為14×14的映射，右邊是28×28的映射。

經過上述兩方面的改進，模型在CLEVR上的性能由原先的98.7%升至99.1%，模型與其他方法的對比可以在下表中看到，其中TbD-net是最初的模型，“+reg”表示增加了泛化，“+reg+hres”表示在泛化的基礎上提高了特征映射的分辨率：

透明度

下面研究人員還對透明度就行了量化分析，接著還檢查了幾個模塊的輸出，證明了在沒有任何光滑處理的前提下，模型的每一步都可以直接解讀出來。

如果模塊能明顯的標記出正確的目標物體，那么他的注意力就是可解釋的。下圖展示了一個Attention模塊的輸出，它將注意力放在所有金屬物體上。

然而，在更復雜的操作中，例如Same和Relate模塊仍然能產生直接的注意力掩碼。在下圖中這些模塊仍然容易理解。

左圖是輸入的圖像，右圖是Relate模塊生成的注意力掩碼，它接收到要注意紫色的圓柱體。中間的圖表示注意力掩碼與輸入的圖相重疊。很明顯，注意力落在了紫色圓柱體右邊的所有區域。

左圖是輸入的圖像，右圖是Same模塊輸出的掩碼，它被要求注意藍色的球體。中間的圖表示輸入圖像與掩碼重疊。最終說明它成功地完成了任務：首先確定球體的顏色，然后確定這一顏色的所有對象，最后找到有該顏色的目標物體。

CLEVR-CoGenT

CLEVR-CoGenT對于泛化測試是一個好選擇，它在形式上與CLEVR相同，但只有兩個特殊條件。A，所有的立方體必須是灰色、藍色、棕色或黃色其中的一種，所有的圓柱體必須是紅色、綠色、紫色或青色的一種；B，顏色被互換。

結果表明，當只用A情況的數據進行訓練時，模型的性能在A下的表現優于B。下圖說明了模型在兩種情況下的性能：

接著，研究人員用B中的數據對模型進行微調，模型的準確率由75.4%升至96.3%。

結語

本文中，研究人員提出了Transparency by Design網絡，這些網絡組成可視基元，利用外部注意力機制執行復雜的推理操作。與此前的方法不同，由此產生的神經模塊網絡既具有高性能，有方便解釋。