命名實體識別（NER）是信息抽取的一項基本任務，它的目的是識別文本片段中的實體及類型，如人名（PER），地名（LOC）和組織名（ORG）。命名實體識別在許多下游任務都有著廣泛的應用，如實體鏈接和關系抽取。

最近，大多數關于NER的研究只依靠文本模態來推斷實體標簽[3,4,5]，然而，當文本中包括多義實體時，只依賴文本模態的信息來識別命名實體就變得非常困難[6,7]。一種有希望的解決方案是引入其他模態（比如圖像）作為文本模態的補充。如圖1所示，Twitter文本中出現的單詞“Alibaba”可以被識別為多種類型的實體，例如人名或組織名，但當我們將單詞“Alibaba”與圖片中的視覺對象person對齊后，組織名就會被過濾掉。

從上面的例子中可以看出，將文本中的單詞與圖片中的視覺對象對齊是多模態命名實體識別任務（MNER）的核心。為此做了很多努力，大致可以分為以下三個方面：（1）將整張圖片編碼為一個全局特征向量，然后設計有效的注意力機制來提取與文本相關的視覺信息[6]；（2）將整張圖片平均地分為多個視覺區域，然后顯式地建模文本序列與視覺區域之間的相關性[7,8,9,10,11,12]；（3）僅保留圖片中的視覺對象區域，然后將其與文本序列進行交互[13,14,15,16]。

盡管取得了很好的效果，但上述研究獨立地建模了一對圖片和文本中的內部匹配關系，忽略了不同（圖片、文本）對之間的外部匹配關系。在這項工作中，我們認為這種外部關系對于緩解 MNER 任務中的圖片噪聲至關重要。具體來說，我們探索了數據集中的兩種外部匹配關系：

模態間關系（Inter-modal relation）：從文本的角度來看，一段文本可能與數據集中的多張圖片存在關聯，當文本中的命名實體沒有出現在相應的圖片中時，其它相關圖片通常對識別文本中的命名實體是有幫助的。如圖2(b)所示，句子S2中的命名實體"Trump"沒有出現在相應的圖片中，因此僅僅依靠非正式的句子S2很難推斷出命名實體標簽。然而，當考慮到與句子 S2 密切相關的其他圖片時（例如圖2(a)和2(c)），句子S2中的命名實體標簽大概率是“PER”，因為這些相關的圖片中都包含了視覺對象person。因此，一個可行且自然的方法是建立不同（圖片、文本）對中圖片與文本之間的關聯；

模態內關系（Intra-modal relation）：從圖片的角度來看，不同的圖片中往往包含著相同類型的視覺對象，清晰的視覺對象區域比模糊的視覺對象區域更容易識別命名實體標簽。例如，圖2(d)與2(e)中都包含了視覺對象person，雖然通過圖2(d)中模糊的視覺對象區域來推斷句子 S4 中的命名實體標簽相對困難，但我們根據圖2(e)可以推斷出句子S4中的命名實體標簽很可能是“PER”，因為圖2(e)中清晰的視覺對象更容易推斷出命名實體標簽"PER"。因此，一個可行且自然的方法是建立不同（圖片、文本）對中圖片之間的關聯；

圖：每個藍色框包含數據集中的一對圖片和文本。命名實體及其對應的實體類型在文本中突出顯示。黑色箭頭表示圖像-文本對中的內部匹配關系。綠色箭頭表示不同圖文對中圖片和文本之間的模態間關系，紅色箭頭表示不同圖文對中圖片之間的模態內關系

為了更好地建模上述兩種外部匹配關系，我們提出了一個用于多模態NER任務的關系增強圖卷積網絡（R-GCN）。具體來說，R-GCN主要包括兩個模塊：第一個模塊構建了一個模態內關系圖和一個模態間關系圖分別來收集數據集中與當前圖片和文本最相關的圖片信息。第二個模塊執行多模態交互和融合，最終預測 NER 的標簽序列。廣泛的實驗結果表明，我們的R-GCN網絡在兩個基準數據集上始終優于當前最先進的工作。

貢獻

1.據我們所知，我們是第一個提出利用不同（圖片、文本）對之間的外部匹配關系來提升MNER任務性能的工作；

2. 我們設計了一個關系增強的圖卷積神經網絡來同時建模模態間關系和模態內關系；

3. 我們在兩個基準數據集上的實驗結果都達到了最先進的性能，進一步的實驗分析驗證了我們方法的有效性；

解決方案

圖3：R-GCN模型的整體架構

在本文中，我們提出了關系增強的圖卷積神經網絡R-GCN來建模兩種外部匹配關系，圖3展示了該模型的整體架構。它主要由四個模塊組成：（1) 模態間關系模塊；（2) 模態內關系模塊；（3）多模態交互模塊；（4）CRF解碼模塊。下面，我們主要介紹前兩個核心模塊。

模態間關系：根據我們的觀察，一段文本可能與數據集中的多張圖片存在關聯，當文本中的命名實體沒有出現在相應的圖片中時，其它相關圖片通常對識別文本中的命名實體是有幫助的。為此，我們提出了模態間關系圖從數據集中收集與輸入句子具有相似含義的其他圖片。下面，我們將詳細介紹如何構建模態間關系圖的頂點和邊：

頂點：模態間關系圖中有兩種類型的頂點，分別是文本節點和圖片節點。文本結點作為中心節點，它通過將句子輸入到預訓練模型BERT中得到，而圖片節點是從預訓練模型 ResNet [17]中提取的圖片表示，旨在為中心節點提供輔助信息。

邊：我們的目標是衡量數據集中其他圖片是否包含輸入句子中提及的相似場景。然而，由于圖片與文本之間存在天然的語義鴻溝，因此實現這個目標并不容易。為此，我們首先利用image caption模型[18]將圖片轉化為文本描述，然后將輸入句子和文本描述之間的cos相似度視為文本節點和圖片節點之間的邊。

模態內關系：就像前面提到的，當不同的圖片中包含著相同類型的視覺對象時，清晰的視覺對象區域比模糊的視覺對象區域更容易識別文本中的命名實體標簽。為此，我們建立了一個模態內關系圖從數據集中收集與輸入圖片包含相同類型視覺對象的其它圖片。下面，我們將詳細介紹如何構建模態內關系圖的頂點和邊：

頂點：對于數據集中的每張圖片，我們將從預訓練ResNet中提取的圖片特征作為圖片節點，其中當前輸入圖片對應的特征表示作為中心節點。

邊：我們的目標是衡量數據集中的其他圖片是否包含與輸入圖片相同類型的視覺對象。顯然，ResNet沒有能力獲得圖片中的視覺對象區域。因此，我們首先利用目標檢測模型Faster-RCNN為每張圖片生成一組視覺對象，然后將輸入圖片和數據集中其它圖片的視覺對象表示之間的余弦相似度作為圖片節點之間的邊。

我們使用圖卷積神經網絡來建模這兩種外部匹配關系，為每個模態生成關系增強的特征向量。此外，和以前的方法一樣，我們通過多模態交互模塊建模了圖片和文本之間的內部匹配關系，最后，我們使用條件隨機場[4]對文本表示進行解碼，識別出文本序列中包含的命名實體。

實驗

我們在兩個公開的數據集Twitter2015和Twitter2017上進行實驗，結果如表 1 所示，我們報告了整體的Precision, Recall和F1 score,以及每種實體類型的F1 score。與之前的工作一樣，我們主要關注整體的F1 score。實驗結果表明，與UMT和UMGF等多模態NER模型相比，R-GCN在兩個數據集上都取得了有競爭力的結果。值得一提的是，我們的R-GCN模型在F1 score上分別超出了目前性能最好的模型UMGF 1.48%和1.97%。此外，從單個實體類型來看，R-GCN在Twitter2015數據集上最多超過UMGF 1.86%，在Twitter2017數據集上最多超過UMGF 5.08%。這些結果驗證了我們模型的有效性。

表1：主實驗結果

表2:模態內關系模塊和模態間關系模塊的消融實驗結果

為了研究單個模塊和多個模塊的組合對模型整體效果的影響，我們對 R-GCN 中的兩個模塊進行了消融研究，即模態內關系模塊(IntraRG)和模態間關系模塊(InterRG)，從表2中我們可以得出以下結論：

1. 移除任意一個模塊都會使總體性能變差，這驗證了利用數據集中不同（圖片，文本）對中的外部匹配關系來提升MNER任務性能的合理性。同時移除IntraRG和InterRG模塊后性能進一步下降，這說明IntraRG和InterRG這兩個模塊從不同的視角提升了MNER任務的性能；

2. 與Intra-RG相比較，Inter-RG對R-GCN模型的影響更大。這是因為我們主要依靠文本序列來預測NER標簽。因此，將相似的圖片信息聚集到文本序列中對我們模型的貢獻更大，這與我們的期望是一致的。

案例分析

為了更好的理解IntraRG模塊和InterRG模塊的作用，我們定性地比較了我們的方法與當前性能最好的兩個方法UMT和UMGF的結果。在圖4(a)中，句子中的命名實體“KyrieIrving”沒有出現在對應的圖片中，所以UMT和UMGF錯誤地將該實體預測為了“MISC”。然而，在InterRG模塊的幫助下，該句子可以與數據集中的其他圖片建立聯系，考慮到這些相關的圖片中都包含了視覺對象person，因此模型給出了正確的標簽預測“PER”。在圖4(b)中，顯然視覺對象區域是模糊的，這為命名實體的識別帶來了很大的挑戰，因此UMT和UMGF都認為句子中沒有命名實體。但是在 IntraRG 的幫助下，我們將包含清晰視覺對象區域的相似圖片聚合到當前圖片中從而做出正確的預測，因為這些清晰的視覺對象區域降低了識別命名實體的難度。

圖：錯誤類型分析

此外，我們還對模型進行了錯誤分析。具體來說，我們隨機抽取了R-GCN模型預測錯誤的100個樣例，并將其歸納為三種錯誤類型。圖5展示了每種錯誤類型的比例以及一些代表性示例。

1. 第一類為標注帶來的偏差，在圖5(a)中，命名實體“Pebble Beach Residence”被標注為“ORG”，但如果我們將其標注為“LOC”也是合理的，在這種情況下，我們的模型很難區分它們，因為它們都是正確的。

2.第二類為背景知識缺乏，在圖5(b)中，命名實體“Jonas brother”是一個著名樂隊的名字，在缺乏背景知識的情況下，模型很容易將該實體識別為“PER”

3. 第三類為信息缺失，在圖5(c)中，句子非常的短，圖片中的內容也很簡單，它們不能為模型提供足夠的信息來判斷實體類型。

對于這幾類典型的錯誤，未來應該會有更先進的自然語言處理技術來解決它們。

總結

在本文中，我們為多模態NER任務提出了一個新穎的關系增強圖卷積網絡。我們方法的主要思想是利用不同（圖像、文本）對中的兩種外部匹配關系（即模態間關系和模態內關系）來提高識別文本中命名實體的能力。大量實驗的結果表明，我們的模型比其他先進的方法具有更好的性能。進一步的分析也驗證了R-GCN模型的有效性。

在未來，我們希望將我們的方法應用到其他多模態任務中，比如多模態對話或者多模態蘊含。