編者按：自然語言推理所用的數據集再近年得到了研究和發展，但是在本文中，來自華盛頓大學、卡內基梅隆大學和紐約大學等機構的研究人員發現，這些數據集中不可避免出現了明顯的“人工痕跡”，使得模型的表現被高估了，評估自然語言推理模型的問題仍然存在。以下是論智的編譯。

自然語言推理是NLP領域被廣泛研究的領域之一，有了這一技術，許多復雜的語義任務如問題回答和文本總結都能得到解決。而用于自然語言推理的大規模數據集是通過向眾包工作者提供一個句子（前提）p，然后讓他們創作出三個新的與之相關的句子（假設）h創造出來的。自然語言推理的目的就是判斷是否能根據p的語義推斷出h。我們證明，利用這種方法，使得數據中的很大一部分只需查看新生成的句子，無需看“前提”，就能了解到數據的標簽。具體來說，一個簡單的文本分類模型在SNLI數據集上對句子分類的正確率達到了67%，在MultiNLI上的正確率為53%。分析表明，特定的語言現象，比如否定和模糊與某些推理類別非常相關。所以這一研究表示，目前的自然語言推理模型的成功被高估了，這一問題仍然難以解決。

2015年，Bowman等人通過眾包標記的方法創造了大規模推斷數據集SNLI；2018年，Williams等人又推出了MultiNLI數據集。在這一過程中，研究人員從一些語料中抽取某個前提句子p，讓眾包標注者基于p創作三個新句子，創作的句子與p有三種關系標準：

包含（Entailment）：h與p非常相關；

中立（Neutral）：h與p可能相關；

矛盾（Contradiction）：h與p絕對不相關。

下面是SNLI數據集中具體的例子：

在這篇論文中，我們發現，通過眾包生成的句子人工痕跡太過明顯，以至于分類器無需查看條件句子p就能將其正確分類。下面我們將詳細講解分析過程。

注釋中的“人工痕跡”其實很明顯

我們猜想，注釋任務的框架對眾包人員編寫句子時會產生顯著的影響，這一影響會反映在數據中，我們稱之為“人工注釋（annotation artifacts）”。

為了確定這種人為行為對數據的影響程度，我們訓練一個模型來預測生成句子的標簽，無需查看前提句子。具體來說，我們使用現成的文本分類器fastText，它可以將文本模型化為許多單詞和二元語法（bigrams），以預測句子的標簽。

下表顯示，每個測試集中大部分數據都能在不看前提句子的情況下被正確分類，這也證明了即使不用對自然語言推理建模，分類器也能表現得很好。

人工注釋的特點

之前我們說到，超過一半的MultiNLI數據和三分之二的SNLI數據都有明顯的人工痕跡，為了從中總結出它們的特點，我們將對數據進行大致分析，重點關注詞匯的選擇和句子的長度。

詞匯選擇

為了了解特定詞匯的選擇是否會影響句子的分類，我們計算了訓練集中每個單詞和類別之間的點互信息（PMI）：

下表顯示了每個分類中與類別最相關的幾個單詞，以及訓練語句中包含這些單詞的比例。

相關句子（Entailment）

與前提句子完全相關的生成句子都含有通用詞匯，如動物、樂器和戶外等，這些詞語還有可能衍生出更具體的詞語例如小狗、吉他、沙灘等等。另外，這些據此都會用確切的數字代替近似值（一些、至少、各種等等），并且會移除明確的性別。有些還會帶有具體的環境，例如室內或室外，這些都是SNLI數據集中圖片的個性特征。

中立句子

中立關系的句子中，最常見的就是修飾詞（高、悲傷、受歡迎）和最高級詞語（第一、最愛、最多）。除此之外，中立句子比較常見的是原因和目的從句，例如因為。

不相關句子

否定詞例如“沒有人”、“不”、“從不”、“沒有”等都是不相關句子的常見詞語。

句子長度

我們發現，生成句子中tokens的數量在不同的推理類別中并不是平均分配的。下圖顯示，中性的句子中token往往較長，而相關句子往往較短。句子長度的差異可能表明，眾包工作者在生成相關句子時只是簡單地從前提句子p中刪除了幾個單詞。而事實上，當每個句子都用bag of words表示時，SNLI中有8.8%的相關生成句子完全包含在前提句子之中，而只有0.2%的中性和矛盾句子包含前提。

結論

通過觀察結果，并對比其他人工注釋分析，我們得到了三個主要結論。

很多數據集都包含有“人工痕跡”

監督模型需要利用人工注釋。Levy等人證明了監督詞匯推理模型在很大程度上以來數據集中人工生成的詞匯。

人工注釋會高估模型性能。大多數測試集都能單獨依靠人工注釋解決問題，所以我們鼓勵開發額外的標準，能夠給讓人了解NLI模型的真實性能。