本文貢獻(xiàn)有如下兩點(diǎn)：

提出了一個(gè)面向方面的樹(shù)結(jié)構(gòu)，通過(guò)重塑和修剪普通的依存樹(shù)來(lái)關(guān)注目標(biāo)方面。

提出了一個(gè)新的GAT模型來(lái)編碼依存關(guān)系，建立方面和意見(jiàn)詞之間的聯(lián)系。

餐廳評(píng)論中的三個(gè)例子來(lái)說(shuō)明 ABSA 中方面aspect、注意力和句法之間的關(guān)系。Labeled edges表示依存關(guān)系，每個(gè)單詞下的分?jǐn)?shù)表示由LSTM分配注意力權(quán)重。具有高注意力權(quán)重的詞在「紅色框」中突出顯示，括號(hào)中的詞是目標(biāo)方面target aspect，后面是它們的情感標(biāo)簽。

面向方面的樹(shù)的構(gòu)建

輸入：原來(lái)的解析結(jié)果以及句子和方面。（原文有偽代碼）

「第一步」 將目標(biāo)方面放在根節(jié)點(diǎn)

「第二步」 我們將與方面有直接連接的節(jié)點(diǎn)設(shè)置為子節(jié)點(diǎn)，保留原始的依存關(guān)系

「第三步」 舍棄了其他的依存關(guān)系，取而代之的是一個(gè)從aspect到每個(gè)對(duì)應(yīng)節(jié)點(diǎn)的虛擬關(guān)系n:con，其中n表示兩個(gè)節(jié)點(diǎn)之間的距離。

注意 如果句子包含多個(gè)方面，我們?yōu)槊總€(gè)方面構(gòu)建一個(gè)唯一的樹(shù)。

根據(jù)是前人研究證明只關(guān)注在語(yǔ)法上接近目標(biāo)方面的一小部分上下文詞就足夠了。好處是每個(gè)方面都有自己的依存樹(shù)，可以減少不相關(guān)節(jié)點(diǎn)和關(guān)系的影響，同時(shí)這種統(tǒng)一的樹(shù)結(jié)構(gòu)不僅使模型專(zhuān)注于方面和情感詞之間的聯(lián)系，而且在訓(xùn)練過(guò)程中便于批量操作和并行操作。

R-GAT

為了對(duì)上述樹(shù)進(jìn)行編碼，在GAT的基礎(chǔ)上提出了一個(gè)新的R-GAT：relation graph attention network

GAT實(shí)現(xiàn)的是：

每個(gè)結(jié)點(diǎn)只對(duì)鄰居結(jié)點(diǎn)進(jìn)行注意力計(jì)算權(quán)重。這個(gè)得到的是。注意 表明一共使用了個(gè)做轉(zhuǎn)換矩陣，最后將它們得到的結(jié)果拼接到一起。

作者認(rèn)為沒(méi)有考慮到和相鄰接點(diǎn)的依存關(guān)系是存在不同的，不可以用同樣方法去計(jì)算。因此引入了考慮不同的依存關(guān)系的R-GAT來(lái)補(bǔ)充信息。大致的思想相同，只是對(duì)于（1）中的有考慮進(jìn)新的信息，也就是不同的依存關(guān)系。

「R-GAT」：

作者將各種依存關(guān)系映射到嵌入中，結(jié)點(diǎn)i和結(jié)點(diǎn)j之間的就是

也就是先將依存關(guān)系經(jīng)過(guò)兩層線性層，然后對(duì)一個(gè)結(jié)點(diǎn)的所有邊的結(jié)果歸一化，變成對(duì)應(yīng)的系數(shù)。

整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)

結(jié)構(gòu)很簡(jiǎn)單如下：

具體來(lái)說(shuō)首先需要把句子的依存分析結(jié)果通過(guò)變換得到面向方面的數(shù)，這個(gè)結(jié)果將參與后續(xù)的圖編碼。

「第一步」，將句子的詞嵌入經(jīng)過(guò)BiLSTM編碼得到，利用另一個(gè)BiLSTM編碼方面詞作為根節(jié)點(diǎn)嵌入的初始化。

「第二步」，利用GAT和R-GAT分別去處理h，得到和，注意相當(dāng)于只用處理一個(gè)根節(jié)點(diǎn)。將得到的結(jié)果拼接到一起，再經(jīng)過(guò)一個(gè)線性層就是該方面詞的表達(dá)。

「第三步」，softmax分類(lèi)得到方面詞預(yù)測(cè)結(jié)果。

Loss Function

實(shí)驗(yàn)和分析

不同方法在三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)：

多方面分析結(jié)果，表明距離較近的方面往往導(dǎo)致準(zhǔn)確度得分較低：

不用Parser的影響：

消融研究的結(jié)果，其中“Ordinary”表示使用普通依存樹(shù)，“Reshape”表示使用面向方面的樹(shù)，“*-n:con”表示不使用n:con的面向方面的樹(shù)：

R-GAT 和 R-GAT+BERT 對(duì)來(lái)自Restaurant數(shù)據(jù)集的 100 個(gè)錯(cuò)誤分類(lèi)示例的錯(cuò)誤分析結(jié)果。原因分為四類(lèi)，并給出了樣本。上表對(duì)應(yīng) R-GAT 的結(jié)果，下表對(duì)應(yīng) R-GAT+BERT：