這是一篇關(guān)于風(fēng)格遷移中如何進(jìn)行數(shù)據(jù)增強(qiáng)的論文。在introduction部分，informal-->formal 的風(fēng)格遷移問(wèn)題，最大的障礙是訓(xùn)練數(shù)據(jù)的不足。為了解決此問(wèn)題，本篇論文提出三種數(shù)據(jù)增強(qiáng)的方法來(lái)獲得有用的語(yǔ)句對(duì)，分別為

back translation (BT)

我們使用原始語(yǔ)料庫(kù)訓(xùn)練一個(gè)seq2seq模型。其中將formal語(yǔ)句作為模型的輸入，讓seq2seq模型有能力輸出對(duì)應(yīng)的informal句子。則 模型輸入的formal語(yǔ)句和輸出的informal語(yǔ)句就構(gòu)成了一個(gè)新的語(yǔ)句對(duì)。

formality discrimination (F-Dis)

F-Dis方法使用機(jī)器翻譯模型，將一個(gè)informal句子重寫(xiě)為formal句子。首先使用Google翻譯API 將這些informal語(yǔ)句翻譯成 其他語(yǔ)種（比如法語(yǔ)），然后又翻譯回英語(yǔ)。如下圖所示:

其中，informal語(yǔ)句可以從網(wǎng)上論壇上收集得到。

表示收集到的第i條句子(informal)， 是最后翻譯回的句子(formal), 二者構(gòu)成了一個(gè)新的語(yǔ)句對(duì)。

本方法同時(shí)使用CNN構(gòu)建了一個(gè)“格式判別器”：用來(lái)給一個(gè)句子的“正規(guī)”程度 打分。就是上圖中右邊括號(hào)內(nèi)的小數(shù)。最終選出的新數(shù)據(jù)集要求如下：

其中表示句子的“正規(guī)”程度， 是閾值

multi-task transfer (M-Task)

我們觀察到，formal語(yǔ)句通常語(yǔ)法正確，而informal語(yǔ)句的語(yǔ)法經(jīng)常出錯(cuò)。

前人研究表明，對(duì)FST的輸出再使用一個(gè)語(yǔ)法錯(cuò)誤糾正模型（ grammatical error correction model，GEC）可以提高模型效果。受此啟發(fā)，本論文直接使用GEC的訓(xùn)練數(shù)據(jù)作為增強(qiáng)的新數(shù)據(jù)集。如下圖

模型訓(xùn)練

上面提到的seq2seq模型為T(mén)ransformer (base)。

本論文首先使用增強(qiáng)的新數(shù)據(jù)用于 預(yù)訓(xùn)練，然后使用原始語(yǔ)料數(shù)據(jù)做微調(diào)，將這稱(chēng)為pre-training & finetuning (PT&FT)方法。下面結(jié)果證明了PT&FT的效果優(yōu)于ST方法。ST是把增強(qiáng)數(shù)據(jù)和原數(shù)據(jù)一起訓(xùn)練。

下圖展現(xiàn)了三種數(shù)據(jù)增強(qiáng)方法的效果：

下圖展現(xiàn)了我們的方法與前人模型的比較結(jié)果：

責(zé)任編輯：xj

原文標(biāo)題：【ACL2020】關(guān)于正式風(fēng)格遷移的數(shù)據(jù)增強(qiáng)方法

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。