介紹

大規(guī)模語(yǔ)言模型（LMs）已經(jīng)成為了現(xiàn)在自然語(yǔ)言處理的關(guān)鍵技術(shù)，但由于訓(xùn)練語(yǔ)料中常帶有主觀的性別偏見(jiàn)、歧視等，在大模型的使用過(guò)程中，它們時(shí)常會(huì)被放大，因此探測(cè)和緩解數(shù)據(jù)中的性別偏見(jiàn)變得越來(lái)越重要。

部分研究通過(guò)性別交換等自動(dòng)標(biāo)注方法，緩解性別偏見(jiàn)的語(yǔ)料庫(kù)；也有一些人工標(biāo)注的性別偏見(jiàn)語(yǔ)料庫(kù)，但主要集中在單詞層面或語(yǔ)法層面的偏見(jiàn)，或只關(guān)注與性別歧視相關(guān)的話題，并主要以英文為主。因此，該論文提出了第一個(gè)用于性別偏見(jiàn)探測(cè)和緩解的句子級(jí)中文語(yǔ)料庫(kù)，采用一種自動(dòng)方法（如圖1所示，對(duì)含有性別偏見(jiàn)得分高的詞的樣本進(jìn)行召回，然后根據(jù)其句子級(jí)性別偏見(jiàn)概率對(duì)樣本進(jìn)行重新排序和過(guò)濾），從現(xiàn)有的大規(guī)模中文語(yǔ)料庫(kù)中構(gòu)建可能存在性別偏見(jiàn)的句子集，再通過(guò)精心設(shè)計(jì)的標(biāo)注方案，對(duì)候選數(shù)據(jù)集進(jìn)行進(jìn)一步的標(biāo)注，構(gòu)建可以用于性別偏見(jiàn)檢測(cè)、分類和緩解三種任務(wù)的數(shù)據(jù)集。

數(shù)據(jù)構(gòu)建

樣本過(guò)濾

如圖1所示，該研究通過(guò)單詞級(jí)到句子級(jí)的兩階段過(guò)濾，從原始語(yǔ)料庫(kù)中召回、排序和過(guò)濾待標(biāo)注候選數(shù)據(jù)。對(duì)于詞級(jí)別過(guò)濾，通過(guò)計(jì)算目標(biāo)詞與種子方向之間得分，構(gòu)建一個(gè)高偏見(jiàn)分?jǐn)?shù)的詞表，并從原始語(yǔ)料庫(kù)中匹配包含這些詞語(yǔ)的句子，為初步候選集合。其中得分計(jì)算如下：

正值表示該詞語(yǔ)更適合女性，負(fù)值表示該詞語(yǔ)更適合男性，性別偏見(jiàn)得分絕對(duì)值越高，說(shuō)明該詞語(yǔ)的偏見(jiàn)程度越高。過(guò)濾得到的詞匯繪制的詞云如圖5所示，



對(duì)于句子級(jí)別過(guò)濾，計(jì)算句子的性別偏見(jiàn)得分，并根據(jù)獲得性別偏見(jiàn)關(guān)鍵詞進(jìn)行分組，然后根據(jù)特定的全局閾值性別偏見(jiàn)得分和組內(nèi)閾值排名選擇待標(biāo)注的最終句子集合。

標(biāo)注規(guī)則

標(biāo)注方案為標(biāo)注人員對(duì)一個(gè)句子進(jìn)行判斷，判斷是否存在性別偏見(jiàn)；如果存在，則需要給出偏見(jiàn)具體類型，并為了緩解性別偏見(jiàn)，還需要對(duì)有偏見(jiàn)的句子進(jìn)行糾正，給出無(wú)偏見(jiàn)句子。為保證標(biāo)注質(zhì)量，6名標(biāo)注人員均具有學(xué)士學(xué)位，并且男女比例相同。

「偏見(jiàn)類別」共包含3種：

AC：性別刻板的活動(dòng)和職業(yè)選擇；

DI：性別刻板的描述和概況；

ANB：表達(dá)性別刻板的態(tài)度、規(guī)范和信仰。

緩解性別偏見(jiàn)主要是在保留原始語(yǔ)義信息的同時(shí)，減輕所選句子的性別偏見(jiàn)，并要求標(biāo)注者進(jìn)行使句子的表達(dá)式多樣化，主要修改規(guī)則如下：

用中性代詞取代性別代詞；

用語(yǔ)義定義相近的中性描述替換性別特定的形容詞；

對(duì)不能直接減輕的句子，添加額外的解釋進(jìn)行中和。

標(biāo)注過(guò)程分為兩個(gè)階段：第一階段，各標(biāo)注者進(jìn)行標(biāo)注，并要求不要輸入不確定樣本；第二階段，標(biāo)注者之間進(jìn)行交叉標(biāo)注。

語(yǔ)料分析

CORGI-PM數(shù)據(jù)統(tǒng)計(jì)如表1所示，共包含32.9k數(shù)據(jù)，并考慮數(shù)據(jù)分布，劃分了訓(xùn)練集、驗(yàn)證集及測(cè)試集。



如表2所示，發(fā)現(xiàn)偏見(jiàn)句子相較于無(wú)偏見(jiàn)句子來(lái)說(shuō)，句子更長(zhǎng)，包含詞匯更少；但由于去偏句子需要在保持原意圖語(yǔ)義不變、句子連貫、減輕偏見(jiàn)，因此去偏樣本與原樣本相比表達(dá)更長(zhǎng)、更多樣化。



偏見(jiàn)數(shù)據(jù)格式樣例：

{
'train':{
#原始句子
'ori_sentence':[
sent_0,
sent_1,
...,
],
#偏見(jiàn)類型
'bias_labels':[
[010],
[010],
[010],
...,
],
#人工去偏句子
'edit_sentence':[
edited_sent_0,
edited_sent_1,
...,
],
},
'valid':{
...#與訓(xùn)練集一致
},
'test':{
...#與訓(xùn)練集一致
}
}

無(wú)偏見(jiàn)數(shù)據(jù)格式樣例：

{
'train':{
#原始句子
'text':[
sent_0,
sent_1,
...,
],
},
'valid':{
...#與訓(xùn)練集一致
},
'test':{
...#與訓(xùn)練集一致
}
}

實(shí)驗(yàn)結(jié)果

針對(duì)性別偏見(jiàn)檢測(cè)及分類任務(wù)，以Precision、Recall和F1作為評(píng)價(jià)指標(biāo)，采用BERT、Electra和XLNet模型進(jìn)行微調(diào)進(jìn)行實(shí)驗(yàn)對(duì)比，并采用GPT-3 Curie模型進(jìn)行zero-shot實(shí)驗(yàn)，結(jié)果如表3所示。



針對(duì)性別緩解任務(wù)，采用GPT-3 Ada(350M)、Babbage(1.3B)和Curie(6.7B)進(jìn)行微調(diào), 并采用Davinci(175B)進(jìn)行zero-shot實(shí)驗(yàn)，結(jié)果如表4所示。

總結(jié)

中文首個(gè)性別偏見(jiàn)探索和緩解數(shù)據(jù)集，開(kāi)源不易，且用且珍惜。

審核編輯：劉清