在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

PyTorch文本分類任務的基本流程

jf_78858299 ? 來源:天宏NLP ? 作者: tianhongzxy ? 2023-02-22 14:23 ? 次閱讀

文本分類是NLP領域的較為容易的入門問題,本文記錄文本分類任務的基本流程,大部分操作使用了torchtorchtext兩個庫。

1. 文本數據預處理

首先數據存儲在三個csv文件中,分別是train.csv,valid.csv,test.csv,第一列存儲的是文本數據,例如情感分類問題經常是用戶的評論 review ,例如imdb或者amazon數據集。第二列是情感極性 polarity ,N分類問題的話就有N個值,假設值的范圍是0~N-1。

下面是很常見的文本預處理流程,英文文本的話不需要分詞,直接按空格split就行了,這里只會主要說說第4點。

1.去除非文本部分

2.分詞

3.去除停用詞

4.對英文單詞進行 詞干提取 (stemming)和 詞型還原 (lemmatization)

5.轉為小寫

6.特征處理

?Bag of Words?Tf-idf?N-gram?Word2vec詞干提取和詞型還原

from nltk.stem import SnowballStemmer
stemmer = SnowballStemmer("english") # 選擇語言
from nltk.stem import WordNetLemmatizer 
wnl = WordNetLemmatizer()

SnowballStemmer較為激進,轉換有可能出現錯誤,這里較為推薦使用WordNetLemmatizer,它一般只在非常肯定的情況下才進行轉換,否則會返回原來的單詞。

stemmer.stem('knives')
# knive
wnl.lemmatize('knives')
# knife

因為我沒有系統學習和研究過NLTK的代碼,所以就不在這里展開說了,有興趣的可以自己去看NLTK源代碼。

2. 使用torchtext加載文本數據

本節主要是用的模塊是torchtext里的data模塊,處理的數據同上一節所描述。

首先定義一個tokenizer用來處理文本,比如分詞,小寫化,如果你已經根據上一節的詞干提取和詞型還原的方法處理過文本里的每一個單詞后可以直接分詞就夠了。

tokenize = lambda x: x.split()

或者也可以更保險點,使用spacy庫,不過就肯定更耗費時間了。

import spacy


spacy_en = spacy.load('en')
def tokenizer(text):
    return [toke.text for toke in spacy_en.tokenizer(text)]

然后要定義 Field ,至于Field是啥,你可以簡單地把它理解為一個能夠加載、預處理和存儲文本數據和標簽的對象。我們可以用它根據訓練數據來建立詞表,加載預訓練的Glove詞向量等等。

def DataLoader():
    tokenize = lambda x: x.split()
        # 用戶評論,include_lengths設為True是為了方便之后使用torch的pack_padded_sequence
    REVIEW = data.Field(sequential=True,tokenize=tokenize, include_lengths=True)
    # 情感極性
    POLARITY = data.LabelField(sequential=False, use_vocab=False, dtype = torch.long)
        # 假如train.csv文件并不是只有兩列,比如1、3列是review和polarity,2列是我們不需要的數據,
    # 那么就要添加一個全是None的元組, fields列表存儲的Field的順序必須和csv文件中每一列的順序對應,
    # 否則review可能就加載到polarity Field里去了
    fields = [('review', REVIEW), (None, None), ('polarity', POLARITY)]


    # 加載train,valid,test數據
    train_data, valid_data, test_data = data.TabularDataset.splits(
                                    path = 'amazon',
                                    train = 'train.csv',
                                                                  validation = 'valid.csv',
                                                                  test = 'test.csv',
                                    format = 'csv',
                                    fields = fields,
                                    skip_header = False # 是否跳過文件的第一行
    )
    return REVIEW, POLARITY, train_data

加載完數據可以開始建詞表。如果本地沒有預訓練的詞向量文件,在運行下面的代碼時會自動下載到當前文件夾下的'.vector_cache'文件夾內,如果本地已經下好了,可以用Vectors指定文件名name,路徑cache,還可以使用Glove。

from torchtext.vocab import Vectors, Glove
import torch


REVIEW, POLARITY, train_data = DataLoader()
# vectors = Vectors(name='glove.6B.300d.txt', cache='.vector_cache')
REVIEW.build_vocab(train_data, # 建詞表是用訓練集建,不要用驗證集和測試集
                  max_size=400000, # 單詞表容量
                  vectors='glove.6B.300d', # 還有'glove.840B.300d'已經很多可以選
                  unk_init=torch.Tensor.normal_ # 初始化train_data中不存在預訓練詞向量詞表中的單詞
)


# print(REVIEW.vocab.freqs.most_common(20)) 數據集里最常出現的20個單詞
# print(REVIEW.vocab.itos[:10])                       列表 index to word
# print(REVIEW.vocab.stoi)                               字典 word to index

接著就是把預訓練詞向量加載到model的embedding weight里去了。

pretrained_embeddings = REVIEW.vocab.vectors
model.embedding.weight.data.copy_(pretrained_embeddings)
UNK_IDX = REVIEW.vocab.stoi[REVIEW.unk_token]
PAD_IDX = REVIEW.vocab.stoi[REVIEW.pad_token]
# 因為預訓練的權重的unk和pad的詞向量不是在我們的數據集語料上訓練得到的,所以最好置零
model.embedding.weight.data[UNK_IDX] = torch.zeros(EMBEDDING_DIM)
model.embedding.weight.data[PAD_IDX] = torch.zeros(EMBEDDING_DIM)

然后用torchtext的迭代器來批量加載數據,torchtext.data里的BucketIterator非常好用,它可以把長度相近的文本數據盡量都放到一個batch里,這樣最大程度地減少padding,數據就少了很多無意義的0,也減少了矩陣計算量,也許還能對最終準確度有幫助(誤)?

sort_within_batch設為True的話,一個batch內的數據就會按sort_key的排列規則降序排列,sort_key是排列的規則,這里使用的是review的長度,即每條用戶評論所包含的單詞數量。

train_iterator, valid_iterator, test_iterator = data.BucketIterator.splits(
                                                (train_data, valid_data, test_data),
                                                batch_size=32,
                                                sort_within_batch=True,
                                                sort_key = lambda x:len(x.review),
                                                device=torch.device('cpu'))

最后就是加載數據喂給模型了。

for batch in train_iterator:
  # 因為REVIEW Field的inclue_lengths為True,所以還會包含一個句子長度的Tensor
  review, review_len = batch.review  
  # review.size = (seq_length, batch_size) , review_len.size = (batch_size, )
  polarity = batch.polarity
  # polarity.size = (batch_size, )
  predictions = model(review, review_lengths)
  loss = criterion(predictions, polarity) # criterion = nn.CrossEntropyLoss()

3. 使用pytorch寫一個LSTM情感分類器

下面是我簡略寫的一個模型,僅供參考

import torch.nn as nn
import torch.nn.functional as F
from torch.nn.utils.rnn import pack_padded_sequence
import torch




class LSTM(nn.Module):


    def __init__(self, vocab_size, embedding_dim, hidden_dim, output_dim,
                 n_layers, bidirectional, dropout, pad_idx):
        super(LSTM, self).__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim, padding_idx=pad_idx)
        self.lstm = nn.LSTM(embedding_dim, hidden_dim, num_layers=n_layers,
                            bidirectional=bidirectional, dropout=dropout)
        self.Ws = nn.Parameter(torch.Tensor(hidden_dim, output_dim))
        self.bs = nn.Parameter(torch.zeros((output_dim, )))
        nn.init.uniform_(self.Ws, -0.1, 0.1)
        nn.init.uniform_(self.bs, -0.1, 0.1)
        self.dropout = nn.Dropout(p=0.5)


    def forward(self, x, x_len):
        x = self.embedding(x)
        x = pack_padded_sequence(x, x_len)
        H, (h_n, c_n) = self.lstm(x)
        h_n = self.dropout(h_n)
        h_n = torch.squeeze(h_n)
        res = torch.matmul(h_n, self.Ws) + self.bs
        y = F.softmax(res, dim=1)
        # y.size(batch_size, output_dim)
        return y

訓練函數

def train(model, iterator, optimizer, criterion):
    epoch_loss = 0
    num_sample = 0
    correct = 0


    model.train()
    for batch in iterator:
        optimizer.zero_grad()
        review, review_lengths = batch.review
        polarity = batch.polarity
        predictions = model(review, review_lengths)
        correct += torch.sum(torch.argmax(preds, dim=1) == polarity)
        loss = criterion(predictions, polarity)
        loss.backward()
        epoch_loss += loss.item()
        num_sample += len(batch)
        optimizer.step()


    return epoch_loss / num_sample, correct.float() / num_sample


if __name__ == '__main__':
    for epoch in range(N_EPOCHS):
    train_loss, acc = train(model, train_iter, optimizer, criterion)
    print(f'\\tTrain Loss: {train_loss:.3f} | Train Acc: {acc* 100:.2f}%')

4. 注意事項和遇到的一些坑

1.文本情感分類需不需要去除停用詞?

?應該是不用的,否則acc有可能下降。

2.data.TabularDataset.splits雖然好用,但是如果你只想加載訓練集,這時候如果直接不給validation和test參數賦值,那么其他代碼和原來一樣,比如這樣

train_data = data.TabularDataset.splits(
                                       path = '',
                                       train = 'train.csv',
                                       format = 'csv',
                                       fields = fields,
                                       skip_header = False # 是否跳過文件的第一行
   )

那么底下你一定會報錯,因為data.TabularDataset.splits返回的是一個元組,也就是如果是訓練驗證測試三個文件都給了函數,就返回(train_data, valid_data, test_data),這時候你用三個變量去接受函數返回值當然沒問題,元組會自動拆包。

當只給函數一個文件train.csv時,函數返回的是(train_data)而非train_data,因此正確的寫法應該如下

train_data = data.TabularDataset.splits(
                                       path = '',
                                       train = 'train.csv',
                                       format = 'csv',
                                       fields = fields,
                                       skip_header = False # 是否跳過文件的第一行
   )[0] # 注意這里的切片,選擇元組的第一個也是唯一一個元素賦給train_data

3.同理data.BucketIterator.splits也有相同的問題,它不但返回的是元組,它的參數datasets要求也是以元組形式,即(train_data, valid_data, test_data)進行賦值,否則在下面的運行中也會出現各種各樣奇怪的問題。

如果你要生成兩個及以上的迭代器,那么沒問題,直接照上面寫就完事了。

如果你只要生成train_iterator,那么正確的寫法應該是下面這樣

train_iter = data.BucketIterator(
               train_data,
               batch_size=32,
               sort_key=lambda x:len(x.review),
               sort_within_batch=True,
               shuffle=True # 訓練集需要shuffle,但因為驗證測試集不需要
                                                  # 可以生成驗證和測試集的迭代器直接用data.iterator.Iterator類就足夠了
   )

4.出現的問題 x = pack_padded_sequence(x, x_len) 當數據集有長度為0的句子時, 就會后面報錯

5.當vocab size較大而訓練數據不多的情況下,我在實驗時發現Adagrad效果比Adam好,如果數據較多,可以嘗試使用RMSProp和Adam

5. 總結

不僅僅是NLP領域,在各大頂會中,越來越多的學者選擇使用Pytorch而非TensorFlow,主要原因就是因為它的易用性,torchtext和pytorch搭配起來是非常方便的NLP工具,可以大大縮短文本預處理,加載數據的時間。

我本人之前用過tf 1.x以及keras,最終擁抱了Pytorch,也是因為它與Numpy極其類似的用法,更Pythonic的代碼,清晰的源碼讓我在遇到bug時能一步一步找到問題所在,動態圖讓人能隨時看到輸出的Tensor的全部信息,這些都是Pytorch的優勢。

現在tf 2.0也在不斷改進,有人稱tf越來越像pytorch了,其實pytorch也在不斷向tf學習,在工業界,tf仍然處于王者地位,不知道未來pytorch能不能在工業界也與tf平分秋色,甚至更勝一籌呢?

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據預處理
    +關注

    關注

    1

    文章

    20

    瀏覽量

    2794
  • nlp
    nlp
    +關注

    關注

    1

    文章

    489

    瀏覽量

    22063
  • pytorch
    +關注

    關注

    2

    文章

    808

    瀏覽量

    13273
收藏 人收藏

    評論

    相關推薦

    pyhanlp文本分類與情感分析

    語料庫本文語料庫特指文本分類語料庫,對應IDataSet接口。而文本分類語料庫包含兩個概念:文檔和類目。一個文檔只屬于一個類目,一個類目可能含有多個文檔。比如搜狗文本分類語料庫迷你版.zip,下載前
    發表于 02-20 15:37

    TensorFlow的CNN文本分類

    在TensorFlow中實現CNN進行文本分類(譯)
    發表于 10-31 09:27

    NLPIR平臺在文本分類方面的技術解析

    文本分類問題就是將一篇文檔歸入預先定義的幾個類別中的一個或幾個,而文本的自動分類則是使用計算機程序來實現這種文本分類,即根據事先指定的規則和示例樣本,自動從海量文檔中識別并訓練
    發表于 11-18 17:46

    基于文章標題信息的漢語自動文本分類

    文本分類文本挖掘的一個重要組成部分,是信息搜索領域的一項重要研究課題。該文提出一種基于文章標題信息的漢語自動文本分類方法,在HNC理論的領域概念框架下,通過標題
    發表于 04-13 08:31 ?10次下載

    textCNN論文與原理——短文本分類

    前言 之前書寫了使用pytorch進行短文本分類,其中的數據處理方式比較簡單粗暴。自然語言處理領域包含很多任務,很多的數據向之前那樣處理的話未免有點繁瑣和耗時。在pytorch中眾所周
    的頭像 發表于 12-31 10:08 ?2545次閱讀
    textCNN論文與原理——短<b class='flag-5'>文本分類</b>

    文本分類的一個大型“真香現場”來了

    任何標注數據啦!哇,真香! 當前的文本分類任務需要利用眾多標注數據,標注成本是昂貴的。而半監督文本分類雖然減少了對標注數據的依賴,但還是需要領域專家手動進行標注,特別是在類別數目很大的情況下。 試想一下,我們人類是如何對新聞
    的頭像 發表于 02-05 11:02 ?1877次閱讀
    <b class='flag-5'>文本分類</b>的一個大型“真香現場”來了

    基于深度神經網絡的文本分類分析

      隨著深度學習技術的快速發展,許多研究者嘗試利用深度學習來解決文本分類問題,特別是在卷積神經網絡和循環神經網絡方面,出現了許多新穎且有效的分類方法。對基于深度神經網絡的文本分類問題進行分析,介紹
    發表于 03-10 16:56 ?37次下載
    基于深度神經網絡的<b class='flag-5'>文本分類</b>分析

    融合文本分類和摘要的多任務學習摘要模型

    文本摘要應包含源文本中所有重要信息,傳統基于編碼器-解碼器架構的摘要模型生成的摘要準確性較低。根據文本分類文本摘要的相關性,提出一種多任務
    發表于 04-27 16:18 ?11次下載
    融合<b class='flag-5'>文本分類</b>和摘要的多<b class='flag-5'>任務</b>學習摘要模型

    基于不同神經網絡的文本分類方法研究對比

    海量文本分析是實現大數據理解和價值發現的重要手段,其中文本分類作為自然語言處理的經典問題受到研究者廣泛關注,而人工神經網絡在文本分析方面的優異表現使其成為目前的主要研究方向。在此背景下,介紹卷積
    發表于 05-13 16:34 ?49次下載

    基于雙通道詞向量的卷積膠囊網絡文本分類算法

    的詞向量與基于特定文本分類任務擴展的語境詞向量作為神經網絡的2個輸入通道,并采用具有動態路由機制的卷積膠囊網絡模型進行文本分類。在多個英文數據集上的實驗結果表明,雙通道的詞向量訓練方式優于單通道策略,與LSTM、RAE、 M
    發表于 05-24 15:07 ?6次下載

    基于LSTM的表示學習-文本分類模型

    文本表示和分類是自然語言理解領域的研究熱點。目前已有很多文本分類方法,包括卷積網絡、遞歸網絡、自注意力機制以及它們的結合。但是,復雜的網絡并不能從根本上提高文本分類的性能,好的
    發表于 06-15 16:17 ?18次下載

    基于注意力機制的新聞文本分類模型

    基于注意力機制的新聞文本分類模型
    發表于 06-27 15:32 ?30次下載

    帶你從頭構建文本分類

    文本分類是 NLP 中最常見的任務之一, 它可用于廣泛的應用或者開發成程序,例如將用戶反饋文本標記為某種類別,或者根據客戶文本語言自動歸類。另外向我們平時見到的郵件垃圾過濾器也是
    的頭像 發表于 03-22 10:49 ?3624次閱讀

    PyTorch教程4.3之基本分類模型

    電子發燒友網站提供《PyTorch教程4.3之基本分類模型.pdf》資料免費下載
    發表于 06-05 15:43 ?0次下載
    <b class='flag-5'>PyTorch</b>教程4.3之基<b class='flag-5'>本分類</b>模型

    卷積神經網絡在文本分類領域的應用

    顯著成就后,也逐漸被引入到文本分類任務中。卷積神經網絡通過模擬人類視覺系統的信息處理方式,能夠有效地提取文本中的局部特征,進而實現高精度的文本分類。本文將對卷積神經網絡在
    的頭像 發表于 07-01 16:25 ?769次閱讀
    主站蜘蛛池模板: 日韩欧美色| 四虎最新影院| 久久久久久久国产| 美女和美女| 大又大又粗又爽又黄毛片女人| 7777奇米影视| 性夜影院爽黄a免费视频| 99精品在线| 色综合激情丁香七月色综合| 欧美伊久线香蕉线新在线| 久久男人网| a一级视频| 午夜看黄| 精品二区| 69xxxx日本hd4k| 搡女人视频免费| 一道精品一区二区三区| 午夜精品久久久久久久第一页| 在线欧美色图| 日韩精品一卡二卡三卡四卡2021| 九九热在线精品视频| 亚洲三级在线看| 欧美色图综合| www.成人在线| 免费观看老外特级毛片| 69xxxx日本| 天堂网| 看真人一级毛片| 午夜精品久久久久久久2023| 成人午夜大片免费视频77777| 亚洲日本欧美日韩高观看| 亚洲第一精品夜夜躁人人爽| 欧美3d成人动画在线| 综合网激情五月| jiucao视频在线观看| 国产成人亚洲毛片| 人人插人人插| 夜夜操狠狠操| 免费观看激色视频网站bd| 亚洲大色| 国产人成精品免费视频|