在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一種全新易用的基于Word-Word關系的NER統一模型

深度學習自然語言處理 ? 來源:深度學習自然語言處理 ? 作者:深度學習自然語言 ? 2022-03-23 13:37 ? 次閱讀

總體說一下

NER任務大概分為三種:flat, overlapped, and discontinuousNER,如下圖所示:

aching in legs 為flat NER

aching in shoulders為discontinuous NER

aching in legs和achingin shoulders這兩個實體共同重復了aching in,為overlapped NER

d4b71bb6-965e-11ec-952b-dac502259ad0.png

最近的研究都在考慮如何通過一個大一統模型一次性解決這三種問題。目前的最佳的方法基本都是基于span-based和seq2seq的,然而span-based方法主要傾向于通過枚舉所有span組合來解決邊界問題,時間復雜度上是個問題;而后者大家都知道,存在錯誤傳播。 所以,本文提出了一種新穎的方式和框架來解決所有的NER問題:通過預測word-word之間的關系(這里稱之為W2NER)。其中word與word之間的關系主要有三種:

NNW: Next-Neighboring-Word,預測與后面詞的關系

THW-*: Tail-Head-Word-* ,預測與前面詞的關系,其中*表示具體關系(ORG、PER等)

NONE:表示沒有關系

其中,本文采用一個多粒度2D圖來表示word之間的關系,如下圖,其中為了解決圖的稀疏性,而將這兩種關系放到一個圖里,一個在右上角,一個在左下角。

d4c5f730-965e-11ec-952b-dac502259ad0.png

最終在14個公開數據集(包含中文和英文)上做了大量實驗,并都取得了最佳值,也成為了最新的SoTA。

模型

d4db75e2-965e-11ec-952b-dac502259ad0.png

一下子看,感覺模型想是一堆模塊堆積而成,其實細讀論文會發現這些模型都是由NER的前人經驗而來,有理有據。 具體來看,大概分為三個模塊: Encoder Layer通過BERT獲取表示信息,然后通過LSTM獲取上下文信息。 Convolution Layer這里有一個CLN(Conditional Layer Normalization)層,主要用來獲得word j在word i前提下的表示:

d4f25596-965e-11ec-952b-dac502259ad0.png

d507a27a-965e-11ec-952b-dac502259ad0.pngd51d7226-965e-11ec-952b-dac502259ad0.png

d531eaee-965e-11ec-952b-dac502259ad0.png

然后是BERT-Style Grid Representation層,這里主要是模型BERT的3個embedding層而來,這里的三個表示層為信息表示、關系位置信息表示和位置域表示組成,通過MLP融合到一起。 然后通過多粒度的空洞卷積(Multi-Granularity Dilated Convolution)采樣不同的信息。 Co-Predictor Layer這里用了一個普通的MLP和一個專門用于變長標簽預測的biaffine預測:

d543fc2a-965e-11ec-952b-dac502259ad0.png

d553a832-965e-11ec-952b-dac502259ad0.png ? 最后過一個softmax層: d567e6e4-965e-11ec-952b-dac502259ad0.png ? 最后是一個Decoder層,這里主要就是通過NNW和HTW-*構成一個環的部分就是一個實體,比如下面這個例子就解釋了所有情況: ?

d57ded72-965e-11ec-952b-dac502259ad0.png

損失的話,就簡單了:

d591a092-965e-11ec-952b-dac502259ad0.png

實驗

英文flat數據集:

d5a0b190-965e-11ec-952b-dac502259ad0.png

中文flat數據集:

d5b734ec-965e-11ec-952b-dac502259ad0.png

英文overlapped數據集:

d5ca541e-965e-11ec-952b-dac502259ad0.png

中文overlapped數據集,F1性能:

d5e4260a-965e-11ec-952b-dac502259ad0.png

英文discontinuous數據集:

d5f2ed16-965e-11ec-952b-dac502259ad0.png

和前沿最佳論文作對比:

d60f9934-965e-11ec-952b-dac502259ad0.png

消融實驗,F1性能:

d62d0122-965e-11ec-952b-dac502259ad0.png

訓練速度和推理速度都得到了極大提升:

d643e432-965e-11ec-952b-dac502259ad0.png

這篇文章還是非常不錯的,是一個簡單有效的NER新框架,可以較為輕松的應用于線下。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • word
    +關注

    關注

    1

    文章

    78

    瀏覽量

    21945
  • 數據集
    +關注

    關注

    4

    文章

    1208

    瀏覽量

    24713

原文標題:一種全新易用的基于Word-Word關系的NER統一模型,刷新了14種數據集并達到新SoTA

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    復制Simulink中的仿真模型word的方法小結

    的是個位圖文件,因而放大縮小時會存在失真。大家都知道調整矢量圖時不存在失真,那么simulink能夠導出仿真模型的矢量圖嗎?答案是肯定的。下面即提供了一種解決方法。1、在File->
    發表于 07-06 06:06

    Microsoft Office Word、Excel 和

    采用 Microsoft Office Word、Excel 和 PowerPoint 2007 新增的文件格式打開、編輯和保存文檔、工作簿和演示文稿。 Microsoft Office XP 和 2003 系統 Word、Excel 或 PowerPoint 程序的用
    發表于 02-12 08:45 ?165次下載

    一種基于Word文檔的數字密寫設計與實現

    提出了一種新的基于 Word 文檔的數字密寫設計與實現方法,介紹了應用程序的實現方案,給出了系統組成方框圖。實驗結果表明,算法很好地實現了文本的嵌入和信息隱藏,且對
    發表于 08-04 09:40 ?20次下載

    《微機原理及應用》課程教程 (word文檔)

     《微機原理及應用》課程教案目    錄 下載WORD文檔前    言 下載WORD文檔第章 51系列單片機概述 下載W
    發表于 09-16 11:17 ?202次下載

    一種快速Word編程接口的設計與實現

    本文在分析MS Word文檔存儲格式的基礎上,研究了讀取Word文檔二進制數據流并將其恢復成可讀信息的方法,設計實現了一種快速Word編程接口,大大地提高了文檔處理速度和系統性能
    發表于 02-21 15:58 ?23次下載

    Office Word、Excel和PowerPoint 文

    打開、編輯和保存采用從 Office 2007 開始引入到 Microsoft Office Word、Excel 和 PowerPoint 中的 Open XML 文件格式的文檔、工作簿和演示文稿。Microsoft Office XP 和 2003 系統 Word、E
    發表于 07-06 00:14 ?238次下載
    Office <b class='flag-5'>Word</b>、Excel和PowerPoint 文

    一種快速Word編程接口的設計與實現

    本文在分析MS Word文檔存儲格式的基礎上,研究了讀取Word文檔二進制數據流并將其恢復成可讀信息的方法,設計實現了一種快速Word編程接口,大大地提高了文檔處理速度和系統性能
    發表于 07-22 17:39 ?16次下載

    word如何去刪除水印

    word如何去刪除水印:利用WPS文字工具打開這份Word文檔,然后在菜單中依次選擇“視圖-頁眉頁腳”命令;接著把鼠標移動到水印上,當出現十字星時,單擊下鼠
    發表于 01-26 12:40 ?6155次閱讀

    word/word2003上次啟動失敗,以安全模式啟動的解決

    word/word2003上次啟動失敗,以安全模式啟動的解決方法 這個問題其實很好解決:問題在于壞的word文件導致word的模版出錯了。 電子發燒友
    發表于 08-03 22:21 ?4133次閱讀
    <b class='flag-5'>word</b>/<b class='flag-5'>word</b>2003上次啟動失敗,以安全模式啟動的解決

    Word人工雙面打印

    Word人工雙面打印 單位的打印機只能打印單面,所以要通過軟件的方法實現雙面打印功能。 第一種方法分兩
    發表于 12-29 10:28 ?2188次閱讀

    如何用Word調用Protel For DOS繪制的圖形

    如何用Word調用Protel For DOS繪制的圖形 撰寫科技文章時,常常需要插入些電路原理圖,如果這些原理圖用Word自帶的畫圖工具繪制
    發表于 03-09 13:40 ?1415次閱讀

    VC上機指導WORD文檔

    VC上機指導WORD文檔
    發表于 03-04 17:48 ?2次下載

    些常見的Word應用試卷輸入方法

    如果要問Word中什么文件編輯難度最高,恐怕非學生試卷莫數了。
    的頭像 發表于 12-08 09:23 ?3716次閱讀
    <b class='flag-5'>一</b>些常見的<b class='flag-5'>Word</b>應用試卷輸入方法

    LV版本的PDF轉Word

    LV版本的PDF轉Word,親測有效好用。
    發表于 05-16 15:56 ?0次下載

    如何使用Python讀取寫入Word文件

    01 準備 Python 是一種通用編程語言,也可以用于處理 Microsoft Word 文件。在本文中,我將向你介紹如何使用 Python 和 python-docx 庫讀取、寫入和操作
    的頭像 發表于 09-27 17:03 ?2084次閱讀
    主站蜘蛛池模板: 天天摸天天舔天天操| 5g影院欧美成人免费| bt天堂在线最新版www| 国产成人精品日本亚洲语言| 丁香婷五月| 在线www 天堂网在线| 亚洲精品精品一区| 日韩成人在线影院| 国产乱子伦一区二区三区| 日韩高清在线日韩大片观看网址| 欧美另类激情| 欧美一区二区视频三区| 正在播放淫亚洲| 色综合天天综久久久噜噜噜久久〔 | 国产精品高清一区二区三区| se在线播放| 色一情一乱一乱91av| www.在线视频| 亚洲不卡视频| 午夜乩伦| 美女黄页在线观看| 综合网激情五月| 狠狠干狠狠操| 22sihu国产精品视频影视资讯| 精品一区二区国语对白| 午夜色福利| 久久99精品久久久久久牛牛影视| www.色爱| 国内自拍2021| 日本欧美一区二区三区免费不卡| 亚洲色图欧美激情| 欧美性色欧美a在线观看| 国产va在线| 九九精品国产兔费观看久久| 中文字幕123| 亚州1区2区3区4区产品乱码2021| 日本成人小视频| 99一级毛片| 手机精品在线| 九色精品在线| 人人艹人人插|