資料介紹
在基于實例的機器翻譯中,句子相似度計算是實例匹配的有效機制。該文對基于相同詞的句子相似模型作進一步的改進,包括關鍵詞抽取,以及在句子相似度的定義中引入同義詞的情形。實驗結果表明,改進方法比原方法具有較高的準確率。
關 鍵 詞 自然語言處理; 基于實例的機器翻譯; 句子相似度; 基于詞
基于實例的機器翻譯(Example Based Machine Translation,EBMT)是以雙語對齊的實例庫為主要知識源,輸入一個待翻譯的源語言句子,從實例庫中查找與輸入句最相似的例句,再模仿例句的譯文來實現輸入句的翻譯。在EBMT中,實例匹配是關鍵,直接關系到系統本身的翻譯質量。實現實例匹配的有效機制是進行句子相似度計算[1-2],目前主要有基于詞[3-5]和基于句法語義分析[6-7]的兩類方法。兩類方法各有優缺點,基于詞的方法簡單、流行,但由于僅利用句子的表層信息,即組成句子的有關詞匯的詞法和語義信息,因此,在判斷句子整體結構相似方面有欠缺;基于句法語義分析的方法折衷考慮句子的組成詞匯語義信息與整體框架結構信息,但在折衷考慮的層次上較難把握。本文研究基于詞的句子相似度計算問題,并在文獻[5]的基礎上提出了一種改進的方法。
1 基于詞的句子相似度計算
基于詞的方法是目前最簡單、最流行的方法,依據詞的形態變化、同義詞、反義詞以及更進一步的語義距離來判斷孤立詞之間的相似度,再通過這種詞間相似度的不同組合來確定句子間的相似度。文獻[3]利用同義詞表計算兩句詞之間的語義距離,進而計算兩句之間的相似度。文獻[4]通過正反雙向比較兩句相同詞的個數及其位置關系,得到一個轉換表達式和子塊庫,再通過系統預定義的翻譯模式和限制條件實現兩句相似度的計算。文獻[5]通過比較兩句相同詞的個數及其位置關系,得到兩句的詞形相似度和詞序相似度,再通過詞形相似度和詞序相似度計算兩句的相似度。
文獻[4-5]采用的方法實質上是相同的,均通過比較相同詞的個數及其位置關系來計算兩句的相似度。但在相似度的定義中,僅考慮了形態上相同的詞,而沒有考慮同義詞的情形。例如,對兩個簡單的句子“我/ 是/ 老師/ 。/”與“他/ 為/ 學生/。/”,按照文獻[5]中的方法計算則相似度很低(只有0.1),實際上這兩句是比較相似的。究其原因,主要是沒有考慮兩句中的同義詞“是”和“為”。另外,也沒有考慮任何句法結構信息。因此,在算法實現上雖然較為簡單,但準確率卻不高?;谠~的方法依據句子的表層信息,通過對這些表層信息的加工也可以獲得一些有用的句法結構信息,如抽取一些能夠近似表達部分句法結構信息的關鍵性的詞(以下簡稱關鍵詞)。在此基礎上進行句子相似度計算,就會具有較高的準確率。本文針對以上兩點作了進一步的改進。
2 一種改進的方法
本文對文獻[5]中的句子相似模型作了進一步改進,包括關鍵詞抽取,以及在句子相似度的定義中考慮同義詞的情形。令inp為待翻譯的輸入句,exa為對應的m個例句中的一個,先分別抽取inp和exa中所有的名詞、代詞、動詞或形容詞,并組成相應的關鍵詞序列,再求出inp和exa中關鍵詞序列的相似度,最后選取大于規定閾值的最大相似度例句作為輸入句的最相似例句。
2.1 關鍵詞抽取
由語言學知識可知,任何句子都是由關鍵成分(主、謂、賓等)和修飾成分(定、狀、補等)構成的。關鍵成分對句子起主要作用,修飾成分對句子起次要作用。進行句子相似度計算時,只要考慮句中的關鍵成分?;谠~的方法不考慮句法結構分析,因此,不能確定句子的內部成分,包括關鍵成分和修飾成分。在通常情況下,一個句子中作主語和賓語的多為名詞或代詞,作謂語的多為動詞或形容詞。因此,可以將一個句子中的所有名詞、代詞、動詞和形容詞作為關鍵詞,并在計算句子相似度時只考慮這些關鍵詞。例如,句子“我/ 當然/ 愿意/ 了解/ 她們/ 的/ 要求/ 。/”的關鍵詞序列為 “我/ 愿意/ 了解/ 她們/ 要求/ 。/”。對于特定句中的某個名詞、代詞、動詞或形容詞,不一定就是該句中的主語、賓語或謂語成分,但相對于句中所有的詞構成的詞序列而言,關鍵詞序列卻具有一定的句法結構信息表達能力,至少可以了解句子中的哪些詞在組成句子框架結構方面是比較重要的。在此基礎上進行相似度計算,比一般基于詞的方法準確一些。
- 基于概率分布函數的流程工廠模型拓撲相似度計算 5次下載
- 基于卷積神經網絡的相似度計算模型 19次下載
- 基于時空分析的交通路口相似度計算方法 5次下載
- 一種結合相對信息熵的改進LEACH協議 13次下載
- 一種車輛霧計算停車輔助系統模型 10次下載
- 針對協同過濾推薦算法的相似度計算方法 6次下載
- 一種用于釋義識別的句子相似度算法 8次下載
- 基于圖集成模型的自動摘要生產方法 10次下載
- 一種改進的聚類聯合相似度推薦算法 10次下載
- 如何使用區域相似度實現局部擬合活動輪廓模型 2次下載
- 一種改進的時序效應的推薦模型 0次下載
- 基于分層組合模式的句子組合模型 0次下載
- 一中余弦相似度的改進方法 0次下載
- 一種基于本體的概念相似度計算及其應用_冉婕 0次下載
- 協同推薦系統檢測模型的一種優化方法
- 基于一種移動端高性能 Stable Diffusion 模型 674次閱讀
- 一種新型的雙流注意力增強型BERT來提高捕捉句子對中細微差異的能力 1372次閱讀
- FLAT的一種改進方案 1544次閱讀
- 一種采用微控制器的自動模型鐵路布局項目 1362次閱讀
- 如何實現三維模型對比?比較3d模型相似度軟件浩辰3D軟件入門教程 9856次閱讀
- 腦機接口最新研究能將神經信號直接映射為句子 2977次閱讀
- 人工智能是一種改進數據控制和處理的方法 3034次閱讀
- 復合模型擴展:一種更好的擴展CNN的方法 3695次閱讀
- 【新專利介紹】一種改進電表 1238次閱讀
- 一種可以超越傳統方法捕捉微小的面部表情,并更好的測量人類情緒的機器學習模型 3723次閱讀
- 計算文本相似度幾種最常用的方法,并比較它們之間的性能 5.3w次閱讀
- 一種分數階Bingham磁流變阻尼器力學模型 4344次閱讀
- 深度學習模型介紹,Attention機制和其它改進 1.8w次閱讀
- 一種基于Diakoptics的計算微波電路的設計和實現 1175次閱讀
- 云計算的三種服務模式和四種部署模型 3047次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費下載
- 0.00 MB | 1490次下載 | 免費
- 2單片機典型實例介紹
- 18.19 MB | 93次下載 | 1 積分
- 3S7-200PLC編程實例詳細資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關電源原理及各功能電路詳解
- 0.38 MB | 11次下載 | 免費
- 6100W短波放大電路圖
- 0.05 MB | 4次下載 | 3 積分
- 7基于AT89C2051/4051單片機編程器的實驗
- 0.11 MB | 4次下載 | 免費
- 8基于單片機的紅外風扇遙控
- 0.23 MB | 3次下載 | 免費
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費
- 4LabView 8.0 專業版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費
- 5555集成電路應用800例(新編版)
- 0.00 MB | 33562次下載 | 免費
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費
- 8開關電源設計實例指南
- 未知 | 21539次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費
- 2protel99se軟件下載(可英文版轉中文版)
- 78.1 MB | 537791次下載 | 免費
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費
- 6電路仿真軟件multisim 10.0免費下載
- 340992 | 191183次下載 | 免費
- 7十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183277次下載 | 免費
- 8proe5.0野火版下載(中文版免費下載)
- 未知 | 138039次下載 | 免費
評論
查看更多