前言

借助移動互聯網技術、機器學習領域深度學習技術的發展，以及大數據語料的積累，自然語言處理技術發生了突飛猛進的變化。越來越多的科技巨頭開始看到了這塊潛在的“大蛋糕”中蘊藏的價值，通過招兵買馬、合作、并購的方式、拓展自己在自然語言處理研究領域的業務范圍，進一步提升自然語言處理在整個公司中的主導地位。與此同時，也不斷有新興的科技公司涌現，提出自己的在智能交互、語音識別、機器翻譯等方面的解決方案，試圖在自然語言處理這片廣闊的藍海上劃分自己的領土、樹立自己的標桿。

人工智能已經是大部分普通人都耳熟能詳的詞匯，而人們對自然語言處理技術的了解程度卻大部分還停留在表面階段。本文通過回顧自然語言處理的發展歷史，解讀2015年整個自然語言處理行業的重大變化，進而提出新的時代下自然語言處理技術的發展瓶頸、以及對于自然語言處理所提出的挑戰、自然語言處理未來的發展方向。

一、追本溯源——自然語言處理技術發展歷程

自人工智能在1956年達特茅斯會議上首次提出，讓機器完成更多的智力工作成為科學家努力的方向。其中一個重要的目標就是希望機器能夠與人類進行更加自然高效的交流，希望機器讀懂人類深奧的語言，同時以一種我們習慣的方式進行交互，而解決這個問題的關鍵技術就是自然語言處理。

尤其是近20年來，隨著互聯網的發展引發了對這一技術的強勁需求，這一技術在得到長足發展的同時，也在有力地促進互聯網核心能力的增強。比如，目前互聯網提供的一個基礎性能力是信息檢索。人們在搜索引擎中輸入關鍵詞，就可以獲得相關信息。在20年前，互聯網剛開始發展的初期，給搜索引擎輸入“和服”，返回的結果中很可能包含不少生產、銷售“鞋子和服裝”的公司的信息。現在這種錯誤已經比較少了，而促進其質量不斷提升的一個核心就是采用了不斷改進的自然語言理解技術。“互聯網”自然語言理解已經成為互聯網發展的一個共識，并在不斷深化。

最近幾年，眾多科技巨頭正在這方面進行布局。2013年谷歌以超過3000萬美元收購了新聞閱讀應用開發商Wavii。Wavii擅長自然語言處理技術，可以通過掃描互聯網發現新聞，并給出一句話摘要；微軟將自然語言處理技術應用在了智能助手小冰、Cortana上，取得了不錯的效果，通過機器翻譯使Skype具備了實時翻譯功能；自然語言處理技術是Facebook智能助手M背后的核心技術之一，其產品負責人稱“我們對M做的事情可以讓我們更好地理解自然語言處理。”國內的科大訊飛在去年年底發布了自然語言處理云平臺，很早推出語音合成產品，在中文領域的自然語言處理和語音合成方面有著深厚積累。可見，早在前幾年，眾多科技巨頭和國內IT廠商就已對自然語言處理這篇潛在的廣闊市場覬覦已久，紛紛開始摩拳擦掌，準備將自然語言處理技術向公司的核心業務方向進行轉移，針對業務線轉型、新產品提出來醞釀更大的動作。

?

二、自然語言處理技術發展歷程——持續探索 穩中前行

2015年是自然語言處理技術進一步發展的一年。由于自然語言處理的主流技術主要是以統計機器學習為基礎的，因此這些技術的性能就依賴兩個因素：一是針對不同任務的統計模型和優化算法，二是相應的大規模語料庫。2015年得益于深度學習算法的快速進展和大規模社交文本數據以及語料數據的不斷積累，自然語言處理技術有了飛躍式的發展。在這一年，各大廠商致力于解決語音識別、語義理解、智能交互、搜索優化等領域更加復雜、困難的問題，持續不斷地對原有產品的算法、模型進行優化與革新。

在新產品方面，2015年帶給了我們太多的驚喜。高考期間，百度推出了小度機器人，無獨有偶，十月底，Rokid團隊推出的Rokid機器人也與公眾見面。這些實體機器人不僅能用擬人的思維識別語義，嘗試與用戶建立起更深層、連續的溝通，還能模仿人的“思考”，先從海量互聯網內容中提取信息，然后按人的思維邏輯對信息進行推理分析和篩選，再得到答案。不僅如此，優秀的實體機器人還能與智能家居設備深度融合，并接入音樂、新聞等內容，還能給予攝像頭進行手勢喚醒與遠場識別。

2015年，遠場語音識別技術突破了5米的瓶頸，大幅度改進了語音交互的自由度，再次刷新業界期待。利用麥克風陣列、回聲消除等技術將目標說話人的聲音增強，并抑制/消除噪聲和回聲，由此進行語音前端處理；在語音識別引擎，則針對麥克風陣列處理后的數據進行收集、訓練，以使遠場效果最優化。目前國內集成全新的4麥克風陣列方案，利用麥克風陣列的空域濾波特性——在目標說話人方向形成拾音波束（BeamForming），抑制波束之外的噪聲；結合獨特的去混響算法，最大程度的吸收反射聲，達到去除混響的目的。其中，漢語語音識別技術也取得了重大突破：識別相對錯誤率比現有技術降低15%以上，使漢語安靜環境普通話語音識別的識別率接近97%。通過基于多層單向LSTM的漢語聲韻母整體建模技術，成功地把連接時序分類（CTC）訓練技術嵌入到傳統的語音識別建模框架中，再結合語音識別領域的決策樹聚類、跨詞解碼和區分度訓練等技術，大幅度提升線上語音識別產品性能，是一次框架式的創新。2015年，“字根嵌入”的提出，將“字根作為中文語言處置懲罰的最小單位進行研究”，機器在處置懲罰中文分詞、短文本分類及網頁排序方面的效果大幅提升，可以有效促進機器對用戶中文表意進行深度學習，讓搜索引擎更加智慧、更“懂“用戶。隨著大數據技術和深度學習算法的不斷發展，2015年，基于數據驅動的自然語言對話系統也為我們打開了新的思路：通過提出Deep Match CNN和Deep Match Tree兩種匹配模型以及Neural Responding Machine（NRM）對話生成模型，并深入挖掘大規模對話數據，很容易地構建一個自動生成對話系統，其準確率相比傳統的機器翻譯模型由26%提高到76%，而且對話十分自然流暢。

2015年，許多廠商也紛紛開源了自己用于自然語言處理、機器學習的工具包和技術專利。Facebook人工智能研究院（FAIR）宣布開源了一組深度學習工具，這些工具主要是針對Torch機器學習框架的插件，包括iTorch、fbcunn、fbnn、fbcuda和fblualib。這些插件能夠在很大程度上提升深度學習的速度，并可用于計算機視覺和自然語言處理等場景。Torch已被Google、Twitter、Intel、AMD、NVIDIA等公司采用。Google、Microsoft和IBM分別發布并開源了自己的機器學習工具包TensorFlow、DMTK和SystemML。Google已將TensorFlow用于GMail（SmartReply）、搜索（RankBrain）、圖片（生成圖像分類模型--Inception Image Classification Model）、翻譯器（字符識別）等產品。DMTK其功能特點以及定位更傾向于自然語言處理方面，例如文本分類與聚類、話題識別以及情感分析等。SystemML則是IBM研發了超過十年的機器學習技術，沃森（Watson）在幾年前的大型活動里就整合了很多SystemML的機器學習功能。語音識別知名廠商SoundHound.inc年底也開放了自己的“Houndify”平臺，通過與各大傳統行業廠商深入合作，集成各個方面的行業數據：如與Expedia.com合作，集成酒店、航班方面的語料數據；與Xignite合作，集成金融市場語料數據，意在通過語音“識別一切”，構建更廣闊的識別平臺。?