一、什么是自然語言處理

自然語言處理（Natural Language Processing，簡稱NLP）就是用計算機來處理、理解以及運用人類語言(如中文、英文等)，它屬于人工智能的一個分支，是計算機科學(xué)與語言學(xué)的交叉學(xué)科。由于自然語言是人類區(qū)別于其他動物的根本標志，沒有語言，人類的思維也就無從談起，所以NLP體現(xiàn)了人工智能的最高任務(wù)與境界。也就是說，只有當計算機具備了處理自然語言的能力時，機器才算實現(xiàn)了真正的智能。

從技術(shù)角度看，NLP包括序列標注、分類任務(wù)、句子關(guān)系判斷和生成式任務(wù)等。從應(yīng)用角度看，NLP具有廣泛的應(yīng)用場景，例如：機器翻譯、信息檢索、信息抽取與過濾、文本分類與聚類、輿情分析和觀點挖掘等等。它涉及與語言處理相關(guān)的數(shù)據(jù)挖掘、機器學(xué)習(xí)、知識獲取、知識工程、人工智能研究和與語言計算相關(guān)的語言學(xué)研究等。

NLP的興起與機器翻譯這一具體任務(wù)有著密切聯(lián)系?！叭斯ぶ悄堋北蛔鳛橐粋€研究問題正式提出來的時候，創(chuàng)始人把計算機國際象棋和機器翻譯作為兩個標志性的任務(wù)，認為只要國際象棋系統(tǒng)能夠打敗人類世界冠軍，機器翻譯系統(tǒng)達到人類翻譯水平，就可以宣告人工智能的勝利。四十年后的1997年，IBM公司的深藍超級計算機已經(jīng)能夠打敗國際象棋世界冠軍卡斯帕羅夫。而機器翻譯到現(xiàn)在仍無法與人類翻譯水平相比，由此可見NLP有多么的復(fù)雜和困難！

二、自然語言處理的發(fā)展趨勢

目前，人們主要通過兩種思路來進行自然語言處理，一種是基于規(guī)則的理性主義，另外一種是基于統(tǒng)計的經(jīng)驗主義。理性主義方法認為，人類語言主要是由語言規(guī)則來產(chǎn)生和描述的，因此只要能夠用適當?shù)男问綄⑷祟愓Z言規(guī)則表示出來，就能夠理解人類語言，并實現(xiàn)語言之間的翻譯等各種NLP任務(wù)。而經(jīng)驗主義方法則認為，從語言數(shù)據(jù)中獲取語言統(tǒng)計知識，有效建立語言的統(tǒng)計模型。因此只要能夠有足夠多的用于統(tǒng)計的語言數(shù)據(jù)，就能夠理解人類語言。然而，當面對現(xiàn)實世界充滿模糊與不確定性時，這兩種方法都面臨著各自無法解決的問題。例如，人類語言雖然有一定的規(guī)則，但是在真實使用中往往伴隨大量的噪音和不規(guī)范性。理性主義方法的一大弱點就是魯棒性差，只要與規(guī)則稍有偏離便無法處理。而對于經(jīng)驗主義方法而言，又不能無限地獲取語言數(shù)據(jù)進行統(tǒng)計學(xué)習(xí)，因此也不能夠完美地理解人類語言。二十世紀八十年代以來的趨勢就是，基于語言規(guī)則的理性主義方法不斷受到質(zhì)疑，大規(guī)模語言數(shù)據(jù)處理成為目前和未來一段時期內(nèi)NLP的主要研究目標。統(tǒng)計學(xué)習(xí)方法越來越受到重視，自然語言處理中越來越多地使用機器自動學(xué)習(xí)的方法來獲取語言知識。

隨著2013年word2vec技術(shù)的發(fā)表，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)技術(shù)開始在NLP中廣泛使用，深度學(xué)習(xí)的分布式語義表示和多層網(wǎng)絡(luò)架構(gòu)具有強大的擬合和學(xué)習(xí)能力，顯著提升了NLP各種任務(wù)的性能，成為現(xiàn)階段NLP的主要技術(shù)方案。

深度學(xué)習(xí)是純數(shù)據(jù)驅(qū)動技術(shù)方案，需要從大規(guī)模標注數(shù)據(jù)中學(xué)習(xí)特定任務(wù)相關(guān)的復(fù)雜模式。一方面，有些學(xué)者開始探索面向大規(guī)模無標注文本數(shù)據(jù)的深度學(xué)習(xí)模型，如ELMo，GPT、BERT等，可以看做從大規(guī)模數(shù)據(jù)中學(xué)習(xí)知識的極致探索；另一方面，現(xiàn)有深度學(xué)習(xí)技術(shù)尚未考慮人類積累的豐富知識（包括語言知識、世界知識、常識知識、認知知識、行業(yè)知識等），如果將深度學(xué)習(xí)看做經(jīng)驗主義方法，將符號知識看做理性主義方法，那么如何充分發(fā)揮基于規(guī)則的理性主義方法和基于統(tǒng)計的經(jīng)驗主義方法的優(yōu)勢，兩者互相補充，更好、更快地進行自然語言處理，仍然是我們需要探索的重要課題。

三、自然語言處理在BI的應(yīng)用

2018年，Gartner 在其發(fā)布的魔力象限報告中，明確指出增強型分析功能是 BI 產(chǎn)品發(fā)展的最重要、也是最顯著的發(fā)展趨勢之一，其原因并不難理解：“當前企業(yè)使用的數(shù)據(jù)的規(guī)模和復(fù)雜度已經(jīng)逐漸超過人類可以處理的程度，靜態(tài)報表、儀表板等傳統(tǒng)工具已經(jīng)不能滿足需求，而通過機器學(xué)習(xí)、人工智能等技術(shù)增強分析，可以更好地處理這些數(shù)據(jù)。而如果利用自然語言處理、人工智能等技術(shù)的增強分析就可以自動、快速地對數(shù)據(jù)進行分析，輔助分析人員得到需要的數(shù)據(jù)洞察?！?/p>

作為連續(xù)多年入選“Gartner增強分析代表廠商”和“Gartner中國人工智能創(chuàng)業(yè)公司代表廠商（2020）”的Smartbi正是看到了這些趨勢，在2018年便開始自主研發(fā)增強分析工具Smartbi NLA，期望通過引入自然語言處理、知識圖譜、推薦算法和機器問答等人工智能技術(shù)，使得Smartbi NLA可以理解用戶的數(shù)據(jù)分析需求，并幫助其快速完成分析任務(wù)獲得數(shù)據(jù)洞見。

Smartbi NLA的交互式對話實際上是一種特定的語義分析任務(wù)。在學(xué)術(shù)界，類似的任務(wù)最早可以追溯到1970年代提出的自然語言編程（Natural-language programming），是指將自然語言（研究比較多的是英語）翻譯為特定的編程語言。在1980年代，人們又針對關(guān)系性數(shù)據(jù)庫提出了自然語言數(shù)據(jù)庫查詢（Natural Language Database Query），也稱為Text2SQL、NL2SQL等。它將用戶的自然語句轉(zhuǎn)為可以執(zhí)行的SQL語句，從而免除業(yè)務(wù)用戶學(xué)習(xí)SQL語言的煩惱，成功將NLP應(yīng)用于BI領(lǐng)域。

Smartbi正是利用了NL2SQL技術(shù)，將自然語言通過神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為計算機可以識別的數(shù)據(jù)庫查詢語言。用戶通過語音或者鍵盤輸入后，“AI智能小麥”會將輸入的自然語言轉(zhuǎn)為語言元模型的形式，通過小麥內(nèi)置的知識抽取算法，經(jīng)過深度學(xué)習(xí)模型將元模型轉(zhuǎn)化為機器可以理解的數(shù)據(jù)庫語言。最后通過Smartbi預(yù)置的查詢引擎和圖形引擎，快速準確的找到用戶想要的查詢結(jié)果，自動生成圖形輸出，也可以在Smartbi中對查詢結(jié)果進行組合和進一步分析。

圖：NL2SQL模型原理示意圖

Smartbi NLA是時下前沿的數(shù)據(jù)分析工具，簡化為搜索引擎，僅僅只有一個輸入框，頁面直接輸入描述業(yè)務(wù)問題，工具自動把數(shù)據(jù)查詢出來，免去學(xué)習(xí)操作的過程，特別適合在展廳大屏、領(lǐng)導(dǎo)辦公室大屏等場合使用，一經(jīng)推出便廣受客戶歡迎。

1、Smartbi自然語言查詢：臨危受命

2、Smartbi自然語言查詢：游刃有余

3、Smartbi自然語言查詢：堪當大任

4、Smartbi自然語言查詢：如影相隨

審核編輯：符乾江