語音作為最自然便捷的交流方式，一直是人機通信和交互最重要的研究領域之一。自動語音識別（Automatic Speech Recognition，ASR）是實現人機交互尤為關鍵的技術，其所要解決的問題是讓計算機能夠“聽懂”人類的語音，將語音中傳化為文本。自動語音識別技術經過幾十年的發展已經取得了顯著的成效。近年來，越來越多的語音識別智能軟件和應用走人了大家的日常生活，蘋果的Siri、微軟的小娜、科大訊飛的語音輸入法和靈犀等都是其中的典型代表。本文將以科大訊飛的視角介紹語音識別的發展歷程和最新技術進展。

　　我們首先簡要回顧語音識別的發展歷史，然后介紹目前主流的基于深度神經網路的語音識別系統，最后重點介紹科大訊飛語音識別系統的最新進展。

　　1

　　語音識別關鍵突破回顧

　　語音識別的研究起源于上世紀50年代，當時的主要研究者是貝爾實驗室。早期的語音識別系統是簡單的孤立詞識別系統，例如1952年貝爾實驗室實現了十個英文數字識別系統。從上世紀60年代開始，CMU的Reddy開始進行連續語音識別的開創性工作。但是這期間語音識別的技術進展非常緩慢，以至于1969年貝爾實驗室的約翰·皮爾斯（John Pierce）在一封公開信中將語音識別比作“將水轉化為汽油、從海里提取金子、治療癌癥”等幾乎不可能實現的事情。上世紀70年代，計算機性能的大幅度提升，以及模式識別基礎研究的發展，例如碼本生成算法（LBG）和線性預測編碼（LPC）的出現，促進了語音識別的發展。這個時期美國國防部高級研究計劃署（DARPA）介入語音領域，設立了語音理解研究計劃，研究計劃包括BBN、CMU、SRI、IBM等眾多頂尖的研究機構。IBM、貝爾實驗室相繼推出了實時的PC端孤立詞識別系統。上世紀80年代是語音識別快速發展的時期，其中兩個關鍵技術是隱馬爾科夫模型（HMM）的理論和應用趨于完善以及NGram語言模型的應用。此時語音識別開始從孤立詞識別系統向大詞匯量連續語音識別系統發展。例如，李開復研發的SPHINX系統，是基于統計學原理開發的第一個“非特定人連續語音識別系統”。其核心框架就是用隱馬爾科模型對語音的時序進行建模，而用高斯混合模型（GMM）對語音的觀察概率進行建模。基于GMM-HMM的語音識別框架在此后很長一段時間內一直是語音識別系統的主導框架。上世紀90年代是語音識別基本成熟的時期，主要進展是語音識別聲學模型的區分性訓練準則和模型自適應方法的提出。這個時期劍橋語音識別組推出的HTK工具包對于促進語音識別的發展起到了很大的推動作用。此后語音識別發展很緩慢，主流的框架GMM-HMM趨于穩定，但是識別效果離實用化還相差甚遠，語音識別的研究陷入了瓶頸。

　　關鍵突破起始于2006年。這一年辛頓（Hinton）提出深度置信網絡（DBN），促使了深度神經網絡（Deep Neural Network，DNN）研究的復蘇，掀起了深度學習的熱潮。2009年，辛頓以及他的學生默罕默德（D. Mohamed）將深度神經網絡應用于語音的聲學建模，在小詞匯量連續語音識別數據庫TIMIT上獲得成功。2011年，微軟研究院俞棟、鄧力等發表深度神經網絡在語音識別上的應用文章，在大詞匯量連續語音識別任務上獲得突破。從此基于GMM-HMM的語音識別框架被打破，大量研究人員開始轉向基于DNN-HMM的語音識別系統的研究。

　　2

　　基于深度神經網絡的語音識別系統

　　基于深度神經網絡的語音識別系統主要采用如圖1所示的框架。相比傳統的基于GMM-HMM的語音識別系統，其最大的改變是采用深度神經網絡替換GMM模型對語音的觀察概率進行建模。最初主流的深度神經網絡是最簡單的前饋型深度神經網絡（Feedforward Deep Neural Network，FDNN）。DNN相比GMM的優勢在于：1. 使用DNN估計HMM的狀態的后驗概率分布不需要對語音數據分布進行假設；2. DNN的輸入特征可以是多種特征的融合，包括離散或者連續的；3. DNN可以利用相鄰的語音幀所包含的結構信息。

　　圖1 基于深度神經網絡的語音識別系統框架

相關電子資料下載

• 訊飛星火大模型V3.0正式發布，全面對標ChatGPT 299
• 今日看點丨富士康被查 立訊精密、和碩有望迎轉單; 科大訊飛：華為昇騰 910B 661
• 黃仁勛點名華為！科大訊飛：華為昇騰910B可對標英偉達A100 846
• 科大訊飛首次亮相迪拜GITEX Global 2023，探索科技創新未來！ 259
• 華為全聯接大會2023｜科大訊飛與華為共啟雙子星計劃，開創AI大模型高性能網絡 548
• 語音識別系統的基本結構及分類介紹 99
• 科大訊飛獲國際多通道語音分離與識別大賽CHiME-7冠軍 805
• 今日看點丨傳日本更可能實施對光刻/薄膜沉積設備的出口管制；科大訊飛劉慶 460
• 科大訊飛劉慶峰：任正非派三個聯席主席來做專班工作，華為GPU已可對標A100 317
• 科大訊飛、華為強強聯合：攻關算力卡脖子問題 1001