自動語音識別（ASR）或語音轉文本，是流程和軟件的組合，能夠解碼人類語音并將其轉換為數字化文本。

1?

什么是自動語音識別（ASR）？

自動語音識別（ASR）會收錄人類語音，然后將其轉換為可讀文本。ASR 能夠幫助我們免手動操作地編輯文本消息，并提供用于機器理解的框架。人類語言愈加可搜索和可操作，這使開發者能夠獲取情感分析等高級分析。ASR 是對話式 AI 應用程序流水線的第一階段，使用自然語言與機器進行交流。

典型的對話式 AI 應用程序使用三個子系統來處理和轉錄音頻，即理解提出的問題（獲取含義）、生成回復（文本），然后將回復反饋給人類。通過多個深度學習解決方案協同工作來實現這些步驟。

首先，ASR 用于處理原始音頻信號，并從中轉錄文本。其次，自然語言處理（NLP）用于從轉錄文本（ASR 輸出）中提取含義。最后，語音合成或文字轉語音（TTS）用于從文本中人工生成人類語音。各步驟均需構建和使用一個或多個深度學習模型，因此優化此多步驟流程非常復雜。

2?

為何選擇 ASR？

無論是語音助手和聊天機器人，還是支持客戶自助服務的問答系統，語音識別和對話式 AI 的應用頻率與日俱增。涵蓋金融和醫療健康等眾多領域的各行各業，在其解決方案中采用 ASR 或對話式 AI。語音轉文本的實際應用非常廣泛：

外科醫生或飛機駕駛員等“忙碌的”專業人士可以在工作期間進行記錄并發出命令。

如果不能使用鍵盤，或者在開車時遇到危險，用戶可以發出語音需求或口述消息。

聲控電話應答系統可以處理復雜的請求，而無需用戶導航菜單。

無法使用其他輸入方式的殘障人士可以使用語音，與計算機和其他自動化系統進行交互。

自動轉錄的速度比人工轉錄的速度更快，并且成本更低。

在大多數情況下，語音識別速度比打字速度更快。普通人每分鐘大概可以說 150 個單字，但只能打 40 個字左右。使用密小難辨的智能手機鍵盤打字，性能甚至會更慢。

現在，語音轉文本在智能手機和臺式電腦中的應用隨處可見。特殊用途還可用于醫學、法律和教育學科。隨著其廣泛應用成為主流，并且在家庭、汽車和辦公室設備中廣泛部署，學術界和業界已加大對此領域的研究力度。

3?

ASR 的工作原理

ASR 是自然語言中一項頗具挑戰性的任務，它由語音分割、聲學建模和語言建模等一系列子任務組成，根據噪聲和未分割的輸入數據形成預測（標簽序列）。深度學習在識別音素（用于創建語音的基本聲音）時具有更高的準確性，因此已取代隱馬爾可夫模型和高斯混合模型等傳統的 ASR 統計方法。深度學習 Connectionist Temporal Classification（CTC）的引入消除了對預分割數據的需求，其允許直接對網絡進行端到端訓練，從而完成 ASR 等序列標記任務。

典型的 ASR CTC 流程包括以下步驟：

特征提取：第一步是從輸入音頻中提取有用的音頻特征，并且忽略噪聲以及其他不相關信息。梅爾頻率倒譜系數（MFCC）技術能夠在頻譜圖或梅爾頻譜圖中捕捉音頻頻譜特征。

聲學模型：將頻譜圖傳遞給基于深度學習的聲學模型，以便預測每個時間步的字符概率。在訓練期間，聲學模型使用包含數百小時的音頻以及目標語言轉錄的數據集（LibriSpeech ASR Corpus、《華爾街日報》、TED-LIUM Corpus 和 Google Audio set）進行訓練。聲學模型根據單詞的發音方式進行輸出，因此可能包含重復字符。

解碼：解碼器和語言模型根據上下文將字符轉換為單詞序列。這些單詞可以進一步緩沖為短語和句子，并進行適當分段，然后再發送至下一階段。

Greedy（argmax）：是解碼器的簡單策略。在每個時間步選擇出現概率最高的字母（時序 Softmax 輸出層），無需考慮對交流內容的任何語義理解。然后，移除或折疊重復字符，并丟棄空白標記。

語言模型可用于添加上下文，從而糾正聲學模型中的錯誤。定向搜索解碼器將 Softmax 輸出的相對概率與特定單詞在上下文中出現的概率進行加權，并嘗試將聲學模型聽到的內容與可能出現的下一個單詞相結合，從而確定說話內容。

4?

使用深度學習和 GPU 加速 ASR?

Connectionist Temporal Classification（CTC）等創新技術將 ASR 直接融入于深度學習領域。用于 ASR 的熱門深度學習模型包括 Wav2letter、Deepspeech、LAS 以及近期 NVIDIA 研究發布的 Jasper，這是一款使用深度學習來開發語音應用程序的熱門工具包。Kaldi 是 C++ 工具包，除了深度學習模塊之外，還支持傳統方法。

一個由數百個核心組成的 GPU，可以并行處理數千個線程。由于神經網絡由大量相同的神經元構建而成，因此本質上具有高度并行性。這種并行性會自然映射到 GPU，因此相比僅依賴 CPU 的訓練，計算速度會大幅提高。例如，GPU 加速的 Kaldi 解決方案的執行速度比實時音頻快 3,500 倍，比只用 CPU 的解決方案快 10 倍。這種性能使得 GPU 成為訓練深度學習模型和執行推理的首選平臺。

5?

行業應用

醫療健康

醫療健康面臨的困難之一是難以獲得。撥打醫生辦公室電話電話需要一直等待的情況十分常見，與索賠代表盡快聯系同樣困難。使用對話式 AI 來訓練聊天機器人是醫療健康領域的一項新興技術，旨在解決醫療健康專業人士的短缺問題，并開創與患者的溝通渠道。

金融服務

對話式 AI 正在為金融服務公司構建更出色的聊天機器人和 AI 助手。

零售

聊天機器人技術也常用于零售應用程序，能夠準確分析客戶查詢，并生成回復或建議。這可簡化客戶流程，并提高商店運營效率。

6?

NVIDIA GPU 加速的對話式 AI 工具

借助對話式 AI 部署服務似乎比較困難，但 NVIDIA 現已具備能夠簡化這一流程的工具，包括神經模塊（簡稱 NeMo）和一項名為 NVIDIA Riva 的新技術。為節省時間，NGC 軟件中心還提供預訓練 ASR 模型、訓練腳本和性能結果。

NVIDIA NeMo 是一款基于 PyTorch 創建的工具包，能夠開發用于對話式 AI 的 AI 應用程序。在模塊化深度神經網絡的開發過程中，NeMo 可通過連接模組、混合和匹配組件來實現快速實驗。NeMo 模塊通常表示數據層、編碼器、解碼器、語言模型、損失函數或組合激活函數的方法。NeMo 針對 ASR、NLP 和 TTS 使用可重復使用的組件，使得構建復雜神經網絡架構和系統變得容易。

此外，借助 NVIDIA GPU Cloud（NGC），您可以獲得用于對話式 AI 的 NeMo 資源，例如預訓練模型、用于訓練或評估的腳本，以及 NeMo 端到端應用程序，允許開發者試驗不同算法并使用各自數據集執行遷移學習。

為促進整個 ASR 流程的實施和領域適應性，NVIDIA 創建了特定于域的 NeMo ASR 應用程序。此應用程序由 NeMo 助力開發，支持您使用自己的數據來訓練或微調預訓練（聲音和語言）ASR 模型。您可以借此逐步創建專為您自己的數據而構建的更高性能 ASR 模型。

NVIDIA Riva 是一款應用程序框架，能夠為完成對話式 AI 任務提供多個制流程。

7?

NVIDIA GPU 加速的端到端數據科學

建立在 CUDA 基礎上的 NVIDIA RAPIDS?開源軟件庫套件使您能夠完全在 GPU 上執行端到端數據科學和分析流程，同時仍然使用 Pandas 和 Scikit-Learn API 等熟悉的界面。

8?

NVIDIA GPU 加速的深度學習框架

GPU 加速深度學習框架能夠為設計和訓練自定義深度神經網絡帶來靈活性，并為 Python 和 C/C++ 等常用編程語言提供編程接口。MXNet、PyTorch、TensorFlow 等廣泛使用的深度學習框架依賴于 NVIDIA GPU 加速庫，能夠提供高性能的多 GPU 加速訓練。

審核編輯：黃飛