描述

2020 年 6 月更新：DeepSpeech 0.7.* .Screenshots 的更新命令，除了 Raspberry Pi 4 保持不變。直到最近的問(wèn)題是缺乏用于該任務(wù)的簡(jiǎn)單、快速和準(zhǔn)確的引擎。大約一年前，當(dāng)我研究這個(gè)主題時(shí)，當(dāng)你必須在樹(shù)莓派 3 上運(yùn)行 ASR（不僅僅是熱詞檢測(cè)，還有大詞匯量轉(zhuǎn)錄）時(shí)，有幾個(gè)選擇是：

• CMUS獅身人面像
• 卡爾迪
• 碧玉

鏈接：

Python 3 人工智能：離線 STT 和 TTS

適用于樹(shù)莓派的最佳語(yǔ)音識(shí)別軟件

還有其他幾個(gè)。它們都不容易設(shè)置，也不特別適合在資源受限的環(huán)境中運(yùn)行。因此，幾周前，我再次開(kāi)始研究這個(gè)領(lǐng)域，并在一些搜索中偶然發(fā)現(xiàn)了 Mozilla 的 DeepSpeech 引擎。它已經(jīng)存在了一段時(shí)間，但直到最近（2019 年 12 月）他們才發(fā)布了 0.6.0 版本的 ASR 引擎，其中包含 .tflite 模型以及其他重大改進(jìn)。它已將英文模型的大小從 188 MB 減少到 47 MB??。“帶有 TensorFlow Lite 的 DeepSpeech v0.6 在 Raspberry Pi 4 的單核上運(yùn)行速度比實(shí)時(shí)速度更快。”Mozilla 的 Reuben Morais 在新聞公告中聲稱(chēng). 所以我決定親自驗(yàn)證這一說(shuō)法，在不同的硬件上運(yùn)行一些基準(zhǔn)測(cè)試，并制作我自己的帶有熱詞檢測(cè)的音頻轉(zhuǎn)錄應(yīng)用程序。讓我們看看結(jié)果如何。

提示：我沒(méi)有失望。

其實(shí)我和這個(gè)火狐一樣開(kāi)心！

?

。

?

curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/deepspeech-0.7.1-models.tflite
curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/deepspeech-0.7.1-models.pbmm
curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/deepspeech-0.7.1-models.scorer

下載示例音頻文件

curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/audio-0.7.1.tar.gz
tar xvf audio-0.7.1.tar.gz

樹(shù)莓派 4 運(yùn)行：

deepspeech --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

如果成功，您應(yīng)該看到以下輸出

?

不錯(cuò)！1.975 秒的聲音文件為 1.529 秒。它比實(shí)時(shí)更快。

Nvidia Jetson Nano 運(yùn)行：

deepspeech --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

?

嗯..比樹(shù)莓派慢一點(diǎn)。這是意料之中的，因?yàn)?Nvidia Jetson CPU 不如 Raspberry Pi 4 強(qiáng)大。到目前為止，還沒(méi)有用于 arm64 架構(gòu)的預(yù)構(gòu)建二進(jìn)制文件支持 GPU，因此我們無(wú)法利用 Nvidia Jetson Nano 的 GPU 進(jìn)行推理加速。我認(rèn)為這個(gè)任務(wù)不在 DeepSpeech 團(tuán)隊(duì)的路線圖上，所以在不久的將來(lái)我會(huì)在這里自己做一些研究，并嘗試編譯該二進(jìn)制文件，看看使用 GPU 可以實(shí)現(xiàn)哪些速度提升。但幾秒鐘的速度仍然相當(dāng)不錯(cuò)，根據(jù)您的項(xiàng)目，您可能希望選擇在 CPU 上運(yùn)行 DeepSpeech 并讓 GPU 用于其他深度學(xué)習(xí)任務(wù)。

視窗 10/Linux

deepspeech --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

?

?

或者如果使用啟用 GPU 的版本：

deepspeech --model deepspeech-0.7.*-models.pbmm --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

?

如您所見(jiàn)，.tflite 模型在現(xiàn)代 CPU 系統(tǒng)上實(shí)現(xiàn)了亞實(shí)時(shí)，這對(duì)于創(chuàng)建離線 ASR 應(yīng)用程序的人們來(lái)說(shuō)是個(gè)好消息。

以下是對(duì)比結(jié)果表：

?

好吧，我們對(duì)預(yù)先錄制的聲音樣本進(jìn)行了基準(zhǔn)測(cè)試，但我們真的想做一些實(shí)時(shí)轉(zhuǎn)錄。讓我們這樣做吧！

從https://github.com/mozilla/DeepSpeech-examples下載 DeepSpeech 示例

導(dǎo)航到 mic_vad_streaming 并安裝依賴(lài)項(xiàng)

pip3 install -r requirements.txt
sudo apt install portaudio19-dev

將麥克風(fēng)連接到您的系統(tǒng)（我使用的是 Raspberry Pi 4 1 GB）。對(duì)于麥克風(fēng)，盡管您可以使用任何麥克風(fēng)，包括筆記本電腦的內(nèi)置麥克風(fēng)，但聲音的質(zhì)量確實(shí)對(duì)結(jié)果有很大影響。對(duì)于這個(gè)演示，我使用的是 Seeed Studio 的ReSpeaker USB 麥克風(fēng)陣列。它支持 5m 遠(yuǎn)場(chǎng)拾音和 360° 拾音模式，并實(shí)現(xiàn)以下聲學(xué)算法：DOA（到達(dá)方向）、AEC（自動(dòng)回聲消除）、AGC（自動(dòng)增益控制）、NS （噪音抑制）。

?

python3 ../DeepSpeech-examples/mic_vad_streaming/mic_vad_streaming.py --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer

從包含模型的文件夾中執(zhí)行此命令。-v 參數(shù)允許您調(diào)整 VAD（語(yǔ)音活動(dòng)檢測(cè)）的閾值。這是演示的結(jié)果。

好，太棒了！我們可以改進(jìn)嗎？是的。我們真的不希望我們的設(shè)備一直在轉(zhuǎn)錄對(duì)話(huà)。談?wù)撾[私噩夢(mèng)和浪費(fèi)電力。

它/他/她？正在聽(tīng)……或許沒(méi)有。如果它不是開(kāi)源的，你永遠(yuǎn)不會(huì)知道。

?

。