下載英文語(yǔ)言模型，在終端中運(yùn)行以下命令：

wget https://github.com/rhasspy/piper/releases/download/v0.0.2/voice-en-us-ryan-high.tar.gz

提取您下載的語(yǔ)言模型的 tar.gz 文件。您可以使用以下命令進(jìn)行提取：

tar -zxvf voice-en-us-ryan-high.tar.gz

使用以下代碼片段通過(guò) Piper TTS 生成 WAV 音頻文件。將model_path變量替換為您下載的語(yǔ)言模型的路徑，并將text變量替換為您要轉(zhuǎn)換為語(yǔ)音的文本。該代碼將在輸出目錄中生成 904 個(gè)音頻文件，每個(gè)文件都有不同的揚(yáng)聲器。

import subprocess
text = "Your name"
model_path = "./en-us-libritts-high.onnx"
for i in range(0, 904):
    output_file = f'./output/{i}.wav'
    cmd = f'echo "{text}" | ./piper/piper --model {model_path} --output_file                {output_file} --speaker {i}'
    subprocess.run(cmd, shell=True, check=True)

此外，您還可以使用為您準(zhǔn)備的 Google Colab 筆記本。該筆記本包含使用Piper TTS生成音頻文件的所有必要步驟和代碼。

谷歌 Colab 筆記本

?

您可以通過(guò)提供給您的鏈接訪問(wèn)筆記本。

默認(rèn)運(yùn)行時(shí)使用 CPU，但您可以將運(yùn)行時(shí)更改為 GPU。

?

為了在筆記本上使用 GPU，請(qǐng)選擇運(yùn)行時(shí) > 更改運(yùn)行時(shí)類(lèi)型菜單，然后將硬件加速器下拉菜單設(shè)置為 GPU

?

Piper TTS 無(wú)需 GPU 即可運(yùn)行，而AudioLDM文本到音頻生成工具需要 GPU 激活。以下是通過(guò)AudioLDM生成音頻的步驟。

使用 AudioLDM 生成高質(zhì)量的合成音頻數(shù)據(jù)集

要從文本生成音頻文件，下一步涉及使用名為AudioLDM的文本到音頻生成工具。該工具利用潛在擴(kuò)散模型從文本生成高質(zhì)量音頻。要使用 AudioLDM，您需要一臺(tái)配備強(qiáng)大 GPU 的獨(dú)立計(jì)算機(jī)。

要使用文本提示生成音頻文件，您有兩種選擇：您可以在自己的計(jì)算機(jī)上使用 GPU 安裝 audioldm，或者使用我為您準(zhǔn)備的Google Colab 。

首先，您需要通過(guò)運(yùn)行以下命令使用 pip 安裝 PyTorch

pip3 install torch==2.0.0

接下來(lái)，您可以通過(guò)運(yùn)行命令來(lái)安裝 audioldm 包

pip3 install audioldm

安裝必要的包后，您可以使用 GitHub 部分中提供的代碼片段從文本提示生成音頻文件。為此，只需運(yùn)行命令

python3 generate.py

這將啟動(dòng)生成過(guò)程，您應(yīng)該會(huì)看到類(lèi)似于以下內(nèi)容的輸出：

genereated: A hammer is hitting a wooden surface
genereated: A noise of nature
genereated: The sound of waves crashing on the shore
genereated: A thunderstorm in the distance
genereated: Traffic noise on a busy street
genereated: The hum of an air conditioning unit
genereated: Birds chirping in the morning
genereated: The sound of a train passing by

一旦收集了 wav 音頻樣本，就可以將它們輸入神經(jīng)網(wǎng)絡(luò)以啟動(dòng)訓(xùn)練過(guò)程。

就這樣。現(xiàn)在我們可以簡(jiǎn)單地將這些 wav 文件上傳到Edge Impulse Studio以訓(xùn)練我們的模型。

使用 Edge Impulse 平臺(tái)進(jìn)行模型訓(xùn)練

對(duì)于模型訓(xùn)練、測(cè)試和部署，可以使用Edge Impulse Studio平臺(tái)。它是一個(gè)幾乎不提供代碼解決方案的 TinyML 框架，您無(wú)需具備良好的機(jī)器學(xué)習(xí)專(zhuān)業(yè)知識(shí)即可構(gòu)建您的 TinyML 模型。

首先，創(chuàng)建一個(gè)帳戶(hù)并登錄。然后創(chuàng)建一個(gè)新項(xiàng)目。將樣本加載到 Edge Impulse 中的最簡(jiǎn)單方法是使用上傳數(shù)據(jù)選項(xiàng)。

選擇數(shù)據(jù)采集選項(xiàng)卡并選擇上傳數(shù)據(jù)選項(xiàng)，將出現(xiàn)以下窗口。

?

確保在標(biāo)簽選項(xiàng)下，您在輸入標(biāo)簽選項(xiàng)下提到了標(biāo)簽名稱(chēng)。上傳您的 wav 文件。

對(duì)上傳其他班級(jí)的音頻樣本重復(fù)相同的過(guò)程。您應(yīng)該確保每個(gè)音頻樣本都被正確標(biāo)記并分組到各自的類(lèi)別中，以避免在訓(xùn)練期間出現(xiàn)任何混淆。

?

我總共收集了 1 小時(shí) 19 秒的數(shù)據(jù)，這些數(shù)據(jù)可以分為三個(gè)不同的類(lèi)別。

• 未知類(lèi)
• 背景噪音等級(jí)
• Shakhizat班（我的名字）

一旦你設(shè)置了所有的類(lèi)并且對(duì)你的數(shù)據(jù)集感到滿(mǎn)意，就可以訓(xùn)練模型了。在左側(cè)導(dǎo)航菜單中導(dǎo)航至 Impulse Design。

?

選擇Add a processing block并添加Audio(Syntiant) ，因?yàn)樗浅＿m合基于Syntiant NDP120 Neural Decision Processor 的人聲應(yīng)用。它會(huì)嘗試將音頻轉(zhuǎn)換成某種基于時(shí)間和頻率特征的特征，這將有助于我們進(jìn)行分類(lèi)。然后選擇添加學(xué)習(xí)塊并添加分類(lèi)。

最后，點(diǎn)擊Save Impulse 。

然后導(dǎo)航到Syntiant 。在此步驟中，您將從輸入數(shù)據(jù)生成特征。特征是分類(lèi)算法用來(lái)對(duì)音頻進(jìn)行分類(lèi)的獨(dú)特屬性。

?

將特征提取器設(shè)置為log-bin(NDP120/200) ，然后單擊保存參數(shù)。

?

接下來(lái)，單擊生成特征并使用特征資源管理器檢查生成的特征。每個(gè)數(shù)據(jù)樣本將根據(jù)其標(biāo)簽在圖中著色。

使用完功能瀏覽器后，單擊左側(cè)導(dǎo)航菜單中的分類(lèi)器項(xiàng)。

?

對(duì)于此項(xiàng)目，訓(xùn)練周期數(shù)設(shè)置為200 ，學(xué)習(xí)率設(shè)置為0.0005 。

該模型具有以下結(jié)構(gòu)：

?

接下來(lái)，單擊Start training以訓(xùn)練機(jī)器學(xué)習(xí)模型，這可能需要一些時(shí)間才能完成，具體取決于數(shù)據(jù)集的大小。

訓(xùn)練完成后，Edge Impulse Studio 將顯示模型的性能、混淆矩陣、特征資源管理器和設(shè)備上的性能細(xì)節(jié)。

?

對(duì)我來(lái)說(shuō)，準(zhǔn)確率為 96.2%，損失為 0.12。訓(xùn)練集的準(zhǔn)確性非常好。

您可能會(huì)看到以下日志消息：

| | Total MACs: 284736                                                                                   | | Total Cycles: 24762 (time=0.0011515066964285713s @ 21.504 MHz)                                       | | Total Parameter Count: 948                                                                           | | Total Parameter Memory: 1.4375 KB out of 640.0 KB on the NDP120_B0 device.                           | | Estimated Model Energy/Inference at 0.9V: 5.56237 (uJ)

此信息很重要，因?yàn)樗砻髂Ｐ偷膬?nèi)存效率以及它是否可以部署在 Arduino Nicla Voice 等資源有限的設(shè)備上。

一旦您對(duì)模型的性能感到滿(mǎn)意，就可以將它部署到您的 Arduino Nicla Voice 中了。為此，單擊 Edge Impulse Studio 中的 Deployment 菜單項(xiàng)，然后單擊 Arduino Nicla Voice 按鈕。

?

選擇模型后，單擊構(gòu)建。

打開(kāi) Arduino IDE 串行監(jiān)視器。將波特率設(shè)置為 115200。如果一切正常，您應(yīng)該會(huì)看到以下內(nèi)容：

如您所見(jiàn)，我們的模型表現(xiàn)非常好。盡管有一些錯(cuò)誤分類(lèi)，但我覺(jué)得它的結(jié)果非常棒。該系統(tǒng)能夠?qū)⒚總€(gè)說(shuō)出的詞分類(lèi)為“未知”類(lèi)別。此外，它還能將口語(yǔ)單詞“我的名字”正確識(shí)別為已知單詞，并將其分配到適當(dāng)?shù)念?lèi)別。另一方面，系統(tǒng)將背景中的噪音識(shí)別為噪音類(lèi)別并相應(yīng)地分配。

總之，該項(xiàng)目演示了如何使用 Edge Impulse 平臺(tái)構(gòu)建音頻分類(lèi)系統(tǒng)并將其部署在 Arduino Nicla Voice 等邊緣設(shè)備上。通過(guò)使用包含未知聲音、背景噪聲和人名的多樣化數(shù)據(jù)集來(lái)訓(xùn)練模型，我們可以創(chuàng)建一個(gè)強(qiáng)大的系統(tǒng)，可以實(shí)時(shí)準(zhǔn)確地對(duì)音頻樣本進(jìn)行分類(lèi)。

我已經(jīng)讓公眾可以訪問(wèn)一個(gè)項(xiàng)目。有關(guān)此項(xiàng)目的更多詳細(xì)信息，請(qǐng)?jiān)L問(wèn) Edge Impulse。并且可以通過(guò)此鏈接訪問(wèn)它。

感謝您的閱讀！如果您有興趣了解有關(guān)音頻識(shí)別中機(jī)器學(xué)習(xí)的更多信息，我強(qiáng)烈建議您查看下面這篇文章中提到的參考資料

參考

• TinyML：在用于人工智能應(yīng)用的超低功耗物聯(lián)網(wǎng)邊緣設(shè)備上啟用推理深度學(xué)習(xí)模型
• 使用機(jī)器學(xué)習(xí)和 Nicla 語(yǔ)音進(jìn)行音頻分析
• TinyML：使用 ChatGPT 和合成數(shù)據(jù)檢測(cè)嬰兒哭聲
• 一個(gè)快速的本地神經(jīng)文本到語(yǔ)音系統(tǒng)
• AudioLDM：使用潛在擴(kuò)散模型生成文本到音頻