音頻可以包含從人類語言到非語言聲音等各種聲音，例如狗吠和警笛聲。在為聽力困難的人設(shè)計(jì)無障礙應(yīng)用程序時，該應(yīng)用程序應(yīng)能夠識別聲音并理解語義。

這種技術(shù)將有助于聾啞或聽力有障礙的人可視化語音，例如人類的對話和非語音聲音。通過將語音和聲音 AI 相結(jié)合，可以將這些可視化效果疊加到 AR 眼鏡上，從而使用戶能夠看到并理解他們無法聽到的聲音。

根據(jù)世界衛(wèi)生組織的統(tǒng)計(jì)，約有 15 億人（占全球人口近 20%）患有聽力損失。到 2050 年，這一數(shù)字將上升至 25 億。

Cochl 是 NVIDIA 的合作伙伴，總部位于圣何塞。該公司是一家利用聲音 AI 技術(shù)來理解各類音頻的科技密集型初創(chuàng)企業(yè)。他同時也是 NVIDIA 初創(chuàng)加速計(jì)劃的會員。通過提供尖端技術(shù)和 NVIDIA 專家的支持，該計(jì)劃幫助初創(chuàng)企業(yè)更快地構(gòu)建解決方案。

該平臺可識別 37 種環(huán)境聲音，并且 CochI 還加入了先進(jìn)的語音轉(zhuǎn)文本技術(shù)，使用戶能夠真正全方位地了解聲音世界。

AR 眼鏡可視化任何聲音

AR 眼鏡作為一個可視化聲音的工具，有望極大改善聽力損失者的生活。這項(xiàng)技術(shù)可以幫助提高他們的交流能力，使他們更容易理解和融入到周圍的世界。

Cochl.Sense 和 NVIDIA Riva 在微軟 HoloLens 2 上運(yùn)行！

在此方案中，自動語音識別（ASR）使眼鏡能夠識別并理解人類的語音。這項(xiàng)技術(shù)可通過多種方式集成到眼鏡中：

• 使用麥克風(fēng)捕捉與聾啞人或聽力有障礙者交談的人的語音，然后使用 ASR 算法解釋語音并將其轉(zhuǎn)錄為文本，最后將該文本顯示在眼鏡上，從而使聾啞人或聽力有障礙者能夠閱讀并理解該語音。

• ASR 還可以使眼鏡能夠響應(yīng)語音命令，以便用戶可以通過語音控制眼鏡。

• AR 眼鏡還能在屏幕上顯示所有對話（例如在駕車時轉(zhuǎn)錄地圖上的語音指示）以及其他聲音（例如緊急車輛的喇叭聲、警報聲以及風(fēng)聲）。

解決方案背后的技術(shù)

Cochl 在其軟件堆棧中使用了 NVIDIA Riva 來增強(qiáng)其 ASR 功能。Riva 是一個使用 GPU 加速、完全可定制的 SDK，用于開發(fā)語音 AI 的應(yīng)用程序。通過使用 Riva，該平臺的功能得以擴(kuò)展，能夠理解包括非語音聲音在內(nèi)的各種聲音。

Cochl 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Yoonchang Han 表示：“我們測試了很多語音識別服務(wù)，但只有 Riva 提供了極高且穩(wěn)定的實(shí)時性能。所以現(xiàn)在我們可以讓我們的聲音 AI 系統(tǒng)更加接近人類的聽覺感知?！?/p>

“正如我們所觀察到的，AR 眼鏡最有可能在環(huán)境嘈雜的開放空間中使用。NVIDIA Riva 幫助我們在嘈雜的環(huán)境中也能準(zhǔn)確轉(zhuǎn)錄語音，并為我們提供了無縫體驗(yàn)，可以集成到我們的 Cochl.Sense 平臺上。”

輔助技術(shù)的未來

創(chuàng)建一個能像人類一樣感知聲音的通用 AI 系統(tǒng)是一項(xiàng)巨大的挑戰(zhàn)。為了使 AR 眼鏡更易于使用，需要更輕便的可穿戴技術(shù)。

盡管它們?nèi)匀皇菍⒙曇艉驼Z音轉(zhuǎn)化為視覺信息的理想媒介。通過集成機(jī)器聽覺功能，AR 眼鏡能夠?yàn)槭澜绺鞯氐拿@啞或聽力障礙者帶來更加安全、便捷和愉快的日常生活體驗(yàn)。

Cochl 還在探索語音 AI 的更多用例，例如為 AR 眼鏡上的任何視頻提供隱藏式字幕和實(shí)現(xiàn)多個發(fā)言者的轉(zhuǎn)錄。為了給聽力障礙者帶來最佳體驗(yàn)，該公司正在探索分析并可視化音樂的方法，以幫助他們至少能夠理解音樂的類型和情感。

該公司期待體驗(yàn)更多的 NVIDIA 解決方案，包括 Riva、NVIDIA NeMo 和 NVIDIA TensorRT。