低延遲、實時聲學處理是許多嵌入式的關鍵因素 處理應用程序，其中包括語音預處理、語音識別、 和主動降噪 （ANC）。作為實時性能要求 在這些應用領域內穩步增長，開發人員需要采用 適當適應這些需求的戰略思維。鑒于實質性 許多大型系統在芯片上提供的性能，可能很誘人 只需為這些設備加載出現的任何其他任務，但這很重要 了解延遲和確定性是可以輕松實現的關鍵要素 如果不仔細考慮，會導致重大的實時系統問題。本文 將探討設計人員在 SoC 之間進行選擇時應考慮的問題 和專用的音頻DSP，以避免實時出現不愉快的意外 聲學系統。

低延遲聲學系統涵蓋了廣泛的應用。例如，僅在汽車領域，低延遲對于個人音頻區域、道路噪聲消除和車載通信系統至關重要，僅舉幾例。

隨著車輛電氣化的新興趨勢，RNC變得更加重要，因為沒有內燃機產生明顯的噪音。因此，與汽車到道路界面相關的聲音變得更加明顯和令人反感。降低這種噪音不僅可以創造更舒適的騎行體驗，還可以減輕駕駛員的疲勞。與在專用音頻 DSP 上相比，在 SoC 上實現低延遲聲學系統存在許多挑戰。其中包括延遲、可擴展性、可升級性、算法注意事項、硬件加速和客戶支持等問題。讓我們依次檢查其中的每一個。

延遲

實時聲學處理系統中的延遲問題是一個重要的問題。如果處理器無法跟上系統的實時數據移動和計算需求，則可能導致不可接受的音頻丟失。

通常，SoC 具有小型片上 SRAM，因此必須依賴緩存進行大多數本地內存訪問。這引入了代碼和數據的不確定可用性，并且還增加了處理延遲。對于像ANC這樣的實時應用，僅此一項就可能破壞交易。但是，SoC運行管理繁重的多任務負載的非實時操作系統。這放大了系統的非確定性操作特性，使得在多任務環境中支持相對復雜的聲學處理變得非常困難。

圖 1 顯示了運行實時音頻處理負載的 SoC 的具體示例，其中 CPU 負載在處理更高優先級的 SoC 任務時達到峰值。例如，由于系統上的媒體呈現、瀏覽或應用執行等以 SoC 為中心的活動，可能會出現這些峰值。每當峰值超過 100% CPU 負載時，SoC 不再實時運行，這將導致音頻丟失。

圖1.除了其他任務外，還運行高音頻內存處理的代表性 SoC 的瞬時 CPU 負載。1

另一方面，音頻 DSP 的架構旨在實現從采樣音頻輸入到復合（例如，音頻 + 抗噪聲）揚聲器輸出的整個信號處理路徑的低延遲。L1指令和數據SRAM是最接近處理器內核的單周期存儲器，足以支持許多處理算法，而無需將中間數據卸載到片外存儲器。此外，片上 L2 存儲器（離內核更遠，但訪問速度仍比片外 DRAM 快得多）有助于在超出 L1 SRAM 存儲時為中間數據操作提供緩沖區。最后，音頻DSP通常運行實時操作系統（RTOS），確保在新輸入數據到達之前處理傳入數據并將其發送到目標目的地，從而確保數據緩沖區在實時操作期間不會溢出。

系統啟動的實際延遲（通常由音頻可用性時間來衡量）也是一個重要的指標，特別是在汽車系統中，聲音警告必須在啟動后的某個窗口內廣播。在 SoC 世界中，通常有一個冗長的啟動序列，涉及為整個設備啟動操作系統，因此可能很難或不可能滿足此啟動要求。另一方面，運行自己的RTOS的獨立音頻DSP不受其他無關系統優先級的影響，可以針對快速啟動進行優化，從而輕松滿足音頻時間要求。

可擴展性

雖然延遲問題對于噪聲控制等應用中的SoC來說是個問題，但有志于執行聲學處理的SoC的另一個關鍵缺點是可擴展性。換句話說，控制具有許多不同子系統的大型系統（例如汽車前端單元和集群）的 SoC 無法輕松地從低端音頻需求擴展到高端音頻需求，因為每個子系統組件的可擴展性需求之間存在持續沖突，需要在整體 SoC 利用率中進行權衡。例如，如果前端SoC連接到遠程調諧器，并且跨汽車模型，該調諧器需要從幾個通道擴展到多個通道，則每個通道配置都會放大前面提到的實時問題。這是由于 SoC 控制下的每個附加功能都會改變 SoC 的實時行為以及多個功能使用的關鍵架構組件的資源可用性。這些資源包括內存帶寬、處理器內核周期和系統總線結構仲裁槽等方面。

除了擔心其他子系統連接到多任務SoC之外，聲學子系統本身也有其自身的可擴展性問題。有低端到高端縮放（例如，增加 ANC 應用程序中麥克風和揚聲器通道的數量），還有音頻體驗縮放，從基本的音頻解碼和立體聲播放到 3D 虛擬化和其他高級功能。雖然這些要求不共享ANC系統的實時約束，但它們仍然與系統的音頻處理器選擇直接相關。

利用單獨的音頻 DSP 作為 SoC 的協處理器是音頻可擴展性問題的完美解決方案，可實現模塊化系統設計和成本優化解決方案。SoC 可以更少地關注大型系統的實時聲學處理需求，而是將該處理卸載到低延遲音頻 DSP。此外，音頻 DSP 在全面的代碼兼容和引腳兼容路線圖中提供多種不同的性價比/內存級別，為系統設計人員提供了最大的靈活性，以針對給定產品層調整音頻性能產品的規模。

圖2.ADSP-2156x DSP，說明高度可擴展的音頻處理器。

可升級性

隨著無線固件更新在當今的車輛中變得越來越普遍，發布關鍵補丁或提供新功能的可升級性變得越來越重要。這可能會給 SoC 帶來重大問題，因為其各個子系統之間的依賴關系增加。首先，在SoC上，多個處理和數據移動線程正在爭奪資源。當添加新功能時，這增加了對處理器MIPS和內存的競爭，尤其是在峰值活動突發期間。從音頻角度來看，其他 SoC 控制域中的功能添加可能會對實時聲學性能產生不可預測的影響。這種情況的一個副作用是，必須在所有操作平面上交叉測試新功能，從而導致競爭子系統的各種操作模式之間存在無數排列。因此，每個升級包的軟件驗證呈指數級增長。

從另一個角度來看，可以說SoC音頻性能的改進取決于可用的SoC MIPS，以及由SoC控制的其他子系統的功能路線圖。

算法開發和性能

很明顯，在開發實時聲學算法時，音頻DSP是專門為這項任務而構建的。作為SoC的一個重要區別，獨立音頻DSP可以提供圖形開發環境，使DSP編碼經驗最少的工程師能夠將高質量的聲學處理添加到其設計中。這種類型的工具可以通過在不犧牲質量或性能的情況下縮短開發時間來降低開發成本。

例如，ADI公司的SigmaStudio圖形音頻開發環境提供了集成到直觀圖形用戶界面（GUI）中的多種信號處理算法，允許創建復雜的音頻信號流。它還支持圖形 A?2B配置用于音頻傳輸，極大地促進了實時聲學系統的發展。

音頻友好型硬件功能

除了專為高效并行浮點計算和數據訪問而設計的處理器內核架構外，音頻 DSP 通常還具有專用的多通道加速器，用于常見音頻基元，例如快速傅里葉變換 （FFT）、有限和無限脈沖響應 （FIR 和 IIR） 濾波以及異步采樣率轉換 （ASRC）。這些允許在內核CPU之外進行實時音頻濾波、采樣和頻域轉換，從而提高內核的有效性能。此外，由于其優化的體系結構和數據流管理功能，它們可以促進靈活且用戶友好的編程模型。

由于音頻通道數、濾波器流、采樣率等激增，因此擁有一個最大可配置的引腳接口非常重要，該接口允許在線采樣率轉換、精密時鐘和同步高速串行端口，以有效地路由數據并避免增加延遲或外部接口邏輯。ADI公司SHARC系列處理器的數字音頻互連（DAI）體現了這種能力，如圖4所示。?

圖3.ADI公司的SigmaStudio圖形開發環境。

圖4.數字音頻互連 （DAI） 框圖。

客戶支持

使用嵌入式處理器進行開發時經常被忽視的一個方面是設備對客戶的支持。

盡管SoC供應商在其集成DSP產品上提倡運行聲學算法，但這在實踐中會帶來一些責任。首先，供應商的支持通常更為復雜，因為聲學專業知識通常不是SoC應用開發的領域。因此，對于尋求在SoC的片上DSP技術上開發自己的聲學算法的客戶來說，支持往往很弱。相反，供應商可能會提供標準算法并收取大量 NRE 費用，以將聲學算法移植到 SoC 的一個或多個內核。即便如此，也不能保證成功，特別是如果供應商不提供成熟的低延遲框架軟件。最后，基于 SoC 的聲學處理的第三方生態系統往往相當脆弱，因為它不是 SoC 的重點，而是一個機會主義支持的功能。

顯然，專用音頻 DSP 具有更強大的生態系統，用于開發復雜的聲學系統，從優化的算法庫和設備驅動程序到實時操作系統和易于使用的開發工具。此外，以音頻為中心的參考平臺（如ADI公司的SHARC音頻模塊平臺，如圖5所示）可加快上市時間，這對于SoC來說是罕見的，但在獨立音頻DSP領域卻很常見。

圖5.SHARC音頻模塊（SAM）開發平臺。

總之，很明顯，設計實時聲學系統涉及對系統資源的深思熟慮的戰略規劃，不能簡單地通過在多任務SoC上分配剩余的處理余量來管理。相反，針對低延遲處理進行優化的獨立音頻 DSP 可能會提高穩健性、縮短開發時間和最佳可擴展性，以適應未來的系統需求和性能層。

審核編輯：郭婷