作者：ANN STEFFORA MUTSCHLER

音頻和視頻傳感器數量的激增大大增加了芯片和系統的設計復雜性，迫使工程師做出可能影響性能、功耗和成本的權衡。

總的來說，這些傳感器生成的數據如此之多，以至于設計人員必須考慮在哪里處理不同的數據、如何對其進行優先級排序以及如何針對特定應用對其進行優化。權衡包括從始終開啟、始終收聽功能、更長的屏幕開啟時間等所有方面，這些都必須與更長電池壽命的需求相平衡。最重要的是，人們對數據安全性的擔憂持續存在，并且對上下文感知人工智能算法的需求不斷增加。

西門子 EDA電源完整性產品管理高級總監 Joe Davis 表示，到 2025 年底，估計將有 140 億個智能傳感器連接到互聯網。“這些只是連接到互聯網的傳感器，它增長最快，因為它可以獲取數據并對其進行處理。這不僅僅是觀察它并拍照。它正在對數據進行一些處理。”

恰當的例子：索尼有一種設備可以識別亂穿馬路的人而不會侵犯隱私。“它執行動作識別，然后發出信號，”戴維斯說。“而且因為所有的傳感和處理都是在本地完成的，所以它不會通過互聯網發送某人的臉，所以它可以保護他們的隱私。在架構方面，該領域的供應商傳統上處于非常成熟的節點并優化了這些技術。許多技術仍然存在，但要獲得現在所需的處理，他們必須將這些傳感器與更先進的技術結合起來。”

在許多情況下，功率預算極其有限，因為它需要使用一節或多節電池運行。Cadence的 Tensilica 音頻/語音 DSP 產品營銷總監 Prakash Madhvapathy 說：“設備越來越注重電池，因為它們希望使用非常小的電池。 ” “用戶希望看到非常長的電池壽命和全天連續運行，因此 24/7/365。為了方便用戶，設備需要始終在線。他們還需要聰明地理解用戶在特定時刻的意圖，而不是被明確告知它必須做什么。”

同時，這些設備需要更多的計算能力，因為它們需要處理更多的數據。“過去看到的用例現在正在演變成更復雜的用例，最終消費者對設備的期望比以前高得多，”Madhvapathy 說。“這是一個積極的反饋循環，設備本身顯示出更多的功能，這提高了制造商和最終消費者的期望。這推動了設備本身對更多計算能力的需求。”

Madhvapathy 觀察到這兩個因素似乎相互矛盾。“在一種情況下，你想要永遠在線、長電池壽命。在另一種情況下，您正在尋找更多的計算能力，這將消耗電池壽命。挑戰變成了這兩者如何共存，制造商或原始設備制造商如何才能創造出兩全其美的產品？”

隨著車輛自主性的增加，這一點很明顯，這需要數百個 TOP（每秒萬億次運算）。產品管理總監 Amol Borkar 表示：“在這些情況下，對于功率/能源，您需要進行一些權衡，但您不希望使用與低端產品相同的產品。” Cadence 的 Tensilica 視覺和 AI DSP 營銷。“在典型的產品開發周期中，您開始細分市場，以確定低、中、高產品的重點產品范圍，或者好、更好、最好的方法。很難擁有一種可以跨越整個范圍的產品。它可以廣泛地跨越一個范圍，但如果你談論的是一種永遠在線的能力，但隨后還必須可重新配置以運行自動駕駛汽車——這通常不會發生。如果真的發生了，它將被過度設計，不符合任何細分市場的要求。”

這適用于音頻或視頻部分。過去離散的東西越來越多地被集成到一個系統或子系統中。

“隨著人工智能的進一步普及，我們開始看到這些產品系列之間出現了很多合并，”Borkar 說。“在永遠在線的空間中，開發人員說，‘我只想進行音頻處理，例如關鍵字定位和關鍵字檢測。’” 例如，現在他們正在為人類存在檢測添加一些視覺處理。更進一步，開發人員不希望兩個不同的 IP 進行這種類型的多模式處理。他們想要一個既可以進行視覺處理又可以進行音頻處理的 IP，這是低端的。在高端方面，更多的是，‘我有一個系統可以進行這種基于攝像頭的人員檢測，或 ADAS/行人/街道標志檢測，但同時我也在做短程雷達加工。我不想放置一個單獨的處理塊或 IP 塊來做到這一點。我只想要一個塊來進行處理，即使它是多模式的。”

通信問題

芯片架構師關心的另一個問題是能否為特定應用快速傳輸圖像和視頻。

今天的顯示器具有比過去更高的分辨率，這反過來又需要更高的帶寬。Synopsys移動、汽車和消費類 IP 產品營銷總監 Hezi Saar 表示，問題在于 PHY 速度跟不上分辨率的提高。隨著 AR/VR 和移動應用的帶寬需求不斷增加，這很明顯，這需要增加 PHY 帶寬。至少目前，該解決方案涉及壓縮標準，例如 VESA DSC 和 VESA VDCM。

“視覺無損壓縮已被引入市場，這將減少對更快 PHY 和更快切換的需求，從而降低功耗，因為您不需要發送相同的數據，”Saar 說。“您可以對其進行壓縮，并且數據或多或少地保持在同一個范圍內，因此有效地控制了每比特的功率。這種壓縮方式被 HDMI、DisplayPort 和 MIPI 全面采用，用于移動設備和汽車。”

對這種方法的最初反對是出于對丟失像素的安全影響的擔憂，或者如果像素在一秒或一毫秒內沒有看到會發生什么。盡管對此主題有多種意見，但車輛中的屏幕通常不用于駕駛員安全，并且壓縮可以節省大量資源。

“然后，架構問題變得更簡單，”薩爾說。“權衡歸結為，‘幀緩沖區將實現什么？您將在 SoC 內部使用多少內存，而在外部使用多少內存？您需要多少條通信通道？功率預算是多少？所有這些都是由驅動顯示器所需的帶寬量驅動的。”

由于應用程序的廣泛性，A/V 芯片和 IP 必須高度依賴工作負載和特定于應用程序，才能實現最佳系統。這意味著當系統架構師設計這些芯片時，他們必須考慮將要運行的工作負載的種類，并選擇滿足性能和功率配置文件所需的計算塊。

瑞薩電子副總裁兼總經理 Rami Sethi 表示：“我們正在解決的最大挑戰僅涉及更高的數據速率。“你會看到越來越多的計算能力向邊緣移動，在那里做盡可能多的事情，而不是將所有東西都轉移到云端。即使在網絡設備內部，我們也看到在需要的地方有更多本地化計算。我們甚至看到越來越多的人談論內存中的計算，只是讓處理盡可能接近數據。”

與此同時，這些計算元素正變得更加專業化。“我們讓界面運行得更快、更有效、更可靠，”Sethi 說。“但在未來，有機會在其中添加額外的功能。所有數據都通過我們的芯片，在 CPU 和內存之間。我們可以通過安全性和潛在的數據壓縮算法在數據處理方面增加更多價值。”

其他人同意。“如果你想要通用硬件，比如 CPU，你可以把所有東西都放在 x86 或 Arm CPU 上，”Madhvapathy 說。“但它不會是節能的，也不會是計算效率的，因為它們不是為特定類別的工作負載設計的。你永遠不會只為一個工作負載設計任何東西。您為一類或兩類工作負載設計它們，這樣您就不會過于狹隘地關注。但至少對于工作負載而言，DSP 最終在處理方面的效率將大大高于主 CPU，無論是在時間還是在功率方面。這就是為什么過去十年的趨勢是將處理從 CPU 轉移到 DSP 以實現視覺以及音頻和語音的高效處理。”

同樣的權衡和變通方法也發生在消費電子領域，需要更高的計算性能和更長的電池壽命。Codasip的高級營銷總監 Roddy Urquhart 說：“傳統上，工程師要么針對低功耗進行優化，要么針對高性能進行優化。 ” “為了滿足特定應用程序的要求，少數幾種前進方式之一是硬件專業化。25 年前，這個問題可以通過創建 ASIC 來解決。但 ASIC 缺乏靈活性，許多應用程序需要可編程性來處理不同版本的標準，例如編碼，或處理固件更新。”

因此，雖然通用處理器可以處理范圍廣泛的軟件任務，但它的能效卻低得多。“如果它們與專門的軟件一起使用，很可能許多處理器功能——以及電路——將被簡單地未使用或未充分利用，”Urquhart 說。“相比之下，如果對軟件工作負載進行分析以識別計算瓶頸，則可以設計專用處理器來解決計算瓶頸，但不包括不必要的功能。這樣的設計在電路方面應該是精簡的，并提供良好的性能。”

但是，這會產生其他問題。從頭開始創建專用處理器需要一種多學科方法，這超出了許多公司的技能范圍，這也是 RISC-V 開放指令集受到關注的原因之一。它通過為團隊提供一組基本的整數指令、可選擴展和用于創建自定義指令的規定來簡化設計。“另一個簡化是當處理器使用處理器描述語言獲得許可時，”他說。“核心描述可以在高層進行修改和調優，RTL、驗證環境和軟件工具鏈可以從高層描述中綜合起來。”

更多工具即將推出

盡管如此，Siemens EDA 的 Davis 堅持認為，在系統級別上并沒有特別好的工具可用，因為其中很多工具發展得如此之快。“市場上沒有機會開發和部署這些模型。早在那個時候，一切都在數據手冊中建模并且一切都在線，您可以很早就將您的系統組合在一起并進行所有系統權衡。但是這些功能發展得如此之快，以至于這些模型不可用。人們通常使用電子表格之類的東西來進行這種分析。那里有一些功能，但是當您深入到 IC 級別時，每個制造商、每個設計公司都必須與他們的代工廠聯系并與其合作，以了解權衡的環境。

雖然工具提供商正在開發工具，但今天需要能夠進行這種分析。“人們的夢想是能夠坐下來提出最佳解決方案。但與往常一樣，當您向前推進時，您將在今天設計這種芯片架構。他們將在明年設計它，并在一年后進行制造和部署。我正在展望未來三年，”戴維斯說。

為了解決這些問題，答案是越來越多地使用某種類型的高級封裝進行異構集成。這使得在數字端擁有低泄漏的最先進處理成為可能，并將其與模擬端相結合，從而可以以最有意義的工藝幾何形狀開發電路。

“很多這些歷史上成熟的節點公司都在做所有這些傳感器、放大器和降噪——所有這些都需要先進的處理，他們必須引入先進的技術來以低功耗獲得計算資源，”戴維斯說。“現在我們談論的是系統級集成，因此 2.5D/3D 堆棧變得更具挑戰性。有一個數字芯片，以及一個或多個模擬芯片，因為如果我要放入傳感器和無線電，我可能會將三種不同的技術放在一個封裝中。我們看到了很多。我們還看到了硅光子學，尤其是在計算中心。只要您不熔化硅，計算中心就可以了。過去的態度是，‘我們把它插在墻上。誰在乎？‘ 當他們在建筑物中擁有數十萬到數百萬個這樣的核心時，他們現在確實很在意，頂部有大型冷卻塔，因為它會產生大量熱量。”

使用 die-on-die 或 package-on-package 的架構將更常見以解決其中一些問題。“這取決于您所談論的應用程序，”Synopsys 的 Saar 說。“有時房地產很重要，所以你會使用包裝上的包裝。有時延遲非常重要。或者有時你想在本地進行這種計算。然后你把 DDR 放在你的芯片上。這樣做可以提高性能、減少延遲并提高功耗。這意味著當您處理視頻數據時，它可以更有效地完成。某種 die-to-die 接口將在更復雜的系統中變得更加普遍。汽車 ADAS 是一個候選者。移動是 SoC 方面的候選者。即使在像 IP 攝像機或網絡錄像機這樣的應用程序中，如果你是一家擁有一切的公司——你在云端擁有人工智能引擎，你提供完整的服務、所有的電子設備，而且你還在制造 SoC——那么你可能會做一個 SoC，它可以去網絡攝像機。您還可以使用 die-to-die 技術連接兩個芯片，這樣您就可以進行將所有 IP 攝像機連接在一起的網絡視頻錄制。”

為了提高高級音頻/視頻系統的效率，需要非常專業的硬件。“看看這在智能手機和個人電腦中的做法，以提高所有這些設備的電池壽命——無論是音頻、視頻、個人電腦、ADAS 還是任何這些系統——你不能讓你的系統完全運行Movellus技術營銷主管 Aakash Jani 說，始終保持 100% 。“否則，你只會殺死你的系統。這帶來了切換不同功率域的想法，創建截然不同的功率域，無論您是在前一分鐘進行波前分析，還是在那之后的下一秒進行全面推理。您將很快讓您的系統切換到動態電源。如果沒有，那將轉化為實時延遲。”

這遠遠超出了音頻/視頻系統。“在平衡芯片上增加的智能時，必須平衡電池壽命，”賈尼說。“您需要根據工作負載進行非常精細的電源控制。電源系統和電源管理需要并行處理您可能會看到的不同工作負載，這樣您就不會因為消耗電力而浪費周期。”

設計人員試圖處理的最大設計限制和問題之一是電壓下降或 IR 下降。“因為時鐘與它們所處的任何系統都如此緊密地交織在一起，并且因為它們是一個如此大的功率貢獻者，所以它們與電壓下降有著非常私人的關系，”他解釋道。“由于這些系統正在切換，尤其是高頻系統，對于智能手機、PC，甚至在數據中心，功率波動很大。時鐘網絡不僅是其中的一個促成因素，它的設計方式也可能是一種解決方案。”

結論

大局觀，所有這些低層次的挑戰都必須從長遠的角度出發，并且設計必須是可擴展的。

“你今天做的不是明天要做的，”Expedera 營銷主管 Paul Karazuba 指出。“從設計的角度來看，大多數做硬件的公司對一代不感興趣。他們對多代人感興趣，以維持一家成長中的公司。我今天在音頻或視頻領域所做的可能是在 4k 相機上。我可能會在幾代人之后使用 8k 相機。你需要一個可擴展的架構——不僅僅是架構，還有你工作的底層設計語言和軟件生態系統。您不希望每一代都采用完全不同的架構，因此您需要擁有作為系統工程師、系統架構師、

將 AI 添加到組合中，這不僅在音頻/視頻應用程序中廣泛擴散，而且事情變得更加復雜。

“取決于市場，你必須開始為今天不存在的算法進行設計，這完全違反直覺，”Karazuba 說。“例如，在汽車行業，如果你今天設計一個芯片，它三年內都不會上市。它必須在市場上銷售 10 年。在那 13 年里，它正在處理的神經網絡不會保持不變。因此，對于先進的神經網絡、定制的神經網絡以及今天不存在的網絡，這些都是系統工程師需要做出的決定，因此他們可以嘗試為不存在的東西進行設計。”

— Ed Sperling 為本報告做出了貢獻。