隨著人工智能 （AI） 在我們的日常生活中繼續發揮更大的影響力和影響，該領域正在從基于云的推理遷移到邊緣和端點推理。基于邊緣的推理為各種物聯網設備帶來智能，使數據能夠在本地處理并實時做出決策，同時提高數據隱私和安全性。

Arm 的 Ethos NPU 如何增強邊緣和端點的 AI 性能？

多年來，Arm 一直在開發邊緣 AI 加速器，以支持對邊緣和端點推理工作負載日益增長的需求。通過 Arm 的 Ethos-U55 和 Ethos-U65 NPU，我們推出了兩款非常成功的產品，為邊緣和端點的 AI 應用帶來了高性能、高能效的解決方案。

Ethos-U55 部署在許多基于 Cortex-M 的異構系統中。Ethos-U65 將 Ethos-U 系列的適用性擴展到基于 Cortex-A 的系統，同時提供兩倍的設備端機器學習 （ML） 性能。這兩款產品都提供了統一的工具鏈，便于開發和支持常見的 ML 網絡操作，包括卷積神經網絡 （CNN） 和遞歸神經網絡 （RNN）。

Transformer 架構對 AI 開發有何影響？

Transformer 架構于 2017 年推出，徹底改變了生成式 AI，并成為許多新神經網絡的首選架構。基于 Transformer 的模型可以使用注意力機制處理順序數據，并在許多 AI 任務中取得了最先進的結果，例如機器翻譯、自然語言理解、語音識別、分割和圖像字幕。

這些模型可以進行調整和壓縮，以便在邊緣設備上高效運行，而不會對準確性造成太大影響，并在許多邊緣和端點用例中展示最先進的進步。

Ethos-U85 NPU 在邊緣和端點工作負載方面的主要優勢是什么？

在我們之前的 Ethos-U 系列 NPU 成功的基礎上，我們推出了一款新產品 Ethos-U85。這帶來了一個加速器，其特點是具有與以前的 Ethos-U NPU 相同的高性能、節能理念，同時使用基于 Transformer 的網絡在邊緣和端點上實現當前和即將到來的工作負載。

Ethos-U85 是 Arm Ethos-U 產品線的第三代 NPU，也是迄今為止性能最高、能效最高的 Ethos NPU。與前代產品相比，它的性能提升了 4 倍，能效提高了 20%，在流行網絡上的利用率高達 85%。這解決了物聯網應用的需求，在這些應用中，我們看到更高的性能需求，例如工廠自動化和商用或智能家居攝像頭。它還設計用于與 Cortex-M 以及基于 Cortex-A 的系統一起運行，并可承受高 DRAM 延遲。

Ethos-U85 的一些主要功能包括：

支持從 128 到 2048 MAC/周期的配置 – 256 GOPS/s 到 4 TOP/s（1GHz）。

支持 int8 權重和 int8 或 int16 激活。

支持 transformer 架構網絡，以及 CNN 和 RNN。

硬件原生支持 2/4 稀疏性，吞吐量翻倍。

29 至 267 KB 的內部 SRAM 和多達 6 個 128 位 AXI5 接口。

支持重量壓縮，具有標準和快速重量解碼器。

支持擴展壓縮。

除了目前 Ethos-U55 和 U65 支持的算子外，Ethos-U85 還將通過支持 TRANSPOSE、GATHER、MATMUL、RESIZE BILINEAR 和 ARGMAX 等操作，為轉換器網絡和 DeeplabV3 語義分割網絡提供原生硬件支持。

Ethos-U85 還支持元素運算符鏈接。鏈接將元素運算與先前運算相結合，使SRAM不必寫入然后讀取中間張量。這可以通過減少需要在 NPU 和內存之間傳輸的數據量來提高 NPU 的效率。與 Ethos-U65 相比，鏈是 Ethos-U85 中幾個改進的效率功能之一，此外還有快速權重解碼器、改進的 MAC 陣列的電源效率和改進的元素效率。

Ethos-U85 系統配置

Ethos-U85 可用于與 Ethos-U55 和 Ethos-U65 相同的系統配置流程，我們正在引入從基于 Cortex-A 的系統直接驅動 Ethos-U85 的功能。

Ethos-U85 還將支持與之前的 Ethos-U 系列產品建立的相同軟件工具鏈，該系列使用 TFLmicro 運行時。這將擴展已經使用Cortex-A/Cortex-M和Ethos-U55/Ethos-U65的系統進行投資的價值，因為Ethos-U85在此基礎上構建并利用該價值來實現基于變壓器網絡的更廣泛的用例。將來，我們希望啟用對 ExecuTorch 的支持，這是邊緣設備的 PyTorch 運行時。

Ethos-U85 支持的算子將在 NPU 本身上加速，而如果有任何不支持的特殊算子，那么其中一些可以在使用 CMSIS-NN 的基于 Cortex-M 的系統上加速。例如，在 tinyLlama 的情況下，該模型完全映射到 Ethos-U85，沒有將操作員回退到 CPU。

最后，作為 Corstone-320 的一部分，Ethos-U85 構建在我們最新的物聯網參考設計平臺的核心。這有助于在各種基于 AI 的物聯網解決方案中加速高性能片上系統 （SoC） 的開發和部署。

在邊緣釋放所有 AI 功能

Ethos-U85 將帶來在邊緣和端點設備上執行許多最先進的 AI 功能所需的計算能力。隨著人工智能世界的發展，我們的合作伙伴將擁有可靠、高效和高性能的基于 Ethos-U 的解決方案。我們希望看到 Ethos-U85 部署在新興的邊緣 AI 用例中，例如智能家居、零售或工業環境中，這些領域需要支持最新 AI 框架的更高性能計算。

在 Arm，我們為能夠為我們的合作伙伴和生態系統提供尖端的硬件和軟件解決方案而感到自豪。借助 Ethos-U85，我們正在打開一個充滿邊緣和基于端點的 AI 推理用例的可能性世界，這些用例將改變世界。隨著我們繼續在 Arm 上構建邊緣 AI 的未來，Arm 正在將邊緣 AI 創新提升到一個新的水平。

在此處了解有關 Arm Ethos-U85 的更多信息。

作者： Parag Beeraka，物聯網細分市場高級總監手臂

審核編輯 黃宇