作者：Arm 基礎(chǔ)設(shè)施事業(yè)部服務(wù)器生態(tài)系統(tǒng)開發(fā)總監(jiān)

Bhumik Patel

隨著人工智能 (AI) 技術(shù)的迅猛發(fā)展，云計(jì)算領(lǐng)域正在經(jīng)歷顯著變革。愈發(fā)復(fù)雜的 AI 應(yīng)用對(duì)計(jì)算解決方案的性能、效率和成本效益提出了更高要求。在云端部署工作負(fù)載的客戶正在重新評(píng)估其所需的基礎(chǔ)設(shè)施，以滿足現(xiàn)代工作負(fù)載需求，其中不僅包括提高性能和降低成本，還涵蓋了需符合監(jiān)管要求或可持續(xù)發(fā)展目標(biāo)的新能效基準(zhǔn)。

Arm 與亞馬遜云科技 (AWS) 長(zhǎng)期合作，為實(shí)現(xiàn)性能更強(qiáng)勁、更高效和可持續(xù)的云計(jì)算提供專用芯片和計(jì)算技術(shù)。在近期舉行的 AWS re:Invent 2024 大會(huì)上，AWS 進(jìn)一步展示了 AWS Graviton4 所取得的顯著進(jìn)展，使開發(fā)者和企業(yè)能夠充分發(fā)揮其云工作負(fù)載的性能潛力。

卓越的性能表現(xiàn)

相較于上一代 Graviton3 處理器，基于 Arm Neoverse V2 平臺(tái)的 AWS Graviton4 處理器在計(jì)算性能上提升了 30%，核心數(shù)增加了 50%，內(nèi)存帶寬提高了 75%。憑借這些技術(shù)優(yōu)勢(shì)，AWS Graviton 處理器在生態(tài)系統(tǒng)和客戶群體中得到了廣泛應(yīng)用。

Arm Neoverse V2 平臺(tái)涵蓋 Armv9 架構(gòu)的新特性，包括高性能浮點(diǎn)和向量指令支持，以及 SVE/SVE2、Bfloat16 和 INT8 MatMul 等特性。這些特性為 AI/機(jī)器學(xué)習(xí) (ML) 以及高性能計(jì)算 (HPC) 工作負(fù)載提供了卓越性能。

AI/ML 工作負(fù)載

今年早些時(shí)候，Arm 與主流的 AI 框架和軟件生態(tài)系統(tǒng)合作，推出了 Arm Kleidi 軟件，以確保 Arm 平臺(tái)上開機(jī)即用的推理性能優(yōu)化能惠及整個(gè) ML 棧，開發(fā)者無(wú)需掌握額外的 Arm 專業(yè)知識(shí)即可構(gòu)建其工作負(fù)載，從而進(jìn)一步推動(dòng) AI 工作負(fù)載的廣泛應(yīng)用。此前，我們已展示了 PyTorch 中的這些優(yōu)化如何賦能 AWS Graviton4 上運(yùn)行大語(yǔ)言模型 (LLM)，如 Llama 3 70B 和 Llama 3.1 8B，并顯著改善了每秒生成詞元 (token) 數(shù)和詞元首次響應(yīng)時(shí)間的表現(xiàn)指標(biāo)。

歡迎閱讀《Arm KleidiAI 助力提升 PyTorch 上 LLM 推理性能》一文，詳細(xì)了解性能指標(biāo)的提升細(xì)節(jié)。

HPC 和 EDA 工作負(fù)載

對(duì)于 HPC 工作負(fù)載，Graviton4 相較于 Graviton3E 在功能上實(shí)現(xiàn)了顯著提升。每個(gè)核心的主內(nèi)存帶寬增加了16%，每個(gè) vCPU 的 L2 緩存容量翻倍。這些改進(jìn)對(duì)于 HPC 應(yīng)用的性能至關(guān)重要，因?yàn)?HPC 應(yīng)用通常受限于內(nèi)存帶寬。AWS 已經(jīng)在這些領(lǐng)域取得了顯著優(yōu)勢(shì)，如下所示。

根據(jù) Arm 工程團(tuán)隊(duì)實(shí)際運(yùn)行 EDA 工作負(fù)載所得出的結(jié)果，Graviton4 提供的 RTL 仿真工作負(fù)載性能比 Graviton3 高出 37%。

生態(tài)系統(tǒng)廣泛采用

近年來(lái)，隨著云計(jì)算用戶將各種云工作負(fù)載部署在 AWS Graviton 處理器上，其軟件生態(tài)系統(tǒng)持續(xù)擴(kuò)展。如此一來(lái)，客戶不僅節(jié)省了費(fèi)用，收獲了性能的提升，還能優(yōu)化其碳足跡和可持續(xù)發(fā)展足跡。以下是部分示例：

著手利用 Graviton 的強(qiáng)大性能

我們堅(jiān)信 Arm 將在云計(jì)算的未來(lái)中發(fā)揮關(guān)鍵作用，同時(shí)我們也非常自豪能夠支持 AWS Graviton 立于技術(shù)創(chuàng)新的前沿。Arm 將繼續(xù)投入，進(jìn)一步強(qiáng)化我們的軟件生態(tài)系統(tǒng)，從而使開發(fā)者能夠更加輕松地在 Arm 平臺(tái)上構(gòu)建其應(yīng)用，并充分利用 Arm 計(jì)算平臺(tái)所提供的卓越性能和效率優(yōu)勢(shì)。