人工智能 (AI) 技術的深入應用為數字化轉型注入了充沛的動能，引領著新一輪技術與產業的創新浪潮。隨著 AI 技術的不斷發展以及行業應用的逐步成熟，AI 市場正在出現快速的增長。IDC 預計，中國人工智能市場規模在 2023 年將超過 147 億美元，到 2026年將超過 264 億美元¹。

在端到端的 AI 整體應用流程中，AI 推理是其中的關鍵環節。在 AI 推理的算力設備選擇方面，CPU 服務器具備更強的靈活性、敏捷性，能夠支持大數據、云計算、虛擬化等多種業務的彈性擴展，方便部署和管理，滿足企業不同業務場景的動態資源需求。此外，通過面向 AI 工作負載的技術特性升級以及性能優化，CPU 已經能夠廣泛滿足用戶不同 AI 應用對于算力的要求，在大量場景中的推理性能可比肩GPU，助力客戶節省成本，同時提升 AI 基礎設施的可靠性與敏捷性。

為了進一步提升旗下產品“神農 AI 中臺” 的性能，東華軟件股份公司（以下簡稱：東華軟件）和英特爾攜手，由東華軟件旗下的東華發思特 AI 團隊與英特爾技術團隊就神農 AI 中臺展開合作，將基于英特爾至強 可擴展處理器的服務器作為推理服務器，并通過OpenVINO 工具套件將神農 AI 引擎框架訓練的模型進行量化，利用英特爾DL Boost 的矢量神經網絡指令 (VNNI) 提高人工智能推理能力。在既有合作成果的基礎上，雙方將推理服務器中的處理器升級為第四代英特爾至強 可擴展處理器，將OpenVINO 工具套件升級為 2023 版，將推理速度提升了數倍以上。

聯合創新，神農AI中臺在算力、
成本、敏捷性方面實現更好平衡

東華發思特研發的神農 AI 中臺具備人工智能中臺和模型 SaaS 服務能力，其推理引擎提供了豐富的版本，包含 OpenVINO版，為客戶提供豐富、高效的模型推理服務，在智慧城市、數字鄉村等場景有著廣泛的應用。為了滿足業務發展和用戶增加的需要，在算力、成本、敏捷性等方面實現更卓越的平衡，東華發思特與英特爾進行了聯合創新。在進行測試之后，東華發思特發現，將神農 AI 中臺推理服務器的CPU 從英特爾 至強 黃金 6348 處理器升級為英特爾至強鉑金 8480+ 處理器之后，能夠最大程度上提升性能表現，同時保證較高的經濟效益。

該方案除了搭載高性能、面向人工智能應用進行優化的第四代英特爾至強 可擴展處理器，還通過 OpenVINO 工具套件進行了性能優化，并支持技術的持續創新。第四代英特爾至強 可擴展處理器與 OpenVINO 工具套件的結合可以進一步提升 AI 推理性能。OpenVINO 工具套件支持從邊緣到云的深度學習推理，可在包括英特爾 CPU、iGPU 和FPGA 在內的英特爾硬件平臺（包括加速器）上部署并加速神經網絡模型，能夠在保持精度的同時提高推理速度。OpenVINO工具套件支持開發人員使用行業標準人工智能框架、標準或自定義層，將深度學習推理輕松集成到應用中。

東華發思特與英特爾合作，在以下方面進行了重點優化：

針對復雜網絡的模型結構壓縮技術：為壓縮網絡結構，節省數據在內存中的讀寫耗時，在讀取訓練模型后，將對其網絡結構進行深度分析，基于預設策略，將一些常見的線性算子進行融合處理。 針對多任務場景的跨平臺異構加速技術：通過異步執行策略，將推理任務平均分配到不同的 CPU 內核資源上，減少多線程間的任務同步，提供網絡吞吐能力。同時能夠根據設備負載情況，自動將推理任務以模型子圖為單位，在 CPU 和 GPU上進行動態部署，全面激活英特爾 平臺的 iGPU 資源，提升設備使用率，降低項目整體成本。 在圖像識別等場景的深度學習中發揮優勢：基于 MKL/MKLDNN對不同深度學習模型進行特定優化，利用英特爾 至強可擴展處理器內置的英特爾 深度學習加速技術對 INT8 提供更優的支持。

英特爾 AMX加持
推理性能大幅提升

在本次優化中，東華發思特重點利用了第四代英特爾至強 可擴展處理器內置的英特爾AMX (Advanced Matrix Extensions)高級矩陣擴展加速引擎。英特爾AMX 采用了全新的指令集與電路設計，包含了一系列用于矩陣運算的指令集 TMUL，以及新的矩陣寄存器文件 TILEs。英特爾 AMX 還支持 INT8 和 BF16 數據類型。其中，BF16 能夠提供與 FP32 相似的精度，但是在 AI工作負載中的訓練和推理方面能夠帶來大幅的性能提升。

為了驗證新方案對比舊方案的性能提升，東華發思特進行了一系列測試，其選擇的模型為圖像分類模型 ResNet50_vd，ResNet50_vd是一種深度卷積神經網絡模型，它是在 ResNet50 的基礎上進行改進的。ResNet50 是一種非常流行的卷積神經網絡模型，它在ImageNet 數據集上取得了很好的表現，但在訓練過程中容易出現梯度消失或梯度爆炸等問題。ResNet50_vd 通過引入一些改進，使得網絡的訓練更加穩定，同時在性能上也有一定提升。

測試的軟硬件配置如表 1 所示，東華發思特分別測試了在其他配置不變的前提下，處理器升級所帶來的性能提升；以及在同樣硬件配置的前提下，不同模型精度所帶來的性能差異。

表 1. 測試軟硬件配置

	原有方案	新方案
處理器	2*英特爾至強金牌6348 處理器@ 2.60GHz	2*英特爾至強鉑金8480+ 處理器@ 2.0GHz
核數	28 *2	56 *2
內存	24*32 GB DDR4 2933 MHz	16*16 GB DDR5 4800 MHz
操作系統	Ubuntu 20.04.5 LTS	CentOS Linux release 8.5.2111
神農AI中臺	ShenNong-AI.2022 (OpenVINO)	ShenNong-AI.2022 (OpenVINO) ShenNong-AI.2023 (OpenVINO)

在第一輪測試中，東華發思特對比了神農AI 中臺推理引擎（OpenVINO2022 版）分別在第三代/第四代英特爾 至強 可擴展處理器上的運行性能差異。對比第三代英特爾至強 可擴展處理器方案，第四代英特爾 至強 可擴展處理器將推理能力提升了約4.5 倍 (FPS)²，同時保持了推理準確度。

在第二輪測試中，東華發思特對比了在 INT8 與 BF16 精度下的性能差異。測試數據如圖 3 所示，INT8 處理模型在體積減少的同時，在推理性能上實現了 1.5 倍 (FPS) 的性能提升³。

第四代英特爾 至強 可擴展處理器
為客戶提供更低成本高收益的AI解決方案

眾所周知，硬件算力是AI推理引擎運行的關鍵因素之一，因此選擇合適的硬件設備對于推理引擎的性能和效率至關重要。雖然 GPU 服務器在深度學習模型推理方面具有較高的性能和效率，但是仍然存在一些不足之處。

首先，采用 GPU 服務器進行深度學習模型推理，需要專門的 GPU 硬件設備，這將帶來較高的硬件采購和配套設施建設成本。此外，GPU 服務器的應用范圍受限，不夠靈活，難以適應不同場景的需求。 其次，GPU 服務器上進行深度學習模型推理需要復雜的部署和調優，門檻相對較高，難以滿足新增應用快速上線的需求。相比之下，CPU 服務器具有更強的靈活性、敏捷性和可擴展性，適用于大數據、云計算、虛擬化等多種業務場景，方便部署和管理，能夠滿足企業不同業務場景的動態資源需求。 另外，隨著技術的不斷發展，CPU 在面向 AI 工作負載的技術特性升級和性能優化方面也有了很大的進步。通過使用新的處理器架構、加速器、向量計算單元等技術，CPU 已經能夠廣泛滿足客戶不同 AI 應用對于算力的要求。同時，CPU 的高可靠性和穩定性也能夠保證算法的運行穩定性和數據的安全性。

基于第四代英特爾 至強 可擴展處理器以及最新版的 OpenVINO 工具套件，英特爾提供的AI解決方案，使東華發思特神農 AI 中臺的 AI 推理性能得到提升的同時，使硬件采購成本以及空間、功耗和軟硬件調優等成本則得到降低，為客戶帶來了以下價值：

[ 更好的性能表現 ]

推理引擎通過使用最新的技術和硬件平臺，提高了推理性能和效率，從而可以更快地執行深度學習模型的推理計算，在部分應用場景中的性能表現比肩 GPU，為深度學習應用提供更高效、更穩定的支持。

[ 更低的成本和更高的效益 ]

推理引擎使用高效的 AI 工作負載加速方式，可以在保證性能的同時，降低硬件和軟件的成本，提高推理的效益。對比基于獨立 GPU 的方案，該方案的成本優勢更加明顯。

[ 更好的兼容性 ]

推理引擎可以在不同的硬件平臺和操作系統內核上運行，支持多種深度學習框架和模型，具有很好的兼容性和靈活性，可以滿足不同客戶的需求。

東華發思特與英特爾在現有合作基礎上，繼續探索第四代英特爾至強可擴展處理器在 AI 領域的推理性能潛力，證明了第四代英特爾至強 可擴展處理器在架構和高級硬件特性方面的提升，有助于加速 AI 負載。切換到基于第四代英特爾 至強 可擴展處理器的基礎設施平臺后，東華發思特有望提高神農 AI 中臺的效益和性能，為客戶帶來更高效的 AI 服務。

面向新一輪 AI 領域的大變革，東華發思特與英特爾未來將深度整合AI 領域的技術合作，包括基礎設施和模型算法的優化等，為客戶提供更先進的算法和模型，以及更靈活和更可擴展的計算架構和平臺，助力客戶實現業務 AI 的升級與轉型。

資料援引：1.https://www.idc.com/getdoc.jsp?containerId=prCHC50539823 ，截至 2023 年 6 月。

2.數據援引自東華發思特與英特爾截止 2023 年 5 月的內部測試結果。測試配置：原有方案 — 雙路英特爾至強金牌 6348 處理器 @ 2.60GHz，28 核，768 GB 總內存 (24*32 GB DDR4 2933 MHz)，Ubuntu 20.04.5 LTS，ShenNong-AI.2022 (OpenVINO)；新方案 — 雙路英特爾至強鉑金 8480+ 處理器 @ 2.0GHz，56 核，256 GB 總內存 (16*16 GB DDR5 4800 MHz)，CentOS Linux release 8.5.2111，ShenNong-AI.2022 (OpenVINO) 和 ShenNong-AI.2023 (OpenVINO)。英特爾并不控制或審計第三方數據。請您審查該內容，咨詢其他來源，并確認提及數據是否準確。 3.數據援引自東華發思特與英特爾截止 2023 年 5 月的內部測試結果。測試配置：雙路英特爾至強鉑金 8480+ 處理器 @ 2.0GHz，56 核，256 GB 總內存 (16*16 GB DDR5 4800 MHz)，CentOS Linux release 8.5.2111，ShenNong-AI.2022 (OpenVINO) 和 ShenNong-AI.2023 (OpenVINO)。英特爾并不控制或審計第三方數據。請您審查該內容，咨詢其他來源，并確認提及數據是否準確。

想看更多“芯”資訊

用你的贊和在看告訴我們～

英