華為技術有限公司宣布旗下 ModelEngine AI 平臺全面支持 DeepSeek 大模型 R1&V3 和蒸餾系列模型的本地部署與優化,在 AI 領域引發廣泛關注。
華為 ModelEngine 是大模型訓練、推理和應用開發的 AI 平臺,提供從數據預處理到模型訓練、優化及部署的一站式服務。此次基于昇騰 AI 芯片,ModelEngine 通過推理框架優化和 MoE 存算協同,提供動態換入換出和全局統一緩存,實現推理高并發和低時延,讓用戶能更好地體驗 DeepSeek 的推理能力。
對于開發者而言,這一支持意義重大。ModelEngine 全面兼容 DeepSeek 系列模型 R1&V3 671B 以及蒸餾系列模型,開發者借助它可實現 “一鍵部署”,免去硬件選型、兼容性驗證和環境配置等繁瑣流程,極大降低企業 AI 應用門檻。并且,ModelEngine 高度的開放性和模塊化設計,大幅縮短了 DeepSeek 的本地部署時間。
在實際操作上,以 DeepSeek-R1 為例,開發者登錄 ModelEngine 模型管理頁面,上傳 DeepSeek-R1 FP8 權重并進行格式轉換,在模型服務頁面選擇 BF16 精度的模型權重版本下發推理服務、啟動任務部署,隨后 ModelEngine 使用 MindIE 推理框架啟動 DeepSeek-R1 推理服務,支持 OpenAI API 調用風格的推理服務接口和訪問方式,用戶便可將該 API 集成到對話、RAG 以及 Agent 應用中。
不僅如此,ModelEngine 還提供負載均衡、模型安全接入、多用戶配額管理等高階特性,支持大規模生產環境下的穩定運行。某證券公司引入 DCS AI 全棧解決方案后,運維成本降低 42%,便是有力證明。
-
華為
+關注
關注
216文章
34710瀏覽量
253906 -
AI
+關注
關注
87文章
32569瀏覽量
271891 -
DeepSeek
+關注
關注
1文章
638瀏覽量
438
發布評論請先 登錄
相關推薦
RK3588開發板上部署DeepSeek-R1大模型的完整指南
添越智創基于 RK3588 開發板部署測試 DeepSeek 模型全攻略
曙光云全系列產品支持DeepSeek
黑芝麻智能芯片全面兼容DeepSeek模型推理
曙光云全面支持DeepSeek大模型
訊飛開放平臺支持DeepSeek
誠邁信創電腦實現DeepSeek平臺本地部署
飛騰CPU成功支持DeepSeek全系列大模型
誠邁信創電腦實現本地部署DeepSeek,開啟智慧辦公新體驗

華為ModelEngine助力DeepSeek全系列本地部署
華為ModelEngine AI平臺全面支持DeepSeek

評論