來自 AI 生態(tài)系統(tǒng)各個(gè)領(lǐng)域的 150 余家合作伙伴嵌入了 NIM 推理微服務(wù)，將企業(yè)級(jí) AI 應(yīng)用的部署時(shí)間從數(shù)周縮短至幾分鐘

NVIDIA 開發(fā)者計(jì)劃會(huì)員可免費(fèi)使用 NIM 來進(jìn)行研究、開發(fā)和測(cè)試

?
COMPUTEX—2024 年 6 月 2 日—NVIDIA 于今日宣布，全球 2,800 萬開發(fā)者現(xiàn)可下載 NVIDIA NIM?——一種推理微服務(wù)，通過經(jīng)優(yōu)化的容器的形式提供模型——以部署在云、數(shù)據(jù)中心或工作站上。借助 NVIDIA NIM，開發(fā)者能夠輕松地為 copilots、聊天機(jī)器人等構(gòu)建生成式 AI 應(yīng)用，所需時(shí)間從數(shù)周縮短至幾分鐘。
?
這些新的生成式 AI 應(yīng)用正變得越來越復(fù)雜，通常需要使用具有不同功能的多個(gè)模型來生成文本、圖像、視頻、語(yǔ)音等。NVIDIA NIM 提供了一種簡(jiǎn)單、標(biāo)準(zhǔn)化的方式，將生成式 AI 添加到應(yīng)用中，顯著提高了開發(fā)者的工作效率。
?
NIM 還可使企業(yè)能夠最大限度利用其基礎(chǔ)設(shè)施投資。例如，相較于未使用 NIM 的情況下，在 NIM 中運(yùn)行 Meta Llama 3-8B 時(shí)，后者在加速基礎(chǔ)設(shè)施上可產(chǎn)生高達(dá) 3 倍的生成式 AI token。這使企業(yè)能夠大幅提高效率，使用相同的計(jì)算基礎(chǔ)設(shè)施來生成更多的結(jié)果。
?
包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和新思科技等近 200 家技術(shù)合作伙伴正在將 NIM 集成到他們的平臺(tái)中，以加快特定領(lǐng)域應(yīng)用的生成式 AI 部署，例如 copilot、代碼助手和數(shù)字人虛擬形象。從 Meta Llama 3 開始，在 Hugging Face 上現(xiàn)已開始提供 NIM。
?
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“每個(gè)企業(yè)都希望在其運(yùn)營(yíng)中融入生成式 AI，但并非每個(gè)企業(yè)都擁有專門的 AI 研究團(tuán)隊(duì)。NVIDIA NIM 可被集成到任意平臺(tái)中，任何地方的開發(fā)者都可以訪問，并且可以在任意環(huán)境中運(yùn)行——它正在助力科技行業(yè)將生成式 AI 普及到每一個(gè)企業(yè)組織。”
?
通過 NVIDIA AI Enterprise 軟件平臺(tái)，企業(yè)可以使用 NIM 在生產(chǎn)系統(tǒng)中部署 AI 應(yīng)用。從下個(gè)月開始，NVIDIA 開發(fā)者計(jì)劃的會(huì)員可以免費(fèi)使用 NIM，在其選擇的基礎(chǔ)設(shè)施上進(jìn)行研究、開發(fā)和測(cè)試。
?
40 余個(gè) NIM 微服務(wù)為跨模式的生成式 AI 賦能
NIM 容器是預(yù)構(gòu)建的，以加速模型部署，可用于 GPU 加速推理，其中包括 NVIDIA CUDA? 軟件、NVIDIA Triton 推理服務(wù)器?和 NVIDIA TensorRT?-LLM 軟件。
?
在 ai.nvidia.com 網(wǎng)站上，超過 40 個(gè) NVIDIA 及社區(qū)模型可作為 NIM 端點(diǎn)進(jìn)行體驗(yàn)，其中包括 Databricks DBRX、谷歌開放模型 Gemma、Meta Llama 3、微軟 Phi-3、Mistral Large、Mixtral 8x22B 和 Snowflake Arctic。
?
開發(fā)者現(xiàn)在可以從 Hugging Face AI 平臺(tái)上，訪問 Meta Llama 3 模型的 NVIDIA NIM 微服務(wù)。通過基于 NVIDIA GPU 的 Hugging Face 推理端點(diǎn)，只需點(diǎn)擊幾下，開發(fā)者就能在其選擇的云平臺(tái)上輕松地訪問和運(yùn)行 Llama 3 NIM。
?
企業(yè)可以使用 NIM 來運(yùn)行用于生成文本、圖像和視頻、語(yǔ)音以及數(shù)字人的應(yīng)用。借助面向數(shù)字生物學(xué)的 NVIDIA BioNeMo? NIM 微服務(wù)，研究人員可以構(gòu)建新的蛋白質(zhì)結(jié)構(gòu)，加速藥物研發(fā)。
?
數(shù)十家醫(yī)療公司正在一系列應(yīng)用中部署 NIM，以便在手術(shù)規(guī)劃、數(shù)字助手、藥物研發(fā)和臨床試驗(yàn)優(yōu)化等一系列應(yīng)用中為生成式 AI 推理提供動(dòng)力。
?
借助全新的 NVIDIA ACE NIM 微服務(wù)，開發(fā)者可以在客戶服務(wù)、遠(yuǎn)程醫(yī)療、教育、游戲和娛樂等應(yīng)用中，輕松構(gòu)建和操作栩栩如生的交互式數(shù)字人。
?
數(shù)百家 AI 生態(tài)系統(tǒng)合作伙伴已嵌入 NIM
包括 Canonical、Red Hat、Nutanix 和 VMware（已被博通收購(gòu)）在內(nèi)的平臺(tái)提供商已在開源 KServe 或企業(yè)解決方案方面支持 NIM。AI 應(yīng)用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 來支持生成式 AI 推理。
?
領(lǐng)先的 AI 工具和 MLOps 合作伙伴（包括亞馬遜 SageMaker、微軟 Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights & Biases）也已將 NIM 嵌入到其平臺(tái)，使開發(fā)者能夠通過優(yōu)化推理來構(gòu)建和部署特定領(lǐng)域的生成式 AI 應(yīng)用。
?
全球系統(tǒng)集成商和服務(wù)交付合作伙伴埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、塔塔咨詢服務(wù)（TCS）和威普羅（Wipro）已經(jīng)建立了 NIM 能力，以幫助全球企業(yè)快速開發(fā)和部署生產(chǎn)型 AI 策略。
?
企業(yè)幾乎可以在任何地方運(yùn)行支持 NIM 的應(yīng)用，包括在全球基礎(chǔ)設(shè)施制造商思科、戴爾科技、慧與、聯(lián)想和超微，以及服務(wù)器制造商永擎電子、華碩、技嘉、鴻佰科技、英業(yè)達(dá)、和碩、QCT、緯創(chuàng)資通和緯穎科技的 NVIDIA 認(rèn)證系統(tǒng)? 上運(yùn)行。NIM 微服務(wù)也已集成至亞馬遜云科技、谷歌云、Azure 和 Oracle 云基礎(chǔ)設(shè)施中。
?
行業(yè)巨頭通過 NIM 加強(qiáng)生成式 AI
行業(yè)領(lǐng)導(dǎo)者 Foxconn、和碩、Amdocs、勞氏公司、 ServiceNow 和西門子利用 NIM 來加強(qiáng)生成式 AI 應(yīng)用，涉及制造業(yè)、醫(yī)療、金融服務(wù)、零售、客戶服務(wù)等領(lǐng)域：

?

Foxconn——作為全球最大的電子制造商，F(xiàn)oxconn 正在使用 NIM 開發(fā)針對(duì)特定領(lǐng)域的大語(yǔ)言模型（LLM），并將這些模型嵌入到其 AI 工廠的各種內(nèi)部系統(tǒng)和流程中，用于智能制造、智慧城市和智能電動(dòng)汽車。

和碩——這家臺(tái)灣電子制造公司正在將 NIM 用于 Project TaME，這是一個(gè)當(dāng)?shù)氐幕旌蠈＜遥∕oE）模型，旨在推動(dòng)各行各業(yè)開發(fā)本地化的 LLM。

Amdocs——這家為通信和媒體公司提供軟件和服務(wù)的全球領(lǐng)先供應(yīng)商正在使用 NIM 運(yùn)行客戶計(jì)費(fèi) LLM，該模型顯著降低了 token 成本，將準(zhǔn)確性提高了 30%，并將延遲降低了 80%，從而實(shí)現(xiàn)近乎實(shí)時(shí)的響應(yīng)。

勞氏公司——這家《財(cái)富》雜志 50 強(qiáng)家居裝飾公司正在將生成式 AI 用于各種用例，例如，該零售商正在利用 NVIDIA NIM 推理微服務(wù)來提升員工和客戶的體驗(yàn)。

ServiceNow——這個(gè)用于業(yè)務(wù)轉(zhuǎn)型的 AI 平臺(tái)于今年早些時(shí)候宣布成為首批接入 NIM 的平臺(tái)提供商之一，幫助客戶實(shí)現(xiàn)快速、可擴(kuò)展且更具成本效益的 LLM 開發(fā)和部署。NIM 微服務(wù)已經(jīng)集成到 Now AI 多模態(tài)模型中，可供添加了 ServiceNow 的生成式 AI 功能 Now Assist 的客戶使用。

西門子——作為專注于工業(yè)、基礎(chǔ)設(shè)施、交通和醫(yī)療領(lǐng)域的全球科技公司，西門子正在將其運(yùn)營(yíng)技術(shù)與 NIM 微服務(wù)整合，用于車間 AI 工作負(fù)載。此外，西門子還利用 NIM 為其 Machine Operators 構(gòu)建了一個(gè)本地部署版本的 Industrial Copilot。

?
可用性
開發(fā)者可在 ai.nvidia.com 網(wǎng)站上免費(fèi)試用 NVIDIA 微服務(wù)。企業(yè)可通過在 NVIDIA 認(rèn)證系統(tǒng)和領(lǐng)先的云平臺(tái)上運(yùn)行的 NVIDIA AI Enterprise 來部署生產(chǎn)級(jí) NIM 微服務(wù)。從下個(gè)月開始，NVIDIA 開發(fā)者計(jì)劃的會(huì)員將能夠免費(fèi)使用 NIM 來進(jìn)行研究和測(cè)試。
?
觀看黃仁勛在 COMPUTEX 上發(fā)表的主題演講以了解有關(guān) NVIDIA NIM 的更多資訊。
?
?