支持 NVIDIA NIM 推理微服務的谷歌最新開源模型 PaliGemma 首次亮相。

驅(qū)動生成式 AI 的大語言模型創(chuàng)新前赴后繼，處理文本、圖像和聲音等多種類型數(shù)據(jù)的模型正變得日益普遍。

然而，構(gòu)建和部署這些模型仍具有挑戰(zhàn)性。開發(fā)者需要一種方法來快速體驗和評估模型，在確定最適合其用例的模型后，再以一種經(jīng)濟高效并能帶來最佳性能的方式來優(yōu)化模型性能。

為了讓開發(fā)者更加輕松地創(chuàng)建具有世界一流性能的 AI 應用，NVIDIA 和谷歌在 2024 谷歌 I/O 開發(fā)者大會上宣布了三項新的合作。

Gemma + NIM

借助TensorRT-LLM，NVIDIA 正在與谷歌一同優(yōu)化在此次大會上推出的兩個新模型：Gemma 2 和 PaliGemma。這兩個模型由與構(gòu)建 Gemini 模型相同的研究和技術(shù)構(gòu)建而成，每個模型都專注于一個特定領(lǐng)域：

Gemma 2是具有廣泛用途的新一代 Gemma 模型，借助全新的架構(gòu)來實現(xiàn)突破性的性能和效率。

PaliGemma是受 PaLI-3 啟發(fā)的開源視覺語言模型（VLM）。PaliGemma 基于 SigLIP 視覺模型和 Gemma 語言模型等開放組件構(gòu)建而成，專門用于視覺語言任務，例如圖像和短視頻字幕、視覺問題解答、圖像文本理解、對象檢測和對象分割等。PaliGemma 在各種視覺語言任務中具有領(lǐng)先于同類模型的微調(diào)性能，并且還得到NVIDIA JAX-Toolbox的支持。

Gemma 2 和 PaliGemma 將與NVIDIA AI Enterprise軟件平臺中的NVIDIA NIM推理微服務一起提供，可簡化 AI 模型的大規(guī)模部署。從今天開始，PaliGemma 的 API 目錄可提供對這兩個新模型的 NIM 支持，兩個新模型也將很快在NVIDIA NGC和 GitHub 上以容器的形式發(fā)布。

將加速數(shù)據(jù)分析引入 Colab

谷歌還宣布開源 GPU 數(shù)據(jù)框架庫 RAPIDS cuDF 將默認支持谷歌 Colab，這是最受數(shù)據(jù)科學家歡迎的開發(fā)者平臺之一。現(xiàn)在，谷歌 Colab 的 1000 萬月度用戶只需幾秒鐘，就能使用NVIDIATensor Core GPU將基于 pandas 的 Python 工作流加速高達 50 倍，而且無需修改代碼。

借助 RAPIDS cuDF，使用谷歌 Colab 的開發(fā)者可以加快探索性分析和生產(chǎn)數(shù)據(jù)管道的速度。雖然 pandas 因其直觀的 API 而成為全球最流行的數(shù)據(jù)處理工具之一，但隨著數(shù)據(jù)規(guī)模的增長，應用程序往往會捉襟見肘。即便數(shù)據(jù)只有 5-10 GB ，許多簡單的操作在 CPU 上也需要數(shù)分鐘才能完成，從而降低了探索性分析和生產(chǎn)數(shù)據(jù)管道的速度。

RAPIDS cuDF 旨在通過在適用的 GPU 上無縫加速 pandas 代碼來解決這個問題，而在不適用的 GPU 上則退回到 CPU-pandas。由于 Colab 默認使用 RAPIDS cuDF，世界各地的開發(fā)者都能用上加速數(shù)據(jù)分析。

隨時隨地使用 AI

谷歌和 NVIDIA 還宣布借助搭載NVIDIA RTX顯卡的 AI PC 來開展一項 Firebase Genkit 的合作，使應用開發(fā)者能夠輕松地將生成式 AI 模型（例如新的 Gemma 模型系列）集成到他們的網(wǎng)絡和移動應用中，以便提供自定義內(nèi)容、進行語義搜索和回答問題。開發(fā)者可以先使用本地 RTX GPU 啟動工作流，然后將工作無縫遷移到谷歌云基礎(chǔ)設施。

更加方便的是，開發(fā)者可以通過 Genkit 使用 JavaScript（一種移動開發(fā)者在構(gòu)建應用時常用的編程語言）來構(gòu)建應用。

創(chuàng)新無止境

NVIDIA 和谷歌云正在多個領(lǐng)域開展合作，共同推進 AI 的發(fā)展。無論是即將推出的 Grace Blackwell 架構(gòu) DGX Cloud 平臺和 JAX 框架支持，還是將NVIDIA NeMo框架引入 Google Kubernetes Engine，兩家公司的全棧合作為客戶在谷歌云上借助 NVIDIA 技術(shù)使用 AI 帶來了更多可能性。