簡化和優(yōu)化生成式 AI 開發(fā)的工具備受追捧，需求與日俱增。借助基于檢索增強(qiáng)生成（RAG）（該技術(shù)通過從指定外部來源獲取事實資料，來提高生成式 AI 模型的準(zhǔn)確性和可靠性）的應(yīng)用和自定義模型，開發(fā)者能夠根據(jù)其具體需求調(diào)整 AI 模型。

此類工作在過去可能需要復(fù)雜的設(shè)置，而新工具使這項工作變得空前簡單。

NVIDIA AI Workbench 可協(xié)助 AI 開發(fā)者構(gòu)建自己的 RAG 項目、自定義模型等等，這些功能簡化了開發(fā)者的工作流。該工具是在 COMPUTEX 展會上推出的 RTX AI Toolkit 的一部分，它是一套用于自定義、優(yōu)化和部署 AI 功能的工具和軟件開發(fā)套件。復(fù)雜的技術(shù)任務(wù)有可能誤導(dǎo)專家并讓初學(xué)者難以上手，而 AI Workbench 使其復(fù)雜度大大降低。

NVIDIA AI Workbench 是什么？

用戶可免費使用 NVIDIA AI Workbench，用戶能夠在各類 GPU 系統(tǒng)（如筆記本電腦和工作站到數(shù)據(jù)中心和云計算）上開發(fā)、試驗、測試 AI 應(yīng)用和制作 AI 應(yīng)用原型。該工具為各類用戶跨系統(tǒng)創(chuàng)建、使用和共享 GPU 開發(fā)環(huán)境提供了新的方法。

用戶只需花幾分鐘即可輕松安裝，在本地或遠(yuǎn)程機(jī)器上啟動并運行 AI Workbench。然后，用戶就可以新建項目或從 GitHub 上的示例中復(fù)制一個項目。一切都通過 GitHub 或 GitLab 進(jìn)行，因此用戶可以輕松進(jìn)行協(xié)作和分發(fā)工作。深入了解如何開始使用 AI Workbench。

AI Workbench 如何助力解決 AI 項目的挑戰(zhàn)

開發(fā) AI 工作負(fù)載從一開始就需要手動執(zhí)行一些通常來說很復(fù)雜的流程。

設(shè)置 GPU、更新驅(qū)動和管理版本不兼容問題可能會很麻煩。在不同系統(tǒng)之間復(fù)制項目可能需要一遍又一遍地重復(fù)手動流程。復(fù)制項目時若出現(xiàn)數(shù)據(jù)碎片化和版本控制問題等不一致情況，還可能阻礙協(xié)作。各種設(shè)置流程、移動憑據(jù)和機(jī)密，以及更改環(huán)境、數(shù)據(jù)、模型和文件位置都會限制項目的可移植性。

借助 AI Workbench，數(shù)據(jù)科學(xué)家和開發(fā)者可以更輕松地跨異構(gòu)平臺管理工作和協(xié)作。該工具在開發(fā)流程的各個方面實現(xiàn)了集成和自動化，并具有以下特點：

易于設(shè)置：AI Workbench 簡化了 GPU 加速的開發(fā)環(huán)境的設(shè)置流程，讓技術(shù)知識有限的用戶也能操作。

無縫協(xié)作：AI Workbench 與 GitHub 和 GitLab 等版本控制和項目管理工具集成，有助于減少協(xié)作時可能產(chǎn)生的不便。

從本地擴(kuò)展到云端時保持一致性：AI Workbench 確保跨多個環(huán)境依然可以保持一致性，支持在本地工作站或 PC 和數(shù)據(jù)中心或云端之間擴(kuò)容或縮容。

利用 RAG 處理文檔，操作比以往更加順暢

NVIDIA 提供 Workbench 項目開發(fā)示例，協(xié)助用戶開始使用 AI Workbench。混合式 RAG Workbench 項目就是一個例子：它在本地工作站、PC 或遠(yuǎn)程系統(tǒng)上運行基于文本的自定義 RAG Web 應(yīng)用來處理用戶的文檔。

每個 Workbench 項目都在一個“容器”（即包含運行 AI 應(yīng)用所需的所有必要組件的軟件）中運行。混合式 RAG 示例將主機(jī)上的 Gradio 聊天界面前端與容器化 RAG 服務(wù)器配對，而后端負(fù)責(zé)處理用戶請求并在向量數(shù)據(jù)庫和所選的大語言模型之間傳輸數(shù)據(jù)。

該 Workbench 項目支持 NVIDIA GitHub 頁面上提供的各種 LLM。此外，該項目的混合特性允許用戶選擇在何處運行推理。

Workbench 項目讓用戶可以對開發(fā)環(huán)境和代碼進(jìn)行版本控制。

開發(fā)者可以在主機(jī)上運行嵌入模型，并在 Hugging Face 文本生成推理服務(wù)器上本地運行推理，在目標(biāo)云資源上使用 NVIDIA 推理端點（如 NVIDIA API 目錄），或使用自托管微服務(wù)（如 NVIDIA NIM 或第三方服務(wù)）運行推理。

混合式 RAG Workbench 項目還包括：

性能指標(biāo)：用戶可以評估基于 RAG 和非 RAG 的用戶查詢在每種推理模式中的表現(xiàn)情況。這些指標(biāo)包括檢索時間、首 Token 延遲（Time to First Token, TTFT）和 Token 速率（Token Velocity）。

檢索透明度：面板會顯示精確文本片段（在向量數(shù)據(jù)庫中檢索到的語義相關(guān)度最高的內(nèi)容），并且這些片段會被輸入到 LLM 中，以提高回復(fù)與用戶請求的相關(guān)度。

響應(yīng)自定義：用戶可以使用各種參數(shù)調(diào)整響應(yīng)，例如要生成的最大令牌數(shù)、溫度和頻率懲罰。

您只需在本地系統(tǒng)上安裝 AI Workbench，即可開啟此項目。您可將混合式 RAG Workbench 項目從 GitHub 帶入到用戶帳戶并復(fù)制到本地系統(tǒng)。

如需了解詳情，請前往 AI Decoded 用戶指南獲取更多資源。此外，社區(qū)成員還提供實用的視頻教程，例如下面來自 Joe Freeman 的教程。

自定義、優(yōu)化、部署

開發(fā)者經(jīng)常試圖針對特定用例自定義 AI 模型。微調(diào)是一種通過使用額外數(shù)據(jù)訓(xùn)練模型，進(jìn)而改變模型的技術(shù)，該技術(shù)可用于風(fēng)格遷移或改變模型行為。AI Workbench 也有助于進(jìn)行微調(diào)。

Llama-factory AI Workbench 項目提供適用于各種模型的 QLoRa（一種可大幅減少內(nèi)存需求的微調(diào)方法），并可通過簡單的圖形用戶界面實現(xiàn)模型量化。開發(fā)者可以使用公開或自有的數(shù)據(jù)集來滿足其應(yīng)用的需求。

微調(diào)完成后，用戶即可對模型進(jìn)行量化以提高性能并減少顯存占用，然后將其部署到原生 Windows 應(yīng)用進(jìn)行本地推理或部署到 NVIDIA NIM 進(jìn)行云推理。如需了解該項目的完整教程，請在 NVIDIA RTX AI Toolkit 倉庫中進(jìn)行查找。

真正的混合式設(shè)計：隨時隨地運行 AI 任務(wù)

上述的混合式 RAG Workbench 項目在多個方面采用混合式設(shè)計。除了提供推理模式選擇外，該項目還可以在 NVIDIA RTX 工作站和 GeForce RTX PC 上本地運行，或擴(kuò)展到遠(yuǎn)程云服務(wù)器和數(shù)據(jù)中心。

用戶可以在自己選擇的系統(tǒng)上運行所有 Workbench 項目，并且不會在設(shè)置基礎(chǔ)設(shè)施方面產(chǎn)生開銷。在 AI Workbench 快速入門指南中查找更多關(guān)于微調(diào)和自定義的示例和說明。