搭建一個企業內部AI 問答機器人、知識庫的場景,我們可以選擇大廠的云服務,這相對于大多數用戶來說,是最省事的方案。但很多企業可能會有一些私有化的數據,或者受限于企業內部的安全性要求,只能走模型私有化部署的方式。

很多人想到模型私有化部署,會以為要數據中心的多臺服務器來做,其實不然。

辦公室里搭建 AI 工作站,已經可以完美地支持企業內部知識庫和一些POC場景的需求,比如進行量化的 70B 模型的訓練和推理工作。所以在辦公室環境下,同樣可以搭建一個 AI 問答機器人。

贊奇科技基于 NVIDIA ChatRTX 搭建的企業問答機器人

但搭建一個AI 問答機器人又是一個涉及硬件選擇、安裝、開發環境部署的綜合過程。

最近贊奇的工程師團隊測試了幾款主流大模型,就采用 AI 工作站搭建一個本地問答機器人提供了一些建議參考,這里抓一些重點給大家:

第一步 確定需求與目標

這一步至關重要,需要確定以下關鍵點:

性能要求:了解所做任務的復雜度,如知識庫所需要采樣的數據庫的大小,未來的用戶并發量等,以此來預估所需的計算資源和存儲空間等,通常我們可以用現有機器跑任務測試的方式來評估。

預算范圍:明確愿意投入的資金等成本范圍。對預算沒有概念的小伙伴可以通過詢問,或者參考公開市場價格等方式來加速了解。

第二步 選擇合適的硬件

根據需求我們來制定硬件配置,AI 工作站比較關鍵的配置有 GPU、CPU、內存、機箱等。

GPU

GPU 是 AI 工作站中非常核心的算力,也是 AI 工作站中需要首先考慮的配件。目前適用于專業 AI 工作站的顯卡主要有 NVIDIA RTX? 5880 Ada (48GB) 及 NVIDIA RTX? 5000 Ada (32GB) 等,這兩款顯卡屬于 NVIDIA 專業級顯卡,主動散熱、功耗很低而且非常穩定,靜音也適合辦公室使用。

我們可以看看兩款顯卡的參數:

我們需要根據算力需求來配置工作站中的顯卡,包括顯卡型號和數量。AI 工作站可至多支持 4 張高性能專業顯卡,同時一個工作站中需要配置同一型號的顯卡,并且一般采用單卡、雙卡和四卡的配置。

這就需要我們同時要了解不同型號顯卡的性能,才能來匹配任務需求。這是個極大的挑戰。很多人對顯卡性能并不熟悉,而且在不同的任務情況下,顯卡的表現也會有所不同。我們可以參考與我們類似的任務在顯卡上的測評數據來評估。有條件的話,在購買時建議最好提前測試下。

顯卡實測數據

很多企業采用 AI 工作站來做知識庫、智能問答等應用,主要任務是本地的模型微調和推理,模型大小普遍選擇在 7B/8B,13B,32B 和 70B。

NVIDIA 解決方案合作伙伴贊奇科技,分別對 AI 工作站中搭載 NVIDIA RTX 5880 Ada、NVIDIA RTX 5000 Ada 的單卡、雙卡、四卡配置進行了模型訓練和推理的測試,測試數據供大家在選型時參考。

AI 工作站搭載 NVIDIA RTX 5000 Ada 的實測

NVIDIA RTX 5000 Ada

(圖片源于 NVIDIA)

測試環境:

CPU: Intel(R) Xeon(R) w5-3433

內存:64G DDR5 * 8

GPU: NVIDIA RTX 5000 Ada * 4

操作系統:ubuntu22.04

Driver Version: 550.107.02

CUDA: 12.1

推理框架:vllm

測試數據(以下數據均為多次測試數據的平均值):

AI 工作站搭載 NVIDIA RTX 5880 Ada 的實測

NVIDIA RTX 5880 Ada

(圖片源于 NVIDIA)

測試環境:

CPU: Intel(R) Xeon(R) w5-3433

內存:64G DDR5 * 8

GPU: NVIDIA RTX 5880 Ada * 4

操作系統:ubuntu 22.04

Driver Version: 550.107.02

CUDA: 12.1
推理框架:vllm

測試數據(以下數據均為多次測試數據的平均值):

噪音測試

無論是搭載 4 張 NVIDIA RTX 5880 Ada, 還是 4 張 NVIDIA RTX 5000 Ada 的品牌 AI 工作站,在壓測情況下機器出風口測得的噪音水平控制在 50-60 分貝,基本上接近環境音的水平,辦公室噪音?那是沒有的!

以上測試數據均來源于贊奇科技 。

其他配置

CPU 要注意考慮和 GPU 的匹配問題。實際使用中,具有較高核心數和主頻的CPU 運行速度更快,更高的緩存也會提升運行效率。4卡工作站環境中內存建議 256GB 以上,存儲也要依據使用需求來確定。

機箱要考慮電源、噪音、兼容性、擴展性等因素,電源的話要計算所有組件的最大功率消耗并留有余量,以應對峰值和未來硬件升級的可能。噪音和散熱情況一定要提前了解,因為這會直接影響辦公環境(還有心情)。

當然也可以更省事一點兒,參考我們本次測試所采用的工作站的配置環境!

第三步

安裝操作系統、配置開發環境+

AI 工作站到位安裝好后,可以根據偏好和軟件兼容性,選擇合適的操作系統、驅動程序、軟件等進行安裝。同時配置開發環境所需的工具、模型、數據集等。

當然,您也可以聯系我們,一站式配置好軟硬件相關的環境,做到開箱即用!

第四步

測試與優化

通過運行一些基本的小型 AI 項目,驗證工作站在實際任務中的運行速度、穩定性、散熱情況、噪音等情況。同時還可以利用 NVIDIA System Management Interface 等工具監控 GPU 使用情況,根據需要調整代碼或資源配置以提高顯卡效率。

實際過程中,大部分靠譜廠商出廠過程中會包含上述步驟。此時我們需要做的工作是在上述環境準備完善的前提下,上傳自己的數據,通過 RAG 或者微調的方式對自己的數據做一次整理。接下來,就迎接自己內部的問答機器人吧!

審核編輯 黃宇