DeepSeek來(lái)襲！

最近，AI界新星DeepSeek（中文名：深度求索）迅速崛起，憑借低成本、高性能的AI模型火爆全網(wǎng)。其核心是一個(gè)強(qiáng)大的語(yǔ)言模型，能夠理解自然語(yǔ)言并生成高質(zhì)量文本，此外DeepSeek免費(fèi)向全球開(kāi)發(fā)者開(kāi)放，加速了AI技術(shù)普及。

RK3588性能優(yōu)勢(shì)

RK3588作為一款高性能AI芯片，采用了8nm LP 制程，搭載八核處理器，四核GPU以及6TOPS算力的NPU，依靠強(qiáng)大的性能和低功耗特性，非常適合邊緣計(jì)算場(chǎng)景。>>>>【新品發(fā)布】迅為RK3588人工智能AI主板

能否在RK3588部署Deepseek呢

在RK3588上部署Deepseek有兩種方法,分別是使用Ollama工具部署和使用瑞芯微官方的 RKLLM量化部署。下面分別對(duì)這兩種部署方式進(jìn)行介紹。

01-使用Ollama工具部署

Ollama 是一個(gè)開(kāi)源的大模型服務(wù)工具，可以支持最新的deepseek模型，以及Llama 3，Phi 3，Mistral，Gemma 和其他多種模型，在安裝Ollama工具之后，使用以下命令即可一鍵部署15億參數(shù)的deepseek-r1模型，運(yùn)行之后如下圖所示：

ollama run deepseek-r1:1.5b

接下來(lái)就可以向該模型進(jìn)行提問(wèn)了，如下圖所示：

這里只是運(yùn)行的15億參數(shù)大小的模型，所以回復(fù)的可能并不是很準(zhǔn)確，如果想要更高的準(zhǔn)確率可以切換為參數(shù)更大的模型，但參數(shù)變大之后相應(yīng)的回復(fù)速度也會(huì)變慢，并且使用Ollama工具部署的推理模型調(diào)用的是CPU進(jìn)行的運(yùn)算，如下圖所示：

可以看到在回復(fù)的過(guò)程中CPU的負(fù)載達(dá)到了百分之百，并沒(méi)有調(diào)用NPU進(jìn)行加速，那要如何將RK3588強(qiáng)悍的NPU調(diào)用起來(lái)呢，這就要看第二種方法使用瑞芯微官方的RKLLM進(jìn)行量化部署了。

02-使用RKLLM量化部署

RKLLM-Toolkit 是為用戶提供在計(jì)算機(jī)上進(jìn)行大語(yǔ)言模型的量化、轉(zhuǎn)換的開(kāi)發(fā)套件。通過(guò)該工具提供的Python接口可以便捷地完成以下功能：

1.模型轉(zhuǎn)換：支持部分格式的大語(yǔ)言模型轉(zhuǎn)換為RKLLM 模型轉(zhuǎn)換后的 RKLLM 模型能夠在 Rockchip NPU 平臺(tái)上加載使用
2.量化功能：支持將浮點(diǎn)模型量化為定點(diǎn)模型

DeepSeek轉(zhuǎn)換完成的RKLLM模型如下圖所示：

然后將其傳輸?shù)介_(kāi)發(fā)板上，使用對(duì)應(yīng)的可執(zhí)行文件運(yùn)行即可，運(yùn)行之后如下圖所示：

接下來(lái)向該模型提出問(wèn)題即可，回復(fù)內(nèi)容如下所示：

在回復(fù)的過(guò)程中查看CPU和NPU的利用率，可以看到CPU的占用率已經(jīng)降了下來(lái)，并且調(diào)用了NPU的3個(gè)核心進(jìn)行加速推理：

至此，關(guān)于DeepSeek在RK3588上的部署推理就測(cè)試完成了。