隨著DeepSeek 的蒸餾技術的橫空出世,端側 SoC 芯片上運行大模型成為可能。那么端側芯片跑大模型的效果如何呢?本文將在全志 A733 芯片平臺上部署一個 DeepSeek-R1:1.5B 模型,并進行實測效果展示。 端側平臺環境
設備:全志A733平板
系統:Android 15
DDR:8GB LPDDR5 @2400MHz
Flash:128GB UFS3.0
測試模型:Deepseek-R1-Distill-Qwen-1.5B
首先,我們測試AI經典哲學問題“你是誰?”
實測視頻:
輸入運行命令之后可看到模型運行起來了,此時我們就可以開始和Deepseek對話了。
從實拍視頻可以看到,這個輸出速度基本可以滿足正常對話的交互體驗。
然后我們要求Deepseek“快速寫一段代碼計算1-9999的和”
實測視頻如下:
可以看到,Deepseek會先對題目進行分析,他很快就分辨出了這是一個經典的等差數列求和問題,并給出了計算公式。
然后,可以看到在沒有指定編程語言的情況下,Deepseek默認使用python寫出了計算代碼。
最后,Deepseek對整個解題思路進行了歸納總結。
我們再嘗試解一個一元二次方程:“求解方程x^2+4x+4=0”
實測視頻如下:
同樣,Deepseek也是快速理清了題意,判別出了這是一個解一元二次方程的題目,并給出了求解公式。
然后Deepseek知道先對方程進行重根判別,判別出這道題是只有一個重根的。
最后,Deeepseek 將題目代入公式進行求解,馬上便得出了正確的計算結果。
經測試,可以得出結論是Deepseek-R1-Distill-Qwen-1.5B 是可以在全志A733芯片平臺的平板電腦上較流暢地運行的,并且可以讓Deepseek擁有中學生級別的邏輯推理能力。而這才是一個開始。后續,隨著量化技術的不斷發展,模型的體積和計算復雜度將進一步降低,從而更好地適應端側設備的資源限制。未來,我們期待 DeepSeek 在更多場景中發揮其強大的功能,為用戶提供更加智能和便捷的體驗。
-
芯片
+關注
關注
459文章
51659瀏覽量
430416 -
全志
+關注
關注
24文章
257瀏覽量
53444 -
DeepSeek
+關注
關注
1文章
654瀏覽量
473
原文標題:【實測】用全志A733平板搭建一個端側Deepseek算力平臺
文章出處:【微信號:gh_79acfa3aa3e3,微信公眾號:全志在線】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
中軟國際Lumi智能體開發平臺支持DeepSeek
DeepSeek驅動AI算力市場升溫,智算中心利用率望提升
軟硬協同優化,安謀科技新一代“周易”NPU實現DeepSeek-R1端側高效部署

【實測】用全志A733平板搭建一個端側Deepseek算力平臺
端側AI元年爆發!廣和通AI模組及解決方案全面支持DeepSeek-R1蒸餾模型

DeepSeek對芯片算力的影響


評論