?作者:算力魔方創始人/英特爾邊緣計算創新大使 劉力
前面我們分享了《在算力魔方上本地部署Phi-4模型》,實現了在邊緣端獲得Llama 3.3 70B模型差不多的能力。還分享,《如何在邊緣端獲得類似GPT4-V的能力:MiniCPM-V 2.6 》。本文將分享在本地運行能與OpenAI-o1 能力相媲美的DeepSeek-R1模型。
[編者注]:OpenAI-o1是OpenAI 于2024年9月12日發布的針對復雜推理問題的全新大模型,也就是Sam一直說的“草莓”。該模型一經發布就引起了巨大關注,它能在回答問題之前能夠進行更長時間的“深度思考”,且思考時間越長,推理質量越高。
2025年1月20日,DeepSeek 正式開源 DeepSeek-R1 推理模型,其能力跟OpenAI-o1正式版差不多,另外還提供經過蒸餾,能在本地運行的小模型,其能力跟 OpenAI-O1-mini 近似:
參考鏈接:https://github.com/deepseek-ai/DeepSeek-R1
本文將分享DeepSeek-R1-Distill-Qwen-7B模型在算力魔方?4060版上的部署過程。
一,安裝Ollama
請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。
二,運行DeepSeek-R1-Distill-Qwen-7B
使用下面的命令完成運行DeepSeek-R1-Distill-Qwen-7B:
ollama run deepseek-r1
三,體驗DeepSeek-R1的數學、代碼和推理能力
輸入下面的提示詞,體驗DeepSeek-R1的數學、代碼和推理能力:
忒修斯之船悖論測試推理能力:“如果一艘船的所有部件都被替換,它還是原來的船嗎?請從哲學、物理和邏輯學角度分別分析,并嘗試提出一個自洽的解決方案?”
高階數學推理測試數學能力:“證明:在三維歐幾里得空間中,不存在五個兩兩正交的非零向量。請分步驟說明邏輯推導過程,并檢查是否存在拓撲學或線性代數視角的替代證明方法。”
極端場景處理測試編程能力:“編寫C程序實現高精度溫度傳感器數據處理,要求:1,在內存<2KB的嵌入式設備運行;2,能處理傳感器噪聲(Kalman濾波)。給出防止整型溢出和浮點誤差的具體策略。”
視頻鏈接如下:
https://live.csdn.net/v/460546
四,總結
使用Ollama可以方便快捷的將DeepSeek-R1模型本地化部署在算力魔方?上,讓您獲得強大的數學、代碼和推理能力。
如果你有更好的文章,歡迎投稿!
稿件接收郵箱:nami.liu@pasuntech.com
更多精彩內容請關注“算力魔方?”!
?審核編輯 黃宇
-
AI
+關注
關注
87文章
31409瀏覽量
269817 -
OpenAI
+關注
關注
9文章
1114瀏覽量
6625
發布評論請先 登錄
相關推薦
評論