如何在邊緣端獲得GPT4-V的能力：算力魔方+MiniCPM-V 2.6
作者：算力魔方創始人/英特爾邊緣計算創新大使 劉力
前面我們分享了《在算力魔方上本地部署Phi-4模型》，實現了在邊緣端獲得Llama 3.3 70B模型差不多的能力。本文將分享，在邊緣端獲得類似GPT4-V的能力：MiniCPM-V 2.6 。
MiniCPM-V 2.6是MiniCPM-V系列最新、性能最佳的模型，基于SigLip-400M和Qwen2-7B構建，共8B參數。在最新版本 OpenCompass 榜單上（綜合 8 個主流多模態評測基準）平均得分 65.2，以8B量級的大小在單圖理解方面超越了 GPT-4o mini、GPT-4V、Gemini 1.5 Pro 和 Claude 3.5 Sonnet等主流商用閉源多模態大模型。
參考鏈接：OpenBMB/MiniCPM-o: MiniCPM-o 2.6: A GPT-4o Level MLLM for Vision, Speech and Multimodal Live Streaming on Your Phone
本文將分享MiniCPM-V 2.6 8B模型在算力魔方?4060版上的部署過程。
一，安裝Ollama
請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。
二，運行MiniCPM-V 2.6
使用下面的命令完成運行MiniCPM-V 2.6：
ollamarunminicpm-v
三，體驗MiniCPM-V 2.6 多模態能力
輸入下面的提示詞和測試圖片，體驗MiniCPM-V 2.6的多模態能力：
“請描述并總結圖片中的內容，并提煉出該產品的賣點?！?/p>
運行視頻鏈接
審核編輯 黃宇
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
GPT
+關注
關注
0文章
357瀏覽量
15460 -
邊緣計算
+關注
關注
22文章
3116瀏覽量
49301
發布評論請先 登錄
相關推薦
芯片、模型生態分散，無問芯穹、沐曦、壁仞談國產算力瓶頸破局之道
? 電子發燒友網報道（文/李彎彎）近日，2024世界人工智能大會正在舉行，無問芯穹聯合創始人兼CEO夏立雪在大會論壇上談到一個現象，從GPT-3到GPT-4，無論是算力還是大模型
機器人“大腦+小腦”范式：算力魔方賦能智能自主導航
和實時調整。 這種分工明確的架構不僅提高了機器人的自主性和適應性，還為機器人在復雜環境中的應用提供了更多可能。 一， 算力魔方 ? ： 機 器人“大腦”的強大算
算智算中心的算力如何衡量？
作為當下科技發展的重要基礎設施，其算力的衡量關乎其能否高效支撐人工智能、大數據分析等智能應用的運行。以下是對智算中心算力衡量的詳細闡述：一、算
在算力魔方上本地部署Phi-4模型
?作者：算力魔方創始人/英特爾邊緣計算創新大使 劉力 前面我們分享了《Meta重磅發布Llama 3.3 70B：開源AI模型的新里程碑》，
RISC-V與ARM在相同頻率下的算力相同嗎？
目前來講RISC-V的頻率一般來講會更高一些，STM32G030C8T6和CH32V203相比，CH32V203C8T6具有更高的頻率和更低廉的價格，在很多應用場景都可以互換，但是真的很好奇會不會在運行中反而STM32G030的
發表于 11-23 11:05
算力基礎篇：從零開始了解算力
算力即計算能力（Computing Power），狹義上指對數字問題的運算能力，而廣義上指對輸入信息處理后實現結果輸出的一種能力。雖然處理的
使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型
前面我們分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日，Meta又發布了Llama3.2：一個多語言大型語言模型（LLMs）的集合。
PerfXCloud 重大更新 端側多模態模型 MiniCPM-Llama3-V 2.5 閃亮上架
近日，PerfXCloud完成重大更新，上架了面壁小鋼炮 MiniCPM 系列的端側多模態模型 MiniCPM-Llama3-V 2.5，現已對平臺用戶免費開放體驗！
基于AX650N芯片部署MiniCPM-V 2.0高效端側多模態大模型
今年4月份，面壁智能&清華大學自然語言處理實驗室推出MiniCPM系列的最新多模態版本MiniCPM-V 2.0。該模型基于MiniCPM 2.4B和SigLip-400M構建，共擁有
從多核到眾核, 賽昉科技RISC-V+NoC IP子系統為算力芯片賦能
全球算力產業已然邁入新一輪的快速發展階段，RISC-V具備開源開放、模塊化等獨特優勢，使我國能夠獨立開發、部署滿足特定安全需求的算力芯片產品
商湯科技發布5.0多模態大模型，綜合能力全面對標GPT-4 Turbo
商湯科技發布5.0多模態大模型，綜合能力全面對標GPT-4 Turbo 4月23日，商湯科技董事長兼CEO徐立在2024商湯技術交流日上發布了行業首個云、端、邊全棧大模型產品矩陣，能夠
工商網監
評論