一、安裝
1. OriginBot系統安裝
目前OriginBot系統有V1和V2兩個版本,只有V2才支持harbot_llm,所以一定要給OriginBot安裝V2。
2. hobor_llm 安裝
①安裝 transformers
pip3 install transformers -i https://mirrors.aliyun.com/pypi/simple/
安裝的時候會提示部分依賴包版本沖突,我沒有修復也能直接運行,所以看起來問題不大
②安裝hobot-dnn
sudo apt update
sudo apt install -y tros-hobot-llm
③下載模型文件
wget http://archive.sunrisepi.tech/llm-model/llm_model.tar.gz
sudo tar -xf llm_model.tar.gz -C /opt/tros/lib/hobot_llm/
④修改設備配置
# 修改BPU的保留內存
# 替換dtb文件
sudo cp /opt/tros/lib/hobot_llm/config/hobot-dtb/*.dtb /boot/hobot/
# 重啟
reboot
# 調整CPU的頻率
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
模型
+關注
關注
1文章
3244瀏覽量
48845 -
系統
+關注
關注
1文章
1017瀏覽量
21347
發布評論請先 登錄
相關推薦
【大語言模型:原理與工程實踐】揭開大語言模型的面紗
大語言模型(LLM)是人工智能領域的尖端技術,憑借龐大的參數量和卓越的語言理解能力贏得了廣泛關注。它基于深度學習,利用神經網絡框架來理解和生成自然語言文本。這些
發表于 05-04 23:55
【大語言模型:原理與工程實踐】大語言模型的基礎技術
全面剖析大語言模型的核心技術與基礎知識。首先,概述自然語言的基本表示,這是理解大語言模型技術的前提。接著,詳細介紹自然
發表于 05-05 12:17
【大語言模型:原理與工程實踐】探索《大語言模型原理與工程實踐》2.0
《大語言模型“原理與工程實踐”》是關于大語言模型內在機理和應用實踐的一次深入探索。作者不僅深入討論了理論,還提供了豐富的實踐案例,幫助讀者理解如何將理論知識應用于解決實際問題。書中的案
發表于 05-07 10:30
【大語言模型:原理與工程實踐】大語言模型的應用
相關的文檔片段,將這些文檔與用戶問題結合成提示詞,再輸入給大語言模型。這種方法為大語言模型提供了問題背景知識,有效減少了“幻覺”現象的出現。
發表于 05-07 17:21
大語言模型:原理與工程時間+小白初識大語言模型
解鎖
我理解的是基于深度學習,需要訓練各種數據知識最后生成自己的的語言理解和能力的交互模型。
對于常說的RNN是處理短序列的數據時表現出色,耳真正厲害的是Transformer,此框架被推出后直接
發表于 05-12 23:57
大語言模型簡介:基于大語言模型模型全家桶Amazon Bedrock
本文基于亞馬遜云科技推出的大語言模型與生成式AI的全家桶:Bedrock對大語言模型進行介紹。大語言模型
大語言模型概述
在科技飛速發展的當今時代,人工智能技術成為社會進步的關鍵推動力之一。在廣泛關注的人工智能領域中,大語言模型以其引人注目的特性備受矚目。 大語言模型的定義及發展歷史 大
大語言模型使用指南
在信息爆炸的時代,我們渴望更智能、更高效的語言處理工具。GPT-3.5等大語言模型的崛起為我們提供了前所未有的機會。這不僅是技術的進步,更是人與機器共舞的一幕。本篇文章將帶你走進這個奇妙的語言
大語言模型(LLM)快速理解
自2022年,ChatGPT發布之后,大語言模型(LargeLanguageModel),簡稱LLM掀起了一波狂潮。作為學習理解LLM的開始,先來整體理解一下大語言模型。一、發展歷史大
大語言模型開發語言是什么
在人工智能領域,大語言模型(Large Language Models, LLMs)背后,離不開高效的開發語言和工具的支持。下面,AI部落小編為您介紹大語言
評論