本地化ChatGPT？Firefly推出基于BM1684X的大語言模型本地部署方案
自ChatGPT發布以來，生成式AI在全球引起了新的浪潮，它影響著各行各業，為世界帶來智能化的發展。然而，類ChatGPT的大語言模型極度依賴算力巨大的服務器，導致目前大部分應用只能通過集中調用API的方式來應用，很難本地化部署。
隨著大模型適用領域的擴展，大模型登陸邊緣設備的需求凸顯，越來越多的行業需要把大語言模型應用在專業的領域上。在這個背景下，Firefly推出了基于BM1684X平臺的大語言模型本地部署的方案，讓邊緣設備可配置上一顆真正的“智慧”大腦，應用于各行各業。
本地化的ChatGLM-6B大語言模型
（1）具有 62 億參數
采用了由清華大學的ChatGLM-6B大語言模型，基于 General Language Model (GLM) 架構，具有 62 億參數， 使用了和 ChatGPT 相似的先進技術，以達到優質的效果。
（2）優化中文對話
支持中英雙語的對話語言模型，并且針對中文問答和對話進行了優化，其開源的訓練數據量達到1萬億字符的模型。
AI邊緣計算主機EC-A1684XJD4
ChatGLM-6B可部署在Firefly旗下產品AI嵌入式主機EC-A1684XJD4中，主機配置了16GB大內存，適用于部分大模型的量化部署，可運行Ubuntu20.04操作系統，并集成最新的SOPHONSDK 3.0.0，可充分發揮BM1684X集成TPU的AI加速能力。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
AI
+關注
關注
87文章
30896瀏覽量
269087 -
人工智能
+關注
關注
1791文章
47279瀏覽量
238497 -
語言模型
+關注
關注
0文章
524瀏覽量
10277 -
ChatGPT
+關注
關注
29文章
1561瀏覽量
7671
發布評論請先 登錄
相關推薦
愛普生科技+本地化引領五大創新
自八十年代進入中國以來，愛普生已在中國市場上深耕近四十年。從打印機到工業機器人，愛普生業務遍布多個領域，始終秉承“科技+本地化”的核心理念，與中國市場同頻共振，不斷深化與本土合作伙伴合作，推出“中國定制”產品及解決方案。
Visual Components數字化工廠仿真軟件本地化服務:億達四方的優勢
的行業經驗和卓越的服務能力，為用戶提供了全方位的本地化服務，助力企業在智能制造領域取得成功。本文將深入探討億達四方在提供本地化服務方面的幾大優勢。 ?1. 多語言支持與定制化培訓 對于
用Ollama輕松搞定Llama 3.2 Vision模型本地部署
Ollama 是一個開源的大語言模型服務工具，它的核心目的是簡化大語言模型（LLMs）的本地部署
AIBOX青春版上線！1399把AI帶回家
自AIBOX-1684X上市后，這個小巧的盒子憑借本地化AI的能力，獲得市場一致好評?，FFirefly推出新一款入門級AI盒子：AIBOX-1688該盒子搭載SOPHON算能八核AI處
【算能RADXA微服務器試用體驗】+ GPT語音與視覺交互：2，圖像識別
├── yolov8s_opt.onnx# 導出的動態opt onnx模型
├── yolov8s_qtable_fp16 # TPU-MLIR編譯時，用于BM1684X/BM1688的INT8
發表于 07-14 23:36
涂鴉HEDV本地化部署方案，助你低成本實現定制化開發！
在日新月異的信息科技領域，軟件定制化需求不斷增長，尤其在智慧校園、智慧園區和智慧能源等多元化業務場景中，許多企業和組織對本地化部署的需求日益強烈。然而，傳統軟件應用往往難以跟上企業智能
Qwen2強勢來襲，AIBOX支持本地化部署
Qwen2是阿里通義推出的新一代多語言預訓練模型，經過更深入的預訓練和指令調整，在多個基準評測結果中表現出色，尤其在代碼和數學方面有顯著提升，同時拓展了上下文長度支持，最高可達128K。目前
亞馬遜云科技與四維圖新深化合作，共推汽車行業本地化服務
在近日舉辦的亞馬遜云科技中國峰會2024上，亞馬遜云科技與四維圖新宣布了新一輪的戰略合作。雙方將攜手合作，共同設計并推出面向汽車行業的本地化服務及專屬解決方案。
bm1684運行demo報錯怎么解決？
../models/BM1684X/yolov5s_v6.1_3output_fp32_1b.bmodel[BMRT][bmcpu_setup:406] INFO:cpu_lib \'libcpuop.so
發表于 05-20 07:24
AIBOX-1684X：把大語言模型“裝”進小盒子
AIBOX-1684X支持主流大模型私有化部署，算力高達32TOPS，同時也支持CNN、RNN、LSTM等傳統網絡架構，支持TensorFNNX和Darknet等深度學習架構，并支持自
256Tops算力！CSA1-N8S1684X算力服務器
（基于BM1684X的高算力服務器）高算力AI處理器BM1684X搭載了BM1684AI算力SoC芯片的計算模塊，主頻2.3GHz，擁有17.6Tops的AI算力，可配置12GBLPDDR4
源2.0適配FastChat框架，企業快速本地化部署大模型對話平臺
北京2024年2月28日?/美通社/ -- 近日，浪潮信息Yuan2.0大模型與FastChat框架完成全面適配，推出"企業快速本地化部署大模型
【算能RADXA微服務器試用體驗】Radxa Fogwise 1684X Mini 規格
通過網絡可以了解到，算能RADXA微服務器的具體規格：
處理器：BM1684X
算力：高達32Tops INT8峰值算力
內存：16GB LPDDR4X 內存
存儲：64GB eMMC
編程框架
發表于 02-28 11:21
工商網監
評論