2024年5月,躍昉科技正式加入“甲辰計劃”,旨在與各生態伙伴合作,致力于在下一個丙辰年(2036龍年)之前,基于RISC-V架構實現從數據中心到桌面辦公、從移動穿戴到智能物聯網全信息產業覆蓋的開放標準體系及開源系統軟件棧,使RISC-V軟硬件生態達到作為主流指令集架構所需的生態成熟度。
近日,躍昉科技宣布了一項重大技術突破:Transformer、Gradio等PyTorch生態核心大語言模型(LLM)軟件棧,已在RISC-V高性能平臺上成功完成移植及適配驗證。這一里程碑式的成就標志著RISC-V架構在AI和大語言模型領域的應用上邁出了重要一步。
Transformer是一種深度學習模型框架,最早由 Vaswani 等人在 2017 年提出,專門用于處理序列數據(如自然語言、時間序列等)的任務。Transformer 通過引入自注意力機制(Self-Attention Mechanism) 來捕捉序列中不同位置之間的依賴關系,并通過并行處理大大提高了訓練效率。
RISC-V計算架構以其簡潔、開放、靈活、低功耗、模塊化及可擴展性等特點,正逐步成為AI時代的原生計算架構。作為RISC-V架構SoC芯片設計與產業應用的開拓者,躍昉科技專注于研發基于RISC-V的高端芯片及配套軟件棧核心技術,不斷探索其在高性能計算領域的潛力。
在此次與開源社區的合作中,躍昉團隊深入鉆研,攻克了多個技術難題,確保了Transformer等LLM軟件棧在RISC-V高性能平臺上流暢運行,降低了LLM軟件棧對特定硬件的依賴,為其帶來了更加多元化的運行環境選擇,提高了系統的靈活性和可擴展性。
移植案例展示
1創建LLM應用-中英文翻譯的訪問鏈接
2使用RISC-V CPU執行LLM應用-中英文翻譯
3創建LLM應用-圖生文的訪問鏈接
4使用RISC-V CPU執行LLM應用-圖生文
移植案例中,中英文翻譯和圖生文等LLM應用在RISC-V高性能平臺上的順利實施,充分展示了RISC-V在AI領域的應用潛力,進一步完善了RISC-V高性能軟件棧。
未來,躍昉科技將繼續攜手各生態伙伴,助力RISC-V高性能軟件生態建設,拓展RISC-V的高性能應用場景,共同推動RISC-V生態系統的發展,為全球用戶帶來更多創新高效的產品和解決方案!
廣東躍昉科技有限公司聚焦研發基于RISC-V架構的SoC芯片產品及系統解決方案,并提供從操作系統到云平臺的全棧基礎智能軟件服務,通過融合人工智能、物聯網、區塊鏈等交叉領域技術為中國數字經濟的創新應用賦能。
躍昉科技作為RISC-V架構SOC芯片設計及產業應用的開拓者,已推出系列基于RISC-V架構的高性能SOC芯片及產品,覆蓋AIoT邊端物聯、控制和計算等應用領域,集高效能計算資源、豐富工業接口、穩定可靠品質等特性于一體。依托于全棧技術能力,躍昉科技正持續深耕于智慧能源、智慧物流、智慧城市、智慧工廠等領域,旨在為客戶帶來專業化、高品質的產品和服務。
-
RISC-V
+關注
關注
45文章
2306瀏覽量
46287 -
躍昉科技
+關注
關注
0文章
71瀏覽量
2020 -
大模型
+關注
關注
2文章
2499瀏覽量
2909
原文標題:躍·動態|躍昉科技攜手開源社區,大模型生態成功適配RISC-V高性能平臺
文章出處:【微信號:躍昉科技LeapFive,微信公眾號:躍昉科技LeapFive】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論