第七屆集微半導體峰會于6月初在廈門成功舉辦,上海天數智芯半導體有限公司(以下簡稱“天數智芯”)產品線總裁鄒翾受邀參加“集微通用芯片行業應用峰會”,發表了題為“國產GPU助力大模型的實踐”的主題演講,全面介紹了天數智芯基于自研通用GPU的全棧式集群解決方案及其在支持大模型上的具體實踐。
天數智芯產品線總裁鄒翾
鄒翾指出,順應大模型的發展潮流,天數智芯依托通用GPU架構,從訓練和推理兩個角度為客戶提供支撐,全力打造高性價比、通用性的全棧式集群解決方案,為大模型時代提供強大算力底座。
據介紹,天數智芯的天垓、智鎧系列通用GPU產品具有高性能、廣通用、開發成本低的特點,廣泛支持DeepSpeed、Colossal、BM Train等各種大模型框架,基于天垓、智鎧加速卡的算力集群方案不僅能夠有效支持LLaMa、GPT-2、CPM、GLM等主流AIGC大模型的Pretrain和Finetune,還適配了清華、智源、復旦等在內的國內多個研究機構的開源項目,為行業伙伴提供一站式的大模型算力及賦能服務。同時面向大模型推理側的一體機,性價比超過國內現有市場主流產品。
為全面助力大模型的發展,天數智芯還圍繞底層技術支撐做了大量功課。鄒翾介紹說,一方面天數智芯通過最大化數據復用、可擴展大矩陣計算和存算異步、混合精度Transformer加速、高效高帶寬顯存及P2P等方式來提升芯片性能。另一方面,持續提升基礎軟件實力,在支持前沿大模型、混合并行策略、新型Att加速、兼容APIs、模型壓縮等輕量化部署方面開展布局。
鄒翾表示,不論從應用還是研發角度來看,大模型需求會持續走高,天數智芯將堅持以服務國家戰略為主線,始終致力于自主開發用戶易用的高性能通用GPU產品,不斷升級算力解決方案,適配支持更高效、更復雜算法的大模型,為我國大模型創新發展、應用落地提供更加堅實的算力支撐。
關于天數智芯
上海天數智芯半導體有限公司(簡稱“天數智芯”)是中國領先的通用GPU 高端芯片及超級算力系統提供商。天數智芯以“服務國家戰略”為己任,堅持“四個面向”,致力于開發自主可控、國際領先的高性能通用GPU產品,探索通用GPU趕超發展道路,加快建設自主產業生態,為全產業提供高端算力解決方案。未來,天數智芯將堅持中國特色的自主自強創新發展道路,打造更可信、更高效、更綠色的世界一流算力引擎,賦能千行百業數字化轉型,促進我國數字經濟高質量發展,開啟中國引領世界走向元宇宙、數字孿生的嶄新一頁。
END
原文標題:天數智芯通用GPU產品為大模型時代提供強大算力底座
文章出處:【微信公眾號:天數智芯】歡迎添加關注!文章轉載請注明出處。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
原文標題:天數智芯通用GPU產品為大模型時代提供強大算力底座
文章出處:【微信號:IluvatarCoreX,微信公眾號:天數智芯】歡迎添加關注!文章轉載請注明出處。
相關推薦
本文來源:壹靈海科技隨著5G通信技術的普及和人工智能技術的飛速發展,邊緣GPU算力將在車聯網領域發揮更加重要的作用。5G網絡的高帶寬和低延遲特性為車聯網
發表于 12-19 11:16
?189次閱讀
著色器(Pixel shader)是圖形流水線中算力相當強大的功能單元,因為它可以為每個片段執行復雜的計算,從而為最終渲染的圖像添加細節和視覺效果。
DirectX API推動 GPU
發表于 11-03 12:55
隨著大模型的興起,“GPU算力”這個詞正頻繁出現在人工智能、游戲、圖形設計等工作場景中,什么是GPU,它與CPU的區別是什么?以及到底什么是
發表于 10-29 08:05
?713次閱讀
GPU算力租用平臺是一種基于云計算的服務模式,它允許用戶通過互聯網按需租用高性能GPU資源,而無需自行購買、部署和維護這些硬件。
發表于 10-16 10:15
?246次閱讀
本帖最后由 1653149838.791300 于 2024-10-16 22:19 編輯
感謝平臺提供的書籍,厚厚的一本,很有分量,感謝作者的傾力付出成書。
本書主要講算力芯片CPU
發表于 10-15 22:08
國慶前就收到《大模型時代的基礎架構》一書,感謝電子發燒友論壇。歡度國慶之余,今天才靜下心來體驗此書,書不厚,200余頁,彩色圖例,印刷精美!
當初申請此書,主要是看到副標題“大模型算
發表于 10-08 10:40
更高、更密集的應用需求。
12年前,我與本書作者相識時,他向我提出一個想法:建立中關村在線高性能計算頻道。該頻道隸屬于核心硬件事業部,聚焦算力芯片相關的產品技術分析、評測,并為企業客戶提供
發表于 09-02 10:09
以大模型為代表的新一代人工智能技術是引領新一輪科技革命和產業變革的戰略性技術和重要驅動力量,隨著對算力需求的日益高漲,人工智能算
發表于 08-27 16:15
?618次閱讀
現在AI已進入大模型時代,各企業都爭相部署大模型,但如何保證大模型的算力,以及相關的穩定性和性能
發表于 08-20 09:04
工作日內未聯系,視為放棄本次試用評測資格!
書籍介紹
大模型是近年來引人注目的熱點之一。大模型蓬勃發展的基礎,是針對其需求設計的算力及基礎架構。本書針對如何為大
發表于 08-16 18:33
,“此芯P1”不僅異構集成了Armv9 CPU核心與Arm Immortalis GPU,還搭載了安謀科技(中國)有限公司(以下簡稱“安謀科技”)“周易”NPU等自研業務產品。憑借高能效的異構
發表于 08-13 09:12
?579次閱讀
DPU 是當下算力基礎設施的核心創新之一。如果把 CPU 比做大腦,那么 GPU 就好比是肌肉,而 DPU 就是神經中樞。CPU 承載了應用生態,提供了
發表于 07-24 15:32
? 隨著人工智能技術的飛速發展,高性能計算中心成為推動AI創新和應用的關鍵基礎設施。近日,中國移動智算中心(呼和浩特)成功上線運營。國內領先的GPU企業壁仞科技的壁礪系列通用GPU
發表于 07-05 17:16
?1297次閱讀
? 電子發燒友網報道(文/李彎彎)隨著人工智能技術的快速發展,GPU作為重要的算力支撐時常被提及。國內外重要的GPU芯片公司也為人熟知,包括英偉達、AMD、英特爾,景嘉微、海光信息、
發表于 05-29 00:05
?2376次閱讀
的縮寫,即每秒所能夠進行的浮點運算數目(每秒浮點運算量)。 ? 算力可以分為通用算力、智能算
發表于 02-06 00:08
?6389次閱讀
評論