西班牙的SemiDynamics基于其完全可定制的64位內核開發(fā)了用于AI芯片設計的RISC-V Tensor Unit。

RISC-V Tensor 單元集成到緩存子系統(tǒng)中，SemiDynamics 使其成為第一個用于數據中心高性能 AI 芯片設計的完全一致的此類單元。

LLaMa-2 或 ChatGPT 等大型語言機器學習模型 (LLM) 使用數十億個參數，需要大量計算能力。LLM 層中的大部分計算可以作為張量單元硬件中的矩陣乘法有效實現。

張量單元構建在 Semidynamics RVV1.0 矢量處理單元之上，并使用現有的矢量寄存器來存儲矩陣。這使得張量單元可以用于需要矩陣乘法功能的層，例如全連接和卷積，并將向量單元用于激活函數層（ReLU、Sigmoid、Softmax 等），這是一個很大的改進- 單獨的 NPU 可能會與激活層作斗爭。

張量單元使用矢量單元功能以及 Atrevido-423 Gazzillion CPU 從內存中獲取所需的數據。64 位 CPU 內核的性能意味著不需要直接內存訪問 (DMA) 來管理數據流。由于張量單元使用向量寄存器來存儲其數據，并且不包含新的、架構上可見的狀態(tài)，因此它可以與任何支持 RISC-V 向量的 Linux 一起使用，而無需進行任何更改。

SemiDynamics 創(chuàng)始人兼首席執(zhí)行官 Roger Espasa 表示：“這個新的 Tensor Unit 旨在與我們的其他創(chuàng)新技術完全集成，以提供具有出色 AI 性能的解決方案。”

“首先，核心是我們的 64 位完全可定制的 RISC-V 內核。然后是我們的矢量單元，它通過我們的 Gazzillion 技術不斷饋送數據，因此不會丟失任何數據。然后是張量單元，它執(zhí)行人工智能所需的矩陣乘法。該解決方案的每個階段都經過精心設計，可與其他階段完全集成，以實現最佳的人工智能性能和非常簡單的編程。與僅在標量核心上運行 AI 軟件相比，性能提高了 128 倍。”

Tensor Unit 將于下個月在美國舉行的 RISC-V 峰會上進行討論，作為人工智能芯片設計重點的一部分。

審核編輯：黃飛