電子發燒友網>電子資料下載>電子資料>EMLL高性能端側機器學習計算庫

EMLL高性能端側機器學習計算庫

2512963 2022-06-17 | zip | 0.39 MB | 次下載 | 2積分

普通下載普通下載

資料介紹

授權協議 Apache

開發語言 C/C++

軟件類型開源軟件

EMLL(Edge ML Library)為加速終端側設備上機器學習的推理而設計，提供基于端側處理器的高性能機器學習計算函數庫。EMLL支持fp32、fp16、int8等數據類型，已在有道詞典筆、翻譯王和超級詞典等硬件產品的機器翻譯和語音識別引擎中應用，大幅降低了推理延遲。

EMLL實現的矩陣乘法函數，為端側人工智能中常見的扁平矩陣作了專門的優化，為各常見ARM處理器作了特定的優化。對于cortex-A35/A53/A55處理器，本庫針對它們的流水線特點，使用了匯編級別的優化。

下面是單精度矩陣乘法的測試結果：

矩陣乘法的通式為 C[MxN] = A[MxK] B[KxN]；所列數據為全行主序和全列主序的最好性能。

EMLL使用的函數接口在參數設計上力求簡潔直接，矩陣乘法去掉了不常用的LD*參數，矩陣和向量的傳遞通過指針和整數維度分別傳遞。本庫的構建和運行不依賴第三方計算庫。

對于矩陣乘法和量化函數，EMLL 庫提取了它們和架構無關的代碼作為通用的宏，這些宏可以在支持新的CPU架構時大大節省所需的代碼量。

EMLL提供基于 C 的接口，詳情請見?Usage_ZH.md。

函數類型	函數名稱	函數參數
矩陣乘法	data_type + "gemm"	源矩陣排列順序，各矩陣地址，M，N，K，beta，并行線程數
全連接層(單精度)	"fc"	src/weight/bias/output的地址，M，K，N，源矩陣排列順序，(并行線程數)
量化	"quantize_" + "symmetric"/"asymmetric" + input_type + output_type	輸入數組，輸出數組，(輸出零點值)，縮放值，數組大小，輸入范圍
重量化	"requantize_" + "symmetric/asymmetric" + "_XtoY"	輸入數組，輸出數組，(輸出零點值)，輸出縮放值，數組大小，輸入范圍
偏置	"bias" + data_type	被偏置的矩陣，標量偏置，平行于主方向的向量偏置，平行于次方向的向量偏置，矩陣大小

處理器	矩陣乘法	偏置	量化	重量化
ARMv7a 32-bit	fp32，(u)int8	fp32，int32	fp32 -> (u)int16/(u)int8	int32 -> (u)int16/(u)int8，int16 -> (u)int8
ARMv8a 64-bit	fp32，fp16，(u)int8	fp32，int32	fp32 -> (u)int16/(u)int8	int32 -> (u)int16/(u)int8，int16 -> (u)int8