在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于CMSIS-NN內核的神經網絡推理運算 對運行時間/吞吐量和能效有顯著提升

pmkA_arm_china ? 2018-01-31 11:29 ? 次閱讀

目前,在許多需要在本地進行數據分析的“永遠在線”的物聯網邊緣設備中,神經網絡正在變得越來越普及,主要是因為可以有效地同時減少數據傳輸導致的延時和功耗。而談到針對物聯網邊緣設備上的神經網絡,我們自然會想到Arm Cortex-M系列處理器內核,那么如果您想要強化它的性能并且減少內存消耗,CMSIS-NN就是您最好的選擇。基于CMSIS-NN內核的神經網絡推理運算,對于運行時間/吞吐量將會有4.6X的提升,而對于能效將有4.9X的提升。

CMSIS-NN庫包含兩個部分:NNFunction和NNSupportFunctions。NNFunction包含實現通常神經網絡層類型的函數,比如卷積(convolution),深度可分離卷積(depthwise separable convolution),全連接(即內積inner-product),池化(pooling)和激活(activation)這些函數被應用程序代碼用來實現神經網絡推理應用。內核API也保持簡單,因此可以輕松地重定向到任何機器學習框架。NNSupport函數包括不同的實用函數,如NNFunctions中使用的數據轉換和激活功能表。這些實用函數也可以被應用代碼用來構造更復雜的NN模塊,例如,長期短時記憶(LSTM)或門控循環單元(GRU)。

對于某些內核(例如全連接和卷積),會使用到不同版本的內核函數。Arm提供了一個基本的版本,可以為任何圖層參數“按原樣”通用。我們還部署了其他版本,包括進一步的優化技術,但會對輸入進行轉換或對層參數有一些限制。理想情況下,可以使用簡單的腳本來分析網絡拓撲,并自動確定要使用的相應函數。

基于CMSIS-NN內核的神經網絡推理運算 對運行時間/吞吐量和能效有顯著提升

我們在卷積神經網絡(CNN)上測試了CMSIS-NN內核,在CIFAR-10數據集上進行訓練,包括60,000個32x32彩色圖像,分為10個輸出類。網絡拓撲結構基于Caffe中提供的內置示例,具有三個卷積層和一個完全連接層。下表顯示了使用CMSIS-NN內核的層參數和詳細運行時結果。測試在運行頻率為216 MHz的ARM Cortex-M7內核STMichelectronics NUCLEO-F746ZG mbed開發板上進行。

基于CMSIS-NN內核的神經網絡推理運算 對運行時間/吞吐量和能效有顯著提升

整個圖像分類每張圖像大約需要99.1毫秒(相當于每秒10.1張圖像)。運行此網絡的CPU的計算吞吐量約為每秒249 MOps。預量化的網絡在CIFAR-10測試集上達到了80.3%的精度。在ARM Cortex-M7內核上運行的8位量化網絡達到了79.9%的精度。使用CMSIS-NN內核的最大內存占用空間為?133 KB,其中使用局部im2col來實現卷積以節省內存,然后進行矩陣乘法。沒有使用局部im2col的內存占用將是?332 KB,這樣的話神經網絡將無法在板上運行。

為了量化CMSIS-NN內核相對于現有解決方案的好處,我們還使用一維卷積函數(來自CMSIS-DSP的arm_conv),類似Caffe的pooling和ReLU來實現了一個基準版本。對于CNN應用,下表總結了基準函數和CMSIS-NN內核的比較結果。CMSIS-NN內核的運行時間/吞吐量比基準函數提高2.6至5.4倍,能效提高也與吞吐量的提高相一致。

基于CMSIS-NN內核的神經網絡推理運算 對運行時間/吞吐量和能效有顯著提升

高效的NN內核是充分發揮Arm Cortex-M CPU能力的關鍵。CMSIS-NN提供了優化的函數來加速關鍵的NN層,如卷積,池化和激活。此外,非常關鍵的是CMSIS-NN還有助于減少對于內存有限的微控制器而言至關重要的內存占用。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 內核
    +關注

    關注

    3

    文章

    1376

    瀏覽量

    40319
  • 神經網絡
    +關注

    關注

    42

    文章

    4774

    瀏覽量

    100898
  • 物聯網
    +關注

    關注

    2910

    文章

    44752

    瀏覽量

    374587

原文標題:想讓你的微控制器效率提升5倍嗎?

文章出處:【微信號:arm_china,微信公眾號:Arm芯聞】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    如何縮短Vivado的運行時間

    在Vivado Implementation階段,有時是必要分析一下什么原因導致運行時間(runtime)過長,從而找到一些方法來縮短運行時間
    的頭像 發表于 05-29 14:37 ?1.4w次閱讀
    如何縮短Vivado的<b class='flag-5'>運行時間</b>

    發布MCU上跑的輕神經網絡包 NNoM, 讓MCU也神經一把

    Spotting)使用運動傳感器識別活動狀態 (Human Activity Recognition)神經網絡控制系統 (替代PID等傳統控制方法)圖像處理 (帶專用加速器的 MCU)...它輕但不低能, 它支持
    發表于 05-01 19:03

    CMSIS-NN神經網絡內核助力微控制器效率提升

    自然會想到Arm Cortex-M系列處理器內核,那么如果您想要強化它的性能并且減少內存消耗,CMSIS-NN就是您最好的選擇。基于CMSIS-NN內核
    發表于 07-23 08:08

    如何設計BP神經網絡圖像壓縮算法?

    處理的運算量和數據吞吐量。圖像壓縮是信息傳輸和存儲系統的關鍵技術,然而我們該如何進行FPGA設計,以實現給定的功能已經成為神經網絡應用的關鍵呢?
    發表于 08-08 06:11

    CMSIS-NN神經網絡內核可以讓微控制器效率提升5倍是真的嗎?

    全新CMSIS-NN神經網絡內核讓微控制器效率提升5倍
    發表于 03-15 06:55

    可分離卷積神經網絡在 Cortex-M 處理器上實現關鍵詞識別

    的架構成為可能,甚至在資源受限的微控制器器件中也運行。在 Cortex-M 處理器上運行關鍵詞識別時,內存占用和執行時間是兩個最重要因素,在設計和優化用于該用途的
    發表于 07-26 09:46

    DSP數字信號處理和CMSIS-NN神經網絡教程

    之后,開啟第2版DSP數字信號處理和CMSIS-NN神經網絡教程,同步開啟三代示波器。軟件:1、開發板預裝出廠程序,各種外設驅動包全做好了,可以檢測全部硬件功能...
    發表于 08-04 06:59

    圖像預處理和改進神經網絡推理的簡要介紹

    提升識別準確率,采用改進神經網絡,通過Mnist數據集進行訓練。整體處理過程分為兩步:圖像預處理和改進神經網絡推理。圖像預處理主要根據圖像的特征,將數據處理成規范的格式,而改進
    發表于 12-23 08:07

    充分利用Arm NN進行GPU推理

    計算(GPGPU),尤其是用作將運算符實現為計算著色器的推理引擎的后端。GPU推理不僅具有優于CPU推理的性能,還具有其他優勢。在移動CPU上執行深度
    發表于 04-11 17:33

    AT32講堂016 | AT32 MCU DSP使用案例和網絡神經算法CMSIS-NN案例

    ()參考AT32_DSP_DEMOprojectat_start_f403aexamples5_11_arm_variance_exampleCMSIS NN with DSP介紹本用戶手冊介紹了CMSIS NN軟件庫,這是一個
    發表于 08-16 19:40

    ARM Cortex-M系列芯片神經網絡推理CMSIS-NN詳解

    1、ARM Cortex-M系列芯片神經網絡推理CMSIS-NN詳解CMSIS-NN是用于ARM Cortex-M系列的芯片的神經網絡
    發表于 08-19 16:06

    在Linux上使用Arm NN分析和優化運行推理的機器學習應用程序的步驟

    CPU上運行單個推理;在時間軸視圖的詳細信息面板中可以選擇“Arm NN 時間線”以顯示有關 NN
    發表于 09-27 14:24

    CMSIS-NN版本轉換Arm Cortex-M的神經網絡:r0p0指南

    2. 概覽 本指南向您展示了如何將神經網絡從任何框架轉換成一個基于 Arm Cortex-M-M 裝置的實施工具, 使用 Arm CMSIS- NN 庫。 此教程用于不再支持的 CMSIS
    發表于 08-11 07:06

    事隔五年之后,開啟第2版DSP數字信號處理和CMSIS-NN神經網絡教程,同步開啟三代示波器,前50章發布(2021-11

    事隔五年之后,開啟第2版DSP數字信號處理和CMSIS-NN神經網絡教程,同步開啟三代示波器,前50章發布(2021-11-02)
    發表于 11-26 10:36 ?0次下載
    事隔五年之后,開啟第2版DSP數字信號處理和<b class='flag-5'>CMSIS-NN</b><b class='flag-5'>神經網絡</b>教程,同步開啟三代示波器,前50章發布(2021-11

    移植CMSIS-NN v6.0.0版本到VisionBoard

    CMSIS-NN是什么?官方的解釋是:CMSISNNsoftwarelibraryisacollectionofefficientneuralnetworkkernelsdevelopedtomaximizetheperformanceandminimizethememoryfootprintofneuralnet
    的頭像 發表于 07-10 08:35 ?670次閱讀
    移植<b class='flag-5'>CMSIS-NN</b> v6.0.0版本到VisionBoard
    主站蜘蛛池模板: 六月婷婷网| 久久久久久综合| 亚色成人| 婷婷激情亚洲| 日本中文在线三级在线播放| 色综合日韩| 欧美三级一区| 黄色超污网站| 一道精品一区二区三区| videosxxoo18在线| 亚洲卡5卡6卡7国色天香| a成人| 69日本xxⅹxxxxx19| 亚洲免费观看视频| 很黄很污的视频网站| 五月婷婷六月丁香综合| 日本色图视频| 国内精品一区二区在线观看| 51成人网| 加勒比在线一区| 免费性bbbb台湾| 天天操人人射| 国产成人午夜精品影院游乐网| 91大神精品| 亚洲第一看片| 免费一日本一级裸片在线观看 | 成人拍拍视频| 手机看片国产福利| 视频在线观看免费网站| 激情婷婷综合久久久久| 视频在线色| 四虎在线精品| 色多多免费视频| 久久久久88色偷偷| 天天干免费视频| 射菊吧| 亚洲婷婷综合色高清在线| 亚洲国产精品第一区二区| 青草青青产国视频在线| 噜噜噜狠狠夜夜躁| 国产免费色视频|