AI如何在數以百億的MCU嵌入式應用中落地?海思正在給出自己的答案。海思A2MCU聚焦行業專用(Application Specific)和嵌入式AI技術(Artificial Intelligence),將AI領域超輕量級的技術框架、極致性能的推理要求、方便快速的部署能力與MCU深度融合,為MCU行業客戶探索智能化應用提供新的選擇。在TCL小藍翼P7新風空調發布會上,海思與TCL空調聯合發布“A2MCU,讓空調越用越節能”解決方案,正是A2MCU的初露鋒芒。
為什么嵌入式AI關注度越來越高?
嵌入式AI是將AI算法嵌入到端側設備中,使得設備能夠具備智能化、自動化和高效化的能力。AI的歷史可以追溯到20世紀50年代,進入21世紀,受益于算力的迅猛提升,以及大數據、云計算、深度學習等技術發展,人工智能在圖像識別、語音識別、自然語言處理、機器人、自動駕駛等領域取得了突破性的進展。隨著應用的拓展和滲透,端側AI近幾年逐漸成為業界熱點。相對于數百萬到千萬的AI服務器,端側AI MCU的數量級將高達數以百億。基于現有的AI范式,由于資源的限制、模型的適應性等因素,AI越向下越難做,但同時AI下沉帶來的商業潛力也很大。因此將AI技術嵌入到端側最底層的MCU芯片,已成為業界領先MCU企業都在探索的新方向。
基于MCU的AI方案在行業落地,會有哪些困難?
由于MCU硬件性能限制、AI軟件的復雜度高、行業應用實時性要求高、能耗限制嚴格、數據安全性要求高,嵌入式AI在MCU的行業應用落地需要業務團隊同時具備豐富的AI知識經驗,以及嵌入式軟硬件能力。
一方面要開發團隊與落地場景之間要展開深度合作。基于真實場景的基礎數據及嵌入式AI團隊提供的專業的定制化方案,才能真正解決問題,做出價值。
另一方面要能夠實現AI模型到MCU的快速部署。通用AI模型往往并不是針對嵌入式應用設計,AI開發工具品類又非常龐雜,而MCU的RAM、Flash資源及CPU算力通常都非常受限,如何選擇合適的AI模型和開發工具用來開發出解決特定場景問題模型,又如何將AI模型部署到受限資源的MCU上,這是一個復雜的工程。
海思A2MCU嵌入式AI通過哪些關鍵技術解決了這些問題?
海思嵌入式AI提供了超輕量級的AI技術框架、極致性能完全滿足MCU的推理要求、并能夠將多模型快速轉換為代碼并導入工程,開發者進行方便快速的產品部署。
1)極簡框架:在MCU上部署的AI模型,轉為網絡層的運行代碼后,直接調用RISC-V核的優化算子庫,省去了模型解析器等一般復雜的框架。RISC-V的開源架構支持自定義指令集,能夠更好的支持算子庫的優化實現,這也是RISC-V相對于其他內核的一個關鍵優勢。
2)極致性能:意味著在確保場景收益的前提下,將訓練推理過程做到極簡。包括但不限于:訓練模型優化:包括模型結構優化,減少內存讀寫和計算量;模型訓練后量化,使模型更小,推理更快。算子的輕量化、內存優化以及深度性能調優:通過算子庫輕量化、算子數據預重排與內存復用、使用算法減少乘法運算次數與內存訪問的開銷、深度算法調優減少運算次數,與訪存開銷進行平衡。
模型剪枝、壓縮的輕量化
訓練后量化,模型更小,推理更快
3)易開發部署:海思A2MCU嵌入式AI方案可提供多種模型的轉換,例如通過TensorFlow Lite、PyTorch、MindSpore等開發的模型,可快速便捷的轉成代碼,并導入部署到工程代碼中。
海思A2MCU嵌入式AI應用效果如何?
12月10日,在TCL小藍翼P7新風空調發布會上,海思與TCL空調聯合發布了“A2MCU,讓空調越用越節能”解決方案,該方案基于空調環境、運行和目標參數,通過嵌入式AI算法對復雜工況進行學習,提高運行周期內的整體能效。通過業務場景和AI強化學習模型的深度融合,給空調產品的節能帶來代級的差異化競爭力,最終達成調溫階段能耗降低16%的效果。
結語
萬物智能時代,我們既需要云端大算力的訓練推理,也離不開嵌入式AI在千行百業的端側普惠應用。相對而言AI服務器的體量是百萬~千萬數量級,而小算力的MCU則是數百億數量級,嵌入式AI在綠色節能、人機交互、故障預測、安全防護等行業顯示出巨大的潛力。
在嵌入式AI技術中,AI和MCU的關系是相互促進、共同發展的,而嵌入式AI的難度也恰恰來自AI與MCU兩個技術分方向的跨界與結合。海思在AI和MCU領域都有近十年的積累和豐富應用經驗,致力于將以往經驗和技術積累應用于小算力AI場景,和行業伙伴一起聯合創新、創造增量價值。
審核編輯:劉清
-
mcu
+關注
關注
146文章
17149瀏覽量
351216 -
嵌入式
+關注
關注
5082文章
19126瀏覽量
305255 -
RISC-V
+關注
關注
45文章
2277瀏覽量
46159
發布評論請先 登錄
相關推薦
評論