全新的iPhone X集成了用于人臉識別的神經引擎，但這僅僅是一個開始。嵌入式神經引擎和專用智能處理器在邊緣設備上實現了人工智能（AI），打破了對于云的依賴。邊緣處理的好處包括減少延遲，全網絡覆蓋，增加了隱私和安全性，并減少了與云端的通信，從而降低了成本。正因為具備上述優勢，移動設備可以利用人工智能去實現不久前還只能出現在科幻小說中的場景。

過去的機器現在是實時數據處理中心

我剛剛參加完我們的年度研討會，有機會親密接觸到了嵌入式世界中的AI技術。曾經是純機械的機器，比如汽車、無人機和機器人，現在正變得智能起來，具備了可視、感知、跟蹤、分類、檢測、識別等能力。現在，這些設備使用計算機視覺和傳感器融合來收集和處理數據，并進行實時決策。在某些情況下，比如無人駕駛汽車和無人機，決策是至關重要的，云端處理的延時可能導致難以接受的響應時間。通過片上智能化，這些機器更準確地被定義為了數據中心。

AI的邊緣化必須實時和低功耗地處理大量信息

無人駕駛車輛就是一個很好的例子，它需要大量的視覺和其它傳感器，以及衛星定位信息和各種連接解決方案。它還必須有一個“大腦”完成數據融合和分析。同時基于云的處理和信息也將在自動駕駛功能中發揮作用，因此必須有一個可以瞬間做出決策的車載處理器。即使出現零星的情況，操作車輛也不會有危險是非常關鍵的。因此，處理器能夠處理密集的深度學習計算是必要的，而不是一個可選的功能。

汽車上的AI邊緣處理要求高水平的車載智能（來源于：CEVA）

神經網絡的邊緣處理正在成為主流

在智能手機領域，蘋果通常是一個新增特性被作為主流必備還是利基市場（niche-market ）配件的試金石。隨著蘋果新旗艦iPhone X的發布，手機上配有一個專門的神經引擎是人工智能邊緣處理的一件大事。如同我同事在最新的蘋果手機發布之前預測的一樣，這意味很快每個帶有攝像頭的設備將包括一個視覺DSP或其它專門的神經網絡處理器。iPhone X里的神經引擎實現了Face ID技術，允許用戶注視手機從而解鎖他們的iPhone。超快的響應時間加上隱私和安全級別的考慮需要所有的識別處理必須在手機上完成。以現在設備上具備的AI能力，肯定會不斷推出更多令人興奮的AI功能。

谷歌也在其最新的旗艦手機Pixel 2中增加了類似的功能，通過稱之為像素視覺核心（Pixel Visual Core）的處理器實現。在競爭激烈的智能手機領域，谷歌必須實現差異化。方法之一是推出相機搭載出眾軟件的Pixel智能手機。但是，圖像增強所需的密集計算，單鏡頭背景虛化效果，提高照片的動態范圍，這些功能在目前大部分領先的智能手機自帶的標準處理器上不能高效地運行。因此谷歌決定為這些功能添加第二個芯片，通過添加AI功能可能是另一個主要差異化的體現。華為最近也宣布了在麒麟970中集成了神經引擎，另外還有許多其它公司也加入到競賽中。

基于視覺DSP的引擎如何實現片上智能化？

雖然邊緣處理的好處顯而易見，它同時也帶來了挑戰。難題是如何將可以在巨型服務器上完成的數據運算，放入到一個很小的手持設備中，同時電量還被消耗在許多其它處理任務上。這就是視覺DSP對于能否成功實現邊緣AI處理至關重要的原因。精簡和高效，但強大的矢量化性能，讓DSP處理器成為完成神經引擎工作負載的最佳選擇。

另一個挑戰是如何將現有的神經網絡移植到嵌入式DSP環境里。這可能會消耗大量的開發時間，代價變得非常昂貴。但是自動化工具鏈可以支持“按鍵操作”，一站式服務將網絡的分析和優化轉換到嵌入式環境中。對這樣的工具而言，覆蓋大量最先進的網絡是非常重要的，以確保任何網絡都可以很容易地優化并運行在嵌入式設備上。

Faster RCNN——CEVA完整的自動網絡生成器可以有效的降低帶寬和保持比特精度

移植和優化過程完成后，通常會對輸入數據進行下采樣，從而以最少的信息丟失完成更快速的處理。例如在Faster RCNN （PDF）的流程中，我們有兩個處理階段，區域建議（proposal regions）和區域分類（classify regions）。

例子：Faster RCNN處理流

CEVA-XM家族處理器是超低功耗的視覺DSP，非常適合完成此類工作。通過添加CEVA-CNN硬件加速器（HWA）可以更進一步提升性能，加速神經網絡處理（例如Faster RCNN）。從下圖中可以看到，我們第五代視覺處理器CEVA-XM6，相比前一代獲獎的CEVA-XM4性能有了顯著改善。添加CEVA-CNN硬件加速器則使性能又向前邁進了一大步。

使用CEVA-XM視覺DSP家族后Faster RCNN的性能

基于深度學習的人工智能為手持設備帶來了無盡的機會：通過圖像增強獲得DSLR質量的照片，增強和虛擬現實應用，環境感知、避讓和導航、檢測、跟蹤、識別、分類、分割、映射、定位、視頻增強等等。我們手掌中擁有這樣的力量，看起來智能手機的通話功能就微不足道了。