NPU、APU、AIE，手機 AI 究竟是什么？它能給手機體驗帶來哪些變革？

4 月 19 日下午，榮耀在上海召開了一場頗為重磅的新品發(fā)布會，核心產(chǎn)品有兩款：榮耀 10 智能手機和榮耀 MagicBook 筆記本電腦。

其中，MagicBook 是榮耀推出的第一款筆記本電腦，它兼具了全金屬輕薄機身、八代酷睿 + MX150、57Wh 大電池等主流輕薄本特性，起售價 4999 元。

榮耀 10 則是榮耀手機在 2000—3000 元這個所有手機品牌的必爭價格區(qū)間的最新產(chǎn)品，它采用了流行的變色極光玻璃、隱形超聲波指紋以及流行的“劉海屏”。不過要說榮耀 10 最大的賣點，還是非 AI 莫屬。

榮耀 10 搭載了麒麟 970 芯片，內(nèi)置為 AI 運算專門打造的 NPU 模塊。此外，榮耀還提出了“AI 手機 2.0”的概念，并在發(fā)布會上花了大量的篇幅講述 AI 對手機拍照的加成。

在手機上提出 AI 并不是什么新鮮事，早在 2016 年底，榮耀就在 Magic 這款“致未來”的產(chǎn)品上提出了 AI 手機的概念。不過到了 2018 年，AI 在手機發(fā)布會上的“戲份”突然變得格外多，近期幾乎每一款手機新品的發(fā)布會，AI 都常常要占據(jù)半小時甚至更久的時間。

不過與此同時，雖然所有廠商都在大談 AI，不過對于用戶來說，AI 依然是一個有點“虛”的概念。這一方面是因為 AI 不像全面屏、快充那樣有一個對應的具象特性，另一方面也是因為一些手機廠商在產(chǎn)品沒有落地的情況下習慣于“概念先行”，把一些有的沒的東西都冠上“AI”的名字。

AI 手機究竟指的是什么？它到底能給智能手機帶來哪些變革？就著榮耀 10 這款產(chǎn)品，在對它進行常規(guī)的產(chǎn)品體驗前，我們先和大家聊聊 AI 手機這件事。

手機為什么需要 AI？

提到 AI，可能很多人會想到的是 AlphaGo 或者自動駕駛等比較“大”的應用。不過對于手機來說，受到體積和性能的限制，顯然是無法像 Google 的 TPU、NVIDIA 的 Xavier 那樣使用巨大的數(shù)據(jù)來訓練神經(jīng)網(wǎng)絡模型的。

目前手機中常見的 AI 應用，其實是將已經(jīng)訓練好的神經(jīng)網(wǎng)絡模型編譯成離線模型，然后跑在手機本地的硬件上。之所以要把 AI 運算移植到手機上而不是留在“云端”，主要原因有兩個。

第一是速度。雖然通訊技術的發(fā)展已經(jīng)大大提高了網(wǎng)絡帶寬，降低了時延，但在一些需要實時性的操作中，依然需要在設備本地進行計算來保證速度。

為高通 AI Engine 提供人臉解鎖算法支持的商湯科技

以目前應用廣泛的人臉解鎖為例，手機在檢測到人臉時，如果還是像 Siri 等智能語音助手那樣，先將數(shù)據(jù)傳輸?shù)皆贫耍缓笤谠贫诉M行特征點的比對，再向手機返回結果，就會導致處理時長明顯增加，嚴重影響使用體驗。

再比如已經(jīng)成為 AI 手機“標配”的拍照場景識別功能，手機需要在用戶取景的同時對畫面里的物體進行識別，在檢測到對應的場景后自動對拍照參數(shù)進行調(diào)整，如果說這個處理過程搬到云端，即使網(wǎng)絡狀況再好，也會造成明顯的延遲，直接導致這個功能變得不可用。

除了速度，由于手機本身是一個生產(chǎn)力型的工具，為了保證隱私數(shù)據(jù)的安全，部分數(shù)據(jù)也只能在手機端進行處理。

真假 AI 指的是什么？

經(jīng)過了過去一兩年的探索，將部分 AI 運算移植到手機、讓手機設備本身具備處理 AI 運算能力（端側 AI）已經(jīng)成為行業(yè)共識，不過在如何讓手機 AI 運算更快更高效這個問題上，幾家芯片廠商的做法有著明顯的不同，具體可以分為三種。

第一種方式是為增加專用的 AI 芯片來進行 AI 運算。代表產(chǎn)品是麒麟 970（內(nèi)置 NPU）和蘋果 A11 Bionic（神經(jīng)網(wǎng)絡專用加速模塊），其中 A11 Bionic 的神經(jīng)網(wǎng)絡專用加速模塊比較特別，目前只是用在了 Face ID 人臉解鎖上，沒有開放給第三方。

高通 AI Engine

第二種方式是調(diào)用 SoC 中原有的模塊來進行 AI 運算。代表產(chǎn)品是高通的 AI Engine 平臺（支持的驍龍 660、820、835、845），具體是通過驍龍神經(jīng)處理引擎（Neural Processing Engine， NPE）軟件框架，根據(jù)需求從 CPU（非并發(fā)小數(shù)據(jù)處理）、GPU（并發(fā)大數(shù)據(jù)處理）、DSP（向量運算）中使用最適合的內(nèi)核進行數(shù)據(jù)處理。

第三種方案是聯(lián)發(fā)科在 Helio P60 里采用的 APU 設計。這個核心有些像 NPU，不過 APU 的設計更像是改進版的多核 DSP，擅長圖像處理，具備一定的 AI 運算能力但并沒有 NPU 那樣“專一”和高效，這個思路有點像找一個數(shù)學不錯的物理老師來給學生教數(shù)學。

芯片廠商不同的做法，延伸到宣傳和營銷中，就有了所謂的“真假 AI”的概念，有人認為芯片必須有獨立的 AI 芯片才能算是“真 AI”，有人則認為決定手機是不是“真 AI”的應該是具體的功能，而不是芯片的設計。

那么獨立的 AI 芯片究竟有多少意義？這里我們就以麒麟 970 的 NPU 為例聊聊。

NPU 模塊的意義

大家可能還記得，AI 手機這個概念是榮耀 Magic 上第一次提出的。

Magic 是榮耀在 2016 年底發(fā)布的一款產(chǎn)品，也是榮耀和華為 2012 實驗室 4 年磨一劍的作品。在這款手機上，榮耀展示了具備自然語義理解、計算機視覺、深度學習能力的 Magic Live 智慧引擎，即使放在 2018 年，榮耀 Magic 上的很多理念依然很有前瞻性。

同時，也正是在研發(fā) Magic 的過程中，華為和榮耀的工程師發(fā)現(xiàn)，為了讓 AI 在手機中發(fā)揮更大的作用，需要更加算力更強并且更加省電的芯片進行支撐，最終決定在麒麟 970 上增加一顆行業(yè)里還沒有先例的 NPU 模塊，即使這意味著芯片制造的成本會有明顯的增加（成本也是高通沒有使用 NPU 的主要原因）。

麒麟 970 的 NPU 實際效果相比起高通 AIE、聯(lián)發(fā)科 P60 的“非專用”方案會有一定的優(yōu)勢。這種優(yōu)勢不僅僅是體現(xiàn)在單純的算力層面，還體現(xiàn)在執(zhí)行效率上。

在去年 9 月麒麟 970 的發(fā)布會上，華為消費者 BG CEO 余承東展示了上面這組圖，在 AI 運算性能上，NPU 相比起 CPU 和 GPU 分別有著 25 倍和 6.25 倍的優(yōu)勢，而更重要的是 PPT 右邊這組數(shù)據(jù)，能效比上，NPU 更是達到了 CPU 的 50 倍，GPU 的 6.25 倍。

我們知道，受限于手機的體積，功耗和發(fā)熱會大大制約手機芯片的性能表現(xiàn)，而 NPU 在運算效率上的巨大優(yōu)勢意味著在功耗和發(fā)熱允許的范圍內(nèi)，可以在手機上跑更加復雜、對算力要求更高的算法，提供更多有價值的功能。

NPU 高效的優(yōu)勢在發(fā)布之初、應用場景還相對簡單的時候表現(xiàn)并不明顯，不過隨著華為和榮耀對 NPU 應用的深入，NPU 正在逐步地兌現(xiàn)它的潛力。

還是以拍照時的智能場景識別為例，目前無論是采用高通的 AIE 平臺的機型，還是搭載麒麟 970 的手機，都已經(jīng)可以做到數(shù)十個拍照場景的識別，不過在華為 P20 系列、榮耀 10 這兩款新上市的麒麟 970 機型上，又把場景識別的復雜程度進行了大幅度的提升。

在榮耀 10 發(fā)布會上，榮耀 CEO 趙明展示了下面這個使用 AI 來優(yōu)化拍照的實例。

這張照片中，在麒麟 970 NPU 的幫助下，榮耀 10 可以實時地識別出人物、動物、植物、藍天 4 個層級，然后對每一個部分進行單獨的優(yōu)化，這可要比單獨的識別出某一個場景然后進行整體微調(diào)來的復雜多了。

再比如在這張主體為人像的拍攝中，榮耀 10 可以在識別出人像然后將人景分離之后，還可以使用 AI 算法對邊緣頭發(fā)部分進行單獨的優(yōu)化，同時對人物的五官進行分區(qū)然后結合識別出的性別、年齡信息進行精確美顏，如果人物的位置不太合適，榮耀 10 甚至還可以智能地對構圖進行微調(diào)。

這些都是 AI 賦予手機相機的能力，隨著算法的進步和手機本地 AI 算力的提升，手機可以“識別”出得東西會越來越多，對拍照的優(yōu)化會越來越明顯。對于用戶來說，這意味著拍出好照片的成本會越來越低。

AI 手機還能干什么？

半年多以前，當?shù)谝豢畲钶d麒麟 970 的機型華為 Mate 10、Mate 10 Pro 上市的時候，華為已經(jīng)展示了不少 NPU 參與實現(xiàn)的功能，比如拍照時的場景識別、通話時的 AI 降噪、使用 NPU 加速的微軟翻譯。不過要想真正讓 AI 變革手機體驗，手機廠商自己的力量是不夠的，還要開放給更多的第三方開發(fā)者，共同打造 AI 生態(tài)。在這方面，高通和華為都已經(jīng)完成了很多的布局。

今年 2 月份，高通正式發(fā)布了 AI Engine。AI Engien 包含了 3 個硬件和 3 個核心軟件，硬件部分為 CPU、GPU、DSP 三個部分，軟件部分則分別是驍龍神經(jīng)處理引擎（NPE）軟件框架（幫助開發(fā)者從 DSP、GPU、CPU 中選擇合適的內(nèi)核）、隨 Android 8.0 發(fā)布的 Android NN API（一個用于在移動設備上進行深度學習的 C 語言 API）和 Hexagon Neutral Network 庫（讓開發(fā)者的 AI 算法在 DSP 上運行）。

在此基礎上，高通和多家算法提供商聯(lián)合推出了多個利用 AI Engine 的應用優(yōu)化，比如商湯科技和曠視 Face++提供的多種預先訓練的用于背景虛化、面部解鎖、場景識別的神經(jīng)網(wǎng)絡，虹軟提供的單攝和雙攝算法，創(chuàng)通聯(lián)達針對人工智能視覺用例和終端提供完整的解決方案，而騰訊、百度等云服務廠商也在利用 AI Engine 進行應用優(yōu)化。

相比高通，華為海思的進度整體還要更快一些。

如果你使用的是華為和榮耀的搭載麒麟 970 的手機，在應用商店里應該已經(jīng)能夠找到一個為人工智能優(yōu)化過的應用專區(qū)，其中的 app 目前大都是知名度很高的主流 app，有淘寶、抖音、百度、有道翻譯官、Prisma、WPS。

通過使用接入華為的 HiKey970 開發(fā)平臺，開發(fā)者可以通過調(diào)用 NPU，對神經(jīng)網(wǎng)絡計算進行硬件級的加速，實際的效果還是很明顯的，比如淘寶的掃碼購物，使用 NPU 優(yōu)化后識別速度可以最高縮短到原來的 1/10，再比如抖音的 AR 畫面特效，使用 NPU 優(yōu)化后畫面的精度和識別的速度都有明顯的提高。

雖然目前手機 AI 發(fā)展依然處在比較早期的階段，不過隨著 AI 芯片的發(fā)展和開發(fā)工具、分發(fā)平臺的完善，在未來可預見的一段時間里，芯片廠商、手機廠商和第三方開發(fā)者會持續(xù)在手機 AI 上進行投入，AI 對手機體驗的加成會越來越明顯。

在即將到來的 5G 時代，AI 很可能和 5G 一起，成為未來智能手機的一項“基本能力”，共同定義下一代的智能手機體驗。