電子發(fā)燒友網(wǎng)報道（文/李彎彎）在人工智能時代，越來越多的AI應(yīng)用需要從云端擴(kuò)展到邊緣端，比如智能耳機(jī)、智能攝像機(jī)、智能手環(huán)、物流機(jī)器人等，在邊緣端部署AI已經(jīng)成為趨勢。如今AI大模型迅猛發(fā)展，AI大模型在端側(cè)的部署也成了業(yè)界關(guān)注的焦點。

如何把AI模型在邊緣端部署

首先得軟硬件適配，硬件方面，適配的AI芯片越多越好，這樣對于工程師來說，就降低了端側(cè)模型適配遷移的難度，即使換一個設(shè)備也可以輕松部署上去；軟件方面，主要的操作系統(tǒng)需要做適配，包括Linux、Windows、Android 、iOS等，這樣無論是手機(jī)、PC都可以部署。還有框架適配，也是越全越好，比如PaddlePaddle、TensorFlow、PyTorch、Caffe、MXNet等。

其次是需要對模型進(jìn)行壓縮，在保證高精度的同時，最好也能夠讓模型跑得更快更省內(nèi)存，這里需要采用模型壓縮技術(shù)，比如模型量化、剪枝和蒸餾技術(shù)。尤其是如今AI大模型迅猛發(fā)展，未來大模型在端側(cè)的部署也少不了要用到壓縮技術(shù)。

可以說，模型壓縮技術(shù)是實現(xiàn)AI大模型在邊/端部署的核心技術(shù)。模型壓縮技術(shù)可在保有大模型原有性能和精度基本不變前提下降低對推理算力的需求。

具體來看，量化，即將浮點計算轉(zhuǎn)成低比特定點計算；網(wǎng)絡(luò)剪枝，即去除神經(jīng)網(wǎng)絡(luò)中冗余的通道、神經(jīng)元節(jié)點等；知識蒸餾，即將大模型作為教師模型，用其輸出訓(xùn)練性能接近、結(jié)構(gòu)更簡的模型。

以清華大學(xué)唐杰教授團(tuán)隊2022年8月發(fā)布的1300億參數(shù)模型 GLM-130B 為例，原模型支持在一臺 A100 40G*8或 V100 32G*8 服務(wù)器上進(jìn)行推理，而將模型量化至 INT 4精度后，相較INT 8精度其所需 GPU 內(nèi)存降低50%，且可在一臺4×RTX 3090（24G）或 8×RTX 2080Ti （11G ）服務(wù)器上進(jìn)行推理。

眾多廠商實現(xiàn)AI大模型的端側(cè)部署

谷歌、高通、華為等廠商已經(jīng)實現(xiàn)AI大模型在端側(cè)的部署。今年5月份，在Google/O開發(fā)者大會上，Google宣布了一個專門針對移動設(shè)備優(yōu)化系統(tǒng)的TensorFlow新版本TensorFlowLite。這款被稱為TensorFlowLite的軟件庫，是可在移動設(shè)備上運(yùn)行的深度學(xué)習(xí)工具，它允許開發(fā)人員在用戶的移動設(shè)備上實時地運(yùn)行人工智能應(yīng)用。

該軟件庫在設(shè)計上追求高速度和小儲存，支持iOS和Android系統(tǒng)。如果開發(fā)者使用其他系統(tǒng)，也可以經(jīng)過一系列復(fù)雜而冗長的編譯流程，將TensorFlow編譯成移動操作系統(tǒng)所支持的軟件庫，這樣并不會改變TensorFlow的功能。

TensorFlowLite還提供了有限的預(yù)訓(xùn)練人工智能模型，包括MobileNet和InceptionV3物體識別計算機(jī)模型，以及SmartReplay自然語言處理模型。開發(fā)者用自己的數(shù)據(jù)集做的定制模型也可以部署在上面。TensorFlowLite使用Android神經(jīng)網(wǎng)絡(luò)應(yīng)用程序界面（API），可以在沒有加速硬件時直接調(diào)用CPU來處理，確保其可以兼容不同設(shè)備。

高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負(fù)責(zé)人Ziad Asghar此前表示，隨著生成式AI的飛速普及，混合處理的重要性空前突顯。混合處理AI的重要性空前突顯，正如傳統(tǒng)計算從大型主機(jī)和瘦客戶端演變?yōu)楫?dāng)前云端和邊緣終端相結(jié)合的模式，AI處理必須在云端和終端混合進(jìn)行才能發(fā)揮其最大潛能。

根據(jù)高通的演示，將手機(jī)設(shè)置成“飛行模式”，再通過手機(jī)端全棧AI優(yōu)化，這一模型能夠完全在終端側(cè)運(yùn)行，實現(xiàn)在15秒內(nèi)完成20步推理，生成飽含細(xì)節(jié)的圖像。很重要的是，即便在飛行模式下，這些AI能力都可以得到實現(xiàn)，例如將Stable Diffusion的能力集成到相機(jī)應(yīng)用中之后，用戶在任何一個地點拍攝照片，再要求AI將照片背景改為夕陽之下的萬里長城。

Ziad Asghar透露，如果在云端運(yùn)行一個超過10億參數(shù)的生成式AI模型，可能需要數(shù)百瓦的功耗，而在終端側(cè)運(yùn)行需要的功耗僅有幾毫瓦。這賦予了高通在生成式AI領(lǐng)域的獨特優(yōu)勢。不久的將來，擁有 100 億或更高參數(shù)的模型將能夠在終端上運(yùn)行。

在今年3月春季旗艦新品發(fā)布會上，華為帶來全新智慧搜圖功能，基于多模態(tài)大模型技術(shù)，在手機(jī)端側(cè)對模型進(jìn)行小型化處理，在業(yè)界率先實現(xiàn)了首創(chuàng)的、精準(zhǔn)的自然語言手機(jī)圖庫搜索體驗。用戶可以像與人對話一樣，通過語音喚醒小藝，使用自然語言在手機(jī)圖庫中搜索出匹配如 “山頂看日出”、“圍爐煮茶”、“藍(lán)色珊瑚中的小丑魚”等描述的照片。

相較于傳統(tǒng)圖庫使用標(biāo)簽進(jìn)行照片搜索，存在準(zhǔn)確率低、響應(yīng)速度慢等問題，智慧搜圖更加“聰明”。結(jié)合多模態(tài)大模型技術(shù)，智慧搜圖對億級的圖文數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，增加了對泛化通用語義的理解，支持包含顏色、形狀、物體、行為、時間和地點等多信息組合的自然語言搜索，同時還實現(xiàn)了端側(cè)輕量化應(yīng)用。

小結(jié)

由于AI在邊緣或者端側(cè)的部署具有諸多優(yōu)勢，近年來AI在邊緣側(cè)的應(yīng)用滲透率也越來越高。AI大模型迅猛發(fā)展，未來在終端的部署也是必然趨勢，眾多廠商已經(jīng)對此進(jìn)行探索，并有所突破，期待AI大模型未來能夠是實實在在賦能各行各業(yè)。