尖端AI推理模型DeepSeek R1一經(jīng)問世,便在整個(gè)科技行業(yè)引起波瀾。因其性能能夠媲美甚至超越先進(jìn)的同類模型,顛覆了關(guān)于AI發(fā)展的傳統(tǒng)認(rèn)知。
這一關(guān)鍵時(shí)刻是更廣泛趨勢的一部分,凸顯了行業(yè)在打造高質(zhì)量小語言模型和多模態(tài)推理模型方面的創(chuàng)新,以及這些創(chuàng)新正在為AI的商用應(yīng)用和終端側(cè)推理落地做好準(zhǔn)備。這些新模型能夠在終端側(cè)運(yùn)行,將加速強(qiáng)大邊緣側(cè)芯片的規(guī)模化擴(kuò)展,并創(chuàng)造對此類芯片的需求。
四大趨勢正在顯著提高目前可在終端側(cè)運(yùn)行的AI模型的質(zhì)量、性能和效率,從而推動上述變革:
· 當(dāng)前先進(jìn)的AI小模型已具有卓越性能。模型蒸餾和新穎的AI網(wǎng)絡(luò)架構(gòu)等新技術(shù)能夠在不影響質(zhì)量的情況下簡化開發(fā)流程,讓新模型的表現(xiàn)超越一年前推出的僅能在云端運(yùn)行的更大模型。
· 模型參數(shù)規(guī)模正在快速縮小。先進(jìn)的量化和剪枝技術(shù)使開發(fā)者能夠在不對準(zhǔn)確性產(chǎn)生實(shí)質(zhì)影響的情況下,縮小模型參數(shù)規(guī)模。
· 開發(fā)者能夠在邊緣側(cè)打造更豐富的應(yīng)用。高質(zhì)量AI模型快速激增,意味著文本摘要、編程助手和實(shí)時(shí)翻譯等特性在智能手機(jī)等終端上的普及,讓AI能夠支持跨邊緣側(cè)規(guī)模化部署的商用應(yīng)用。
· AI正在成為新的UI。個(gè)性化多模態(tài)AI智能體將簡化交互,高效地跨越各種應(yīng)用完成任務(wù)。
高通技術(shù)公司在引領(lǐng)并利用從AI訓(xùn)練向大規(guī)模推理轉(zhuǎn)型,以及AI計(jì)算處理從云端向邊緣側(cè)擴(kuò)展方面具有戰(zhàn)略優(yōu)勢。公司在開發(fā)定制CPU、NPU、GPU和低功耗子系統(tǒng)領(lǐng)域取得了廣泛的成就。通過與模型廠商展開合作,以及面向跨不同邊緣終端領(lǐng)域的模型部署提供工具、框架和SDK,高通技術(shù)公司賦能開發(fā)者在邊緣側(cè)加速采用AI智能體和應(yīng)用。
近期對AI模型訓(xùn)練方式的顛覆變革和重新評估驗(yàn)證了AI格局即將向大規(guī)模推理轉(zhuǎn)變的趨勢,這將形成全新邊緣側(cè)推理計(jì)算的創(chuàng)新和升級周期。盡管模型訓(xùn)練仍將在云端進(jìn)行,但推理將受益于采用高通技術(shù)的廣泛終端規(guī)模,并催生更多邊緣側(cè)AI賦能處理器的需求。
-
高通
+關(guān)注
關(guān)注
77文章
7548瀏覽量
191841 -
AI
+關(guān)注
關(guān)注
87文章
32825瀏覽量
272290 -
模型
+關(guān)注
關(guān)注
1文章
3433瀏覽量
49548
原文標(biāo)題:AI變革正在推動終端側(cè)推理創(chuàng)新
文章出處:【微信號:Qualcomm_China,微信公眾號:高通中國】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
AI推理的存儲,看好SRAM?

端側(cè)AI應(yīng)用——“后DeepSeek時(shí)代”產(chǎn)業(yè)機(jī)遇分析
高通推動終端側(cè)AI釋放全新價(jià)值

Banana Pi 與瑞薩電子攜手共同推動開源創(chuàng)新:BPI-AI2N
MWC 2025 | 廣和通發(fā)布全矩陣AI解決方案“星云”系列,創(chuàng)新變革端側(cè)AI

FPGA+AI王炸組合如何重塑未來世界:看看DeepSeek東方神秘力量如何預(yù)測......
AI賦能邊緣網(wǎng)關(guān):開啟智能時(shí)代的新藍(lán)海
移遠(yuǎn)通信邊緣計(jì)算模組成功運(yùn)行DeepSeek模型,以領(lǐng)先的工程能力加速端側(cè)AI落地

研華AI Agent引領(lǐng)工業(yè)物聯(lián)網(wǎng)應(yīng)用革新
聯(lián)發(fā)科技攜手Cocos共建端側(cè)生成式AI游戲開發(fā)生態(tài),推動行業(yè)升級
高通技術(shù)在CES 2025發(fā)布AI創(chuàng)新,引領(lǐng)多元終端變革
把握關(guān)鍵節(jié)點(diǎn),美格智能持續(xù)推動端側(cè)AI規(guī)模化拓展

把握關(guān)鍵節(jié)點(diǎn),美格智能持續(xù)推動端側(cè)AI規(guī)模化拓展

AI風(fēng)向標(biāo)|算力與通信的完美融合,SRM6690解鎖端側(cè)AI的智能密碼

評論