隨著人工智能的興起，曾經(jīng)“簡(jiǎn)單”的設(shè)備變得越來(lái)越智能，導(dǎo)致計(jì)算設(shè)備比以往任何時(shí)候都多。

英特爾首席執(zhí)行官帕特·基辛格 (Pat Gelsinger) 在 2024 年 1 月 9 日舉行的 CES 2024 上發(fā)表主題演講，將探討通過(guò)創(chuàng)新和開(kāi)放軟件賦能的硅如何為消費(fèi)者和企業(yè)提供人工智能功能。第二天，高通總裁兼首席執(zhí)行官克里斯蒂亞諾·阿蒙將強(qiáng)調(diào)更多設(shè)備將如何無(wú)縫融入我們的生活；他將解釋說(shuō)，在設(shè)備上普遍且持續(xù)運(yùn)行的人工智能將改變用戶體驗(yàn)，使用戶體驗(yàn)更加自然、直觀、相關(guān)和個(gè)性化，同時(shí)需要提高即時(shí)性、隱私性和安全性。

這意味著越來(lái)越多的受限設(shè)備和傳感器中需要更多的機(jī)器學(xué)習(xí) (ML)，無(wú)論是物聯(lián)網(wǎng) (IoT)、工業(yè)自動(dòng)化、自動(dòng)駕駛和軟件定義車(chē)輛 (SDV) 還是健康領(lǐng)域和可穿戴設(shè)備。

在嵌入式世界中，以下趨勢(shì)能夠?qū)崿F(xiàn)其中的一些目標(biāo)。

邊緣智能變得更好

蘋(píng)果剛剛發(fā)布的關(guān)于在內(nèi)存有限的資源受限設(shè)備上部署大型語(yǔ)言模型（LLM）的研究論文顯示，通過(guò)將模型參數(shù)存儲(chǔ)在閃存上，但按需將它們傳送到 DRAM，解決了高效運(yùn)行超出可用 DRAM 容量的 LLM 的挑戰(zhàn)。

蘋(píng)果團(tuán)隊(duì)在論文中表示，他們的方法涉及構(gòu)建一個(gè)與閃存行為相協(xié)調(diào)的推理成本模型，從而實(shí)現(xiàn)兩個(gè)關(guān)鍵領(lǐng)域的優(yōu)化：減少?gòu)拈W存?zhèn)鬏數(shù)臄?shù)據(jù)量以及以更大、更連續(xù)的塊讀取數(shù)據(jù)。為此，他們引入了兩種技術(shù)，一種稱(chēng)為“窗口”，通過(guò)重用先前激活的神經(jīng)元來(lái)戰(zhàn)略性地減少數(shù)據(jù)傳輸，另一種稱(chēng)為“行列捆綁”，以增加從閃存讀取的數(shù)據(jù)塊的大小。

論文指出，“這些方法共同支持運(yùn)行高達(dá)可用 DRAM 大小兩倍的模型，與 CPU 和 GPU 中的簡(jiǎn)單加載方法相比，推理速度分別提高了 4-5 倍和 20-25 倍。我們將稀疏性意識(shí)、上下文自適應(yīng)加載和面向硬件的設(shè)計(jì)集成在一起，為在內(nèi)存有限的設(shè)備上有效推理 LLM 鋪平了道路。”

這表明該行業(yè)的總體發(fā)展方向是在邊緣部署更多的機(jī)器學(xué)習(xí)和推理。

RISC-V 的采用變得更加明顯

2023 年 8 月，多家公司宣布成立一家新的未命名公司，該公司將有助于加速 RISC-V 硬件在全球的商業(yè)化。上周，該公司被命名為Quintauris，亞歷山大·科赫 (Alexander Kocher) 被任命為首席執(zhí)行官。該公司總部位于德國(guó)慕尼黑，投資者包括博世、英飛凌、Nordic Semiconductor、NXP Semiconductors 和 Qualcomm Technologies。

該公司將成為支持基于 RISC-V 的兼容產(chǎn)品、提供參考架構(gòu)并幫助建立行業(yè)廣泛使用的解決方案的單一來(lái)源。最初的應(yīng)用重點(diǎn)將是汽車(chē)，但最終將擴(kuò)展到移動(dòng)和物聯(lián)網(wǎng)。

看看 Quintauris 如何與RISC-V International 并肩作戰(zhàn)將會(huì)很有趣。毫無(wú)疑問(wèn)，行業(yè)協(xié)會(huì)負(fù)責(zé)維護(hù)指令集架構(gòu) (ISA) 規(guī)范，而 Quintauris 很可能成為需要現(xiàn)成參考板和系統(tǒng)進(jìn)行自己開(kāi)發(fā)的開(kāi)發(fā)人員的資源。

當(dāng)許多評(píng)論者談?wù)?RISC-V 時(shí)，經(jīng)常忽略的一點(diǎn)是，開(kāi)發(fā)人員正在設(shè)計(jì)基于異構(gòu)架構(gòu)的系統(tǒng)，因此多個(gè) ISA 很可能成為芯片的一部分，而 RISC-V 則被部署用于各種功能。

咨詢公司 SHD Group 在 2023 年 11 月美國(guó) RISC-V 峰會(huì)上提交了一份報(bào)告，強(qiáng)調(diào)其自己的 RISC-V 市場(chǎng)分析，預(yù)計(jì)今年將作為報(bào)告發(fā)布。在 2023 年 12 月向Embedded.com 舉行的簡(jiǎn)報(bào)中，SHD Group 首席分析師 Richard Wawrzyniak 告訴我們：“我們處于一個(gè)異構(gòu)的世界。我們并不是說(shuō) RISC-V 正在占領(lǐng)世界，但生態(tài)系統(tǒng)正在構(gòu)建良好，其中包含設(shè)計(jì)人員創(chuàng)建自己的芯片所需的所有元素。”

SHD Group 的 RISC-V 市場(chǎng)收入預(yù)測(cè)

他的研究強(qiáng)調(diào)了內(nèi)置 RISC-V 的部件數(shù)量，而不是 RISC-V 內(nèi)核的實(shí)際數(shù)量。他說(shuō)：有數(shù)十億臺(tái) SoC 以任何形式或功能搭載 RISC-V。該報(bào)告研究了 6 個(gè)不同類(lèi)別的 54 個(gè)應(yīng)用程序，預(yù)計(jì)到 2030 年，基于 RISC-V 的 SoC 的芯片收入將接近 1000 億美元，并將帶來(lái) 16 億美元的 IP 收入。研究預(yù)計(jì)到 2027 年左右，收入將從許可驅(qū)動(dòng)型收入轉(zhuǎn)變?yōu)樘卦S權(quán)使用費(fèi)驅(qū)動(dòng)型收入。

Chiplet 業(yè)務(wù)將開(kāi)始變得有點(diǎn)像 IP 業(yè)務(wù)

Chiplet 去年風(fēng)靡一時(shí)，到 2024 年，知識(shí)產(chǎn)權(quán) (IP) 業(yè)務(wù)可能會(huì)開(kāi)始像大約 20 年前那樣。我們中的一些人可能還記得最初成立于 2000 年的Virtual Component Exchange，其目標(biāo)是充當(dāng) IP 買(mǎi)家和賣(mài)家的門(mén)戶。

現(xiàn)在，小芯片是克服當(dāng)今機(jī)器學(xué)習(xí)密集型產(chǎn)品的海量計(jì)算需求挑戰(zhàn)的答案之一，而無(wú)需使用最先進(jìn)（且昂貴）的工藝技術(shù)構(gòu)建單片芯片。正如去年加州Chiplet 峰會(huì)主席 Chuck Sobey 所說(shuō)：“Chiplet 在提高芯片可擴(kuò)展性、模塊化和靈活性方面可以發(fā)揮很大作用。但只有產(chǎn)品開(kāi)發(fā)人員能夠快速且廉價(jià)地集成它們時(shí)，這個(gè)想法才有效。有效的集成平臺(tái)需要許多工具。所有領(lǐng)域的供應(yīng)商都必須提供一個(gè)平臺(tái)并支持生態(tài)系統(tǒng)和開(kāi)源工作，以填補(bǔ)界面和軟件空白。”

零 ASIC 的 efabric 概念

2023 年該領(lǐng)域出現(xiàn)的最有趣的初創(chuàng)公司之一是 Zero ASIC，該公司表示他們正在通過(guò)小芯片設(shè)計(jì)和仿真平臺(tái)實(shí)現(xiàn)芯片制造的自主化。

該公司于 10 月份公開(kāi)露面，提供 3D 小芯片可組合性以及基于全自動(dòng)無(wú)代碼小芯片的芯片設(shè)計(jì)。該公司表示，其平臺(tái)能夠從已知良好的小芯片目錄中自動(dòng)設(shè)計(jì)、驗(yàn)證和組裝系統(tǒng)級(jí)封裝（SiP）。基于 Web 的設(shè)計(jì)和仿真工具允許用戶在訂購(gòu)物理設(shè)備之前快速準(zhǔn)確地測(cè)試定制設(shè)計(jì)，使用云 FPGA 在定制 SoC 中實(shí)現(xiàn)每個(gè)小芯片的 RTL 源代碼。

Chiplet 的激增以及使用各種來(lái)源的 Chiplet 的能力當(dāng)然取決于標(biāo)準(zhǔn)，但隨著UCIe（通用 Chiplet 互連快速）規(guī)范的發(fā)展，這已經(jīng)成為業(yè)界思考的一部分。

英偉達(dá)推動(dòng) AI/ML趨勢(shì)

最終，推動(dòng)上述趨勢(shì)的是對(duì)機(jī)器學(xué)習(xí) (ML) 的需求。雖然沒(méi)有特別強(qiáng)調(diào)，但毫無(wú)疑問(wèn)，特定領(lǐng)域的 AI/ML 將成為 2024 年的關(guān)鍵驅(qū)動(dòng)因素。

數(shù)據(jù)的豐富性將是一個(gè)關(guān)鍵問(wèn)題，因此開(kāi)發(fā)人員無(wú)疑將更加密切地關(guān)注數(shù)據(jù)加密、硬件和連接層的網(wǎng)絡(luò)安全等領(lǐng)域，以及使用機(jī)器學(xué)習(xí)來(lái)解決這些問(wèn)題。

多家公司都提供了他們對(duì) 2024 年的人工智能預(yù)測(cè)和趨勢(shì)。英偉達(dá)高管重點(diǎn)介紹了其對(duì) 2024 年的 17 個(gè)預(yù)測(cè)。該公司負(fù)責(zé)企業(yè)計(jì)算的副總裁 Manuvir Dav 表示，一種方法無(wú)法適應(yīng)所有情況，將有數(shù)百個(gè)客戶大語(yǔ)言模型 (LLM) 來(lái)提供準(zhǔn)確、具體的知情響應(yīng)，以分析企業(yè)內(nèi)的大量數(shù)據(jù)；為了實(shí)現(xiàn)這一目標(biāo)，開(kāi)源軟件和現(xiàn)成的人工智能和微服務(wù)將發(fā)揮帶頭作用。

在醫(yī)療保健領(lǐng)域，英偉達(dá)醫(yī)療保健副總裁 Kimberly Powell 談到將儀器、成像、機(jī)器人技術(shù)和實(shí)時(shí)患者數(shù)據(jù)與人工智能相結(jié)合，以實(shí)現(xiàn)更好的外科醫(yī)生培訓(xùn)、手術(shù)期間更加個(gè)性化以及通過(guò)實(shí)時(shí)反饋和指導(dǎo)提高安全性，即使在遠(yuǎn)程手術(shù)期間也是如此。她說(shuō)，這將有助于縮小 1.5 億例所需但未進(jìn)行的手術(shù)的缺口，特別是在低收入和中等收入國(guó)家。

在汽車(chē)領(lǐng)域，該公司汽車(chē)副總裁吳新宙表示，生成式人工智能將有助于實(shí)現(xiàn)智能工廠中汽車(chē)生產(chǎn)生命周期的現(xiàn)代化，并創(chuàng)建數(shù)字孿生。除了汽車(chē)產(chǎn)品生命周期之外，生成式 AI 還將實(shí)現(xiàn)自動(dòng)駕駛汽車(chē) (AV) 開(kāi)發(fā)的突破，包括將記錄的傳感器數(shù)據(jù)轉(zhuǎn)化為完全交互式的 3D 模擬。這些數(shù)字孿生環(huán)境以及合成數(shù)據(jù)生成將用于在自動(dòng)駕駛汽車(chē)部署到現(xiàn)實(shí)世界之前大規(guī)模安全地開(kāi)發(fā)、測(cè)試和驗(yàn)證自動(dòng)駕駛汽車(chē)。

英偉達(dá)嵌入式、邊緣和計(jì)算副總裁 Deepu Talla 表示，生成式 AI 將為機(jī)器人開(kāi)發(fā)代碼，并創(chuàng)建新的模擬來(lái)測(cè)試和訓(xùn)練它們。他補(bǔ)充道：“法學(xué)碩士將通過(guò)自動(dòng)構(gòu)建 3D 場(chǎng)景、構(gòu)建環(huán)境并根據(jù)輸入生成資產(chǎn)來(lái)加速模擬開(kāi)發(fā)。由此產(chǎn)生的模擬資產(chǎn)對(duì)于合成數(shù)據(jù)生成、機(jī)器人技能培訓(xùn)和機(jī)器人應(yīng)用測(cè)試等工作流程至關(guān)重要。”他表示，為了使機(jī)器人行業(yè)規(guī)模化，機(jī)器人必須變得更加通用——也就是說(shuō)，它們需要更快地獲得技能或?qū)⑺鼈儙У叫碌沫h(huán)境中。“在模擬中訓(xùn)練和測(cè)試的生成式人工智能模型將成為推動(dòng)更強(qiáng)大、更靈活和更易于使用的機(jī)器人的關(guān)鍵推動(dòng)因素。”

Ampere ：改變計(jì)算格局的趨勢(shì)

AmpereComputing 首席產(chǎn)品官 Jeff Wittich 繼續(xù)討論 2024 年通用計(jì)算趨勢(shì)，在博客中提出了他對(duì) 2024 年的看法，并總結(jié)如下：

人工智能推理和大規(guī)模部署成為焦點(diǎn)。

在人工智能的背景下，可持續(xù)性和能源效率變得更加重要。

計(jì)算和數(shù)據(jù)處理變得更加分布式和復(fù)雜。

第三個(gè)要點(diǎn)總結(jié)了我們 2024 年的趨勢(shì)，引用 Wittich 的話說(shuō)：“隨著人工智能的興起，曾經(jīng)‘簡(jiǎn)單’的設(shè)備變得越來(lái)越智能，導(dǎo)致計(jì)算設(shè)備比以往任何時(shí)候都多。為了實(shí)時(shí)處理來(lái)自這些設(shè)備的數(shù)據(jù)，高性能計(jì)算正在各處部署——在公共云和私有云中，但現(xiàn)在也在邊緣，導(dǎo)致與集中區(qū)域相比，超本地區(qū)域?qū)τ?jì)算的需求更大。這些環(huán)境的復(fù)雜性需要業(yè)界五年前還沒(méi)有的解決方案，并且將會(huì)有比以往更多的專(zhuān)業(yè)供應(yīng)商試圖解決這種情況。”