元宇宙正在推動(dòng)芯片設(shè)計(jì)的極限，盡管不確定這些設(shè)備最終需要多少原始動(dòng)力來(lái)提供沉浸式的AR、VR、MR的融合。

開發(fā)這些系統(tǒng)的最大挑戰(zhàn)是實(shí)時(shí)處理混合數(shù)據(jù)類型的能力，同時(shí)數(shù)據(jù)以閃電般的速度不間斷地移動(dòng)。這需要系統(tǒng)的集成，以及系統(tǒng)的系統(tǒng)的集成。無(wú)縫運(yùn)行將需要在芯片層面和其他層面取得進(jìn)步：

處理器必須具有足夠的功率以避免信號(hào)的跳躍。與此同時(shí)，該系統(tǒng)在設(shè)計(jì)上還必須考慮到優(yōu)秀的能效。實(shí)現(xiàn)這種平衡需要混合處理元素，其中許多元素需要針對(duì)特定任務(wù)和數(shù)據(jù)類型進(jìn)行定制設(shè)計(jì)，并具有優(yōu)先級(jí)的數(shù)據(jù)路徑，以便將數(shù)據(jù)快速移動(dòng)到需要的地方。

頭盔在運(yùn)行時(shí)必須保持合適的溫度，滿足長(zhǎng)時(shí)間佩戴需求。比如屏幕長(zhǎng)時(shí)間處于激活狀態(tài)，智能手機(jī)可能會(huì)變得太熱。戴在臉上的設(shè)備溫度要比手機(jī)更低，盡管計(jì)算量可能要高得多。

來(lái)回移動(dòng)圖像和視頻數(shù)據(jù)需要巨大的帶寬。通常在家庭或辦公室等固定環(huán)境中使用高速無(wú)線連接實(shí)現(xiàn)。但在移動(dòng)應(yīng)用中，這些設(shè)備可能會(huì)搜索信號(hào)，因?yàn)閭鬏斶@些信號(hào)所需的更高頻率容易受到從天氣到其他移動(dòng)物體等各種因素的干擾。

架構(gòu)需要足夠靈活，以合并通信協(xié)議和其他仍在發(fā)展的標(biāo)準(zhǔn)的變化，這將需要某種程度的可編程性。如果做的不好，可能會(huì)影響性能。在軟件中做這些改變可能會(huì)大大降低系統(tǒng)速度，需要更多的處理，這反過(guò)來(lái)會(huì)產(chǎn)生更多的熱量。

Cadence的Tensilica Vision和AI DSP產(chǎn)品管理、營(yíng)銷和業(yè)務(wù)開發(fā)總監(jiān)Amol Borkar表示，滿足所有這些要求的設(shè)備必須需要“硬件和效率上的革命”?！斑@個(gè)領(lǐng)域仍處于起步階段。如今的電池驅(qū)動(dòng)的頭盔大多還是原型。這種設(shè)備可能在算力上與目前的手機(jī)接近，但考慮到與用戶面部的距離，其功耗需要低得多。”

事實(shí)上，在某些情況下，它可能被綁定到手機(jī)上。著名發(fā)明家、Rambus研究員Steve Woo表示：“在像眼鏡這樣的設(shè)備上，你想做多少事情，而在一些互聯(lián)設(shè)備上，你想做多少事情，這方面存在很多問(wèn)題。一種可能性是，你的手機(jī)可以成為一個(gè)中心，其中一些處理可以被卸載。這比眼鏡之類的東西好一點(diǎn)。但它仍然是一個(gè)電池驅(qū)動(dòng)的設(shè)備，如果你碰巧旁邊有一個(gè)插在墻上的東西，也許你也可以在那里卸下一些處理工作。但響應(yīng)時(shí)間將非常重要，所以你必須盡可能在靠近設(shè)備的地方完成所有工作?！?/p>

其他人也提到了類似的限制。Arm家庭市場(chǎng)部門主管Pablo Fraile說(shuō)：“我們認(rèn)為元宇宙是任何增強(qiáng)手機(jī)功能的東西。這項(xiàng)技術(shù)可以朝著多個(gè)可穿戴的方向發(fā)展。AR和VR是這一領(lǐng)域的兩個(gè)極端，而這兩個(gè)極端的限制條件也截然不同。我們還考慮到元宇宙被部署在不同的環(huán)境中，家庭、辦公室、室外或車內(nèi)。因此聯(lián)網(wǎng)將是絕對(duì)必要的。這種連接不僅存在于用戶和網(wǎng)絡(luò)之間，也存在于人們隨身攜帶的不同設(shè)備之間，因?yàn)槟憧赡芡瑫r(shí)擁有不同的可穿戴設(shè)備。”

復(fù)雜的整合

一種普遍的看法是，元宇宙將主要用于游戲或社交媒體的動(dòng)畫3D版本。但它在工業(yè)和企業(yè)應(yīng)用中可能有更廣泛的用途，而且每種應(yīng)用都有非常不同的技術(shù)要求和芯片架構(gòu)。

TSMC北美區(qū)總裁兼CEO Dave Keller在最近的一次演講中提到了元宇宙，指出AR已經(jīng)被其客戶和內(nèi)部培訓(xùn)廣泛采用。他說(shuō)：“在封鎖期間，我們使用HoloLens與我們?cè)诿绹?guó)和歐洲的設(shè)備供應(yīng)商遠(yuǎn)程合作。元宇宙將進(jìn)一步推進(jìn)這些。去年，元宇宙讓所有人都在討論將真實(shí)和虛擬融合到數(shù)字時(shí)代。這將需要5G、云和邊緣計(jì)算?！?/p>

它還需要巨大的能量。Infineon電力和傳感器系統(tǒng)總裁Adam White說(shuō)：“你需要1000倍以上的算力才能生活在元宇宙中。對(duì)于AR/VR來(lái)說(shuō)，最大的問(wèn)題是如何產(chǎn)生足夠的能量使其工作?！?/p>

Infineon美洲區(qū)銷售SVP Shawn Slusser說(shuō)：“我們的服務(wù)器還不能處理元宇宙。然后是整個(gè)傳感器，物聯(lián)網(wǎng)之類的環(huán)境，必須輸入元宇宙。這就像一個(gè)生態(tài)系統(tǒng)，而這個(gè)生態(tài)系統(tǒng)還沒(méi)有建立起來(lái)。這需要一些時(shí)間?！?/p>

Arm的Fraile表示同意。他說(shuō)：“我們必須經(jīng)歷一個(gè)學(xué)習(xí)階段，無(wú)論是在如何使用這些東西，還是在如何建造它們方面。這并不是說(shuō)挑戰(zhàn)比我們以前見(jiàn)過(guò)的任何都要大。但這是一項(xiàng)很難整合的技術(shù)。讓這些東西同步并看起來(lái)真實(shí)是一項(xiàng)艱巨的工作。這不僅僅是網(wǎng)絡(luò)的問(wèn)題。它還涉及數(shù)據(jù)管理和數(shù)據(jù)壓縮。在某種程度上，所有這些技術(shù)仍然需要出現(xiàn)，在這些領(lǐng)域有大量的研究。”

其中包括大量的半導(dǎo)體，其中許多將是高度定制的。

Rambus的Woo表示：“一旦這開始形成一個(gè)規(guī)模合理的市場(chǎng)，你就會(huì)開始看到更多專注的創(chuàng)新。你可以在智能手表上看到這一點(diǎn)，它們現(xiàn)在自成一個(gè)品類，有自己獨(dú)特的發(fā)展空間。你會(huì)在AR和VR上看到同樣的情況，當(dāng)你找到合適的應(yīng)用，越來(lái)越多的人開始采用它并解決問(wèn)題。內(nèi)存將是這種實(shí)現(xiàn)的一大挑戰(zhàn)?！?/p>

整合這些設(shè)備以使它們能夠順暢地交換信息還有另一個(gè)挑戰(zhàn)。雖然最初這將建立在現(xiàn)有的通信基礎(chǔ)設(shè)施和方法之上，但隨著在有線和無(wú)線基礎(chǔ)設(shè)施之間移動(dòng)的數(shù)據(jù)量不斷膨脹，它將以新的方式對(duì)這些系統(tǒng)施壓。

AR/VR開發(fā)人員從28nm節(jié)點(diǎn)開始就一直在等待處理器能夠在足夠低的功耗下提供足夠的性能，從而使該行業(yè)成為可能。他們沒(méi)有預(yù)料到的是，隨著時(shí)間的推移，計(jì)算架構(gòu)會(huì)發(fā)生如此巨大的變化。因此，與其僅僅等待5nm或3nm處理器的出現(xiàn)，這個(gè)市場(chǎng)上最大的玩家現(xiàn)在正在設(shè)計(jì)自己的芯片，以優(yōu)先考慮數(shù)據(jù)流，使用融合了某種形式的AI、更快的I/O和一些高級(jí)節(jié)點(diǎn)計(jì)算元素的異構(gòu)架構(gòu)。

考慮到元宇宙設(shè)備的處理和分辨率需求，這一點(diǎn)非常關(guān)鍵。Synopsys的產(chǎn)品營(yíng)銷SVP Hezi Saar說(shuō)：“我們說(shuō)的是兩種顯示驅(qū)動(dòng)，4K*4K。他們應(yīng)該有一個(gè)很高的比特率，RGB 30 bits，最低90Hz的頻率。所以你看到的是每只眼睛每秒40或50GBt。這提供了非常高的分辨率，不會(huì)產(chǎn)生任何暈車或類似的情況。你需要攝像頭為你觀察環(huán)境，連接X(jué)R處理器，以及連接顯示驅(qū)動(dòng)?！?/p>

Saar指出，這一領(lǐng)域的許多創(chuàng)新可能來(lái)自一種可以集成多種功能的XR加速器?！癤R加速器連接外部世界或攝像頭，對(duì)攝像頭進(jìn)行插值，從電影或游戲或其他XR處理器獲取信息，并將其疊加進(jìn)去。這是一個(gè)重型XR加速SoC，為此我們確實(shí)看到了一些設(shè)計(jì)。它們需要非常低功耗的USB、MIPI接收器、攝像頭發(fā)射器和多個(gè)顯示端口。低功率很重要。發(fā)熱是一個(gè)問(wèn)題。功率一直是個(gè)問(wèn)題。但我們確實(shí)看到市場(chǎng)在向前發(fā)展?！?/p>

許多這樣的芯片將根據(jù)特定的環(huán)境或用例進(jìn)行定制，而大多數(shù)爭(zhēng)奪這一領(lǐng)域領(lǐng)導(dǎo)地位的公司都在為繁重的任務(wù)設(shè)計(jì)自己的芯片。以Meta為例，該公司選擇了3D-IC，因?yàn)樗硎続R的計(jì)算強(qiáng)度不會(huì)像VR那樣高，VR需要不斷刷新整個(gè)背景。因此，阻礙3D-IC全面采用的熱問(wèn)題將不是主要因素，信號(hào)傳輸?shù)木嚯x將更短，電阻和電容將更小。

充滿未知的際遇與大多數(shù)新的市場(chǎng)機(jī)會(huì)一樣，元宇宙是一個(gè)具有非進(jìn)化含義的進(jìn)化概念。它的缺乏定義大致相當(dāng)于邊緣計(jì)算概念，大多數(shù)芯片制造商將其視為一個(gè)廣闊的機(jī)會(huì)，但花了近10年的時(shí)間才展開。邊緣仍在建設(shè)中，目前尚不清楚誰(shuí)將成為這一領(lǐng)域的大贏家。

但邊緣也將在元宇宙中扮演一個(gè)不可或缺的角色，反之亦然。Borkar說(shuō)：“今天，我們看到許多這類設(shè)備主要由顯示器、攝像頭、麥克風(fēng)和頭盔中的其他傳感器組成，但所有的計(jì)算通常都發(fā)生在一個(gè)‘帶包’或計(jì)算包中。隨著時(shí)間的推移，我們將看到這一切合并到一個(gè)獨(dú)立的頭盔中。此外，我們預(yù)計(jì)頭盔將變得更加符合人體工學(xué)、美觀和非侵入性。我們已經(jīng)被智能手機(jī)寵壞了，當(dāng)這些AR/VR設(shè)備成為主流時(shí)，預(yù)期電池續(xù)航時(shí)間需要在8-12小時(shí)范圍內(nèi)。如果需要頻繁充電或被要求隨身攜帶充電寶，一般人是不會(huì)樂(lè)意使用這些設(shè)備的。”

這些設(shè)備還需要可擴(kuò)展的架構(gòu)以及支持多核集群和多線程的能力，Borkar說(shuō)：“當(dāng)需要分配工作負(fù)載來(lái)滿足算法的不同性能需求時(shí)，這一點(diǎn)很重要。例如，你可以讓輕量級(jí)AI網(wǎng)絡(luò)以高FPS實(shí)時(shí)運(yùn)行，同時(shí)，另一個(gè)輕量級(jí)AI網(wǎng)絡(luò)也實(shí)時(shí)運(yùn)行，但FPS低得多，然后是第三個(gè)網(wǎng)絡(luò)，計(jì)算量大，但很少運(yùn)行或以突發(fā)模式運(yùn)行。該架構(gòu)需要能夠在運(yùn)行時(shí)在多個(gè)集群或架構(gòu)之間有效地處理這些工作負(fù)載，為用戶提供最佳的功率和性能?！?/p>

說(shuō)到FPS，Borkar指出創(chuàng)造一款不會(huì)讓人感到頭暈的設(shè)備是一項(xiàng)復(fù)雜的工作。他說(shuō)：“與刷新率有關(guān)的因素有很多?！帮@示器的刷新率、頭部跟蹤和渲染pipeline以及整體延遲。在顯示端，通常建議每個(gè)顯示屏至少顯示1080p，刷新率為90Hz。在此基礎(chǔ)上，頭部跟蹤算法必須能夠無(wú)縫且準(zhǔn)確地跟蹤用戶的頭部運(yùn)動(dòng)。今天的SLAM算法使用來(lái)自攝像頭、IMU和其他輸入的傳感器融合，可以在攝像頭頻率的最小值（通常為60-90 FPS）下精確跟蹤6DoF定位。該算法可以進(jìn)一步優(yōu)化，僅依靠IMU數(shù)據(jù)產(chǎn)生1KHz的位姿估計(jì)。大多數(shù)圖形pipeline通常運(yùn)行在60-90Hz。”

“因此，為了這個(gè)1KHz的姿勢(shì)信息，實(shí)現(xiàn)了空間扭曲和時(shí)間扭曲的高級(jí)圖像處理技術(shù)來(lái)創(chuàng)建中間圖像（不渲染全新的圖像），提供了一個(gè)非?？焖俚匿秩緋ipeline的感覺(jué)。最后是延遲，通常以MPT（motion to photon）延遲來(lái)衡量，或者從被測(cè)量的運(yùn)動(dòng)到它被記錄在屏幕上的時(shí)間。所有這些因素結(jié)合在一起，對(duì)防止頭暈非常重要?！?/p>

Synopsys的Saar預(yù)測(cè)，大部分與元宇宙相關(guān)的半導(dǎo)體將用于智能眼鏡設(shè)備。他說(shuō)，至少在不久的將來(lái)，這些設(shè)備可能會(huì)被用作智能手機(jī)的某種延伸。眼鏡-智能手機(jī)組合的串聯(lián)特性解決了元宇宙設(shè)備的一些技術(shù)挑戰(zhàn)。Saar說(shuō)：“它會(huì)把東西投射到眼睛上，這樣你就能看到有人發(fā)信息或打電話給你。該設(shè)備本身可以拍一些照片，但除此之外就沒(méi)什么其他功能了。大多數(shù)情況下，它是完全關(guān)機(jī)的，只有在有中斷時(shí)才會(huì)打開。這意味著所有的算力都來(lái)自手機(jī)，而從手機(jī)到眼鏡的連接主要是為了獲取信息和圖像。我認(rèn)為這是一個(gè)輕量級(jí)的元宇宙。”

可以肯定的是，關(guān)于元宇宙的底層硬件還有很多未知和不可預(yù)測(cè)的地方。即使是關(guān)于元宇宙到底是什么的基本問(wèn)題，科技界也尚未達(dá)成共識(shí)。試探性的答案會(huì)帶來(lái)更多的問(wèn)題?！澳闳绾问占瘮?shù)據(jù)？如何保護(hù)數(shù)據(jù)？你如何確保人們不會(huì)錄下他們不想錄的東西？”

［參考文章］Chip Challenges In The Metaverse — Marie C. Baca and Ed Sperling

編輯：黃飛