電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）新一輪的AI文生視頻需求爆發(fā)下，服務(wù)器對(duì)于GPU性能的要求再度達(dá)到了新的巔峰。然而服務(wù)器端在加強(qiáng)硬件性能的同時(shí)，消費(fèi)終端卻始終在探索如何降低對(duì)于硬件的需求，尤其是在圖像處理上。

前幾年隨著高刷屏的普及，越來越多的廠商開發(fā)了對(duì)應(yīng)的智能插幀補(bǔ)償技術(shù)。而隨著4K視頻內(nèi)容和屏幕的爆發(fā)，桌面端游戲4K的普及以及移動(dòng)端游戲720P以上渲染分辨率的普及，AI超分技術(shù)成了視覺處理上的又一大技術(shù)路線。

桌面端超分技術(shù)

在桌面端，GPU往往是AI超分技術(shù)的主力軍，而且隨著技術(shù)的迭代，主流的超分方案不再是效果欠佳的插值算法，也不需要對(duì)于應(yīng)用本身進(jìn)行預(yù)訓(xùn)練，而是可以隨意移植到現(xiàn)有的游戲開發(fā)中去。

英偉達(dá)的DLSS技術(shù)向來被稱為目前超分技術(shù)的領(lǐng)頭羊，通過其GPU專有的Tensor Core，英偉達(dá)得以通過深度學(xué)習(xí)進(jìn)行實(shí)時(shí)超分，甚至引入了更加復(fù)雜的算法來提升超分畫面的質(zhì)量。以DLSS 3.0版本為例，英偉達(dá)為RTX40系列的GPU引入了光流幀生成算法，用于實(shí)現(xiàn)翻倍的幀率增長。

在3.5版本中，英偉達(dá)又加入了新的光線重構(gòu)技術(shù)，進(jìn)一步提高了性能，改善了圖像質(zhì)量。這得益于英偉達(dá)內(nèi)部輸入大量訓(xùn)練數(shù)據(jù)打造的降噪算法，這一全新的光線重構(gòu)技術(shù)訓(xùn)練數(shù)據(jù)量是3.0版本的5倍，所以在超分后的降噪性能和效率上遠(yuǎn)超上一代。

在見證了DLSS的成功后，不甘示弱的AMD也推出了FSR超分技術(shù)，如今也從第一版的空域超分算法，變?yōu)閮?yōu)化后的時(shí)域超分算法，再到如今同樣支持更低延遲的幀生成技術(shù)。相比起依賴專用硬件單元的DLSS，AMD的FSR更加開放，甚至支持非AMD的GPU。

同屬競爭關(guān)系的還有英特爾的XeSS，XeSS和DLSS 3.5一樣，同樣采用了龐大的訓(xùn)練數(shù)據(jù)，但又和AMD的FSR技術(shù)一樣，支持除了英特爾Arc以外的GPU產(chǎn)品。不過XeSS也分為兩種變體，一種是借助Arc GPU獨(dú)有XMX指令集的方案，一種是基于DP4a指令集的通用方案，后者在4K的渲染上要略低于前者。

面對(duì)如此多的AI超分技術(shù)，彼此之間又存在一定的硬件壁壘，對(duì)于開發(fā)者而言，提供硬件支持已經(jīng)頻繁遇阻，也加大了工作量。為了解決這個(gè)問題，微軟決心從引擎上直接入手。在今年的GDC上，微軟發(fā)布了全新DirectSR API，通過與GPU硬件廠商的合作，把超分技術(shù)無縫集成在游戲中。

只需一組通用輸入和輸出，開發(fā)者就能成功實(shí)現(xiàn)對(duì)于各種超分技術(shù)的支持，包括英偉達(dá)的DLSS、AMD FSR和英特爾XeSS。微軟表示，這一新API的應(yīng)用將直接通過Agility SDK更新實(shí)現(xiàn)，所以并不需要系統(tǒng)更新支持，只要是Windows 10之后的系統(tǒng)，集成了對(duì)應(yīng)獨(dú)立顯示處理器的機(jī)器都能享受到AI超分技術(shù)。

值得注意的是，微軟不僅僅想從游戲內(nèi)部設(shè)置中直接提供對(duì)多家超分技術(shù)的支持，更是打算直接為用戶開啟自動(dòng)超分。微軟在最新的Windwos 11 24H2版本中加入了“自動(dòng)SR”選項(xiàng)，在檢測到支持的游戲后，系統(tǒng)會(huì)自動(dòng)開啟超分辨率技術(shù)。

另外，這一系統(tǒng)自帶的AI超分技術(shù)很有可能會(huì)是下一代AI PC的獨(dú)占技術(shù)，而并不是調(diào)用GPU廠商的超分技術(shù)。借助下一代AI PC上的獨(dú)立NPU，下一代Windows將得以充分利用AI算力，實(shí)現(xiàn)游戲乃至未來視頻的超分。

移動(dòng)端超分技術(shù)

盡管桌面端的部分超分技術(shù)已經(jīng)開源，比如AMD的FSR 2.0，但時(shí)域超分其對(duì)硬件的要求和對(duì)渲染管線的變更，注定了其無法在移動(dòng)端普及。為此智能手機(jī)SoC廠商們也都各顯神通，推出了相應(yīng)的移動(dòng)端超分技術(shù)。高通在去年4月份推出了全新的驍龍GSR技術(shù)，借助其Adreno GPU實(shí)現(xiàn)的單通空域超分算法，可在智能手機(jī)和XR設(shè)備上把1080p的源圖像超分至4K。

同樣在移動(dòng)端發(fā)力AI超分辨率技術(shù)的還有聯(lián)發(fā)科，AI-SR以及MEMC運(yùn)動(dòng)補(bǔ)償都是其MiraVision視頻增強(qiáng)中用到的技術(shù)。聯(lián)發(fā)科利用GPU和APU兩者結(jié)合來動(dòng)態(tài)優(yōu)化畫質(zhì)和功耗。通過第五代和第六代聯(lián)發(fā)科APU，其AI-SR技術(shù)可以實(shí)現(xiàn)最高1.5倍的分辨率縮放，同時(shí)還能節(jié)省50%的功耗。

除了借助手機(jī)SoC自帶的GPU/NPU之外，也有的廠商開始考慮引入獨(dú)立的視覺處理器來實(shí)現(xiàn)AI超分。比如以今年發(fā)布的一加Ace3為例，就搭載了逐點(diǎn)半導(dǎo)體的X7 Gen2視覺處理器，從而實(shí)現(xiàn)基于高效神經(jīng)網(wǎng)絡(luò)算法的AI游戲超分。該方案也采用了分布式計(jì)算架構(gòu)的方案，讓GPU只需渲染關(guān)鍵幀和低分辨率畫面，借助X7 Gen2視覺處理器來實(shí)現(xiàn)高分辨率的處理，從而減少GPU的渲染負(fù)擔(dān)。

值得一提的是，為了解決傳統(tǒng)SoC應(yīng)用處理器中GPU/NPU存在多線程任務(wù)和固定渲染模式的問題，逐點(diǎn)半導(dǎo)體決定從內(nèi)容渲染端到終端顯示端打通視覺處理通道。所以他們選擇了在游戲中集成手游渲染加速引擎SDK的技術(shù)路線，通過給開發(fā)人員提供這一SDK，廠商在集成這一SDK后就可以實(shí)現(xiàn)更優(yōu)質(zhì)的超分效果。

顯示端超分技術(shù)

除了本身就擁有較高算力的PC和智能手機(jī)外，不少廠商也開始嘗試在顯示端做集成AI功能的顯示芯片，比如紫光展銳的超高清智能計(jì)算芯片M6780。M6780本身采用了Cortex-A76*2+A55*2的CPU方案，和Mali Natt的GPU方案，也集成了最高6.4TOPS算力的NPU。M6780除了支持AI-SR超分辨率技術(shù)外，也支持AI-PQ畫質(zhì)增強(qiáng)、MEMC運(yùn)動(dòng)補(bǔ)償?shù)膱D像處理技術(shù)。

除此之外在汽車上，也有對(duì)應(yīng)的超分方案出爐，比如早在2022年Imagination就和Visidon達(dá)成了合作，通過IMG Series4神經(jīng)網(wǎng)絡(luò)加速器和Tensor Tiling技術(shù)，將低分辨率的源數(shù)據(jù)上采樣為高分辨率輸出，從而降低視頻傳輸?shù)膸挕Ｔ谄嚿希@不僅對(duì)于車載顯示至關(guān)重要，即便是對(duì)于攝像頭獲取的ADAS圖像數(shù)據(jù)，也可以充分降低SoC的內(nèi)存帶寬壓力。

服務(wù)器端超分技術(shù)

除了降低端側(cè)硬件的內(nèi)存帶寬外，降低網(wǎng)絡(luò)帶寬也成了服務(wù)器廠商和流媒體/直播平臺(tái)苦惱的問題。視頻商業(yè)模式的變化和用戶對(duì)高清內(nèi)容的需求不斷放大，平臺(tái)方想要為用戶提供優(yōu)質(zhì)圖像畫面的同時(shí)，也希望進(jìn)一步降低流量費(fèi)用。而云平臺(tái)也希望通過更加實(shí)惠的服務(wù)器方案，吸引更多的客戶，尤其是專為視頻平臺(tái)打造的加速服務(wù)器。

相較起其他AI超分算法而言，服務(wù)器端的超分算法并不會(huì)將畫面質(zhì)量放在首位，而是優(yōu)先側(cè)重帶寬成本和實(shí)時(shí)性。為此，一些直播平臺(tái)往往都會(huì)選擇小參數(shù)的超分算法，能夠在單卡上實(shí)現(xiàn)30幀低延遲的畫質(zhì)增強(qiáng)。以華為云的昇騰AI云服務(wù)器為例，其就支持1080p視頻/圖片的AI超分，相較傳統(tǒng)的GPU方案，其推理延時(shí)降低了60%，超分性能最高可提升至2.58倍。

AWS也推出了對(duì)應(yīng)的AI視頻超分解決方案，他們通過基于自研算法預(yù)訓(xùn)練好的超分辨率模型，依靠Inferentia推理加速器提供高吞吐量的推理，可將480p的分辨率超分至1080p甚至是4K分辨率，但越高的分辨率也就意味著處理原視頻的每小時(shí)成本會(huì)成倍增長。

寫在最后

以目前市面上已有的各種AI超分技術(shù)而言，無論是實(shí)用性還是技術(shù)成熟度都已經(jīng)很高了。對(duì)于桌面端用戶而言，可以進(jìn)一步降低應(yīng)用對(duì)顯卡的圖形性能要求；在移動(dòng)端，超分技術(shù)改善視覺流暢度的同時(shí)，降低了硬件的整體功耗，提高了續(xù)航；而對(duì)于傳統(tǒng)的數(shù)字電視和車載顯示而言，超分技術(shù)釋放了端側(cè)有限的帶寬，加強(qiáng)了用戶體驗(yàn)；在服務(wù)器端，超分算法為平臺(tái)節(jié)省了海量的流量成本。