依據(jù)客戶(hù)真實(shí)需求，定制下一代CPU是我們的工作之一，我們選擇做視頻轉(zhuǎn)碼的另一個(gè)原因，是為了設(shè)計(jì)更好滿(mǎn)足音視頻領(lǐng)域需求的下一代硬件。所以今天還會(huì)給大家介紹下一代CPU中關(guān)于編解碼的特殊指令，這些特殊指令可以加速編碼效率。

今天，我分享的內(nèi)容分為三個(gè)章節(jié)。首先，使用英特爾豐富的工具鏈對(duì)視頻轉(zhuǎn)碼進(jìn)行分析。我們作為硬件廠商，本身不做音視頻轉(zhuǎn)碼業(yè)務(wù)，但俗話說(shuō)“弄斧要到班門(mén)”，所以我們首先對(duì)視頻轉(zhuǎn)碼的一些典型場(chǎng)景進(jìn)行了微架構(gòu)層面的分析，為后面的優(yōu)化做好鋪墊。然后，介紹方案的核心思想，即如何重用一次編碼的信息來(lái)提高二次編碼的效率。之前提到，計(jì)算復(fù)雜度在轉(zhuǎn)碼里占了很大的成本，所以要從源頭上降低計(jì)算復(fù)雜度。最后，介紹SIMD指令集。SIMD的全稱(chēng)是Single Instruction Multiple Data，意思是單指令多數(shù)據(jù)，表明一條指令可以同時(shí)操作多個(gè)數(shù)據(jù)。

01 視頻轉(zhuǎn)碼分析

首先，我們對(duì)視頻轉(zhuǎn)碼進(jìn)行分析。

我們從相關(guān)市場(chǎng)獲取了圖中的數(shù)據(jù)。第一張圖表示在2020年，視頻數(shù)據(jù)在互聯(lián)網(wǎng)數(shù)據(jù)占比70%。到現(xiàn)在，視頻數(shù)據(jù)在互聯(lián)網(wǎng)數(shù)據(jù)占比已超過(guò)80%。第二張圖是PRC Video Cloud Market Forecast，圖中呈增長(zhǎng)趨勢(shì)。雖然目前共有云市場(chǎng)的增速減緩，但是視頻云的增長(zhǎng)仍有很大潛力。回到轉(zhuǎn)碼本身，第三張圖和第四張圖來(lái)自Video Developer report。從第四張圖可以看到，在2019年，H.264仍是主流視頻編碼技術(shù)，90%以上仍使用H.264。其次，較多使用的是H.265，然后是VP9和AV1，H.265也在逐漸成為一種趨勢(shì)。第三張圖表示視頻編碼器開(kāi)發(fā)人員計(jì)劃在2022年投入的情況。其中，投入最多的是H.265，然后是AV1，再然后是H.266，這三個(gè)協(xié)議正在成為主流編碼器協(xié)議，我們后續(xù)將基于這些主流編碼器進(jìn)行開(kāi)發(fā)。

接下來(lái)進(jìn)行直播成本分析。這是一張直播的結(jié)構(gòu)圖，主播上傳內(nèi)容到上行CDN，然后再發(fā)送到轉(zhuǎn)碼中心進(jìn)行內(nèi)容識(shí)別、截屏、錄制和轉(zhuǎn)碼，接著再分發(fā)到下行CDN。這個(gè)過(guò)程中，成本最大的是網(wǎng)絡(luò)帶寬和轉(zhuǎn)碼服務(wù)器。之前提到，網(wǎng)絡(luò)帶寬取決于觀看人數(shù)和碼率。舉個(gè)例子，觀看2M的視頻和觀看500K的視頻所需的網(wǎng)絡(luò)帶寬不同，1000個(gè)人同時(shí)觀看視頻和10個(gè)人同時(shí)觀看視頻所需的網(wǎng)絡(luò)帶寬也不同。轉(zhuǎn)碼服務(wù)取決于分辨率、碼率和視頻編碼標(biāo)準(zhǔn)等。

我們對(duì)頭部的互聯(lián)網(wǎng)廠商進(jìn)行了分析。如第一張圖所示，主要有兩個(gè)成本，一個(gè)是Traffic price，即帶寬成本，另一個(gè)是轉(zhuǎn)碼成本。第二張圖表示直播一小時(shí)內(nèi)，轉(zhuǎn)碼和帶寬的比例，圖的橫軸是觀看人數(shù)，縱軸是轉(zhuǎn)碼和帶寬費(fèi)用的比例。可以看到，當(dāng)觀眾數(shù)大于等于50時(shí)，帶寬成為主要的成本。舉個(gè)例子，頂級(jí)流量主播的一場(chǎng)直播的帶寬成本要幾百萬(wàn)，此時(shí)轉(zhuǎn)碼成本只有幾千塊，相對(duì)帶寬成本幾乎可以忽略。但對(duì)于數(shù)量眾多的小主播來(lái)講，觀眾數(shù)可能只有十幾個(gè)，此時(shí)的帶寬較低，所以轉(zhuǎn)碼成本成為主要的成本。針對(duì)這兩種情況，在帶寬成本較大時(shí)，我們以?xún)?yōu)化帶寬為主，在轉(zhuǎn)碼成本較大時(shí)，我們以?xún)?yōu)化轉(zhuǎn)碼速度/轉(zhuǎn)碼性能為主。

接下來(lái)，介紹幾款好用的英特爾的工具。首先是V-Tune，是一個(gè)可以快速發(fā)現(xiàn)應(yīng)用程序瓶頸的可視化的工具。左下圖展示了一個(gè)例子，可以看到，我們可以知道轉(zhuǎn)碼里每個(gè)函數(shù)占用的CPU時(shí)間，雙擊就可進(jìn)入code，精確定位哪行code的占比較高，所以可以清楚地知道熱點(diǎn)函數(shù)在哪里。我們支持CPU、GPU和FPGA，也支持多語(yǔ)言和多操作系統(tǒng)。V-Tune的優(yōu)點(diǎn)是直觀，缺點(diǎn)是會(huì)為系統(tǒng)帶來(lái)一定的負(fù)擔(dān)。

另一個(gè)工具是Emon，其用于low-level層面的數(shù)據(jù)抓取。Emon的優(yōu)點(diǎn)是可以直接抓取Performance Monitoring Units（PMUs），即寄存器的值，因此功率消耗較少。觀察右上圖，可以知道CPU的利用率、AVX指令集的使用比例，也可以知道該函數(shù)是Backend_Bound還是Frontend_Bound。因此，可以清楚知道系統(tǒng)的問(wèn)題在哪里。

利用剛才介紹的工具，可以估計(jì)轉(zhuǎn)碼消耗的算力。可以看到，在某一個(gè)轉(zhuǎn)碼場(chǎng)景里，編碼過(guò)程中的運(yùn)動(dòng)估計(jì)（Motion Estimation）占比超過(guò)40%，但不同的場(chǎng)景情況有所不同，舉個(gè)例子，將8K的數(shù)據(jù)轉(zhuǎn)換成360P的數(shù)據(jù)時(shí)，解碼消耗的算力大于轉(zhuǎn)碼消耗的算力。在大部分情況下，若考慮幀決策等，運(yùn)動(dòng)估計(jì)的占比將超過(guò)50%，因此這成為了我們關(guān)注的熱點(diǎn)。

02重用運(yùn)動(dòng)矢量等信息提高轉(zhuǎn)碼效率和質(zhì)量

接下來(lái)，介紹方案的核心思想。

我們現(xiàn)在考慮轉(zhuǎn)碼，比如將H.264或H.265轉(zhuǎn)換成H.266或AV1。在一次編碼時(shí)，我們可以獲得slice type、mb qp和mb partition等信息。在現(xiàn)在的編解碼方式中，解碼之后這些信息就會(huì)被舍棄。而我們的核心思想是，在二次編碼中重用一次編碼的信息。通過(guò)粗略計(jì)算，在大部分場(chǎng)景下，重用一次編碼信息可以減少大約67%的運(yùn)算量。

對(duì)于這種思路，大家可能有很多問(wèn)題。比如，當(dāng)幀率或分辨率在轉(zhuǎn)碼前后發(fā)生變化時(shí)，會(huì)不會(huì)出現(xiàn)一些新的問(wèn)題。因此，雖然方案的原理比較直接，但實(shí)際應(yīng)用時(shí)需要解決很多“并發(fā)癥”。特別是，我們要考慮如何一方面提升轉(zhuǎn)碼速度，另一方面保證轉(zhuǎn)碼質(zhì)量，否則轉(zhuǎn)碼質(zhì)量不好，即使轉(zhuǎn)碼速度很快，也不能投入實(shí)用。

舉個(gè)例子說(shuō)明如何重用一次編碼的信息來(lái)提高視頻質(zhì)量。JND是一種感知編碼技術(shù)，在左上的圖中，四個(gè)block中只有左下的block的值為1，其余block的值為0。但對(duì)于人眼來(lái)說(shuō)，可以忽略數(shù)值1，即四個(gè)block的值可以都為0。這是JND的核心思想：過(guò)濾人眼感觸不到的信息。對(duì)此，經(jīng)典的方法是使用雙邊濾波器等進(jìn)行過(guò)濾，但這些方法都是無(wú)差別的濾波，容易造成“誤傷”。而現(xiàn)在由于掌握一次編碼信息，我們知道哪些信息可以被平滑，哪些信息必須保留，通過(guò)設(shè)置權(quán)重的方式來(lái)進(jìn)行“區(qū)別對(duì)待”。這樣做可以帶來(lái)兩個(gè)好處，一是可以提高主觀視覺(jué)的質(zhì)量，二是在限定碼率的情況下，可以將碼率用在刀刃上，大幅度地提高客觀質(zhì)量。比如，將一個(gè)原碼率是50Mbps的視頻轉(zhuǎn)碼為2Mbps的視頻，采用我們的方式就可以較大地提高質(zhì)量。

另一種方式是使用一次編碼的殘差。在H.264和H.265里，有two-path的算法，但這個(gè)算法通常不被使用。這是因?yàn)椋m然經(jīng)過(guò)一次編碼可以掌握大概的信息，并且在此基礎(chǔ)上二次編碼的結(jié)果更精準(zhǔn)，編碼質(zhì)量更高且碼率更低，但是這會(huì)大幅度地增加計(jì)算量，推高轉(zhuǎn)碼成本和延遲。為了解決這個(gè)問(wèn)題，我們直接重用一次編碼的信息來(lái)實(shí)現(xiàn)類(lèi)似二次編碼的效果。

03SIMD指令集加速轉(zhuǎn)碼熱點(diǎn)函數(shù)

最后，介紹如何用SIMD指令集加速轉(zhuǎn)碼熱點(diǎn)函數(shù)。

至強(qiáng)服務(wù)器平臺(tái)SIMD指令集經(jīng)迭代了很多代，大家比較熟知的比如AVX2，AVX512等。第二代至強(qiáng)可擴(kuò)展平臺(tái)在AVX512的基礎(chǔ)上支持了INT8數(shù)據(jù)精度，第三代支持BF16指令集，2023年初量產(chǎn)的第四代平臺(tái)的AI性能在BF16和INT8上較上一代提升了8倍，其中加入了AMX 指令集，也可以理解為在CPU內(nèi)部有一塊硬件加速器。比如INT8的算力，一顆CPU的性能接近200T，很多以前在CPU上無(wú)法完成的運(yùn)算現(xiàn)在都成為可能。

最后介紹一個(gè)例子，說(shuō)明如何使用SIMD指令集優(yōu)化視頻編碼。在H.264中有一個(gè)大小為16×16的宏塊，需要對(duì)其求和或平方和，那么如何用avx512對(duì)其進(jìn)行加速呢？需要執(zhí)行以下幾步。首先，將16個(gè)int8的數(shù)據(jù)載入到mm128寄存器中。然后，將int8數(shù)據(jù)轉(zhuǎn)換成int32，這是因?yàn)橛袝r(shí)候運(yùn)算結(jié)果為負(fù)數(shù)，而int8無(wú)法表示負(fù)數(shù)。接著，將16個(gè)int32數(shù)據(jù)水平相加，這需要消耗0.5個(gè)指令周期，而手動(dòng)計(jì)算則需要8次計(jì)算，因此極大地提高了效率。最后，將16個(gè)int32平方后再水平相加。經(jīng)過(guò)這樣的處理，性能可提高16倍或8倍（若為一條指令則提高16倍，若為兩條指令則提高8倍）。

審核編輯：劉清