在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

處理圖像和視頻編碼中,基于感知視頻編碼優(yōu)化框架

LiveVideoStack ? 來源:互聯(lián)網(wǎng) ? 作者:佚名 ? 2018-03-19 10:37 ? 次閱讀

Netflix提出了一種基于感知視頻編碼優(yōu)化框架,在非峰值流時間期間,將此編碼系統(tǒng)應(yīng)用于AVC-High和VP9數(shù)據(jù)流,提高了用戶的視頻質(zhì)量的同時并節(jié)省了帶寬。LiveVideoStack對本文進行了編譯,感謝英特爾資深軟件開發(fā)工程師趙軍對本文的審校。

文 / Loannis Katsavounidis,Netflix視頻算法高級研究科學(xué)家

譯 / 王月美

審校 / 英特爾資深軟件開發(fā)工程師 趙軍

動機

視頻編碼推動了過去25年的學(xué)術(shù)研究,并且推出了引人注目的產(chǎn)品與服務(wù)。眾多公司都圍繞視頻編碼和傳輸而構(gòu)建---?Netflix和Google的YouTube是兩個最好的例證。

多年以來,視頻編碼的基本原理改變不多。產(chǎn)生現(xiàn)代視頻流的編碼參數(shù)類型自MPEG-1視頻標(biāo)準(zhǔn)[1]發(fā)布時后就甚少改動;選擇特定的幀分辨率,連同一組 (GOP)結(jié)構(gòu),并在該結(jié)構(gòu)(GOP)上應(yīng)用周期性的幀內(nèi)(Intra picture)圖片;通過在輸入視頻幀上的單遍(single pass)或雙遍(two pass)來(近似地)滿足目標(biāo)比特率。

這些公司努力微調(diào)視頻編解碼器中的附加參數(shù),從而創(chuàng)造業(yè)界通常稱贊為良好“配方”的內(nèi)容。這些配方通常是通過人為檢查一組選定主題上的編碼結(jié)果而創(chuàng)立和定制,且多年未變。

與此同時,核心視頻編解碼器工具的改進導(dǎo)致了比特率上的驚人節(jié)省 ?—一個HEVC [2]編碼器僅需MPEG-1所用比特的小部分(約30%)就可以達到與之相同的畫面質(zhì)量。但是,衡量這些改進通常使用均方差(MSE)方法,MSE在由人來觀察評估時,結(jié)果并不總是令人印象深刻。而當(dāng)一個新的編解碼器被開發(fā)時,這個被要求的神奇數(shù)字已經(jīng)是“50%”。H264/AVC [3] 聲稱比MPEG-2 [4] 節(jié)省50%的比特,HEVC 聲稱比AVC節(jié)省50%的比特。然而,在實際的系統(tǒng)中,這些節(jié)省從未實現(xiàn)過-對視頻編解碼器增量變化帶來的效益的最佳評估是接近40%[5]

在ISO和ITU標(biāo)準(zhǔn)化工作的同時,Google一直在開發(fā)他們自己的一系列免版權(quán)稅的視頻編解碼器;其最新研發(fā)的VP9[6],于2013年首次推出,2014年完成。VP9是基于早前成功的VP8以及Google在2010年收購的On2 Technologies公司開發(fā)的“True Motion”系列編解碼器。

要牢記,大多數(shù)的視頻編解碼器的改進給解碼器和----更多的是編碼復(fù)雜度上帶來非常繁重的計算開銷。一個已被弄清楚的是,為了能在商業(yè)視頻傳輸服務(wù)中被部署,更新更高效的編解碼器需要不斷增加的復(fù)雜度。很明顯,每一代視頻編解碼器都伴隨5-10倍的編碼器復(fù)雜度的增加,而解碼器復(fù)雜度的增加通常是2倍。

如果接受了更新更高效的編解碼器帶來的復(fù)雜度增加,那么更大的問題是:我們在系統(tǒng)級別可以做什么?例如將視頻幀作為輸入連接到編碼器的方式,或者我們?nèi)绾问褂靡曨l解碼器的輸出來呈現(xiàn)在屏幕上,以進一步提高視頻質(zhì)量,而這些提升將會被現(xiàn)在這些花費大量時間在視頻上的人所感知。

這里介紹的新方法中的關(guān)鍵詞如下:

  • 感知:視頻編解碼的整體目標(biāo)是以一種令人賞心悅目的方式壓縮視覺信息;通常而言用于編碼器決策的均方差(MSE)并不總是一個與人類感知關(guān)聯(lián)匹配得很好的數(shù)字。

  • 復(fù)雜度:就像我們增加了視頻編解碼的復(fù)雜度,我們也可以減少復(fù)雜度。

  • 預(yù)見性:VOD與廣播電視不同,廣播電視需要及時的或在最小延遲中進行編碼決策,而在視頻點播服務(wù)中,視頻序列在整個過程均是可用的,這就可以被預(yù)先分析多次以提高視頻質(zhì)量。

基于鏡頭(Shot-based encoding)的編碼

對于這個技術(shù)博客的余下部分,我們假設(shè)讀者熟悉自適應(yīng)流媒體的基礎(chǔ)知識,例如:

  • 使用基本處理單元,以不同分辨率和/或質(zhì)量,對相同視覺內(nèi)容進行多重編碼表示,稱為“流式傳輸段”

  • 為了適應(yīng)不同的通道條件(比特流切換),按照流媒體客戶端的要求,從服務(wù)器傳送編碼的段屬于不同的表示方式。

  • 相同視覺內(nèi)容的不同編碼表示之間的段的時間對齊以允許比特流切換。

有興趣的讀者可以參考一些可用的自適應(yīng)流媒體教程,例如this Wiki page [7]

分塊編碼(Chunked encoding)

在Netflix 2015年12月發(fā)布的技術(shù)博客[8]中,我們介紹了分塊編碼對云編碼的巨大益處。這意味著打碎了一個長的視頻序列,例如持續(xù)1小時,以多個組塊,每個組塊持續(xù)一定時間 - 例如20個組塊,每個組塊3分鐘時長。然后我們用特定的編碼配方,獨立地編碼每個塊,連接或“組合”編碼塊,從而獲得整個視頻序列的編碼版本。

在分塊編碼的眾多優(yōu)勢中,最重要的是它允許使用視頻編碼軟件在云上構(gòu)建一個強大的系統(tǒng)。如果云實例未能完成某個編碼,它只需要重新處理相應(yīng)的塊,而不是重新啟動整個長達幾小時大的視頻編碼程序。因為可以并行編碼不同的塊,人們還可以看到端到端的延遲的減少, 從而在整個編碼系統(tǒng)中實現(xiàn)幾乎無限的可擴展性。

當(dāng)然,分塊編碼也帶來一些弊端-即運行在整整一個小時的序列上,尤其是在兩通模式下的視頻編碼器,可以預(yù)覽隨后的內(nèi)容并做出更好的長期的比特率分配; 從而以相同的比特率實現(xiàn)更好的整體質(zhì)量。然而,分塊編碼的利大于弊。

按主題和按塊編碼的優(yōu)化(Per-title and per-chunk encode optimization)

Netflix一直在不斷提高全球會員的視頻質(zhì)量。期間一個重要的里程碑是發(fā)布于2015年12月[9] 的“按主題編碼優(yōu)化”,在我們的技術(shù)博客上有詳細(xì)介紹。按主題編碼優(yōu)化引入了根據(jù)復(fù)雜度定制編碼的概念,這轉(zhuǎn)換為我們目錄中每個視頻序列的正確分辨率和比特率選擇。相對于我們以前的固定分辨率/比特率梯形圖,通過考慮視頻的特征,產(chǎn)生顯著的改進。特征包括: 運動量、細(xì)節(jié)水平、色彩,以及選擇更適合每個主題的編碼參數(shù)來優(yōu)化編碼效率,。另一個重要的里程碑是2016年12月推出的“按塊編碼優(yōu)化”,作為我們“移動編碼下載”計劃的一部分,這個在Netflix技術(shù)博客[10]中有更詳細(xì)的介紹。 在下一節(jié)中將更詳細(xì)地討論的均衡R-D斜率的概念也用于這項工作,并提供了重大改進。 事實上,人們可以將當(dāng)前的工作視為“按主題編碼優(yōu)化”和“按塊編碼優(yōu)化”的自然延伸; 我們可以稱之為“感知per-shot編碼優(yōu)化”。

從塊編碼到shot編碼

在理想的世界中,人們希望將視頻分塊,并賦予每個塊不同的參數(shù)集合,以優(yōu)化最終組合的視頻。實現(xiàn)這種完美比特分配的第一步是以自然而原子的方式分割視頻,把彼此非常相似的幀組成一個序列,因此編碼參數(shù)的變化類似 - 這些就是構(gòu)成長視頻的“shot”序列。這些shot是持續(xù)時間相對較短的視頻部分,它來自相當(dāng)恒定的照明和環(huán)境條件下的同一臺相機。它捕獲相同或相似的視覺內(nèi)容。例如,一位站在樹前演員的臉。最重要的是,當(dāng)更改編碼參數(shù)時,其變化是一致的。shot的自然邊界由相對簡單的算法確定,即稱為shot變化檢測算法。該算法檢查屬于連續(xù)幀的像素之間的差異量以及其他的統(tǒng)計量。當(dāng)該差異量超過某個固定的或動態(tài)調(diào)整范圍的閾值時,一個新的shot邊界被確定。有些可以在兩個連續(xù)shot之間的邊界上應(yīng)用交叉漸變或其他視覺效果,這類情況則可以通過更復(fù)雜的算法來處理。

shot變化檢測算法的最終結(jié)果是shot列表和它們的時間戳。人們可以使用這些生成的shot作為基本編碼塊,而不是固定長度的塊。這提供了一些非常獨特的機會:

  1. 現(xiàn)在Intra幀的放置可以“始終不規(guī)則”,這個術(shù)語意味著:

    (a)Intra幀可以放置在“隨機”的位置。例如前4幀I幀可以是在時間0,2,5,7秒。

    (b)然而,時間位置總是在相同主題的編碼之間對齊,換言之,前4個intra幀的位置保持在0,2,5,7秒。對于這個主題的所有編碼都是這樣。

  2. Intra幀的不規(guī)則位置會帶來最小的編碼開銷;請記住,在視頻編碼所使用的3種不同類型(I / P / B)的幀中,intra幀的效率最低,因此希望在編碼視頻中盡量減少它們的存在。

  3. 在一個很長的視頻序列中尋找產(chǎn)生的自然興趣點,這些興趣點標(biāo)記出了shot邊界。

  4. 當(dāng)獨立編碼各shot時沒有預(yù)測懲罰:如果將一intra幀放置于shot中間,則會將shot分割成若干部分。當(dāng)獨立編碼而非單個單元編碼時,則需要更多位數(shù)。這是因為Intra之后的像素?zé)o法在Intra幀之前的幀中參考它們的類似對應(yīng)物。

  5. 連續(xù)拍攝之間的任何重要的編碼參數(shù)變化都不太可能被人眼察覺,這是因為不同shot中的不同視覺內(nèi)容所引起的中斷對人類視覺系統(tǒng)的破壞比任何可能的編碼參數(shù)的變化(例如分辨率和質(zhì)量)都要大得多。

  6. 由于非常簡單的編碼方案,例如固定量化參數(shù)(“fixed QP”)模式,被幾乎現(xiàn)在所有的視頻編碼器所支持,且提供了非常一致的視頻質(zhì)量,具有幾乎最小的比特率變化。故而在同類幀集合內(nèi),如屬于同一shot的那些幀,使用速率控制的需求就少得多。事實上,在視頻編解碼器開發(fā)過程中一直使用“fixed QP”,因為在MPEG,ITU和其他標(biāo)準(zhǔn)機構(gòu)中用于測試的所有序列幾乎都由單shot視頻塊組成。

圖一:“始終不規(guī)則”放置在shot邊緣的intra 幀(關(guān)鍵幀)。關(guān)鍵幀在時間上與所有編碼的鏡頭邊界對齊。

VMAF作為感知視頻質(zhì)量指標(biāo)

在2016年6月發(fā)布的另一個Netflix技術(shù)博客[11]中,我們解釋了視頻多方法評估融合(VMAF)質(zhì)量指標(biāo),VMAF是由內(nèi)部開發(fā),后為整個視頻社區(qū)獲益而開源。

VMAF的主要特征如下:

  1. 它是一個完整的參考指標(biāo),這意味著它可以應(yīng)用于任何原始的、未失真的或已失真視頻序列的版本。

  2. 它考慮到壓縮和向上/向下縮放的影響,通過上采樣解碼視頻幀到一個普通的參考幀大小(1920x1080)。這樣,就可以使用VMAF來評估不同分辨率的編碼視頻的質(zhì)量,尤其可以用來比較不同分辨率下相同內(nèi)容的編碼版本,并幫助判斷出哪一個編碼效果更好。

  3. 它依賴于現(xiàn)有的圖像質(zhì)量指標(biāo)(VIF, DLM),且經(jīng)過適當(dāng)修改以覆蓋多個分辨率,以及視頻序列中連續(xù)視頻幀之間的移動量,這些移動量作為輸入到機器學(xué)習(xí)權(quán)重集中的特征。最后的得分是在支持向量機(SVM)回歸器中結(jié)合這些基本特征所得的結(jié)果。

  4. 在VMAF中使用的權(quán)重校準(zhǔn)和訓(xùn)練是通過收集實際觀察者的主觀數(shù)據(jù)來進行的,而觀察者提供的是VMAF當(dāng)時適合的基礎(chǔ)真實數(shù)據(jù)。用于training VMAF的內(nèi)容是Netflix目錄的一個有代表性的子集,因此我們了解到它的性能與我們的使用情況一致。然而,VMAF框架是通用的,并且允許其他人根據(jù)自己的情況對其進行再training。事實上,大量的研究人員已經(jīng)使用他們自己的主觀數(shù)據(jù)集驗證了VMAF的準(zhǔn)確性。

圖2:VMAF的工作原理:將像素級數(shù)據(jù)匯聚以生成幀級特征;利用SVM回歸方法融合不同時空特征,來建立幀級質(zhì)量分?jǐn)?shù);連續(xù)幀的分?jǐn)?shù)被匯集以產(chǎn)生最終的視頻序列VMAF分?jǐn)?shù)。

率失真曲線的凸包

Ortega和Ramchandran [12]在1998年的一篇開創(chuàng)性論文展示了在處理圖像和視頻編碼中的多種選擇時如何解決最優(yōu)性問題。

假設(shè)圖像由N個需要編碼的單元組成

  • 分別編碼每個單元,為每個可能性獲取的(速率,失真)對,稱之為“工作點”;

  • 將所有可用的工作點放在率失真圖上;

  • 提取它的凸包和邊界輪廓;

  • 可以從每個單元的凸包上選取一個點,以便不同單元的點具有(大致)相同的distortion-rate斜率。

圖3:工作點、R-D凸包的示例,以及源R-D曲線。轉(zhuǎn)載自[12]

組合

因此可以考慮以下系統(tǒng):

  • 一個長的視頻序列在shot中分割開

圖4:來自“El Fuente”測試序列代表性鏡頭的縮略圖;這個主題包括96個鏡頭。

  • 每個shot使用不同的編碼參數(shù)進行多次編碼,如分辨率和質(zhì)量(QP等)

  • 每個編碼都使用VMAF進行評估,并與其比特率一起生成(R,D)點。 可以使用不同的映射將VMAF質(zhì)量轉(zhuǎn)換為失真; 我們針對線性和反比例映射這兩種進行了測試。將在下一節(jié)討論這些映射產(chǎn)生的不同的時間聚合策略。

圖5:使用一組參數(shù)如分辨率和QP對一個shot進行編碼,并獲得一個單獨的(R,D)點。

  • 計算每個shot的(R,D)點的凸包。 在以下示例圖中,失真是(VMAF + 1)的倒數(shù)。

圖6:使用VP9(libvpx)以各種編碼分辨率和量化參數(shù)(QP)獲得的來自“El Fuente”的特定shot的多個(R,D)點。

圖7:使用VP9(libvpx)從“El Fuente”拍攝同一shot的(R,D)操作點的凸包

  • 來自每個shot的凸包中的點,通過遵循恒定斜率原則并在Trellis中構(gòu)建端到端路徑來組合,為整個視頻序列創(chuàng)建編碼。

圖8:結(jié)合shot編碼以產(chǎn)生最佳編碼; 示例網(wǎng)格路徑顯示固定的QP編碼,針對給定的平均質(zhì)量來最小化比特率或針對給定的平均比特率來最大化編碼質(zhì)量。 選定的shot編碼在(R,D)空間中具有大致相等的斜率。

  • 為了能夠覆蓋到期望的比特率/質(zhì)量范圍,要根據(jù)需要來改變R-D曲線的斜率參數(shù),以便產(chǎn)生盡可能多的聚合編碼(最終動作點)。

  • 最終結(jié)果是整個視頻序列的完整R-D曲線或速率-質(zhì)量(R-Q)曲線。

圖9:對于整個“El Fuente”視頻序列獲得的最終的R-Q曲線。 基線則是最好的fixed-QP編碼;在這種情況下,動態(tài)優(yōu)化器將比特率平均降低了30%。

這個完整的系統(tǒng)被稱為“動態(tài)優(yōu)化器”,該框架產(chǎn)生了Netflix最新一代的編碼。

測試方法-結(jié)果

使用VP9-libvpx視頻編解碼器并編碼了來自Netflix目錄的10個代表性主題。

就時間聚合而言,我們實施了各種池化方法,其中兩種方法對應(yīng)于前面已介紹的質(zhì)量與失真映射,即線性和反比例映射。 我們稱它們?yōu)樗阈g(shù)平均平均VMAF(LVMAF)和調(diào)和平均平均VMAF(HVMAF)。

這兩種方法即LVMAF和HVMAF時間質(zhì)量聚合,產(chǎn)生了非常高質(zhì)量的編碼序列 - 允許分別在組合的視頻序列中更激進或更保守的時間質(zhì)量波動。

VP9編碼方法

在VP9-libvpx中使用的編碼參數(shù)取自以前的研究; 其研究結(jié)果發(fā)布于2016年10月舉行的Netflix的“免版稅編解碼器開放日”。基于該研究,使用的最佳配置是“fixed-QP, AQ-mode=0, CPU=0, best”,在PSNR和VMAF質(zhì)量度量方面顯示出最高質(zhì)量。我們在附錄中重現(xiàn)該研究的主要結(jié)果。

我們將動態(tài)優(yōu)化器獲得的結(jié)果與VP9-libvpx的最佳固定QP編碼的結(jié)果進行了比較。 下表總結(jié)了所采用的方法和本實驗所選擇的各種參數(shù)。

表1:用于動態(tài)優(yōu)化器實驗1的參數(shù)

動態(tài)優(yōu)化器獲得的相應(yīng)增益,在以相同視覺質(zhì)量下的%比特率節(jié)省方面以及在相同平均比特率下HVMAF分?jǐn)?shù)改善方面的表示如下:

表2:實驗1的結(jié)果。在動態(tài)優(yōu)化器和最佳的固定qp編碼之間大約256kbps在Netflix目錄的10個代表性主題。

當(dāng)使用HVMAF作為質(zhì)量指標(biāo)時,結(jié)果是整個視頻序列的平均比特率比最佳固定的QP編碼節(jié)省了17.1%。 而當(dāng)使用PSNR時,改進甚至更高:平均節(jié)省22.5%的比特率。

在這個比較中,由于為整個序列獲得固定QP編碼的凸包,需要與動態(tài)優(yōu)化器相同的復(fù)雜性,所以基線和動態(tài)優(yōu)化器結(jié)果之間的計算復(fù)雜度保持不變。 因此,這代表了動態(tài)優(yōu)化器帶來的改進量的下限。

如果我們使用更常見的基線,如VP9-libvpx中,擁有CPU=1, good, AQ-mode=2編碼配方的2-pass VBR配置,則動態(tài)優(yōu)化器的改進要更高:就HVMAF而言,平均節(jié)省50%以上的比特率。盡管如此,需要記住的是動態(tài)優(yōu)化器解決方案的計算復(fù)雜度也非常高。

其他視頻編解碼器有多好?

根據(jù)前面介紹的內(nèi)容,可立即明白動態(tài)優(yōu)化器框架中并沒有特殊的編解碼器。為了證實這一點,一組較短的剪輯使用了H.264 / AVC,HEVC和VP9-libvpx進行編碼,實驗設(shè)置如下:

表3:用于動態(tài)優(yōu)化器實驗2的參數(shù)

圖10:實驗2 的結(jié)果。在VMAF和PSNR方面,動態(tài)優(yōu)化器相對于AVC-High(x264),VP9(libvpx)和HEVC(x265)的固定QP / CRF編碼提高了BD-rate。

表4:實驗2 的結(jié)果。使用不同的視頻編解碼器和質(zhì)量度量,相對于固定QP / CRF編碼,動態(tài)優(yōu)化器提高了BD-rate。

可以看到,動態(tài)優(yōu)化器將這三種編解碼器的編碼效果均提高了大約28-38%。 請牢記,這些改進并不是比較編解碼器之間的性能,而是通過使用動態(tài)優(yōu)化器框架來改進各編解碼器的性能。在即將到來的幾周內(nèi),將使用動態(tài)優(yōu)化器作為高級編碼框架來對最先進的視頻編解碼器進行更徹底的比較。

動態(tài)優(yōu)化器總結(jié)

動態(tài)優(yōu)化器是對視頻編碼的優(yōu)化框架。 其主要特點如下:

  • 基于shot的編碼

  • 在不同分辨率和質(zhì)量參數(shù)下進行多重編碼

  • 通過使用VMAF作為其核心指標(biāo)進行感知評估和質(zhì)量調(diào)整

  • 大規(guī)模并行處理,非常適合基于云的視頻編碼軟件流水線

其主要優(yōu)勢如下:

  • 它可以應(yīng)用于任何現(xiàn)有的或未來的視頻編解碼器,將它視為視頻編碼優(yōu)化框架

  • 它可以通過對每個測試視頻序列的編碼分辨率和質(zhì)量(QP)進行識別“感知相關(guān)”范圍來幫助未來的編解碼器開發(fā),這也可以在開發(fā)和評估新編碼工具的性能時使用

  • 它消除了視頻編解碼器實現(xiàn)中的很多速率控制因素,從而實現(xiàn)視頻編解碼器更公平地比較

  • 它與shot編碼配方的改進是正交的,如更好的I-B-P編碼結(jié)構(gòu),空間自適應(yīng)QP選擇; 在shot級別執(zhí)行的任何改進都是動態(tài)優(yōu)化器帶來的

  • 根據(jù)計算資源的數(shù)量,其復(fù)雜性可以放大或縮小,在復(fù)雜性和率失真效率之間提供權(quán)衡

  • 它生成完全兼容的比特流

  • 它可以與VMAF,PSNR或其他任何視頻質(zhì)量指標(biāo)一起使用。

  • 它有利于用于下載和離線消費的獨立的比特流創(chuàng)建,以及用于適應(yīng)流媒體的完整的比特率階梯創(chuàng)建

云實現(xiàn)

我們已經(jīng)在編碼管道中實施了動態(tài)優(yōu)化器框架。在非峰值流時間期間,利用我們的可擴展云基礎(chǔ)架構(gòu)和未充分利用的云實例[13],[14]。 我們將此編碼系統(tǒng)應(yīng)用于AVC-High和VP9數(shù)據(jù)流,在提高了我們成員的視頻質(zhì)量的同時節(jié)省了帶寬。請繼續(xù)關(guān)注另一個描述了我們的安裝過程和結(jié)果的技術(shù)博客!

致謝

這項工作是Netflix整個視頻算法團隊的集體成果。 我想親自感謝Anne Aaron,Chao Chen,Jan De Cock,Rich Gerber,Liwei Guo,Zhi Li,Megha Manohara,Aditya Mavlankar,Anush Moorthy,Andrey Norkin,Kyle Swanson和David Ronca所做出的所有貢獻。

參考文獻

[1] ISO/IEC 11172–2:1993 “Information technology?—?Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s?—?Part 2: Video”

[2] ISO/IEC 23008–2:2013 “Information technology?—?High efficiency coding and media delivery in heterogeneous environments?—?Part 2: Video”

[3] ISO/IEC 14496–10:2014 “Information technology?—?Coding of audio-visual object?—?Part 10: Advanced Video Coding”

[4] ISO/IEC 13818–2:2013 “Information technology?—?Generic coding of moving pictures and associated audio information?—?Part 2: Video”

[5] J. De Cock, A. Mavlankar, A. Moorthy and A. Aaron, “A large-scale video codec comparison of x264, x265 and libvpx for practical VOD applications”, Proc. of the SPIE 9971, Applications of Digital Image Processing XXXIX, 997116 (27 Sep. 2016)

[6] A. Grange, P. de Rivaz, and J. Hunt, “VP9 Bitstream and Decoding Process Specification”, Google, 2016

[7] “Adaptive bitrate streaming”, Wikipedia?—?The Free Encyclopedia, https://en.wikipedia.org/wiki/Adaptive_bitrate_streaming

[8] A. Aaron and D. Ronca, “High quality video encoding at scale,” The NETFLIX tech blog, Dec. 9, 2015, link: http://techblog.netflix.com/2015/12/high-quality-video-encoding-at-scale.html

[9] A. Aaron, Z. Li, M. Manohara, J. De Cock and D. Ronca, “Per-title encode optimization”, The NETFLIX tech blog, Dec. 14, 2015, link: http://techblog.netflix.com/2015/12/per-title-encode-optimization.html

[10] A. Norkin, J. De Cock, A. Mavlankar and A. Aaron, “More Efficient Mobile Encodes for Netflix Downloads”, The NETFLIX tech blog, Dec. 1, 2016, link: https://medium.com/netflix-techblog/more-efficient-mobile-encodes-for-netflix-downloads-625d7b082909

[11] Z. Li, A. Aaron, I. Katsavounidis, A. Moorthy, and M. Manohara, “Toward a practical perceptual video quality metric,” The NETFLIX tech blog, June 5, 2016, link: http://techblog.netflix.com/2016/06/toward-practical-perceptual-video.html

[12] A. Ortega and K. Ramchandran, “Rate-distortion methods for image and video compression: An overview,” IEEE Signal Processing Magazine, vol. 15, no. 6, pp. 23–50, 1998

[13] A. Park, D. Derlinger and C. Watson “Creating your own EC2 spot market,” The NETFLIX tech blog, Sep. 28, 2015, link: http://techblog.netflix.com/2015/09/creating-your-own-ec2-spot-market.html

[14] R. Wong, D. Derlinger, A. Shiroor, N. Mareddy, F. San Miguel, R. Gallardo and M. Prabhu “Creating your own EC2 spot market?—?part 2,” The NETFLIX tech blog, Nov. 23, 2015, link: http://techblog.netflix.com/2015/11/creating-your-own-ec2-spot-market-part-2.html

附錄:VP9配方測試

在VP9-libvpx中使用的編碼參數(shù)取自以前的研究; 其研究結(jié)果發(fā)布于2016年10月舉行的Netflix的“免版稅編解碼器開放日”。基于該研究,使用的最佳配置是“fixed-QP, AQ-mode=0, CPU=0, best”,在PSNR和VMAF質(zhì)量度量方面顯示出最高質(zhì)量。下圖顯示了在VP9-libvpx編碼中選擇不同參數(shù)時,對平均BD速率損失的影響。

圖11:VP9-libvpx編碼中AQ-mode = 0/1/2的作用; AQ-mode = 0效果最佳(摘自2016年10月Netflix的“Open House on Royalty Free Codecs”的 “VP9 Encoding Opportunities @ Netflix”演示文稿)

圖12:VP9-libvpx編碼中CPU0 / best的影響; CPU0 / best是最慢的,但提供的結(jié)果始終優(yōu)于其他設(shè)置(2016年10月發(fā)布的關(guān)于““VP9 Encoding Opportunities @ Netflix”,摘自Netflix“Open House on Royalty Free Codecs”)

圖13:VP9-libvpx中2-pass VBR/ fixed-QP的BD率損失(2016年10月,Netflix的“Open House on Royalty Free Codecs”的節(jié)選,“VP9 Encoding Opportunities @ Netflix”演示文稿)

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 英特爾
    +關(guān)注

    關(guān)注

    61

    文章

    9983

    瀏覽量

    171943
  • 編碼器
    +關(guān)注

    關(guān)注

    45

    文章

    3648

    瀏覽量

    134743
  • 視頻編碼
    +關(guān)注

    關(guān)注

    2

    文章

    113

    瀏覽量

    21038

原文標(biāo)題:動態(tài)優(yōu)化器—一種感知視頻編碼優(yōu)化框架

文章出處:【微信號:livevideostack,微信公眾號:LiveVideoStack】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    EE-276:Blackfin處理器上圖像處理視頻框架注意事項

    電子發(fā)燒友網(wǎng)站提供《EE-276:Blackfin處理器上圖像處理視頻框架注意事項.pdf》資料免費下載
    發(fā)表于 01-06 14:17 ?0次下載
    EE-276:Blackfin<b class='flag-5'>處理</b>器上<b class='flag-5'>圖像</b><b class='flag-5'>處理</b>的<b class='flag-5'>視頻</b><b class='flag-5'>框架</b>注意事項

    視頻編碼器與解碼器的應(yīng)用方案

    視頻解碼器和視頻編碼器是數(shù)字信號處理中常用的設(shè)備,它們在數(shù)據(jù)的傳輸和轉(zhuǎn) 換中發(fā)揮著重要作用。概述與應(yīng)用 它是將模擬信號或數(shù)字信號轉(zhuǎn)換為數(shù)字信號的編碼
    發(fā)表于 09-10 16:04 ?0次下載

    視頻處理器分辨率怎么調(diào)

    信號進行解碼、編碼、轉(zhuǎn)換、縮放等操作。視頻處理器廣泛應(yīng)用于電視、顯示器、投影儀、攝像頭等設(shè)備視頻處理器的主要功能包括: 視頻解碼:將壓
    的頭像 發(fā)表于 07-16 11:25 ?1091次閱讀

    【RTC程序設(shè)計:實時音視頻權(quán)威指南】音視頻的編解碼壓縮技術(shù)

    的頻率,來生成最佳,也有致命的缺點就是需要在壓縮和解壓縮的過程,維護頻率表和編碼表,也就是說,在傳輸或存儲壓縮數(shù)據(jù)時,需要額外的來存儲或傳輸頻率表和編碼表,對于比較小的音視頻數(shù)據(jù),無
    發(fā)表于 04-28 21:04

    高清模擬視頻采集與H.264編碼?體化采集卡LCC261數(shù)據(jù)手冊

    LCC261是靈卡技術(shù)研發(fā)的?款高清模擬視頻采集與H.264編碼?體化的采集卡。輸入接口采用BNC接頭,支持AHD/TVI/CVI/ CVBS多種格式標(biāo)準(zhǔn),最高支持1920x1080p@60fps
    發(fā)表于 04-12 14:40 ?0次下載

    基于FPGA的TMDS編碼

    音頻或視頻信號,接下來就著重了解一下TMDS編碼。 TMDS(最小化傳輸差分信號),有四個通道,其中包含了三個數(shù)據(jù)通道和一個時鐘通道。其中數(shù)據(jù)通道用來傳輸顏色、音頻、控制等信號。HDMI默認(rèn)
    發(fā)表于 04-09 15:45

    圖像編碼常見的編碼方式和處理過程

    圖像編碼是將圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字形式的過程,通常通過壓縮圖像數(shù)據(jù)以便于存儲和傳輸。圖像編碼的主要目
    的頭像 發(fā)表于 02-26 14:32 ?1.2w次閱讀

    常見的視覺編碼器有哪些 圖像編碼和視覺編碼的區(qū)別

    視覺編碼器是一種能夠處理視頻理解任務(wù)的模型,它能夠通過單一凍結(jié)模型,處理各種視頻理解任務(wù),包括分類、本地化、檢索、字幕和問答等。
    的頭像 發(fā)表于 02-26 14:24 ?2226次閱讀

    超越4K!高清視頻編碼器引領(lǐng)的下一代視頻革命

    隨著科技的飛速發(fā)展,4K視頻已經(jīng)逐漸融入我們的日常生活,成為了許多家庭、企業(yè)和內(nèi)容創(chuàng)作者的首選。然而,當(dāng)我們還在沉浸于4K帶來的視覺盛宴時,高清視頻編碼器已經(jīng)悄然引領(lǐng)著下一代視頻革命,
    的頭像 發(fā)表于 02-20 15:20 ?425次閱讀

    高清視頻編碼器選購指南:如何選擇最適合你的編碼

    高清視頻編碼器作為視頻處理與傳輸?shù)暮诵脑O(shè)備,對于保證視頻質(zhì)量和提升用戶體驗至關(guān)重要。然而,市面上的高清
    的頭像 發(fā)表于 02-20 15:19 ?1177次閱讀

    高清視頻編碼器:解析其工作原理與優(yōu)勢

    高清視頻編碼器是一種數(shù)字視頻壓縮工具,它能夠?qū)⒏咔?b class='flag-5'>視頻信號編碼成數(shù)字信號,并將其壓縮到較小的文件大小,以便更高效的存儲和傳輸。以下是高清
    的頭像 發(fā)表于 02-20 15:14 ?833次閱讀

    高清視頻編碼器與流媒體平臺的完美結(jié)合

    隨著數(shù)字化時代的快速推進,高清視頻已經(jīng)成為我們?nèi)粘I?b class='flag-5'>中不可或缺的一部分。在這一背景下,高清視頻編碼器與流媒體平臺的結(jié)合變得尤為重要。兩者之間的完美結(jié)合不僅為用戶提供了高質(zhì)量的
    的頭像 發(fā)表于 02-20 15:14 ?482次閱讀
    高清<b class='flag-5'>視頻</b><b class='flag-5'>編碼</b>器與流媒體平臺的完美結(jié)合

    高清視頻編碼器在各個領(lǐng)域的應(yīng)用案例分享

    器,該公司能夠確保會議視頻清晰流暢,從而提高會議效率和溝通效果。 優(yōu)勢 :高清視頻編碼器提供了高質(zhì)量的視頻壓縮和傳輸,保證了會議的實時性
    的頭像 發(fā)表于 02-20 15:13 ?536次閱讀
    高清<b class='flag-5'>視頻</b><b class='flag-5'>編碼</b>器在各個領(lǐng)域的應(yīng)用案例分享

    解碼高清視頻編碼器:為何它成為現(xiàn)代視頻制作的關(guān)鍵

    隨著科技的不斷發(fā)展,高清視頻已經(jīng)成為現(xiàn)代生活的重要組成部分。無論是觀看電影、電視節(jié)目,還是參與視頻會議、在線教育,高清視頻都為我們提供了更為真實、生動的視覺體驗。在這一切背后,高清視頻
    的頭像 發(fā)表于 02-20 15:12 ?5466次閱讀
    解碼高清<b class='flag-5'>視頻</b><b class='flag-5'>編碼</b>器:為何它成為現(xiàn)代<b class='flag-5'>視頻</b>制作的關(guān)鍵

    視頻處理器的作用 視頻處理器的功能有哪些

    任務(wù)。下面是視頻處理器的一些常見功能: 圖像增強:視頻處理器可以通過增加圖像的對比度、亮度和飽和度來改善圖像質(zhì)量。它還可以去除
    的頭像 發(fā)表于 02-01 17:23 ?3478次閱讀
    主站蜘蛛池模板: 日本偷偷操| 四虎精品影院4hutv四虎| 欧美一区二区三区激情啪啪 | 亚州1区2区3区4区产品乱码2021| 成年人www| 三级毛片免费| 在线麻豆国产传媒60在线观看| 在线观看黄的网站| 久久刺激| 手机在线观看视频你懂的| 天天欧美| 午夜小视频在线播放| 婷婷日日夜夜| 好吊色视频988gao在线观看| 男人天堂网2021| 草久久久久| 国产精品福利在线观看免费不卡| 能看的黄网| 国产成人在线影院| 大量国产后进翘臀视频| 黄色h视频| lsj老司机精品视频在线观看| 小说老卫陈红张敏陈法蓉| 日韩欧美不卡片| 日本午夜大片| 黄色日本网站| 午夜欧美精品久久久久久久久| 免费一级毛片在级播放| 男人操女人的网站| 永久在线观看www免费视频| 欧美在线观看一区二区三| 免费成人黄色网址| wwwxx免费| 午夜一级毛片免费视频| 国产在线综合网| aa小视频| 日本xxxxxxxxx18| xxxxxhd69日本护士| 亚洲第一页国产| 亚洲色图日韩| 四虎网站网址|