低延遲視頻編碼中時域率失真優(yōu)化方法
【專利摘要】本發(fā)明屬于視頻編碼技術(shù)領(lǐng)域,尤其涉及低延遲視頻編碼中基于時域依賴性的率失真優(yōu)化方法。本發(fā)明采用循環(huán)的圖像組(group of picture,GOP)結(jié)構(gòu),每4幀為一個GOP,將所述GOP內(nèi)的幀分別分配到不同的層,相同層的幀遵循相似的參考幀及QP分配規(guī)則。分析低延遲編碼中層次結(jié)構(gòu)的時域依賴性,并根據(jù)低延遲編碼中時域依賴性建立時域傳播鏈,如圖2所示,進(jìn)而進(jìn)行時域依賴性的率失真優(yōu)化建模。求取傳播因子ωa和全局拉格朗日乘子λg。最后,本發(fā)明根據(jù)傳播因子ωa,僅通過對全局拉格朗日乘子λg的調(diào)整實(shí)現(xiàn)時域率失真優(yōu)化。
【專利說明】
低延遲視頻編碼中時域率失真優(yōu)化方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于視頻編碼技術(shù)領(lǐng)域,尤其設(shè)及低延遲視頻編碼中基于時域依賴性的率 失真優(yōu)化方法。
【背景技術(shù)】
[0002] 為了順應(yīng)視頻高清化的趨勢,新一代視頻編碼標(biāo)準(zhǔn)皿VC于2013年初制定完成,較 前一代標(biāo)準(zhǔn)H.264/AVC性能提升了近1倍。許多新的技術(shù)被皿VC接受,其中包括四叉樹塊分 害d,更多的帖內(nèi)模式,合并模式,層次編碼結(jié)構(gòu)。其中,層次編碼結(jié)構(gòu)是一種配合編碼質(zhì)量調(diào) 整的參考帖管理方法,W實(shí)時編解碼為目標(biāo),盡可能的降低時延。
[0003] 率失真優(yōu)化技術(shù)致力于在目標(biāo)碼率限制下最小化編碼失真,在傳統(tǒng)視頻編解碼框 架下通常采用拉格朗日乘子法解上述問題,即,where J =化+λΚι,其中,1?1表示一個 當(dāng)前編碼單元的碼率,Di表示當(dāng)前編碼單元的失真。該方法對每一個編碼單元進(jìn)行獨(dú)立編 碼優(yōu)化,將各個單元最優(yōu)編碼結(jié)果作為整個視頻序列的最優(yōu)結(jié)果,忽視了各編碼單元之間 的相關(guān)性。文南犬('E . Η . Yang and X. Yu, "Rate Distortion Optimization for H.264Interframe Coding: A General Framework and Algorithms'',IEEE Trans . Image Processing, vol. 16,no. 7 ,pp. 1774-1784 July. 2007"考慮各編碼單元相關(guān)性,采用動態(tài)規(guī) 劃方法聯(lián)合所有編碼單元進(jìn)行全局率失真優(yōu)化,復(fù)雜度高,無法實(shí)時實(shí)現(xiàn),但該方法從側(cè)面 證明全局率失真優(yōu)化可W提升編碼性能。
[0004] 文獻(xiàn)"T.W.Yang,C.Zhu and X.J.Fan,Q.Peng, "Source distortion temporal propagation model for motion compensated video coding optimizationIEEE International Conference on Multimedia and Expo(ICME 2012).Melbourne , Australia,化1.2012,pp. 85-90 /',考慮非層次編碼中時域依賴關(guān)系,如H. 264/AVC中編碼 結(jié)構(gòu),其中單參考帖的使用具有絕對優(yōu)勢,探索全局率失真優(yōu)化實(shí)現(xiàn)方法。具體來說,獲得 一組視頻編碼參數(shù),使得在一定的碼率限制下最小化整個序列的編碼失真,歸納為
其中,〇1表示第i個編碼單元的編碼參數(shù),如 編碼模式,運(yùn)動矢量,參考帖索引,量化參數(shù),量化后的變換系數(shù)等,N代表在整個序列中具 有時域依賴性的編碼單元個數(shù)(假設(shè)每帖一個),Ag為全局拉格朗日乘子,并簡化為
Μ戈表該編碼模式為假設(shè)可W得到最優(yōu)編碼參數(shù)。在新 一代標(biāo)準(zhǔn)肥VC中,采用層次編碼結(jié)構(gòu),如在低延遲編碼中的編碼結(jié)構(gòu),極大的提升了編碼效 率,其中多參考帖的使用占絕對優(yōu)勢,使得時域中多個編碼單元之間存在依賴關(guān)系,因此相 對非層次編碼結(jié)構(gòu),層次編碼結(jié)構(gòu)的依賴關(guān)系更復(fù)雜。而且低延遲編碼結(jié)構(gòu)僅僅給出了固 定的層次編碼結(jié)構(gòu),并沒有根據(jù)動態(tài)變化的時域依賴性進(jìn)行率失真優(yōu)化,需要重新探索適 用于新一代標(biāo)準(zhǔn)肥VC,在低延遲視頻編碼中基于時域依賴性的率失真優(yōu)化方法。
【發(fā)明內(nèi)容】
[0005] 本發(fā)明根據(jù)時域依賴性的動態(tài)變化特性,提出了一種在低延遲視頻編碼中時域率 失真優(yōu)化方法。
[0006] 本發(fā)明的技術(shù)方案為:
[0007] 在肥VC延遲視頻編碼默認(rèn)配置中,采用循環(huán)的圖像組(group of pic化re,G0P)結(jié) 構(gòu),每4帖為一個GOP,將所述GOP內(nèi)的帖分別分配到不同的層,相同層的帖遵循相似的參考 帖及QP分配規(guī)則。分析低延遲編碼中層次結(jié)構(gòu)的時域依賴性,并根據(jù)低延遲編碼中時域依 賴性建立時域傳播鏈,如圖2所示,進(jìn)而進(jìn)行時域依賴性的率失真優(yōu)化建模。求取傳播因子 ω。和全局拉格朗日乘子Ag。最后,本發(fā)明根據(jù)傳播因子ω。,僅通過對全局拉格朗日乘子Ag 的調(diào)整實(shí)現(xiàn)時域率失真優(yōu)化。
[0008] 為了方便對本發(fā)明進(jìn)行描述,現(xiàn)在對肥VC中低延遲視頻編碼結(jié)構(gòu)進(jìn)行介紹:
[0009] 肥VC中低延遲視頻編碼結(jié)構(gòu)為:
[0010] 每4帖為一個G0P,將所述G0P內(nèi)的帖分別分配到不同的層,相同層的帖遵循一定的 參考帖管理規(guī)則及QP分配規(guī)則,每帖的P0C代表該帖在整個編碼序列中的絕對播放順序號, 每帖的巧0C代表該帖在所屬G0P中的相對播放順序號,如圖1,每個G0P的第一帖的巧0C= 1, 具有相同巧0C的帖具有相同的參考帖管理方法及QP分配規(guī)則,如表1所示,Ref 1/2/3/4代 表第一/二/Ξ/四個參考帖,所述量化參數(shù)(quantization parameter,QP)分配規(guī)則具體 為:分配給第1層中的編碼單元最小的QP補(bǔ)償值,因此擁有最低的QP,隨著層數(shù)增加 QP也增 加,第1層的視頻帖稱作關(guān)鍵帖,即key帖,獲得相對較高的視頻質(zhì)量,為在其他層中的視頻 帖提供更好的參考帖,在整個視頻范圍內(nèi)獲得更好的編碼質(zhì)量,所述一定的參考帖管理規(guī) 則為:每帖有四個參考帖,所述四個參考帖分別為前一帖和前向最近的Ξ個k巧帖(在低延 遲視頻編碼中編碼順序和解碼順序一致,只考慮前向參考,所述前向參考為前向參考帖的 圖像播放順序(pic化re order count,P0C)小于當(dāng)前帖的P0C,本發(fā)明通過統(tǒng)計(jì)實(shí)驗(yàn)得到各 參考帖被參考比例,如表2所示:rP0C=l的帖W前一帖為參考帖的比例最大,rP0C = 2、3、4 的帖W前一帖及前向最近的key帖為參考帖的參考比例相對最大。
[0011] 低延遲視頻編碼中時域率失真優(yōu)化方法,具體步驟如下:
[0012] S1、根據(jù)低延遲視頻編碼中時域依賴性,建立時域傳播鏈,其中,所述時域傳播鏈 具有如下特性:低延遲視頻編碼中每個G0P中第一帖,即rP0C= 1的帖僅考慮前一帖對其的 影響,每個G0P內(nèi)的其他Ξ帖,即rP0C = 2、3、4的帖僅考慮前一帖及前向最近的key帖對其的 影響,如圖2所示;
[0013] S 2、建立當(dāng)前編碼單元U 1的時域率失真優(yōu)化目標(biāo)方程
:其中,i = 1,2,3,. . .,N,N表示低延遲視頻編碼的總 帖數(shù),A代表一帖中所有的編碼單元,巧〇/(。,心,...,。>為&的期望失真,〇1表示第i個編碼單 元的編碼參數(shù),Ri(oi)表示第i個編碼單元的碼率,Di為當(dāng)前編碼單元的失真,,·…?:) 表示第j個受到當(dāng)前編碼單元化影響的后續(xù)編碼單元的失真,λκ為全局拉格朗日乘子戈表 編碼模式為可W得到的最優(yōu)編碼參數(shù),定義當(dāng)前編碼單元化為帖fi中第a個編碼單元,j = i+ 1,...,Ν,過一1,2,3,...,Α;
[0014] S3、根據(jù)S2所述時域率失真優(yōu)化目標(biāo)方程,求受到當(dāng)前編碼單元化影響的后續(xù)編 碼單元的期望失真Σ巧〇>,,。:4,...,。>具體為沖0〔=1的帖中的編碼單元1]1+4"+1的期望失 戶針1. 真為E(Di+4m+l),rP0C = 2的帖中的編碼單元Ui+4m+2的期望失真為E(Di+4m+2),rP0C = 3的帖中的編碼單元Ui+4m+3的期望失真為E(Di+4m+3),rP0C = 4的帖中的編碼單元 Ui+4m+4的期望失真為E(Di+4m+4),其中,巧化4,.,+t) =巧+細(xì),!'+細(xì)+1 .公,+4,,!+|(。,,〇,+1'.'.'〇-4,,!'巧+41?,1)'牛我.,4?+1., Ki + 4m+l為常數(shù),Pi+4m, i + 4m+l代表在帖f i + 4m+l中W f i + 4m為參考帖的塊的比例, 巧相+2) - ^+4mTU+4訊'凸"4?1+2(〇1,0計(jì)1,·…〇i+4?,+P口,干4m干:)+ "^一m'W/i";! 干2(口1,〇;+1,···,〇"4,ι,口戶4?戶2) + f"4w+2,其 中,Ki + 4m+2 為常數(shù),Pi+4m + l,i+4m + 2 代表在帖 fi + 4m + 2 中 Wfi + 4m+l 為 參考帖的塊的比例,Pi + 4m,i + 4m + 2代表在帖fi + 4m"中Wfi + 4m為參考帖的塊的比例, 左(公Wm+J ) - . Α*4·;一,如物+;,〇,一) + 吃4? …4。,一 ' 0,+4?+3(〇, …,。,一m,〇,一》1一)+ f,+4?,3, 其中,Ki + 4m + 3為常數(shù),Pi + 4m + 2,i + 4m + 3代表在帖fi + 4m + 3中Wfi + 4m + 2為參考 帖的塊的比例,Px + 4m, i + 4m+3代表在帖f i + 4m + 3中Wf i + 4m為參考帖的塊的比例, 巧 D"4'》-+4')=巧+'4r。'切+4,?+4 ''巧+4'm+4 (。1. ""P.。;+4訊.-4 )+ 吃山'1 '公MmW'.的 Ki+4m+4為1?數(shù),Pi+4m+3, i+4m+4代表在帖f i+4m+4中W f i+4m+3為參考帖的塊的比例,Pi+4m, i+4m+4代表 在帖。+4m+4中Wfi+4m為參考帖的塊的比例,m = 0,l,2, . . .,M表示第m個G0P,共有Μ個GOP,〇1 上標(biāo)"Γ表示前一帖為參考帖,〇2上標(biāo)"2"表示前向最近k巧帖為參考帖;
[0015] S4、將所述S3中的受到當(dāng)前編碼單元Ui影響的后續(xù)編碼單元的期望失真
代入S2所述當(dāng)前編碼單元化的時域率失真優(yōu)化目標(biāo)方程,并刪除所有 常數(shù)項(xiàng)K*,進(jìn)行簡化,具體簡化為:
[0016] 當(dāng)前編碼單元化屬于k巧帖(rP0C = 4)時,則簡化為:
[0017]
[001引當(dāng)前編碼單元化所在非k巧帖的巧0C分別為1、2、3時,則簡化為:
[0019]
[0020] S5、求S4中所述目標(biāo)方程中的當(dāng)前編碼單元化及后續(xù)編碼單元的失真,具體步驟 為:
[0021]
表示編碼單元 U i + 4 m 對 Ui + 4m+l 的影響枉度的經(jīng)驗(yàn)值,0i + 4m,i + 4in+l - 〇 · F (目 i + 4m,i + 4in+l),且
F(e)為經(jīng)驗(yàn)值,原始編碼單元Ui + 4m與 &+41Π +1的運(yùn)動補(bǔ)償誤差,α為常數(shù),
[0022] 0,十 4。,一的,。,+4。,+2)-公"4。!心心,+ 2 .(丘(9- 指+1) +針 l-W+4;#i+2),.0i+4in+l,i+4m+2 表不編 碼單兀Ui+4m+l對Ui + 4m+2的影響程度的經(jīng)驗(yàn)值,0i+4m+l,i+4m+2 二α · F(目i+4m+l,i+4m+2),且
原始編碼單元Ui+4m+l與Ui+4m+2的運(yùn) 動補(bǔ)償誤差,
[002引 0,+4ffW ,。,+1,'.'.。!+4?,,。!+4?!+2) _ 戍4。1.1+4。1+].(巧〇!+4m ) + A+4m-W+4m+]) ' 0i+4m, i+4m+2表不編碼單 兀 U i + 4m 對 Ui + 4m+2的影響程度的經(jīng)驗(yàn)值,0i + 4m,i + 4m + 2 二〇 · F(目 i + 4m,i + 4m+2),且
礎(chǔ)思一+W;原始編碼單元Ui+4m與Ui+4m+2的運(yùn)動補(bǔ)償 誤差,
[0024] D,一+4,11+2,。1+4?1+;!)==片+4·,?+:3.ι+·1?ι+3 '(巧〇,'+}?+:) + 〇;+4m"中一+4。,+ )) '0i+4m+2, i+4m+3表不 編碼單元Ui+4m+2對Ui+4m+3的影響程度的經(jīng)驗(yàn)值,βi+4m+2,i+4m+3 = α·F(目i+4m+2,i+4m+3),且
賄洗一一》4原始編碼單元Ui+4m+2與Ui+4m+3的運(yùn)動 補(bǔ)償誤差,
[002引馬+.4,,,+i(。,,。,+1,''.,。,+4?1,。;+.4?+3.)=底4。腳4。1+3 '巧(0Wm) + A+4m - Wm + i) ,0i + 4m, i+4m+3 表不編碼單兀 U i + 4 m 對 Ui + 4m + 3 的影響程度的經(jīng)驗(yàn)值,0i + 4m,i + 4m + 3 二 0 · F (目 i + 4m,i + 4m + 3),且
原始編碼單元Ui+4m與Ui+4m+3的運(yùn)動補(bǔ)償 誤差,
[0026] 〇,,4?一(〇,.一》1+3'。"4?,一)- 一'戶4?,一 .(巧〇片4?,一)+ 一-…4?,一),0i+4m+3, i+4m+4表不編 碼單元Ui + 4m+3對Ui+4m + 4 的影響程度的經(jīng)驗(yàn)值,0i + 4m + 3, i + 4m + 4 = a · F(目i + 4m+3, i + 4m + 4),且
品一+.4?m4原始編碼單兀Ui+4m+3與Ui+4m+4的擔(dān)動 補(bǔ)償誤差,
[0027 ] 〇,一(。|,〇。1,-.',。<+4?!,。<+4。1一)-/^?4/?"4/?+4.(色(凸!一/)1) + 凸|一(》-:"1+4/)^4),扣+4111,1 + 4111+4表不編碼單兀 U i + 4 m 對 Ui + 4m + 4的影響程度的經(jīng)驗(yàn)值,0i + 4m,i + 4m + 4 二 〇 · F (目 i + 4m,i + 4m + 4),且
.原始編碼單元Ui+4m與Ui+4m+4的運(yùn)動補(bǔ)償 誤差;
[0028] S6、將S5中所述當(dāng)前編碼單元化及后續(xù)編碼單元的失真代入S4中所述當(dāng)前編碼單 元化的時域率失真優(yōu)化目標(biāo)方程,得到呼1),+(4/(1 +巧,))'*,,所述《3為傳播因子,具體為:
[0029] 當(dāng)前編碼單元化屬于k巧帖時,
[0030]
[0031 ]當(dāng)前編碼單元化屬于非key帖時,
[0032]
[0033] ,其中,β = α . F(目),i
,m=l,2,3,...,M,M為一個測試序 列的GOP總數(shù);
[0034] S7、將全局拉格朗日乘子Ag和S6所述傳播因子ω a代入m"in A +(4/(1 +辟))'巧進(jìn)行時 域率失真優(yōu)化,初始化當(dāng)前帖的Ag為λΗΜ,λπΜ為標(biāo)準(zhǔn)肥VC中設(shè)定的當(dāng)前帖的拉格朗日乘子;
[0035] S8、依次對當(dāng)前帖中A個編碼單元,進(jìn)行步驟S2-S7的所述的率失真優(yōu)化處理;
[0036] S9、對S7所述全局拉格朗日乘子Ag進(jìn)行更新,更新得到
其中,A代表一帖中所有的編碼單元,巧為化的時域累積失真;
[0037] S10、對S1所述低延遲視頻編碼中其他帖進(jìn)行步驟S2-S9的所述率失真優(yōu)化處理。 [003引進(jìn)一步地,S5所述α為0.94 ±0.3。
[0039] 進(jìn)一步地,S5所述F(9)的取值范圍為(〇,1]。
[0040] 本發(fā)明的有益效果是:
[0041] 與高復(fù)雜度的全局率失真優(yōu)化方案不同,本發(fā)明提出了一種可操作的、高效的時 域率失真優(yōu)化方案,并在新一代視頻編碼標(biāo)準(zhǔn)皿VC中低延遲層次結(jié)構(gòu)下實(shí)現(xiàn),在皿VC的低 延遲P帖及B帖測試條件下,包括16個測試序列,4種不同分辨率(108化,720p,WVGA,WQVGA), 分別獲得平均增益2.9%、2.8%,其中背景不變序列叩〇11巧6〇916"獲得編碼增益為7.2%, 本方案適用于背景不變或者運(yùn)動緩慢的序列,如新聞、視頻會議、監(jiān)控視頻等。
【附圖說明】
[0042] 圖1低延遲層次編碼結(jié)構(gòu)。
[0043 ]圖2低延遲視頻編碼中時域傳播鏈。
[0044] 圖3在時域中具有依賴性的編碼塊的確定。
[0045] 圖4序列化山乎eople在Low-delay P下率失真曲線圖。
[0046] 圖5為本發(fā)明的流程圖。
【具體實(shí)施方式】
[0047] 下面結(jié)合實(shí)施例和附圖,詳細(xì)說明本發(fā)明的技術(shù)方案。
[004引實(shí)施例采用開發(fā)環(huán)境為Visual Studio2008,實(shí)施例基于皿VC的參考軟件歷13.0 進(jìn)行實(shí)現(xiàn)。
[0049] 如圖5所示:
[0050] S1、分析低延遲編碼中層次結(jié)構(gòu)的時域依賴性,并根據(jù)低延遲編碼中時域依賴性 建立時域傳播鏈,即第i個編碼單元化在k巧帖fi中,所述化的后向受影響編碼單元為化+1, 化+2,...,考慮第第i個編碼單元化在非k巧帖fV中,所述化的后向受影響編碼單元為化+1, Ui+2,..·。
[0051 ] Ui+1的確定:W化為起點(diǎn),在下一帖fi+1中進(jìn)行運(yùn)動估計(jì)捜索得到化+1。
[0052] Ui+2的確定化為起點(diǎn),在下一帖fi+2中進(jìn)行運(yùn)動估計(jì)捜索得到U"1+2,W化+ 1為起 點(diǎn),在下一帖fi+2中進(jìn)行運(yùn)動估計(jì)捜索得到1/ 1+2,1/ 1+2與1/ 1+2的中間位置為化+2,
[0053] 其中,i = l,2,3,...,N,N代表在整個編碼序列中的帖數(shù),Ul為當(dāng)前編碼單元,所述 化的后向受影響編碼單元的確定具體方式如圖3所示,其中,所述層次結(jié)構(gòu)具體為:每4帖為 一個G0P,將所述G0P內(nèi)的帖分別分配到不同的層,相同層的帖遵循一定的參考帖管理規(guī)則 及QP分配規(guī)則,每帖的P0C代表該帖在整個編碼序列中的絕對播放順序號,每帖的巧0C代表 該帖在所屬G0P中的相對播放順序號,如圖1所示,每個G0P的第一帖的巧0C=1,具有相同 巧0C的帖具有相同的參考帖管理方法及QP分配規(guī)則,如表1所示,Ref 1/2/3/4代表第一/ 二/Ξ/四個參考帖,所述量化參數(shù)(quantization parameter,QP)分配規(guī)則具體為:分配給 第1層中的編碼單元最小的QP補(bǔ)償值,因此擁有最低的QP,隨著層數(shù)增加 QP也增加,第1層的 視頻帖稱作關(guān)鍵帖,即key帖,獲得相對較高的視頻質(zhì)量,為在其他層中的視頻帖提供更好 的參考帖,在整個視頻范圍內(nèi)獲得更好的編碼質(zhì)量,所述一定的參考帖管理規(guī)則為:每帖有 四個參考帖,所述四個參考帖分別為前一帖和前向最近的Ξ個k巧帖(在低延遲視頻編碼中 編碼順序和解碼順序一致,只考慮前向參考,所述前向參考為前向參考帖的圖像播放順序 (pic1:ure order count,P0C)小于當(dāng)前帖的P0C)。
[0054] 表1低延遲視頻編碼中參考帖集合及量化參數(shù)設(shè)置
[0化5]
[0056]通過統(tǒng)計(jì)實(shí)驗(yàn)可W得到各參考帖被參考比例,如表2所示,rP0C=l的帖僅考慮前 一帖對其的影響,rP0C = 2、3、4的帖僅考慮前一帖及前向最近key帖對其的影響,連接時域 傳播鏈,如圖2所示。
[0化7] 表2參考比例表
[0化引
[0059] S2、建立第i個編碼單元Ui在key帖fi中時域率失真優(yōu)化目標(biāo)方程
其中,i = 1,2,3,. . .,N,N表示低延遲視頻編碼的總 帖數(shù),A代表一帖中所有的編碼單元,巧〇,(〇,,也,,...,〇;))為&的期望失真,〇1表示第i個編碼單 元的編碼參數(shù),Ri(oi)表示第i個編碼單元的碼率,Di為當(dāng)前編碼單元的失真,嗎(。,,。,'+,.....?:) 表示第j個受到當(dāng)前編碼單元化影響的后續(xù)編碼單元的失真,λκ為全局拉格朗日乘子戈表 編碼模式為可W得到的最優(yōu)編碼參數(shù),定義當(dāng)前編碼單元化為帖fi中第a個編碼單元,j = i+ 1,. . .,N,a=l,2,3, . . .,A,氣戈表編碼模式為可W得到的最優(yōu)編碼參數(shù),所述編碼參數(shù)包括 編碼模式,運(yùn)動矢量,參考帖索引,量化參數(shù)和量化后的變換系數(shù);
[0060] S3、根據(jù)S2所述時域率失真優(yōu)化目標(biāo)方程,求受到當(dāng)前編碼單元化影響的后續(xù)編 碼單元的期望失真
[oow] 具體為:
[00創(chuàng) rP0C=l的帖中的編碼單元Ui + 4m + i的期望失真為E(Di + 4m + i),rP0C = 2 的帖中的編碼單元Ui + 4m + 2的期望失真為E (Di + 4m + 2 ),rPOC = 3的帖中的編 碼單元Ui + 4m + 3的期望失真為E(Di + 4m + 3),rP0C = 4的帖中的編碼單元Ui + 4m + 4的 期望失真為 E ( Di+4m+4 ),其中,巧凸 1一,,1一)= A.4m.,+4?1+1 ' 0,+4?1+1 ,。1+1 一》1,1) +、一,,1-1 ' Ki+4m+l為 常數(shù),P i + 4 m , i + 4 m + 1代表在帖f i + 4 m + 1中W f i + 4 m為參考帖的塊的比例, 巧口i.+4,,: j = 4郵|'+4齡2. '0*4嘩2.的:'也1 桿4地《',巧響這)+ 巧+4?!,i.+4*.+l ^ 中,Ki+4m+2 為常數(shù),Pi + 4m + l,i + 4m + 2 代表在帖 fi + 4m + 2 中 Wfi + 4m+l 為參考 帖的塊的比例,Pi + 4m, i + 4m+2代表在帖f i + 4m + 2中Wfi + 4m為參考帖的塊的比例, 巧凸,'+4ms-3)-巧+4,1+2,1+4?,+3 ' 0η4,?"(Α …口Η 柏r4m" ) + "^+4?…4m* j 公"4mW(0i'0''中…'。'一訊'口Wm+J) + ',其 中,Ki + 4m+3為常數(shù),Pi + 4m+2 , i + 4m+3代表在帖f i + 4m+3中W f i + 4m + 2為參考帖的塊的比 例,P i + 4 m , i + 4 m + 3代表在帖f i + 4 m + 3中W f i + 4 m為參考帖的塊的比例, ΑΑ4Β,+4)-^4?,-3'"4?ι+4'0?Μη"4(0,,0ι",~,0,Μ?"_;,0Η4ηι,4)+·^?4?>,"4?Η4'ΑΗ????4(0,.0Η?,''',0"4?ι,0"4?"4) + Κ,Μ?ι+4, Ki+4m+4為常數(shù),Pi+4m+3, i+4m+4代表在帖f i+4m+4中Wf i+4m+3為參考帖的塊的比例,Pi+4m, i+4m+4代 表在帖fi+4m+沖Wfi+4m為參考帖的塊的比例,m=0,l,2,. . .,M表示第m個GOP,共有Μ個GOP,01 上標(biāo)"Γ表示前一帖為參考帖,ο2上標(biāo)"2"表示前向最近k巧帖為參考帖;
[0063] S4、將所述S3中的受到當(dāng)前編碼單元Ui影響的后續(xù)編碼單元的期望失真
代入S2所述當(dāng)前編碼單元化的時域率失真優(yōu)化目標(biāo)方程,并刪除所有 常數(shù)項(xiàng)K*,進(jìn)行簡化,具體簡化為:
[0064] 當(dāng)前編碼單元化屬于key帖(rP0C = 4)時,則簡化為:
[00 化]
[0066]當(dāng)前編碼單元化所在非k巧帖的巧0C分別為1、2、3時,則簡化為:
[0067]
[0068] S5、求S4中所述目標(biāo)方程中的當(dāng)前編碼單元化及后續(xù)編碼單元的失真,具體步驟 為:
[0069]
,化+4m,i+4mU表示編碼單元 U i + 4 m 對 Ui + 4m + l 的影響程度的經(jīng)驗(yàn)值,0i + 4m,i + 4m+l 二 〇 · F (目 i + 4m,i + 4m+l),且
F( Θ )為經(jīng)驗(yàn)值,巧:己w,".l原始編碼單元Ui+4m與 化+4m+l的運(yùn)動補(bǔ)償誤差,α為常數(shù),
[0070] 9+4,11+2 (。!,〇|+1,.'',。1+4,*0+1,〇1+4,*0+2)=々+4m,U一》1+2 .(正(〇i,4m+l ) +〇。4?"1一+4,*0+2) '0i + 4m+l , i+4m+2表不編 碼單元山+ 41114對山+4111 + 2的影響程度的經(jīng)驗(yàn)值,0i + 4m+l, i + 4m + 2 = a · F(目i + 4m+l, i + 4m + 2),且
,媒'思以i+4w+2.原始編碼單兀U i+4m+1與U i+4m+2的擔(dān)動 補(bǔ)償誤差,
[0071 ] D,.+4m+: (ο,,〇w,:'.',.,.0i+4?.,〇H-4:M。)-爲(wèi)+4m,<'+4m冉 '(怎(馬+4m) + …4>?W),0i+4m, i+4m+2表不編碼單兀 U i + 4 m 對 Ui + 4m + 2 的影響程度的經(jīng)驗(yàn)值,0i + 4m,i + 4m + 2 二 〇 · F (目 i + 4m,i + 4m + 2),且
,逆':己原始編碼單元Ui+4m與Ui+4m+2的運(yùn)動補(bǔ)償 誤差,
[007^ 化4。1"(0;-。,+1,'..,0,*4。1-:,0,一》"3)==々*4。1-:."山,+3.(巧0,+4?,^、+ 化4冊 + 2--,+4。"3)'01 + 4111 + 2,1+4111+3表不 編碼單元Ui + 4m+2對Ui + 4m+3的景多日向程度的經(jīng)驗(yàn)值,0i + 4m+2,i + 4m+3 =曰· F(目i + 4m+2,i + 4m+3),且
,巧:器-W44W3原始編碼單元Ui+4m+2與Ui+4m+3的運(yùn)動 補(bǔ)償誤差,
[0073] 〇,+4(|"3(〇,,〇^1,-,〇!一(》,〇"4?片3)-角一《,1':+4?+3'(正(公>'+4?1')+〇"4"-,,44"+3),化+4111,1+4111+3表巧編碼單兀 U i + 4 m 對 Ui + 4m + 3 的影響程度的經(jīng)驗(yàn)值,0i + 4m,i + 4m + 3 二 〇 · F (目 i + 4m,i + 4m + 3),且
媒W3;原始編碼單兀U i+4m與U i+4m+ 3的運(yùn)動補(bǔ)償 誤差,
[0074] 巧*4,|1一(〇1.。!+1'.'',〇1+指+3'〇1一《+4)一''爲(wèi)+核啤+4?+4'化(打,4?|+3)+公,+4?"3一+4?+4.)'扣+4111+3,1 + 4111+4表不編 碼單兀Ui + 4m+3 對Ui+4m + 4的影響程度的經(jīng)驗(yàn)值,0i + 4m + 3,i + 4m + 4 = a*F(9i + 4m+3,i + 4m + 4),且
,城?茂…4。,一原始編碼單元Ui+4m+3與Ui+4m+4的運(yùn)動 補(bǔ)償誤差,
[0075] C+4?,+4 (〇?,〇i+l'.'.'〇i+4m'〇/44m+4 )-片+4,ι.?+4,"4 ' (正(公?+4,1) + 〇?+4"--f+4m+4),Pi+4m, i+4m+4表習(xí)^編石馬單兀 U i + 4 m 對 Ui + 4m + 4的影響程度的經(jīng)驗(yàn)值,0i + 4m,i + 4m + 4 二 〇 · F (目 i + 4m,i + 4m + 4),且
Κ:己,+4,,+4原始編碼單元Ui+4m與Ui+4m+4的運(yùn)動補(bǔ)償 誤差。
[0076] S6、將S5中所述當(dāng)前編碼單元化及后續(xù)編碼單元的失真代入S4中所述當(dāng)前編碼單 元化的時域率失真優(yōu)化目標(biāo)方程,得到玲+(屯/(1+%))?馬,所述ω a為傳播因子,具體為:
[0077]當(dāng)前編碼單元化屬于k巧帖時,
[0081 ],其中,β = α · F(目),且
:,皿=1,2,3,...,1,1為一個測試序 列的G0P總數(shù)。
[0082] S7、將全局拉格朗日乘子Ag和S6所述傳播因子ω a代入呼1勾+化/(1 +巧進(jìn)行時 域率失真優(yōu)化,初始化當(dāng)前帖的Ag為λΗΜ,λπΜ為標(biāo)準(zhǔn)肥VC中設(shè)定的當(dāng)前帖的拉格朗日乘子。
[0083] S8、依次對當(dāng)前帖中A個編碼單元,進(jìn)行步驟S2-S7的所述的率失真優(yōu)化處理。
[0084] S9、對S7所述全局拉格朗日乘子Ag進(jìn)行更新,更新得離
其中,A代表一帖中所有的編碼單元,馬為化的時域累積失真。
[0085] S10、對S1所述低延遲視頻編碼中其他帖進(jìn)行步驟S2-S9的所述率失真優(yōu)化處理。
[0086] 例1、
[0087] 如圖2所示,將當(dāng)前原始帖分成不重疊的16x16大小的編碼單元,每個編碼單元在 下一原始帖中進(jìn)行運(yùn)動估計(jì),得到最佳匹配單元,差值記作原始帖的運(yùn)動補(bǔ)償誤差D<*P。依 次得到每個編碼單元的D<*P,具體的如巧若;D,弓貫+2。同理獲得整個序列所有帖中各個 編碼單元的〇胃。同時,對key帖中的編碼單元,仍需要在下一G0P中的立帖(巧0C為2、3、4) 中尋找最佳匹配單元,并獲得原始帖的運(yùn)動補(bǔ)償誤差,如巧:畏,貨;。
[0088] 如圖3所示,在帖fi中實(shí)線框代表當(dāng)前編碼單元化,根據(jù)上述原始帖域運(yùn)動估計(jì),得 到與其相關(guān)性最強(qiáng)的編碼單元化+1,也即受編碼化影響最大的塊。W化+1為起點(diǎn),使用與其重 合最大的塊(如虛線塊)的運(yùn)動矢量,在帖fi+2中尋找最匹配的塊IT 1+2(如實(shí)線塊)。同時,當(dāng) 前編碼單元化,可W直接在帖f 1+2中尋找最佳匹配塊U" 1 + 2 (如斜線塊)。取塊護(hù)1+2和塊U" 1+2坐 標(biāo)平均值得到全黑塊化+2。W此類推,可W確定時域中具有依賴關(guān)系的后續(xù)編碼單元。
[0089] 根據(jù)S6可知,為了求得傳播因子ω。,需要獲得參考比例P及β。低延遲編碼中層次 編碼結(jié)構(gòu)的定義如表1所示,具有相同巧0C的帖遵循相同的規(guī)律,如每個測試序列帖(帖 內(nèi)編碼)開始,四帖組成一個G0P,每個G0P中第一帖的巧0C為1,其參考帖集合中有4個參考 帖,表2列出了參考帖與該帖的POC之差,W及該帖所使用的QP偏移值,并將該QP偏移值與I 帖的QP之和作為該帖的QP。相應(yīng)的通過大量實(shí)驗(yàn),求得平均參考比列,也即當(dāng)前帖中編碼單 元將參考帖集合中某帖選為最佳參考帖的平均比例。如巧0C為1的當(dāng)前帖中選擇第一個參 考帖(即前一帖,因?yàn)楫?dāng)前帖與第一個參考帖P0C差值為-1)的編碼單元比例為0.89。
[0090] 如前所述,β = α . D/DMCp,且D = DMCp . ρ(θ),因此0 = α . F(目),
[0091] 首先考慮當(dāng)前編碼單元化在k巧帖中,估計(jì)化(Οι)。先根據(jù)
在當(dāng)前帖的前一帖找到影響編碼化的單元化-1,進(jìn)而得到Di-I和逆其中α = 0.94,求得
其中量化步長Q與量化參數(shù)QP的關(guān)系是0 = 2"'^氣。通過θι查表F(0) 得質(zhì)
[0092] 估計(jì)0i,i+i=a · F(目i,i+i),其牛
前一步中已經(jīng)求出 Di(oi),巧三可根據(jù)時域傳播鏈獲得。由于
,計(jì) 算量大,單元化+1所在帖的巧0C為1,根據(jù)表2及所建時域傳播鏈,其期望失真僅與第一項(xiàng)具 有較強(qiáng)相關(guān)性,因此使用經(jīng)驗(yàn)值占(化。)=〇,化,",|_1)二公,,_1.(〇,(",') +與"";.';')代替6化+1)。
[0093] 估計(jì)0i + ii + 2 = α · F(目i + ii + 2),且
,進(jìn)而得到 凸w(o,,o,:…o,U)=心,一 ·(£(化,)牛公品";+:),其中E ( Di + i)使用經(jīng)驗(yàn)值吾俾+,)。同理扣,w = 曰· F(0i,i+2),且
,進(jìn)而得到化2腳,請2)。爲(wèi)。(。,.) +化資)。 對于編碼單元所在帖巧0C為2、3、4時,其期望失真僅與前一帖及最近的k巧帖具有強(qiáng)相關(guān) 性,因此E(Di+2)的經(jīng)驗(yàn)值為
[0094] 同理,可W迭代求取β,最終求得傳播因子ω a,求得
[00巧]通過(毛傅+巧,求化的最佳編碼參數(shù)oi。
[0096] 肥VC中基本編碼單元CU尺寸為64x64,根據(jù)本發(fā)明求出每個CU的16個16x16塊的傳 播因子ω 1,求均值巧,結(jié)合所求的Ag,對該CU進(jìn)行編碼。
[0097] 實(shí)驗(yàn)低延遲P/B測試條件,其中標(biāo)準(zhǔn)測試序列如表3所示,標(biāo)準(zhǔn)測試條件為使用低 延遲下推薦測試結(jié)構(gòu),QP采用27,32,37,42,16個測試序列,四種分別率(1080P,720P,WVGA, WQVGA),相對比較結(jié)果為肥VC的參考軟件歷13.0。
[0098] 表3在低延遲測試條件下亮度碼率節(jié)省
[0099]
[0100] 測試結(jié)果如表3所示。從表3中可w看出采用該方法后可獲得抓平均碼率節(jié)省分別 為2.9%、2.8%,且對于部分測試序列,可節(jié)省抓碼率達(dá)7.2 %。其中測試序列化urfeople在 Low-delay P下率失真曲線圖如圖4所示。由圖4可W看出本方法的性能表現(xiàn)優(yōu)于原始的 肥VC參考軟件歷13.0的性能。表4給出了本發(fā)明測試時間比較,與麗13.0相比編碼時間僅平 均增長了 0.6%。
[0101] 表4低延遲B帖測試條件下本發(fā)明測試時間比較(單位為秒)
[0102]
【主權(quán)項(xiàng)】
1.低延遲視頻編碼中時域率失真優(yōu)化方法,其特征在于,包括如下步驟: S1、根據(jù)低延遲視頻編碼中時域依賴性,建立時域傳播鏈,其中,所述時域傳播鏈具有 如下特性:低延遲視頻編碼中每個GOP中第一幀,即rPOC= 1的幀僅考慮前一幀對其的影響, 每個GOP內(nèi)的其他三幀,即rP0C = 2、3、4的幀僅考慮前一幀及前向最近的key幀對其的影響, 如圖2所示; S 2、建立當(dāng)前編碼單元U i的時域率失真優(yōu)化目標(biāo)方程中,i = l,2,3,...,N,N表示低延遲視頻編碼的 總幀數(shù),A代表一幀中所有的編碼單元,£〇>,(~心<))為1^的期望失真,〇1表示第i個編碼 單元的編碼參數(shù),Μ 〇1)表示第i個編碼單元的碼率,D,為當(dāng)前編碼單元的失真, 巧也',…,<)表示第j個受到當(dāng)前編碼單元山影響的后續(xù)編碼單元的失真,A g為全局拉格朗 日乘子/代表編碼模式為可以得到的最優(yōu)編碼參數(shù),定義當(dāng)前編碼單元山為幀h中第a個編 碼單元,j = i+l,...,18 = 1,2,3,...35 53、 根據(jù)S2所述時域率失真優(yōu)化目標(biāo)方程,求受到當(dāng)前編碼單元仏影響的后續(xù)編 碼單元的期望失真?£(β,(~心具體為:rPOC=l的幀中的編碼單元Ui+4m+i的期 ./=/+1 望失真為E(Di + 4m + l),rP0C = 2的幀中的編碼單兀Ui + 4m + 2的期望失真為E(Di + 4m + 2), rP0C = 3的幀中的編碼單元Ui+4m+3的期望失真為E(Di+4m+3),rP0C = 4的幀中的編碼單元 Ui + 4m+4的期望失真為E(Di+4m+4),其中,…+ ^ Ki + 4m + i為常數(shù),Pi + 4m,i + 4m + i代表在幀fi + 4m+i中以fi + ^為參考幀的塊的比例, ^(A+4,>;4 2 ^ = ^>t+4m+l^+4m 1 1 1 Mm Η 1 Am _ ^ ^+4m,n4m+2 ' ^i+Am+2^°t ^ι + Ι^'°,+4m 4m+l) ? ^ 中,Ki + 4m + 2 為常數(shù),Pi + 4m + l,i+4m + 2 代表在幀 fi+4m + 2 中以 fi+4m + l 為 參考幀的塊的比例,Pi + 4m,i + 4m + 2代表在幀fi + 4m + 2中以fi + ^為參考幀的塊的比例, - ^i+^m+ZJ+Am+'S t4n< 4ιη+?· )十 4_爾3-為漏3(%4,.·.,<4 中,Ki+4m+3為常數(shù),Pi+4m+2,i+4m+3代表在幀 fi+4m+3中以 fi+4m+2為 參考幀的塊的比例,Pi + 4m,i + 4m + 3代表在幀fi + 4m + 3中以fi + ^為參考幀的塊的比例, +4M.+4) - '^+.4,??.+3;?'+.4?η.+4 ''^?4??^4 (^; ^.?+1^^ ^>:4^;+3-?-^±4^-4^+:4>ir;i:+4mt4 4〇1,。,2十――rt) +爲(wèi)+4耐4, Ki+4m+4為常數(shù),Pi+4m+3,i+4m+4代表在幀fi+4m+4中以fi+4m+3為參考幀的塊的比例,Pi+4m,i+4m+4代表在 幀fi+4m+4中以fi+4m為參考幀的塊的比例,m=0,l,2,. . .,M表示第m個G0P,共有Μ個GOP,。1上標(biāo) "Γ表示前一幀為參考幀,〇2上標(biāo)"2"表示前向最近key幀為參考幀; 54、 將所述S3中的受到當(dāng)前編碼單元心影響的后續(xù)編碼單元的期望失真 t 心^,Ο),代入S2所述當(dāng)前編碼單元山的時域率失真優(yōu)化目標(biāo)方程,并刪除所有 /:-/.+.1 常數(shù)項(xiàng)K*,進(jìn)行簡化,具體簡化為: 當(dāng)前編碼單元Ui屬于key幀(rP0C = 4)時,貝lj簡化為:? 當(dāng)前編碼單元Ui所在非key幀的rPOC分別為1、2、3時,則簡化為:S5、求S4中所述目標(biāo)方程中的當(dāng)前編碼單元仏及后續(xù)編碼單元的失真,具體步驟為: 4?Π )+ .Ζ^4.":->-/+4:·ι )'. ·β? + 4ιη,i + 4m+l 表 /Jn 編碼 單元 U i + 4m對Ui + 4m+l 的影響程度的經(jīng)驗(yàn)值,0i + 4m,i + 4m+l = α · F ( Θ i + 4m,i + 4m+l ),且 1奴;+4心=你/Va.(€(A+4J + AS匕一丨),F(xiàn)( θ )為經(jīng)驗(yàn)值,原始編碼單元Ui+^與 Ui+4m+l的運(yùn)動補(bǔ)償誤差,α為常數(shù), ^iT-4m+2 C^j 5 ^j+1 ^' "5 ^/τ-4;?/?τ^1.5 βi+4m+l'n;-:h4:m+2 )+ AH W2 ),β i+4m+1,i+4m+2 表;^ 編碼單 兀 U i + 4 m + 1 對 U i + 4 m + 2 的 響矛王度的經(jīng)驗(yàn)值,0i+4m+l,i+4m+2 - Q · F(0i + 4m + l,i+4m+2)?且 =你/V…成+ ,把原始編碼單元Ui+4m+1與Ui+4m+2的運(yùn)動 補(bǔ)償誤差, ^ι+4η?τ2 (°? " °ι+\ °ι+4ηι1 °H 4m+2 ) - Pi^nui*-\m ' ( -:Mm ) + ' 爲(wèi) i + 4 m,i + 4 m + 2 表示編碼單元 Ui+4m 對 Ui + 4m+2 的影響程度的經(jīng)驗(yàn)值,_3i + 4m,i+4m + 2 = a · F(Qi + 4m,i + 4m + 2),且 U =伽扣.(明J十D=一』原始編碼單元Ui+4^Ui+4 m+2的運(yùn)動補(bǔ)償 誤差, 十4m-+J. (A, A+1." '·,十2 , 〇H~4m-r-3 ) 4-4 w+ 2,;·-ι·4m +-3 你(Aw…) + Z>=!:i_w+4;^;3)4i + 4m+2,i + 4m+3 表亦編碼 單兀 U i + 4m + 2 對 U i + 4m + 3 的 響矛王度的經(jīng)驗(yàn)值,0i+4m+2,i+4m+3 - Q · F(0i + 4m + 2,i + 4m + 3)?且 ^?+4αι~^2.?+4ιη-ι-2 SQi (!:{!- ^?+4?κ+2 ) ^i+4.n+2-f-i+4in+? ) ? ?2->-?+4.?+'3 原始編碼單元Ui+4m+2與Ui+4m+3的運(yùn)動 補(bǔ)償誤差, Of+4/fr+3 (〇,,〇 1+\ ·>-·> °,+4m -< °i^4m+} )= ^+心,十3),0i+4m,i+4m+3表編碼單兀Ui+4m 對 Ui + 4m + 3 的影響程度的經(jīng)驗(yàn)值,0i + 4m,i + 4m + 3 = a · F(Qi + 4m,i + 4m + 3),且 ^+4;,?+4,+3 - Sq/ a·{E(D^4m) + D^i+4m+,):二+4m+3 原始編碼單元Ui+4gUi+4m+3的運(yùn)動補(bǔ)償 誤差, ^1+4m+4"> ^?·Λ-\ ' ·*·^ ^i+AmVi ^ ) - 'β'?^Αιη^?(^(-^.+4^+3 )+砲4_),Pi+4m+3, i+4m+4表亦編碼單 兀 U i + 4 m + 3 對 U i + 4 m + 4 的 響矛王度的經(jīng)驗(yàn)值,0i+4m+3,i+4m + 4 - Q · F(0i + 4m + 3,i+4m + 4)?且 _ A ·(網(wǎng)扁)+ IS-w+4),把原始編碼單元Ui+4m+3與Ui+4m+4的運(yùn)動 補(bǔ)償誤差, 乃卜4m + 4 (Hi 卞4w卞4/?卞4 X-·(邵+4m-^/+4m +4.) 'β?+4ιη,i+4m+4表編碼單兀Ui+4m 對 Ui + 4m + 4 的影響程度的經(jīng)驗(yàn)值,_3i + 4m,i + 4m + 4 = a · F(Qi + 4m,i + 4m + 4),且 t4,,,.,+4",+4=Λ?)/^/^^J:? :^Im:^C,_原始編碼單元Ui+4m與Ui+4 m+4的運(yùn)動補(bǔ)償 誤差; 56、 將S5中所述當(dāng)前編碼單元U及后續(xù)編碼單元的失真代入S4中所述當(dāng)前編碼單元仏 的時域率失真優(yōu)化目標(biāo)方程,得到,A+^/(l + fi〇)?尺,所述c〇a為傳播因子,具體為: 當(dāng)前編碼單元Ui屬于key幀時,當(dāng)前編碼單元Ui屬于非key幀時,其中,β = α · F(9),且 0 (£(!)> +W),m=l, 2,3, · · ·,M,M為一個測試序列的 GOP總數(shù); 57、 將全局拉格朗日乘子Ajpse所述傳播因子c〇a代入,Α + (4/(1 + ?0)4進(jìn)行時域率 失真優(yōu)化,初始化當(dāng)前幀的λ8*λΗΜ,λΗΜ為標(biāo)準(zhǔn)HEVC中設(shè)定的當(dāng)前幀的拉格朗日乘子; 58、 依次對當(dāng)前幀中Α個編碼單元,進(jìn)行步驟S2-S7的所述的率失真優(yōu)化處理: 59、 對S7所述全局拉格朗日乘子18進(jìn)行更新,更新得到>其中, A代表一幀中所有的編碼單元,尾為U的時域累積失真; S10、對S1所述低延遲視頻編碼中其他幀進(jìn)行步驟S2-S9的所述率失真優(yōu)化處理。2. 根據(jù)權(quán)利要求1所述低延遲視頻編碼中時域率失真優(yōu)化方法,其特征在于:S5所述α 為 0.94±0.3。3. 根據(jù)權(quán)利要求1所述低延遲視頻編碼中時域率失真優(yōu)化方法,其特征在于:S5所述F (Θ)的取值范圍為(0,1]。
【文檔編號】H04N19/147GK105872544SQ201610242849
【公開日】2016年8月17日
【申請日】2016年4月19日
【發(fā)明人】朱策, 高艷博, 李帥, 彭強(qiáng), 周益民, 段昶
【申請人】電子科技大學(xué)