本發(fā)明屬于3D視頻編碼領(lǐng)域,尤其涉及一種深度視頻幀級(jí)比特分配方法。
背景技術(shù):
3D視頻數(shù)據(jù)量大,使得視頻的傳輸和存儲(chǔ)面臨前所未有的困難與挑戰(zhàn)。因此,如何實(shí)現(xiàn)高效的3D視頻壓縮編碼具有重要的理論研究意義和實(shí)際應(yīng)用價(jià)值。視頻編碼中需要在信道和編碼器之間建立一個(gè)緩沖區(qū),使得編碼后的碼流速率與傳輸信道速率相匹配。碼率控制可以通過(guò)不斷地調(diào)節(jié)編碼參數(shù)來(lái)保證緩沖區(qū)變化平穩(wěn),防止緩沖區(qū)發(fā)生溢出現(xiàn)象。同時(shí),碼率控制通過(guò)調(diào)整視頻編碼輸出的碼率,使輸出碼率與傳輸帶寬相匹配,同時(shí)保證解碼視頻的質(zhì)量,在視頻的高效傳輸中起到重要的作用。為了進(jìn)一步提高視頻編碼效率,在碼率控制過(guò)程中,實(shí)現(xiàn)準(zhǔn)確的比特分配過(guò)程尤為重要。比特分配的基本原理是根據(jù)目標(biāo)比特?cái)?shù)逐級(jí)地向下分配比特,包括圖片組(Group of Picture,GOP)級(jí)、圖片級(jí)和基本單元級(jí)(對(duì)于H.264/AVC來(lái)說(shuō)是宏塊,對(duì)HEVC來(lái)說(shuō)是編碼單元CU)。在完成比特分配之后,利用碼率控制模型計(jì)算最優(yōu)的編碼參數(shù),以用于編碼。
多視點(diǎn)視頻加深度(Multi-view Video Plus Depth,MVD)是最常用的3D視頻格式之一。MVD視頻在彩色視頻的基礎(chǔ)上,增加了反映場(chǎng)景深度信息的深度視頻,并且能夠利用深度視頻和DIBR(Depth-image Based Rendering)技術(shù)繪制出不同視角的虛擬視點(diǎn)。因此,MVD視頻相關(guān)技術(shù)逐漸受到工業(yè)界及學(xué)術(shù)界的青睞。針對(duì)MVD視頻,如何合理的分配深度視頻和彩色視頻之間的比特關(guān)系會(huì)影響視頻的編碼質(zhì)量。在MVD視頻編碼中,由于以繪制虛擬視點(diǎn)的失真作為最終的衡量標(biāo)準(zhǔn),許多研究者從繪制虛擬視點(diǎn)的角度出發(fā)探究彩色視頻和深度視頻之間最優(yōu)的比特分配方案。Liu[1]等人提出了一種彩色視頻和深度視頻之間的固定比例分配方案,并提出了視點(diǎn)級(jí)、彩色視頻和深度視頻級(jí)、圖片級(jí)三個(gè)級(jí)別的比特分配方案。Yuan[2]等人推導(dǎo)得到彩色視頻、深度視頻與繪制的虛擬視點(diǎn)失真之間的關(guān)系,并利用拉格朗日數(shù)乘法得到彩色視頻和深度視頻的最優(yōu)比特分配方案。Shao[3]等人建立了彩色視頻碼率、深度視頻碼率與繪制虛擬視點(diǎn)的失真之間的關(guān)系模型,并依據(jù)此模型探究了深度視頻和彩色視頻之間最優(yōu)的比特分配方案。
然而這些比特分配方法都沒(méi)有考慮到深度視頻的統(tǒng)計(jì)特性,因此需要獲取深度視頻幀級(jí)比特分配階段準(zhǔn)確的圖片權(quán)重,以提高比特分配階段的準(zhǔn)確性。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提供了一種深度視頻幀級(jí)比特分配方法,本發(fā)明用于獲取深度視頻幀級(jí)比特分配階段合適的圖片權(quán)重,以提高深度視頻比特分配階段的準(zhǔn)確性,詳見(jiàn)下文描述:
一種深度視頻幀級(jí)比特分配方法,所述方法包括以下步驟:
對(duì)于深度視頻,當(dāng)GOP的目標(biāo)比特分配到每一幀圖片時(shí),第一時(shí)域?qū)拥膱D片權(quán)重小于彩色圖片的權(quán)重,多時(shí)域?qū)拥膱D片權(quán)重大于彩色圖片的權(quán)重;
根據(jù)獲取到的圖片權(quán)重,設(shè)定bpp范圍;獲取滿足預(yù)設(shè)條件的深度視頻的新的圖片權(quán)重,該預(yù)設(shè)條件為:位于較小bpp范圍的ωk,大于位于較大bpp范圍內(nèi)的ωk;位于TLk圖片的權(quán)重大于TLk+1的圖片的權(quán)重;
根據(jù)深度視頻的新的圖片權(quán)重分配幀級(jí)比特。
其中,所述bpp范圍具體為(0,0.05],(0.05,0.1]和(0.1,∞)。
其中,根據(jù)深度視頻的新的圖片權(quán)重分配幀級(jí)比特具體為:
其中,TCurPic和TGOP分別為當(dāng)前圖片的目標(biāo)比特?cái)?shù)和當(dāng)前GOP的目標(biāo)比特?cái)?shù);RCoded為當(dāng)前GOP中已編碼的圖片消耗的總碼率,ωk為深度視頻中第k幅圖片的權(quán)重,ωCurPic為當(dāng)前圖片的權(quán)重,NGOP為當(dāng)前GOP中圖片的數(shù)目,CurPic表示當(dāng)前圖片。
本發(fā)明提供的技術(shù)方案的有益效果是:本發(fā)明基于深度視頻統(tǒng)計(jì)特性的觀察結(jié)果,通過(guò)統(tǒng)計(jì)獲取針對(duì)深度視頻的新的圖片權(quán)重,有效提升了比特分配階段的準(zhǔn)確性,提升了深度視頻的編碼效率。
附圖說(shuō)明
圖1為“Poznan_Street”視頻序列的B幀編碼比特?cái)?shù)的對(duì)比示意圖;
a)為彩色視頻的示意圖;b)為深度視頻的示意圖。
圖2為隨機(jī)接入結(jié)構(gòu)的示意圖;
圖3為一種深度視頻幀級(jí)比特分配方法的流程圖。
具體實(shí)施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面對(duì)本發(fā)明實(shí)施方式作進(jìn)一步地詳細(xì)描述。
實(shí)施例1
為了克服現(xiàn)有技術(shù)的不足,準(zhǔn)確地獲取深度視頻幀級(jí)比特分配階段合適的圖片權(quán)重,本發(fā)明實(shí)施例提出了基于編碼比特分布的深度視頻幀級(jí)比特分配方法,該方法包括以下步驟:
101:對(duì)于深度視頻,當(dāng)GOP的目標(biāo)比特分配到每一幀圖片時(shí),第一時(shí)域?qū)拥膱D片權(quán)重小于彩色圖片的權(quán)重,多時(shí)域?qū)拥膱D片權(quán)重大于彩色圖片的權(quán)重;
102:根據(jù)獲取到的圖片權(quán)重,設(shè)定bpp范圍;獲取滿足預(yù)設(shè)條件的深度視頻的新的圖片權(quán)重,該預(yù)設(shè)條件為:位于較小bpp范圍的ωk,大于位于較大bpp范圍內(nèi)的ωk;位于TLk圖片的權(quán)重大于TLk+1的圖片的權(quán)重;
其中,bpp范圍具體為(0,0.05],(0.05,0.1]和(0.1,∞)。
103:根據(jù)深度視頻的新的圖片權(quán)重分配幀級(jí)比特。
綜上所述,本發(fā)明實(shí)施例通過(guò)上述步驟101-步驟103統(tǒng)計(jì)獲取針對(duì)深度視頻的新的圖片權(quán)重,有效提升了比特分配階段的準(zhǔn)確性,提升了深度視頻的編碼效率。
實(shí)施例2
下面結(jié)合具體的計(jì)算公式、圖1、圖2、圖3以及實(shí)例對(duì)實(shí)施例1中的方案進(jìn)行進(jìn)一步地介紹,詳見(jiàn)下文描述:
201:深度視頻編碼的統(tǒng)計(jì)特性觀察;
其中,深度視頻是由灰度圖片組成,可看作一種特殊的彩色視頻,因此可以使用基于R-λ模型[4]的碼率控制方法對(duì)深度視頻進(jìn)行編碼。圖1表示深度視頻和彩色視頻在前31個(gè)B幀的編碼比特的對(duì)比情況。從圖1可以看出,深度視頻的統(tǒng)計(jì)特性與彩色視頻完全不同,深度視頻在TL(時(shí)域)1層消耗的編碼比特遠(yuǎn)小于彩色視頻的消耗,同時(shí),深度視頻中TL4層消耗的比特?cái)?shù)占整個(gè)GOP消耗比特?cái)?shù)的比值要遠(yuǎn)大于彩色視頻中TL4層所占的比值。
基于此觀察結(jié)果,對(duì)于深度視頻,當(dāng)一個(gè)GOP的目標(biāo)比特被分配到每一幀圖片時(shí),TL1層的圖片的權(quán)重應(yīng)該比彩色圖片的圖片權(quán)重小,同樣地,TL4層的圖片權(quán)重應(yīng)該比彩色圖片的權(quán)重大。
202:圖片權(quán)重的統(tǒng)計(jì);
為了獲得比特分配階段合適的圖片權(quán)重,本方法通過(guò)分析深度視頻在通用測(cè)試條件下的編碼比特流,設(shè)計(jì)了一組新的圖片權(quán)重。因?yàn)槲挥谕籘L的圖片具有相同的圖片權(quán)重,本方法統(tǒng)計(jì)了位于同一個(gè)TL的所有圖片的編碼比特,計(jì)算該TL的所有圖片的平均編碼比特值。在隨機(jī)接入編碼結(jié)構(gòu)中,一個(gè)GOP的8幀圖片如圖1所示,圖片l8n屬于第一個(gè)時(shí)域?qū)?TL1),這一級(jí)消耗的比特?cái)?shù)最多;圖片l8n+1、l8n+3、l8n+5和l8n+7屬于第四個(gè)時(shí)域?qū)?TL4),這一級(jí)消耗的比特?cái)?shù)最少;依據(jù)編碼比特?cái)?shù)目,圖片l8n+4屬于第二時(shí)域?qū)?TL2),圖片l8n+2和圖片l8n+6屬于第三時(shí)域?qū)?TL3)。有1幀圖片屬于TL1,1幀圖片屬于TL2,2幀圖片屬于TL3,4幀圖片屬于TL4。因此,一個(gè)GOP內(nèi)的圖片權(quán)重為:
其中,Rk表示位于TLk的圖片的平均編碼比特。實(shí)驗(yàn)中通過(guò)改變量化參數(shù)(Quantitative Parameter,QP)的值獲取不同Rk,進(jìn)而獲取不同bpp(bit per pixel,每像素比特率)范圍內(nèi)的ωk。實(shí)驗(yàn)對(duì)10個(gè)視頻序列進(jìn)行了分析。由實(shí)驗(yàn)結(jié)果可觀察到,深度視頻消耗的比特?cái)?shù)非常小,即使編碼器用較小的QP編碼深度視頻時(shí),bpp的值均小于0.2。
203:bpp范圍的設(shè)定;
為了得到幀級(jí)比特分配階段合適的圖片權(quán)重,根據(jù)統(tǒng)計(jì)結(jié)果,在深度視頻比特分配的圖片權(quán)重中,bpp的范圍設(shè)定為三個(gè),包括(0,0.05],(0.05,0.1]和(0.1,∞)。
204:圖片權(quán)重的設(shè)定;
為了簡(jiǎn)單起見(jiàn),將深度視頻中的平均圖片權(quán)重設(shè)置成為整數(shù),并將位于TL4的圖片權(quán)重歸一化成1。另外,需要保證位于較小bpp范圍的ωk,大于位于較大bpp范圍內(nèi)的ωk;位于TLk的圖片的權(quán)重應(yīng)該大于TLk+1的圖片的權(quán)重。依據(jù)這兩個(gè)條件,深度視頻的新的圖片權(quán)重如表1所示。
表1 深度視頻的新的ωk
205:基于深度視頻圖片權(quán)重的幀級(jí)比特分配。
當(dāng)深度視頻的圖片權(quán)重設(shè)定完成后,利用新的圖片權(quán)重進(jìn)行深度視頻的幀級(jí)比特分配。幀級(jí)比特分配的目標(biāo)是將當(dāng)前GOP內(nèi)剩余的比特?cái)?shù)按照?qǐng)D片權(quán)重分配到GOP內(nèi)未編碼的每一幀圖片中。如下公式所示。
其中,TCurPic和TGOP表示的是當(dāng)前圖片的目標(biāo)比特?cái)?shù)和當(dāng)前GOP的目標(biāo)比特?cái)?shù)。RCoded表示當(dāng)前GOP中已編碼的圖片消耗的總的碼率,ωk是深度視頻中第k幅圖片的權(quán)重,由表1獲取,ωCurPic表示當(dāng)前圖片的權(quán)重,NGOP表示的是當(dāng)前GOP中圖片的數(shù)目,在隨機(jī)接入編碼結(jié)構(gòu)下通常設(shè)置為8;CurPic表示當(dāng)前圖片。
綜上所述,本發(fā)明實(shí)施例通過(guò)上述步驟201-步驟205統(tǒng)計(jì)獲取針對(duì)深度視頻的新的圖片權(quán)重,有效提升了比特分配階段的準(zhǔn)確性,提升了深度視頻的編碼效率。
參考文獻(xiàn)
[1]Liu Y,Huang Q,Ma S,et al.A novel rate control technique for multiview video plus depth based 3D video coding[J].IEEE Transactions on Broadcasting,2011,57(2):562-571.
[2]Yuan H,Chang Y,Huo J,et al.Model-based joint bit allocation between texture videos and depth maps for 3-D video coding[J].IEEE Transactions on Circuits and Systems for Video Technology,2011,21(4):485-497.
[3]Shao F,Jiang G,Yu M,et al.View synthesis distortion model optimization for bit allocation in three-dimensional video coding[J].Opt Eng,2011,50(12):120502-1-120502-3.
[4]Li B,Li H,Li L,and Zhang J.λdomain rate control algorithm for high efficiency video coding.IEEE Transactions on Image Processing[J],2014,23(9):3841-3854.
本領(lǐng)域技術(shù)人員可以理解附圖只是一個(gè)優(yōu)選實(shí)施例的示意圖,上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述,不代表實(shí)施例的優(yōu)劣。
以上所述僅為本發(fā)明的較佳實(shí)施例,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。