自由視點(diǎn)視頻深度圖失真預(yù)測(cè)方法和編碼方法
【專利摘要】一種自由視點(diǎn)視頻深度圖失真預(yù)測(cè)方法和編碼方法，包括：對(duì)于多視點(diǎn)立體視頻序列給定視點(diǎn)的給定幀的用作空洞填補(bǔ)合成的待編碼圖塊，輸入已完成編碼的紋理圖塊、采用預(yù)選的編碼模式試編碼的深度圖塊、相應(yīng)原始紋理圖塊及原始深度圖塊；輸入待編碼圖塊的合并權(quán)重矩陣，其標(biāo)記了利用左右視點(diǎn)紋理圖獲得合成視點(diǎn)紋理時(shí)的合并權(quán)重；計(jì)算利用深度圖塊中的像素點(diǎn)完成映射、空洞填補(bǔ)合成后得到的合成紋理的失真，將其作為合成視點(diǎn)失真的預(yù)測(cè)值；將待編碼圖塊各像素的失真預(yù)測(cè)值求和，得到編碼待編碼圖塊造成的合成視點(diǎn)失真預(yù)測(cè)值。該方法能夠準(zhǔn)確預(yù)測(cè)深度圖塊的編碼失真，同時(shí)避免反復(fù)執(zhí)行合成視圖算法，極大地降低計(jì)算復(fù)雜度。
【專利說明】自由視點(diǎn)視頻深度圖失真預(yù)測(cè)方法和編碼方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)和視頻編碼領(lǐng)域，特別是涉及一種自由視點(diǎn)視頻深度圖失真預(yù)測(cè)方法和編碼方法。
【背景技術(shù)】
[0002]傳統(tǒng)的3D視頻系統(tǒng)只能為用戶提供單一視點(diǎn)的左右眼視頻，其視覺體驗(yàn)十分有限。而自由視點(diǎn)視頻系統(tǒng)，則可以通過采集和傳輸有限視點(diǎn)的視頻信息，在終端利用合成算法為用戶提供任意視點(diǎn)的場(chǎng)景視頻。因而自由視點(diǎn)視頻系統(tǒng)能夠極大地增強(qiáng)用戶的視覺體驗(yàn)效果，具有廣闊的發(fā)展前景。為了發(fā)展用于自由視點(diǎn)視頻編碼的技術(shù)，MPEG(MovingPictures Experts Group)和 VCEG (Video Coding Experts Group)在聯(lián)合視頻項(xiàng)目 HEVC (High Efficiency Video Coding)的基礎(chǔ)上，提出了拓展項(xiàng)目 3D-HEVC。
[0003]3D-HEVC中通過采集有限多個(gè)視點(diǎn)紋理視頻及對(duì)應(yīng)視點(diǎn)的深度圖視頻(表征場(chǎng)景中物體到相機(jī)間的距離)來表示3D場(chǎng)景信息，稱為“多視點(diǎn)視頻+深度圖”格式?！岸嘁朁c(diǎn)視頻+深度圖”數(shù)據(jù)通過編碼壓縮、傳輸、解碼，在終端通過合成算法可以合成任意視點(diǎn)的視頻，并投放給用戶觀看。在視點(diǎn)合成算法中，深度圖數(shù)據(jù)表征的場(chǎng)景幾何信息被用作將被編碼視點(diǎn)的紋理像素映射到合成視點(diǎn)中，從而完成合成視點(diǎn)紋理的插值、空洞填補(bǔ)等處理。因此，解碼后的深度圖質(zhì)量對(duì)合成視點(diǎn)的圖像質(zhì)量至關(guān)重要。在深度圖編碼過程中，采用率失真優(yōu)化的方法來選擇編碼模式和參數(shù)，從而獲得優(yōu)化的深度圖編碼壓縮性能。率失真優(yōu)化問題是一個(gè)拉格朗日優(yōu)化問題，即選擇能夠使D+ λ ?R最小的編碼參數(shù)或編碼模式；D表示不同編碼參數(shù)或模式下，待編碼深度圖塊經(jīng)編碼、解碼及視點(diǎn)合成后，造成的合成視圖失真，R表示不同編碼模式或參數(shù)下編碼當(dāng)前塊產(chǎn)生的比特?cái)?shù)；λ是拉格朗日乘子。
[0004]傳統(tǒng)失真計(jì)算方法，例如SSD (Sum of Squared Differences)和 SAD (SumofAbsolute Differences),最先被用于深度視頻編碼的失真預(yù)測(cè)；該方法原理簡(jiǎn)單，算法復(fù)雜性低，易于硬件實(shí)現(xiàn)，廣泛用于2D視頻編碼，但由于只計(jì)算深度圖塊本身的失真，而未考慮其對(duì)視點(diǎn)合成的影響，因而不能有效保證合成視圖的質(zhì)量。因此，提出了利用簡(jiǎn)易合成算法計(jì)算編碼深度圖造成的合成視圖失真的方法，例如SVDC (Synthesized ViewDistortion Change)等；該方法可以整體上優(yōu)化合成視圖的質(zhì)量及壓縮性能,但需要在編碼過程中反復(fù)執(zhí)行視點(diǎn)合成算法，計(jì)算量極大，尤其不利于實(shí)時(shí)系統(tǒng)的應(yīng)用。為了進(jìn)一步降低計(jì)算復(fù)雜度，基于合成視圖失真預(yù)測(cè)的深度圖編碼失真預(yù)測(cè)方法被提了出來，例如VSD(View Synthesis Distortion)等；該類方法通過估算編碼深度圖造成的合成視圖的失真，來預(yù)測(cè)編碼深度圖的失真，從而恰當(dāng)?shù)仄胶饬司幋a復(fù)雜度、壓縮性能和合成視圖質(zhì)量。然而，現(xiàn)有的基于合成視圖失真預(yù)測(cè)的深度圖編碼失真預(yù)測(cè)方法的準(zhǔn)確性都十分有限，并不能提供很好的合成視圖的質(zhì)量。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的不足，提供一種自由視點(diǎn)視頻深度圖失真預(yù)測(cè)方法和編碼方法，能夠準(zhǔn)確地預(yù)測(cè)自由視點(diǎn)視頻中基于空洞填補(bǔ)合成的深度圖塊有損編碼造成的合成視圖失真，用于編碼模式和參數(shù)的選擇，可以在保證合成視圖質(zhì)量及編碼壓縮性能的同時(shí)，大幅降低自由視點(diǎn)深度視頻編碼的計(jì)算復(fù)雜度。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案:
[0007]一種自由視點(diǎn)視頻深度圖失真預(yù)測(cè)方法，所述方法包括:
[0008]Al:對(duì)于多視點(diǎn)立體視頻序列給定視點(diǎn)的給定幀的用作空洞填補(bǔ)合成的待編碼圖塊，輸入已完成編碼的紋理圖塊T。、采用預(yù)選的編碼模式試編碼的深度圖塊d。、相應(yīng)原始紋理圖塊T。及原始深度圖塊d。；
[0009]A2:輸入所述待編碼圖塊的合并權(quán)重矩陣W，合并權(quán)重矩陣W標(biāo)記了分別利用左右視點(diǎn)紋理圖獲得合成視點(diǎn)紋理時(shí)的合并權(quán)重；
[0010]A3:計(jì)算利用深度圖塊d。中的像素點(diǎn)(1。,?完成映射、空洞填補(bǔ)合成后得到的合成紋理的失真Dvs,n，將所述失真Dvs,n作為像素點(diǎn)4,η造成的合成視點(diǎn)失真的預(yù)測(cè)值；
[0011]Α4:將所述待編碼圖塊各像素的失真預(yù)測(cè)值求和，得到編碼所述待編碼圖塊造成的合成視點(diǎn)失真預(yù)測(cè)值。
[0012]優(yōu)選地:
[0013]所述步驟Al中的用作空洞填補(bǔ)合成的待編碼圖塊為自由視點(diǎn)紋理及深度圖視頻經(jīng)編碼、傳輸、解碼后，用作空洞填補(bǔ)合成的待編碼深度圖塊。
[0014]通過以下方法識(shí)別所述待編碼圖塊:在編碼當(dāng)前深度圖前，利用相鄰兩視點(diǎn)紋理圖和深度圖，執(zhí)行視點(diǎn)合成`算法，合成中間視點(diǎn)，即分別利用左、右視點(diǎn)采用變換、插值、空洞填補(bǔ)獲得合成視點(diǎn)視圖\和V1,再采用融合模塊，合并\及V1,從而獲得合成的中間視點(diǎn)；在此過程中對(duì)待編碼深度圖中用于空洞填補(bǔ)合成的區(qū)域進(jìn)行標(biāo)記。
[0015]所述步驟Α2中的合并權(quán)重矩陣W可通過以下方法獲得:執(zhí)行視點(diǎn)合成算法，分別利用左、右視點(diǎn)獲得合成視點(diǎn)視圖\和V1,再采用融合模塊，合并\及V1,從而獲得合成的中間視點(diǎn)；在此過程中記錄合并權(quán)重矩陣W。
[0016]所述合成算法可采用基于深度圖像繪制算法。
[0017]所述步驟Α2中獲得合并權(quán)重矩陣W的過程與所述步驟Al中識(shí)別用作空洞填補(bǔ)合成的待編碼圖塊的過程在同一個(gè)過程中完成，或是分別處理。
[0018]所述步驟A3中，對(duì)于步驟Al獲取的d。中的像素點(diǎn)(1。,?及其相鄰像素點(diǎn)4,η+1，計(jì)
算利用像素點(diǎn)4,η及4,η+1進(jìn)行空洞填補(bǔ)的合成視點(diǎn)紋理失真預(yù)測(cè)值Dvs,η，計(jì)算方式如下，
【權(quán)利要求】
1.一種自由視點(diǎn)視頻深度圖失真預(yù)測(cè)方法，其特征在于，所述方法包括: Al:對(duì)于多視點(diǎn)立體視頻序列給定視點(diǎn)的給定幀的用作空洞填補(bǔ)合成的待編碼圖塊，輸入已完成編碼的紋理圖塊T。、采用預(yù)選的編碼模式試編碼的深度圖塊d。、相應(yīng)原始紋理圖塊T。及原始深度圖塊d。； A2:輸入所述待編碼圖塊的合并權(quán)重矩陣W，合并權(quán)重矩陣W標(biāo)記了分別利用左右視點(diǎn)紋理圖獲得合成視點(diǎn)紋理時(shí)的合并權(quán)重； A3:計(jì)算利用深度圖塊d。中的像素點(diǎn)(1。,?完成映射、空洞填補(bǔ)合成后得到的合成紋理的失真Dvs,n，將所述失真Dvs,n作為像素點(diǎn)4,η造成的合成視點(diǎn)失真的預(yù)測(cè)值； Α4:將所述待編碼圖塊各像素的失真預(yù)測(cè)值求和，得到編碼所述待編碼圖塊造成的合成視點(diǎn)失真預(yù)測(cè)值。
2.如權(quán)利要求1所述的方法，其特征在于，所述步驟Al中的用作空洞填補(bǔ)合成的待編碼圖塊為自由視點(diǎn)紋理及深度圖視頻經(jīng)編碼、傳輸、解碼后，用作空洞填補(bǔ)合成的待編碼深度圖塊。
3.如權(quán)利要求2所述的方法，其特征在于，通過以下方法識(shí)別所述待編碼圖塊:在編碼當(dāng)前深度圖前，利用相鄰兩視點(diǎn)紋理圖和深度圖，執(zhí)行視點(diǎn)合成算法，合成中間視點(diǎn)，即分別利用左、右視點(diǎn)采用變換、插值、空洞填補(bǔ)獲得合成視點(diǎn)視圖1和V1，再采用融合模塊，合并I及V1，從而獲得合成的中間視點(diǎn)；在此過程中對(duì)待編碼深度圖中用于空洞填補(bǔ)合成的區(qū)域進(jìn)行標(biāo)記。
4.如權(quán)利要求1所述的方法，其特征在于，所述步驟Α2中的合并權(quán)重矩陣W可通過以下方法獲得:執(zhí)行視點(diǎn)合成算法，分別利用左、右視點(diǎn)獲得合成視點(diǎn)視圖\和 '，再采用融合模塊，合并\及V1,從而獲得合成的中間視點(diǎn)；在此過程中記錄合并權(quán)重矩陣W。
5.如權(quán)利要求3或4所述的方法，其特征在于，所述合成算法可采用基于深度圖像繪制算法。
6.如權(quán)利要求3或4或5所述的方法，其特征在于，所述步驟Α2中獲得合并權(quán)重矩陣W的過程與所述步驟Al中識(shí)別用作空洞填補(bǔ)合成的待編碼圖塊的過程在同一個(gè)過程中完成，或是分別處理。
7.如權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，所述步驟A3中，對(duì)于步驟Al獲取的d。中的像素點(diǎn)(!。彳及其相鄰像素點(diǎn)4,η+1，計(jì)算利用像素點(diǎn)(!。彳及4,η+1進(jìn)行空洞填補(bǔ)的合成視點(diǎn)紋理失真預(yù)測(cè)值Dvs,η，計(jì)算方式如下，
8.—種自由視點(diǎn)視頻深度圖編碼方法，其特征在于:采用如權(quán)利要求1-8任一所述的失真預(yù)測(cè)方法獲得當(dāng)前深度圖的編碼塊的合成視點(diǎn)總失真預(yù)測(cè)值，并基于該總失真預(yù)測(cè)值，選擇最佳編碼 模式和編碼參數(shù)進(jìn)行編碼。
【文檔編號(hào)】H04N19/176GK103873867SQ201410128188
【公開日】2014年6月18日 申請(qǐng)日期:2014年3月31日 優(yōu)先權(quán)日:2014年3月31日
【發(fā)明者】金欣, 李晨陽, 戴瓊海 申請(qǐng)人:清華大學(xué)深圳研究生院