本發(fā)明主張申請(qǐng)于2014年6月4日,序列號(hào)為PCT/CN2014/079155,標(biāo)題為“DepthCodingCompatiblewithArbitraryBit-Depth”的PCT專利申請(qǐng)的優(yōu)先權(quán)。將此PCT專利申請(qǐng)以參考的方式并入本文中?!?br>技術(shù)領(lǐng)域:
:】本發(fā)明涉及三維以及多視圖視頻編碼
技術(shù)領(lǐng)域:
:,特別涉及一種編碼深度數(shù)據(jù)的方法及其裝置。
背景技術(shù):
::三維(three-dimensional,3D)電視一直是今年來的技術(shù)趨勢(shì),其試圖給觀看者帶來轟動(dòng)的觀看體驗(yàn)(viewingexperience)。各種技術(shù)都被開發(fā)出來以使三維觀看成為可能。其中,多視圖視頻(multi-viewvideo)是三維電視應(yīng)用中的一個(gè)關(guān)鍵技術(shù)?,F(xiàn)有的視頻是二維(two-dimensional)介質(zhì),二維介質(zhì)只能給觀看者提供來自照相機(jī)視角的一個(gè)場景的單個(gè)視圖。然而,三維視頻可以提供動(dòng)態(tài)場景的任意視角,并為觀看者提供真實(shí)的感覺。通常的,三維視頻是通過使用具有相關(guān)裝置的視頻照相機(jī)來捕捉深度信息或同時(shí)地使用多個(gè)相機(jī)來創(chuàng)建的,其中,多個(gè)照相機(jī)都被合適地定位,以使每個(gè)照相機(jī)從一個(gè)視角捕捉場景。根據(jù)基于三維視頻編碼標(biāo)準(zhǔn)的高效視頻編碼(HighEfficiencyVideoCoding,HEVC)(命名為3D-HEVC)的草案(draft),視圖間運(yùn)動(dòng)預(yù)測(cè)(inter-viewmotionprediction,IVMP)被應(yīng)用于深度編碼以及紋理編碼(texturecoding)。對(duì)于紋理編碼,鄰近區(qū)塊視差向量(neighboringblock disparityvector,NBDV)方法被用來導(dǎo)出兩個(gè)視圖之間的視差向量(disparityvector,DV)。然而,對(duì)于深度編碼,Park等人的文章揭露了一種簡化的方法(3D-CE2是相關(guān)于:SimplificationofDVDerivationforDepthCoding,JointCollaborativeTeamon3DVideoCodingExtensionofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,7thMeeting:SanJose,US,11-17Jan.2014,Document:JCT3V-G0074)。圖1為根據(jù)現(xiàn)有的Park等人的文章中的用于深度數(shù)據(jù)的IVMP的視差向量推導(dǎo)的示意圖。區(qū)塊120是附屬視圖(V1)中的深度區(qū)塊(depthblock),且區(qū)塊110是基礎(chǔ)視圖或參考視圖(V0)中對(duì)應(yīng)的深度區(qū)塊。區(qū)塊110是經(jīng)由視差向量112從當(dāng)前區(qū)塊120定位。根據(jù)Park等人的文章,已轉(zhuǎn)換的視差向量(convertedDV)是通過使用基于照相機(jī)模型的深度值到視差轉(zhuǎn)換(depthvaluetodisparityconversion)130將固定的深度值(即,128)轉(zhuǎn)換為已轉(zhuǎn)換的視差向量來決定?;贗VMP編碼,視圖間參考區(qū)塊(即,區(qū)塊110)使用視差向量(即,DV112)根據(jù)當(dāng)前區(qū)塊(即,區(qū)塊120)的位置被定位。接著,視圖間參考區(qū)塊(即,區(qū)塊110)被用作當(dāng)前區(qū)塊(即,區(qū)塊120)的預(yù)測(cè)子(predictor)。使用固定的深度值128顯然是基于深度數(shù)據(jù)具有精確對(duì)應(yīng)于0到255的8比特的假設(shè),且128是深度范圍的中間深度值。然而,深度數(shù)據(jù)可以使用其它位深,例如10或12比特。于這樣的情況下,固定的128個(gè)等級(jí)可能不能用于推導(dǎo)視差向量的合適的深度估計(jì)。因此,希望開發(fā)用于深度數(shù)據(jù)的IVMP編碼技術(shù),其可以可靠地工作于深度數(shù)據(jù)的各種位深。技術(shù)實(shí)現(xiàn)要素:為了解決上述問題,本發(fā)明提出了一種編碼深度數(shù)據(jù)的方法及其裝置。根據(jù)本發(fā)明的第一方面,提供一種使用視圖間運(yùn)動(dòng)預(yù)測(cè)編碼深度數(shù)據(jù)的方 法,所述編碼深度數(shù)據(jù)的方法用于三維或多視圖視頻編碼系統(tǒng),所述編碼深度數(shù)據(jù)的方法包括:接收與附屬視圖中目前深度圖的深度數(shù)據(jù)的目前深度區(qū)塊相關(guān)的輸入數(shù)據(jù);確定與所述目前深度圖相關(guān)的所述深度數(shù)據(jù)的位深;根據(jù)與所述位深相關(guān)的深度值,來推導(dǎo)已轉(zhuǎn)換的視差向量;使用所述已轉(zhuǎn)換的視差向量定位參考視圖中視圖間參考深度圖中的對(duì)應(yīng)深度區(qū)塊;以及使用作為視圖間預(yù)測(cè)的所述對(duì)應(yīng)深度區(qū)塊來編碼或解碼所述目前深度區(qū)塊。根據(jù)本發(fā)明的第二方面,提供一種使用視圖間運(yùn)動(dòng)預(yù)測(cè)編碼深度數(shù)據(jù)的裝置,所述編碼深度數(shù)據(jù)的裝置用于三維或多視圖視頻編碼系統(tǒng),所述編碼深度數(shù)據(jù)的裝置包括一個(gè)或多個(gè)用于進(jìn)行以下操作的電子電路:接收與附屬視圖中目前深度圖的深度數(shù)據(jù)的目前深度區(qū)塊相關(guān)的輸入數(shù)據(jù);確定與所述目前深度圖相關(guān)的所述深度數(shù)據(jù)的位深;根據(jù)與所述位深相關(guān)的深度值,來確定已轉(zhuǎn)換的視差向量;使用所述已轉(zhuǎn)換的視差向量定位參考視圖中視圖間參考深度圖中的對(duì)應(yīng)深度區(qū)塊;以及使用作為視圖間預(yù)測(cè)的所述對(duì)應(yīng)深度區(qū)塊來編碼或解碼所述目前深度區(qū)塊。本發(fā)明提供的編碼深度數(shù)據(jù)的方法及其裝置,可以適應(yīng)于任意的位深的深度值估計(jì)?!靖綀D說明】圖1為根據(jù)現(xiàn)有的Park等人所寫的文章中的用于深度數(shù)據(jù)的IVMP的視差向量推導(dǎo)的示意圖。圖2為根據(jù)本發(fā)明實(shí)施例的使用視差向量推導(dǎo)的深度數(shù)據(jù)的IVMP編碼的示意圖。圖3為根據(jù)本發(fā)明實(shí)施例的根據(jù)IVMP的深度數(shù)據(jù)的位深推導(dǎo)已轉(zhuǎn)換的視差向量的示范性系統(tǒng)的流程圖?!揪唧w實(shí)施方式】下面的描述是實(shí)施本發(fā)明的較佳預(yù)期模式。這種描述是為了說明本發(fā)明的一般原理的目的,而不應(yīng)被理解成具有限制性的意義。本發(fā)明的保護(hù)范圍當(dāng)視所附權(quán)利要求所界定者為準(zhǔn)。本發(fā)明涉及用于深度數(shù)據(jù)的三維以及多視圖視頻編碼。特別地,本發(fā)明涉及用于深度數(shù)據(jù)的視圖間運(yùn)動(dòng)預(yù)測(cè)(inter-viewmotionprediction,IVMP)的視差向量推導(dǎo)(disparityvectorderivation)。如上所述,當(dāng)深度數(shù)據(jù)使用不是8個(gè)比特的位深時(shí),被用于深度到視差轉(zhuǎn)換的固定的深度值128可能不是一個(gè)好的深度值的估計(jì)。因此,期望能開發(fā)出一種可以適應(yīng)于任意的位深的深度值估計(jì)。在一個(gè)實(shí)施例中,深度數(shù)據(jù)的IVMP編碼所使用的兩個(gè)視圖之間的視差向量是根據(jù)目前序列中指示的深度數(shù)據(jù)的位深來推導(dǎo)的。圖2為根據(jù)本發(fā)明實(shí)施例的使用視差向量推導(dǎo)的深度數(shù)據(jù)的IVMP編碼的示意圖。與圖1所示的的使用固定的深度值128不同的是,如圖2所示,目前的發(fā)明使用位深(bitdepth)來作為深度值估計(jì)(depthvalueestimation)210的輸入,以推導(dǎo)出估計(jì)深度值(estimateddepthvalue)。估計(jì)深度值被深度值到視差轉(zhuǎn)換130使用來推導(dǎo)已轉(zhuǎn)換的視差向量。于本公開中,已轉(zhuǎn)換的視差向量也被稱為已推導(dǎo)的視差向量。如圖2所示,于深度值到視差轉(zhuǎn)換130確定估計(jì)深度值后,剩余的IVMP編碼過程與現(xiàn)有的IVMP編碼過程是相同的。換句話說,估計(jì)深度值被用于使用深度值到視差轉(zhuǎn)換130的IVMP編碼來推導(dǎo)已轉(zhuǎn)換的視差向量。在另一實(shí)施例中,估計(jì)深度值可以是基于目前深度分量的位深。深度值到視差轉(zhuǎn)換130使用估計(jì)深度值來推導(dǎo)已轉(zhuǎn)換的視差向量。此外,IVMP編碼使用已推導(dǎo)的視差向量來定位用于目前深度區(qū)塊的視圖間參考區(qū)塊。以下過程示出了根據(jù)位深推導(dǎo)IVMP編碼的兩個(gè)視圖之間的視差向量(MvDisp)的示例。IVMP所需要的兩個(gè)視圖之間的視差向量MvDisp可以被計(jì)算如下:MvDisp=(DepthToDisparityB[(1<<(BitDepth–1))],0)(1)其中,DepthToDisparityB是一個(gè)將深度值轉(zhuǎn)換為對(duì)應(yīng)視差向量的水平分量的函數(shù),且BitDepth是指目前深度分量的位深。于等式(1)中,因?yàn)槎嘁晥D相機(jī)通常被配置為水平的,所以可以假設(shè)垂直視差為0。然而,對(duì)應(yīng)的深度到視差函數(shù)可用于其它多視圖照相機(jī)配置。轉(zhuǎn)換還可有效率的以查找表(lookuptable)的形式被實(shí)現(xiàn)。其中,與所述位深相關(guān)的深度值可以表示為d,d是根據(jù)d=1<<(BitDepth–1)來計(jì)算,BitDepth對(duì)應(yīng)于位深,且“<<”對(duì)應(yīng)于算術(shù)左移運(yùn)算(arithmeticshiftleftoperation)。已轉(zhuǎn)換的視差向量對(duì)應(yīng)于(DepthToDisparityB[d],0),其中,DepthToDisparityB[]是映射輸入深度值到輸出視差向量的查找函數(shù)。也就是說,于以上示例中,估計(jì)深度值對(duì)應(yīng)于(1<<(BitDepth–1)),其中“<<”對(duì)應(yīng)于算術(shù)左移運(yùn)算。因此,如果BitDepth為10,則估計(jì)深度值為512,且如果BitDepth為12,則估計(jì)深度值為2048。在另一實(shí)施例中,用于深度數(shù)據(jù)的IVMP編碼僅允許用于深度分量的位深為8。如果由于深度分量不為8,而位深不為8,則用于深度數(shù)據(jù)的IVMP編碼是不被允許的。如果比特流指示IVMP被用于深度數(shù)據(jù)且位深不為8,則與深度數(shù)據(jù)相關(guān)的比特流被宣布無效。圖3為根據(jù)本發(fā)明實(shí)施例的根據(jù)IVMP的深度數(shù)據(jù)的位深推導(dǎo)已轉(zhuǎn)換的視差向量的示范性系統(tǒng)的流程圖。該系統(tǒng)是,例如,三維視頻編碼系統(tǒng)或多維視頻編碼系統(tǒng)。如步驟310所示,系統(tǒng)接收到與目前深度圖的深度數(shù)據(jù)的目前深度區(qū)塊相關(guān)的輸入數(shù)據(jù),其中目前深度圖在附屬視圖內(nèi)。對(duì)于編碼,與深度數(shù)據(jù)相關(guān)的輸入數(shù)據(jù)被編碼。對(duì)于解碼,與已編碼的深度數(shù)據(jù)相關(guān)的輸入數(shù)據(jù)被 解碼。輸入數(shù)據(jù)可從存儲(chǔ)器(例如,計(jì)算機(jī)存儲(chǔ)器,緩沖器(RAM或DRAM)或其它媒體)或從處理器中獲取(retrieve)。于步驟320中,確定與目前深度圖相關(guān)的深度數(shù)據(jù)的位深。如步驟330所示,根據(jù)位深從已選擇的深度值中推導(dǎo)出已轉(zhuǎn)換的視差向量。如步驟340所示,使用已轉(zhuǎn)換的視差向量定位參考視圖中的視圖間參考深度圖的對(duì)應(yīng)深度區(qū)塊。如步驟350所示,使用作為視圖間預(yù)測(cè)對(duì)應(yīng)深度區(qū)塊的來編碼或解碼目前深度區(qū)塊。于另一實(shí)施例中,與目前深度圖相關(guān)的深度數(shù)據(jù)的位深是由與深度數(shù)據(jù)相關(guān)的比特流的序列等級(jí)來指示。如上所示的流程圖旨在根據(jù)本發(fā)明來說明用于深度數(shù)據(jù)的IVMP的示例。在本領(lǐng)域技術(shù)人員在不背離本發(fā)明精神的情況下可以修改每個(gè)步驟,重新排列步驟,分割步驟,或合并步驟以實(shí)施本發(fā)明。以上描述被呈現(xiàn)以使本領(lǐng)域的普通技術(shù)人員能夠?qū)嵤┤缣囟☉?yīng)用及其需求的上下文所提供的本發(fā)明。所描述的實(shí)施例的各種修改對(duì)本領(lǐng)域中技術(shù)人員來說是顯而易見的,且本文定義的一般原理可以于其它實(shí)施例中被實(shí)施。因此,本發(fā)明并非旨在限定描述及所示的特定實(shí)施例,而是要符合與本文所揭露的原理及新穎特征相一致的最寬范圍。在以上詳細(xì)描述中,各種具體細(xì)節(jié)將被示出,以便提供對(duì)本發(fā)明的徹底的理解。然而,本領(lǐng)域技術(shù)人員將明白,本發(fā)明是可以被實(shí)施的。如上所述,本發(fā)明的實(shí)施例可以由各種硬件,軟件代碼,或兩者的組合來實(shí)現(xiàn)。例如,本發(fā)明的實(shí)施例可以是被集成到視頻壓縮芯片電路,或被集成于視頻壓縮軟件的程序代碼以執(zhí)行本文所描述的處理過程。本發(fā)明的實(shí)施例還可以是執(zhí)行于數(shù)字信號(hào)處理器上的程序代碼,以執(zhí)行本文所描述的處理過程。本發(fā)明還可包含由計(jì)算機(jī)處理器,數(shù)字信號(hào)處理器,微處理器,或現(xiàn)場可編程門陣列執(zhí)行的多個(gè)功能。根據(jù)本發(fā)明,通過執(zhí)行定義本發(fā)明所體現(xiàn)的特定方法的機(jī)器可讀軟件代碼或固件代碼,這些處理器可被配置為執(zhí)行特定任務(wù)。軟件代 碼或固件代碼可被開發(fā)為不同的編程語言以及不同的格式或風(fēng)格。軟件代碼還可被編譯以用于不同的目標(biāo)平臺(tái)。然而,根據(jù)本發(fā)明的不同的軟件代碼的代碼格式、風(fēng)格及語言,以及用于配置代碼以執(zhí)行任務(wù)的其他方式,均不會(huì)背離本發(fā)明的精神以及范圍。在不脫離其精神或本質(zhì)特征的情況下,本發(fā)明可以其它特定形式來體現(xiàn)。所描述的示例在所考慮的所有的方面都只是說明性的而不是限制性的。因此,本發(fā)明的范圍是由其所附的權(quán)利要求來指示的,而不是由上文的描述來指示的。在權(quán)利要求的等效范圍及含義內(nèi)的所有改變均包含于本發(fā)明范圍之內(nèi)。當(dāng)前第1頁1 2 3 當(dāng)前第1頁1 2 3