一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法
【專利摘要】本發(fā)明公開了一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法，其步驟是：(1)、邊緣檢測(cè)：采用Sobel邊緣檢測(cè)算法對(duì)深度圖的宏塊作處理，檢測(cè)出深度圖的宏塊的邊緣值；(2)、劃分深度圖的宏塊類型：設(shè)定用于劃分宏塊的的閾值，將上述步驟(1)所述的每個(gè)深度圖的宏塊得到的邊緣值G與設(shè)定的閾值作比較，將宏塊劃分為邊緣區(qū)域和平坦區(qū)域；(3)、對(duì)深度圖的宏塊編碼獲得編碼后的深度圖的宏塊，采用不同的編碼預(yù)測(cè)模式。(4)、中值三邊濾波：采用中值三邊濾波器對(duì)上述步驟(3)所述的編碼后的邊緣區(qū)域的深度圖的宏塊去除塊效應(yīng)，保護(hù)邊緣。該算法在保證虛擬視視頻主觀質(zhì)量基本不變的前提下，提高深度圖的壓縮速率、虛擬視的深度圖編碼質(zhì)量。
【專利說明】一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種深度視頻的編碼方法，特別是一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法。
【背景技術(shù)】
[0002]3D視頻能給觀眾提供三維深度的視覺效果，增強(qiáng)視覺現(xiàn)實(shí)感和逼真感。現(xiàn)有的一種基于深度的多視立體系統(tǒng)，該系統(tǒng)首先利用深度估計(jì)算法從兩路彩色視頻中得到深度信息；然后對(duì)一路或多路彩色視頻和深度信息編碼、傳輸；最后，在解碼端，利用基于深度圖像的繪制(Depth Image Based Rending, DIBR)技術(shù)合成8個(gè)視點(diǎn)。因此基于深度的多視立體系統(tǒng)與彩色視頻的多視立體系統(tǒng)相比，傳輸?shù)臄?shù)據(jù)量明顯下降，可以在有限帶寬內(nèi)實(shí)現(xiàn)實(shí)時(shí)傳輸。
[0003]深度視頻是由一幀幀的深度圖組成的。深度圖是8比特量化的灰度圖像，灰度值為O到255，表示場(chǎng)景物體的距離信息，即每個(gè)像素的灰度值表示該像素與攝像機(jī)的相對(duì)距離。灰度值255 (白色)表示像素距離攝像機(jī)最近；灰度值O (黑色)表示像素距離攝像機(jī)最遠(yuǎn)。與傳統(tǒng)的彩色視頻相比，深度圖紋理單一、邊緣銳利、特征點(diǎn)少。在3DV系統(tǒng)中深度圖不直接用于顯示，而是用于解碼端虛擬視點(diǎn)的合成，因此深度圖的質(zhì)量對(duì)于終端合成視的質(zhì)量至關(guān)重要。
[0004]針對(duì)深度視頻的編碼方法可分為兩種，一種是將深度視頻作為獨(dú)立的灰度視頻來編碼的方法，該方法直接用編碼紋理視頻的方法對(duì)深度視頻編碼；另一種是將深度視頻和紋理視頻聯(lián)合起來編碼的方法。由于深度圖和紋理圖的特點(diǎn)不同，因此將深度視頻作為獨(dú)立的灰度視頻來編碼的方法其編碼效率低，并且編碼后的深度圖質(zhì)量差；而將深度視頻和紋理視頻聯(lián)合起來編碼的方法雖然克服了將深度視頻獨(dú)立編碼的不足，但是算法復(fù)雜度太高。例如，文獻(xiàn)[I]提出一種基于自適應(yīng)的空間變換框架的深度視頻編碼算法，該方法屬于將深度視頻和紋理視頻聯(lián)合起來編碼的方法，它利用深度圖與紋理圖中邊緣結(jié)構(gòu)的相似性，使用彩色圖中的邊緣分解深度圖。這種方法充分利用了深度圖中邊緣與平滑區(qū)域的尖銳過渡，從而在保證虛擬視質(zhì)量的前提下提高了深度圖的編碼效率，但是對(duì)編碼效率的提升有限。
[0005]文獻(xiàn)[I]: Kwan-Jung Oh; Vetro A, Yo-Sung H.Depth Coding Using aBoundary Reconstruction Filter for 3-D Video Systems[J].1EEE Transactions onCircuits and Systems for Video Technology, March 2011,vol.21, n0.3, 350-359。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是提供一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法。與傳統(tǒng)的將深度視頻作為獨(dú)立的灰度視頻來編碼的方法相比，本發(fā)明是針對(duì)虛擬繪制視提出的一種深度視頻的編碼方法，利用邊緣檢測(cè)算法檢測(cè)出深度圖的宏塊的邊緣值，將深度圖劃分為邊緣區(qū)域和平坦區(qū)域，再對(duì)邊緣區(qū)域和平坦區(qū)域分別選擇編碼預(yù)測(cè)模式，最后用中值三邊濾波處理深度圖，該算法在保證虛擬視視頻主觀質(zhì)量基本不變的前提下，提高深度圖的壓縮速率、虛擬視的質(zhì)量。
[0007]為達(dá)到上述目的，本發(fā)明的構(gòu)思是:首先用邊緣檢測(cè)算法將深度圖的宏塊(Microblock,MB)劃分為邊緣區(qū)域和平坦區(qū)域，對(duì)邊緣區(qū)域和平坦區(qū)域分別采用不同的編碼預(yù)測(cè)模式；然后利用深度圖與紋理圖邊緣的相似性，構(gòu)建中值三邊濾波器，以提高編碼效率和深度圖編碼質(zhì)量。
[0008]根據(jù)上述構(gòu)思，實(shí)現(xiàn)本發(fā)明的技術(shù)方案是:
一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法，其具體步驟是:
(I)、邊緣檢測(cè):采用Sobel邊緣檢測(cè)算法對(duì)深度圖的宏塊作處理，檢測(cè)出深度圖的宏塊的邊緣值；
⑵、劃分深度圖的宏塊類型:設(shè)定用于劃分宏塊的的閾值?i，將上述步驟⑴所述的每個(gè)深度圖的宏塊得到的邊緣值G與設(shè)定的閾值?作比較，如果邊緣值G大于閾值1則將該深度圖的宏塊判定為邊緣區(qū)域；如果邊緣值G小于閾值 < 則將該深度圖的宏塊判定為平坦區(qū)域，將宏塊劃分為邊緣區(qū)域和平坦區(qū)域，如果深度圖宏塊是邊緣區(qū)域，轉(zhuǎn)步驟(3-1)，如果是平坦區(qū)域，則轉(zhuǎn)步驟(3-2)；
(3)、對(duì)深度圖 的宏塊編碼獲得編碼后的深度圖的宏塊，具體如下:
(3-1).對(duì)上述步驟(2)所述的被判為邊緣區(qū)域的深度圖的宏塊采用SKIP的預(yù)測(cè)模式或16X 16塊的編碼預(yù)測(cè)模式或16X8塊編碼預(yù)測(cè)模式或8X 16塊編碼預(yù)測(cè)模式或4X4塊預(yù)測(cè)模式編碼，獲得編碼后的邊緣區(qū)域的深度圖宏塊；
(3-2).對(duì)上述步驟(2)所述的被判為平坦區(qū)域的深度圖的宏塊采用SKIP預(yù)測(cè)模式或者16X16塊的編碼預(yù)測(cè)模式編碼，獲得編碼后的平坦區(qū)域的深度圖的宏塊；
(4)、對(duì)深度圖的宏塊中值三邊濾波:構(gòu)造中值三邊濾波器，該濾波器對(duì)像素位置空域?yàn)V波函數(shù)、深度值濾波函數(shù)、紋理圖濾波濾波函數(shù)歸一化，然后采用該中值三邊濾波器對(duì)上述步驟(3)所述的編碼后的邊緣區(qū)域的深度圖的宏塊去除塊效應(yīng)，保護(hù)邊緣。
[0009]本發(fā)明與已有技術(shù)相比較，具有如下顯而易見的實(shí)質(zhì)性突出特點(diǎn)和顯著優(yōu)點(diǎn): 由深度視頻的深度圖快速編碼方法得到的深度圖，經(jīng)過繪制后得到的虛擬視質(zhì)量會(huì)明
顯下降，本發(fā)明提供的面向虛擬視繪制的深度視頻的編碼方法，通過像素位置空域?yàn)V波函數(shù)、深度值濾波函數(shù)、紋理圖濾波濾波函數(shù)歸一化，得到中值三邊濾波器，有效的保護(hù)了深度圖的邊緣信息，能提高重建虛擬視的質(zhì)量；在虛擬視質(zhì)量不變的同時(shí)，通過編碼預(yù)測(cè)模式選擇，使得編碼效率得到明顯提高，測(cè)試中可使編碼時(shí)間縮短54.1% ;另外，該多視點(diǎn)視頻編碼方法沒有增加特別復(fù)雜的編碼過程，以較小的復(fù)雜度提高視頻編碼壓縮效率。
【專利附圖】

【附圖說明】
[0010]圖1是測(cè)試序列為Akko&Kayo序列、Breakdancers序列和Ballet序列的參數(shù)。
[0011]圖2是一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法的流程框圖。
[0012]圖3a是本發(fā)明中用Sobel算法檢測(cè)出視頻序列Ballet的邊緣圖像。
[0013]圖3b是本發(fā)明中用Sobel算法檢測(cè)出視頻序列Ballet的邊緣圖像。
[0014]圖4是利用JM方法和本發(fā)明重建的深度圖所繪制的虛擬視圖像客觀質(zhì)量比較。
[0015]圖5是利用JM方法與本發(fā)明所繪制虛擬視的PSNR變化(dB)。[0016]圖6是不同測(cè)試序列在不同QP值下本發(fā)明與JM方法的加速性能。
[0017]圖7a是Ballet序列的原始未壓縮的深度圖。
[0018]圖7b是Ballet序列經(jīng)過JM方法壓縮重建的深度圖。
[0019]圖7c是本發(fā)明壓縮重建的Ballet序列深度圖。
[0020]圖8a是原始未壓縮的Ballet序列的深度圖細(xì)節(jié)部分。
[0021]圖8b是經(jīng)過JM方法壓縮重建的Ballet序列深度圖細(xì)節(jié)部分。
[0022]圖8c是經(jīng)過本發(fā)明壓縮重建的Ballet序列深度圖細(xì)節(jié)部分。
[0023]圖9a是Ballet序列用原始未壓縮的深度圖合成的虛擬視。
[0024]圖9b是Ballet序列用經(jīng)過JM方法壓縮重建的深度圖合成的虛擬視。
[0025]圖9c是Ballet序列用本發(fā)明方法壓縮重建的深度圖合成的虛擬視。
[0026]圖1Oa是Ballet序列原始未壓縮的深度圖合成的虛擬視細(xì)節(jié)。
[0027]圖1Ob是Ballet序列經(jīng)過JM方法壓縮的深度圖合成的虛擬視細(xì)節(jié)。
[0028]圖1Oc是Ballet序列用本發(fā)明方法壓縮的深度圖合成的虛擬視細(xì)節(jié)。
【具體實(shí)施方式】
[0029]本發(fā)明的一個(gè)實(shí)施如下所述。
[0030]本發(fā)明以編碼參考軟件JM18.0和虛擬視合成參考軟件VSRS3.5為實(shí)驗(yàn)平臺(tái)，測(cè)試中視頻序列如圖1所示，表中為Akko&Kayo序列、Breakdancers序列和Ballet序列的參數(shù)，上述三個(gè)視頻序列分別為50幀、100幀和100幀，分辨率依次為640 X 480、1024X 768和1024X 768, Akko&Kayo序列的編碼視點(diǎn)為視點(diǎn)27和視點(diǎn)29, Breakdancers序列和Ballet序列的編碼視點(diǎn)均為視點(diǎn)O和視點(diǎn)2。
[0031]參見圖2，本發(fā)明的一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法，其步驟是:
(I)、邊緣檢測(cè):采用Sobel邊緣檢測(cè)算法對(duì)深度圖的宏塊(Microblock’MB)作處理，檢測(cè)出視頻序列Ballet的深度圖的宏塊的邊緣值；例如圖3a和3b所示，具體步驟如下:(1-1)、設(shè)Sobel算子的橫向矩陣,記為:
【權(quán)利要求】
1.一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法，其特征在于，首先用邊緣檢測(cè)算法將深度圖的宏塊(MB)劃分為邊緣區(qū)域和平坦區(qū)域，對(duì)邊緣區(qū)域和平坦區(qū)域分別采用不同的編碼預(yù)測(cè)模式；然后利用深度圖與紋理圖邊緣的相似性，構(gòu)建中值三邊濾波器，以提高編碼效率和深度圖編碼質(zhì)量，其具體步驟是: (I)、邊緣檢測(cè):采用Sobel邊緣檢測(cè)算法對(duì)深度圖的宏塊作處理，檢測(cè)出深度圖的宏塊的邊緣值； ⑵、劃分深度圖的宏塊類型:設(shè)定用于劃分宏塊的的閾值I，將上述步驟(1)所述的每個(gè)深度圖的宏塊得到的邊緣值^與設(shè)定的閾值I作比較，如果邊緣值G大于閾值-1 ,則將該深度圖的宏塊判定為邊緣區(qū)域；如果邊緣值G小于閾值j則將該深度圖的宏塊判定為平坦區(qū)域，將宏塊劃分為邊緣區(qū)域和平坦區(qū)域，如果深度圖宏塊是邊緣區(qū)域，轉(zhuǎn)步驟(3-1)，如果是平坦區(qū)域，則轉(zhuǎn)步驟(3-2)； (3)、對(duì)深度圖的宏塊編碼獲得編碼后的深度圖的宏塊； (4)、對(duì)深度圖的宏塊中值三邊濾波:構(gòu)造中值三邊濾波器，該濾波器對(duì)像素位置空域?yàn)V波函數(shù)、深度值濾波函數(shù)、紋理圖濾波濾波函數(shù)歸一化，然后采用該中值三邊濾波器對(duì)上述步驟(3)所述的編碼后的邊緣區(qū)域的深度圖的宏塊去除塊效應(yīng)，保護(hù)邊緣。
2.根據(jù)權(quán)利要求1所述的一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法，其特征在于所述步驟(1)中的邊緣檢測(cè):采用Sobel邊緣檢測(cè)算法對(duì)深度圖的宏塊(Microblock’MB)作處理，檢測(cè)出視頻序列Ballet的深度圖的宏塊的邊緣值；例如圖3a和3b所示,具體步驟如下: (1-1)、設(shè)Sobel算子的橫向矩陣,記為:
3.根據(jù)權(quán)利要求1所述的一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法，其特征在于所述步驟(2)中的劃分深度圖的宏塊類型，其具體步驟是: 設(shè)定用于劃分宏塊的的閾值A(chǔ)，將上述步驟(1)所述的每個(gè)深度圖的宏塊得到的邊緣值G與設(shè)定的閾值I作比較，如果邊緣值G大于閾值/I，則將該深度圖的宏塊判定為邊緣區(qū)域，如果邊緣值G小于閾值j則將該深度圖的宏塊判定為平坦區(qū)域，將宏塊劃分為邊緣區(qū)域和平坦區(qū)域，如果深度圖宏塊是邊緣區(qū)域，轉(zhuǎn)步驟(3-1)，如果是平坦區(qū)域，則轉(zhuǎn)步驟(3-2)。
4.根據(jù)權(quán)利要求1所述的一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法，其特征在于所述步驟(3)中的對(duì)深度圖的宏塊編碼獲得編碼后的深度圖的宏塊，具體步驟如下: (3-1).對(duì)上述步驟(2)所述的被判為邊緣區(qū)域的深度圖的宏塊采用SKIP的預(yù)測(cè)模式或16X 16塊的編碼預(yù)測(cè)模式或16X8塊編碼預(yù)測(cè)模式或8X 16塊編碼預(yù)測(cè)模式或4X4塊預(yù)測(cè)模式編碼，獲得編碼后的邊緣區(qū)域的深度圖宏塊；(3-2).對(duì)上述步驟(2)所述的被判為平坦區(qū)域的深度圖的宏塊采用SKIP預(yù)測(cè)模式或者16X16塊的編碼預(yù)測(cè)模式編碼，獲得編碼后的平坦區(qū)域的深度圖的宏塊。
5.根據(jù)權(quán)利要求1所述的一種基于邊緣的面向虛擬視繪制的深度視頻的編碼方法，其特征在于所述步驟(4)中的對(duì)深度圖的宏塊作中值三邊濾波:構(gòu)造中值三邊濾波器，該濾波器對(duì)像素位置空域?yàn)V波函數(shù)、深度值濾波函數(shù)、紋理圖濾波濾波函數(shù)歸一化，然后采用該中值三邊濾波器對(duì)上述步驟(3)所述的編碼后的邊緣區(qū)域的深度圖的宏塊去除塊效應(yīng)，保護(hù)邊緣，具體步驟如下: (4-1)、設(shè)置像素位置空域?yàn)V波函數(shù)、深度值濾波函數(shù)、紋理圖濾波函數(shù)，具體如下:設(shè)置像素位置空域?yàn)V波函數(shù)，記為,其表達(dá)式為:/(>, ? = ^ciCII i?-Cj !I? ο./) 其中，為深度圖的中心像素，^為鄰域?內(nèi)的像素，為像素位置空域?yàn)V波函數(shù)的閾值， 設(shè)置深度值濾波函數(shù)，記為5；),其表達(dá)式為:
【文檔編號(hào)】H04N19/147GK103957422SQ201410170973
【公開日】2014年7月30日 申請(qǐng)日期:2014年4月25日 優(yōu)先權(quán)日:2014年4月25日
【發(fā)明者】安平, 劉超, 左一帆, 趙冰, 閆吉辰, 張兆揚(yáng) 申請(qǐng)人:上海大學(xué)