專利名稱：一種立體電視系統(tǒng)中深度圖像的編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像處理技術(shù)，特別地，涉及一種立體電視系統(tǒng)中深度圖 像的編碼方法 背景技術(shù)隨著數(shù)字視頻技術(shù)的快速發(fā)展和廣泛應(yīng)用，人們對(duì)視頻質(zhì)量和形式的要求 越來(lái)越高，傳統(tǒng)的二維平面視頻已滿足不了人們對(duì)場(chǎng)景真實(shí)和自然地再現(xiàn)的需 求，因此能夠提供立體感和交互操作功能的立體/多視點(diǎn)視頻技術(shù)越來(lái)越受到業(yè) 界的重視。立體/多視點(diǎn)視頻與單目視頻相比，增加了景物深度信息表征，在立 體電視、自由視點(diǎn)電視、具有臨場(chǎng)感的可視會(huì)議、虛擬現(xiàn)實(shí)等領(lǐng)域具有廣泛應(yīng)用前景(見(jiàn)侯春萍，楊蕾,宋曉煒,戴居豐.立體電視技術(shù)綜述.信號(hào)處理.2007. 23-5)。立體電視系統(tǒng)用戶端的設(shè)計(jì)應(yīng)該滿足復(fù)雜度低、功能實(shí)現(xiàn)簡(jiǎn)單、制造成本 低的要求。由于用戶端的計(jì)算能力、存儲(chǔ)能力有限，在用戶端應(yīng)該選擇低計(jì)算 量、低存儲(chǔ)容量的自由視點(diǎn)圖像繪制算法。歐洲的先進(jìn)立體電視系統(tǒng)技術(shù) (ATTEST)計(jì)劃提出了基于深度相機(jī)的立體場(chǎng)景生成方法，并以此為基礎(chǔ)設(shè)計(jì) 了立體電視系統(tǒng)。在該立體電視系統(tǒng)中，編碼端將壓縮后的深度圖像傳送給用 戶端，用戶端用接收到的圖像信息進(jìn)行自由視點(diǎn)圖像繪制。在基于深度圖像的立體電視系統(tǒng)中，深度圖像的邊緣信息直接關(guān)系到用戶 端自由視點(diǎn)圖像繪制的質(zhì)量。然而，目前己有的立體電視系統(tǒng)是直接采用通用 的視頻編碼技術(shù)對(duì)深度圖像進(jìn)行壓縮，不能有效保護(hù)深度圖像的邊緣信息。本發(fā) 明提出了一種針對(duì)深度圖像的編碼方法，可以有效地保護(hù)深度圖像中的邊緣信 息，從而提高用戶端自由視點(diǎn)圖像繪制的質(zhì)量。 發(fā)明內(nèi)容本發(fā)明的目的是提供一種立體電視系統(tǒng)中深度圖像的編碼方法。本方法可 以有效保護(hù)深度圖像中的邊緣信息，提高用戶端自由視點(diǎn)圖像繪制的質(zhì)量。 包括如下步驟1) 計(jì)算深度圖像中每個(gè)像素點(diǎn)的邊緣強(qiáng)度值，然后根據(jù)象素點(diǎn)的邊緣強(qiáng)度值 計(jì)算每個(gè)宏塊的邊緣強(qiáng)度值；2) 把深度圖像中的所有宏塊分為強(qiáng)邊緣宏塊、中等邊緣宏塊和弱邊緣宏塊三類；3) 對(duì)強(qiáng)邊緣宏塊設(shè)置較小量化參數(shù)，對(duì)中等邊緣宏塊設(shè)置中等量化參數(shù), 對(duì)弱邊緣宏塊設(shè)置較大量化參數(shù)；4) 根據(jù)設(shè)置的量化參數(shù)對(duì)深度圖像中的所有宏塊，運(yùn)用視頻編碼技術(shù)對(duì)深 度圖像進(jìn)行編碼。所述的計(jì)算深度圖像中每個(gè)像素點(diǎn)的邊緣強(qiáng)度值，然后根據(jù)象素點(diǎn)的邊緣 強(qiáng)度值計(jì)算每個(gè)宏塊的邊緣強(qiáng)度值步驟-a)對(duì)深度圖像中每個(gè)像素點(diǎn)，根據(jù)下列式子，在3x3臨域中選擇九個(gè)相關(guān)Z, = -1), c/!》r(>;—1)) ; Z2 = p(c/妙(;c)， c/ip7O -1));Z3 = ; (c%X(jc +1), c/柳j -1)); Z4 = p(c/糾x -1)， c/z;pF(力)；Z5 = / (c/糾;c)， c/z》rO)) ; Z6 = p(c/z》JT(jc +1), c/z;p7(力)；Z7 = /7(c印Z(x -1), c/z>7(> +1》； Z8 = ;7(,Jr(x), ,7(7 +1));Z9 = / (c/,0c + l),鄉(xiāng)rCy + l》；c/JpX(;c) = min(Width隱l，max(O，x)) ;c/i/ y(力=min(Hight-l,max(O，>0);其中，MA力是深度圖像中坐標(biāo)"，少)處的像素點(diǎn)的亮度值；c/z;^(;c)和c^yO) 分別是^方向和Y方向的修剪函數(shù)；Width和Hight分別為深度圖像的寬度和高 度；Z。
Z2、 Z3、 Z4、 Z5、 Z6、 Z7、 28和4是九個(gè)相關(guān)亮度值。b)根據(jù)下式計(jì)算像素點(diǎn)在^方向的梯度G_X(JC，y) = (Z7+2*Z8+Z9)-(^+2傘Z2+Z3);其中，G _ Z(x，力是坐標(biāo)(x,;;)處像素點(diǎn)在X方向的梯度；C)根據(jù)下式計(jì)算像素點(diǎn)在Y方向的梯度G_r(x，>;) = (Z3+2*Z6+Z9)-(4+2*4+Z7);其中，G —y(;c，力是坐標(biāo)(;c，》處像素點(diǎn)在少方向的梯度；d)根據(jù)下式計(jì)算像素點(diǎn)的邊緣強(qiáng)度值G —泡/ =| G — X",力I +1G _ y(x，力I;其中，C^XOc，力是坐標(biāo)(x，力處像素點(diǎn)在X方向的梯度，(^y(x，力是坐標(biāo)Gc，y) 處像素點(diǎn)在少方向的梯度，G —尸^/(x,力是坐標(biāo)(^)處像素點(diǎn)的邊緣強(qiáng)度值； e)根據(jù)下式計(jì)算每個(gè)宏塊的邊緣強(qiáng)度值細(xì)一jc2;t〈細(xì)一;c+16其中，i是當(dāng)前宏塊的序列號(hào)，(MS_;c，M5 —力是當(dāng)前宏塊中左上角像素在深 度圖像中的坐標(biāo)，G —/^e/(;c,力是坐標(biāo)(x，力處像素點(diǎn)的邊緣強(qiáng)度值，G —M萬(wàn)(/)是當(dāng)前宏塊的的邊緣強(qiáng)度值；所述的把深度圖像中的所有宏塊分為強(qiáng)邊緣宏塊、中等邊緣宏塊和弱邊緣 宏塊三類步驟f) 對(duì)深度圖像中的所有宏塊，根據(jù)宏塊的邊緣強(qiáng)度值從大到小排序，把前 20%的宏塊分類為強(qiáng)邊緣宏塊，把中間60%的宏塊分類為中等邊緣宏塊，把最 后20%的宏塊分類為弱邊緣宏塊。所述的對(duì)強(qiáng)邊緣宏塊設(shè)置較小量化參數(shù)，對(duì)中等邊緣宏塊設(shè)置中等量化參 數(shù)，對(duì)弱邊緣宏塊設(shè)置較大量化參數(shù)步驟g) 設(shè)置強(qiáng)邊緣宏塊的量化參數(shù)為g戶—5，設(shè)置中等邊緣宏塊的量化參 數(shù)為0P一&w ，設(shè)置弱邊緣宏塊的量化參數(shù)為0戶_5"^ + 5 ;其中，i是當(dāng)前宏塊的序列號(hào)，^^MS(/)是根據(jù)宏塊分類信息設(shè)置的宏塊的 量化參數(shù)，^^B^e是用戶設(shè)置的基本量化參數(shù)。所述的根據(jù)設(shè)置的量化參數(shù)對(duì)深度圖像中的所有宏塊，運(yùn)用視頻編碼技術(shù) 對(duì)深度圖像進(jìn)行編碼步驟-h)對(duì)深度圖像中的每個(gè)宏塊，首先進(jìn)行幀內(nèi)預(yù)測(cè)或者幀間預(yù)測(cè)，然后根據(jù) 步驟3)中設(shè)置的量化參數(shù)對(duì)預(yù)測(cè)殘差進(jìn)行量化，宏塊的量化參數(shù)越小，量化時(shí) 所采用的量化步長(zhǎng)越小，量化誤差越小。編碼端壓縮深度圖像時(shí)所引入的誤差會(huì)嚴(yán)重影響自由視點(diǎn)圖像繪制的質(zhì) 量，尤其是在深度圖像的邊緣附近會(huì)產(chǎn)生明顯的變形，影響視覺(jué)效果，因此需 要把深度圖像的邊緣信息做為關(guān)鍵信息來(lái)重點(diǎn)保護(hù)，以降低自由視點(diǎn)圖像繪制 中物體輪廓的變形。本發(fā)明首先計(jì)算深度圖像中每個(gè)宏塊的邊緣強(qiáng)度，然后根據(jù)宏塊的邊緣強(qiáng) 度進(jìn)行分類，最后對(duì)不同類別的宏塊用不同的量化參數(shù)進(jìn)行編碼。對(duì)邊緣強(qiáng)度 較強(qiáng)的宏塊，設(shè)置較小的量化參數(shù)，提高該宏塊的編碼質(zhì)量；對(duì)邊緣強(qiáng)度較弱 的宏塊，設(shè)置較大的量化參數(shù)，提高該宏塊壓縮比，減少編碼該宏塊時(shí)所需要 的碼流；本發(fā)明可以有效保護(hù)深度圖像邊緣信息的方法，提高用戶端自由視點(diǎn) 圖像繪制的質(zhì)量。<formula>formula see original document page 6</formula>如果MB(i)屬于強(qiáng)邊緣宏塊如果MB(i)屬于中等邊緣宏塊如果MB(i)屬于弱邊緣宏塊


圖1是立體電視系統(tǒng)中深度圖像的編碼方法結(jié)構(gòu)示意圖;圖2是本發(fā)明的相關(guān)像素位置示意圖。
具體實(shí)施方式
圖1給出了本發(fā)明的結(jié)構(gòu)示意圖。本發(fā)明的目的是提供一種立體電視系統(tǒng)中深度圖像的編碼方法。它包括如下步驟步驟l，計(jì)算深度圖像中每個(gè)像素點(diǎn)的邊緣強(qiáng)度值，然后根據(jù)象素點(diǎn)的邊緣 強(qiáng)度值計(jì)算每個(gè)宏塊的邊緣強(qiáng)度值；a)對(duì)深度圖像中每個(gè)像素點(diǎn)，根據(jù)下列式子，在3x3臨域中選擇九個(gè)相關(guān) 亮度值-Z, = p(c/,(x -1), c%r<> -1)); Z2 = p(c印X(x),鄉(xiāng)y(y—1));Z3 = p(,X(x +1)， c/柳;;-1)) ; Z4 = / (c/,(x -1)， c/柳力)；Z5 = ; (c/,(x)，鄉(xiāng)y(力)； Z6 = ; (c/z;pX(;c +1), c/柳力)；Z7 = p(c/糾x -1)， c/柳j +1)); Z8 = / (c/妙(;c)， c/柳少+1));Z9 = p(c/z;pXO; + l)，鄉(xiāng)JXy + l));c/z]pX(;c) = min(Width-l,max(O, x)) ;c/(p7(力=min(Hight-l， max(O，力)；其中，P"力是深度圖像中坐標(biāo)",少)處的像素點(diǎn)的亮度值；c/^X(x)和c^r(;c) 分別是^方向和^方向的修剪函數(shù)；Wi她和Hight分別為深度圖像的寬度和高 度；Z,、 Z2、 Z3、 Z4、 Z5、 Z6、 Z7、 Z8和^是九個(gè)相關(guān)亮度值。如圖2所示，25是當(dāng)前像素的像素值；^、 22和23分別為當(dāng)前像素左上方像 素、正上方像素和右上方像素的像素值；Z,和^分別是當(dāng)前像素左方像素和右 方像素的像素值；Z7、 Zs和Z,分別為當(dāng)前像素左下方像素、正下方像素和右下 方像素的像素值；b)根據(jù)下式計(jì)算像素點(diǎn)在^方向的梯度G—Z(;c，力^(Z7+2承Z8+Z9)-(Z,+2承Z2+Z3);其中，G—是坐標(biāo)(x，;;)處像素點(diǎn)在X方向的梯度；C)根據(jù)下式計(jì)算像素點(diǎn)在少方向的梯度GJ0c,;^(Z3+2承Z6+Z9)-(Z,+2承Z4+Z7);其中，G—;r(:c,力是坐標(biāo)(;c,》處像素點(diǎn)在少方向的梯度；d)根據(jù)下式計(jì)算像素點(diǎn)的邊緣強(qiáng)度值G —尸;xe/=| G —X(x，力I +1G —y(;c,力I;其中，C^Z(;c，力是坐標(biāo)(;c，:v)處像素點(diǎn)在X方向的梯度，GJ(x,力是坐標(biāo)(x," 處像素點(diǎn)在Y方向的梯度，G —P^/(:c，;;)是坐標(biāo)(;c,力處像素點(diǎn)的邊緣強(qiáng)度值； e)根據(jù)下式計(jì)算每個(gè)宏塊的邊緣強(qiáng)度值其中，i是當(dāng)前宏塊的序列號(hào)，(MS —;c,M^ —力是當(dāng)前宏塊中左上角像素在深 度圖像中的坐標(biāo)，G — P^/(x，力是坐標(biāo)Oc,;;)處像素點(diǎn)的邊緣強(qiáng)度值，G — MB(/)是 當(dāng)前宏塊的的邊緣強(qiáng)度值；步驟2，把深度圖像中的所有宏塊分為強(qiáng)邊緣宏塊、中等邊緣宏塊和弱邊緣 宏塊三類；f) 對(duì)深度圖像中的所有宏塊，根據(jù)宏塊的邊緣強(qiáng)度值從大到小排序，把前 20%的宏塊分類為強(qiáng)邊緣宏塊，把中間60%的宏塊分類為中等邊緣宏塊，把最 后20%的宏塊分類為弱邊緣宏塊。步驟3，把深度圖像中的所有宏塊分為強(qiáng)邊緣宏塊、中等邊緣宏塊和弱邊緣 宏塊三類；g) 設(shè)置強(qiáng)邊緣宏塊的量化參數(shù)為^>_^^-5，設(shè)置中等邊緣宏塊的量化參 數(shù)為2尸_^化，設(shè)置弱邊緣宏塊的量化參數(shù)為g戶—5"w + 5 ;min(51，max(0，g尸—5me-5))，如果MB(i)屬于強(qiáng)邊緣宏塊 ^P—萬(wàn)we ，如果MB(i)屬于中等邊緣宏塊min(51，max(0,Qi^5ose + 5))，如果MB(i)屬于弱邊緣宏塊其中，i是當(dāng)前宏塊的序列號(hào)，2P一MS(/)是根據(jù)宏塊分類信息設(shè)置的宏塊的 量化參數(shù)，05—^"^是用戶設(shè)置的基本量化參數(shù)。用戶設(shè)置的宏塊的基本量化參數(shù)2尸一^^越大，所得到的壓縮圖像的壓縮率 越高，碼流越小，圖像質(zhì)量越差；基本量化參數(shù)越小，所得到的壓縮圖像的壓 縮率越低，碼流越大，圖像質(zhì)量越高。步驟4，把深度圖像中的所有宏塊分為強(qiáng)邊緣宏塊、中等邊緣宏塊和弱邊緣 宏塊三類。h) 對(duì)深度圖像中的每個(gè)宏塊，首先進(jìn)行幀內(nèi)預(yù)測(cè)或者幀間預(yù)測(cè)，然后根據(jù) 步驟3)中設(shè)置的量化參數(shù)對(duì)預(yù)測(cè)殘差進(jìn)行量化，宏塊的量化參數(shù)越小，量化時(shí) 所采用的量化步長(zhǎng)越小，量化誤差越小。
權(quán)利要求
1.一種立體電視系統(tǒng)中深度圖像的編碼方法，其特征在于包括如下步驟1)計(jì)算深度圖像中每個(gè)像素點(diǎn)的邊緣強(qiáng)度值，然后根據(jù)象素點(diǎn)的邊緣強(qiáng)度值計(jì)算每個(gè)宏塊的邊緣強(qiáng)度值；2)把深度圖像中的所有宏塊分為強(qiáng)邊緣宏塊、中等邊緣宏塊和弱邊緣宏塊三類；3)對(duì)強(qiáng)邊緣宏塊設(shè)置較小量化參數(shù)，對(duì)中等邊緣宏塊設(shè)置中等量化參數(shù)，對(duì)弱邊緣宏塊設(shè)置較大量化參數(shù)；4)根據(jù)設(shè)置的量化參數(shù)對(duì)深度圖像中的所有宏塊，運(yùn)用視頻編碼技術(shù)對(duì)深度圖像進(jìn)行編碼。
2. 根據(jù)權(quán)利要求1所述的一種立體電視系統(tǒng)中深度圖像的編碼方法，其特征 在于所述的計(jì)算深度圖像中每個(gè)像素點(diǎn)的邊緣強(qiáng)度值，然后根據(jù)象素點(diǎn)的邊緣 強(qiáng)度值計(jì)算每個(gè)宏塊的邊緣強(qiáng)度值步驟a)對(duì)深度圖像中每個(gè)像素點(diǎn)，根據(jù)下列式子，在3x3臨域中選擇九個(gè)相關(guān)亮度值-Z, = p(c/,(x -1)， c解O —1)); Z2 = /7(c/糾;c)， c/柳y -1));Z3 = /7(c/z;pX(x +1),-1)); Z4 = j9(c/^(;c -1),鄉(xiāng)7(>));Z5 = / (c/,;pX(jc),鄉(xiāng)y(;;)); Z6 = /7(c%Z(;c +1), c/柳力)；Z7 = p(c/,(x -1)， c/*r<>+1)); Z8 = /7(鄉(xiāng)Z(;c), ,r(y+1));Z9 = ; (c/ipXO; + l),c/z;plXv + l));c/zW(X) = min(Width-l，max(O，x)) ;c/^ 7(力=min(Hight-l,max(0,力)；其中，Mx,力是深度圖像中坐標(biāo)"力處的像素點(diǎn)的亮度值；c^X(x)和c/^^c) 分別是^方向和^y方向的修剪函數(shù)；Width和Hight分別為深度圖像的寬度和高 度；Z。
Z2、 Z3、 Z4、 Z5、 Z6、 Z7、 Zs和Z9是九個(gè)相關(guān)亮度值。b)根據(jù)下式計(jì)算像素點(diǎn)在X方向的梯度G —=(Z7 + 2*Z8 + Z9)-(Z! + 2*Z2 + Z3);其中，G _義(x，力是坐標(biāo)(x,力處像素點(diǎn)在X方向的梯度；C)根據(jù)下式計(jì)算像素點(diǎn)在y方向的梯度G —n^) = (Z3 + 2*Z6+Z9)-(Z1+2*Z4 + Z7);其中，G—y(jc，力是坐標(biāo)(x，y)處像素點(diǎn)在^方向的梯度；d)根據(jù)下式計(jì)算像素點(diǎn)的邊緣強(qiáng)度值G—漸/ =| G—(x,力I +1G — y(x，力I;其中，C^X(;c,力是坐標(biāo)Oc，力處像素點(diǎn)在X方向的梯度，(^y(x,力是坐標(biāo)Oc，;;) 處像素點(diǎn)在少方向的梯度，G —i^e/(x,力是坐標(biāo)Oc，;;)處像素點(diǎn)的邊緣強(qiáng)度值； e)根據(jù)下式計(jì)算每個(gè)宏塊的邊緣強(qiáng)度值其中，i是當(dāng)前宏塊的序列號(hào)，(il^-X,M^ —力是當(dāng)前宏塊中左上角像素在深 度圖像中的坐標(biāo)，G —戶/xe/(;c,力是坐標(biāo)Gc,力處像素點(diǎn)的邊緣強(qiáng)度值，C^MS(/)是 當(dāng)前宏塊的的邊緣強(qiáng)度值；
3. 根據(jù)權(quán)利要求1所述的一種立體電視系統(tǒng)中深度圖像的編碼方法，其特征 在于所述的把深度圖像中的所有宏塊分為強(qiáng)邊緣宏塊、中等邊緣宏塊和弱邊緣 宏塊三類步驟f) 對(duì)深度圖像中的所有宏塊，根據(jù)宏塊的邊緣強(qiáng)度值從大到小排序，把前 20%的宏塊分類為強(qiáng)邊緣宏塊，把中間60%的宏塊分類為中等邊緣宏塊，把最 后20%的宏塊分類為弱邊緣宏塊。
4. 根據(jù)權(quán)利要求1所述的一種立體電視系統(tǒng)中深度圖像的編碼方法，其特征 在于所述的對(duì)強(qiáng)邊緣宏塊設(shè)置較小量化參數(shù)，對(duì)中等邊緣宏塊設(shè)置中等量化參 數(shù)，對(duì)弱邊緣宏塊設(shè)置較大量化參數(shù)步驟g) 設(shè)置強(qiáng)邊緣宏塊的量化參數(shù)為gP一^^-5，設(shè)置中等邊緣宏塊的量化參 數(shù)為gP —，設(shè)置弱邊緣宏塊的量化參數(shù)為G戶一^^ + 5 ;其中，i是當(dāng)前宏塊的序列號(hào)，^^MB(0是根據(jù)宏塊分類信息設(shè)置的宏塊的 量化參數(shù)，—5。w是用戶設(shè)置的基本量化參數(shù)。
5.根據(jù)權(quán)利要求1所述的一種立體電視系統(tǒng)中深度圖像的編碼方法，其特征 在于所述的根據(jù)設(shè)置的量化參數(shù)對(duì)深度圖像中的所有宏塊，運(yùn)用視頻編碼技術(shù) 對(duì)深度圖像進(jìn)行編碼步驟h)對(duì)深度圖像中的每個(gè)宏塊，首先進(jìn)行幀內(nèi)預(yù)測(cè)或者幀間預(yù)測(cè)，然后根據(jù) 步驟3)中設(shè)置的量化參數(shù)對(duì)預(yù)測(cè)殘差進(jìn)行量化，宏塊的量化參數(shù)越小，量化時(shí) 所采用的量化步長(zhǎng)越小，量化誤差越小。2尸—m邵hmin(51, max(O， gP —腸e - 5)) g戶—5認(rèn)min(51, max(O, g尸—腸e + 5))如果MB(i)屬于強(qiáng)邊緣宏塊 如果MB(i)屬于中等邊緣宏塊 如果MB(i)屬于弱邊緣宏塊
全文摘要
本發(fā)明公開(kāi)了一種立體電視系統(tǒng)中深度圖像的編碼方法。它包括如下步驟1)計(jì)算深度圖像中每個(gè)像素點(diǎn)的邊緣強(qiáng)度值，然后根據(jù)象素點(diǎn)的邊緣強(qiáng)度值計(jì)算每個(gè)宏塊的邊緣強(qiáng)度值；2)把深度圖像中的所有宏塊分為強(qiáng)邊緣宏塊、中等邊緣宏塊和弱邊緣宏塊三類；3)對(duì)強(qiáng)邊緣宏塊設(shè)置較小量化參數(shù)，對(duì)中等邊緣宏塊設(shè)置中等量化參數(shù)，對(duì)弱邊緣宏塊設(shè)置較大量化參數(shù)；4)根據(jù)設(shè)置的量化參數(shù)對(duì)深度圖像中的所有宏塊，運(yùn)用視頻編碼技術(shù)對(duì)深度圖像進(jìn)行編碼。本發(fā)明對(duì)強(qiáng)邊緣宏塊設(shè)置小的量化參數(shù)，從而有效地保護(hù)深度圖像的邊緣信息，提高用戶端自由視點(diǎn)圖像繪制的質(zhì)量。
文檔編號(hào)H04N13/00GK101330631SQ20081012008
公開(kāi)日2008年12月24日 申請(qǐng)日期2008年7月18日 優(yōu)先權(quán)日2008年7月18日
發(fā)明者劉濟(jì)林, 許士芳, 杰 雷 申請(qǐng)人:浙江大學(xué)