專利名稱：一種面向虛擬視圖質(zhì)量的深度圖編碼率失真判斷方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種提高深度圖編碼效率的率失真判斷準(zhǔn)則，屬于三維立體視頻編碼標(biāo)準(zhǔn)中的深度圖編碼技術(shù)領(lǐng)域。
背景技術(shù)：
三維立體視頻作為未來主要的視頻應(yīng)用技術(shù)，是指用戶通過三維立體視頻顯示設(shè)備可以享受到真實(shí)的三維立體視頻內(nèi)容。三維視頻的相關(guān)技術(shù)，比如，三維立體視頻采集、 三維立體視頻編碼、三維立體視頻的顯示等技術(shù)已經(jīng)得到廣泛的關(guān)注。為了推動三維立體視頻技術(shù)的標(biāo)準(zhǔn)化，2002年，運(yùn)動圖像專家組(Motion Picture Experts Group, MPEG)提出任意視點(diǎn)電視(Free View Television, FTV)的概念。它能夠提供生動真實(shí)的、交互式的三維立體視聽系統(tǒng)。用戶可以從不同的角度觀看該角度的三維立體視頻，使得用戶有融入視頻場景中的真實(shí)感受。FTV可廣泛應(yīng)用于廣播通信、娛樂、教育、醫(yī)療和視頻監(jiān)控等領(lǐng)域。為了使用戶可以觀看到任意角度的三維立體視頻，F(xiàn)TV系統(tǒng)服務(wù)端使用已標(biāo)定好的攝像機(jī)陣列獲得一定視點(diǎn)上的視頻。并對不同視點(diǎn)上的視頻校正，利用校正過的視頻信息通過虛擬視圖合成技術(shù)生成虛擬視點(diǎn)的虛擬視圖。目前MPEG建議具體使用基于深度-圖像 (Depth-Image Based Rendering, DIBR)的虛擬視圖合成技術(shù)。深度信息一般通過深度圖表示。虛擬視圖合成的主要過程如下1).確定要虛擬視點(diǎn)在攝像機(jī)陣列中的相對位置。2).確定用于合成虛擬視點(diǎn)的紋理視頻。3).確定步驟2)的紋理視頻對應(yīng)的深度圖。4).依據(jù)步驟2)與3)中的紋理視頻和深度圖，采用DIBR技術(shù)，合成虛擬視圖。FTV的標(biāo)準(zhǔn)化工作分為兩個(gè)階段進(jìn)行。第一階段是2006年至2008年由JVT (Joint Video Team，聯(lián)合視頻編碼組)制定的H. 264/AVC的擴(kuò)展方案_MVC(Multi_View Video Coding)。MVC可以對多視點(diǎn)紋理視頻進(jìn)行編碼。但是要最終實(shí)現(xiàn)FTV系統(tǒng)的功能，還必須要對深度信息進(jìn)行編碼。目前FTV的標(biāo)準(zhǔn)化制定工作已經(jīng)進(jìn)入第二階段，即3DVC(Three Dimensional Video Coding)。3DVC主要關(guān)注深度信息的表示與編碼，以及紋理視頻與深度信息的聯(lián)合編碼。3DVC中，深度信息通過深度圖表示。衡量3DVC性能的主要指標(biāo)是合成虛擬視圖的質(zhì)量，以及紋理視頻、深度圖的編碼碼率。虛擬視圖的質(zhì)量通常采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)來衡量視頻的質(zhì)量。 PSNR的計(jì)算公式如下式所示，
(2552 )PSNR = IOxlog -
(MSE J(1)式中MSE表示原始視圖與合成虛擬視圖之間的均方誤差，用來衡量虛擬視圖的失真，以及紋理視頻的編碼失真、深度圖的編碼失真。在實(shí)際應(yīng)用中，虛擬視點(diǎn)的視圖是不存在的，也即不存在原始視圖。但是由于3DVC主要關(guān)注編碼性能，因此為衡量3DVC的性能，首先采用未經(jīng)編碼的已有紋理視頻及其對應(yīng)的深度圖合成虛擬視圖V。Hg，然后采用經(jīng)過編碼后的重建的紋理視頻以及編碼后重建的深度圖合成虛擬視圖\ec，最后通過計(jì)算Vree與V ig之間的MSE，進(jìn)而得到PSNR，以衡量3DVC 的性能。

圖1給出了現(xiàn)有H. 264/AVC的率失真準(zhǔn)則計(jì)算流程圖，在H. 264/AVC視頻編碼標(biāo)準(zhǔn)中，首先對當(dāng)前編碼塊進(jìn)行預(yù)測，然后計(jì)算當(dāng)前編碼塊與預(yù)測塊之間的平均平方誤差MSE 作為失真Dh264 ；然后將當(dāng)前編碼塊的像素灰度值減去預(yù)測塊的像素灰度值，得到預(yù)測差值， 對預(yù)測差值進(jìn)行離散余弦變換，量化，熵編碼，繼而得到當(dāng)前編碼塊的編碼碼率Rh264，最后采用下式計(jì)算當(dāng)前編碼塊的率失真代價(jià)Jh264 Jh264 = Dh266+λ -Rh264，其中λ為拉格朗日乘子。H. 264/AVC采用的率失真判斷準(zhǔn)則沒有考慮到深度圖的壓縮失真對合成虛擬視圖的質(zhì)量的影響，因此采用H. 264/AVC的率失真判斷準(zhǔn)則對深度圖進(jìn)行編碼的效率不高。由理論分析可知，合成虛擬視圖的失真直接由視差決定，而深度圖的質(zhì)量會影響到視差的準(zhǔn)確度。在深度圖的壓縮過程中，深度圖本身的失真不一定會引起視差的不準(zhǔn)確；但是當(dāng)深度圖完全準(zhǔn)確時(shí)，視差也是完全準(zhǔn)確的。

發(fā)明內(nèi)容
針對H. ^4/AVC采用的率失真判斷準(zhǔn)則沒有考慮到深度圖的壓縮失真對合成虛擬視圖的質(zhì)量的影響，本發(fā)明依據(jù)深度圖的壓縮失真對合成虛擬視圖質(zhì)量的影響，提出一種適用于深度圖編碼的面向虛擬視圖質(zhì)量的率失真判斷方法。本發(fā)明面向虛擬視圖質(zhì)量的深度圖編碼率失真判斷方法，是對當(dāng)前編碼塊進(jìn)行預(yù)測，得到預(yù)測塊；計(jì)算當(dāng)前編碼塊與預(yù)測塊的差值，并對差值進(jìn)行離散余弦變換、量化和熵編碼，得到當(dāng)前編碼塊的碼率；將當(dāng)前編碼塊以及預(yù)測塊的像素灰度值轉(zhuǎn)換為視差值；然后依據(jù)轉(zhuǎn)換后的視差值計(jì)算當(dāng)前編碼塊的失真；最后依據(jù)所得的失真與碼率計(jì)算當(dāng)前編碼塊的率失真代價(jià)；具體步驟如下(1)對深度圖的當(dāng)前編碼塊進(jìn)行預(yù)測，得到當(dāng)前編碼塊的預(yù)測塊，當(dāng)前編碼塊中的每個(gè)像素的灰度值用Li表示，預(yù)測塊中的每個(gè)像素灰度值用Lp,i表示，i e {1，...N}，N為當(dāng)前編碼塊中的像素?cái)?shù)量；對深度圖的當(dāng)前編碼塊進(jìn)行預(yù)測的方法采用H. ^4/AVC標(biāo)準(zhǔn)規(guī)定的各種幀內(nèi)或幀間預(yù)測方法。(2)將Li與Lp, i相減，得到當(dāng)前編碼塊的差值，并對差值進(jìn)行離散余弦變換、量化和熵編碼，確定當(dāng)前編碼塊的碼率R ；(3)對熵編碼數(shù)據(jù)進(jìn)行解碼，并對解碼的數(shù)據(jù)進(jìn)行反量化和反離散余弦變換，重建
差值信號；(4)將當(dāng)前編碼塊與重建的差值信號相加，重建當(dāng)前塊；(5)按照下式分別將當(dāng)前編碼塊以及步驟(4)所得的重建當(dāng)前塊中的每個(gè)像素灰度值轉(zhuǎn)換為視差值，
Γ Π, A L1 ( 1 1)權(quán)利要求
1. 一種面向虛擬視圖質(zhì)量的深度圖編碼率失真判斷方法，其特征是對當(dāng)前編碼塊進(jìn)行預(yù)測，得到預(yù)測塊；計(jì)算當(dāng)前編碼塊與預(yù)測塊的差值，并對差值進(jìn)行離散余弦變換、量化和熵編碼，得到當(dāng)前編碼塊的碼率；將當(dāng)前編碼塊以及預(yù)測塊的像素灰度值轉(zhuǎn)換為視差值；然后依據(jù)轉(zhuǎn)換后的視差值計(jì)算當(dāng)前編碼塊的失真；最后依據(jù)所得的失真與碼率計(jì)算當(dāng)前編碼塊的率失真代價(jià)；具體步驟如下(1)對深度圖的當(dāng)前編碼塊進(jìn)行預(yù)測，得到當(dāng)前編碼塊的預(yù)測塊，當(dāng)前編碼塊中的每個(gè)像素的灰度值用Li表示，預(yù)測塊中的每個(gè)像素灰度值用Lp,i表示，i e {1，... N}，N為當(dāng)前編碼塊中的像素?cái)?shù)量；(2)將Li與Lp,i相減，得到當(dāng)前編碼塊的差值，并對差值進(jìn)行離散余弦變換、量化和熵編碼，確定當(dāng)前編碼塊的碼率R ；(3)對熵編碼數(shù)據(jù)進(jìn)行解碼，并對解碼的數(shù)據(jù)進(jìn)行反量化和反離散余弦變換，重建差值信號；(4)將當(dāng)前編碼塊與重建的差值信號相加，重建當(dāng)前塊；(5)按照下式分別將當(dāng)前編碼塊以及步驟(4)所得的重建當(dāng)前塊中的每個(gè)像素灰度值轉(zhuǎn)換為視差值，
2.根據(jù)權(quán)利要求1所述的面向虛擬視圖質(zhì)量的深度圖編碼率失真判斷方法，其特征是，所述步驟(1)中對深度圖的當(dāng)前編碼塊進(jìn)行預(yù)測的方法采用H. 264/AVC標(biāo)準(zhǔn)規(guī)定的各種幀內(nèi)或幀間預(yù)測方法。
3.根據(jù)權(quán)利要求1所述的面向虛擬視圖質(zhì)量的深度圖編碼率失真判斷方法，其特征是，所述步驟(J)中的拉格朗日乘子λ采用H. 264/AVC標(biāo)準(zhǔn)規(guī)定的數(shù)值。
全文摘要
本發(fā)明公開了一種面向虛擬視圖質(zhì)量的深度圖編碼率失真判斷方法，該方法是對當(dāng)前編碼塊進(jìn)行預(yù)測，得到預(yù)測塊；計(jì)算當(dāng)前編碼塊與預(yù)測塊的差值，并對差值進(jìn)行離散余弦變換、量化和熵編碼，得到當(dāng)前編碼塊的碼率；將當(dāng)前編碼塊以及預(yù)測塊的像素灰度值轉(zhuǎn)換為視差值；然后依據(jù)轉(zhuǎn)換后的視差值計(jì)算當(dāng)前編碼塊的失真；最后依據(jù)所得的失真與碼率，計(jì)算當(dāng)前編碼塊的率失真代價(jià)。本發(fā)明依據(jù)深度圖的壓縮失真對合成虛擬視圖質(zhì)量的影響，更好的反映深度圖的壓縮失真對合成虛擬視圖質(zhì)量的影響，提高三維立體視頻編碼的效率，可應(yīng)用于三位立體視頻的編碼標(biāo)準(zhǔn)中。
文檔編號H04N7/26GK102158710SQ20111014049
公開日2011年8月17日 申請日期2011年5月27日 優(yōu)先權(quán)日2011年5月27日
發(fā)明者元輝, 劉琚, 孫建德 申請人:山東大學(xué)