彩色與深度視頻聯(lián)合編碼的比特分配及碼率控制算法
【專利摘要】本發(fā)明屬于3D視頻編碼領(lǐng)域，為解決JVT-G012中碼率控制與彩色深度視頻之間比特分配不兼容的問題，同時更加準確的實現(xiàn)彩色/深度層及幀層的聯(lián)合碼率控制，為此，本發(fā)明采取的技術(shù)方案是，彩色與深度視頻聯(lián)合編碼的比特分配及碼率控制算法，包括如下步驟：1)建立虛擬視點失真模型：2)建立彩色及深度視頻的失真模型Dt-Rt和Dd-Rd：3)建立Dv-Rt-Rt模型：4)計算當(dāng)前編碼視頻的目標(biāo)比特：5)基于計算的最優(yōu)目標(biāo)比特率進行編碼。本發(fā)明主要應(yīng)用于3D視頻編碼。
【專利說明】彩色與深度視頻聯(lián)合編碼的比特分配及碼率控制算法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于3D視頻編碼領(lǐng)域，涉及一種彩色加深度視頻的聯(lián)合比特分配及碼率 控制方法。 技術(shù)背景
[0002] 三維（3D)視頻是對立體視覺場景的一種再現(xiàn)，可以使觀察者體驗到自然逼真的 3D場景?；谏疃雀兄?、交互性等的特點，3D視頻在許多領(lǐng)域都有著廣泛的應(yīng)用，如3D電 視（3DTV)、自由視點電視（FTV)、可視會議等。為了促進這些應(yīng)用，研究者們正在研究包括 3D視頻的采集、表示、編碼、傳輸、虛擬視點繪制和顯示等與3D視頻相關(guān)的關(guān)鍵技術(shù)。
[0003] 實際應(yīng)用中的3D視頻通常需要包含不同角度的多個視點的信息，多視點增加了 存儲空間和傳輸帶寬的需求。為了解決這個問題，許多場景表示和視點繪制技術(shù)被相繼提 出。基于深度圖的虛擬視點繪制（Depth Image-Based Rendering,DIBR)是一種靈活的、低 代價的虛擬視點繪制技術(shù)。在DIBR中，虛擬視點可以通過彩色視頻及與其對應(yīng)的深度視頻 來繪制，它利用3D變換技術(shù)，可以根據(jù)需要繪制不同位置上的虛擬視點。經(jīng)虛擬視點繪制 技術(shù)獲得的虛擬視點的質(zhì)量會受到多方面因素影響，包括彩色視頻和深度視頻的壓縮效率 及虛擬視點繪制算法。此外，當(dāng)彩色視頻和深度視頻編碼的總比特率受到限制時，彩色視頻 和深度視頻之間的比特分配對繪制的虛擬視點的質(zhì)量也具有重要的影響。
[0004] 為了盡量減少繪制視點的失真，研究者們提出不同的彩色視頻和深度視頻之間比 特分配方法。Liu等提出了一種聯(lián)合碼率控制算法，該算法分為三個層，即視點層，彩色/深 度層和幀層。視點層通過預(yù)編碼來統(tǒng)計各類視點之間的比特進而得到最佳視點間的比特分 配比；在彩色/深度層，為確保3D視頻的質(zhì)量，比特被非均勻的分配在彩色與深度視頻中； 幀層采用分層碼率控制算法為每幀分配目標(biāo)比特。Shao等提出了一種虛擬視點失真模型。 該模型將合成視點失真表示為彩色視頻的失真和深度視頻的失真兩部分。然后，兩個失真 基于二次失真模型分別建模。最后，在總比特限制下最小化繪制視點的失真，計算得到彩色 與深度視頻的最優(yōu)比特分配方案。Yuan等推導(dǎo)了一個通用的虛擬視點失真模型，該模型包 含彩色視頻的失真、深度視頻的失真及常數(shù)部分。然后，兩個失真部分由線性失真模型分別 建模。最后，在總比特限制下通過最小化繪制視點的失真，計算得到彩色與深度視頻的最優(yōu) 比特分配方法。
[0005] 現(xiàn)有的比特分配能夠得到較為準確的比特分配方案，然而這些方案需要考慮編碼 的同步性，且不能直接應(yīng)用在H. 264/AVC的碼率控制中。


【發(fā)明內(nèi)容】

[0006] 為了克服現(xiàn)有技術(shù)的不足，解決JVT-G012中碼率控制與彩色深度視頻之間比特 分配不兼容的問題，同時更加準確的實現(xiàn)彩色/深度層及幀層的聯(lián)合碼率控制，為此，本發(fā) 明采取的技術(shù)方案是，彩色與深度視頻聯(lián)合編碼的比特分配及碼率控制算法，包括如下步 驟：
[0007] 1)建立虛擬視點失真模型：
[0008] 在不同的給定目標(biāo)比特RT下預(yù)編碼彩色視頻及與之對應(yīng)的深度視頻，并采用虛擬 視點繪制方法繪制虛擬視點；統(tǒng)計虛擬視點失真D v，深度視頻失真Dd與彩色視頻失真Dt，建 立模型，擬合模型參數(shù)，具體虛擬視點失真模型表示為：
[0009]

【權(quán)利要求】
1. 一種彩色與深度視頻聯(lián)合編碼的比特分配及碼率控制算法，其特征是，包括如下步 驟： 1) 建立虛擬視點失真模型： 在不同的給定目標(biāo)比特Rt下預(yù)編碼彩色視頻及與之對應(yīng)的深度視頻，并采用虛擬視點 繪制方法繪制虛擬視點；統(tǒng)計虛擬視點失真Dv，深度視頻失真Dd與彩色視頻失真Dt，建立模 型，擬合模型參數(shù)，具體虛擬視點失真模型表示為： Dv = A ? Dt+B ? Dd+C〇 其中，A、B分別代表Dt和Dd對虛擬視點失真Dv的影響因子，C tl是一個常數(shù)； 2) 建立彩色及深度視頻的失真模型Dt-Rt和Dd-Rd : 統(tǒng)計彩色視頻/深度視頻編碼失真，輸出比特率及對應(yīng)的目標(biāo)比特率，建立模型。 3) 建立Dv-Rt-Rt模型： 統(tǒng)計虛擬視點失真Dv，深度視頻目標(biāo)比特Rd與彩色視頻目標(biāo)比特Rt，并建立模型。由 步驟1和2可以推導(dǎo)出Dv-Rt-Rt,具體表示為：
其中，ii，V分別代表Rt和Rd在虛擬視點的失真Dv的影響因子，C是一個常數(shù)； 4) 計算當(dāng)前編碼視頻的目標(biāo)比特： 比特分配方案為：在總比特率R。的約束下，最小化的虛擬視點的失真，表示為 arg min Dv s. t. Rt+Rd ^ Rc 基于Dv-Rt-Rd模型，最優(yōu)比特分配問題可以改寫為如下：
s. t. Rt+Rd < Rc st.表示使?jié)M足，采用拉格朗日乘數(shù)法來解決在限制條件下求比特分配的最優(yōu)解的問 題。將限制條件下求極值的問題映射到等價的無約束條件的求極值問題，如下：
其中，A是拉格朗日乘子，最優(yōu)的彩色及深度視頻的目標(biāo)比特率Rt和Rd可以通過求解 以下解方程組得到
從而，最優(yōu)目標(biāo)比特率Rt和Rd的計算如下：
5)基于計算的最優(yōu)目標(biāo)比特率進行編碼。
2.如權(quán)利要求1所述的彩色與深度視頻聯(lián)合編碼的比特分配及碼率控制算法，其特征 是，步驟2)進一步具體為：考慮較為理想的情況，輸出比特率％和目標(biāo)比特率&之間的關(guān) 系表示為 R0 = Rt H. 264/AVC的變換和量化采用整數(shù)DCT技術(shù)，基于DCT系數(shù)服從拉普拉斯分布的假設(shè)， 香農(nóng)率失真函數(shù)可以表示為
其中，Y是一個常數(shù)，D是輸出失真，根據(jù)率失真函數(shù)及碼率控制的準確性判定，輸出 失真D和目標(biāo)比特率Rt之間的關(guān)系可以建立一個指數(shù)模型，模型可以如下表示： D = a ? exp (_ 3 ? Rt) +c 其中，a、@和。是模型參數(shù)。相應(yīng)的彩色/深度視頻的失真模型Dt-Rt和Dd-R d可以 描述為 Dt = a t * exp (- ^ t ? Rt) +ct Dd = a d * exp (- ^ d ? Rd) +cd 其中，a t、P t、Ct和a d、P d、Cd分別是對應(yīng)于彩色視頻與深度視頻的模型參數(shù)，Dt、Rt 和Dd、Rd對應(yīng)為彩色及深度視頻的失真及目標(biāo)碼率。
【文檔編號】H04N19/597GK104284196SQ201410587503
【公開日】2015年1月14日 申請日期:2014年10月28日 優(yōu)先權(quán)日:2014年10月28日
【發(fā)明者】雷建軍, 李貞貞, 侯春萍, 胡春悅, 朱濤, 金鵬 申請人:天津大學(xué)