專利名稱：一種立體視頻編碼快速迭代搜索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼領(lǐng)域，尤其是涉及一種立體視頻編碼中的運(yùn)動(dòng)矢量和視差矢 量快速搜索算法。
背景技術(shù)：
立體視頻蘊(yùn)含景物的深度信息，在自然場景的表征上更具有真實(shí)感，在3D電視、 移動(dòng)設(shè)備的立體視覺系統(tǒng)以及具有臨場感的可視會(huì)議等領(lǐng)域展現(xiàn)了廣闊的應(yīng)用前景。
立體視頻包含左右兩個(gè)視頻通道，典型的IPPPP預(yù)測結(jié)構(gòu)如

圖1所示，水平方向 為時(shí)間方向，垂直方向?yàn)橐朁c(diǎn)方向。令左視點(diǎn)為參考視點(diǎn)，即左視點(diǎn)先編碼，左視點(diǎn)的第 一幀為I幀，在編碼時(shí)，不需要參考其它幀的信息，直接進(jìn)行DCT變換，線性量化，游程長 編碼，最后送入算術(shù)編碼器。左視點(diǎn)除第一幀以外的其它幀都是P幀，通過參考左視點(diǎn)前 一個(gè)時(shí)刻的已編碼幀來進(jìn)行運(yùn)動(dòng)估計(jì)。右視點(diǎn)為預(yù)測視點(diǎn)，第一幀為P幀，既允許它參 考左視點(diǎn)的第一幀進(jìn)行視差估計(jì)，又允許幀內(nèi)預(yù)測編碼，從二者中選取更優(yōu)的編碼方式， 保證了編碼效率。右視點(diǎn)的其余P幀都包含兩個(gè)參考幀，不僅要參考時(shí)間方向的參考幀 (即，右視點(diǎn)前一個(gè)時(shí)刻的已編碼幀)來進(jìn)行運(yùn)動(dòng)估計(jì)，還要參考視點(diǎn)方向的參考幀(即， 左視點(diǎn)相同時(shí)刻的已編碼幀)進(jìn)行視差估計(jì)。傳統(tǒng)的立體視頻壓縮通過全搜索方法，采 用大搜索窗口來分別進(jìn)行運(yùn)動(dòng)估計(jì)和視差估計(jì)，以消除同一視點(diǎn)內(nèi)部的時(shí)間空間冗余和 左右視點(diǎn)之間的交叉冗余，并且比較運(yùn)動(dòng)矢量和視差矢量的率失真代價(jià)，選擇使率失真 代價(jià)最小的作為當(dāng)前塊的最終預(yù)測矢量。其中，率失真代價(jià)通過RDCost (mv) = SAD (c, r) + A XR(mv-p)計(jì)算得到，mv表示當(dāng)前塊的運(yùn)動(dòng)/視差矢量，c表示當(dāng)前塊，r表示預(yù)測塊， λ表示拉格朗日乘子，P表示當(dāng)前塊的運(yùn)動(dòng)/視差矢量的預(yù)測值，R(mv-p)表示編碼運(yùn)動(dòng)/視差矢量和預(yù)測值的差值所需的比特?cái)?shù)，SAD(c, r)表示當(dāng)前塊和預(yù)測塊的絕對(duì)誤差和，B2SAD(Cj)= Yj \c[iJ]-r[i-mvxJ-mvy-\\,^,化分別表示塊的水平和垂直像素?cái)?shù)，[i，j]i=U=i表示像素的坐標(biāo)，C[i，j]表示當(dāng)前塊像素值；r[i-mvx，j-mvy]表示預(yù)測塊的像素值，(mvx， mvy)表示當(dāng)前塊的運(yùn)動(dòng)/視差矢量的水平和垂直分量大小。傳統(tǒng)的全搜索算法在得到高率 失真性能的同時(shí)帶來了巨大的運(yùn)算量，限制了立體視頻的實(shí)時(shí)應(yīng)用。
目前，立體視頻快速編碼算法大體可分為兩大類一類是基于預(yù)測矢量的編碼算 法，先用全搜索算法對(duì)某一域(視差域或運(yùn)動(dòng)域)計(jì)算視差或運(yùn)動(dòng)矢量，然后利用“立體圖 像對(duì)”在相鄰時(shí)刻視差矢量的一致性或者相鄰視點(diǎn)運(yùn)動(dòng)矢量一致性原理，對(duì)另一域(運(yùn)動(dòng)域 或視差域)采用快速算法進(jìn)行預(yù)測[1-2]。這類算法能得到較好的編碼性能，但是由于下一 域(運(yùn)動(dòng)域或視差域)預(yù)測矢量的準(zhǔn)確性取決于前一域(視差域或運(yùn)動(dòng)域)的預(yù)測結(jié)果， 因此前一域往往采用窮盡的全搜索算法來保證結(jié)果的準(zhǔn)確性，編碼速度仍然有待提高。另 一類是運(yùn)動(dòng)和視差聯(lián)合估計(jì)算法，根據(jù)立體視頻的序列相關(guān)性原理，運(yùn)動(dòng)域和視差域的信 息可以互相利用，由相鄰圖像的運(yùn)動(dòng)和視差矢量關(guān)系直接預(yù)測得到當(dāng)前塊的運(yùn)動(dòng)/視差矢 量，從而最大限度降低編碼復(fù)雜度[3-4]。但是目前這類算法的研究大多只針對(duì)像素域或者基于MPEG標(biāo)準(zhǔn)，不能與當(dāng)前主流的基于塊的H. ^4/AVC視頻編碼標(biāo)準(zhǔn)兼容，并且，直接利 用相鄰圖像的運(yùn)動(dòng)和視差矢量關(guān)系求得預(yù)測矢量容易陷入局部極小值，編碼質(zhì)量得不到保 證。
本發(fā)明基于H. 264/AVC標(biāo)準(zhǔn)，提出一種基于立體-運(yùn)動(dòng)約束模型的立體視頻編碼 快速迭代搜索算法，在保證高壓縮率的前提下大大減少編碼復(fù)雜度，是非常有意義的。
附參考文獻(xiàn)
[1]Ding L F, Chien S Y, Chen L G. Joint prediction algorithm and architecture for stereo video hybrid coding systems[J]IEEE Transactions on Circuits and Systems for Video Technology,2006,16(11) :1324-1337
[2]Lai P,Ortega A.Predictive fast motion/disparity search for multiview video coding[C]//SPIE. Proceedings of SPIE. San Jose :Visual Communications and Image Processing, 2006,6077 :607709
[3]Paras I, Alvertos N, Tziritas G. Joint disparity and motion field estimation in stereoscopic image sequences[C]//IEEE. Proceedings of 13th International Conference on Pattern Recognition. Vienna:ICPR,1996 :359-363
[4]Kim Y, Lee J, Park C, et al. MPEG-4 compatible stereoscopic sequence codec for stereo broadcasting[J]IEEE Transactions on Consumer Electronics, 2005,51(4) :1227-1236發(fā)明內(nèi)容
本發(fā)明的目的在于，通過提供一種立體視頻編碼快速迭代搜索方法，以解決立體 視頻右視點(diǎn)除第一幀以外的圖像幀編碼復(fù)雜度高的問題，實(shí)現(xiàn)低復(fù)雜度的立體視頻編碼。
本發(fā)明解決上述技術(shù)問題采取的技術(shù)方案為
一種立體視頻編碼快速迭代搜索方法，令右視點(diǎn)t時(shí)刻圖像中的宏塊MBr,t為當(dāng)前 塊，i為迭代步數(shù)，δ為立體-運(yùn)動(dòng)約束模型的模型誤差，m、t(MBu)表示當(dāng)前塊的最優(yōu)運(yùn) 動(dòng)矢量，dvr,t(MBr,t)表示當(dāng)前塊的最優(yōu)視差矢量，^X^WOn^(MSy))為第i次迭代修正 后的當(dāng)前塊的運(yùn)動(dòng)矢量的率失真代價(jià)，心Co^O^^MSm))為第i-l次迭代修正后的當(dāng) 前塊的運(yùn)動(dòng)矢量的率失真代價(jià)，心CoW(代，,(MSiv))為第i次迭代修正后的當(dāng)前塊的視差 矢量的率失真代價(jià)，心Co^CA^^MSy))為第i-l次迭代修正后的當(dāng)前塊的視差矢量的率 失真代價(jià)，包括以下步驟
1. 1、初始化；確定當(dāng)前塊的運(yùn)動(dòng)矢量搜索起始點(diǎn)Bw^MSy)和當(dāng)前塊的視差矢 量搜索起始點(diǎn)代，D ；得到修正后的當(dāng)前塊的運(yùn)動(dòng)矢量搜索起始點(diǎn)Wi^(MSiv)和修 正后的當(dāng)前塊的視差矢量搜索起始代，D ；保存修正后的當(dāng)前塊的運(yùn)動(dòng)和視差矢量 搜索起始點(diǎn)的率失真代價(jià)；
1. 2、按照下式調(diào)整修正搜索窗口 RSR的大小，
權(quán)利要求
1. 一種立體視頻編碼快速迭代搜索方法，令右視點(diǎn)t時(shí)刻圖像中的宏塊MBnt為當(dāng)前 塊，i為迭代步數(shù)，δ為立體-運(yùn)動(dòng)約束模型的模型誤差，m、t(MBu)表示當(dāng)前塊的最優(yōu)運(yùn) 動(dòng)矢量，dvr,t(MBr,t)表示當(dāng)前塊的最優(yōu)視差矢量，^X^/On^(MU)為第i次迭代修正 后的當(dāng)前塊的運(yùn)動(dòng)矢量的率失真代價(jià)，心CoWO^^MSy))為第i-l次迭代修正后的當(dāng) 前塊的運(yùn)動(dòng)矢量的率失真代價(jià)，心CoW(代，,(MSiv))為第i次迭代修正后的當(dāng)前塊的視差 矢量的率失真代價(jià)，心CoWCJv^^MSy))為第i-l次迭代修正后的當(dāng)前塊的視差矢量的率 失真代價(jià)，其特征在于包括以下步驟1. 1、初始化；確定當(dāng)前塊的運(yùn)動(dòng)矢量搜索起始點(diǎn)^wvt(MSiv)和當(dāng)前塊的視差矢量搜 索起始點(diǎn)代，^ ；得到修正后的當(dāng)前塊的運(yùn)動(dòng)矢量搜索起始點(diǎn)Wi^(MSiv)和修正后 的當(dāng)前塊的視差矢量搜索起始點(diǎn)代，D ；保存修正后的當(dāng)前塊的運(yùn)動(dòng)和視差矢量搜索 起始點(diǎn)的率失真代價(jià)；1. 2、按照下式調(diào)整修正搜索窗口 RSR的大小，
2.根據(jù)權(quán)利要求1所述的立體視頻編碼快速迭代搜索方法，其特征在于，所述步驟1.1 包括·2. 1、令 i = 0，δ = 0 ；·2. 2、所述確定當(dāng)前塊的運(yùn)動(dòng)矢量搜索起始點(diǎn)Bmi^(MSiv)和當(dāng)前塊的視差矢量搜 索起始點(diǎn) Bdv0r t (MBr t)通過候選矢量集 Bmv二 (MBr t) {mvl t, mvmed, mva, mvb, mvc, 0}和Bdv0r t(MBr t): {辦…”也…牝,成獲得；其中，mva/dva, mvb/dyb和mv。/dv。分別表示當(dāng)前塊相鄰的左邊塊a、上方塊b和右上塊 C的運(yùn)動(dòng)或視差矢量，IWmed和Clvnred分別表示當(dāng)前塊運(yùn)動(dòng)矢量的中值矢量和當(dāng)前塊視差矢量 的中值矢量，IW1,t為當(dāng)前塊在視點(diǎn)方向參考幀中與當(dāng)前塊位置相同的塊的運(yùn)動(dòng)矢量，dVm 為當(dāng)前塊在時(shí)間方向參考幀中與當(dāng)前塊位置相同的塊的視差矢量；·2.3、所述的得到修正后的當(dāng)前塊的運(yùn)動(dòng)矢量搜索起始點(diǎn)WV^(MSy)和修正后的當(dāng)前 塊的視差矢量搜索起始點(diǎn)<% (MD;分別以當(dāng)前塊的運(yùn)動(dòng)矢量搜索起始點(diǎn)Bmi^i (MSiv) 和當(dāng)前塊的視差矢量搜索起始點(diǎn)Bd^i(MSiv)為中心，劃定一個(gè)RSI minXRSI min的修正搜索 窗口，在這個(gè)搜索窗口內(nèi)做矢量修正得到；所述的保存修正后的當(dāng)前塊的運(yùn)動(dòng)矢量搜索起 始點(diǎn)的率失真代價(jià)，記作i^CoWiX(MS,』；所述的保存修正后的當(dāng)前塊的視差矢量搜 索起始點(diǎn)的率失真代價(jià)，記作i^Co^Jv^MD)，令i = i+l。
3.根據(jù)權(quán)利要求1所述的立體視頻編碼快速迭代搜索方法，其特征在于，所述步驟1.2 中的閾值T1為5，閾值T2為20，RSRmin為2，RSRmax為96。
4.根據(jù)權(quán)利要求1所述的立體視頻編碼快速迭代搜索方法，其特征在于，所述步驟1.3 包括·4. 1、第i次迭代當(dāng)前塊的視差矢量預(yù)測初值BdVrt(MBr)由 BdVr t(MBJ 二 J^miRDCostiBdCiMBJ))計(jì)算;其 中，BdV;;(MBJ = mv'-;(MBrt) + dv^MCMB^)-mv^{DCMB^，^C1(MSm)表示第i-l次迭代得到的當(dāng)前塊的運(yùn)動(dòng)矢量；JMCMU表示由當(dāng)前 塊在時(shí)間方向參考幀中的運(yùn)動(dòng)補(bǔ)償塊覆蓋的已編碼塊的視差矢量，u表示被覆蓋的已編碼 塊的個(gè)數(shù)，將使船(MS7J)最小的^UMCMU作為第i次迭代當(dāng)前塊在 時(shí)間方向參考幀中的運(yùn)動(dòng)補(bǔ)償塊的視差矢量，記作代，^(MCMS+Im((Z)CM^i)為第 i-l次迭代得到的當(dāng)前塊在視點(diǎn)方向參考幀中的視差補(bǔ)償塊的運(yùn)動(dòng)矢量；以BJv^(MSiv)為中心，劃定一個(gè)RSRXRSR的搜索窗口，在這個(gè)搜索窗口中進(jìn)行矢量 修正，得到第i次迭代修正后的當(dāng)前塊的視差矢量dvk(MSy)；保存第i次迭代修正后的當(dāng) 前塊的視差矢量的率失真代價(jià)，記作(吖，,(MSiv))；·4. 2、第i次迭代當(dāng)前塊的運(yùn)動(dòng)矢量預(yù)測初值BmVrt(MBr t)通過 Bmv1r t(MBr) UfRDCostiBrnvi; (MBr J)計(jì)算;其中，BmV;丨人MBJ = dv'rt{MBr t) + Mv^DCMB1 t)-dv'r^MCMBrt_r)，dv'rt{MBrt) 表示步驟4. 1中得到的第i次迭代修正后的當(dāng)前塊的視差矢量，Wi^(Z)CMSii)表示由當(dāng)前 塊在視點(diǎn)方向參考幀中的視差補(bǔ)償塊覆蓋的已編碼塊的視差矢量，ν表示被覆蓋的己編碼塊的個(gè)數(shù)，將使(MSy)最小的Wi^(Z)CMSi J作為第i次迭代當(dāng)前塊在視點(diǎn) 方向參考幀中的視差補(bǔ)償塊的運(yùn)動(dòng)矢量，記作 Z)CM^i)；代，ρXMCMS+D表示步驟 4. 1中得到的第i次迭代當(dāng)前塊在時(shí)間方向參考幀中的運(yùn)動(dòng)補(bǔ)償塊的視差矢量；以(MSiv)為中心，劃定一個(gè)RSRX RSR的搜索窗口，在這個(gè)搜索窗口中進(jìn)行矢量 修正，得到第i次迭代修正后的當(dāng)前塊的運(yùn)動(dòng)矢量W^i(M^ D ；保存第i次迭代修正后的當(dāng) 前塊的運(yùn)動(dòng)矢量的率失真代價(jià)，記作。
全文摘要
本發(fā)明公開了一種立體視頻編碼快速迭代搜索方法，利用立體視頻左右視點(diǎn)相鄰圖像的“立體圖像對(duì)”的運(yùn)動(dòng)矢量和視差矢量關(guān)系來定義一個(gè)立體-運(yùn)動(dòng)約束模型，包括初始化、調(diào)整修正搜索窗口RSR的大小，迭代搜索過程、中止準(zhǔn)則用一種迭代搜索策略來求取當(dāng)前塊的運(yùn)動(dòng)和視差矢量初值，并且根據(jù)立體-運(yùn)動(dòng)約束模型的模型誤差設(shè)計(jì)自適應(yīng)的修正搜索窗口來修正當(dāng)前塊的運(yùn)動(dòng)和視差矢量，最終能快速預(yù)測得到當(dāng)前塊的最優(yōu)運(yùn)動(dòng)和視差矢量。與傳統(tǒng)的全搜索算法相比，本發(fā)明方法能夠在保證編碼質(zhì)量的同時(shí)節(jié)省96％以上的編碼時(shí)間。
文檔編號(hào)H04N5/14GK102045571SQ20111000734
公開日2011年5月4日 申請(qǐng)日期2011年1月13日 優(yōu)先權(quán)日2011年1月13日
發(fā)明者賈克斌, 鄧智玭 申請(qǐng)人:北京工業(yè)大學(xué)