一種3d視頻深度圖像幀內(nèi)預(yù)測模式選擇方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提出一種3D視頻深度圖像幀內(nèi)預(yù)測模式選擇方法及系統(tǒng)。首先計算HEVC當(dāng)前塊幀內(nèi)預(yù)測參考像素集合的方差，通過方差來預(yù)測當(dāng)前塊是否為平滑塊；對于平滑塊僅考慮適合平滑區(qū)域的兩個幀內(nèi)預(yù)測模式Planar和SDC_Planar；對于非平滑塊，將當(dāng)前塊的參考集合分成兩個參考像素集合類，通過計算兩個參考集合的像素方差來判斷當(dāng)前塊是否為邊界塊；對于邊界塊，依據(jù)當(dāng)前參考像素的分布特點預(yù)測有效的HEVC幀內(nèi)預(yù)測模式、有效的深度模型模式以及有效的楔形分割模式的方向。本發(fā)明有效的降低了平滑區(qū)域和邊界區(qū)域的候選深度幀內(nèi)預(yù)測模式的數(shù)目，減少了幀內(nèi)預(yù)測所需的編碼時間；在提高編碼速度的同時，保證了最終解碼端合成視角的視頻質(zhì)量。
【專利說明】一種3D視頻深度圖像幀內(nèi)預(yù)測模式選擇方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻編解碼技術(shù)鄰域，具體涉及一種3D視頻深度圖像幀內(nèi)預(yù)測模式 選擇方法及系統(tǒng)。

【背景技術(shù)】
[0002] 2013年1月聯(lián)合視頻開發(fā)組發(fā)布了新一代視頻編碼國際標(biāo)準(zhǔn)HEVC，也稱為H. 265。 H. 265與上一代視頻編碼標(biāo)準(zhǔn)H. 264 -樣都米用基于混合塊的編碼結(jié)構(gòu)，但是H. 265引入 了編碼單元結(jié)構(gòu)、變換單元結(jié)構(gòu)、幀間非對稱分割方式、統(tǒng)一幀內(nèi)編碼、合并（merge)模式、 改進的運動矢量編碼等新技術(shù)。由于新技術(shù)的引入，使得H. 265與H. 264相比，新的視頻編 碼標(biāo)準(zhǔn)HEVC在獲得相同重建視頻質(zhì)量的情況下，可以減少一半碼率。H. 265中的編碼單元 是H. 264中宏塊概念的擴展，其大小可以為64x64、32x32、16xl6和8x8。對于平坦的區(qū)域 選擇大的編碼單元可以節(jié)省碼率；而紋理區(qū)域則選擇小的編碼單元可以得到更好的預(yù)測結(jié) 果。HEVC的編碼器首先將預(yù)編碼圖像劃分為許多大小為64x64的最大編碼單元（LCU)。然 后，對于每一個最大編碼單元，編碼器將遞歸地按4-叉樹的方式來決定最大編碼單元中最 優(yōu)CU劃分。為了獲得最大編碼單元的最優(yōu)CU劃分，編碼器需要進行85次不同大小CU的 率失真代價的計算。由此可見，基于編碼單元的4-叉樹編碼結(jié)構(gòu)增加了 H. 265的計算復(fù)雜 度（包括幀內(nèi)預(yù)測）。在幀內(nèi)預(yù)測技術(shù)中，對于大小為8x8的CU，編碼器允許其進一步分割 為4個相等的大小為4x4的預(yù)測單元（PU);而對于其他大小的CU不能進一步分割，即PU的 大小等于CU的大小。為了更好的利用空間的相關(guān)性，H. 265的幀內(nèi)預(yù)測技術(shù)將幀內(nèi)預(yù)測模 式增加到35種，如圖1所示。在這35種幀內(nèi)預(yù)測模式中，33種角度幀內(nèi)預(yù)測模式（幀內(nèi)預(yù) 測模式2至幀內(nèi)預(yù)測模式34)用于紋理區(qū)域的幀內(nèi)預(yù)測，而DC和Planar兩種幀內(nèi)預(yù)測模 式用于平坦區(qū)域的幀內(nèi)預(yù)測。由于采用了新的編碼結(jié)構(gòu)，H. 265可選的幀內(nèi)預(yù)測的鄰近參 考像素為左下、左、左上、上、右上的鄰近像素，如圖2所示。由于幀內(nèi)預(yù)測模式的增多，每個 PU都需要進行35次率失真計算才可以找到PU最優(yōu)的幀內(nèi)預(yù)測模式，這極大地增加了 HEVC 幀內(nèi)預(yù)測編碼的計算復(fù)雜度。
[0003] 3D-HEVC是HEVC的3D視頻編碼的最重要的擴展標(biāo)準(zhǔn)。3D-HEVC的3D視頻采用編 碼端和解碼端非對稱的多視點加深度圖像的格式。多視點加深度的3D視頻可以在解碼端 利用DIBR技術(shù)合成任意位置的虛擬視點，該格式因為此優(yōu)點帶來的廣闊應(yīng)用前景而備受 學(xué)術(shù)界和工業(yè)界的關(guān)注。在多視點視頻加深度視頻格式的深度圖像中，深度圖像的像素值 反映的是場景中的點距離攝像機的遠(yuǎn)近。因此，深度圖像和自然圖像有很大的不同，主要體 現(xiàn)為以下三個方面：1)深度圖像大部分為平坦的區(qū)域，這些平坦的區(qū)域被銳利的邊緣所分 害h2)深度圖像有限的銳利邊緣的失真將在解碼端的合成視角物體邊界周圍引起振鈴效 應(yīng)，降低了合成視角中視頻的主觀和客觀質(zhì)量；3)深度圖像并非用來給用戶直接觀看，而 是用來合成中間的虛擬視角?；谇笆鋈矫娴牟煌攸c，保留深度圖像中物體的邊緣成 為深度圖像編碼的重要工作內(nèi)容之一。為此，3D-HEVC除繼承了上述HEVC的新技術(shù)（包括 幀內(nèi)預(yù)測技術(shù)和編碼單元）之外，另加入了一系列的新技術(shù)來盡可能的保留深度圖像的銳 利邊緣，同時盡可能地保證編碼的性能。其中最重要的技術(shù)就是4種新的深度模型模式，分 別為顯示的楔形分割模式（DMM1)、隱式的楔形分割模式（DMM3)、c〇ntour分割模式（DMM4)、 邊界鏈?zhǔn)骄幋a模式（RBC)。楔形分割模式（包括前述的顯示楔形分割模式和隱式的楔形分 害IJ模式）如圖3所示，圖3包含了連續(xù)時的楔形分割、離散時的楔形分割和最終的楔形分割 模式。如圖3,楔形分割模式是通過一條直線（起點為S、終點為E)將預(yù)測塊分割為？ 1和 P2兩個部分，。楔形分割的分割直線有6種方向，如圖4所示分別為從左邊界到上邊界、從 右邊界到上邊界、從下邊界到右邊界、從左邊界到下邊界、從上邊界到下邊界和從左邊界到 右邊界。為了進一步的提高壓縮比，楔形分割模式將不傳遞預(yù)測殘差的量化變換系數(shù)，而僅 僅傳遞兩個像素值。楔形分割模式的最優(yōu)模式的選取需要計算所有起點和終點組合相對應(yīng) 的楔形分割模式的率失真代價。大小為4x4的預(yù)測塊一共有86種楔形分割模式；大小為 8x8的預(yù)測塊一共有766種楔形分割模式；大小為16x16的預(yù)測塊一共有1350種楔形分割 模式；大小為32x32的預(yù)測塊一共有1503種楔形分割模式。對于每一個PU，3D-HEVC最優(yōu) 幀內(nèi)預(yù)測模式的選擇既要計算35種HEVC幀內(nèi)預(yù)測模式的率失真代價，還要計算上述數(shù)目 的顯示的楔形分割模式、上述數(shù)目的隱式楔形分割模式、區(qū)域邊界鏈?zhǔn)侥Ｊ胶蚦ontour模 式的率失真代價。由于幀內(nèi)預(yù)測模式的倍增，導(dǎo)致了目前3D-HEVC的計算復(fù)雜度根本無法 實現(xiàn)3D視頻的實時應(yīng)用。此外，基于前述深度圖像的第3)點不同特點，3D-HEVC引入了新 的編碼參數(shù)的評價方法，即采用合成視角的率失真代價選擇編碼參數(shù)（包括最優(yōu)的幀內(nèi)預(yù) 測模式和最優(yōu)CU的劃分）。計算合成視角的代價需要通過渲染得到合成視角，而渲染過程 是十分耗時的。因此，3D-HEVC幀內(nèi)預(yù)測模式的最優(yōu)幀內(nèi)預(yù)測模式的選擇中為了得到合成視 角而引入了計算復(fù)雜度很高的渲染過程，也是3D-HEVC幀內(nèi)預(yù)測編碼計算效率低下的一個 重要原因。3D-HEVC為了降低碼率，引入了 SDC技術(shù)。該技術(shù)僅僅使用在Planar模式和顯 示的楔形分割模式上構(gòu)成了兩個新模式SDC_Planar模式和SDC_DMM1模式。兩個新模式僅 允許傳遞像素值的有效索引值。而編碼器需要額外進行兩次率失真代價的計算，這也影響 了深度幀內(nèi)預(yù)測模式的計算復(fù)雜度，但是不是最主要的原因之一。
[0004] 綜上所述,3D-HEVC標(biāo)準(zhǔn)中3D視頻中深度圖像幀內(nèi)編碼過程的復(fù)雜程度過高的原 因有以下三個方面：1)在CU層，3D-HEVC采用了 HEVC復(fù)雜的編碼單元作為編碼結(jié)構(gòu)，需要 通過復(fù)雜地計算獲得最優(yōu)CU的劃分；2)在PU層，深度圖像的幀內(nèi)預(yù)測模式增多，其中包含 35個HEVC的幀內(nèi)預(yù)測模式和4種深度模型模式，而深度模型模式中的楔形分割模式數(shù)目極 多；3)深度圖像的編碼參數(shù)的選擇需要計算合成中間視角的率失真，而引入了非常耗時的 渲染過程。
[0005] 文獻(xiàn)《3D-HEVC 最初的測試模型"30-冊￥(：了68七]\1〇(1611"》，（"1^21^叩，6.了6(*，1(· Wegner, S. Yea, ITU-T SG 16 WP 3 and IS0/IEC JTC 1/SC 29/WG 11, JCT3V-A1005, 1st Meeting:Stockholm,SE, 16-20 July 2012"）一文中的巾貞內(nèi)預(yù)測模式選擇方法，對所有的 幀內(nèi)預(yù)測模式和所有的楔形分割模式進行率失真的計算。由于候選的幀內(nèi)預(yù)測模式的 增多，特別是楔形分割模式數(shù)目過多，進一步地增加深度圖像幀內(nèi)編碼時間和計算的復(fù) 雜度，限制了 3D視頻的實時應(yīng)用。為此，已經(jīng)開展許多相關(guān)研究來改進深度圖像編碼效 率。對于HEVC的幀內(nèi)預(yù)測模式選擇算法的研究，很多可以應(yīng)用于深度圖像的幀內(nèi)預(yù)測模 式的選擇，如下：文獻(xiàn)"Encoder improvement of unified intra prediction,''JCT-VC ITU-TVCEG IS0/IEC MPEG, document JCTVC-C207，Guangzhou，China, Oct. 2010 提出了一 種粗略模式?jīng)Q定過程，先對35種HEVC的幀內(nèi)預(yù)測模式所得殘差塊進行哈達(dá)瑪變換。根 據(jù)哈達(dá)瑪變換系數(shù)和選擇一定數(shù)目的候選幀內(nèi)預(yù)測模式。計算候選幀內(nèi)預(yù)測模式的完 整率失真代價獲得最優(yōu)的幀內(nèi)預(yù)測模式。文獻(xiàn)"Fast Intra Mode Decision of HEVC based on Hierarchical Structure,，' in Proc. IEEE Int. Conf. Information, Commun. Signal Process, Dec. 2011，pp. 1 - 4提出了一種提前終止巾貞內(nèi)預(yù)測模式選擇的策略來加速 中貞內(nèi)預(yù)測模式的選擇。文獻(xiàn)"Novel Adaptive Algorithm for Intra Prediction With Compromised Modes Skipping and Signaling Processes in HEVC,，'IEEE trans. Circu. and sys. for video techno, Vol. 23, pp. 1686-1694, Oct. 2013 提出 了利用鄰近參考像素 的相似程度減少候選幀內(nèi)預(yù)測模式的方法來加速幀內(nèi)編碼。此外，對于3D-HEVC新引入 的深度模型模式的研究如下：文獻(xiàn)"Simplified Wedgelet search for DMM modes 1 and 3,，，ITU-T SG 16 WP 3and ISO/IEC JTC 1/SC 29/WG 11，Doc, JCT3V-B0039, Shanghai, Chin a提出了一種二步搜索最優(yōu)楔形分割模式算法，先在兩倍像素域上得到次最優(yōu)楔形分割，然 后在次最優(yōu)的楔形分割模式的附近尋找最優(yōu)的楔形分割模式。文獻(xiàn)"Fast Depth Modeling Mode Selection For 3D Hevc Depth Intra Coding" Z. Y. Gu, J. H. Zheng, N. Ling and P. Zhang, IEEE international conference on ICMEff, San Jose, CA, July 2013,pp. 1-4 提 出了一種利用粗略決定模式候選列表中的Planar模式衡量預(yù)測塊的平滑程度，從而來判 斷是否進行深度模型模式的方法。在此基礎(chǔ)上，申請?zhí)枮?0131016728. 2的中國專利申請 公開了一種技術(shù)，通過利用HEVC幀內(nèi)角度預(yù)測模式（如圖1所示）和楔形分割模式的紋理 相關(guān)性，減少了需要計算RD0的楔形分割模式數(shù)目，提高了編碼效率。但是該技術(shù)在降低編 碼復(fù)雜程度的同時增加了碼率，降低了合成視角的視頻質(zhì)量。
[0006] 通過采納一些優(yōu)秀的算法，文獻(xiàn)《3D-HEVC測試模型"3D-HEVC Test Model 5"》 (^L. Zhang, G. Tech, K. Wegner, S. Yea, ITU-T SG 16 WP 3 and IS0/IEC JTC 1/SC 29/WG 11，JCT3V-E1005,5th Meeting:Vienna，AT，27 Jul. -2 Aug.2013"）一文中，提出了一種對 3D-HEVC中深度幀內(nèi)預(yù)測模式選擇的方法，包含以下步驟：
[0007] 步驟1，計算當(dāng)前塊的35種HEVC幀內(nèi)預(yù)測模式的哈達(dá)瑪變換系數(shù)絕對值和 (SATD);在35種HEVC幀內(nèi)預(yù)測模式中，根據(jù)SATD選擇一定數(shù)目的幀內(nèi)預(yù)測模式加入到候 選幀內(nèi)預(yù)測模式列表。其中，大小為4x4和8x8的預(yù)測塊各選擇8個幀內(nèi)預(yù)測模式；大小為 16xl6、32x32和64x64的預(yù)測塊各選擇3個幀內(nèi)預(yù)測模式；
[0008] 步驟2,選取當(dāng)前塊的左側(cè)和上側(cè)鄰近塊的幀內(nèi)預(yù)測模式，得到最大可能模式 (MPM)，將MPM中的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表；
[0009] 步驟3,在深度圖像對應(yīng)塊中，在顯示楔形分割模式集中，計算每一個顯示楔形分 割模式的率失真代價，選擇率失真代價最小的楔形分割模式作為最優(yōu)的顯示楔形分割模式 并加入到候選幀內(nèi)預(yù)測模式列表；
[0010] 步驟4,在紋理圖像對應(yīng)塊中，計算隱式楔形分割模式集中每一個隱式楔形分割 模式的率失真代價，選擇率失真代價最小的楔形分割模式作為最優(yōu)的隱式楔形分割模式并 加入到候選幀內(nèi)預(yù)測模式列表；其中，隱式楔形分割模式集為顯示楔形分割模式集的子集； 隱式楔形分割模式集為紋理對應(yīng)塊的幀內(nèi)預(yù)測模式相對應(yīng)的楔形分割模式子集；
[0011] 步驟5,將contour分割模式和邊界鏈?zhǔn)椒指钅Ｊ郊尤氲胶蜻x幀內(nèi)預(yù)測模式列表；
[0012] 步驟6,計算上述候選幀內(nèi)預(yù)測模式列表中每個幀內(nèi)預(yù)測模式的完整率失真代價， 選擇率失真代價最小的幀內(nèi)預(yù)測模式作為當(dāng)前塊最優(yōu)的幀內(nèi)預(yù)測模式。
[0013] 雖然上述幀內(nèi)預(yù)測模式選擇方法，將深度圖像的幀內(nèi)預(yù)測編碼時間降低了一倍的 時間，但是深度圖像的幀內(nèi)編碼的復(fù)雜度仍然過高，現(xiàn)在的大眾普通的多媒體終端（包括 手機、平板電腦、數(shù)碼攝像機）的計算能力是無法實現(xiàn)其實時應(yīng)用，這也成為了未來3D視頻 在這些移動多媒體終端實現(xiàn)商業(yè)化的一個重要障礙。因此，進一步降低深度圖像幀內(nèi)預(yù)測 模式選擇方法的復(fù)雜度仍有很大的改進空間也是十分必要的，這將進一步推動3D視頻的 實時應(yīng)用，改變未來的電子消費市場的格局。


【發(fā)明內(nèi)容】

[0014] 本發(fā)明提出一種3D視頻深度圖像幀內(nèi)預(yù)測模式選擇方法及系統(tǒng)，能夠在保證合 成視角中視頻質(zhì)量的前提下，降低深度圖像幀內(nèi)預(yù)測模式選擇的計算復(fù)雜度。
[0015] 為了解決上述技術(shù)問題，本發(fā)明提出一種3D視頻深度圖像幀內(nèi)預(yù)測模式選擇方 法，包括如下步驟：
[0016] 步驟1 :判斷當(dāng)前預(yù)測塊的大小是否為4x4,如果判斷結(jié)果為是，則按照Test Model5幀內(nèi)預(yù)測模式選擇方法進行幀內(nèi)預(yù)測模式選擇，獲取最優(yōu)的幀內(nèi)預(yù)測模式；如果判 斷結(jié)果為否，則執(zhí)行步驟2;
[0017] 步驟2 :選取當(dāng)前塊的鄰近參考像素并計算其方差，判斷鄰近參考像素的方差是 否小于預(yù)設(shè)的一號門限值，如果判斷結(jié)果為是，則將前述的Planar模式和SDC_Planar模式 加入到候選幀內(nèi)預(yù)測模式列表，然后執(zhí)行步驟7 ;如果判斷結(jié)果是否，則執(zhí)行步驟3 ;
[0018] 步驟3 :使用κ-mean算法將鄰近參考像素進行分類，分成兩個集合，分別為集合一 和集合二；分別計算集合一和集合二的方差，比較兩個集合的方差與二號門限值的大小，如 果兩個參考像素集合的方差都小于二號門限值，則執(zhí)行步驟4 ;否則按照Test Model5幀內(nèi) 預(yù)測模式選擇方法進行幀內(nèi)預(yù)測模式選擇，獲取最優(yōu)的幀內(nèi)預(yù)測模式；
[0019] 步驟4 :計算步驟3中獲得的參考像素集合一和集合二的連通性并記錄間斷點的 個數(shù)和位置；
[0020] 步驟5 :根據(jù)參考像素集合一和集合二的連通性和間斷點的個數(shù)和位置，選擇有 效的HEVC幀內(nèi)預(yù)測模式、有效的深度模型模式以及有效的楔形分割模式的方向，然后執(zhí)行 步驟6 ;
[0021] 步驟6 :判斷有效的HEVC幀內(nèi)預(yù)測模式數(shù)目是否小于標(biāo)準(zhǔn)的HEVC的粗略模式選 擇過程規(guī)定的候選幀內(nèi)預(yù)測模式數(shù)目，如果判斷結(jié)果為否，則進行HEVC的默認(rèn)粗略模式?jīng)Q 定過程，選擇一定數(shù)目的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表；如果判斷結(jié)果為是， 則不進行粗略模式?jīng)Q定過程，并將所有的有效HEVC的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測 模式，執(zhí)行步驟7;
[0022] 步驟7 :如果顯示楔形分割和隱式楔形分割模式為有效模式，在有效方向的楔形 分割模式中，計算獲得最優(yōu)的顯示楔形分割模式和隱式楔形分割模式并加入到候選幀內(nèi)預(yù) 測模式列表中；同時，如果區(qū)域邊界模式或contour模式為有效模式，將contour或邊界鏈 式模式加入到候選幀內(nèi)預(yù)測模式列表；
[0023] 步驟8 :對候選幀內(nèi)預(yù)測模式列表中的每一個候選幀內(nèi)預(yù)測模式進行完整率失真 代價的計算，選擇率失真代價最小的幀內(nèi)預(yù)測模式作為最優(yōu)的幀內(nèi)預(yù)測模式；
[0024] 上述步驟中，所述連通性為：對于任意一個鄰近參考像素集合，其任意給定的一個 像素，如果可以通過索引的+1和-1訪問到該集合中的每一個元素，則該參考像素集合具有 連通性；所述間斷點為：如果某個索引為Μ的鄰近參考像素，該像素點與其一鄰域的索引為 Μ+1或Μ-1參考像素不屬于同一個集合，那么該點為間斷點。
[0025] 本發(fā)明還提出一種3D視頻深度圖像幀內(nèi)預(yù)測模式選擇系統(tǒng)，包括存儲模塊、計算 模塊、參考像素獲取單元、有效模式判別模塊；所述存儲模塊，用于存儲當(dāng)前塊鄰近參考像 素的像素值及索引、參考像素的分類結(jié)果、間斷點的個數(shù)及位置、有效的HEVC的幀內(nèi)預(yù)測 模式、有效的深度模型模式、有效的楔形分割模式的方向、候選巾貞內(nèi)預(yù)測模式列表；所述計 算模塊，用于計算參考像素的方差、K-mean算法實現(xiàn)參考像素的分類、鄰近參考像素集合連 通性的計算、哈達(dá)瑪變換、楔形分割模式的率失真代價、候選幀內(nèi)預(yù)測模式列表中的候選幀 內(nèi)預(yù)測模式的完整率失真代價；所述參考像素獲取單元，用于獲得當(dāng)前塊的左下、左、左上、 上、右上的鄰近參考像素值及其索引；所述有效模式判別模塊，用于根據(jù)參考像素集合的連 通性和間斷點的位置得到有效的幀內(nèi)模式、有效的楔形分割方向和有效的深度模型模式。
[0026] 本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點在于：（1)本發(fā)明利用了深度圖像的強空間 相關(guān)性，考慮當(dāng)前塊的參考像素的像素值和位置關(guān)系，減少了候選幀內(nèi)預(yù)測模式的數(shù)目； (2)本發(fā)明充分利用了深度圖像擁有銳利邊緣的特點，可以對當(dāng)前塊中的鄰近參考像素進 行合理的分類，深度圖像的銳利邊緣兩側(cè)像素的較大的差異增加了鄰近參考像素分類的魯 棒性，因此本發(fā)明可以準(zhǔn)確的預(yù)測有效的幀內(nèi)預(yù)測模式；（3)本發(fā)明利用鄰近參考圖像評 價當(dāng)前塊的平滑程度，并且區(qū)別對待深度圖像中的平滑區(qū)域和邊界區(qū)域，對于平滑區(qū)域僅 僅考慮Planar模式和SDC_Planar模式；而對于邊界區(qū)域判斷邊界的近似方向和大體的趨 勢，進而決定了不同邊界分布的邊界區(qū)域的有效的幀內(nèi)預(yù)測模式、有效的楔形分割模式的 方向、有效的深度模型模式，從而有效地降低了當(dāng)前塊的候選幀內(nèi)預(yù)測模式的數(shù)目，減少了 深度圖像幀內(nèi)預(yù)測編碼的時間。在提高了編碼的速度的同時，本發(fā)明有效的保留了邊界，因 而本發(fā)明保證了合成視角的視頻質(zhì)量。

【專利附圖】

【附圖說明】
[0027] 圖1是【背景技術(shù)】所述HEVC的35種幀內(nèi)預(yù)測模式示意圖。
[0028] 圖2是【背景技術(shù)】所述HEVC的左下、左、左上、右、右上的參考像素分布。
[0029] 圖3是【背景技術(shù)】中所述楔形分割模式的分割方式，其中（a)為連續(xù)時楔形分割方 式示意圖，（b)離散時楔形分割方式示意圖，（c)為最終的楔形分割模式。
[0030] 圖4是【背景技術(shù)】楔形分割中6個方向的分割直線示意圖。
[0031] 圖5是本發(fā)明的整體框架圖。
[0032] 圖6是本發(fā)明中邊界模式和最接近模式的示例圖。
[0033] 圖7是本發(fā)明中參考像素及其一維數(shù)組索引示意圖。
[0034] 圖8是本發(fā)明中平滑區(qū)域參考像素示意圖。
[0035] 圖9是本發(fā)明中四種類型的邊界區(qū)域參考圖像示意圖
[0036] 圖10是本發(fā)明仿真實驗的操作流程圖。
[0037] 圖11是本發(fā)明中參考像素集合的連通性和間斷點索引示例圖。
[0038] 圖12是本發(fā)明仿真實驗中參考像素兩個集合均連通的4種分類示意圖。
[0039] 圖13是本發(fā)明3D視頻深度圖像幀內(nèi)預(yù)測模式選擇系統(tǒng)的結(jié)構(gòu)示意圖。

【具體實施方式】
[0040] 本發(fā)明提出的3D視頻深度圖像幀內(nèi)預(yù)測模式選擇方法通過計算幀內(nèi)參考像素的 像素分布并且綜合考慮深度圖像具有銳利邊緣的特點，充分挖掘像素之間的空間相關(guān)性來 預(yù)測有效的深度圖像幀內(nèi)預(yù)測模式，進而減少需要計算率失真代價的幀內(nèi)預(yù)測模式數(shù)目。 如圖5所示，本發(fā)明包括如下步驟：
[0041] 步驟501 :判斷當(dāng)前預(yù)測塊的大小是否為4x4,如果判斷結(jié)果為是，則按照Test Model5幀內(nèi)預(yù)測模式選擇方法（詳見前述文獻(xiàn)《3D-HEVC測試模型"3D-HEVC Test Model 5"》中所述幀內(nèi)預(yù)測模式的選擇方法）進行幀內(nèi)預(yù)測模式選擇，獲取最優(yōu)的幀內(nèi)預(yù)測模式； 如果判斷結(jié)果為否，則執(zhí)行步驟502。
[0042] 步驟502 :選取當(dāng)前塊的鄰近參考像素并計算其方差，判斷鄰近參考像素的方差 是否小于預(yù)設(shè)的一號門限值，如果判斷結(jié)果為是，則將前述的Planar模式和SDC_Planar模 式加入到候選幀內(nèi)預(yù)測模式列表，然后執(zhí)行步驟507 ;如果判斷結(jié)果是否，則執(zhí)行步驟503。
[0043] 步驟503 :使用K-mean算法（迭代次數(shù)為2)將鄰近參考像素進行分類，分成兩個 集合，分別為集合一和集合二。分別計算鄰近參考像素集合一和集合二的方差，比較兩個集 合的方差與二號門限值的大小，如果比較的結(jié)果是兩個參考像素集合的方差都小于二號門 限值，則執(zhí)行步驟504;否則按照Test Model 5幀內(nèi)預(yù)測模式選擇方法進行幀內(nèi)預(yù)測模式 選擇，獲取最優(yōu)的幀內(nèi)預(yù)測模式。
[0044] 步驟504 :計算步驟503中得到的參考像素集合一和集合二的連通性并記錄間斷 點的個數(shù)和位置。
[0045] 步驟505 :根據(jù)參考像素集合一和集合二的連通性和間斷點的個數(shù)和位置，選擇 有效的HEVC幀內(nèi)預(yù)測模式、有效的深度模型模式以及有效的楔形分割模式的方向，然后執(zhí) 行步驟506。
[0046] 步驟506 :判斷有效的HEVC幀內(nèi)預(yù)測模式數(shù)目是否小于標(biāo)準(zhǔn)的HEVC的粗略模式 選擇過程規(guī)定的候選幀內(nèi)預(yù)測模式數(shù)目，如果判斷結(jié)果為否，則進行HEVC的默認(rèn)粗略模式 決定過程，選擇一定數(shù)目的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表；如果判斷結(jié)果為 是，則不進行粗略模式?jīng)Q定過程，并將所有的有效HEVC的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù) 測模式，執(zhí)行步驟507。
[0047] 步驟507 :如果顯示楔形分割和隱式楔形分割模式為有效模式，在有效方向的楔 形分割模式中，計算獲得最優(yōu)的顯示楔形分割模式和隱式楔形分割模式并加入到候選幀內(nèi) 預(yù)測模式列表中；同時如果區(qū)域邊界模式或contour模式為有效模式，將contour或邊界鏈 式模式加入到候選幀內(nèi)預(yù)測模式列表。
[0048] 步驟508 :對候選幀內(nèi)預(yù)測模式列表中的每一個候選幀內(nèi)預(yù)測模式進行完整率失 真代價的計算，選擇率失真代價最小的幀內(nèi)預(yù)測模式作為最優(yōu)的幀內(nèi)預(yù)測模式。
[0049] 上述步驟504和步驟505中計算步驟503中參考像素集合一和集合二的連通性和 間斷點，并獲得有效的幀內(nèi)預(yù)測模式的大體思路如下：
[0050] 由503步驟可知，步驟504中參考像素集合一和集合二中的像素值差異很小。如 果鄰近參考像素的上和右上的參考像素幾乎相等，則HEVC的幀內(nèi)預(yù)測模式26至幀內(nèi)預(yù)測 模式34得到的預(yù)測結(jié)果相同。換言之沒有必要對幀內(nèi)預(yù)測模式26至幀內(nèi)預(yù)測模式34的 每一個幀內(nèi)預(yù)測模式都進行率失真代價的計算。本發(fā)明正是利用了兩個參考集合像素差異 很小使得某些HEVC幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測結(jié)果相同，同時參考像素的分布也大體決定 了楔形分割分割直線的方向和有效的深度模型模式。本發(fā)明為方便敘述定義了連通性和間 斷點用來描述兩個參考像素集合的位置關(guān)系。
[0051] 連通性的定義為：對于任意一個鄰近參考像素集合，其任意給定的一個像素，如果 可以通過索引的+1和-1訪問到該集合中的每一個元素，則該參考像素集合具有連通性。
[0052] 間斷點的定義為：如果某個索引為Μ的鄰近參考像素，該像素點與其一鄰域的索 引為Μ+1或Μ-1參考像素不屬于同一個集合，那么該點為間斷點。
[0053] 本發(fā)明還定義了邊界模式和最接近模式。邊界模式的定義為：如果一個幀內(nèi)預(yù)測 模式Μ及大于Μ的幀內(nèi)預(yù)測模式可以得到相同預(yù)測結(jié)果，而小于Μ的每一個幀內(nèi)預(yù)測模式 得到不相同的預(yù)測結(jié)果；或是Μ及小于Μ的所有幀內(nèi)預(yù)測模式可以得到相同的預(yù)測結(jié)果而 對于大于Μ所有的幀內(nèi)預(yù)測模式得到不同的預(yù)測結(jié)果，則幀內(nèi)預(yù)測模式Μ為邊界模式。最 接近模式為在只有兩個間斷點時，兩個間斷點所確定的方向相對應(yīng)的HEVC幀內(nèi)預(yù)測模式。 圖6為最接近模式和邊界模式的示意圖。
[0054] 上述步驟504中計算參考像素集合一和集合二的連通性和間斷點的具體過程如 下：
[0055] 先將圖6中的鄰近參考像素按左下、左、左上、上、右上的順序依次編號，其索引依 次記為1?4χΝ+1，其中Ν為當(dāng)前預(yù)測塊的寬度。記錄索引為0的鄰近參考像素所屬的集 合。按索引從小到大依次考慮每一個鄰近參考像素，如果鄰近參考像素與其前一個參考像 素不在同一個集合中，將該點標(biāo)記為間斷點，并記錄該點的索引。如果最終僅僅得到一個間 斷點，則參考像素集合一和參考像素集合二都具有連通性。如果最終得到了兩個間斷點，則 索引為1的元素所在的參考像素集合不具有連通性，而另一個參考像素集合具有連通性。 如果間斷點的個數(shù)大于等于2個，則兩個集合都不具有連通性。
[0056] 步驟505中，根據(jù)參考像素集合的連通性和間斷點的個數(shù)和位置，獲得有效的幀 內(nèi)預(yù)測模式（包含有效的楔形分割模式和深度模型模式）具體如下：
[0057] 1、當(dāng)鄰近參考像素的兩個集合，即集合一和集合二的間斷點個數(shù)大于4或等于3 時，將35種HEVC幀內(nèi)預(yù)測模式均設(shè)為有效的HEVC幀內(nèi)預(yù)測模式；將4種深度模型模式均 設(shè)為無效的幀內(nèi)預(yù)測模式。
[0058] 2、當(dāng)鄰近參考像素集合一和集合二都具有連通性時，即只有一個間斷點時，根據(jù) 間斷點的索引獲得有效的幀內(nèi)預(yù)測模式，一共有如下四種情況：
[0059] 1)當(dāng)間斷點位于左下即其索引為1?Ν時，邊界預(yù)測模式為從間斷點到當(dāng)前塊右 下角的方向?qū)?yīng)的HEVC幀內(nèi)預(yù)測模式。將HEVC幀內(nèi)預(yù)測模式2至邊界模式的所有HEVC 幀內(nèi)預(yù)測模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式；僅將深度模型模式中的區(qū)域邊界鏈?zhǔn)侥?式設(shè)為無效幀內(nèi)預(yù)測模式；僅將楔形分割模式的方向2設(shè)置有效的楔形分割模式方向。
[0060] 2)當(dāng)間斷點位于左和左上即其索引為N+1?2N+1時，邊界預(yù)測模式為從間斷點到 當(dāng)前塊左下角的方向?qū)?yīng)的HEVC幀內(nèi)預(yù)測模式。將HEVC幀內(nèi)預(yù)測模式2至邊界模式的所 有HEVC幀內(nèi)預(yù)測模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式，將所有的深度模型模式設(shè)為有效 中貞內(nèi)預(yù)測模式，將楔形分割模式的方向3和5設(shè)置為有效的楔形分割模式方向。
[0061] 3)當(dāng)間斷點位于上即索引為2N+2?3N+1時，邊界預(yù)測模式為從間斷點到當(dāng)前塊 的右上角方向?qū)?yīng)的HEVC幀內(nèi)預(yù)測模式。將邊界模式至幀內(nèi)預(yù)測模式34所有的HEVC幀 內(nèi)預(yù)測模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式；將所有的深度模型模式設(shè)為有效模式；將楔 形分割的方向1和4設(shè)置為有效的楔形分割模式方向。
[0062] 4)當(dāng)間斷點位于右上即其索引為3N+2?4N+1時，邊界模式為從間斷點到當(dāng)前 塊的右下的方向相對應(yīng)的HEVC幀內(nèi)預(yù)測模式。將邊界模式至幀內(nèi)預(yù)測模式34設(shè)置所有 的HEVC幀內(nèi)預(yù)測模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式，僅將深度模型模式中的區(qū)域邊界 模式設(shè)置為無效的深度模型模式，將楔形分割模式的方向2設(shè)置為有效的楔形分割模式方 向。
[0063] 3、當(dāng)兩個集合都僅有一個具有連通性即有兩個間斷點時，其中兩個間斷點都處于 左側(cè)（左下、左、左上）和上側(cè)（上和右上）將按照一個間斷點對應(yīng)的在上述情況2中的 1)?4)來獲得有效的幀內(nèi)預(yù)測模式。其中，對于兩個間斷點都位于左側(cè)的情況，在計算邊 界模式的時候?qū)凑账饕^大的間斷點計算；而對于兩個間斷點都位于上側(cè)的情況，在計 算邊界模式的時候?qū)凑账饕^小的間斷點計算。對于其他的兩個間斷點不在一側(cè)的情 況，又細(xì)分為如下4種情況 ：
[0064] 1)如果第一個間斷點位于左下即其索引為1?N，第二個間斷點位于上即索引為 2N+2?3N+1時，獲得方向為從索引小的間斷點到索引大的間斷點對應(yīng)的最接近模式。將獲 得最接近模式和其鄰近的兩個HEVC幀內(nèi)預(yù)測模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式；將四 種深度模型模式都設(shè)置為有效深度模型模式；將楔形分割模式方向〇和4設(shè)置為有效的楔 形分割模式的方向。
[0065] 2)如果一個間斷點位于左下即其索引為1?N，第二個間斷點位于右上即索引為 3N+2?4N+1時，獲得方向為從索引小的間斷點到索引大的間斷對應(yīng)的最接近模式。將獲得 的最接近模式和其鄰近的兩個HEVC幀內(nèi)預(yù)測模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式；僅將 四種深度模型模式的區(qū)域邊界鏈?zhǔn)皆O(shè)置為無效模式；將楔形分割模式方向2設(shè)置為有效的 楔形分割模式的方向。
[0066] 3)如果一個間斷點位于左即其索引為N+1?2N+2,第二個間斷點位于上即索引為 2N+2?3N+1時，獲得方向為從索引小的間斷點到索引大的間斷點的對應(yīng)的最接近模式。將 獲得的最接近模式和其鄰近的兩個HEVC幀內(nèi)預(yù)測模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式； 將四種深度模型模式都設(shè)置為有效模式；將楔形分割模式方向〇設(shè)置為有效的楔形分割模 式的方向。
[0067] 4)如果一個間斷點位于左即其索引為N+1?2N+1，第二個間斷點位于右上即索引 為3N+2?4N+1時，獲得方向為從索引小的間斷點到索引大的間斷對應(yīng)的最接近模式。將 獲得的最接近模式和其鄰近的兩個HEVC幀內(nèi)預(yù)測模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式； 將四種深度模型模式都設(shè)置為有效模式；將楔形分割模式方向〇和5設(shè)置為有效的楔形分 割模式的方向。
[0068] 4、當(dāng)兩個鄰近參考像素集合都不具有連通性且有且只有四個間斷點時，將35種 HEVC幀內(nèi)預(yù)測模式都設(shè)置為有效模式；僅將深度模型模式中的contour模式設(shè)置為有效模 式。
[0069] 此外，以上情況2到4中，為了得到更準(zhǔn)確的預(yù)測，本發(fā)明規(guī)定Planar、DC、幀內(nèi)預(yù) 測模式10 (水平方向）和幀內(nèi)預(yù)測模式26 (垂直方向），4種HEVC幀內(nèi)預(yù)測模式均設(shè)為有 效的HEVC的幀內(nèi)預(yù)測模式。
[0070] 本發(fā)明還提供一種3D視頻深度圖像幀內(nèi)預(yù)測模式選擇系統(tǒng)，如圖13所示，包括： 存儲模塊、計算模塊、參考像素獲取單元、有效模式判別模塊。模塊的功能和系統(tǒng)的工作過 程如下：
[0071] 所述存儲模塊，用于存儲當(dāng)前塊鄰近參考像素的像素值及索引、參考像素的分類 結(jié)果、間斷點的個數(shù)及位置、有效的HEVC的幀內(nèi)預(yù)測模式、有效的深度模型模式、有效的楔 形分割模式的方向、候選巾貞內(nèi)預(yù)測模式列表。
[0072] 所述計算模塊，用于計算參考像素的方差、K-mean算法實現(xiàn)參考像素的分類、鄰近 參考像素集合連通性的計算、哈達(dá)瑪變換、楔形分割模式的率失真代價、候選幀內(nèi)預(yù)測模式 列表中的候選幀內(nèi)預(yù)測模式的完整率失真代價。
[0073] 所述參考像素獲取單元，用于獲得當(dāng)前塊的左下、左、左上、上、右上的鄰近參考像 素值及其索引。
[0074] 所述有效模式判別模塊，用于根據(jù)參考像素集合的連通性和間斷點的位置得到有 效的巾貞內(nèi)模式、有效的楔形分割方向和有效的深度模型模式。
[0075] 所述3D視頻深度圖像幀內(nèi)預(yù)測模式選擇系統(tǒng)的工作過程如下：
[0076] 首先利用參考像素獲取模塊得到當(dāng)前塊鄰近參考像素值及其索引，并存儲到存儲 模塊。
[0077] 對于當(dāng)前塊，計算模塊計算存儲在存儲模塊上鄰近參考像素的方差。計算模塊將 當(dāng)前塊的鄰近參考像素通過K-mean算法分成兩類，并將分類的結(jié)果存儲到存儲模塊上。
[0078] 計算模塊根據(jù)存儲模塊中當(dāng)前塊的鄰近參考像素分類結(jié)果，計算得出鄰近參考像 素兩個集合的方差。并計算鄰近參考像素兩個集合的連通性和間斷點的位置并存儲到存儲 模塊。
[0079] 有效模式判別模塊將根據(jù)存儲模塊上的鄰近參考像素集合的連通性和間斷點的 位置，獲得有效的HEVC幀內(nèi)預(yù)測模式、有效的深度模型模式和有效的楔形分割模式的方 向，并將有效的幀內(nèi)預(yù)測模式、有效的深度模型模式和有效的楔形分割模式的方向存儲到 存儲模塊上。
[0080] 計算模塊計算有效的HEVC幀內(nèi)預(yù)測模式的哈達(dá)瑪變換，得到一定數(shù)目的候選幀 內(nèi)預(yù)測模式并存儲到存儲模塊。
[0081] 計算模塊計算存儲在存儲模塊中的有效楔形分割模式的方向上的所有楔形分割 模式的率失真代價，率失真代價最小的顯示楔形分割模式作為最優(yōu)的顯示楔形分割模式并 且存儲到存儲模塊。
[0082] 計算模塊計算存儲在存儲模塊上的有效的楔形分割模式的方向上的所有楔形分 割模式的率失真代價，得到最優(yōu)的隱式楔形分割模式并且存儲到存儲模塊。
[0083] 計算模塊計算存儲在存儲模塊上所有候選幀內(nèi)預(yù)測模式的完整率失真代價，選擇 率失真代價最小的候選幀內(nèi)預(yù)測模式為最優(yōu)的幀內(nèi)預(yù)測模式并存儲到存儲模塊。
[0084] 實施例
[0085] 為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下面結(jié)合實施例和附圖，對 本發(fā)明進一步詳細(xì)說明。
[0086] 進行深度圖像的幀內(nèi)預(yù)測過程中，需要獲取當(dāng)前塊左下、左、左上、上和右上的鄰 近參考像素值。本發(fā)明中，當(dāng)前塊的鄰近參考像素存儲在存儲單元的一個一維數(shù)組中，并按 從下到上、從左到右的順序進行順序編號，作為參考像素的索引。如圖7所示，為NxN的預(yù) 測塊的4*N+1參考像素和參考像素的索引，其中N等于8。
[0087] 本發(fā)明僅僅提出了深度圖像的幀內(nèi)預(yù)測模式選擇方法，沒有涉及到編碼單元的決 定，所以本發(fā)明的編碼單元的順序與現(xiàn)有的技術(shù)相同，即按之字（zig-zag)掃描的塊順序。 [0088] 本發(fā)明通過評估深度當(dāng)前塊的鄰近參考像素的平滑性，可以將深度當(dāng)前塊分為平 滑塊、邊界塊和其他塊。平滑塊的鄰近參考像素的方差小于某個閾值，其分布如圖8所示， 其鄰近參考像素緩慢變化或不變。對于平滑塊本發(fā)明只考慮適用于平滑區(qū)域的Planar和 SDC_Planar幀內(nèi)預(yù)測模式。而對于邊界塊，其鄰近參考像素可以分為方差都小于某個閾值 的兩個鄰近參考像素集合。對于邊界塊考慮深度圖像的銳利邊緣兩側(cè)均為平滑區(qū)域（像 素幾乎不變），將參考像素分成兩個集合。根據(jù)參考像素集合的分類結(jié)果，一共分為4種類 型情況，如圖9所示。由于同一個參考像素集合中的參考像素值差別不大，使得某些幀內(nèi) 模式的預(yù)測結(jié)果相同，所以本發(fā)明只需考慮預(yù)測結(jié)果不同的幀內(nèi)模式作為有效幀內(nèi)預(yù)測模 式。此外，當(dāng)前塊的參考像素的分布雖然不能決定深度模型模式中楔形分割模式（顯示和 隱式）的具體起始點，但是可以粗略地預(yù)測了深度楔形分割模式分割直線的大致方向。將 預(yù)測的楔形分割模式的方向設(shè)置為有效的楔形分割模式，減少候選的楔形分割模式數(shù)目， 加速了最優(yōu)的楔形分割模式和隱式楔形分割模式的選擇過程。
[0089] 本發(fā)明實施例對提出的3D視頻深度圖像幀內(nèi)預(yù)測模式選擇方法的性能進行了驗 證，將3D視頻深度圖像幀內(nèi)預(yù)測模式選擇方法整合到3D-HEVC的參考軟件HTM-8. 1中，并 且與標(biāo)準(zhǔn)的測試模型HTM-8. 1進行了比較。編碼參數(shù)設(shè)置如下：
[0090] 視頻序列分辨率：1092x1088、1024x768。
[0091] 測試幀類型：全I(xiàn)幀
[0092] 深度模型模式（DMM):開
[0093] 量化參數(shù)值：紋理圖像：25303540深度圖像：34394245
[0094] 簡化深度編碼（SDC):開
[0095] 環(huán)路濾波：關(guān)
[0096] 樣本自適應(yīng)補償濾波SA0 :關(guān)
[0097] 視角合成優(yōu)化VS0:開
[0098] 本實施例操作流程如圖10所示，具體步驟如下：
[0099] 步驟1001，判斷當(dāng)前塊塊的大小是否為4x4,如果判斷結(jié)果為是，則執(zhí)行標(biāo)準(zhǔn)的 3D-HEVC幀內(nèi)預(yù)測模式選擇方法，計算得到最優(yōu)的幀內(nèi)預(yù)測模式；否則，將執(zhí)行步驟602。 [0100] 步驟1002,利用參考像素獲取單元得到獲取當(dāng)前鄰近參考像素的一維數(shù)組T胃 +1， 并計算其方差Varall。
[0101] 步驟1〇〇3,判斷方差Varall是否小于一號門限值Threi ;如果判斷結(jié)果為是，則將 Planar和SDC_planar設(shè)為候選幀內(nèi)預(yù)測模式加入到存儲模塊中的有效幀內(nèi)預(yù)測模式列 表，執(zhí)行步驟1010 ;否則，執(zhí)行步驟1004
[0102] 步驟1004,利用2步K-mean方法將參考像素分成兩個集合標(biāo)記為SetK1和Set K2 ; 并計算集合SetK1和SetK2的方差，分別標(biāo)記為VarK1和Var K2。
[0103] 步驟1005,比較VarK1、VarK2與二號門限值Thre 2的大??；如果VarK1、VarK2不都小 于等于Thre2，則執(zhí)行標(biāo)準(zhǔn)3D-HEVC幀內(nèi)預(yù)測模式選擇方法，經(jīng)過計算得到最優(yōu)的幀內(nèi)預(yù)測 模式；否則執(zhí)行步驟1006。
[0104] 步驟1006,判斷集合SetK1和SetK2的連通性并且得到間斷點的索引。圖11所示 為參考像素的連通性和間斷點索引示例。判斷結(jié)果為Flag m和Flagui2。進一步的判斷過 程如下：
[0105] 1)將Flagm和Flagui2均設(shè)置為-1 ;定義一個初始化為-1的數(shù)組TindfOTbp[4*N+l] 用來存儲間斷點的索引。
[0106] 2)選取鄰近參考像素集合的第一個像素（索引為1)，記錄該像素屬于哪一個集 合。
[0107] 3)按參考像素的索引從小到大（從2到4N+1)的順序，依次考慮每一鄰近參考像 素的集合，如果該參考像素與前一個參考像素不屬于同一集合且該點的前一個像素不是間 斷點切，則將該點為間斷點并將其索引加入到數(shù)組T indfOTbp[4*N+l]中。
[0108] 4)如果TindfOTbp[4*N+l]中的元素個數(shù)等于1，兩個參考像素集合都具有連通性，將 Flagm和Flague均設(shè)置1。如果TindfOTbp[4*N+l]中的元素個數(shù)等于2,兩個參考像素集合 只有一個具有連通性，將Flag m設(shè)置1。如果TindfOTbp[4*N+l]中的元素個數(shù)大于2,兩個參 考像素集合的都不具有連通性，將Flag m和Flague均設(shè)置-1。
[0109] 步驟1007,根據(jù)兩個參考像素集合的聯(lián)通性Flagm和Flagm及間斷點的位置 Tindf?bp[4*N+l]和個數(shù)，得到有效的幀內(nèi)預(yù)測模式，包含如圖9所示4種情況 ：
[0110] 1)步驟1071，當(dāng)間斷點的個數(shù)大于4時，4種深度模型模式設(shè)置為無效模式。將 35種HEVC的幀內(nèi)預(yù)測模式設(shè)置為有效幀內(nèi)預(yù)測模式。繼續(xù)執(zhí)行步驟608。
[0111] 2)步驟1072,當(dāng)Flagm = 1和Flague = 1，兩個集合都具有連通性即只有一個間 斷點。根據(jù)間斷點的索引位置得到邊界預(yù)測模式Mode_T。間斷點的位置LocaT -共有4種 情況如圖12所示，并分別得到邊界幀內(nèi)預(yù)測模式Mode_T。當(dāng)間斷點的索引為1?N時，根 據(jù)間斷點的索引位置和邊界幀內(nèi)模式得到有效的HEVC幀內(nèi)預(yù)測模式、有效的深度模型模 式和有效的楔形分割模式的方向，具體詳見表1。繼續(xù)執(zhí)行步驟1008。
[0112] 表 1
[0113]

【權(quán)利要求】
1. 一種3D視頻深度圖像幀內(nèi)預(yù)測模式選擇方法，其特征在于，包括如下步驟： 步驟1 :判斷當(dāng)前預(yù)測塊的大小是否為4x4,如果判斷結(jié)果為是，則按照Test Model5幀 內(nèi)預(yù)測模式選擇方法進行幀內(nèi)預(yù)測模式選擇，獲取最優(yōu)的幀內(nèi)預(yù)測模式；如果判斷結(jié)果為 否，則執(zhí)行步驟2; 步驟2 :選取當(dāng)前塊的鄰近參考像素并計算其方差，判斷鄰近參考像素的方差是否小 于預(yù)設(shè)的一號門限值，如果判斷結(jié)果為是，則將前述的Planar模式和SDC_Planar模式加入 到候選幀內(nèi)預(yù)測模式列表，然后執(zhí)行步驟7 ;如果判斷結(jié)果是否，則執(zhí)行步驟3 ; 步驟3 :使用K-mean算法將鄰近參考像素進行分類，分成兩個集合，分別為集合一和集 合二；分別計算集合一和集合二的方差，比較兩個集合的方差與二號門限值的大小，如果兩 個參考像素集合的方差都小于二號門限值，則執(zhí)行步驟4 ;否則按照Test Model5幀內(nèi)預(yù)測 模式選擇方法進行幀內(nèi)預(yù)測模式選擇，獲取最優(yōu)的幀內(nèi)預(yù)測模式； 步驟4 :計算步驟3中獲得的參考像素集合一和集合二的連通性并記錄間斷點的個數(shù) 和位置； 步驟5 :根據(jù)參考像素集合一和集合二的連通性和間斷點的個數(shù)和位置，選擇有效的 HEVC幀內(nèi)預(yù)測模式、有效的深度模型模式以及有效的楔形分割模式的方向，然后執(zhí)行步驟 6 ； 步驟6 :判斷有效的HEVC幀內(nèi)預(yù)測模式數(shù)目是否小于標(biāo)準(zhǔn)的HEVC的粗略模式選擇過 程規(guī)定的候選幀內(nèi)預(yù)測模式數(shù)目，如果判斷結(jié)果為否，則進行HEVC的默認(rèn)粗略模式?jīng)Q定過 程，選擇一定數(shù)目的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表；如果判斷結(jié)果為是，則不 進行粗略模式?jīng)Q定過程，并將所有的有效HEVC的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式， 執(zhí)行步驟7 ; 步驟7:如果顯示楔形分割和隱式楔形分割模式為有效模式，在有效方向的楔形分割 模式中，計算獲得最優(yōu)的顯示楔形分割模式和隱式楔形分割模式并加入到候選幀內(nèi)預(yù)測模 式列表中；同時，如果區(qū)域邊界模式或contour模式為有效模式，將contour或邊界鏈?zhǔn)侥?式加入到候選幀內(nèi)預(yù)測模式列表； 步驟8 :對候選幀內(nèi)預(yù)測模式列表中的每一個候選幀內(nèi)預(yù)測模式進行完整率失真代價 的計算，選擇率失真代價最小的幀內(nèi)預(yù)測模式作為最優(yōu)的幀內(nèi)預(yù)測模式； 上述步驟中： 所述連通性為：對于任意一個鄰近參考像素集合，其任意給定的一個像素，如果可以通 過索引的+1和-1訪問到該集合中的每一個元素，則該參考像素集合具有連通性； 所述間斷點為：如果某個索引為Μ的鄰近參考像素，該像素點與其一鄰域的索引為M+1 或Μ-1參考像素不屬于同一個集合，那么該點為間斷點。
2. 如權(quán)利要求1所述的3D視頻深度圖像幀內(nèi)預(yù)測模式選擇方法，其特征在于，步驟4 中獲得參考像素集合一和集合二的連通性和間斷點的具體過程如下： 先將鄰近參考像素按左下、左、左上、上、右上的順序依次編號，其索引依次記為1? 4χΝ+1，其中Ν為當(dāng)前預(yù)測塊的寬度；記錄索引為0的鄰近參考像素所屬的集合；按索引從 小到大依次考慮每一個鄰近參考像素，如果鄰近參考像素與其前一個參考像素不在同一個 集合中，將該點標(biāo)記為間斷點，并記錄該點的索引；如果最終僅僅得到一個間斷點，則參考 像素集合一和參考像素集合二都具有連通性；如果最終得到了兩個間斷點，則索引為1的 元素所在的參考像素集合不具有連通性，而另一個參考像素集合具有連通性；如果間斷點 的個數(shù)大于等于2個，則兩個集合都不具有連通性。
3.如權(quán)利要求1所述的3D視頻深度圖像幀內(nèi)預(yù)測模式選擇方法，其特征在于，步驟5 中，獲得有效的幀內(nèi)預(yù)測模式的方法為： 3. 1當(dāng)鄰近參考像素素集合一和集合二的間斷點個數(shù)大于4或等于3時，將35種HEVC 幀內(nèi)預(yù)測模式均設(shè)為有效的HEVC幀內(nèi)預(yù)測模式；將4種深度模型模式均設(shè)為無效的幀內(nèi)預(yù) 測模式； 3. 2當(dāng)鄰近參考像素集合一和集合二都具有連通性時，根據(jù)間斷點的索引獲得有效的 幀內(nèi)預(yù)測模式，分別為如下四種情況： 1) 當(dāng)間斷點位于左下時，邊界預(yù)測模式為從間斷點到當(dāng)前塊右下角的方向?qū)?yīng)的 HEVC幀內(nèi)預(yù)測模式；將HEVC幀內(nèi)預(yù)測模式2至邊界模式的所有HEVC幀內(nèi)預(yù)測模式設(shè)置為 有效的HEVC幀內(nèi)預(yù)測模式；僅將深度模型模式中的區(qū)域邊界鏈?zhǔn)侥Ｊ皆O(shè)為無效幀內(nèi)預(yù)測 模式；僅將楔形分割模式的方向2設(shè)置有效的楔形分割模式方向； 2) 當(dāng)間斷點位于左和左上時，邊界預(yù)測模式為從間斷點到當(dāng)前塊左下角的方向?qū)?yīng)的 HEVC幀內(nèi)預(yù)測模式；將HEVC幀內(nèi)預(yù)測模式2至邊界模式的所有HEVC幀內(nèi)預(yù)測模式設(shè)置為 有效的HEVC幀內(nèi)預(yù)測模式，將所有的深度模型模式設(shè)為有效幀內(nèi)預(yù)測模式，將楔形分割模 式的方向3和5設(shè)置為有效的楔形分割模式方向； 3) 當(dāng)間斷點位于上時，邊界預(yù)測模式為從間斷點到當(dāng)前塊的右上角方向?qū)?yīng)的HEVC 幀內(nèi)預(yù)測模式；將邊界模式至幀內(nèi)預(yù)測模式34所有的HEVC幀內(nèi)預(yù)測模式設(shè)置為有效的 HEVC幀內(nèi)預(yù)測模式；將所有的深度模型模式設(shè)為有效模式；將楔形分割的方向1和4設(shè)置 為有效的楔形分割模式方向； 4) 當(dāng)間斷點位于右上時，邊界模式為從間斷點到當(dāng)前塊的右下的方向相對應(yīng)的HEVC 幀內(nèi)預(yù)測模式；將邊界模式至幀內(nèi)預(yù)測模式34設(shè)置所有的HEVC幀內(nèi)預(yù)測模式設(shè)置為有效 的HEVC幀內(nèi)預(yù)測模式，僅將深度模型模式中的區(qū)域邊界模式設(shè)置為無效的深度模型模式， 將楔形分割模式的方向2設(shè)置為有效的楔形分割模式方向； 3. 3當(dāng)兩個集合都僅有一個具有連通性時，其中兩個間斷點都處于左側(cè)和上側(cè)，則按照 一個間斷點對應(yīng)的在上述情況3. 2中的1)至4)來獲得有效的幀內(nèi)預(yù)測模式；其中，對于兩 個間斷點都位于左側(cè)的情況，在計算邊界模式的時候?qū)凑账饕^大的間斷點計算；對于 兩個間斷點都位于上側(cè)的情況，在計算邊界模式的時候?qū)凑账饕^小的間斷點計算；對 于其他兩個間斷點不在一側(cè)的情況，分為如下4種情況 ： 1) 如果第一個間斷點位于左下，第二個間斷點位于上時，獲得方向為從索引小的間斷 點到索引大的間斷點對應(yīng)的最接近模式；將獲得最接近模式和其鄰近的兩個HEVC幀內(nèi)預(yù) 測模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式；將四種深度模型模式都設(shè)置為有效深度模型模 式；將楔形分割模式方向〇和4設(shè)置為有效的楔形分割模式的方向； 2) 如果一個間斷點位于左下，第二個間斷點位于右上時，獲得方向為從索引小的間斷 點到索引大的間斷對應(yīng)的最接近模式；將獲得的最接近模式和其鄰近的兩個HEVC幀內(nèi)預(yù) 測模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式；僅將四種深度模型模式的區(qū)域邊界鏈?zhǔn)皆O(shè)置為 無效模式；將楔形分割模式方向2設(shè)置為有效的楔形分割模式的方向； 3) 如果一個間斷點位于左，第二個間斷點位于上時，獲得方向為從索引小的間斷點到 索引大的間斷點的對應(yīng)的最接近模式；將獲得的最接近模式和其鄰近的兩個HEVC幀內(nèi)預(yù) 測模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式；將四種深度模型模式都設(shè)置為有效模式；將楔形 分割模式方向〇設(shè)置為有效的楔形分割模式的方向； 4)如果一個間斷點位于左，第二個間斷點位于右上時，獲得方向為從索引小的間斷點 到索引大的間斷對應(yīng)的最接近模式；將獲得的最接近模式和其鄰近的兩個HEVC幀內(nèi)預(yù)測 模式設(shè)置為有效的HEVC幀內(nèi)預(yù)測模式；將四種深度模型模式都設(shè)置為有效模式；將楔形分 割模式方向〇和5設(shè)置為有效的楔形分割模式的方向； 3. 4當(dāng)兩個鄰近參考像素集合都不具有連通性且只有四個間斷點時，將35種HEVC幀內(nèi) 預(yù)測模式都設(shè)置為有效模式；僅將深度模型模式中的contour模式設(shè)置為有效模式； 上述過程中： 所述邊界模式為：如果一個幀內(nèi)預(yù)測模式Μ及大于Μ的幀內(nèi)預(yù)測模式可以得到相同預(yù) 測結(jié)果，而小于Μ的每一個幀內(nèi)預(yù)測模式得到不相同的預(yù)測結(jié)果；或者是Μ及小于Μ的所有 幀內(nèi)預(yù)測模式可以得到相同的預(yù)測結(jié)果而對于大于Μ所有的幀內(nèi)預(yù)測模式得到不同的預(yù) 測結(jié)果，則幀內(nèi)預(yù)測模式Μ為邊界模式； 所述最接近模式為：在只有兩個間斷點時，兩個間斷點所確定的方向相對應(yīng)的HEVC幀 內(nèi)預(yù)測模式。
4. 如權(quán)利要求3所述的3D視頻深度圖像幀內(nèi)預(yù)測模式選擇方法，其特征在于，在3. 2 到3. 4中，設(shè)定Planar、DC、幀內(nèi)預(yù)測模式10、幀內(nèi)預(yù)測模式26、4種HEVC幀內(nèi)預(yù)測模式均 為有效的HEVC的幀內(nèi)預(yù)測模式。
5. -種3D視頻深度圖像幀內(nèi)預(yù)測模式選擇系統(tǒng)，其特征在于，包括存儲模塊、計算模 塊、參考像素獲取單元、有效模式判別模塊； 所述存儲模塊，用于存儲當(dāng)前塊鄰近參考像素的像素值及索引、參考像素的分類結(jié)果、 間斷點的個數(shù)及位置、有效的HEVC的幀內(nèi)預(yù)測模式、有效的深度模型模式、有效的楔形分 割模式的方向、候選巾貞內(nèi)預(yù)測模式列表； 所述計算模塊，用于計算參考像素的方差、K-mean算法實現(xiàn)參考像素的分類、鄰近參考 像素集合連通性的計算、哈達(dá)瑪變換、楔形分割模式的率失真代價、候選幀內(nèi)預(yù)測模式列表 中的候選幀內(nèi)預(yù)測模式的完整率失真代價； 所述參考像素獲取單元，用于獲得當(dāng)前塊的左下、左、左上、上、右上的鄰近參考像素值 及其索引； 所述有效模式判別模塊，用于根據(jù)參考像素集合的連通性和間斷點的位置得到有效的 中貞內(nèi)模式、有效的楔形分割方向和有效的深度模型模式。
6. 如權(quán)利要求5所述的3D視頻深度圖像幀內(nèi)預(yù)測模式選擇系統(tǒng)，其特征在于， 利用參考像素獲取模塊得到當(dāng)前塊鄰近參考像素值及其索引，并存儲到存儲模塊； 對于當(dāng)前塊，計算模塊計算存儲在存儲模塊上鄰近參考像素的方差；計算模塊將當(dāng)前 塊的鄰近參考像素通過K-mean算法分成兩類，并將分類的結(jié)果存儲到存儲模塊上； 計算模塊根據(jù)存儲模塊中當(dāng)前塊的鄰近參考像素分類結(jié)果，計算得出鄰近參考像素兩 個集合的方差。并計算鄰近參考像素兩個集合的連通性和間斷點的位置并存儲到存儲模 塊； 有效模式判別模塊將根據(jù)存儲模塊上的鄰近參考像素集合的連通性和間斷點的位置， 獲得有效的HEVC幀內(nèi)預(yù)測模式、有效的深度模型模式和有效的楔形分割模式的方向，并將 有效的幀內(nèi)預(yù)測模式、有效的深度模型模式和有效的楔形分割模式的方向存儲到存儲模塊 上； 計算模塊計算有效的HEVC幀內(nèi)預(yù)測模式的哈達(dá)瑪變換，得到一定數(shù)目的候選幀內(nèi)預(yù) 測模式并存儲到存儲模塊； 計算模塊計算存儲在存儲模塊中的有效楔形分割模式的方向上的所有楔形分割模式 的率失真代價，率失真代價最小的顯示楔形分割模式作為最優(yōu)的顯示楔形分割模式并且存 儲到存儲模塊； 計算模塊計算存儲在存儲模塊上的有效的楔形分割模式的方向上的所有楔形分割模 式的率失真代價，得到最優(yōu)的隱式楔形分割模式并且存儲到存儲模塊； 計算模塊計算存儲在存儲模塊上所有候選幀內(nèi)預(yù)測模式的完整率失真代價，選擇率失 真代價最小的候選幀內(nèi)預(yù)測模式為最優(yōu)的幀內(nèi)預(yù)測模式并存儲到存儲模塊。
【文檔編號】H04N19/597GK104125473SQ201410375122
【公開日】2014年10月29日 申請日期:2014年7月31日 優(yōu)先權(quán)日:2014年7月31日
【發(fā)明者】伏長虹, 張洪彬, 蘇衛(wèi)民 申請人:南京理工大學(xué)