一種3d視頻深度圖像幀內(nèi)楔形分割模式選擇方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提出一種3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法及系統(tǒng)。首先計算預(yù)測塊分割區(qū)域的方差，通過方差來判斷分割區(qū)域的平滑程度，粗略決定最優(yōu)顯示楔形分割模式銳利邊緣的大致區(qū)域，在包含銳利邊緣的分割區(qū)域所對應(yīng)的顯示楔形分割模式子集中，計算最優(yōu)顯示楔形分割模式；其次使用最大可能模式的鄰近幀內(nèi)預(yù)測模式組成最大可能模式鄰近幀內(nèi)預(yù)測模式集合來預(yù)測當前深度的預(yù)測模式，通過判斷紋理對應(yīng)塊的角度模式是否包含在最大可能模式鄰近幀內(nèi)預(yù)預(yù)測模式集中，決定結(jié)構(gòu)失配是否發(fā)生，進而判斷是否跳過隱式楔形分割模式的計算。本發(fā)明能夠在保證合成視角中視頻質(zhì)量的前提下提高深度圖像幀內(nèi)楔形分割模式的編碼速度，降低計算復雜度。
【專利說明】一種3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視頻編解碼【技術(shù)領(lǐng)域】，具體涉及一種3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法及系統(tǒng)。
【背景技術(shù)】
[0002]2013年I月聯(lián)合視頻開發(fā)組發(fā)布了新一代國際視頻編碼標準HEVC，也稱為H.265。HEVC適應(yīng)了高清視頻的發(fā)展需求，同時在提高并行計算和適應(yīng)移動網(wǎng)絡(luò)方面進行了改進。與上一代的視頻編碼標準H.264相比，新標準HEVC在得到相同視頻質(zhì)量的情況下，可以減少約50%的碼率。目前，聯(lián)合視頻開發(fā)組正致力于HEVC的優(yōu)化和擴展標準的制定，包括高保真的擴展、多視點視頻編碼標準的MV-HEVC、可伸縮視頻編碼標準的MFC-HEVC、3D視頻編碼標準的3D-HEVC。其中，3D-HEVC的標準化工作已經(jīng)接近尾聲，并且將于2015年初作為HEVC最重要的擴展標準對外發(fā)布。3D-HEVC標準采用了多視點加深度圖像的(Multiple-view plus depth)的視頻格式,深度圖像用來表示物體距離攝像機的距離，而自然圖像被稱為紋理圖像。多視點加深度圖像的視頻究其本質(zhì)仍為多視點視頻。因此，3D-HEVC標準的制定采納了多視點的編碼結(jié)構(gòu)并且直接引入了多視點視頻編碼的一些成熟編碼技術(shù)。
[0003]深度圖像和自然視頻圖像有很大的不同，主要體現(xiàn)在三個方面:1)深度圖像的大部分為平滑區(qū)域；2)深度圖像只有很少的物體邊緣，但這些有限的物體邊緣要比自然圖像的物體邊緣銳利；3)深度圖像并不是用來直接觀看，而是用來合成虛擬中間視角，深度圖像中物體邊緣的失真將在合成的虛擬中間視角中引入振鈴效應(yīng)，降低視頻的主觀質(zhì)量。基于前述三方面的不同特點，保留深度圖像中物體的邊緣成為深度圖像編碼的重要工作內(nèi)容之一。為了最大限度的保留深度圖像的銳利邊緣，“3D-HEVCTeStM0del5”，( “L.Zhang，G.Tech, K.ffegner, S.Yea, ITU-T SG 16 WP 3 and IS0/IEC JTC 1/SC 29/WG 11，JCT3V-E1005, 5thMeeting:Vienna, AT, 27Jul.- 2Aug.2013”)一文中所述的3D-HEVC測試模型引入四種新的深度模型模式:顯示楔形分割模式、隱式楔形分割模式、contour分割模式、邊界鏈式分割模式。其中，楔形分割模式(包括顯示和隱式)的分割方式如圖1所示，圖1包含了連續(xù)時的楔形分割、離散時的楔形分割和最終的楔形分割模式。楔形分割模式用起點為S、終點為E的一條直線將預(yù)測塊分割為Pl和P2兩個部分。3D-HEVC測試模型“3D-HEVC Test Model5”，( “L.Zhang, G.Tech, K.ffegner, S.Yea, ITU-T SG 16 WP 3 and IS0/IEC JTC 1/SC 29/WG11，JCT3V-E1005, 5th Meeting:Vienna, AT, 27Jul.- 2Aug.2013”) 一文中，基于上述新的深度模型模式提出了一種對深度幀內(nèi)預(yù)測模式進行選擇的方法，該方法如圖2所示，包含以下步驟:
[0004]步驟201，計算當前塊的35種HEVC幀內(nèi)預(yù)測模式(如圖3所示)的哈達瑪變換系數(shù)絕對值和(SATD);在35種HEVC幀內(nèi)預(yù)測模式中，根據(jù)SATD選擇一定數(shù)目的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表，其中，大小為4x4和8x8的預(yù)測塊各選擇8個幀內(nèi)預(yù)測模式；大小為16xl6、32x32和64x64的預(yù)測塊各選擇3個幀內(nèi)預(yù)測模式；[0005]步驟202，選取當前塊的左側(cè)和上側(cè)鄰近塊的幀內(nèi)預(yù)測模式，得到最大可能模式(MPM)，將MPM中的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表；
[0006]步驟203，在深度圖像對應(yīng)塊中，在顯示楔形分割模式集中，計算每一個顯示楔形分割模式的率失真代價，選擇率失真代價最小的楔形分割模式作為最優(yōu)的顯示楔形分割模式并加入到候選幀內(nèi)預(yù)測模式列表；
[0007]步驟204，在紋理圖像對應(yīng)塊中，計算隱式楔形分割模式集中每一個隱式楔形分割模式的率失真代價，選擇率失真代價最小的楔形分割模式作為最優(yōu)的隱式楔形分割模式并加入到候選幀內(nèi)預(yù)測模式列表；其中，隱式楔形分割模式集為顯示楔形分割模式集的子集；隱式楔形分割模式集包為紋理對應(yīng)塊的幀內(nèi)預(yù)測模式相對應(yīng)的楔形分割模式集；
[0008]步驟205，將contour分割模式和邊界鏈式分割模式加入到候選幀內(nèi)預(yù)測模式列表;
[0009]步驟206，計算上述候選幀內(nèi)預(yù)測模式列表中每個幀內(nèi)預(yù)測模式的完整率失真代價，選擇率失真最小的幀內(nèi)預(yù)測模式作為當前塊最優(yōu)的幀內(nèi)預(yù)測模式。
[0010]在上述幀內(nèi)楔形分割模式選擇方法中的步驟203和204中，需要計算楔形分割模式集中所有楔形分割模式的率失真代價。這種遍歷計算率失真代價的模式選擇方法使得計算復雜度高，尤其對于比較大的預(yù)測塊，例如32x32和16x16的預(yù)測塊，都包含1000多種楔形分割模式，這就需要計算1000多次率失真代價，使得深度圖像的幀內(nèi)編碼時間約為自然圖像幀內(nèi)編碼的10倍，造成當前的計算機的計算能力很難實現(xiàn)3D視頻的實時應(yīng)用。
[0011]為此，已經(jīng)開展許多相關(guān)研究來提高深度圖像的編碼效率。德國的HHI研究所在 “Simplified Wedgelet search for DMM modes I and 3，” (ITU-T SG 16 WP 3 and IS0/IECJTC 1/SC 29/WG 11，Doc, JCT3V-B0039, Shanghai, China) —文中提出 了一種二步搜索最優(yōu)楔形分割模式的方法。該方法先在兩倍像素域上得到次最優(yōu)楔形分割模式，然后在次最優(yōu)的楔形分割模式的鄰近2個像素尋找最優(yōu)的楔形分割模式。該方法已經(jīng)被3D-HEVC標準測試模型采納，可以通過配置編碼參數(shù)項FMD使用該方法。此外，華為公司在“Fast DepthModeling Mode Select1n For3D Hevc Depth Intra Coding，，(Z.Y.Gu, J.H.Zheng, N.Ling andP.Zhang, IEEE internat1nal conference on ICMEff, San Jose, CA, July2013, pp.1-4) 一文中提出了一種利用粗略模式?jīng)Q定(RMD)候選列表中的Planar模式衡量預(yù)測塊的平滑程度，從而來決定是否進行深度模型模式的快速方法。該方法同樣被3D-HEVC的標準測試模型采納。雖然，上述兩種楔形分割模式快速選擇方法加入到了 3D-HEVC的測試模型，但是其深度圖像的幀內(nèi)編碼時間仍為紋理圖像的5倍之多。很顯然，上述這些技術(shù)仍然很難到達實時應(yīng)用的要求，需要進一步對深度幀內(nèi)模型模式編碼效率進行優(yōu)化。在此基礎(chǔ)上，申請?zhí)枮?01310169728.2的中國專利申請公開了一種基于深度圖像的幀內(nèi)預(yù)測楔形分塊方法，該方法通過利用粗略模式?jīng)Q定(RMD)中幀內(nèi)角度預(yù)測模式和楔形分割模式的紋理相關(guān)性，只在粗略模式的第一個幀內(nèi)角度預(yù)測模式所對應(yīng)的楔形分割模式子集中選擇最優(yōu)楔形分割，從而減少了需要計算RDO的楔形分割模式數(shù)目，進一步提高了編碼效率，但是該技術(shù)未考慮當前塊的銳利邊緣的分布，僅考慮紋理的方向無法準確得到與物體邊緣匹配的最優(yōu)楔形分割模式，該方法在降低編碼復雜程度的同時增加了碼率。換言之，該方法在相同碼率下，視頻圖像的質(zhì)量下降較為嚴重。
【發(fā)明內(nèi)容】

[0012]本發(fā)明提出一種3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法及系統(tǒng)，能夠在保證合成視角中視頻質(zhì)量的前提下提高深度圖像幀內(nèi)楔形分割模式的編碼速度，降低計算復雜度。
[0013]為了解決上述技術(shù)問題，本發(fā)明提供一種3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法，包括以下步驟:
[0014]步驟1:計算當前塊的35種HEVC幀內(nèi)預(yù)測模式的哈達瑪變換系數(shù)絕對值和；根據(jù)所述哈達瑪變換系數(shù)絕對值和選擇一定數(shù)目的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表;
[0015]步驟2:選取當前塊的左側(cè)和上側(cè)鄰近塊的幀內(nèi)預(yù)測模式，得到最大可能模式，將所述最大可能模式中的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表；
[0016]步驟3:在深度圖像對應(yīng)塊中，選取最優(yōu)的顯示楔形分割模式并加入到候選幀內(nèi)預(yù)測模式列表；
[0017]步驟4:選取當前塊左側(cè)和上側(cè)鄰近塊的幀內(nèi)預(yù)測模式，組成最大可能模式，判斷該最大可能模式中的幀內(nèi)預(yù)測模式是否為幀內(nèi)角度預(yù)測模式，
[0018]如果最大可能模式中的幀內(nèi)預(yù)測模式都不是幀內(nèi)角度預(yù)測模式，則繼續(xù)步驟5 ；
[0019]如果最大可能模式中的幀內(nèi)預(yù)測模式中包含有幀內(nèi)角度預(yù)測模式，則在紋理圖像對應(yīng)塊中，判斷紋理塊和深度塊是否存在結(jié)構(gòu)失配，如果存在結(jié)構(gòu)失配，則繼續(xù)步驟5 ;如果不存在結(jié)構(gòu)失配，則計算最優(yōu)隱式楔形分割模式并加入到候選幀內(nèi)預(yù)測模式集；
[0020]步驟5:將contour分割模式和邊界鏈式分割模式加入到候選幀內(nèi)預(yù)測模式列表;
[0021]步驟6:選擇上述候選幀內(nèi)預(yù)測模式列表中率失真最小的幀內(nèi)預(yù)測模式作為當前塊最優(yōu)的幀內(nèi)預(yù)測模式。
[0022]本發(fā)明還提供一種實現(xiàn)所述3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法的系統(tǒng)，包括計算模塊、存儲模塊和對應(yīng)紋理塊獲取模塊；
[0023]所述存儲模塊用于存儲:四種塊分割方式；每一種塊分割方式對應(yīng)的兩個塊分割區(qū)域；每個塊分割區(qū)域?qū)?yīng)的楔形分割模式子集；最優(yōu)楔形分割模式和最優(yōu)隱式楔形分割模式；候選幀內(nèi)模式列表；最大可能模式的鄰近幀內(nèi)角度預(yù)測模式集；
[0024]所述計算模塊用于進行下列計算:每個塊分割區(qū)域?qū)?yīng)的楔形分割模式子集；當前塊分割區(qū)域的方差；每個楔形分割的最優(yōu)楔形分割模式；在楔形分割模式子集中，獲取最優(yōu)的楔形分割模式；獲取候選幀內(nèi)預(yù)測模式列表中的每個模式完整的率失真代價；
[0025]所述紋理對應(yīng)塊獲取模塊，用于獲得當前深度塊對應(yīng)位置的紋理圖像對應(yīng)塊的像素值和幀內(nèi)預(yù)測模式。
[0026]本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點在于:(I)本發(fā)明考慮當前塊中區(qū)域的方差，粗略得到了銳利邊緣的分布區(qū)域，只在銳利邊緣所在分布區(qū)域?qū)?yīng)的楔形分割模式子集中選擇最優(yōu)的楔形分割，沒有盲目地計算所有顯示楔形分割模式的率失真代價來獲得最優(yōu)顯示楔形分割模式，減少了計算率失真代價的次數(shù)；(2)本發(fā)明將紋理圖像對應(yīng)塊的幀內(nèi)角度預(yù)測模式是否包含在當前塊的最大模式的鄰近模式作為判斷當前塊和紋理對應(yīng)塊結(jié)構(gòu)失配的條件，當當前塊和紋理圖像對應(yīng)塊存在結(jié)構(gòu)失配問題時，即使計算得到最優(yōu)的隱式楔形分割并加入到候選幀內(nèi)預(yù)測模式列表，在接下來對候選幀內(nèi)預(yù)測模式列表中的幀內(nèi)預(yù)測模式進行完整的率失真模式的計算時，也不會將隱式楔形分割模式選擇為最優(yōu)的幀內(nèi)預(yù)測模式，所以當前塊和紋理圖像對應(yīng)塊存在失配問題時，將不執(zhí)行隱式楔形分割模式，即不會進行最優(yōu)的楔形分割模式的計算，也就沒有隱式的楔形分割模式加入到候選的楔形分割模式集；(3)基于上述改進，本發(fā)明減少了需要計算最優(yōu)隱式楔形分割的預(yù)測塊數(shù)，從而提高了編碼效率，同時由于考慮了深度圖像和紋理圖像的結(jié)構(gòu)失配，不進行隱式最優(yōu)模式計算的預(yù)測塊將對深度圖像的邊緣沒有任何影響，從而保證了合成視角中圖像的質(zhì)量。
【專利附圖】

【附圖說明】
[0027]圖1是【背景技術(shù)】中所述楔形分割模式的分割方式，其中(a)為連續(xù)時楔形分割方式示意圖，(b)離散時楔形分割方式示意圖，(C)為最終的楔形分割模式。
[0028]圖2是【背景技術(shù)】中所述3D-HEVC的深度幀內(nèi)模式選擇流程示意圖。
[0029]圖3是【背景技術(shù)】所述HEVC的35種幀內(nèi)預(yù)測模式示意圖。
[0030]圖4是本發(fā)明3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法流程示意圖。
[0031]圖5是本發(fā)明3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法中預(yù)設(shè)的四種塊分割方式及區(qū)域示意圖，包括:45度斜對角分割方式、135斜對角分割方式、垂直等分割方式、水平等分割方式塊分割方式。
[0032]圖6本發(fā)明3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法中選取最優(yōu)顯示楔形分割模式的方法示意圖。
[0033]圖7本發(fā)明3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法中4x4塊分割區(qū)域?qū)?yīng)的楔形分割模式集和非區(qū)域楔形分割模式子集，其中，(a)為45度斜對角分割區(qū)域一對應(yīng)的楔形分割模式集，(b)為45度斜對角分割區(qū)域二對應(yīng)的楔形分割模式集，(c)為135度斜對角分割區(qū)域一對應(yīng)的楔形分割模式集，(d)為135度斜對角分割區(qū)域二對應(yīng)的楔形分割模式集；(e)為垂直分割區(qū)域一對應(yīng)的楔形分割模式集，(f)為垂直分割區(qū)域二對應(yīng)的楔形分割模式集，(g)為水平分割區(qū)域二對應(yīng)的楔形分割模式集，(h)為非區(qū)域分割的楔形分割模式子集，(i)為等分割楔形分割模式集。
[0034]圖8本發(fā)明3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法中隱式楔形快速選擇方法流程圖。
[0035]圖9本發(fā)明3D視頻深度圖像幀內(nèi)楔形分割模式選擇系統(tǒng)結(jié)構(gòu)示意圖。
【具體實施方式】
[0036]本發(fā)明的創(chuàng)新思路是，深度圖像的特殊性質(zhì)之一是深度圖像的大部分區(qū)域是平坦區(qū)域并且這些平坦區(qū)域被銳利的邊緣所分割。很顯然，楔形分割塊的兩個分割區(qū)域之間的像素值差異必然很大，而在兩個分割區(qū)域內(nèi)部，各自的深度像素值幾乎不變。根據(jù)上述深度圖像和楔形分割塊的特性，如果首先計算預(yù)測塊預(yù)先定義的分割區(qū)域的方差，通過方差來判斷預(yù)先定義的分割區(qū)域的平滑程度，進而可以粗略決定最優(yōu)顯示楔形分割模式銳利邊緣的大致區(qū)域。在包含銳利邊緣的分割區(qū)域所對應(yīng)的顯示楔形分割模式子集中，計算得到最優(yōu)的顯示楔形分割模式。
[0037]對于隱式的楔形分割模式，如果紋理圖像和深度圖像存在結(jié)構(gòu)的失配問題，那么即使遍歷了所有的隱式楔形分割模式，也無法從紋理塊中得到當前深度塊的最優(yōu)隱式楔形分割的描述。這就意味著當紋理塊和深度塊存在結(jié)構(gòu)失配問題時，沒有必要進行隱式楔形模式的計算。當前塊的最大可能模式可以很好地預(yù)測當前塊的幀內(nèi)預(yù)測模式。為了提高預(yù)測的準確度，可以利用最大可能模式的鄰近模式組成最大可能模式鄰近模式集合來預(yù)測當前深度的預(yù)測模式。通過判斷紋理對應(yīng)塊的角度模式是否包含在鄰近角度預(yù)測模式集中，決定失配問題是否發(fā)生，進而判斷是否跳過隱式楔形分割模式的計算。
[0038]本發(fā)明基于上述發(fā)明思路提出的3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法，對3D視頻中深度圖像的進行楔形分割模式的快速選擇，其中楔形分割模式的選擇包含顯示楔形分割模式的選擇和隱式楔形分割模式的選擇；然后將選擇的最優(yōu)顯示楔形分割模式和隱式楔形分割模式加入到候選幀內(nèi)預(yù)測模式列表；進一步地計算候選幀內(nèi)預(yù)測模式列表中的幀內(nèi)預(yù)測模式的完整率失真代價，最終根據(jù)完整率失真代價，得到最優(yōu)的幀內(nèi)預(yù)測模式。具體如圖4所示，包括以下步驟:
[0039]步驟401:計算當前塊的35種HEVC幀內(nèi)預(yù)測模式的哈達瑪變換系數(shù)絕對值和；根據(jù)所述哈達瑪變換系數(shù)絕對值和選擇一定數(shù)目的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表；
[0040]步驟402:選取當前塊的左側(cè)和上側(cè)鄰近塊的幀內(nèi)預(yù)測模式，得到最大可能模式(MPM)，將所述最大可能模式中的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表；
[0041]步驟403:在深度圖像對應(yīng)塊中，選取最優(yōu)的顯示楔形分割模式并加入到候選幀內(nèi)預(yù)測模式列表；
[0042]步驟404:選取當前塊左側(cè)和上側(cè)鄰近塊的幀內(nèi)預(yù)測模式，組成最大可能模式(MPM)，判斷該最大可能模式MPM中的幀內(nèi)預(yù)測模式是否為幀內(nèi)角度預(yù)測模式，并根據(jù)判斷結(jié)果決定是否進行隱式楔形分割模式選擇，具體為:
[0043]如果最大可能模式MPM中的幀內(nèi)預(yù)測模式都不是幀內(nèi)角度預(yù)測模式，則不再進行隱式楔形分割模式選擇，并進入步驟405 ；
[0044]如果最大可能模式MPM中的幀內(nèi)預(yù)測模式中包含有幀內(nèi)角度預(yù)測模式，則在紋理圖像對應(yīng)塊中，判斷紋理塊和深度塊是否存在結(jié)構(gòu)失配，如果存在結(jié)構(gòu)失配，則不再進行隱式楔形分割模式的選擇，并進入步驟405 ;如果不存在結(jié)構(gòu)失配，則按照3D-HEVC標準中所述的方法計算獲得最優(yōu)的隱式楔形分割模式并加入到候選幀內(nèi)預(yù)測模式集；
[0045]步驟405:將contour分割模式和邊界鏈式分割模式加入到候選幀內(nèi)預(yù)測模式列表;
[0046]步驟406:選擇上述候選幀內(nèi)預(yù)測模式列表中率失真最小的幀內(nèi)預(yù)測模式作為當前塊最優(yōu)的幀內(nèi)預(yù)測模式。
[0047]上述步驟403中所述選取最優(yōu)顯示楔形分割模式的方法，包含以下步驟:
[0048]步驟4031:定義四種塊分割方式，每一種塊分割方式對應(yīng)兩個分割區(qū)域，一共有八個分割區(qū)域，每種分割方式對應(yīng)的兩個分割區(qū)域分別被稱為第一區(qū)域和第二區(qū)域。如圖5所示，如圖5所示，所述四種塊分割方式為:45度斜對角分割方式、135斜對角分割方式、垂直等分割方式、水平等分割方式；四種塊分割方式對應(yīng)的八種分割區(qū)域:左上部、右下部；右上部、左下部；左半部、右半部；上半部、下半部。其中，左上部、右上部、左半部、上半部為其對應(yīng)的分割方式的第一區(qū)域；右下部、左下部、右半部、下半部為其對應(yīng)的分割方式的第二區(qū)域。在楔形分割模式集中選取出每個分割區(qū)域各自對應(yīng)的楔形分割模式組成每個分割區(qū)域各自對應(yīng)的楔形分割模式子集，將楔形分割模式集中剩余的楔形分割模式組成非區(qū)域分割模式子集，非區(qū)域分割模式子集的元素為不包含在上述八個分割區(qū)域?qū)?yīng)的楔形分割子集中的楔形分割模式；楔形分割模式集和非區(qū)域楔形分割模式子集如圖7所示；將當前分割方式初始化為45度斜對角分割方式；
[0049]步驟4032:獲取當前分割方式的最優(yōu)楔形分割模式或獲取最優(yōu)的楔形分割模式子集，具體為:針對當前塊，計算選定的塊分割方式對應(yīng)的兩個分割區(qū)域的像素值方差，根據(jù)像素值方差估計兩個分割區(qū)域的平坦程度，從而判斷分割直線的大致區(qū)域，即將兩個分割區(qū)域的像素值方差與預(yù)設(shè)的門限值進行比較，判斷當前塊的銳利邊緣的大致區(qū)域，即深度像素區(qū)域信息，判斷方法為:
[0050]設(shè)兩個分割區(qū)域的像素值方差分別為Varjjl和Var p2，
[0051]I)當Varjjl和Var p2都小于或等于預(yù)設(shè)門限值時，說明了兩個區(qū)域都很平滑，那么分割直線為當前塊分割方式的分割直線，則將當前的塊分割方式作為最優(yōu)的楔形分割模式，并加入到候選幀內(nèi)預(yù)測模式列表；
[0052]2)當Var pl大于預(yù)設(shè)門限值而Varjj2小于或等于預(yù)設(shè)門限值時，說明了當前分割方式的第二區(qū)域為平坦區(qū)域，而當前分割方式的第一區(qū)域為非平坦區(qū)域，楔形分割直線必然在當前分割方式的第一分割區(qū)域，則將當前分割方式中第二區(qū)域相對應(yīng)的楔形分割子集作為最優(yōu)的楔形分割模式子集，然后繼續(xù)步驟4033 ；
[0053]3)當Var p2大于預(yù)設(shè)門限值而Varjjl小于或等于預(yù)設(shè)門限值時，說明當前分割方式的第一區(qū)域為平坦區(qū)域，而當前分割方式的第二區(qū)域為非平坦區(qū)域，則楔形分割直線必然在當前分割方式的第二分割區(qū)域，則將當前分割方式第一區(qū)域相對應(yīng)的楔形分割子集作為最優(yōu)的楔形分割模式子集，然后繼續(xù)步驟4033 ；
[0054]4)當Var pl和Var p2都大于預(yù)設(shè)門限值時，說明了當前分割方式的第一區(qū)域和第二區(qū)域都為非平坦區(qū)域，則兩個分割區(qū)域都包含楔形分割直線的一部分，故無法確定當前分割方式下楔形分割直線的區(qū)域，則需要考慮下一種分割方式，也即選擇135度斜對角分割方式為下一個塊分割方式并重復步驟4032 ;如果結(jié)果仍然是Var P1和Var p2都大于預(yù)設(shè)門限值，則選擇垂直等分割方式作為下一個塊分割方式并重復步驟4032，如果結(jié)果仍然是Varjl和Var p2都大于預(yù)設(shè)門限值，則繼續(xù)選擇水平等分割方式作為下一個塊分割方式并重復步驟4032 ;如果在45度斜對角分割方式、135斜對角分割方式、垂直等分割方式、水平等分割方式這四種分割方式中即沒有獲得最優(yōu)的楔形分割模式也沒有獲得最優(yōu)的楔形分割模式子集，則將非區(qū)域楔形分割模式子集設(shè)為最優(yōu)的楔形分割模式子集，然后繼續(xù)步驟4033 ；
[0055]步驟4033:在步驟4032獲得的最優(yōu)楔形分割模式子集中，對每個楔形分割模式進行率失真代價的計算，選擇率失真代價最小的楔形分割模式作為最優(yōu)的顯示楔形分割模式，并加入到候選幀內(nèi)預(yù)測模式列表。因此，確定了分割直線的大致所屬的塊分割區(qū)域，僅在得到的塊分割區(qū)域?qū)?yīng)的子集中計算楔形分割的率失真代價，將大大地減少了需要計算率失真代價的次數(shù)。
[0056]上述步驟404中所述判斷紋理塊和深度塊是否存在結(jié)構(gòu)失配的方法，包含以下步驟:[0057]將最大可能模式，以及與其鄰近的M個幀內(nèi)角度預(yù)測模式，共同構(gòu)成最大可能模式的幀內(nèi)角度預(yù)測模式集合，判斷紋理圖像對應(yīng)塊的幀內(nèi)角度預(yù)測模式是否包含在最大可能模式的幀內(nèi)角度預(yù)測模式集合中，
[0058]如果紋理圖像對應(yīng)塊的幀內(nèi)角度預(yù)測模式包含在最大可能模式的幀內(nèi)角度預(yù)測模式集合中，則紋理塊和深度塊不存在結(jié)構(gòu)失配；
[0059]如果紋理圖像對應(yīng)塊的幀內(nèi)角度預(yù)測模式不包含在最大可能模式的幀內(nèi)角度預(yù)測模式集合中，則紋理塊和深度塊存在結(jié)構(gòu)失配。
[0060]在上述判斷紋理塊和深度塊是否存在結(jié)構(gòu)失配的過程中，M依據(jù)經(jīng)驗確定取值范圍，例如:對于大小為4x4和8x8的預(yù)測塊，選擇4個鄰近模式，兩側(cè)各選擇兩個；對于大小為16x16的預(yù)測塊，選擇2個鄰近模式，兩側(cè)各選擇一個；對于32x32的預(yù)測塊將不考慮鄰近幀內(nèi)預(yù)測模式，僅僅考慮最大可能模式。
[0061]一種實現(xiàn)上述3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法的系統(tǒng)，如圖9所示，包括計算模塊、存儲模塊和對應(yīng)紋理塊獲取模塊；
[0062]所述存儲模塊用于存儲4種塊分割方式，即存儲135度斜對角分割、45度斜對角分害I]、垂直等分割、水平等分割；每一種塊分割方式對應(yīng)的兩個塊分割區(qū)域；每個塊分割區(qū)域?qū)?yīng)的楔形分割模式子集；最優(yōu)的楔形和隱式楔形分割模式；候選巾貞內(nèi)預(yù)測模式列表；最大可能模式的鄰近幀內(nèi)角度預(yù)測模式集；
[0063]所述計算模塊用于計算每個塊分割區(qū)域?qū)?yīng)的楔形分割模式子集；計算當前塊的分割區(qū)域的方差；計算每個楔形分割的最優(yōu)的楔形分割模式；在楔形分割模式集中，計算得到最優(yōu)的楔形分割模式；計算候選幀內(nèi)預(yù)測模式列表中的每個模式完整的率失真代價；
[0064]所述對應(yīng)紋理塊獲取模塊，用于獲得當前深度塊對應(yīng)位置的紋理圖像對應(yīng)塊的像素值和幀內(nèi)預(yù)測模式；
[0065]首先將4種塊分割方式和8種塊分割區(qū)域存儲在存儲模塊中；計算模塊計算每個楔形分割模式屬于哪一個塊分割區(qū)域?qū)?yīng)的楔形分割模式子集，并將楔形分割模式子集存儲到存儲模塊；同時在存儲模塊存入非區(qū)域楔形分割模式集。對于當前塊利用計算模塊計算塊分割區(qū)域的方差，得到楔形分割模式屬于哪一個塊分割區(qū)域。在存儲模塊中，獲得得到的塊分割區(qū)域?qū)?yīng)的楔形分割模式子集。計算模塊將在所得楔形分割模式子集中計算每個楔形分割模式子集的率失真代價RD0，得到最優(yōu)的顯示楔形分割模式，并且將其存儲到存儲模塊的候選幀內(nèi)預(yù)測模式列表上。通過紋理對應(yīng)塊的獲取單元得到紋理對應(yīng)塊的像素值和幀內(nèi)預(yù)測模式，并將紋理對應(yīng)塊的像素值和幀內(nèi)預(yù)測模式存儲到存儲模塊上。選取當前塊的最大可能模式，通過計算模塊得到最大可能模式的鄰近幀內(nèi)角度預(yù)測模式集合。如果存儲模塊中紋理對應(yīng)塊的幀內(nèi)預(yù)測模式不包含在最大可能模式的鄰近幀內(nèi)預(yù)測模式集，計算模塊將計算最優(yōu)的隱式楔形分割模式，并將最優(yōu)隱式楔形分割模式存儲到存儲模塊的候選幀內(nèi)預(yù)測模式列表中。計算模塊計算存儲模塊中的候選幀內(nèi)預(yù)測模式列表中的每個幀內(nèi)預(yù)測模式的率失真代價，得到最優(yōu)的幀內(nèi)預(yù)測模式。
[0066]本發(fā)明進一步對所述3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法的性能進行了實驗仿真，將基于區(qū)域分割的顯示楔形分割模式快速選擇方法和基于紋理塊匹配的隱式楔形分割模式快速選擇方法整合到3D-HEVC的參考軟件HTM-8.1中，并且與比較例(【背景技術(shù)】中專利申請?zhí)枮?201310169728.2所述技術(shù)方案)的進行了比較。實驗中，將本發(fā)明和比較例與HTM-8.1分別進行比較得到各自的節(jié)省編碼時間的百分比和增加的平均比特率。用節(jié)省編碼時間百分比來衡量了編碼速度；用比特率來衡量編碼的效果或是編碼重建圖像的質(zhì)量。
[0067]編碼參數(shù)設(shè)置如下:
[0068]視頻序列分辨率:1092x1088、1024x768。
[0069]測試幀類型:全I幀
[0070]深度模型模式(DMM):開
[0071]量化參數(shù)值:紋理圖像:25303540深度圖像:34394245
[0072]使用本發(fā)明方法進行仿真實驗，其中最優(yōu)顯示楔形分割模式的選擇流程如圖6所示，
[0073]步驟601，如圖5所示，定義4中塊分割方式及相對應(yīng)的8種分割區(qū)域，8種分割區(qū)域的索引為Index:1?8。將所有分割直線包含在左上角的楔形分割模式加入到第一種分割方式(45度斜對角分割)的一個區(qū)域?qū)?yīng)的楔形分割模式集。在剩余的楔形分割模式中，將分割直線包含在右下角的加入到第一種分割方式的二個區(qū)域?qū)?yīng)的楔形分割模式集。依次考慮第二種分割(135度角斜分割)、第三種分割(垂直分割)、第四種分割(水平分割)的第一區(qū)域和第二區(qū)域。得到8種區(qū)域相對應(yīng)的8個楔形分割模式集，并依次標記為WPMSi,其中i從I到8。對于不包含在8區(qū)域的楔形分割模式加入到非區(qū)域分割楔形分割集，并標記為WPMS9。如圖3的4種分割方式加入到等分割模式集，并標記為WPMSm將WPMStl到WPMS9中的每一個楔形分割模式，以二值矩陣的形式存儲在存儲模塊上。圖7為本仿真實驗中一個4x4大小預(yù)測塊的區(qū)域分割模式集、非區(qū)域分割模式集和等分割模式集。
[0074]步驟602，輸入一個預(yù)測塊，初始化將最優(yōu)預(yù)測模式Pb設(shè)為-1，將包含最優(yōu)楔形分割模式集WPMSb設(shè)為-1，將用來索引楔形分割模式集的i設(shè)置為-1。
[0075]步驟603，計算塊分割的兩個區(qū)域的深度像素值的方差，標記為Var1和Var2。
[0076]步驟604,判斷Var1和Var2與閾值T之間的大小關(guān)系,來決定最優(yōu)的楔形分割模式所在的區(qū)域。Var1和Var2與閾值T共有四種大小關(guān)系分別執(zhí)行步驟6041?6044不同的子步驟:
[0077]1.Var1 ( T并且Var2 ( T，執(zhí)行步驟7041，最優(yōu)的楔形分割模式為當前的塊分割方式。
[0078]2.Var1M并且Var2>T，執(zhí)行步驟7042，按45度斜對角分割方式、135度斜對角分割方式、垂直分割方式、水平分割方式的順序依次考慮下一個分割方式，并且計數(shù)i = i+2,重復執(zhí)行，重復執(zhí)行703?704的計算新分割方式的兩個區(qū)域的深度像素值得方差計算，及計算所得方差與閾值T的比較。如果4種分割都計算完畢，執(zhí)行7045，那么將最優(yōu)的楔形分割模式集確定為非區(qū)域分割楔形模式集wpms9。
[0079]3.Var1 < T并且Var2>T，執(zhí)行步驟7043，最優(yōu)的楔形分割模式集WPMSb確定為當前塊分割方式的第一區(qū)域?qū)?yīng)的楔形分割模式集WPMSp
[0080]4.Var1XT并且Var2 ( T，執(zhí)行步驟7044，最優(yōu)的楔形分割模式集WPMSb確定為當前塊分割方式的第二區(qū)域?qū)?yīng)的楔形分割模式集WPMSi+1。
[0081]步驟605，在最優(yōu)的楔形分割模式集WPMSb中，計算每一種楔形分割模式的率失真代價RD0,其中RDO最小的楔形分割模式為最優(yōu)的楔形分割模式Pb。[0082]本仿真實驗中最優(yōu)隱式的楔形分割模式選擇流程如圖8所示，包括以下步驟:
[0083]步驟801，判斷紋理對應(yīng)塊T.的幀內(nèi)預(yù)測模式Mt是否為如圖2所示的HEVC幀內(nèi)預(yù)測模式2~34(角度預(yù)測模式)。如果判斷結(jié)果為否，終止隱式楔形分割模式的選擇。如果判斷結(jié)果為是，獲取當前深度塊Dcm的左側(cè)和上側(cè)的鄰近塊的幀內(nèi)預(yù)測模式，得到當前塊的最大可能模式MPM。
[0084]步驟802，考慮最大可能模式的鄰近模式，得到當前深度塊的最大可能模式的鄰近角度模式集NDSeun，如下式(I)所示，
[0085]NDScurr = {MPM_i，…，MPM,…MPMJ (I)
【權(quán)利要求】
1.一種3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法，其特征在于，包括以下步驟: 步驟1:計算當前塊的35種HEVC幀內(nèi)預(yù)測模式的哈達瑪變換系數(shù)絕對值和；根據(jù)所述哈達瑪變換系數(shù)絕對值和選擇一定數(shù)目的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表；步驟2:選取當前塊的左側(cè)和上側(cè)鄰近塊的幀內(nèi)預(yù)測模式，得到最大可能模式，將所述最大可能模式中的幀內(nèi)預(yù)測模式加入到候選幀內(nèi)預(yù)測模式列表； 步驟3:在深度圖像當前塊中，選取最優(yōu)的顯示楔形分割模式并加入到候選幀內(nèi)預(yù)測模式列表； 步驟4:選取當前塊左側(cè)和上側(cè)鄰近塊的幀內(nèi)預(yù)測模式，組成最大可能模式，判斷該最大可能模式中的幀內(nèi)預(yù)測模式是否為幀內(nèi)角度預(yù)測模式， 如果最大可能模式中的幀內(nèi)預(yù)測模式都不是幀內(nèi)角度預(yù)測模式，則繼續(xù)步驟5 ； 如果最大可能模式中的幀內(nèi)預(yù)測模式中包含有幀內(nèi)角度預(yù)測模式，則在紋理圖像對應(yīng)塊中，判斷紋理塊和深度塊是否存在結(jié)構(gòu)失配，如果存在結(jié)構(gòu)失配，則繼續(xù)步驟5 ;如果不存在結(jié)構(gòu)失配，則計算最優(yōu)隱式楔形分割模式并加入到候選幀內(nèi)預(yù)測模式集； 步驟5:將contour分割模式和邊界鏈式分割模式加入到候選幀內(nèi)預(yù)測模式列表；步驟6:選擇上述候選幀內(nèi)預(yù)測模式列表中率失真最小的幀內(nèi)預(yù)測模式作為當前塊最優(yōu)的幀內(nèi)預(yù)測模式。
2.如權(quán)利要求1 所述的3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法，其特征在于，所述步驟3中選取最優(yōu)顯示楔形分割模式的方法包含以下步驟: 步驟2.1:定義四種塊分割方式，包括:45度斜對角分割方式、135斜對角分割方式、垂直等分割方式、水平等分割方式；四種塊分割方式對應(yīng)的八種分割區(qū)域:左上部、右下部；右上部、左下部；左半部、右半部；上半部、下半部；其中，左上部、右上部、左半部、上半部為其對應(yīng)的分割方式的第一區(qū)域；右下部、左下部、右半部、下半部為其對應(yīng)的分割方式的第二區(qū)域；在楔形分割模式集中選取出每個分割區(qū)域各自對應(yīng)的楔形分割模式組成每個分割區(qū)域各自對應(yīng)的楔形分割模式子集，將楔形分割模式集中剩余的楔形分割模式組成非區(qū)域分割模式子集；將當前分割方式初始化為45度斜對角分割方式； 步驟2.2:獲取當前分割方式的最優(yōu)楔形分割模式或最優(yōu)的楔形分割模式子集，具體過程為: 計算選定的塊分割方式對應(yīng)的兩個分割區(qū)域的像素值方差Var—pl和Varjj2 ； 如果Varjjl和Var p2都小于或等于預(yù)設(shè)門限值，則將當前的塊分割方式作為最優(yōu)的楔形分割模式，并加入到候選幀內(nèi)預(yù)測模式列表； 如果Varjjl大于預(yù)設(shè)門限值而Var p2小于或等于預(yù)設(shè)門限值，則將當前分割方式中第二區(qū)域相對應(yīng)的楔形分割子集作為最優(yōu)的楔形分割模式子集，然后繼續(xù)步驟2.3 ； 如果Varj52大于預(yù)設(shè)門限值而Var P1小于或等于預(yù)設(shè)門限值，則將當前分割方式第一區(qū)域相對應(yīng)的楔形分割子集作為最優(yōu)的楔形分割模式子集，然后繼續(xù)步驟2.3 ； 如果Var P1和Varj52都大于預(yù)設(shè)門限值，則將135度斜對角分割方式作為下一個塊分割方式并重復本步驟2.2，如果Var P1和Var p2都大于預(yù)設(shè)門限值，則將垂直等分割方式作為下一個塊分割方式并重復本步驟2.2，如果Varjjl和Varjj2都大于預(yù)設(shè)門限值，則將水平等分割方式作為下一個塊分割方式并重復本步驟2.2 ； 如果在45度斜對角分割方式、135斜對角分割方式、垂直等分割方式、水平等分割方式中即沒有獲得最優(yōu)的楔形分割模式也沒有獲得最優(yōu)的楔形分割模式子集，則將非區(qū)域楔形分割模式子集設(shè)為最優(yōu)的楔形分割模式子集，然后繼續(xù)步驟2.3 ； 步驟2.3:在步驟2.2獲得的最優(yōu)楔形分割模式子集中，對每個楔形分割模式進行率失真代價的計算，選擇率失真代價最小的楔形分割模式作為最優(yōu)的顯示楔形分割模式，并加入到候選幀內(nèi)預(yù)測模式列表。
3.如權(quán)利要求1所述的3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法，其特征在于，所述步驟4中判斷紋理塊和深度塊是否存在結(jié)構(gòu)失配的過程為: 用最大可能模式，以及與其鄰近的幀內(nèi)角度預(yù)測模式共同構(gòu)成最大可能模式的鄰近幀內(nèi)角度預(yù)測模式集合，判斷紋理圖像對應(yīng)塊的幀內(nèi)角度預(yù)測模式是否包含在最大可能模式的幀內(nèi)角度預(yù)測模式集合中， 如果紋理圖像對應(yīng)塊的幀內(nèi)角度預(yù)測模式包含在最大可能模式的幀內(nèi)角度預(yù)測模式集合中，則紋理塊和深度塊不存在結(jié)構(gòu)失配； 如果紋理圖像對應(yīng)塊的幀內(nèi)角度預(yù)測模式不包含在最大可能模式的幀內(nèi)角度預(yù)測模式集合中，則紋理塊和深度塊存在結(jié)構(gòu)失配。
4.如權(quán)利要求3所述的3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法，其特征在于，對于大小為4x4和8x8的預(yù)測塊，選擇4個鄰近幀內(nèi)角度預(yù)測模式，兩側(cè)各選擇兩個；對于大小為16x16的預(yù)測塊，選擇2個鄰近幀內(nèi)角度預(yù)測模式，兩側(cè)各選擇一個；對于32x32的預(yù)測塊，則不考慮鄰近預(yù)測模式，僅考慮最大可能模式。
5.一種實現(xiàn)如權(quán)利要求1所述3D視頻深度圖像幀內(nèi)楔形分割模式選擇方法的系統(tǒng)，其特征在于，包括計算模塊、存儲模塊和對應(yīng)紋理塊獲取模塊； 所述存儲模塊用于存儲:四種塊分割方式；每一種塊分割方式對應(yīng)的兩個塊分割區(qū)域；每個塊分割區(qū)域?qū)?yīng)的楔形分割模式子集；最優(yōu)楔形分割模式和最優(yōu)隱式楔形分割模式；候選幀內(nèi)預(yù)測模式列表；最大可能模式的鄰近幀內(nèi)角度預(yù)測模式集； 所述計算模塊用于進行下列計算:每個塊分割區(qū)域?qū)?yīng)的楔形分割模式子集；當前塊分割區(qū)域的方差；每個楔形分割的最優(yōu)楔形分割模式；在楔形分割模式集中，獲取最優(yōu)的楔形分割模式；獲取候選幀內(nèi)預(yù)測模式列表中的每個模式完整的率失真代價； 所述紋理對應(yīng)塊獲取模塊，用于獲得當前深度塊對應(yīng)位置的紋理圖像對應(yīng)塊的像素值和幀內(nèi)預(yù)測模式。
6.如權(quán)利要求5所述的3D視頻深度圖像幀內(nèi)楔形分割模式選擇系統(tǒng)，其特征在于， 首先將四種塊分割方式和八種塊分割區(qū)域存儲在存儲模塊中； 計算模塊計算上述八種塊分割區(qū)域的每一個塊分割區(qū)域?qū)?yīng)的楔形分割模式子集，并將楔形分割模式子集存儲到存儲模塊；同時在存儲模塊存入非區(qū)域楔形分割模式集； 對于當前塊，使用計算模塊計算塊分割區(qū)域的方差，得到楔形分割模式所屬的塊分割區(qū)域； 在存儲模塊中，獲得塊分割區(qū)域?qū)?yīng)的楔形分割模式子集，計算模塊在所得楔形分割模式子集中計算每個楔形分割模式子集的率失真代價，得到最優(yōu)顯示楔形分割模式，并且將其存儲到存儲模塊的候選幀內(nèi)預(yù)測模式列表上； 通過紋理對應(yīng)塊的獲取單元得到紋理對應(yīng)塊的像素值和幀內(nèi)預(yù)測模式，并將紋理對應(yīng)塊的像素值和幀內(nèi)預(yù)測模式存儲到存儲模塊上；選取當前塊的最大可能模式，通過計算模塊得到最大可能模式的鄰近幀內(nèi)角度預(yù)測模式集合；如果存儲模塊中紋理對應(yīng)塊的幀內(nèi)預(yù)測模式不包含在最大可能模式的鄰近幀內(nèi)預(yù)測角度模式集，則計算模塊將計算最優(yōu)隱式楔形分割模式，并將最優(yōu)隱式楔形分割模式存儲到存儲模塊的候選幀內(nèi)預(yù)測模式列表中；計算模塊計算存儲模塊中的候選幀內(nèi)預(yù)測模式列表中的每個幀內(nèi)預(yù)測模式的率失真代價，得到最優(yōu)的幀內(nèi)預(yù)測模式。
【文檔編號】H04N19/103GK104038760SQ201410263534
【公開日】2014年9月10日 申請日期:2014年6月13日 優(yōu)先權(quán)日:2014年6月13日
【發(fā)明者】伏長虹, 張洪彬, 蘇衛(wèi)民 申請人:南京理工大學