本發(fā)明屬于視頻編碼技術(shù)領(lǐng)域，具體涉及在hevc編碼標(biāo)準(zhǔn)解碼端針對hevc碼流在傳輸過程中可能出現(xiàn)的差錯，以最大編碼單元lcu(largestcodingunit,lcu)為對象的、基于紋理角度預(yù)測模式的hevc幀內(nèi)編碼幀差錯掩蓋方法。

背景技術(shù)：

高效視頻編碼(highefficiencyvideocoding,hevc)是itu和iso共同制定的新一代視頻編碼國際標(biāo)準(zhǔn)，在未來的高清和超高清視頻應(yīng)用中具有廣闊的前景。hevc在編碼原理及基本結(jié)構(gòu)方面和前一個標(biāo)準(zhǔn)h.264/avc基本一致，即預(yù)測加變換的分塊混合編碼方式，但幾乎在每一個編碼環(huán)節(jié)上都采取了相應(yīng)的改進(jìn)措施，使得總體編碼效率比h.264/avc提高了一倍。然而，在編碼效率提高的同時，與h.264/avc碼流信號相比，hevc碼流對差錯的抗干擾能力卻更加脆弱，一個比特的錯誤意味著更多信息的丟失，而且往往會影響后續(xù)碼流的正確解碼，從而嚴(yán)重降低圖像觀賞質(zhì)量。因此，在傳輸hevc視頻碼流時，應(yīng)采用適當(dāng)?shù)牟铄e控制機(jī)制，以使差錯的影響降到最小，最大程度保證視頻的解碼質(zhì)量。

基于解碼端處理的差錯掩蓋技術(shù)，是利用已正確解碼的圖像信息對錯傳部分進(jìn)行估計和替換，從而改善重建圖像觀賞效果的技術(shù)。由于不需要再從編碼端獲得額外的信息，從而不會消耗額外的帶寬，不會帶來時延和其他的編碼冗余消耗，因此是一種非常有效的抵御傳輸差錯影響的技術(shù)，并受到很大的關(guān)注。

hevc編碼中，幀內(nèi)編碼幀是編碼圖像組中重要的參考幀，其質(zhì)量會影響后續(xù)預(yù)測重建幀的質(zhì)量。因此，對于幀內(nèi)編碼幀的差錯掩蓋是hevc差錯掩蓋中不可或缺的技術(shù)。雙線性差值法(bi-linearinterpolation，bi)以其實(shí)現(xiàn)簡單的特點(diǎn)，是一種常用的幀內(nèi)編碼幀差錯掩蓋技術(shù)。前一代視頻編碼標(biāo)準(zhǔn)h.264/avc參考軟件jm中，幀內(nèi)差錯掩蓋就采用了bi方法。

hevc編碼以lcu為基本單位分割圖像幀、作為最大編碼單元，類似于h.264/avc中mb的概念，但lcu尺寸為64×64，是mb大小的16倍，這就意味著hevc塊丟失會涉及到更多的圖像像素。在這種情況下，將lcu作為基本單元進(jìn)行差錯掩蓋時，如果直接使用bi方法，則由于丟失塊(lcu)大部分丟失的像素離正確接收的像素距離更遠(yuǎn)，就會使得掩蓋效果大打折扣。

為了得到良好的差錯掩蓋性能，需要結(jié)合出錯幀的編碼模式進(jìn)行針對性的處理。由于hevc幀內(nèi)預(yù)測編碼針對圖像紋理使用了相比于h.264/avc更多的幀內(nèi)預(yù)測模式，具體而言，亮度分量支持33種紋理角度模式、dc模式以及planar模式共35種，使得劃分的紋理角度更加精確，也為差錯掩蓋提供了提升掩蓋質(zhì)量的可能。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對上述分析中直接使用bi方法存在的不足，研究以lcu為單位進(jìn)行hevc差錯掩蓋的方法，提出一種基于紋理角度預(yù)測模式的方法完成hevc幀內(nèi)差錯的掩蓋。該方法利用了幀內(nèi)預(yù)測模式的空域相關(guān)性，參考丟失lcu周圍正確接收塊的編碼信息，對當(dāng)前丟失lcu的劃分模式及紋理角度模式進(jìn)行合理推測，并用來進(jìn)行差錯掩蓋，從而提高掩蓋質(zhì)量。

為此，本發(fā)明采用的解決方案是一種基于紋理角度預(yù)測模式的hevc幀內(nèi)編碼幀差錯掩蓋方法，具體包括以下步驟：

步驟a：完成對丟失lcu的檢測及定位；

步驟b：將丟失lcu均分為左上、右上、右下、左下四部分，每部分對應(yīng)32x32的大??；

步驟c：先處理左上部分，在hevc標(biāo)準(zhǔn)參考軟件hm中通過getdepth()函數(shù)得到該部分上邊及左邊相鄰16個正確接收的4x4小塊的深度信息，并以最大深度確定該部分的劃分；

步驟d：對于劃分的每一個塊，參考相鄰兩個塊的紋理角度模式推測出當(dāng)前劃分塊可能的紋理角度模式，對于左上部分，根據(jù)左邊和上邊塊進(jìn)行推測，從左上角的塊開始先行后列依次完成該部分所有劃分塊的紋理角度模式推測；

步驟e：完成左上部分所有劃分塊的紋理角度模式判別之后，根據(jù)該模式對劃分塊按照幀內(nèi)預(yù)測的方式進(jìn)行差錯掩蓋，參考像素來自劃分塊左邊及上邊像素；掩蓋順序具體是：從左上角的劃分塊開始先行后列依次完成該部分所有劃分塊的掩蓋；

步驟f：按照步驟b～d所述方式，進(jìn)行右上部分的掩蓋，其中該部分的參考塊和參考像素位置及掩蓋順序要做相應(yīng)的改變，具體的該部分和左上部分的關(guān)于x軸呈鏡像對稱；

步驟g：按照步驟b～d所述方式，進(jìn)行右下部分的掩蓋，該部分的參考塊和參考像素位置及掩蓋順序和右上部分的關(guān)于y軸呈鏡像對稱；

步驟h：按照步驟b～d所述方式，進(jìn)行左下部分的掩蓋，該部分的參考塊和參考像素位置及掩蓋順序和右下部分的關(guān)于x軸呈鏡像對稱；

其中上述步驟在做幀內(nèi)預(yù)測掩蓋時，如果參考像素不存在或不可用，就按照hevc標(biāo)準(zhǔn)進(jìn)行紋理角度預(yù)測時所采取的方式使用最鄰近的像素進(jìn)行填充。

進(jìn)一步，上述以最大深度確定劃分即將該部分劃分為一系列此深度的塊，如果最大深度為0或1，則不進(jìn)行劃分，直接以32x32的大小進(jìn)行下一步操作。

進(jìn)一步，上述進(jìn)行紋理角度模式推測時，如果參考塊是正確接收塊則其紋理角度預(yù)測模式由getintradir()函數(shù)得到；如果參考塊不是正確接收塊，則其紋理角度模式就取已經(jīng)對其推測得到的模式。

進(jìn)一步，上述進(jìn)行紋理角度模式推測時紋理角度模式判別方法如下：

(1)若兩個參考塊紋理角度模式相同，就選該模式；

(2)若兩個參考塊的模式分別是dc模式和planar模式，選planar模式；

(3)若一個參考塊的模式分別是dc模式或planar模式，另一個是紋理角度模式，選該紋理角度模式；

(4)若兩個參考塊的預(yù)測模式是相鄰的紋理角度模式，選距離主方向近的那個，即如果是垂直模式選靠近垂直方向的，如果是水平模式選靠近水平方向的；

(5)若兩個參考塊的預(yù)測模式是不相鄰的紋理角度模式，選中間模式。

進(jìn)一步，步驟c中，利用幀內(nèi)預(yù)測模式的空域相關(guān)性，參考丟失lcu周圍正確接收塊的編碼信息，對當(dāng)前丟失lcu的劃分模式進(jìn)行推測，既保證劃分的合理性又會降低復(fù)雜度。

進(jìn)一步，步驟d中，利用空域相關(guān)性對劃分塊的紋理角度模式進(jìn)行判別。

進(jìn)一步，步驟e中，根據(jù)推測出的劃分模式和紋理角度模式對丟失塊進(jìn)行差錯掩蓋，從而在一定程度上恢復(fù)丟失lcu的紋理角度特性，有效提高掩蓋質(zhì)量。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：

1，本發(fā)明方法相比bi方法能夠在復(fù)雜度增加不高的情況下有效提高h(yuǎn)evc幀內(nèi)編碼幀lcu丟包的掩蓋質(zhì)量。

2，本發(fā)明利用了幀內(nèi)預(yù)測模式的空域相關(guān)性，參考丟失lcu周圍正確接收塊的編碼信息，對當(dāng)前丟失lcu的劃分模式及紋理角度模式進(jìn)行合理推測，并用來進(jìn)行差錯掩蓋，從而提高掩蓋質(zhì)量。

附圖說明

圖1是本發(fā)明方法框圖。

圖2是幀內(nèi)預(yù)測紋理角度判別示意圖。

圖3是各部分的參考像素及掩蓋順序示意圖。

圖4是本發(fā)明方法對序列racehorses的一個具體掩蓋效果事例圖。

具體實(shí)施方式

現(xiàn)結(jié)合附圖對本發(fā)明做進(jìn)一步詳細(xì)的說明。

一幀視頻圖像內(nèi)具有很強(qiáng)的空域相關(guān)性，相應(yīng)的幀內(nèi)編碼信息之間也有比較強(qiáng)的相關(guān)性，本發(fā)明方法正是利用了這種相關(guān)性，參考丟失lcu周圍正確接收塊的編碼信息，對當(dāng)前丟失塊的劃分模式以及紋理角度預(yù)測模式做一個合理的推測，并根據(jù)推測出的劃分模式以及紋理角度模式信息來掩蓋丟失塊，從而提高掩蓋質(zhì)量。

本發(fā)明方法框圖如圖1所示。具體實(shí)施方式如下：

首先完成丟失lcu的檢測及定位，然后是具體的方法，有以下步驟：

第一步：首先將丟失lcu均分為左上、右上、右下、左下四部分，每部分是32x32的大?。贿@樣每一部分可以充分利用相鄰正確接收像素的相關(guān)性；

第二步：先是左上部分，在hevc標(biāo)準(zhǔn)參考軟件hm中通過getdepth()函數(shù)得到該部分上邊及左邊相鄰16個正確接收的4x4小塊的深度，并以最大深度確定該部分的劃分，即劃分為一系列此深度的塊；如果最大深度為0或1，則不進(jìn)行劃分，直接以32x32的大小進(jìn)行下一步操作；

第三步：對于劃分的每一個塊，參考相鄰兩個塊的紋理角度模式推測出當(dāng)前劃分塊可能的預(yù)測模式，圖2是幀內(nèi)預(yù)測紋理角度判別的示意圖，如圖2所示，箭頭所指表示，當(dāng)前劃分塊要參考的兩個塊；具體的，左上部分根據(jù)左邊和上邊塊進(jìn)行推測，從左上角的塊開始先行后列依次完成該部分所有劃分塊的紋理角度模式推測；如果參考塊是正確接收塊其紋理角度預(yù)測模式由getintradir()函數(shù)得到，參考塊如果不是正確接收塊，則其紋理角度模式就取已經(jīng)對其推測得到的模式，如圖2中陰影塊所示，左上角劃分塊的兩個參考塊都是正確接收塊，第一行和第一列的其他塊只有一個參考塊是正確接收塊，剩下劃分塊的參考塊來自已經(jīng)完成紋理角度模式推測的劃分塊；

紋理角度模式判別方法是：

(1)若兩個參考塊紋理角度模式相同，就選該模式；

(2)若兩個參考塊的模式分別是dc模式和planar模式，選planar模式；

(3)若一個參考塊的模式分別是dc模式或planar模式，另一個是紋理角度模式，選該紋理角度模式；

(4)若兩個參考塊的模式是相鄰的紋理角度模式，選距離主方向近的那個，具體的如果是垂直模式選靠近垂直方向的，如果是水平模式選靠近水平方向的。

(5)若兩個參考塊的預(yù)測模式是不相鄰的紋理角度模式，選中間模式；

第四步：完成左上部分所有劃分塊的紋理角度模式判別之后，根據(jù)該模式對劃分塊按照幀內(nèi)預(yù)測的方式進(jìn)行差錯掩蓋；圖3是各部分的參考像素及掩蓋順序示意圖，掩蓋順序具體是從左上角的劃分塊開始先行后列依次完成該部分所有劃分塊的掩蓋，如圖3中箭頭所指方向；參考像素來自如圖3中陰影所示位置的像素；

第五步：按照第二到四步所述方式，進(jìn)行右上部分的掩蓋。參見圖3該部分的參考塊、參考像素及掩蓋順序和左上部分呈鏡像對稱；

第六步：按照第二到四步所述方式，進(jìn)行右下部分的掩蓋。參見圖3該部分的參考塊、參考像素及掩蓋順序和右上部分呈鏡像對稱；

第七步：按照第二到四步所述方式，進(jìn)行左下部分的掩蓋。參見圖3該部分的參考塊、參考像素及掩蓋順序和右下部分呈鏡像對稱；

上述步驟中在做幀內(nèi)預(yù)測掩蓋時，如果參考像素不存在或不可用，按照hevc標(biāo)準(zhǔn)進(jìn)行紋理角度預(yù)測時采用的方式，使用最鄰近的像素進(jìn)行填充。

為了驗(yàn)證本發(fā)明方法的效果，進(jìn)行了以下驗(yàn)證實(shí)驗(yàn)：實(shí)驗(yàn)使用的yuv視頻序列是分辨率為832×480的序列drill和racehorses；編碼結(jié)構(gòu)為intra，mainprofile；slice模式設(shè)為1個lcu大小，qp＝32；丟包軟件使用的是hevc官方網(wǎng)站給出的經(jīng)修改的nalulosssimulator，丟包率(plr)分別取1％、3％、5％，只考慮一幀丟失的情況，丟包隨機(jī)分布在第一幀。本發(fā)明方法在hevc參考軟件hm16.14上實(shí)現(xiàn)并與使用bi掩蓋的方法做了對比試驗(yàn)。

差錯掩蓋質(zhì)量客觀衡量標(biāo)準(zhǔn)為掩蓋圖像的峰值信噪比(psnr)，計算公式如下：

其中圖像灰度值的范圍是(0～255)，mse為原始圖像與編碼重建后的圖像之間的均方誤差

下表下為掩蓋圖像y分量psnr的實(shí)驗(yàn)結(jié)果：

表1掩蓋質(zhì)量(y-psnr/db)

分析表1的實(shí)驗(yàn)數(shù)據(jù)可以得出本文技術(shù)在不同視頻序列、不同丟包率的情況下相比于bi方法差錯掩蓋質(zhì)量都有了不同程度的提升；圖4展示了本發(fā)明方法對序列racehorses的一個具體掩蓋效果事例，從圖中可以看出相比于bi方法，在主觀質(zhì)量方面，對于圖像紋理本發(fā)明方法也有所提升；證明了本發(fā)明的有效性。

需要說明的是，以上所述數(shù)據(jù)僅為本發(fā)明的一個具體實(shí)施例所得，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。