專利名稱：一種用于圖像編碼的圖像亮度補(bǔ)償方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于圖像編碼的圖像亮度補(bǔ)償方法，屬于圖像處理領(lǐng)域。
背景技術(shù)：
由于視頻獲取技術(shù)和視頻顯示技術(shù)的進(jìn)步，三維視頻以其特有的優(yōu)勢逐漸為消費(fèi) 者所接受。通過三維視頻技術(shù)人們可以交互的選擇視點(diǎn)，從而能夠以人們喜歡的角度去觀 察現(xiàn)實(shí)世界的場景。通常，三維視頻通過多視點(diǎn)來表示，每個(gè)視點(diǎn)為一個(gè)傳統(tǒng)的通過攝像機(jī) 得到的二維視頻序列。多視點(diǎn)視頻編碼技術(shù)(MVC)是采用多視點(diǎn)表示的三維視頻傳輸系統(tǒng) 中的關(guān)鍵技術(shù)，可以有效的降低傳輸帶寬和解碼端的計(jì)算復(fù)雜度。 在多視點(diǎn)視頻編碼系統(tǒng)中，由于相機(jī)參數(shù)的影響以及相機(jī)位置和角度的變化，同 一目標(biāo)物體在不同視點(diǎn)中的亮度值會發(fā)生變化。在進(jìn)行多視點(diǎn)視頻編碼的視間預(yù)測時(shí)，這 些變化會引起差異估計(jì)過程中匹配的不準(zhǔn)確，造成編碼效率的下降。人們采用亮度補(bǔ)償技 術(shù)可以在編解碼層面上解決差異估計(jì)匹配不準(zhǔn)確的問題，即在差異估計(jì)過程中去除不同視 點(diǎn)間的亮度差異。這個(gè)亮度差異被稱為局部亮度變化。在解碼端，根據(jù)差異預(yù)測值，殘差值 以及亮度變化值之和對進(jìn)行了亮度補(bǔ)償?shù)膲K進(jìn)行重構(gòu)
I(i， j) = R(i， j)+r(i+x， j+y)+C， 其中I(i， j)表示重構(gòu)塊，R(i， j)為殘差信號，r(i+x， j+y)是參考塊，C是該塊的 亮度變化值。 多視點(diǎn)視頻編碼中存在的不同視點(diǎn)間的亮度差異對編碼造成了影B向，目前，對多 視點(diǎn)視頻編碼的圖像進(jìn)行亮度補(bǔ)償?shù)乃惴ㄟ^于復(fù)雜，速度慢，壓縮效率低。
發(fā)明內(nèi)容
本發(fā)明目的是為了解決目前對多視點(diǎn)視頻編碼的圖像進(jìn)行亮度補(bǔ)償?shù)乃惴ㄟ^于
復(fù)雜，速度慢，壓縮效率低的問題，提供了一種用于圖像編碼的圖像亮度補(bǔ)償方法。 本發(fā)明的方法包括以下步驟 定義當(dāng)前幀圖像的某一宏塊為當(dāng)前塊P。，在當(dāng)前幀中與所述當(dāng)前塊P。相鄰的L形 鄰域?yàn)楫?dāng)前塊模板X。，當(dāng)前塊模板亮度值矩陣為X。，當(dāng)前塊模板亮度值矩陣為X。的轉(zhuǎn)置矩 陣為X。T， 定義前一幀圖像與當(dāng)前塊P。處于同一位置的宏塊為參考塊Ps，在前一幀圖像中與 所述參考塊Ps相鄰的L形鄰域?yàn)閰⒖級K模板Xs，參考塊Ps的亮度值矩陣為Ps，參考塊模板 亮度值矩陣為Xs，參考塊模板亮度值矩陣Xs的轉(zhuǎn)置矩陣為XST， 步驟一、將參考塊模板Xs中所有像素點(diǎn)與參考塊Ps的相關(guān)性歸一化形成一系列候 選權(quán)值矩陣B。
<formula>formula see original document page 3</formula>
參考塊模板Xs中共m個(gè)像素點(diǎn)，每個(gè)像素點(diǎn)在角度a方向上對參考塊&的相關(guān)
性分別表示為la,。、la,P……、la,m—P 其中，a為參考塊模板Xs中的像素點(diǎn)與參考塊Ps相交的角度，是離散變化的值， a的離散變化量為5。 20° ，0°《a《180° ， 步驟二、獲取參考塊&的權(quán)值矩陣B二Bj，其中，參數(shù)j由下式確定 乂 二 arg min I Ps — BaX/E I
a 步驟三、根據(jù)B (X。T-XST) E獲得當(dāng)前塊P。與參考塊Ps之間的亮度差值，對當(dāng)前塊P。 進(jìn)行亮度補(bǔ)償，其中E為值均為1的全1矩陣，且其階數(shù)與參考塊Ps的亮度值矩陣為Ps的 階數(shù)相同。 本發(fā)明的優(yōu)點(diǎn)根據(jù)視頻圖像中相鄰區(qū)域的亮度相關(guān)性，利用相鄰區(qū)域的亮度變 化推導(dǎo)出當(dāng)前塊與參考塊之間的亮度變化，從而實(shí)現(xiàn)對當(dāng)前塊的亮度補(bǔ)償，本發(fā)明算法簡 單，運(yùn)行速度快，提高了多視點(diǎn)視頻編碼壓縮效率。
圖1是本發(fā)明方法流程圖，圖2是當(dāng)前幀圖像分配結(jié)構(gòu)圖，圖3是前一幀圖像分配 結(jié)構(gòu)圖，圖4是前一幀圖像中參考塊模板中像素點(diǎn)與參考塊的相關(guān)性示意圖，圖5是利用 Racel序列進(jìn)行仿真的實(shí)驗(yàn)結(jié)果圖。
具體實(shí)施例方式
具體實(shí)施方式
一 下面結(jié)合圖1至圖5說明本實(shí)施方式，本實(shí)施方式包括以下步 驟 定義當(dāng)前幀圖像的某一宏塊為當(dāng)前塊P。，在當(dāng)前幀中與所述當(dāng)前塊P。相鄰的L形 鄰域?yàn)楫?dāng)前塊模板X。，當(dāng)前塊模板亮度值矩陣為X。，當(dāng)前塊模板亮度值矩陣為X。的轉(zhuǎn)置矩 陣為X。T， 定義前一幀圖像與當(dāng)前塊P。處于同一位置的宏塊為參考塊&，在前一幀圖像中與 所述參考塊Ps相鄰的L形鄰域?yàn)閰⒖級K模板Xs，參考塊Ps的亮度值矩陣為Ps，參考塊模板 亮度值矩陣為Xs，參考塊模板亮度值矩陣Xs的轉(zhuǎn)置矩陣為XST， 步驟一、將參考塊模板Xs中所有像素點(diǎn)與參考塊Ps的相關(guān)性歸一化形成一系列候
選權(quán)值矩陣B。
，/ ，/ ，/
/=0 ,=0 /=0 參考塊模板Xs中共m個(gè)像素點(diǎn)，每個(gè)像素點(diǎn)在角度a方向上對參考塊Ps的相關(guān)
性分別表示為la,。、la,P……、la,m—P 其中，a為參考塊模板Xs中的像素點(diǎn)與參考塊Ps相交的角度，是離散變化的值， a的離散變化量為5。 20° ，0°《a《180° ， 步驟二、獲取參考塊&的權(quán)值矩陣B二Bj，其中，參數(shù)j由下式確定
4
<formula>formula see original document page 5</formula> 步驟三、根據(jù)B (X。T-XST) E獲得當(dāng)前塊P。與參考塊Ps之間的亮度差值，對當(dāng)前塊P。 進(jìn)行亮度補(bǔ)償，其中E為值均為1的全1矩陣，且其階數(shù)與參考塊Ps的亮度值矩陣為Ps的 階數(shù)相同。 根據(jù)視頻圖像中相鄰區(qū)域像素亮度值的連續(xù)性，如圖2所示，我們定義當(dāng)前塊P。 的L形鄰域X。為當(dāng)前塊模板，并且當(dāng)前塊模板X。的亮度值與當(dāng)前塊P。的亮度值之間存在 較強(qiáng)的相關(guān)性。 同樣的，參考塊Ps與參考塊模板Xs之間也存在較強(qiáng)的相關(guān)性。 因此，本發(fā)明的方法就是通過比較當(dāng)前塊模板X。與參考塊模板Xs之間的亮度差異
來確定當(dāng)前塊P。與參考塊Ps之間的亮度差異。即有公式(3)的成立。 Diff (P0， Ps) " Diff (X0， Xs) (3) 其中P。、PS、X。和Xs為亮度值矩陣。在計(jì)算亮度差異時(shí)，我們認(rèn)為塊內(nèi)的亮度差異
值基本一致，而對模板內(nèi)的亮度值取加權(quán)求和。即 P0 " Ps+ (AX0T_BXST) E (4) 其中AX。T-BXST為根據(jù)模板估計(jì)得到的兩個(gè)塊之間的亮度差，E為值均為1的全1 矩陣，當(dāng)前塊P。的權(quán)值矩陣A和參考塊Ps的權(quán)值矩陣B根據(jù)各個(gè)像素的方向特征得到。這 樣，在差異估計(jì)和差異補(bǔ)償過程中，可以構(gòu)建一個(gè)補(bǔ)償了亮度變化的參考塊，參考塊Ps補(bǔ)償 亮度后形成的矩陣為 Ps' = Ps+(AX0T_BXST) E (5) 提高視間預(yù)測的編碼效率，提高了多視點(diǎn)視頻編碼壓縮效率。 進(jìn)一步，當(dāng)前塊P。與參考塊Ps的方向特征一致，公式(5)中的A和B的值在理論 上基本相等A二B，因此，我們只需要求出參考塊Ps的權(quán)值矩陣B即可，并將公式(5)簡化 為 Ps' = Ps+B (X0T_XST) E (6)
Ps'作為補(bǔ)償后當(dāng)前塊P。的亮度值矩陣P。，即
p。 = ps+B(X。T—XST)E (7)
下面結(jié)合圖4介紹其計(jì)算過程 亮度補(bǔ)償?shù)年P(guān)鍵在于亮度差計(jì)算是否正確，而當(dāng)前塊模板X。與參考塊模板&確定 時(shí)，亮度差由亮度補(bǔ)償權(quán)值決定。本發(fā)明提出了一種根據(jù)方向確定模板的候選權(quán)值，并且根 據(jù)參考塊Ps中的方向特征推導(dǎo)出當(dāng)前塊P。的方向特征。 對于參考塊模板Xs內(nèi)的某個(gè)像素點(diǎn)p，定義其坐標(biāo)為(x， y)，如圖4所示，點(diǎn)p發(fā) 出的射線與參考塊Ps可能相交的有好多條，對應(yīng)射線不同的方向特征a ，其在塊內(nèi)映射的 長度為1，則定義點(diǎn)P在方向a上對參考塊Ps的相關(guān)性為l。,p，參考塊模板Xs中有m個(gè)像
素點(diǎn)(從0至m)，它們與參考塊Ps的相關(guān)性分別為la,。、1^........L,^，在a方向上，
將所有參考塊模板Xs中m個(gè)像素點(diǎn)的相關(guān)性歸一化得到各個(gè)點(diǎn)在a方向上對應(yīng)的候選權(quán) 值矩陣B—卩"，0 "，1 a，m_l ) H
,=0 ,=0 ,=0 a為參考塊模板Xs中的像素點(diǎn)能與參考塊Ps相交的角度，是離散變化的值，a的 離散變化量為5。 20° ，0°《a《180° ， 這樣，就求得一系列候選權(quán)值矩陣Ba ，我們根據(jù)公式(2)來選擇最優(yōu)的權(quán)值矩陣， 能使|Ps_BaXsTE|最小的a賦值給參數(shù)j，再將Bj賦值給參考塊Ps的權(quán)值矩陣B，這樣，就 能根據(jù)B(X。T-XST)E求出當(dāng)前塊模板X。與參考塊模板Xs之間的亮度差值，并作為當(dāng)前塊P。 和參考塊Ps之間的亮度差值，用于亮度補(bǔ)償。 當(dāng)前塊模板亮度值矩陣X。、參考塊模板亮度值矩陣為Xs與參考塊Ps的權(quán)值矩陣 B都是1行m列的矩陣，當(dāng)前塊模板亮度值矩陣的轉(zhuǎn)置矩陣為X。T為m行1列的矩陣，則 B(X。T-XST)是一個(gè)數(shù)，與矩陣E相乘，獲得階數(shù)與參考塊Ps相同的矩陣，以便按公式(7)對參 考塊Ps相加進(jìn)行亮度補(bǔ)償。 本發(fā)明適用于視頻壓縮系統(tǒng)，包括但不限于H. 264/AVC、AVS、 VC-1等。
具體實(shí)施方式
二 本實(shí)施方式與實(shí)施方式一的不同之處在于，角度a相鄰兩個(gè)離
散點(diǎn)之間的相隔為IO。 18° ，其它與實(shí)施方式一相同。 圖5給出了 Racel序列上的率失真比較結(jié)果，其中橫軸表示平均每幀的
比特?cái)?shù)，縱軸表示平均每幀的峰值信噪比(PSNR)。 MVC為不加亮度補(bǔ)償下的結(jié)果，
MVC+ICT (Illumination Compensation Template)為加了基于模板的亮度補(bǔ)償?shù)慕Y(jié)果。從
圖中可以看出，本發(fā)明對提高多視點(diǎn)視頻編碼的壓縮效率具有明顯的效果。
具體實(shí)施方式
三本實(shí)施方式與實(shí)施方式一的不同之處在于，角度a相鄰兩個(gè)離
散點(diǎn)之間的相隔為15。，其它與實(shí)施方式一相同。 本實(shí)施方式給出一個(gè)具體的實(shí)施例，角度a相鄰兩個(gè)離散點(diǎn)之間的相隔為15° ， 則角度a取值為0、15、30、45、60、75、90、105、120、135、150、165，根據(jù)這些離散的數(shù)值，求
得12個(gè)候選權(quán)值矩陣Ba值以供使用。
具體實(shí)施方式
四本實(shí)施方式與實(shí)施方式一的不同之處在于，角度a相鄰兩個(gè)離 散點(diǎn)之間的相隔為18。，其它與實(shí)施方式一相同。 本實(shí)施方式給出一個(gè)具體的實(shí)施例，角度a相鄰兩個(gè)離散點(diǎn)之間的相隔為18° ， 則角度a取值為0、18、36、54、72、90、108、126、144、162，根據(jù)這些離散的數(shù)值，求得10個(gè)候
選權(quán)值矩陣B。值以供使用。
權(quán)利要求
一種用于圖像編碼的圖像亮度補(bǔ)償方法，其特征在于，該方法包括以下步驟定義當(dāng)前幀圖像的某一宏塊為當(dāng)前塊P0，在當(dāng)前幀中與所述當(dāng)前塊P0相鄰的L形鄰域?yàn)楫?dāng)前塊模板X0，當(dāng)前塊模板亮度值矩陣為X0，當(dāng)前塊模板亮度值矩陣為X0的轉(zhuǎn)置矩陣為X0T，定義前一幀圖像與當(dāng)前塊P0處于同一位置的宏塊為參考塊PS，在前一幀圖像中與所述參考塊PS相鄰的L形鄰域?yàn)閰⒖級K模板XS，參考塊PS的亮度值矩陣為PS，參考塊模板亮度值矩陣為XS，參考塊模板亮度值矩陣XS的轉(zhuǎn)置矩陣為XST，步驟一、將參考塊模板XS中所有像素點(diǎn)與參考塊PS的相關(guān)性歸一化形成一系列候選權(quán)值矩陣Bα <mrow><msub> <mi>B</mi> <mi>α</mi></msub><mo>=</mo><mrow> <mo>(</mo> <mfrac><msub> <mi>l</mi> <mrow><mi>α</mi><mo>,</mo><mn>0</mn> </mrow></msub><mrow> <munderover><mi>Σ</mi><mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn></mrow><mrow> <mi>m</mi> <mo>-</mo> <mn>1</mn></mrow> </munderover> <msub><mi>l</mi><mrow> <mi>α</mi> <mo>,</mo> <mi>i</mi></mrow> </msub></mrow> </mfrac> <mo>,</mo> <mfrac><msub> <mi>l</mi> <mrow><mi>α</mi><mo>,</mo><mn>1</mn> </mrow></msub><mrow> <munderover><mi>Σ</mi><mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn></mrow><mrow> <mi>m</mi> <mo>-</mo> <mn>1</mn></mrow> </munderover> <msub><mi>l</mi><mrow> <mi>α</mi> <mo>,</mo> <mi>i</mi></mrow> </msub></mrow> </mfrac> <mo>,</mo> <mo>.</mo> <mo>.</mo> <mo>.</mo> <mo>,</mo> <mfrac><msub> <mi>l</mi> <mrow><mi>α</mi><mo>,</mo><mi>m</mi><mo>-</mo><mn>1</mn> </mrow></msub><mrow> <munderover><mi>Σ</mi><mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn></mrow><mrow> <mi>m</mi> <mo>-</mo> <mn>1</mn></mrow> </munderover> <msub><mi>l</mi><mrow> <mi>α</mi> <mo>,</mo> <mi>i</mi></mrow> </msub></mrow> </mfrac> <mo>)</mo></mrow> </mrow>參考塊模板XS中共m個(gè)像素點(diǎn)，每個(gè)像素點(diǎn)在角度α方向上對參考塊PS的相關(guān)性分別表示為lα，0、lα，1、……、lα，m-1，m為大于1的自然數(shù)，其中，α為參考塊模板XS中的像素點(diǎn)能與參考塊PS相交的角度，是離散變化的值，α的離散變化量為5°～20°，0°≤α≤180°，步驟二、獲取參考塊PS的權(quán)值矩陣B＝Bj，其中，參數(shù)j由下式確定 <mrow><mi>j</mi><mo>=</mo><mi>arg</mi><munder> <mi>min</mi> <mi>α</mi></munder><mo>|</mo><msub> <mi>P</mi> <mi>S</mi></msub><mo>-</mo><msub> <mi>B</mi> <mi>α</mi></msub><msup> <msub><mi>X</mi><mi>S</mi> </msub> <mi>T</mi></msup><mi>E</mi><mo>|</mo><mo>,</mo> </mrow>步驟三、根據(jù)B(X0T-XST)E獲得當(dāng)前塊P0與參考塊PS之間的亮度差值，對當(dāng)前塊P0進(jìn)行亮度補(bǔ)償，其中E為值均為1的全1矩陣，且其階數(shù)與參考塊PS的亮度值矩陣為PS的階數(shù)相同。
2. 根據(jù)權(quán)利要求1所述的一種用于圖像編碼的圖像亮度補(bǔ)償方法，其特征在于，當(dāng)前塊P。進(jìn)行亮度補(bǔ)償，補(bǔ)償后當(dāng)前塊P。的亮度值矩陣P。為<formula>formula see original document page 2</formula>
3. 根據(jù)權(quán)利要求1所述的一種用于圖像編碼的圖像亮度補(bǔ)償方法，其特征在于，角度a相鄰兩個(gè)離散點(diǎn)之間的相隔為10° 18° 。
4. 根據(jù)權(quán)利要求1所述的一種用于圖像編碼的圖像亮度補(bǔ)償方法，其特征在于，角度a相鄰兩個(gè)離散點(diǎn)之間的相隔為15° 。
5. 根據(jù)權(quán)利要求1所述的一種用于圖像編碼的圖像亮度補(bǔ)償方法，其特征在于，角度a相鄰兩個(gè)離散點(diǎn)之間的相隔為18° 。
全文摘要
一種用于圖像編碼的圖像亮度補(bǔ)償方法，屬于圖像處理領(lǐng)域，本發(fā)明為解決目前對多視點(diǎn)視頻編碼的圖像進(jìn)行亮度補(bǔ)償?shù)乃惴ㄟ^于復(fù)雜，速度慢，壓縮效率低的問題。本發(fā)明通過比較當(dāng)前塊模板X0與參考塊模板XS之間的亮度差異來確定當(dāng)前塊P0與參考塊PS之間的亮度差異，從而實(shí)現(xiàn)對當(dāng)前塊的亮度補(bǔ)償，利用求出一系列候選權(quán)值矩陣Bα，根據(jù)公式求出最優(yōu)的Bj并賦值給參考塊PS的權(quán)值矩陣B，這樣就可以通過B(X0T-XST)E求出當(dāng)前塊模板X0與參考塊模板XS之間的亮度差值，并作為當(dāng)前塊P0和參考塊PS之間的亮度差值，用于亮度補(bǔ)償。
文檔編號H04N7/32GK101710985SQ20091007339
公開日2010年5月19日 申請日期2009年12月11日 優(yōu)先權(quán)日2009年12月11日
發(fā)明者劉紹輝, 姜峰, 李曉明, 趙德斌 申請人:哈爾濱工業(yè)大學(xué)