專利名稱：視頻圖像序列的編碼之前的預(yù)處理設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在視頻圖像序列的編碼之前的一種預(yù)處理設(shè)備和方法。
背景技術(shù)：
因?yàn)榫幋a的圖像的時(shí)間或空間熵減小，圖像編碼設(shè)備變得更加有效。
因此，圖像編碼設(shè)備經(jīng)常與圖像預(yù)處理設(shè)備相關(guān)聯(lián)，在所述圖像預(yù)處理設(shè)備中處理圖像以允許更好地編碼。
已經(jīng)知道，用于減小視頻序列的熵的預(yù)處理設(shè)備使用線性或非線性濾波器，所述濾波器減小、甚至消除了主要導(dǎo)致幀內(nèi)模式中的圖像編碼成本的高頻分量。這里存在很多可用濾波器，包括一維或二維低通濾波器、Nagao濾波器、平均值濾波器、以及中值濾波器。
這些方法的主要缺點(diǎn)是由于交織視頻的每一個(gè)幀僅具有一半圖像的垂直分辨率的事實(shí)，減小太明顯的空間清晰度，尤其是在垂直軸；對(duì)象的模糊效應(yīng)；惡化的輪廓。

發(fā)明內(nèi)容
本發(fā)明旨在解決至少一個(gè)上述缺點(diǎn)。
為此，本發(fā)明提出了一種在對(duì)視頻圖像序列編碼之前進(jìn)行預(yù)處理設(shè)備，其特征在于所述預(yù)處理設(shè)備包括將形態(tài)學(xué)處理步驟應(yīng)用于視頻圖像序列的裝置；混合器，用于在每一個(gè)形態(tài)學(xué)處理步驟之后，向已經(jīng)進(jìn)行了所述處理步驟之一的視頻序列應(yīng)用加權(quán)。
應(yīng)用原始的形態(tài)學(xué)處理對(duì)于圖像的質(zhì)量具有破壞性的效果。每一個(gè)形態(tài)學(xué)運(yùn)算器之間的混合器的存在通過將運(yùn)算器的原始結(jié)果和相同運(yùn)算器的輸入混合在一起，對(duì)該處理的效果進(jìn)行加權(quán)。
根據(jù)優(yōu)選的實(shí)施例，所述設(shè)備包括在應(yīng)用多個(gè)形態(tài)學(xué)處理步驟之前測量所述視頻圖像序列的復(fù)雜性的裝置。
實(shí)際上，將用于減小圖像的空間熵的預(yù)處理主要地推薦給具有較高復(fù)雜性的圖像。因此可以根據(jù)圖像的復(fù)雜性來控制預(yù)處理，并且所述預(yù)處理適合于圖像的復(fù)雜性。
有利地，測量所述視頻圖像序列的裝置測量圖像內(nèi)的相關(guān)性。
根據(jù)優(yōu)選的實(shí)施例，測量復(fù)雜性的裝置計(jì)算針對(duì)每一個(gè)混合器的加權(quán)系數(shù)。
有利地，針對(duì)每一個(gè)混合器的加權(quán)系數(shù)是相同的。
有利地，加權(quán)系數(shù)與圖像內(nèi)的相關(guān)性成反比。
優(yōu)選地，針對(duì)每一個(gè)圖像，應(yīng)用多個(gè)形態(tài)學(xué)處理步驟的裝置和混合器將所述處理步驟逐像素地應(yīng)用于視頻信號(hào)的輝度分量。
優(yōu)選地，所述設(shè)備包括在測量圖像內(nèi)的相關(guān)性之前對(duì)所述視頻圖像序列進(jìn)行解交織的裝置；以及在最后的加權(quán)之后對(duì)所述視頻序列進(jìn)行交織的裝置。
這使得可以獲得逐行的幀，所述幀的每一個(gè)均包含圖像的完整垂直清晰度。然后，可以無偏差地在圖像的兩個(gè)軸中(水平和垂直)考慮處理。
本發(fā)明還涉及一種在編碼視頻圖像序列之前的預(yù)處理方法。根據(jù)本發(fā)明，所述方法包括對(duì)于輸入視頻圖像序列的多個(gè)形態(tài)學(xué)處理步驟；在每一個(gè)形態(tài)學(xué)處理步驟之后，用于向形態(tài)學(xué)處理步驟的結(jié)果應(yīng)用加權(quán)的多個(gè)加權(quán)步驟。


參考但是不局限于附圖，將借助于實(shí)施例和有利實(shí)施方式的示例更好地理解和說明本發(fā)明，其中圖1代表根據(jù)本發(fā)明的設(shè)備的優(yōu)選實(shí)施例；圖2代表考慮定義當(dāng)前圖像的復(fù)雜性的當(dāng)前點(diǎn)P的鄰近區(qū)域。
具體實(shí)施例方式
所表現(xiàn)的模塊是功能單元，所述模塊可以或不可以與物理可區(qū)分的單元相對(duì)應(yīng)。例如，可以以單獨(dú)的組件、或一個(gè)和相同的軟件的形式功能性對(duì)這些模塊或模塊中的一些進(jìn)行分組。相反地，如有必要，確定的模塊可以包括分離的物理實(shí)體。
預(yù)編碼設(shè)備的輸入處的視頻信號(hào)Ei是交織型視頻信號(hào)。
為了改善預(yù)編碼設(shè)備的性能，通過解交織器1來解交織視頻信號(hào)。解交織器1基于視頻信號(hào)Ei的三個(gè)連續(xù)的場，使用本領(lǐng)域普通技術(shù)人員公知的解交織方法，使視頻信號(hào)Ei的每一個(gè)場的線的數(shù)目加倍。然后獲得逐行格式，其中每一個(gè)場變成幀并且包含圖像的完整垂直清晰度，使得可以在垂直軸中執(zhí)行所述處理。
在解交織器1的輸出處獲得信號(hào)E。
然后執(zhí)行圖像的復(fù)雜性分析。實(shí)際上，將空間熵減小主要應(yīng)用于具有較高空間熵的圖像。
因此，所述設(shè)備包括測量每一個(gè)圖像的相關(guān)性的上游裝置2。
圖2示出了考慮到用于計(jì)算模塊2中的當(dāng)前圖像的復(fù)雜性的鄰近區(qū)域的示例。
針對(duì)圖像的每一個(gè)像素，使用當(dāng)前點(diǎn)的輝度及其四個(gè)鄰居的輝度來計(jì)算像素結(jié)果“Rp”Rp＝[abs(P-P(-1，0))+abs(P-P(0，-1))+abs(P-P(0，+1))+abs(P-P(+1，0))]/4然后，將累加一個(gè)幀的這些像素結(jié)果。
Cintra=Σ0nbpixelsRpnblignes×nbcol]]>將該相關(guān)性測量用于確定整個(gè)圖像的像素及其相鄰像素之間的平均偏差。從而獲得關(guān)于圖像中清晰度的感興趣信息。
在其他實(shí)施例中，可以修改這些等式以便獲得圖像復(fù)雜性的更加完整的清晰度。還可以在考慮計(jì)算圖像的復(fù)雜性時(shí)擴(kuò)大當(dāng)前像素的鄰近區(qū)域。
根據(jù)該測量，在
的范圍內(nèi)計(jì)算系數(shù)K，作為輸入圖像的復(fù)雜性的函數(shù)。
下表示出了系數(shù)K的值，作為Cintra的函數(shù)，以下僅作為演示。
對(duì)于8個(gè)像素編碼Cintra的值，并且因此Cintra的值在0至255之間。

當(dāng)相關(guān)性非常強(qiáng)時(shí)(清晰度非常小)，仍然執(zhí)行圖像的預(yù)處理，但是以通過系數(shù)K的值演示的較小比例進(jìn)行。
相反地，弱相關(guān)性是強(qiáng)熵的指示。隨機(jī)噪聲的示例(弱相關(guān)性，甚至是零相關(guān)性)是較好的示例(高熵)在優(yōu)選實(shí)施例中，針對(duì)每一個(gè)混合器，系數(shù)K可以是相同的，或針對(duì)所有的混合器不同。
將在圖1的設(shè)備中執(zhí)行的處理僅應(yīng)用于視頻的輝度分量。
實(shí)際中，色度分量的處理可能激發(fā)顏色的不當(dāng)偽象，但首先，輝度分量具有圖像的大部分復(fù)雜性。
然后，模塊2的輸出處的信號(hào)Ein(與信號(hào)E相同)在模塊2中進(jìn)行腐蝕(erosion)。腐蝕過程包括在作為輸入接收的結(jié)構(gòu)化(structuring)元素的像素中，保持具有最小輝度值的像素。結(jié)構(gòu)化元素包括圍繞當(dāng)前像素的3×3窗口，三行乘三列，或者9個(gè)像素。然而可以采用其它窗口尺寸，只需窗口的尺寸與腐蝕的嚴(yán)重程度成比例。
因此，模塊3針對(duì)輸入的視頻信號(hào)Ein的每一個(gè)像素計(jì)算其新的輝度值。
因此，模塊3的輸出處的視頻信號(hào)T0代表已腐蝕的信號(hào)Ein，或因此針對(duì)每一個(gè)像素，與對(duì)應(yīng)于作為一部分的結(jié)構(gòu)化元素的最小值的T0相關(guān)地改變其輝度值。
然后，將信號(hào)T0發(fā)送到混合器4?；旌掀?還接收由模塊2發(fā)送的系數(shù)K，作為輸入。
混合器4根據(jù)以下公式產(chǎn)生作為輸出的信號(hào)S0S0＝K×T0+(1-K)×Ein將信號(hào)S0輸入到膨脹模塊5。
膨脹運(yùn)算包括用3×3＝9像素的尺寸，在以當(dāng)前像素為中心的結(jié)構(gòu)化元素的元素中，保留具有最大輝度值的像素。
膨脹模塊產(chǎn)生新的視頻信號(hào)T1作為輸出，將所述視頻信號(hào)傳輸?shù)交旌掀?的輸入?；旌掀?還接收加權(quán)系數(shù)K作為輸入。
然后，混合器6針對(duì)每一個(gè)像素，通過以下公式，根據(jù)對(duì)作為輸入接收的輝度值進(jìn)行加權(quán)，產(chǎn)生信號(hào)S1S1＝K×T1+(1-K)×S0然后，將信號(hào)S1輸入到第二膨脹模塊7。
然后，膨脹模塊7對(duì)信號(hào)S1執(zhí)行膨脹操作。膨脹操作包括用3×3＝9的像素尺寸，在以當(dāng)前像素為中心的結(jié)構(gòu)化元素的元素中保留具有最大輝度值的像素。
然后，膨脹模塊7產(chǎn)生視頻信號(hào)T2，作為輸出，將所述視頻信號(hào)T2輸入到混合器8的輸入，所述混合器8針對(duì)接收的每一個(gè)像素，對(duì)接收的信號(hào)的輝度分量進(jìn)行加權(quán)?；旌掀?還接收加權(quán)系數(shù)K作為輸入。
混合器8根據(jù)以下公式產(chǎn)生信號(hào)S2作為輸出S2＝K×T2+(1-K)×S1然后，將信號(hào)S2輸入到第二腐蝕模塊9。
模塊9向信號(hào)S2應(yīng)用腐蝕，所述腐蝕運(yùn)算包括如之前所示，用之前定義的結(jié)構(gòu)化元素的像素中的最小像素來代替當(dāng)前像素。腐蝕模塊9產(chǎn)生信號(hào)T3作為輸出，將所述信號(hào)T3輸入到第一混合器10?；旌掀?0還接收加權(quán)系數(shù)K作為輸入。
混合器根據(jù)以下等式產(chǎn)生信號(hào)S3作為輸出S3＝K×T3+(1-K)×S2然后，將信號(hào)S3發(fā)送到交織器11的輸入，所述交織器用于交織信號(hào)S3以便獲得預(yù)處理設(shè)備的視頻輸出Si，然后將所述視頻輸出Si發(fā)送到編碼設(shè)備。
然后，輸入的視頻信號(hào)Si受益于減小的空間熵，并且其隨后的編碼變得更加容易。隨后可以考慮任意的編碼類型。
當(dāng)然，本發(fā)明不限于上述實(shí)施例，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)容易地理解，可以考慮修改預(yù)處理設(shè)備的形態(tài)學(xué)操作的數(shù)目，與可以修改相關(guān)的混合器數(shù)目相同。
將之后是膨脹的腐蝕稱作開運(yùn)算。
將之后是腐蝕的膨脹稱作閉運(yùn)算。
權(quán)利要求
1.一種在視頻圖像序列(Ei)的編碼之前的預(yù)處理設(shè)備，其特征在于所述預(yù)處理設(shè)備包括將形態(tài)學(xué)處理步驟應(yīng)用于視頻圖像序列(Ei)的裝置(3、5、7、9)；混合器(4、6、8、10)，用于在每一個(gè)形態(tài)學(xué)處理步驟之后，向形態(tài)學(xué)處理的結(jié)果應(yīng)用加權(quán)。
2.如權(quán)利要求1所述的設(shè)備，其特征在于所述設(shè)備包括在應(yīng)用多個(gè)形態(tài)學(xué)處理步驟之前測量所述視頻圖像序列(Ei)的復(fù)雜性的裝置(2)。
3.如權(quán)利要求2所述的設(shè)備，其特征在于測量所述視頻圖像序列(Ei)的裝置測量圖像內(nèi)的相關(guān)性。
4.如權(quán)利要求3所述的設(shè)備，其特征在于所述測量復(fù)雜性的裝置計(jì)算針對(duì)每一個(gè)混合器(4、6、8、10)的加權(quán)系數(shù)(K)。
5.如權(quán)利要求4所述的設(shè)備，其特征在于針對(duì)每一個(gè)混合器(4、6、8、10)的所述加權(quán)系數(shù)(K)是相同的。
6.如權(quán)利要求4或5所述的設(shè)備，其特征在于所述加權(quán)系數(shù)與圖像內(nèi)的相關(guān)性成反比。
7.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的設(shè)備，其特征在于針對(duì)每一個(gè)圖像，應(yīng)用多個(gè)形態(tài)學(xué)處理步驟的裝置(3、5、7、9)和混合器(4、6、8、10)將所述處理步驟逐像素地應(yīng)用于視頻信號(hào)的輝度分量。
8.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的設(shè)備，其特征在于所述設(shè)備包括在測量圖像內(nèi)的相關(guān)性之前對(duì)所述視頻圖像序列(Ei)進(jìn)行解交織的裝置(1)；以及在最后的加權(quán)之后交織所述視頻序列(Ei)的裝置(11)。
9.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的設(shè)備，其特征在于應(yīng)用多個(gè)形態(tài)學(xué)處理步驟的裝置執(zhí)行開運(yùn)算，之后是關(guān)運(yùn)算。
10.一種在視頻圖像序列的編碼之前的預(yù)處理方法，其特征在于所述方法包括對(duì)于視頻圖像序列(Ei)的多個(gè)形態(tài)學(xué)處理步驟；在每一個(gè)形態(tài)學(xué)處理步驟之后，用于向形態(tài)學(xué)處理步驟的結(jié)果應(yīng)用加權(quán)的多個(gè)加權(quán)步驟。
全文摘要
本發(fā)明涉及在視頻圖像序列(Ei)的編碼之前的一種預(yù)處理方法和設(shè)備。根據(jù)本發(fā)明，所述設(shè)備包括將多個(gè)形態(tài)學(xué)處理步驟應(yīng)用于視頻圖像序列(Ei)的裝置(3、5、7、9)；混合器(4、6、8、10)，用于在每一個(gè)形態(tài)學(xué)處理步驟之后，向形態(tài)學(xué)處理的結(jié)果應(yīng)用加權(quán)。
文檔編號(hào)G06T5/30GK101032170SQ200580019469
公開日2007年9月5日 申請(qǐng)日期2005年6月22日 優(yōu)先權(quán)日2004年7月1日
發(fā)明者讓-伊夫·巴博諾, 雅基·迪厄默加爾, 奧利維耶·勒默爾 申請(qǐng)人:湯姆森許可貿(mào)易公司