專利名稱：圖像數(shù)據(jù)的平滑處理器、平滑處理方法以及平滑處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及與圖像數(shù)據(jù)的壓縮編碼有關(guān)的圖像數(shù)據(jù)的平滑處理。
背景技術(shù)：
一般地，由于運(yùn)動(dòng)圖像信息具有巨大的數(shù)據(jù)量，所以當(dāng)其在存儲(chǔ)媒質(zhì)中時(shí)，需要巨大的存儲(chǔ)量容量來存儲(chǔ)運(yùn)動(dòng)圖像信息。因此，存在用于圖像壓縮編碼的已知技術(shù)，使得運(yùn)動(dòng)圖像可以存儲(chǔ)在諸如光盤的記錄媒介中。作為一種運(yùn)動(dòng)圖像的壓縮編碼方法，MPEG(運(yùn)動(dòng)圖像專家組)被認(rèn)為是一個(gè)代表性的例子。
諸如MPEG的壓縮編碼系統(tǒng)的壓縮方法是，對預(yù)設(shè)數(shù)量的圖像元素(像素)(諸如8×8像素)中的每塊都進(jìn)行離散余弦變換(DCT)和原始圖像數(shù)據(jù)的量化，從而消除原始圖像數(shù)據(jù)的高頻分量。因此，在將原始圖像數(shù)據(jù)壓縮到低碼率的時(shí)候，在每個(gè)圖像塊中可能會(huì)出現(xiàn)類似各塊邊緣線的塊噪聲。當(dāng)進(jìn)行壓縮編碼的原始圖像數(shù)據(jù)(后面稱作“原始圖像數(shù)據(jù)”)具有大量高頻分量時(shí)，就會(huì)十分顯著地出現(xiàn)這種塊噪聲。
為了消除這樣的塊噪聲，使用預(yù)濾波器的濾波操作將作為諸如MPEG的壓縮編碼的準(zhǔn)備工作而執(zhí)行。預(yù)濾波器是一種平滑濾波器。預(yù)濾波器的用途在于，通過預(yù)先消除存在于原始圖像數(shù)據(jù)中的高頻分量，從而在諸如MPEG的壓縮編碼中降低塊噪聲。一般地，預(yù)濾波器通過使用預(yù)設(shè)大小(像素?cái)?shù))的平滑濾波器將構(gòu)成圖像數(shù)據(jù)的像素亮度值平均化，從而消除原始圖像數(shù)據(jù)的高頻分量。這種方法公開在日本專利3280211中。
但是，由于大多數(shù)已知預(yù)濾波器都是靜態(tài)操作的二維濾波器，并且平滑處理是不考慮進(jìn)行濾波處理的原始圖像數(shù)據(jù)的變化和特征而統(tǒng)一進(jìn)行的，所以在平滑處理之后有可能在圖像數(shù)據(jù)中出現(xiàn)缺陷。經(jīng)受平滑處理的原始圖像數(shù)據(jù)可包括60場(60-field)圖像數(shù)據(jù)、30幀圖像數(shù)據(jù)和2-3下拉圖像數(shù)據(jù)(2-3 pull-down image data)。60場圖像數(shù)據(jù)中，每一秒由60場構(gòu)成，該圖像數(shù)據(jù)每場中的圖像分量都不相同。30幀圖像數(shù)據(jù)中，每秒包含30幀，組成一幀的兩場圖像的圖像分量是相同的，并且如果圖像顯示為一幀的話，該圖像數(shù)據(jù)就會(huì)成為靜止圖像。2-3下拉幀圖像是60場的圖像，其通過每秒轉(zhuǎn)換24幀的圖像來生成，例如電影。
像這樣，由于有許多種原始圖像數(shù)據(jù)，如果平滑處理是由靜態(tài)預(yù)濾波器統(tǒng)一進(jìn)行的話，就可能在處理過的圖像數(shù)據(jù)中出現(xiàn)缺陷。例如，如果通過在幀單元中進(jìn)行平滑處理的預(yù)濾波器對場圖像數(shù)據(jù)(每秒60場)進(jìn)行平滑處理的話，由于兩場圖像的組合構(gòu)成一幀，則要對兩場絕然不同的圖像進(jìn)行平滑處理，圖像數(shù)據(jù)在平滑處理之后可能與原始圖像數(shù)據(jù)完全不一樣。如果通過在場單元中進(jìn)行平滑處理的預(yù)濾波器對幀圖像數(shù)據(jù)(每秒30幀)進(jìn)行平滑處理的話，由于在某些圖像內(nèi)容中行級(jí)上的圖像的差別，每場的平滑結(jié)果不相同，因而可能會(huì)出現(xiàn)諸如色條信號(hào)的缺陷。

發(fā)明內(nèi)容
本發(fā)明為了解決上述問題而實(shí)現(xiàn)。本發(fā)明的一個(gè)目標(biāo)是提供一種平滑處理器，該平滑處理器能夠通過簡單的配置和算法，適當(dāng)?shù)亟档驮紙D像數(shù)據(jù)的噪聲分量，而無需考慮原始圖像數(shù)據(jù)的類型。
首先，將說明本發(fā)明的基本技術(shù)。作為諸如MPEG的壓縮編碼的準(zhǔn)備工作，由預(yù)濾波器進(jìn)行平滑處理從而消除噪聲分量，如上所述。由預(yù)濾波器進(jìn)行平滑處理的原始圖像數(shù)據(jù)的種類是多種多樣的，諸如上述的60場圖像數(shù)據(jù)和30幀圖像數(shù)據(jù)。如果對時(shí)間上連續(xù)的兩場圖像數(shù)據(jù)進(jìn)行平滑處理的話，可能會(huì)產(chǎn)生不利的影響，諸如帶來圖像分量上的變化。例如，在30幀圖像數(shù)據(jù)的情況中，當(dāng)前場圖像與后場圖像互相匹配時(shí)，如圖1A中所示適當(dāng)?shù)剡M(jìn)行平滑處理并消除不必要的噪聲。但是，例如在2-3下拉圖像數(shù)據(jù)和場序顛倒的圖像(在這種類型的圖像數(shù)據(jù)中，一幀圖像是由一個(gè)后場圖像和下一個(gè)前場圖像構(gòu)成的)的情況中，圖像分量不同的圖像可如圖1B中所示很不適宜地進(jìn)行平滑。
根據(jù)本發(fā)明，首先，為了選擇用于平滑的適當(dāng)?shù)膬蓤鰣D像的組合，要進(jìn)行場/幀判定處理。通常，一幀圖像是由兩場構(gòu)成的。這兩場圖像被稱作“前場(top field)”和“后場(bottom field)”。也就是說，一幀圖像是由一個(gè)前場和一個(gè)后場的組合構(gòu)成的。注意到，前場和后場也被稱作通常圖像信號(hào)中的“奇場”和“偶場”，或“第一場”和“第二場”。但是，這取決于每個(gè)奇/偶或第一/第二場所對應(yīng)的前場和后場之一的信號(hào)的具體格式。
當(dāng)考慮對某確定場圖像進(jìn)行平滑時(shí)，可以產(chǎn)生場圖像的組合，無論哪場都可以在時(shí)間上位于該確定場圖像之前和之后的兩場圖像之中進(jìn)行選擇。也就是說，假如對第n個(gè)前場圖像進(jìn)行平滑，則平滑處理的場圖像的組合可以是(1)第n個(gè)前場和第n個(gè)后場的組合，或(2)第n個(gè)前場和第n-1個(gè)后場的組合。根據(jù)本發(fā)明，選擇這兩種組合中具有較小圖像分量差別的一種來進(jìn)行平滑處理。因此，可以降低由于對具有較大圖像分量差別的組合的場圖像進(jìn)行平滑而造成的不足。
此外，當(dāng)對以上述方式確定的兩場圖像的組合進(jìn)行平滑時(shí)，場圖像的圖像區(qū)域被劃分成多個(gè)小區(qū)域(塊)，平滑處理是以塊為單位進(jìn)行的。此時(shí)，對于兩場圖像的圖像分量具有較小差別的區(qū)域，由幀單元進(jìn)行平滑，而對于兩場圖像的圖像分量具有較大差別的區(qū)域，由場單元進(jìn)行平滑?！坝蓭瑔卧M(jìn)行平滑”意味著平滑處理是在幀圖像中鄰近的行之間進(jìn)行的。“由場單元進(jìn)行平滑”意味著平滑處理是在場圖像中鄰近的行之間進(jìn)行的(在幀圖像的情況中，是在跳過一行的行之間進(jìn)行)。上面的處理是對于每一塊進(jìn)行。因此，當(dāng)平滑一場圖像時(shí)，在圖像運(yùn)動(dòng)較大的小區(qū)域(塊)中，平滑是在相同場內(nèi)進(jìn)行的，而在運(yùn)動(dòng)較小的小區(qū)域(塊)中，平滑是在臨近場之間進(jìn)行的。因此，通過考慮進(jìn)行平滑處理的圖像數(shù)據(jù)的圖像分量是否具有大的改變，能夠以適當(dāng)?shù)姆椒▽γ恳粔K進(jìn)行平滑。
根據(jù)本發(fā)明的一個(gè)方面的圖像數(shù)據(jù)平滑處理器包括數(shù)據(jù)獲取單元、判定單元和平滑單元。其中，數(shù)據(jù)獲取單元獲取包含在時(shí)間序列上排列的多個(gè)單位圖像數(shù)據(jù)在內(nèi)的圖像數(shù)據(jù)。判定單元為構(gòu)成單位圖像數(shù)據(jù)的多個(gè)塊判定進(jìn)行處理的對象單位(object unit)圖像數(shù)據(jù)與位于對象單位圖像數(shù)據(jù)之前一個(gè)的在先單位(preceding unit)圖像數(shù)據(jù)之間的差別，以及對象單位圖像數(shù)據(jù)與位于對象單位圖像數(shù)據(jù)之后一個(gè)的后續(xù)單位(subsequent unit)圖像數(shù)據(jù)之間的差別。平滑單元根據(jù)判定單元的確定結(jié)果，通過使用對象單位圖像數(shù)據(jù)與在先單位圖像數(shù)據(jù)和后續(xù)單位圖像數(shù)據(jù)中具有較小差別的一個(gè)來進(jìn)行平滑。
根據(jù)本發(fā)明的一個(gè)特點(diǎn)，其中在時(shí)間序列上排列的諸如場圖像的多個(gè)對象單位圖像數(shù)據(jù)的圖像數(shù)據(jù)是通過圖像源提供的。對象單位圖像數(shù)據(jù)被劃分成預(yù)設(shè)尺寸的塊。為每個(gè)塊判定對象單位圖像數(shù)據(jù)與位于對象單位圖像數(shù)據(jù)之前一個(gè)的在先單位圖像數(shù)據(jù)之間的差別，以及對象單位圖像數(shù)據(jù)與位于對象單位圖像數(shù)據(jù)之后一個(gè)的后續(xù)單位圖像數(shù)據(jù)之間的差別。對象單位圖像數(shù)據(jù)的差別是圖像數(shù)據(jù)分量的差別。具體地說，該差別可能是構(gòu)成圖像數(shù)據(jù)的像素值的差別。對象單位圖像數(shù)據(jù)是通過在先單位圖像數(shù)據(jù)和后續(xù)單位圖像數(shù)據(jù)中差別較小的一個(gè)而進(jìn)行平滑的。因此，對象單位圖像數(shù)據(jù)總是通過差別最小的對象單位圖像數(shù)據(jù)而進(jìn)行平滑的，所以可以防止由平滑帶來的不利影響，與此同時(shí)，可以進(jìn)行有效噪聲消除。
根據(jù)上述平滑處理器的一個(gè)特征，判定單元可包括判定每個(gè)塊中的差別是否大于或等于預(yù)設(shè)值的單元，以及將包含較小塊的在先單位圖像數(shù)據(jù)與后續(xù)單位圖像數(shù)據(jù)中差別大于或等于預(yù)設(shè)值的一個(gè)判定為具有較小差別的單位圖像數(shù)據(jù)的單元。在此特征中，由于圖像數(shù)據(jù)的差別是為每一塊而確定的，而且差別比預(yù)設(shè)值大的塊的數(shù)目被確定為較大差別的單位圖像數(shù)據(jù)，所以可以通過簡單的比較處理來確定差別較大的單位圖像數(shù)據(jù)。
根據(jù)上述平滑處理器的另一個(gè)特征，對于差別小于預(yù)設(shè)值的塊，平滑單元可以通過使用對象單位圖像數(shù)據(jù)和具有較小差別的單位圖像數(shù)據(jù)來進(jìn)行平滑，而對于差別大于或等于預(yù)設(shè)值的塊，僅僅使用對象單位圖像數(shù)據(jù)進(jìn)行平滑。
在本特征中，通過考慮平滑處理中的差別來對每塊以不同方法進(jìn)行平滑。也即，由于僅僅對判定為差別較大的塊中的對象單位圖像數(shù)據(jù)進(jìn)行平滑，所以可以避免缺陷(即，對差別較大的對象單位圖像數(shù)據(jù)進(jìn)行平滑)。對于判定為差別較小的塊，由于使用兩個(gè)對象單位圖像數(shù)據(jù)來進(jìn)行平滑，所以可以有效地消除噪聲。
根據(jù)本發(fā)明的另一方面，可提供圖像數(shù)據(jù)的平滑處理方法，其包括與上述平滑處理器相同的處理。此外，上述平滑處理器的處理可以以在計(jì)算機(jī)上運(yùn)行的平滑處理程序的形式來實(shí)現(xiàn)。
通過在閱讀下面簡述的附圖時(shí)對本發(fā)明的優(yōu)選實(shí)施例做出下面的詳細(xì)的描述，可以更加清楚地認(rèn)識(shí)到本發(fā)明的特性、效用和進(jìn)一步的特征。


圖1A和1B是示出平滑處理前后的圖像例子的圖。
圖2是示出適用于根據(jù)本發(fā)明的平滑濾波器的圖像數(shù)據(jù)的壓縮編碼系統(tǒng)的示意性配置的框圖。
圖3A和3B是示出進(jìn)行幀/場判定處理的幀圖像的組合例的圖。
圖4是示出幀/場判定處理中的塊單位中幀累加和的計(jì)算方法的圖。
圖5A和5B是示出幀/場判定處理中的塊單位中場累加和的計(jì)算方法的圖。
圖6是示出關(guān)于進(jìn)行處理的幀圖像的幀/場判定結(jié)果的圖。
圖7A到7C示出了平滑處理中使用的平滑濾波器的配置例。
圖8A和8B示出了平滑處理中使用的Sobel濾波器的配置例。
圖9是由圖2示出的系統(tǒng)所執(zhí)行的預(yù)濾波處理的流程圖。
圖10是圖9中幀/場判定處理的流程圖。
圖11是圖9中平滑處理的流程圖。
具體實(shí)施例方式
現(xiàn)在將結(jié)合附圖，在下面描述本發(fā)明的優(yōu)選實(shí)施例。注意到，下面的實(shí)施例表示將本發(fā)明應(yīng)用于用于在MPEG系統(tǒng)中準(zhǔn)備壓縮編碼的預(yù)濾波器的例子。
壓縮編碼系統(tǒng)圖2示意性地示出了根據(jù)本發(fā)明的預(yù)濾波器所適用于的圖像數(shù)據(jù)的壓縮編碼系統(tǒng)的配置。如圖2中所示，將從圖像源5輸出的原始圖像數(shù)據(jù)D0提供給本發(fā)明的預(yù)濾波器(平滑濾波器)10。注意到，圖像源5可以是某種存儲(chǔ)介質(zhì)，諸如各種類型的光盤和硬盤，原始圖像數(shù)據(jù)D0可以是各種類型的圖像數(shù)據(jù)，包括60場圖像數(shù)據(jù)、30幀圖像數(shù)據(jù)和2-3下拉幀圖像數(shù)據(jù)，如上所述。
預(yù)濾波器10對原始圖像數(shù)據(jù)D0進(jìn)行合適地平滑，并給編碼單元7提供平滑處理后的圖像數(shù)據(jù)D1。編碼單元7可以是(例如)MPEG編碼器，其對圖像數(shù)據(jù)D1進(jìn)行壓縮編碼。一般地，如果是MPEG編碼器的話，首先，對圖像數(shù)據(jù)D1進(jìn)行DCT，并在量化和編碼之后輸出已編碼的圖像數(shù)據(jù)。注意到，以這種方式進(jìn)行壓縮編碼的圖像數(shù)據(jù)將通過記錄在諸如光盤的記錄媒介中以及通過傳輸信道傳輸而得到使用。
如圖2中所示，預(yù)濾波器10包括存儲(chǔ)器12、幀/場判定單元14、平滑單元16以及輸出緩沖器18。存儲(chǔ)器12具有相當(dāng)于四場圖像的存儲(chǔ)容量。存儲(chǔ)器12以場圖像為單位讀入原始圖像數(shù)據(jù)D0，并暫時(shí)存儲(chǔ)數(shù)據(jù)。
幀/場判定單元14通過使用暫時(shí)存儲(chǔ)在存儲(chǔ)器12中的場圖像來進(jìn)行幀/場判定。幀/場判定單元對要進(jìn)行判定的場圖像以及另一場圖像的內(nèi)容進(jìn)行分析。如果這些場圖像之間的差別小于預(yù)設(shè)水平的話，幀/場判定單元就判定這兩場圖像以幀格式存在。如果差別大于預(yù)設(shè)水平的話，幀/場判定就會(huì)判定這兩場圖像以場格式存在。后面將對其進(jìn)行詳細(xì)描述，簡單地說就是，通過將圖像區(qū)域分割成多個(gè)塊來判定每塊的兩場圖像是幀格式的還是場格式的，并基于多個(gè)塊的判定結(jié)果來判定整個(gè)場圖像是幀格式的還是場格式的。
平滑單元16以每個(gè)像素為單位，對由要進(jìn)行處理的場圖像和另一場圖像構(gòu)成的幀圖像進(jìn)行平滑處理。平滑就是將每個(gè)像素與預(yù)設(shè)相鄰范圍內(nèi)的多個(gè)像素進(jìn)行平均的處理，該處理通常是通過使用平滑濾波波器而進(jìn)行的。根據(jù)幀/場判定單元14的判定結(jié)果，平滑單元16指定了要進(jìn)行平滑的場圖像數(shù)據(jù)。對于要進(jìn)行平滑的場圖像數(shù)據(jù)的每一塊來說，當(dāng)幀/場判定處理判定該塊為幀格式時(shí)，平滑是由幀單位進(jìn)行的。平滑處理之后的圖像數(shù)據(jù)暫時(shí)儲(chǔ)存在輸出緩沖器18中，然后輸出到編碼單元7。
預(yù)濾波器中的處理接下來將詳細(xì)地說明在預(yù)濾波器10中的處理。
幀/場判定處理首先，將說明幀/場判定處理。圖3A示出了構(gòu)成原始圖像數(shù)據(jù)的圖像數(shù)據(jù)的例子。原始圖像數(shù)據(jù)基本上是交替地包括前場圖像和后場圖像的圖像數(shù)據(jù)，通過將一前場圖像(top field image)與一后場圖像(bottom field image)進(jìn)行組合來構(gòu)成一幀圖像。在圖3A的例子中，原始圖像數(shù)據(jù)包括作為前場圖像的TOP_01、TOP_02、TOP_03…，并且包括作為后場圖像的BOTTOM_01、BOTTOM_02、BOTTOM_03…。例如，將原始圖像數(shù)據(jù)D0從圖像源5，以TOP_01、BOTTOM_01、TOP_02和BOTTOM_02的順序提供給預(yù)濾波器10的存儲(chǔ)器12。存儲(chǔ)器12具有四場的存儲(chǔ)量。在最初的時(shí)序中，存儲(chǔ)器12保存四場圖像TOP_01、BOTTOM_01、TOP_02和BOTTOM_02。在接下來的時(shí)序中，存儲(chǔ)器保存BOTTOM_01、TOP_02、BOTTOM_02和TOP_03。這樣，在存儲(chǔ)器12中保存的總是時(shí)間上連續(xù)的四場圖像，并同時(shí)更新一場圖像。
現(xiàn)在，假設(shè)要由預(yù)濾波器10進(jìn)行平滑處理的幀圖像是TOP_02，如圖3A所示。在此時(shí)序，保存在存儲(chǔ)器12中的四場圖像為BOTTOM_01、TOP_02、BOTTOM_02和TOP_03。要進(jìn)行處理的場圖像TOP_02如果與前面的場圖像BOTTOM_01或者BOTTOM_02組合就可以構(gòu)成幀圖像。也就是說，也可以由場圖像TOP_02和BOTTOM_01構(gòu)成的幀圖像(稱為“第一組合”)或場圖像TOP_02和BOTTOM_02構(gòu)成的幀圖像(稱為“第二組合”)來對要進(jìn)行處理的場圖像TOP_02進(jìn)行平滑。因此，幀/場判定單元14判定哪種組合是適當(dāng)?shù)摹?br> 根據(jù)本發(fā)明的實(shí)施例，幀/場判定單元14將每一場圖像分割成8×8像素的塊，對每塊進(jìn)行幀/場判定。圖4示意性地示出了由場圖像TOP_02和BOTTOM_01構(gòu)成的幀圖像的一塊。圖4中的白方格表示前場圖像的一個(gè)像素，陰影方格表示后場圖像的一個(gè)像素。在圖4的右邊，用字母表示了從幀圖像的最上一行開始的3行內(nèi)的每個(gè)像素的像素值(例如亮度值)。像素值“A”到“P”是場圖像TOP_02的像素值，像素值“a”到“h”是場圖像BOTTOM_01的像素值。
幀/場判定單元14通過圖4中所示的公式，利用幀圖像的第1和第2行的像素值來算出幀計(jì)算值CR1。同樣，幀/場判定單元14還利用幀圖像的第2和第3行的像素值來算出幀計(jì)算值CR2。通過進(jìn)行該處理，直到第7和第8行的組合，計(jì)算出幀計(jì)算值CR1到CR7，并通過對這些值求和從而計(jì)算出幀累加和CR。如對圖4中公式的理解，場圖像TOP_02和BOTTOM_01越相似，幀累加和CR的值就會(huì)變得越小。反之，場圖像TOP_02和BOTTOM_01的差別越大，幀累加和CR的值也就會(huì)變得越大。
接下來，幀/場判定單元14算出場累加和，如圖5A和5B中所示。具體地說，首先，如圖5A中所示，對于構(gòu)成前場圖像TOP_02的4行中的相鄰兩行的組合，通過與幀計(jì)算值的例子中相同的公式來計(jì)算出前場計(jì)算值CT1到CT3，并通過對這些值求和來獲得前場累加和CT。如對公式的理解，前場圖像TOP_02每行的像素值越相似，前場累加和CT就會(huì)變得越小。反之，前場圖像TOP_02每行的像素值差別越大，前場累加和CT也就會(huì)變得越大。但是，由于前場累加和CT是在同一場圖像中比較像素值的，所以場累加和CT容易比幀累加和小。
接下來，幀/場判定單元14通過相同的處理計(jì)算出后場累加和CB，如圖5B中所示。具體地說，由于根據(jù)本例，要進(jìn)行處理的幀圖像是由場圖像TOP_02和BOTTOM_01的組合構(gòu)成的，所以通過利用后場圖像BOTTOM_01的每像素值來計(jì)算出后場累加和CB。
這樣，一旦得到了幀累加和CR、前場累加和CT和后場累加和CB，幀/場判定單元14就會(huì)對每塊進(jìn)行幀/場判定。具體地說，首先，通過下面的公式計(jì)算出第1和第2判定值，判斷下面所述的條件方程(1)和(2)是否滿足。
第一判定值＝|CR-2·CT|＞2000 (1)第二判定值＝|CR-2·CB|＞2000 (2)如果上述兩個(gè)條件方程(1)和(2)都滿足，幀/場判定單元就將該塊判定為“場”。除非都上述兩個(gè)條件方程(1)和(2)，幀/場判定單元就將該塊判定為“幀”。
如上所述，幀/場判定單元14以塊為單位進(jìn)行幀/場判定。當(dāng)原始圖像數(shù)據(jù)具有720×480像素時(shí)，一幀圖像中就包含5400塊的8×8像素，對每一塊進(jìn)行幀/場判定。然后，幀/場判定單元14計(jì)算出判定為“場”的塊的數(shù)目，作為場判定數(shù)fb1。
接下來，幀/場判定單元14對包含要進(jìn)行處理的場圖像TOP_02的場圖像的其它組合(即場圖像TOP_02和BOTTOM_02的組合)進(jìn)行相同的處理，以計(jì)算出場判定數(shù)fb2。
接下來，幀/場判定單元14基于場判定數(shù)判斷應(yīng)當(dāng)將哪種組合(即第1組合還是第2組合)用于平滑處理。具體地說，對具有較小場判定數(shù)的組合進(jìn)行平滑處理。例如，如圖3B中所示，當(dāng)場圖像TOP_02和BOTTOM_01組合的場判定數(shù)fb1＝α大于場圖像TOP_02和BOTTOM_02組合的場判定數(shù)fb2＝β時(shí)，就判定對場圖像TOP_02和BOTTOM_02的組合進(jìn)行后面所述的平滑處理。這樣，幀/場判定單元14判定，由第1和第2組合中場判定數(shù)(即判定為“場”的塊的數(shù)目)較小的一個(gè)來構(gòu)成幀圖像，也就是說，通過在場圖像之間具有較小差別的組合來構(gòu)成幀圖像，從而進(jìn)行平滑處理。因此，不考慮原始圖像數(shù)據(jù)的類型，可以總是對合適的組合進(jìn)行平滑處理。由此，可以防止對具有較大差別的場圖像的組合進(jìn)行平滑處理。
平滑處理接下來，將說明平滑處理。平滑處理是以塊為單位對每一像素實(shí)施的。圖6示意性地示出了要進(jìn)行平滑處理的幀圖像。要進(jìn)行平滑處理的幀圖像是由場圖像的組合構(gòu)成的幀圖像，其中該組合是由于其場判定數(shù)較小而被上述幀/場判定過程判定為平滑處理的對象的。例如，在圖3A中所示的例子中，要進(jìn)行處理的場圖像是前場圖像TOP_02，通過幀/場判定處理判定對場圖像TOP_02和BOTTOM_02組合構(gòu)成的幀圖像進(jìn)行平滑處理，如圖3B中所示。因此，在本例中，由場圖像TOP_02和BOTTOM_02構(gòu)成的幀圖像成為了平滑處理的對象。(參看圖6)這樣，對于由幀/場判定處理判定的幀圖像，無論由幀單元進(jìn)行平滑還是由場單元進(jìn)行平滑，都是以塊為單位應(yīng)用的。本例中的塊是在幀/場判定處理中所指定的塊，并且在本實(shí)施例中是如圖4、5A和5B所示的8×8像素的塊。通過幀/場判定處理，對于要進(jìn)行處理的幀圖像，已經(jīng)對每塊完成了幀/場判定。圖6示出了其判定結(jié)果的例子。注意到，判定結(jié)果可以存儲(chǔ)在預(yù)濾波器10的存儲(chǔ)器12中。在圖6中，表示為“FR”的塊是被幀/場判定處理判定為“幀”的塊，表示為“FI”的塊則是被判定為“場”的塊。在平滑處理中，以塊為單位，幀單位的平滑處理應(yīng)用于判定為“幀”的塊中的像素，而場單位的平滑處理應(yīng)用于判定為“場”的塊中的像素。
接下來，將具體說明幀單位和場單位的平滑處理。圖7A示出了幀單位的平滑濾波器的構(gòu)成例，圖7B示出了場單位的平滑濾波器的構(gòu)成例。平滑濾波器通常是均勻改變周圍像素的像素值的濾波器，所述周圍像素以要被處理的像素作為中心圍繞著它。平滑濾波器的系數(shù)“a”也稱作“平滑系數(shù)”。盡管圖7A中所述的例子為3×3像素的平滑濾波器，當(dāng)然也可以使用除3×3像素的濾波器以外的平滑濾波器。
在幀單位平滑處理的例子中，對要進(jìn)行處理的幀圖像的相鄰行進(jìn)行平滑處理。因此，幀單位的平滑濾波器對幀圖像數(shù)據(jù)的縱向和橫向上的3個(gè)像素進(jìn)行濾波。
另一方面，在場單位平滑處理的例子中，對獨(dú)立地為每場進(jìn)行平滑處理。在圖6的例子中，由于要進(jìn)行處理的場圖像是TOP_02，所以判定為“場”的塊將通過僅僅使用場圖像TOP_02的像素?cái)?shù)據(jù)來進(jìn)行平滑。鑒于圖7B中所示的場單位的平滑濾波器被組成(為便于說明)應(yīng)用于幀圖像狀態(tài)(即，其中組合了兩場圖像的狀態(tài))的圖像數(shù)據(jù)的平滑濾波器，將不對陰影部分進(jìn)行處理。所以，實(shí)質(zhì)上，圖7B中所示的濾波器是場單位的3×3像素的平滑濾波器。注意到，在實(shí)際處理中，當(dāng)對儲(chǔ)存在存儲(chǔ)器中的場圖像TOP_02以場圖像單位進(jìn)行平滑處理時(shí)，可以使用圖7A中所示的平滑濾波器。
對于要進(jìn)行處理的場圖像的外圍的像素，根據(jù)要進(jìn)行處理的像素的位置，使用具有圖7C中所示構(gòu)造的每個(gè)平滑濾波器。注意到，圖7C中所示的圖像外圍的平滑濾波器也同樣適用于如圖7A中的幀狀態(tài)中的圖像數(shù)據(jù)。在以場單位進(jìn)行平滑的例子中，圖像外圍的濾波器的構(gòu)造具有不進(jìn)行平滑處理的像素部分(陰影像素)，如圖7B。
在本發(fā)明的這個(gè)實(shí)施例中，在平滑濾波器進(jìn)行處理之前，使用Sobel濾波器來進(jìn)行邊緣線檢測，由此，僅僅對不包括邊緣線的像素進(jìn)行平滑處理。其原因在于，如果對其邊緣線統(tǒng)一進(jìn)行平滑處理，就會(huì)造成重疊的字母和圖像的外形走樣。因此，為了避免其外形走樣，不對這樣的邊緣線部分應(yīng)用平滑處理。圖8A示出了用于幀單位中的圖像數(shù)據(jù)的Sobel濾波器的構(gòu)造例。圖8B示出了用于場單位中的圖像數(shù)據(jù)的Sobel濾波器的構(gòu)造例。具體地說，將Sobel濾波器應(yīng)用于進(jìn)行處理的幀或場圖像的每一像素。由此，當(dāng)?shù)玫降闹荡笥陬A(yù)設(shè)門限時(shí)，就將該像素判定為位于邊緣上。當(dāng)?shù)玫降闹敌∮陬A(yù)設(shè)門限時(shí)，就將該像素判定為不位于邊緣上。
預(yù)濾波處理接下來，將結(jié)合圖9到11來說明整個(gè)預(yù)濾波處理的流程。圖9是預(yù)濾波處理的主程序的流程圖，圖10是幀/場判定處理的流程圖，圖11是平滑處理的流程圖。
首先，參看圖9，預(yù)濾波器10從圖像源5接收原始圖像數(shù)據(jù)D0(步驟S1)。幀/場判定單元14進(jìn)行前場圖像數(shù)據(jù)的處理。也就是說，如圖3中所示，對由要進(jìn)行處理的前場圖像(例如前場圖像TOP_02)和前場圖像之前的場圖像(例如后場圖像BOTTOM_01)的組合(以下稱為“組合A”)構(gòu)成的幀圖像進(jìn)行幀/場判定(步驟S2)。由此，對組合A的幀圖像的每塊進(jìn)行幀或場的判定，并得到場判定數(shù)fb1。
接下來，幀/場判定單元14對由要進(jìn)行處理的前場圖像(例如前場圖像TOP_02)和對應(yīng)于該圖像的場圖像(例如后場圖像BOTTOM_02)的組合(以下稱為“組合B”)構(gòu)成的幀圖像進(jìn)行幀/場判定(步驟S3)。由此，對組合B的幀圖像的每塊進(jìn)行幀或場的判定，并得到場判定數(shù)fb2。
接下來，幀/場判定單元14比較組合A的場判定數(shù)fb1和組合B的場判定數(shù)fb2(步驟S4)，并將具有較小場判定數(shù)的組合的幀圖像判定為平滑處理的對象。然后，平滑單元16使用相應(yīng)的幀圖像進(jìn)行平滑處理(步驟S5或S6)，并將平滑處理后的圖像數(shù)據(jù)通過輸出緩沖器18輸出到編碼單元7(步驟S7)。
接下來，預(yù)濾波器10進(jìn)行后場圖像的處理。例如，假設(shè)對圖3A中的后場圖像BOTTOM_02進(jìn)行處理，預(yù)濾波器10判定由前場圖像TOP_02和后場圖像BOTTOM_02的組合(組合B)構(gòu)成的幀圖像以及由前場圖像TOP_03和后場圖像BOTTOM_02的組合(在下面稱作“組合C”)構(gòu)成的幀圖像中應(yīng)該進(jìn)行平滑處理的一個(gè)幀圖像。但是，在此階段，由于組合B的幀圖像的幀/場判定已經(jīng)在步驟S3完成了，因此僅需要對組合C的幀圖像進(jìn)行幀/場判定(步驟S8)。然后，幀/場判定單元14將組合B和C中具有較小場判定數(shù)的一個(gè)幀圖像判定為平滑處理的對象(步驟89)。平滑單元16對幀圖像進(jìn)行平滑處理(步驟S10和S11)，并將作為結(jié)果得到的圖像數(shù)據(jù)通過輸出緩沖器18輸出到編碼單元7(步驟S12)。
這樣，預(yù)濾波器10重復(fù)進(jìn)行前場圖像和后場圖像的幀/場判定處理和平滑處理。當(dāng)原始圖像數(shù)據(jù)D0中所有場圖像數(shù)據(jù)都已完成處理時(shí)(步驟S13；是)，預(yù)濾波處理就結(jié)束。
接下來，將結(jié)合圖10說明在步驟S2、S3和S8中進(jìn)行幀/場判定處理的流程。首先，計(jì)算幀累加和，如圖10所示。也即，如圖4所示，對于一個(gè)塊(本例中為8×8像素)，通過計(jì)算相鄰行上相互對應(yīng)的像素值的差的平方，并將該塊的橫向上的所有像素的這樣的平方求和，從而計(jì)算出幀計(jì)算值CR1(步驟S20和S21)。然后，移動(dòng)一處理行(步驟22)，通過進(jìn)行相同的處理來計(jì)算出幀計(jì)算值CR2。如果通過重復(fù)這樣的處理得到了一塊中所有的幀計(jì)算值(圖4例中為CR1到CR7)的話(步驟S23；是)，就將這些值求和并計(jì)算出幀累加和CR。
接下來，圖如5A所示，用相同的方法僅僅對于與塊的前場對應(yīng)的像素計(jì)算出每一行的前場計(jì)算值CT1、CT2…(步驟S24和S25)，并對于塊的縱向上的所有行進(jìn)行相同的計(jì)算(步驟S26和S27)以計(jì)算出前場累加和CT。同樣地，僅僅對于與塊的后場對應(yīng)的像素計(jì)算出每一行的后場計(jì)算值CB1、CB2…(步驟S28和S29)，并對于塊的縱向上的所有行進(jìn)行相同的計(jì)算(步驟S30和S31)以計(jì)算出后場累加和CB。這樣，對于一個(gè)進(jìn)行處理的塊，得到了幀累加和CR、前場累加和CT和后場累加和CB。
接下來，幀/場判定單元14判斷該塊是否滿足場判定條件(步驟S32)。具體地說，幀/場判定單元14判斷上述兩個(gè)條件方程(1)和(2)是否都滿足。如果它們都滿足的話，該塊就被判定為場(步驟S33)。如果至少有一個(gè)方程不滿足的話，幀/場判定單元14就將該塊判定為幀(步驟S34)。這樣，對進(jìn)行處理的幀圖像中的一塊的幀/場判定就結(jié)束了。
之后，幀/場判定單元14移動(dòng)一塊，并通過相同的處理將該塊判定為幀或者場。當(dāng)?shù)玫搅税ㄔ谶M(jìn)行判定的幀圖像中的所有塊的幀或場判定結(jié)果時(shí)，幀/場判定處理就結(jié)束。
接下來，將結(jié)合圖11來說明平滑處理。在步驟S5、S6、S10和S11中分別指定進(jìn)行處理的圖像的狀態(tài)中進(jìn)行平滑處理。
首先，平滑單元16將幀圖像中一個(gè)像素指定為進(jìn)行處理的像素(此后成為“處理對象像素”)，并判斷將屬于處理對象像素的塊判定為幀還是場(步驟S41)。由于每塊的幀/場判定結(jié)果(參見圖6)儲(chǔ)存在預(yù)濾波器10中的存儲(chǔ)器12中，如上所述，所以平滑單元1 6可以引用該結(jié)果。當(dāng)處理對象像素屬于判定為幀的塊時(shí)，平滑單元16選取幀單位的平滑濾波器，如圖7A所示(步驟S42)。當(dāng)處理對象像素屬于判定為場的塊時(shí)，平滑單元16選取場單位的平滑濾波器，如圖7B所示(步驟S43)。
接下來，平滑單元16進(jìn)行上述的Sobel濾波(步驟S44)，并判斷處理對象像素是否位于邊緣上(步驟S45)。當(dāng)處理對象像素位于邊緣上時(shí)，平滑單元16不由平滑濾波器進(jìn)行平滑處理就跳轉(zhuǎn)到步驟S47，以避免如上所述的平滑處理帶來的字母和外形走樣的問題。另一方面，當(dāng)處理對象像素不在邊緣上時(shí)，通過應(yīng)用在步驟S42和S43中選取的平滑濾波器來進(jìn)行平滑處理(步驟S46)。
進(jìn)一步，平滑單元16指定了下一個(gè)處理對象像素(步驟S47)，并判斷下一個(gè)處理對象像素存在與否(步驟S48)。這樣，平滑單元16順次對進(jìn)行處理的幀圖像的所有像素進(jìn)行平滑處理，當(dāng)完成所有的像素處理時(shí)平滑處理就結(jié)束了(步驟S48)。
修改在上述實(shí)施例中，盡管使用本發(fā)明的平滑濾波器作為用作由MPEG進(jìn)行壓縮編碼處理的預(yù)備工作的預(yù)濾波器，本發(fā)明的平滑濾波器也可以應(yīng)用于圖像的通用平滑處理。例如，該平滑濾波器可以安裝在通用顯示器中用于顯示器圖像的噪聲消除。
在上述實(shí)施例中，盡管通過將圖像數(shù)據(jù)的亮度值規(guī)定為像素值來進(jìn)行平滑，但不管亮度還是色度都可以以相同的方法進(jìn)行平滑。
同時(shí)，實(shí)施例中的幀/場判定中的幀累加和與場累加和計(jì)算方程以及條件方程(1)和(2)都僅僅是例子。所以，也可以通過其它計(jì)算方程和條件方程來進(jìn)行幀/場判定。
如上所述，根據(jù)實(shí)施例的平滑處理器包括一存儲(chǔ)器，其獲取并儲(chǔ)存包括以時(shí)間序列排列的多個(gè)單位圖像數(shù)據(jù)在內(nèi)的圖像數(shù)據(jù)；幀/場判定單元，對于構(gòu)成單位圖像數(shù)據(jù)的多個(gè)塊，其判定要進(jìn)行處理的對象單位圖像數(shù)據(jù)與在對象單位圖像數(shù)據(jù)之前一個(gè)的在先單位圖像數(shù)據(jù)之間的差別以及對象單位圖像數(shù)據(jù)與在對象單位圖像數(shù)據(jù)之后一個(gè)的后續(xù)單位圖像數(shù)據(jù)的差別；以及平滑單元，其根據(jù)判定單元的判定結(jié)果，通過使用對象單位圖像數(shù)據(jù)與在先單位圖像數(shù)據(jù)和后續(xù)單位圖像數(shù)據(jù)中具有較小差別的一個(gè)來進(jìn)行平滑處理。
在本結(jié)構(gòu)中，包含以時(shí)間序列排列的多個(gè)對象單位圖像數(shù)據(jù)在內(nèi)的圖像數(shù)據(jù)(諸如場圖像)是由一圖像源提供的。進(jìn)行平滑處理的對象單位圖像數(shù)據(jù)被分成預(yù)設(shè)大小的塊。然后，根據(jù)像素值，為多個(gè)塊確定對象單位圖像數(shù)據(jù)和對象單位圖像數(shù)據(jù)之前一個(gè)的在先單位圖像數(shù)據(jù)之間的差別，以及對象單位圖像數(shù)據(jù)和對象單位圖像數(shù)據(jù)之后一個(gè)的后續(xù)單位圖像數(shù)據(jù)之間的差別。通過在先單位圖像數(shù)據(jù)和后續(xù)單位圖像數(shù)據(jù)中具有較小差別的一個(gè)來對對象單位圖像數(shù)據(jù)進(jìn)行平滑。這樣，由于對象單位圖像數(shù)據(jù)總是通過具有最小差別的單位圖像數(shù)據(jù)進(jìn)行平滑的，所以可以進(jìn)行有效的噪聲消除，同時(shí)抑制平滑帶來的不利影響。
權(quán)利要求
1.一種圖像數(shù)據(jù)的平滑處理器(10)，其包括數(shù)據(jù)獲取單元(12)，其獲取包含多個(gè)以時(shí)間序列排列的單位圖像數(shù)據(jù)的圖像數(shù)據(jù)(D0)；判定單元(14)，其為構(gòu)成單位圖像數(shù)據(jù)的多個(gè)塊判定要進(jìn)行處理的對象單位圖像數(shù)據(jù)與所述對象單位圖像數(shù)據(jù)之前一個(gè)的在先單位圖像數(shù)據(jù)之間的差別，以及所述對象單位圖像數(shù)據(jù)與所述對象單位圖像數(shù)據(jù)之后一個(gè)的后續(xù)單位圖像數(shù)據(jù)之間的差別；和平滑單元(16)，其根據(jù)所述判定單元的判定結(jié)果，使用所述對象單位圖像數(shù)據(jù)與所述在先單位圖像數(shù)據(jù)和后續(xù)單位圖像數(shù)據(jù)中具有較小差別的一個(gè)來進(jìn)行平滑。
2.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)的平滑處理器(10)，其中所述判定單元(14)包括為每塊判斷所述差別是否大于或等于預(yù)設(shè)值的單元；和將包括其差別大于或等于預(yù)設(shè)值的較小塊的所述在先單位圖像數(shù)據(jù)和所述后續(xù)單位圖像數(shù)據(jù)之一判定為具有較小差別的單位圖像數(shù)據(jù)的單元。
3.根據(jù)權(quán)利要求2所述的圖像數(shù)據(jù)的平滑處理器(10)，其中，對于差別比預(yù)設(shè)值小的塊，所述平滑單元(16)通過使用所述對象單位圖像數(shù)據(jù)和具有較小差別的單位圖像數(shù)據(jù)來進(jìn)行平滑，而對于差別大于或等于預(yù)設(shè)值的塊，僅僅使用所述對象單位圖像數(shù)據(jù)來進(jìn)行平滑。
4.一種圖像數(shù)據(jù)的平滑處理器方法，其包括數(shù)據(jù)獲取步驟，其獲取包含多個(gè)以時(shí)間序列排列的單位圖像數(shù)據(jù)的圖像數(shù)據(jù)(D0)；判定步驟，其為構(gòu)成單位圖像數(shù)據(jù)的多個(gè)塊判定要進(jìn)行處理的對象單位圖像數(shù)據(jù)與所述對象單位圖像數(shù)據(jù)之前一個(gè)的在先單位圖像數(shù)據(jù)之間的差別，以及所述對象單位圖像數(shù)據(jù)與所述對象單位圖像數(shù)據(jù)之后一個(gè)的后續(xù)單位圖像數(shù)據(jù)之間的差別；和平滑步驟，其根據(jù)所述判定步驟的判定結(jié)果，通過使用所述對象單位圖像數(shù)據(jù)與所述在先單位圖像數(shù)據(jù)和所述后續(xù)單位圖像數(shù)據(jù)中具有較小差別的一個(gè)來進(jìn)行平滑。
5.一種由計(jì)算機(jī)運(yùn)行的圖像數(shù)據(jù)的平滑程序，其控制計(jì)算機(jī)以實(shí)現(xiàn)下述功能數(shù)據(jù)獲取單元(12)，其獲取包含多個(gè)以時(shí)間序列排列的單位圖像數(shù)據(jù)的圖像數(shù)據(jù)(D0)；判定單元(14)，其為構(gòu)成單位圖像數(shù)據(jù)的多個(gè)塊判定要進(jìn)行處理的對象單位圖像數(shù)據(jù)與所述對象單位圖像數(shù)據(jù)之前一個(gè)的在先單位圖像數(shù)據(jù)之間的差別，以及所述對象單位圖像數(shù)據(jù)與所述對象單位圖像數(shù)據(jù)之后一個(gè)的后續(xù)單位圖像數(shù)據(jù)之間的差別；和平滑單元(16)，其根據(jù)所述判定單元的判定結(jié)果，使用所述對象單位圖像數(shù)據(jù)與所述在先單位圖像數(shù)據(jù)和后續(xù)單位圖像數(shù)據(jù)中具有較小差別的一個(gè)來進(jìn)行平滑。
全文摘要
從圖像源提供包括多個(gè)以時(shí)間序列排列的對象單位圖像數(shù)據(jù)(諸如場圖像)在內(nèi)的圖像數(shù)據(jù)(D0)。要進(jìn)行平滑處理的對象單位圖像數(shù)據(jù)被分成預(yù)設(shè)大小的塊。然后，根據(jù)像素值，為多個(gè)塊判定對象單位圖像數(shù)據(jù)與對象單位圖像數(shù)據(jù)之前一個(gè)的在先單位圖像數(shù)據(jù)之間的差別，以及對象單位圖像數(shù)據(jù)與對象單位圖像數(shù)據(jù)之后一個(gè)的后續(xù)單位圖像數(shù)據(jù)之間的差別。通過在先單位圖像數(shù)據(jù)與后續(xù)單位圖像數(shù)據(jù)中具有較小差別的一個(gè)來對對象單位圖像數(shù)據(jù)進(jìn)行平滑。這樣，由于對象單位圖像數(shù)據(jù)總是通過具有最小差別的單位圖像數(shù)據(jù)進(jìn)行平滑的，所以可以進(jìn)行有效的噪聲消除，同時(shí)抑制平滑帶來的不利影響。
文檔編號(hào)G06T5/00GK1503562SQ20031011798
公開日2004年6月9日 申請日期2003年11月26日 優(yōu)先權(quán)日2002年11月26日
發(fā)明者橋本和憲 申請人:日本先鋒公司