專利名稱：基于邊界強(qiáng)度的自適應(yīng)過(guò)濾的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像編碼和解碼的方法，尤其涉及一種根據(jù)邊界強(qiáng)度進(jìn)行自適應(yīng)過(guò)濾的圖像編碼和解碼方法。
背景技術(shù)：
基于塊的運(yùn)動(dòng)補(bǔ)償視頻信號(hào)編碼被用于許多視頻壓縮標(biāo)準(zhǔn)(例如，H.261、H.263+、MPEG-1、MPEG-2和H26L)中。基于塊的運(yùn)動(dòng)補(bǔ)償使用圖像壓縮技術(shù)并按逐塊的方式來(lái)為視頻像素編碼。這些圖像壓縮技術(shù)通常使用在這些解碼圖像中導(dǎo)致視覺(jué)人為假象(一般被稱作“圖像人為假象”)的有損壓縮技術(shù)。一種圖像人為假象是沿重顯圖像中的這些塊邊界而產(chǎn)生的分塊化的人為假象。這些分塊化的人為假象的主要來(lái)源起于被用來(lái)為這些塊編碼的變換系數(shù)的粗糙量化。
重顯圖像是在這些塊被逆變換并被解碼之后所產(chǎn)生的圖像。可以使用圖像過(guò)濾技術(shù)來(lái)減少重顯圖像中的這些人為假象。關(guān)于這些圖像過(guò)濾技術(shù)的經(jīng)驗(yàn)法則是應(yīng)該保留圖像邊緣，同時(shí)應(yīng)該使該圖像的其余部分平滑?？梢詫⒌屯V波器用作該圖像濾波器，并且，應(yīng)該根據(jù)這些圖像邊緣周圍的特定像素或特定像素集的特征來(lái)選擇其特征。
跨越圖像塊邊界而延伸的非相關(guān)圖像像素進(jìn)行特殊過(guò)濾，以減少分塊化的人為假象。過(guò)濾技術(shù)減少了分塊化的人為假象，但遺憾的是，這些過(guò)濾技術(shù)可能會(huì)把模糊人為假象引入該圖像。例如，如果鄰近的模塊之間有很少或沒(méi)有分塊化的人為假象，那么，該低通過(guò)濾不必要地將模糊并入該圖像而同時(shí)浪費(fèi)處理資源。

發(fā)明內(nèi)容
本發(fā)明提供一種用于圖像編碼和解碼中的至少一項(xiàng)的方法，包括(a)識(shí)別所述圖像中的鄰近區(qū)域；(b)為所述鄰近區(qū)域檢查編碼參數(shù)；以及(c)根據(jù)所述編碼參數(shù)，有選擇地過(guò)濾最接近所述鄰近區(qū)域之間的邊界的區(qū)域的至少一個(gè)部分，其中所述有選擇地過(guò)濾的強(qiáng)度是基于至少兩個(gè)所述鄰近區(qū)域是否根據(jù)兩個(gè)不同參考幀而被預(yù)測(cè)來(lái)確定的。
本發(fā)明還提供一種用于為圖像編碼的編碼器，包括一處理器，所述處理器被構(gòu)造成用于識(shí)別所述圖像中的鄰近區(qū)域的處理器，為所述鄰近區(qū)域檢查編碼參數(shù)，以及根據(jù)所述編碼參數(shù)，有選擇地過(guò)濾最接近所述鄰近區(qū)域之間的邊界的區(qū)域的至少一個(gè)部分，其中所述有選擇地過(guò)濾的強(qiáng)度是基于至少兩個(gè)所述鄰近區(qū)域是否根據(jù)兩個(gè)不同參考幀而被預(yù)測(cè)來(lái)確定的。
本發(fā)明進(jìn)一步提供一種用于為圖像解碼的解碼器，包括一處理器，所述處理器被構(gòu)造成用于識(shí)別所述圖像中的鄰近區(qū)域，為所述鄰近區(qū)域檢查編碼參數(shù)，以及根據(jù)所述編碼參數(shù)，有選擇地過(guò)濾最接近所述鄰近區(qū)域之間的邊界的區(qū)域的至少一個(gè)部分，其中所述有選擇地過(guò)濾的強(qiáng)度是基于至少兩個(gè)所述鄰近區(qū)域是否根據(jù)兩個(gè)不同參考幀而被預(yù)測(cè)來(lái)確定的。


圖1表現(xiàn)了如何根據(jù)鄰近的圖像塊之間的類似性來(lái)有選擇地跳過(guò)解塊過(guò)濾。
圖2表現(xiàn)了具有類似的運(yùn)動(dòng)矢量的兩個(gè)鄰近的圖像塊。
圖3表現(xiàn)了如何為這些圖像塊之一識(shí)別變換系數(shù)。
圖4表現(xiàn)了如何在兩個(gè)鄰近的圖像塊之間比較殘留的變換系數(shù)。
圖5是框圖，表現(xiàn)了如何為該視頻圖像編碼和解碼。
圖6是框圖，表現(xiàn)了如何在編碼解碼器中有選擇地跳過(guò)解塊過(guò)濾。
圖7是基于現(xiàn)存塊的圖像過(guò)濾技術(shù)的表示。
圖8是框圖，表現(xiàn)了用于確定要過(guò)濾的邊界和要使用的各自濾波器的強(qiáng)度的技術(shù)。
圖9用于解釋本發(fā)明的另一個(gè)實(shí)施例。
圖10用于解釋本發(fā)明的另外的實(shí)施例。
圖11用于解釋本發(fā)明的另外的實(shí)施例。
圖12用于解釋本發(fā)明的另外的實(shí)施例。
具體實(shí)施例方式
常規(guī)過(guò)濾過(guò)程每次考慮單一的重顯圖像幀?；趬K的視頻信號(hào)編碼技術(shù)可以使用運(yùn)動(dòng)矢量來(lái)估計(jì)像素塊的運(yùn)動(dòng)。編碼器和解碼器處都具有該運(yùn)動(dòng)矢量信息，但該信息不被用于常規(guī)過(guò)濾過(guò)程。例如，如果兩個(gè)鄰近的塊共享關(guān)于相同參考圖像幀的相同運(yùn)動(dòng)矢量，則(對(duì)于多參考幀系統(tǒng)而言)有可能在每個(gè)塊的圖像殘留之間沒(méi)有重大差異，并且，相應(yīng)地，不應(yīng)該對(duì)其進(jìn)行過(guò)濾。本質(zhì)上，該圖像的各個(gè)鄰近部分具有關(guān)于相同參考幀的相同運(yùn)動(dòng)，并且，相應(yīng)地，將會(huì)認(rèn)為這些圖像殘留之間沒(méi)有重大差異。在許多情況下，這兩個(gè)鄰近塊的塊邊界可能已在該參考幀中被加以過(guò)濾，所以不應(yīng)該為當(dāng)前幀而再次過(guò)濾。如果在不考慮該運(yùn)動(dòng)矢量信息的條件下使用解塊濾波器，則常規(guī)過(guò)濾過(guò)程可以從一個(gè)幀到另一個(gè)幀地反復(fù)過(guò)濾相同的邊界。這種不必要的過(guò)濾不僅會(huì)引起不必要的模糊，而且會(huì)導(dǎo)致額外的濾波器計(jì)算。
圖1展示了圖像12，該圖像根據(jù)圖像塊之間的類似處來(lái)有選擇地過(guò)濾分塊化的人為假象。將會(huì)理解該圖像可能會(huì)同樣使用非正方形塊或任何其他的像素集。部分的塊14之間的寄存物(boarders)包括分塊化的人為假象18。一般而言，分塊化的人為假象是可能產(chǎn)生于編碼和/或解碼過(guò)程的塊14之間的任何圖像間斷?？梢允褂玫屯V波器或其他濾波器來(lái)減少存在于鄰近圖像塊的寄存物處的分塊化的人為假象。
例如，分塊化的人為假象24存在于塊20與塊22之間。可以在塊20與塊22之間的寄存物26處使用低通濾波器，來(lái)除去或減少分塊化的人為假象24。例如，該低通濾波器從寄存物26的兩側(cè)選擇一組像素28。從這組像素28中導(dǎo)出平均像素值或任何其他的統(tǒng)計(jì)測(cè)度。然后，將每個(gè)單獨(dú)的像素與該平均像素值進(jìn)行比較。然后，用該平均像素值來(lái)取代該平均像素值的預(yù)定范圍以外的小組28中的任何像素。
如前所述，如果這些鄰近的像素之間有很少或沒(méi)有分塊化的人為假象24，那么，可能不必要過(guò)濾這些組的像素28，從而在該圖像中引起模糊。跳躍模式過(guò)濾方案可以為鄰近的圖像塊使用運(yùn)動(dòng)估計(jì)和/或補(bǔ)償信息，用作有選擇地進(jìn)行過(guò)濾的基礎(chǔ)。如果該運(yùn)動(dòng)估計(jì)和補(bǔ)償信息十分類似，則可能會(huì)跳過(guò)該過(guò)濾。這避免了不必要的圖像模糊，并大大減少了過(guò)濾操作的所需數(shù)量或其他任何合適的值。
例如，可以在編碼過(guò)程期間確定鄰近的圖像塊30和32具有類似的編碼參數(shù)。相應(yīng)地，可以為跨越鄰近的塊30與32之間的寄存物31而延伸的各組像素34跳過(guò)解塊過(guò)濾。可以為任何水平邊界、垂直邊界或圖像12中的鄰近塊之間的任何邊界而使用跳躍模式過(guò)濾。
圖2展示了參考幀42、參考幀48以及當(dāng)前正在被編碼或解碼的當(dāng)前幀40。比較關(guān)于塊44和46的編碼參數(shù)，以確定是否應(yīng)該在這兩個(gè)鄰近塊44與46之間跳過(guò)解塊過(guò)濾?？梢约右员容^的編碼參數(shù)之一是關(guān)于塊44和46的運(yùn)動(dòng)矢量(MV)。
運(yùn)動(dòng)矢量MV1從當(dāng)前圖像幀40中的塊44指向參考圖像42中的關(guān)聯(lián)塊44’。運(yùn)動(dòng)矢量MV2從當(dāng)前圖像幀40中的塊46指向參考幀42中的關(guān)聯(lián)塊46’。跳躍模式過(guò)濾進(jìn)行核對(duì)，以了解運(yùn)動(dòng)矢量MV1和MV2是否指向相同的參考幀42中的鄰近的塊。如果這些運(yùn)動(dòng)矢量指向相同的參考幀(MV1＝MV2)中的鄰近的塊，那么，可以跳過(guò)解塊過(guò)濾?？梢允褂迷撨\(yùn)動(dòng)矢量信息連同其他編碼信息，以決定是否跳過(guò)這兩個(gè)圖像塊44與46之間的解塊過(guò)濾。
在編碼和解碼過(guò)程期間，可以使用一個(gè)以上的參考幀。例如，可能有另一個(gè)參考幀48。鄰近的塊44和46可能具有指向不同參考幀的運(yùn)動(dòng)矢量。在一個(gè)例子中，跳過(guò)解塊過(guò)濾的決定取決于關(guān)于這兩個(gè)鄰近塊的運(yùn)動(dòng)矢量是否指向相同的參考幀。例如，圖像塊44可能具有指向參考幀48的運(yùn)動(dòng)矢量49，圖像塊46可能具有指向參考幀42的運(yùn)動(dòng)矢量MV2。在這個(gè)例子中沒(méi)有跳過(guò)解塊過(guò)濾，這是因?yàn)檫\(yùn)動(dòng)矢量49和MV2指向不同的參考幀。
圖3展示了編碼參數(shù)的另一個(gè)例子，該編碼參數(shù)可以被用來(lái)決定是否要有選擇地跳過(guò)解塊過(guò)濾。如圖2先前所展示的，將來(lái)自圖像幀40的圖像塊44與來(lái)自由運(yùn)動(dòng)矢量MV1指向的參考幀42的參考?jí)K44’進(jìn)行比較。從圖像塊44與參考?jí)K44’之間的比較中輸出殘留塊44”。在殘留塊44”上執(zhí)行變換50，以創(chuàng)建變換系數(shù)的變換塊44”。在一個(gè)例子中，變換50是“離散余弦變換”。變換塊44”包括D.C.成分52和A.C.成分53。
D.C.成分52指的是圖像塊44中的最低頻率變換系數(shù)。例如，該系數(shù)表示圖像塊44中的平均能量。A.C.成分53指的是表示圖像塊44中的更高頻率分量的變換系數(shù)。例如，這些變換系數(shù)表示圖像塊44中的像素之間的很大的能量差。
圖4展示了被變換的殘留塊44”和46”。在處理器54中比較來(lái)自這兩個(gè)變換塊44”和46”的D.C.成分52。如果這些D.C.成分相同或在彼此的某個(gè)范圍內(nèi)，則處理器54通知解塊濾波器操作56跳過(guò)兩個(gè)鄰近的塊44與46的寄存物之間的解塊過(guò)濾。如果這些D.C.成分52不類似，那么，不啟動(dòng)跳躍通知，并且對(duì)塊44與塊46之間的寄存物進(jìn)行解塊過(guò)濾。
在一個(gè)例子中，可以將跳躍模式過(guò)濾并入“國(guó)際電信同盟的電信部門”(ITU-T)提議的H.26L編碼方案。該H.26L方案使用4×4整數(shù)“離散余弦變換”(DCT)塊。如果需要的話，可以只檢驗(yàn)這兩個(gè)鄰近塊的D.C.成分。但是，尤其當(dāng)這些圖像塊是較大的尺寸(例如，9×9或16×16塊)時(shí)，同樣可以檢驗(yàn)一些受限制的低頻率A.C.系數(shù)。例如，可以將關(guān)于塊44”的上部D.C.成分52和三個(gè)較低頻率A.C.變換系數(shù)53跟關(guān)于塊46”的上部D.C.成分52和三個(gè)較低頻率A.C.變換系數(shù)53進(jìn)行比較?？梢允褂肈.C.的不同組合和/或任何這些A.C.變換系數(shù)來(lái)識(shí)別這兩個(gè)鄰近的塊44與46之間的相對(duì)類似性。
處理器54也可以接收在編碼過(guò)程期間所生成的其他編碼參數(shù)55。如前所述，這些編碼參數(shù)包括關(guān)于鄰近塊44和46的運(yùn)動(dòng)矢量和參考幀信息。處理器54可以使用部分或全部的這些編碼參數(shù)，以確定是否要跳過(guò)鄰近的圖像塊44與46之間的解塊過(guò)濾?？梢栽谙嗤奶幚砥?4或在不同的處理電路中實(shí)現(xiàn)對(duì)該圖像執(zhí)行的其他編碼和變換功能。如果在相同的處理器中執(zhí)行全部或大部分的這種編碼，則通過(guò)在過(guò)濾例行程序中設(shè)置跳躍參數(shù)來(lái)簡(jiǎn)單地啟用該跳躍模式。
圖5表現(xiàn)了如何可以在基于塊的運(yùn)動(dòng)補(bǔ)償“編碼解碼器”(Codec)60中使用跳躍模式過(guò)濾。編碼解碼器60被用于幀間編碼。來(lái)自當(dāng)前幀的輸入視頻塊從框62被饋入比較器64。幀緩沖框80的輸出根據(jù)所估計(jì)的運(yùn)動(dòng)矢量(和可能的參考幀編號(hào))來(lái)生成參考?jí)K81。該輸入視頻塊與參考?jí)K81之間的差異在框66中被變換，然后在框68中被量化。該被量化的變換塊由框70中的“可變長(zhǎng)度編碼器”(VLC)來(lái)編碼，然后被加以傳送、存儲(chǔ)等。
編碼解碼器60的編碼部分通過(guò)首先在框72中“逆量化”(IQ)該變換圖像來(lái)重顯該被變換和量化的圖像。然后，在框74中對(duì)該被逆量化的圖像進(jìn)行逆變換，以生成重顯的殘留圖像。然后，在框76中將這個(gè)重顯的殘留塊加入?yún)⒖級(jí)K81，以生成重顯的圖像塊。通常，該重顯的圖像在框78中被加以環(huán)路過(guò)濾，以減少由該量化和變換過(guò)程引起的分塊化的人為假象。然后，在框80中緩沖該過(guò)濾圖像，以形成參考幀?？?0中的幀緩沖將這些重顯的參考幀用于運(yùn)動(dòng)估計(jì)和補(bǔ)償。在比較器64中，將參考?jí)K81與該輸入視頻塊進(jìn)行比較。在來(lái)自該編碼部分的節(jié)點(diǎn)71處輸出編碼圖像，然后對(duì)該編碼圖像進(jìn)行存儲(chǔ)或傳送。
在編碼解碼器60的解碼器部分中，可變長(zhǎng)度解碼器(VLD)在框82中對(duì)該編碼圖像進(jìn)行解碼。該解碼圖像在框84中被逆量化，并在框86中被逆變換。來(lái)自框86的重顯的殘留圖像在合計(jì)框88中被加入?yún)⒖級(jí)K91，之后，該重顯的殘留圖像在框90中被加以環(huán)路過(guò)濾，以減少分塊化的人為假象，并在框92中作為參考幀而加以緩沖。根據(jù)所接收的運(yùn)動(dòng)矢量信息，從框92中生成參考?jí)K91。來(lái)自框90的環(huán)路過(guò)濾輸出在框94中可以隨意地加以后過(guò)濾(post filtered)，以便在被顯示為框96中的視頻圖像之前進(jìn)一步減少圖像人為假象。可以在框78、90和94中的各種過(guò)濾功能的任何組合中執(zhí)行該跳躍模式過(guò)濾方案。
在視頻編碼期間可用的該運(yùn)動(dòng)估計(jì)和補(bǔ)償信息被用來(lái)確定何時(shí)跳過(guò)框78、90和/或94中的解塊過(guò)濾。由于已在該編碼和解碼過(guò)程期間生成這些編碼參數(shù)，因此，沒(méi)有必須特別為跳躍模式過(guò)濾而生成或傳送的額外的編碼參數(shù)。
圖6進(jìn)一步詳細(xì)表現(xiàn)了如何可以在圖5中的編碼器和解碼器中的濾波器78、90和/或94中使用跳躍模式過(guò)濾。首先在框100中識(shí)別任何兩個(gè)鄰近的塊“i”與“k”之間的塊間邊界。這兩個(gè)塊可能在該圖像幀中水平地鄰近，也可能在該圖像幀中垂直地鄰近。判定框102將關(guān)于塊j的運(yùn)動(dòng)矢量mv(j)與關(guān)于塊k的運(yùn)動(dòng)矢量mv(k)進(jìn)行比較。首先確定這兩個(gè)鄰近的塊j和k是否具有指向相同參考幀的相同運(yùn)動(dòng)矢量。換言之，關(guān)于這些鄰近塊的運(yùn)動(dòng)矢量指向相同參考幀(ref(j)＝ref(k))中的鄰近的塊(mv(j)＝mv(k))。
然后，確定關(guān)于這兩個(gè)鄰近塊的殘留系數(shù)是否類似。如果這些鄰近塊的圖像殘留之間沒(méi)有重大差異(例如，這兩個(gè)塊j和k具有相同或類似的D.C.成分(dc(j)dc(k)))，那么，跳過(guò)框104中的解塊過(guò)濾過(guò)程。然后，跳躍模式過(guò)濾進(jìn)展到框106中的下一個(gè)塊間邊界，并實(shí)施判定框102中的下一項(xiàng)比較?？梢詾樗洁徑膲K和垂直鄰近的塊執(zhí)行跳躍模式過(guò)濾。
在一個(gè)實(shí)施例中，只使用關(guān)于這些鄰近的圖像塊的參考幀和運(yùn)動(dòng)矢量信息來(lái)確定塊跳躍。在另一個(gè)實(shí)施例中，只使用這些D.C.和/或A.C.殘留系數(shù)來(lái)確定塊跳躍。在另一個(gè)實(shí)施例中，該運(yùn)動(dòng)矢量、參考幀和殘留系數(shù)都被用來(lái)確定塊跳躍。
可以將該跳躍模式過(guò)濾方案應(yīng)用于在空間被二次抽樣的色度通道。例如，在具有4:2:0顏色格式序列的情況下，關(guān)于塊邊界的跳躍模式過(guò)濾可能只依靠關(guān)于該圖像的亮度成分的運(yùn)動(dòng)矢量和D.C.成分的等同性。如果這些運(yùn)動(dòng)矢量和D.C.成分相同，則為這些鄰近的圖像塊的亮度和色度成分跳過(guò)解塊過(guò)濾。在另一個(gè)實(shí)施例中，為這些鄰近塊的每個(gè)亮度和色度成分各別地考慮這些運(yùn)動(dòng)矢量和D.C.成分。在這種情況下，關(guān)于鄰近塊的亮度或色度成分可以進(jìn)行解塊過(guò)濾，而關(guān)于相同的鄰近塊的其他亮度或色度成分不進(jìn)行解塊過(guò)濾。
查閱圖7，由H.26L中的其他人最近提議的技術(shù)為該環(huán)路濾波器定義“塊強(qiáng)度”參數(shù)，以控制該環(huán)路過(guò)濾過(guò)程。圖像的每個(gè)塊具有與該塊關(guān)聯(lián)的強(qiáng)度值，并控制對(duì)其所有四個(gè)塊邊界所執(zhí)行的過(guò)濾。根據(jù)該位流中具有的運(yùn)動(dòng)矢量和變換系數(shù)來(lái)導(dǎo)出該塊強(qiáng)度值。但是，在考慮為該塊的所有四個(gè)邊緣使用該塊強(qiáng)度值之后，本發(fā)明者認(rèn)識(shí)到這導(dǎo)致在除去一些邊緣處的某些分塊化的人為假象的同時(shí)沿其他邊緣變模糊。
與逐塊的過(guò)濾方式對(duì)比，本發(fā)明者認(rèn)識(shí)到應(yīng)該用邊緣接邊緣的方式連同其他信息來(lái)進(jìn)行這些過(guò)濾確定。該其他信息可以包括(例如)與塊的塊內(nèi)編碼有關(guān)的信息、與利用殘留信息的塊的運(yùn)動(dòng)估計(jì)有關(guān)的信息、與不具備有充分差異的殘留的塊的運(yùn)動(dòng)估計(jì)有關(guān)的信息、與參考幀有關(guān)的信息，以及與鄰近塊的運(yùn)動(dòng)矢量有關(guān)的信息。可以使用這些信息特征中的一種、兩種、三種或四種特征，以便用邊緣接邊緣的方式來(lái)改善過(guò)濾性能。可以按需要根據(jù)不同的特征集來(lái)修改該過(guò)濾。
關(guān)于每個(gè)塊邊界，較佳地定義控制參數(shù)，即邊界強(qiáng)度Bs。查閱圖8，共享共同邊界的一對(duì)塊被稱作“j”和“k”。第一個(gè)塊200進(jìn)行核對(duì)，以了解這兩個(gè)塊中的任何一個(gè)塊是否被加以內(nèi)部編碼。如果這任何一個(gè)塊被內(nèi)部編碼，那么，在塊202處將該邊界強(qiáng)度設(shè)置為3。塊200確定這兩個(gè)塊是否沒(méi)有被進(jìn)行運(yùn)動(dòng)預(yù)測(cè)。如果沒(méi)有使用運(yùn)動(dòng)預(yù)測(cè)，那么，該塊得自該幀本身，并且，相應(yīng)地，應(yīng)該對(duì)該邊界執(zhí)行過(guò)濾。這通常是合適的，因?yàn)楸粌?nèi)部編碼的塊邊界通常包括分塊化的人為假象。
如果至少部分地從先前或?qū)?lái)的幀中預(yù)測(cè)塊j和k，那么，在塊204處檢驗(yàn)塊j和k，以確定是否為任何系數(shù)編碼。這些系數(shù)可能是(例如)離散余弦變換系數(shù)。如果塊j和k中的任何一個(gè)塊包括非零系數(shù)，那么，這些塊中的至少一個(gè)塊表示根據(jù)先前或?qū)?lái)的幀連同使用這些系數(shù)(通常被稱作“殘留”)對(duì)該塊的修改所進(jìn)行的預(yù)測(cè)。如果塊j和k中的任何一個(gè)塊包括非零系數(shù)(和預(yù)測(cè)運(yùn)動(dòng))，那么，在塊206處將該邊界強(qiáng)度設(shè)置為2。這表示一個(gè)事件，其中，預(yù)測(cè)這些圖像，但使用殘留來(lái)糾正該預(yù)測(cè)。相應(yīng)地，這些圖像很可能包括分塊化的人為假象。
如果塊j和k被進(jìn)行運(yùn)動(dòng)預(yù)測(cè)并且不包括非零系數(shù)(通常被稱作“殘留”)，那么，進(jìn)行塊208處的確定，以檢驗(yàn)該邊界的任何一側(cè)上的像素是否彼此十分不同。同樣可以使用這一點(diǎn)來(lái)確定這些殘留是否十分小。如果存在重大差異，那么，很可能存在分塊化的人為假象。最初作出決定，以確定這兩個(gè)塊是否使用不同的參考幀，即R(j)≠R(k)。如果塊j和k來(lái)自兩個(gè)不同的參考幀，那么，在塊210處為該邊界強(qiáng)度分配值1。作為選擇，如果檢驗(yàn)這兩個(gè)圖像塊的運(yùn)動(dòng)矢量的絕對(duì)差異，以確定它們是大于還是等于垂直或水平方向上的1個(gè)像素，即|V(j，x)-V(k，x)|≥1個(gè)像素或|V(j，y)-V(k，y)|≥1個(gè)像素。同樣可以按需要使用其他閾值，包括取決于所使用的測(cè)試的小于或大于。如果這些運(yùn)動(dòng)矢量的絕對(duì)差異大于或等于1，那么，為該邊界強(qiáng)度分配值1。
如果兩個(gè)塊j和k被進(jìn)行運(yùn)動(dòng)預(yù)測(cè)、沒(méi)有殘留、基于相同的幀并具有無(wú)關(guān)緊要的差異，那么，為該邊界強(qiáng)度值分配值0。如果為該邊界強(qiáng)度值分配值0，則該邊界沒(méi)有被過(guò)濾，或者因此被自適應(yīng)地過(guò)濾為該邊界強(qiáng)度的值。將會(huì)理解如果該邊界強(qiáng)度是零，則該系統(tǒng)可以稍微實(shí)行過(guò)濾(如果需要的話)。
使用該邊界強(qiáng)度的值(即1、2和3)來(lái)控制該環(huán)路濾波器中的像素值適應(yīng)范圍。如果需要的話，每個(gè)不同的邊界強(qiáng)度都可能是不同過(guò)濾的基礎(chǔ)。例如，在一些實(shí)施例中，可以使用三種濾波器，其中，當(dāng)Bs＝1時(shí)，使用第一個(gè)濾波器；當(dāng)Bs＝2時(shí)，使用第二個(gè)濾波器；當(dāng)Bs＝3時(shí)，使用第三個(gè)濾波器。將會(huì)理解通過(guò)與導(dǎo)致更重大差異的其他過(guò)濾相比是最低限度的過(guò)濾，可以執(zhí)行非過(guò)濾。在圖8所示的例子中，關(guān)于Bs的值越大，該過(guò)濾就越大?？梢岳萌魏魏线m的技術(shù)(例如，ISO/IEC MPEG和ITU-T VCEG(JVT-C167)的“聯(lián)合視頻團(tuán)隊(duì)”(JVT)的“聯(lián)合委員會(huì)草案”(CD)中所描述的方法或用于過(guò)濾圖像人為假象的其他已知方法)來(lái)執(zhí)行該過(guò)濾。
跳躍模式過(guò)濾可以被用于為多個(gè)圖像幀編碼或解碼的任何系統(tǒng)。例如，DVD播放機(jī)、錄像機(jī)或在信道上(例如，在電視頻道上或在因特網(wǎng)上)傳送圖像數(shù)據(jù)的任何系統(tǒng)。將會(huì)理解該系統(tǒng)可以將該量化參數(shù)用作編碼參數(shù)——要么單獨(dú)進(jìn)行，要么結(jié)合其他編碼參數(shù)進(jìn)行。此外，將會(huì)理解該系統(tǒng)可能無(wú)須單獨(dú)使用該量化參數(shù)，或者根本無(wú)須出于過(guò)濾的目的而使用該量化參數(shù)。
可以利用專用處理器系統(tǒng)、微控制器、可編程邏輯設(shè)備或執(zhí)行部分或全部這些操作的微處理器來(lái)實(shí)施以上所描述的跳躍模式過(guò)濾?？梢栽谲浖袌?zhí)行以上所描述的部分操作，并可以在硬件中執(zhí)行其他操作。
為方便起見，這些操作被描述成各種互連的功能塊或獨(dú)特的軟件模塊。但是，這并不是必要的，并且，可能會(huì)有這些情況這些功能塊或模塊被相等地聚集到邊界不清楚的單一邏輯設(shè)備、程序或操作中。無(wú)論如何，這些功能塊和軟件模塊或所描述的特點(diǎn)都可以由它們本身來(lái)執(zhí)行，或者結(jié)合硬件或軟件中的其他操作來(lái)加以執(zhí)行。
在本發(fā)明的一些實(shí)施例中，如圖9所示，圖像數(shù)據(jù)902可以被輸入圖像數(shù)據(jù)編碼裝置904，圖像數(shù)據(jù)編碼裝置904包括關(guān)于本發(fā)明的一些實(shí)施例的、如上所述的自適應(yīng)過(guò)濾部分。來(lái)自圖像數(shù)據(jù)編碼裝置904的輸出是編碼圖像數(shù)據(jù)，因而它可以被存儲(chǔ)在任何計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)906上。該存儲(chǔ)介質(zhì)可以包括(但不局限于)磁盤介質(zhì)、存儲(chǔ)卡介質(zhì)或數(shù)字磁帶介質(zhì)。存儲(chǔ)介質(zhì)906可以用作短期緩沖器，也可以用作長(zhǎng)期存儲(chǔ)設(shè)備。該編碼圖像數(shù)據(jù)可以從存儲(chǔ)介質(zhì)906讀取并由圖像數(shù)據(jù)解碼裝置908進(jìn)行解碼，圖像數(shù)據(jù)解碼裝置908包括關(guān)于本發(fā)明的一些實(shí)施例的、如上所述的自適應(yīng)過(guò)濾部分?？梢詾榈斤@示器或其他設(shè)備的輸出解碼圖像數(shù)據(jù)910提供該解碼圖像數(shù)據(jù)。
在本發(fā)明的一些實(shí)施例中，如圖10所示，可以為圖像數(shù)據(jù)1002編碼，然后可以將該編碼圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)介質(zhì)1006上。圖像數(shù)據(jù)編碼裝置1004、存儲(chǔ)介質(zhì)1006和圖像數(shù)據(jù)解碼裝置1008的基本程序與圖9中的相同。在圖10中，Bs數(shù)據(jù)編碼部分1012接收關(guān)于每個(gè)塊邊界并由任何數(shù)據(jù)編碼方法編碼的邊界強(qiáng)度Bs的值，該任何數(shù)據(jù)編碼方法包括DPCM、多值運(yùn)轉(zhuǎn)周期編碼、具有無(wú)損耗特點(diǎn)的變換編碼等?？梢匀鐖D8中所描述的那樣生成邊界強(qiáng)度Bs。然后，可以將該編碼邊界強(qiáng)度存儲(chǔ)在存儲(chǔ)介質(zhì)1006中。在一個(gè)例子中，可以與該編碼圖像數(shù)據(jù)分開存儲(chǔ)該編碼邊界強(qiáng)度。在另一個(gè)例子中，在存儲(chǔ)于存儲(chǔ)介質(zhì)1006上之前，可以多路復(fù)用該編碼邊界強(qiáng)度和該編碼圖像數(shù)據(jù)。
該編碼邊界強(qiáng)度可以從存儲(chǔ)介質(zhì)1006讀取，并由Bs數(shù)據(jù)解碼部分1014解碼，以便將該解碼邊界強(qiáng)度輸入到圖像數(shù)據(jù)解碼裝置1008。當(dāng)在圖像數(shù)據(jù)解碼裝置1008中利用該解碼邊界強(qiáng)度來(lái)執(zhí)行本發(fā)明的自適應(yīng)過(guò)濾時(shí)，可能不一定要重復(fù)圖8中所描述的過(guò)程來(lái)生成邊界強(qiáng)度，這可以為該自適應(yīng)過(guò)濾節(jié)省處理功率。
在本發(fā)明的一些實(shí)施例中，如圖11所示，可以將圖像數(shù)據(jù)1102輸入到圖像數(shù)據(jù)編碼裝置1104，圖像數(shù)據(jù)編碼裝置1104包括關(guān)于本發(fā)明的一些實(shí)施例的、如上所述的自適應(yīng)過(guò)濾部分。來(lái)自圖像數(shù)據(jù)編碼裝置1104的輸出是編碼圖像數(shù)據(jù)，它隨后可以在網(wǎng)絡(luò)(例如，LAN、WAN或因特網(wǎng)1106)上被加以發(fā)送。該編碼圖像數(shù)據(jù)可以由圖像數(shù)據(jù)解碼裝置1108來(lái)接收和解碼，圖像數(shù)據(jù)解碼裝置1108也與網(wǎng)絡(luò)1106進(jìn)行通信。圖像數(shù)據(jù)解碼裝置1108包括關(guān)于本發(fā)明的一些實(shí)施例的、如上所述的自適應(yīng)過(guò)濾部分?？梢詾榈斤@示器或其他設(shè)備的輸出解碼圖像數(shù)據(jù)1110提供該解碼圖像數(shù)據(jù)。
在本發(fā)明的一些實(shí)施例中，如圖12所示，可以為圖像數(shù)據(jù)1202編碼，然后可以在網(wǎng)絡(luò)(例如，LAN、WAN或因特網(wǎng)1206)上發(fā)送該編碼圖像數(shù)據(jù)。圖像數(shù)據(jù)編碼裝置1204和圖像數(shù)據(jù)解碼裝置1208的基本程序與圖11中的相同。在圖12中，Bs數(shù)據(jù)編碼部分1212接收關(guān)于每個(gè)塊邊界并由任何數(shù)據(jù)編碼方法編碼的邊界強(qiáng)度的值，該任何數(shù)據(jù)編碼方法包括DPCM、多值運(yùn)轉(zhuǎn)周期編碼、具有無(wú)損耗特點(diǎn)的變換編碼等?？梢匀鐖D8中所描述的那樣生成邊界強(qiáng)度Bs。然后，可以在網(wǎng)絡(luò)1206上發(fā)送該編碼邊界強(qiáng)度。在另一個(gè)例子中，在網(wǎng)絡(luò)1206上進(jìn)行發(fā)送之前，可以多路復(fù)用該編碼邊界強(qiáng)度和該編碼圖像數(shù)據(jù)。
該編碼邊界強(qiáng)度可以從網(wǎng)絡(luò)1206被接收并由Bs數(shù)據(jù)解碼部分1214來(lái)解碼，以便將該解碼邊界強(qiáng)度輸入到圖像數(shù)據(jù)解碼裝置1208。當(dāng)在圖像數(shù)據(jù)解碼裝置1208中利用該解碼邊界強(qiáng)度來(lái)執(zhí)行本發(fā)明的自適應(yīng)過(guò)濾時(shí)，可能不一定要重復(fù)圖8中所描述的過(guò)程來(lái)生成邊界強(qiáng)度，這可以為該自適應(yīng)過(guò)濾節(jié)省處理功率。
已描述并展示了本發(fā)明在其較佳實(shí)施例中的原理，應(yīng)該清楚在不脫離這類原理的前提下，可以在布置和細(xì)節(jié)方面修改本發(fā)明。已聲明所有的修改和變更都處于以下權(quán)利要求書的精神和范圍以內(nèi)。
權(quán)利要求
1.一種用于過(guò)濾圖像的方法，其特征在于，包括下述步驟根據(jù)所述圖像中相鄰塊的參數(shù)編碼條件，選擇性地過(guò)濾位于所述相鄰塊之間一邊界附近的相鄰區(qū)域的至少一部分；其中所述參數(shù)編碼條件包括所述相鄰塊中的至少一個(gè)是否被內(nèi)編碼。
2.如權(quán)利要求1所述的方法，其特征在于，還包括(a)為所述相鄰塊的邊界確定邊界強(qiáng)度；(b)用所述邊界強(qiáng)度控制所述選擇性過(guò)濾的強(qiáng)度；(c)當(dāng)所述相鄰塊中的至少一塊被內(nèi)編碼時(shí)，所述邊界強(qiáng)度是第一值。
3.如權(quán)利要求2所述的方法，其特征在于，當(dāng)所述相鄰塊被間編碼并且所述相鄰塊中的至少一塊包含非零變換系數(shù)時(shí)，所述邊界強(qiáng)度是第二值。
4.一種用于過(guò)濾圖像的方法，其特征在于，包括下述步驟根據(jù)所述圖像中相鄰塊的參數(shù)編碼條件，選擇性地過(guò)濾位于所述相鄰塊之間一邊界附近的相鄰區(qū)域的至少一部分；其中所述參數(shù)編碼條件包括所述相鄰區(qū)域中的至少一個(gè)區(qū)域是否包含非零變換系數(shù)。
5.如權(quán)利要求4所述的方法，其特征在于，為所述相鄰塊的邊界確定邊界強(qiáng)度；其中，用所述邊界強(qiáng)度控制所述選擇性過(guò)濾的強(qiáng)度；并且當(dāng)所述相鄰塊中的至少一塊包含非零變換系數(shù)時(shí)，所述邊界強(qiáng)度是第一值。
6.如權(quán)利要求5所述的方法，其特征在于，當(dāng)所述相鄰塊不包含非零變換系數(shù)并且根據(jù)不同的參考幀而被預(yù)測(cè)時(shí)，所述邊界強(qiáng)度是第二值。
7.一種用于過(guò)濾圖像的設(shè)備，其特征在于，包括過(guò)濾裝置，用于根據(jù)所述圖像中相鄰塊的參數(shù)編碼條件，選擇性地過(guò)濾位于所述相鄰塊之間一邊界附近的相鄰區(qū)域的至少一部分；其中所述參數(shù)編碼條件包括所述相鄰塊中的至少一個(gè)是否是內(nèi)部編碼的。
8.如權(quán)利要求7所述的設(shè)備，其特征在于，還包括確定裝置，用于為所述相鄰塊的邊界確定邊界強(qiáng)度；其中，用所述邊界強(qiáng)度控制所述選擇性過(guò)濾的強(qiáng)度；并且當(dāng)所述相鄰塊中的至少一塊被內(nèi)編碼時(shí)，所述邊界強(qiáng)度是第一值。
9.如權(quán)利要求8所述的設(shè)備，其特征在于，當(dāng)所述相鄰塊被間編碼并且所述相鄰塊中的至少一塊包含非零變換系數(shù)時(shí)，所述邊界強(qiáng)度是第二值。
10.一種用于過(guò)濾圖像的設(shè)備，其特征在于，包括過(guò)濾裝置，用于根據(jù)所述圖像中相鄰塊的參數(shù)編碼條件，選擇性地過(guò)濾位于所述相鄰塊之間一邊界附近的相鄰區(qū)域的至少一部分；其中所述參數(shù)編碼條件包括所述相鄰區(qū)域中的至少一個(gè)區(qū)域是否包含非零變換系數(shù)。
11.如權(quán)利要求10所述的設(shè)備，其特征在于，還包括確定裝置，用于為所述相鄰塊的邊界確定邊界強(qiáng)度；其中，用所述邊界強(qiáng)度控制所述選擇性過(guò)濾的強(qiáng)度；并且當(dāng)所述相鄰塊中的至少一塊包含非零變換系數(shù)時(shí)，所述邊界強(qiáng)度是第一值。
12.如權(quán)利要求11所述的設(shè)備，其特征在于，當(dāng)所述相鄰塊不包含非零變換系數(shù)并且根據(jù)不同的參考幀而被預(yù)測(cè)時(shí)，所述邊界強(qiáng)度是第二值。
全文摘要
在圖像中識(shí)別鄰近的區(qū)域。識(shí)別關(guān)于這些鄰近區(qū)域的編碼參數(shù)。在這些所識(shí)別的鄰近區(qū)域之間的區(qū)域處執(zhí)行選擇性過(guò)濾。
文檔編號(hào)H04N7/30GK101014130SQ200710087609
公開日2007年8月8日 申請(qǐng)日期2002年9月11日 優(yōu)先權(quán)日2001年9月14日
發(fā)明者孫式軍, S·雷, 堅(jiān)田裕之 申請(qǐng)人:夏普株式會(huì)社