專利名稱：視頻壓縮中自適應(yīng)運動向量采樣的多階段連接過程的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻壓縮領(lǐng)域。
背景技術(shù)：
在視頻編碼中，壓縮過程通常涉及時間預(yù)測濾波器和用于空間濾波的殘差濾波器。殘差濾波器可使用離散余弦變換(DCT)、小波或提升變換(lifting transform)。時間預(yù)測濾波器允許通過一組(通常為1或2幅) 參考圖像來預(yù)測目標(biāo)圖像。時間預(yù)測濾波器使用一組運動向量和一個濾波 器，所述運動向量表示相對于參考圖像在目標(biāo)圖像中改變位置(即移動) 的對象，所述濾波器對運動向量數(shù)據(jù)進行操作。用于時間預(yù)測的標(biāo)準(zhǔn)方法 使用規(guī)則或統(tǒng)一的運動向量樣式來為運動向量所表示的每個塊執(zhí)行簡單的 運動補償。存在在目標(biāo)圖像中使用不規(guī)則運動向量樣式的趨勢。不規(guī)則運動向量 樣式是由于為了改進時間預(yù)測而調(diào)整目標(biāo)圖像中的運動向量位置(例如， 運動對象邊界處運動向量較多，背景區(qū)域中運動向量較少)引起的。但 是，生成不規(guī)則運動向量樣式常常是很復(fù)雜的過程，而且通常在不考慮空 時濾波的效果的情況下對目標(biāo)圖像執(zhí)行這一過程。因為空時濾波和不規(guī)則 運動向量采樣的效果之間可能存在很大的重疊，所以這一過程不是所希望 的。例如，即使圖像的某些區(qū)域可能有復(fù)雜的運動，它們也會由于空間關(guān) 聯(lián)性很高而非常容易被過濾。因此，這些區(qū)域不需要不規(guī)則分布的運動向 量。因為可以使用簡單、統(tǒng)一的運動向量樣式來避免生成不規(guī)則運動向量 樣式的復(fù)雜度代價。傳統(tǒng)方法無法將不規(guī)則運動向量樣式的生成與空時濾 波的結(jié)果相聯(lián)系。發(fā)明內(nèi)容一種對圖像進行濾波的方法包括接收目標(biāo)圖像數(shù)據(jù)并將多階段濾波器 應(yīng)用到目標(biāo)圖像數(shù)據(jù)。濾波的每個階段包括生成運動向量采樣樣式，使用 目標(biāo)圖像數(shù)據(jù)和運動向量采樣樣式來生成目標(biāo)圖像數(shù)據(jù)的時間預(yù)測，以及 使用目標(biāo)圖像數(shù)據(jù)的時間預(yù)測來生成目標(biāo)圖像數(shù)據(jù)的空時變換。


本發(fā)明通過示例方式加以闡述，并可通過結(jié)合附圖參考下面的描述而 得到更好的理解，圖中圖l示出連接方法的示例；圖2示出由圖1的方法產(chǎn)生的中間結(jié)果的示例；圖3示出圖1的方法中使用的空時變換的示例；圖4示出圖1的方法中使用的自適應(yīng)時間濾波過程的示例；圖5示出圖4的方法中使用的運動向量樣式的示例；圖6示出使用圖4的方法生成時間預(yù)測的示例；圖7示出通過使用圖1的方法生成時間預(yù)測所產(chǎn)生的中間結(jié)果的示例；圖8示出生成圖1的方法所使用的運動向量樣式的示例； 圖9示出使用圖1的連接方法的系統(tǒng)的示例。
具體實施方式
在下面的描述中，參考形成本文一部分的附圖，所述附圖中通過圖解 的方式示出了可實施本發(fā)明的具體實施例。應(yīng)該理解，在不脫離本發(fā)明范 圍的前提下，可以使用其他實施例，并做出結(jié)構(gòu)改變。例如，技術(shù)人員將 理解，用來描述各種實施例的術(shù)語"場"或"幀"或"圖像"在針對視頻 數(shù)據(jù)來使用時一般可互換。類似地，技術(shù)人員將理解，在針對視頻數(shù)據(jù)來 使用時，術(shù)語"規(guī)則分布的運動向量"和"均勻分布的運動向量" 一般可 互換，術(shù)語"不規(guī)則運動向量樣式"和"自適應(yīng)運動向量樣式" 一般可互 換。一種將運動向量樣式生成與空時預(yù)測相聯(lián)系的方法通過多個階段將空 時變換應(yīng)用到目標(biāo)圖像。該變換處理來自目標(biāo)圖像的空間數(shù)據(jù)和來自被預(yù) 測圖像的時間數(shù)據(jù)。在該方法的前幾個階段，目標(biāo)圖像中的空間數(shù)據(jù)高度 相關(guān)。換言之，來自圖像一部分的空間數(shù)據(jù)通常提供對圖像相鄰部分中的 空間數(shù)據(jù)的精確預(yù)測。因此，該方法的早期階段較之于時間預(yù)測更依賴于 空間預(yù)測。例如，在早期階段中，所生成的運動向量樣式以規(guī)則樣式或近 乎規(guī)則樣式分布。當(dāng)運動向量以均勻的間隔在目標(biāo)圖像上均勻分布時，運 動向量樣式是規(guī)則的。在本方法的后期階段，由于低通濾波的作用，空間關(guān)聯(lián)性減小。因此 后期階段中所生成的運動向量樣式是不規(guī)則的，以便較之于空間預(yù)測更依 賴于時間預(yù)測。通過一開始使用空間數(shù)據(jù)和規(guī)則運動向量樣式來預(yù)測目標(biāo) 圖像，壓縮版的目標(biāo)圖像可被使用不規(guī)則運動向量樣式和時間數(shù)據(jù)進一步 壓縮。結(jié)果，為具有較小尺寸的部分壓縮的目標(biāo)圖像生成不規(guī)則運動向量 樣式?jīng)]有為完整的目標(biāo)圖像生成不規(guī)則樣式復(fù)雜。多階段連接方法的示例在圖1中被示出。在110中，編碼器接收輸入 目標(biāo)圖像和一幅或多幅參考圖像組。每幅參考圖像包含先前解碼的數(shù)據(jù)， 并且對編碼器和解碼器都可用。在120中，編碼器生成運動向量的第一采 樣樣式并將其應(yīng)用到目標(biāo)圖像。在本例中，因為目標(biāo)圖像上的空間關(guān)聯(lián)性開始很強，所以采樣樣式是規(guī)則的。在130中，自適應(yīng)時間預(yù)測濾波器使用目標(biāo)圖像、規(guī)則運動向量樣式和參考圖像組來生成目標(biāo)圖像的第一預(yù) 測。自適應(yīng)時間預(yù)測濾波器的一個示例是下面討論的自適應(yīng)影響范圍(AAOI)濾波器。在140中，第一階段的空時變換被應(yīng)用到目標(biāo)圖像和 第一預(yù)測，以產(chǎn)生目標(biāo)圖像的第一變換。在某些實施例中，第一變換包括 目標(biāo)圖像的第一低通數(shù)據(jù)和第一高通數(shù)據(jù)。在150中，編碼器生成運動向量的第二樣式并將其應(yīng)用到目標(biāo)圖像的 第一低通數(shù)據(jù)。在本示例中，因為由于第一階段變換的平均過程在第一低 通數(shù)據(jù)中失去了一些空間關(guān)聯(lián)性，所以第二采樣樣式不如第一采樣樣式規(guī) 則。在160中，自適應(yīng)時間預(yù)測濾波器使用運動向量的不規(guī)則采樣樣式、 目標(biāo)圖像的第一低通數(shù)據(jù)、參考場組和第一預(yù)測來生成目標(biāo)圖像的第二預(yù)測。在170中，第二階段的空時變換被應(yīng)用到目標(biāo)圖像的第一低通數(shù)據(jù)和 第二預(yù)測，以產(chǎn)生目標(biāo)圖像的第二變換。在某些實施例中，第二變換包括 第二低通數(shù)據(jù)和第二高通數(shù)據(jù)。在180中，給定由第二階段變換產(chǎn)生的目標(biāo)圖像的第二低通數(shù)據(jù)，編碼器生成運動向量的第三樣式。在本示例中，因為更多的空間關(guān)聯(lián)性由于 第二階段變換的平均過程而失去，所以第三樣式比第二樣式更不規(guī)則。在190中，自適應(yīng)時間預(yù)測濾波器使用運動向量的第三不規(guī)則樣式、目標(biāo)圖 像的第二低通數(shù)據(jù)、參考圖像組和第二預(yù)測來生成第三預(yù)測。在195中， 第三階段的空時變換被應(yīng)用到第三預(yù)測和第二低通數(shù)據(jù)，以生成包含第三 低通數(shù)據(jù)的目標(biāo)圖像的第三變換，在197中，對在本示例中作為最終殘差 的第三低通數(shù)據(jù)進行熵編碼，并將編碼系數(shù)發(fā)送到解碼器。圖1示出具有 三個階段的多階段連接方法的示例。通常，對于任意數(shù)目的階段，都可應(yīng) 用該多階段連接方法，且階段的數(shù)目可以固定或者針對每個目標(biāo)圖像來修 改以使壓縮最大化。圖1的方法所產(chǎn)生的中間結(jié)果的示例分三個階段顯示在圖2中。塊 210示出編碼器接收的目標(biāo)圖像。目標(biāo)圖像在被濾波之前具有高度的空間 關(guān)聯(lián)性。因此，如塊220所示，規(guī)則運動向量樣式被應(yīng)用到目標(biāo)圖像并被 輸入到自適應(yīng)時間預(yù)測濾波器以產(chǎn)生第一預(yù)測。第一階段的空時變換使用 第一預(yù)測和目標(biāo)圖像來產(chǎn)生第一變換，包括第一低通數(shù)據(jù)L,和第一高通數(shù) 據(jù)Hp如塊240所示。低通數(shù)據(jù)的示例是被平均或壓縮的數(shù)據(jù)，高通數(shù)據(jù) 的示例是通過原始目標(biāo)圖像減去目標(biāo)圖像的預(yù)測所獲得的殘差數(shù)據(jù)。不規(guī)則運動向量樣式被生成并被應(yīng)用到目標(biāo)圖像的第一低通數(shù)據(jù)"， 如塊250所示。然后自適應(yīng)時間預(yù)測濾波器使用第一低通數(shù)據(jù)、第一預(yù)測 和不規(guī)則運動向量樣式來產(chǎn)生第二預(yù)測。第二階段的空時變換使用第二預(yù) 測和第一低通數(shù)據(jù)來產(chǎn)生第二變換，包括第二低通數(shù)據(jù)L2和第二高通數(shù)據(jù) H2，如塊260所示。相比于塊210所示的初始目標(biāo)圖像的數(shù)據(jù)量，第二低通數(shù)據(jù)的量很 小。結(jié)果，為第二低通數(shù)據(jù)生成不規(guī)則運動向量樣式?jīng)]有為初始目標(biāo)圖像 生成不規(guī)則樣式復(fù)雜。另外，第二低通數(shù)據(jù)的空間關(guān)聯(lián)性遠小于目標(biāo)圖像210的空間關(guān)聯(lián)性。從而，當(dāng)較之于空間數(shù)據(jù)更依賴于時間數(shù)據(jù)時，對第 二低通數(shù)據(jù)的預(yù)測更精確。因此，不規(guī)則運動向量樣式被生成并被應(yīng)用到第二低通數(shù)據(jù)，如塊280所示。第二低通數(shù)據(jù)、第二預(yù)測和非均勻運動向量樣式被自適應(yīng)時間預(yù)測濾 波器使用以生成第三預(yù)測。第三預(yù)測和第二低通數(shù)據(jù)被空時變換使用以生成第三變換，包括第三低通數(shù)據(jù)L3，如塊295所示。圖2所示方法說明生 成運動向量樣式如何與空時變換濾波交織。在每個階段，運動向量采樣樣 式與該階段的目標(biāo)圖像數(shù)據(jù)的空間關(guān)聯(lián)性相適應(yīng)。自適應(yīng)采樣樣式在運動 目標(biāo)區(qū)域中提供較高密度的運動向量，在背景區(qū)域中提供較低密度的運動 向量?？臻g關(guān)聯(lián)性一般在早期階段較強而在后期階段較弱。因此，圖2的 示例在階段一 (其中可更依賴于空間預(yù)測)顯示規(guī)則運動向量樣式，在較 高階段(其中更依賴于時間預(yù)測)顯示更復(fù)雜的運動向量樣式。更詳細地參考圖1的140，空時變換的示例在圖3中被示出。運動向 量315的樣式分布在目標(biāo)圖像310中。運動向量和參考圖像320被自適應(yīng) 時間預(yù)測濾波器使用以生成時間預(yù)測330?？諘r變換被應(yīng)用到時間預(yù)測和 目標(biāo)圖像。例如，來自目標(biāo)圖像的像素行340被低通濾波器過濾以生成低 通數(shù)據(jù)350。低通數(shù)據(jù)和來自時間預(yù)測的像素360被高通預(yù)測濾波器使用 以生成高通數(shù)據(jù)370。更詳細地參考圖1的130、 160和190，實施自適應(yīng)時間預(yù)測濾波器的 過程的示例示于圖4。自適應(yīng)時間預(yù)測濾波器被應(yīng)用到可能規(guī)則或不規(guī)則 的運動向量樣式，以產(chǎn)生目標(biāo)圖像的預(yù)測。在一個實施例中，針對不規(guī)則 樣式的自適應(yīng)時間濾波器的抽頭結(jié)構(gòu)來確定運動向量的每一次估計。該估 計分兩個階段進行。在第一階段中，確定與濾波器的抽頭結(jié)構(gòu)無關(guān)的運動 向量的初始估計。在第二階段中，在對每個運動向量值的重新估計期間， 使用該抽頭結(jié)構(gòu)。根據(jù)相鄰運動向量的局部樣式生成應(yīng)用于特定運動向量 的抽頭結(jié)構(gòu)，以在對特定運動向量的估計中包含它們的影響。在某些實施 例中，使用自適應(yīng)像素影響范圍和自適應(yīng)搜索窗來降低執(zhí)行重新估計過程 的復(fù)雜度。針對自適應(yīng)時間濾波器來估計運動向量值的方法的一個示例在 Marco Paniconi等人所提出的代理機構(gòu)案巻號為50U7057 、題為"ADAPTIVE MOITION ESTIMATION FOR TEMPORAL PREDICTION FILTER OVER IRREGULAR MOTION VECTOR SAMPLES "的第 xx/xxx，xxx號共同待決的美國申請中有所描述，該申請與本申請同時遞交，并通過引用結(jié)合于此。自適應(yīng)時間濾波過程的示例示于圖4。在410中，為圖像生成運動向 量的采樣樣式。這種樣式生成可通過使用本領(lǐng)域技術(shù)人員所公知的方法以 各種方式來完成。在410中生成的運動向量的采樣樣式的一個示例是圖5的塊510所示 的不規(guī)則樣式。圖像510中的白點表示運動向量。利用不規(guī)則或自適應(yīng)采 樣樣式，運動向量更多地集中于難以根據(jù)參考圖像來預(yù)測的區(qū)域(即，有 更復(fù)雜的運動的圖像區(qū)域，如運動邊界附近的區(qū)域)。較少的運動向量被 放在于簡單運動區(qū)域，如圖像背景區(qū)域。參考圖4，在420中圖像被分割成多個單元，稱為影響范圍單元 (AOI單元)，其中每個AOI單元具有一個運動向量，作為其節(jié)點。例 如，圖5的圖像510被分割成如塊520所示的AOI單元。每個AOI單元表 示受該單元內(nèi)運動向量的影響比受圖像中任何其他運動向量影響更多的區(qū) 域。因為AOI單元是為每個運動向量而生成，所以AOI單元的尺寸可能 與圖像中的對象的特征有關(guān)，如邊界區(qū)域。例如，在對象之間的邊界區(qū)域 附近的AOI單元可能小于圖像背景區(qū)域中的AOI單元。另外，AOI單元 的形狀可被局部修改以適合目標(biāo)邊界的形狀。生成AOI單元的方法的一個 實施例是距離最近運動向量分割方法。也可使用其他分割方法，如塊或三 角形方法。返回圖4，在430中為每個運動向量確定初始值。在435中生成自適 應(yīng)時間預(yù)測濾波器以使用不規(guī)則運動向量樣式和影響范圍單元來預(yù)測目標(biāo) 圖像中的像素。預(yù)測濾波器在時間域?qū)\動補償信號進行操作。具體而 言，該濾波器通過使用不同運動補償信號的加權(quán)和來預(yù)測目標(biāo)像素，其中 通過應(yīng)用不同的運動向量來預(yù)測目標(biāo)像素而獲得每個運動補償信號。濾波 器系數(shù)和抽頭結(jié)構(gòu)根據(jù)變化的運動向量樣式針對每個像素而變化。另外， 濾波器的支撐(support)是局部的。這意味著用來補償目標(biāo)像素的運動向量根據(jù)該像素的局部鄰域而被獲得。濾波器具有下面的結(jié)構(gòu)。令(V;)表示N個運動向量的集合，/(X)表示參 考圖像(先前解碼的圖像)。令S(X)表示像素X位置周圍的某組運動向 量。該目標(biāo)像素X的預(yù)測一般可表示為其中《}為濾波器系數(shù)集合，x + V,為當(dāng)運動向量V,被應(yīng)用到像素X時的運動補償像素。濾波器的支撐或抽頭(tap)由集合"x)定義。抽頭支撐《x) 和濾波器系數(shù)(^通常是像素位置x及其相鄰運動向量的函數(shù)。即，因為運 動向量的分布在整個圖像中都有變化，所以濾波器系數(shù)可針對每個像素而 變化。因此，濾波器局部適應(yīng)于變化的運動向量樣式。在440中，將預(yù)測濾波器應(yīng)用到目標(biāo)圖像以對目標(biāo)圖像執(zhí)行時間預(yù) 測。給定運動向量值集合和采樣樣式的情況下，將該濾波器應(yīng)用到時間域 來為目標(biāo)圖像生成預(yù)測結(jié)果。濾波器使用由重疊區(qū)域的范圍定義的濾波器 抽頭和濾波器系數(shù)來捕獲與待預(yù)測像素相鄰的運動向量的相關(guān)性。這類預(yù) 測濾波器的一個示例是在Marco Paniconi等人所著的代理機構(gòu)案巻號為 50U6045 、題為"ADAPTIVE AREA OF INFLUENCE FILTER "的第 xx/xxx,xxx號共同待決的美國申請中公開的影響范圍濾波器，該申請與本申請同時遞交，并通過引用結(jié)合于此。應(yīng)用該濾波器以生成時間預(yù)測的示例示于圖6。使用參考圖像602中 的像素來預(yù)測目標(biāo)604中的像素。參考像素在參考圖像602中用實線表 示，待預(yù)測的目標(biāo)像素在目標(biāo)圖像604中用虛線表示。濾波器通過使用局 部運動向量力至w的抽頭結(jié)構(gòu)來形成對目標(biāo)圖像604中像素x的預(yù)測。運 動向量對像素x而言是局部的，因為運動向量各自的AOI單元的每一個與 像素x的AOI單元的至少一部分相重疊。抽頭結(jié)構(gòu)中的每個運動向量h〕 映射到參考圖像602中的圖像數(shù)據(jù){/,}。自適應(yīng)時間預(yù)測濾波器用濾波器 權(quán)重{/;}調(diào)整參考數(shù)據(jù){/,}以預(yù)測像素x。在一個實施例中，預(yù)測濾波器使用抽頭結(jié)構(gòu)和濾波器權(quán)重來根據(jù)下面 的公式生成預(yù)測預(yù)測=/,力+ //力+ //力+ //刀+ //力其中，濾波器系數(shù)(/^和由局部運動向量定義的濾波器抽頭在430中生成濾 波器時被確定。返回圖4，在450中，使用由濾波器產(chǎn)生的預(yù)測結(jié)果來重新估計運動 向量的值以便改進自適應(yīng)濾波器的精度。在460中，若預(yù)測誤差需要減小 則該方法返回440。否則，該方法終止于470。結(jié)果，運動向量的總影響 范圍中的所有像素的預(yù)測誤差降低。使用運動向量的總影響范圍來重新估 計運動向量值的方法的一個示例在由Marco Paniconi等人所提出的代理機 構(gòu)案巻號為50U7057、題為"ADAPTIVE MOITION ESTIMATION FOR TEMPORAL PREDICTION FILTER OVER IRREGULAR MOTION VECTOR SAMPLES"的第XX/XXX,XXX號共同待決的美國申請，該申 請與本申請同時遞交，并通過引用結(jié)合于此。更詳細地參考圖1的130至160，由自適應(yīng)時間預(yù)測濾波器產(chǎn)生的中 間結(jié)果的示例示于圖7。自適應(yīng)時間預(yù)測濾波器使用目標(biāo)圖像710中的一 組運動向量715和參考圖像720來生成預(yù)測圖像730。自適應(yīng)時間預(yù)測濾 波器將濾波器系數(shù)(/^應(yīng)用到多個運動向量—J來預(yù)測目標(biāo)圖像中的像素 x。預(yù)測濾波器具有如下形式<formula>formula see original document page 13</formula>其中；x為待預(yù)測像素，i表示特定運動向量，m,為運動向量的值，,為運 動向量Z的濾波器系數(shù)，集合《x)為濾波器抽頭，A為第一預(yù)測。使用第一預(yù)測、目標(biāo)圖像的第一低通數(shù)據(jù)以及參考圖像來生成第二預(yù) 測。在一個實施例中，第一預(yù)測和參考圖像被空時變換的低通濾波器過濾 以產(chǎn)生第一預(yù)測760的低通數(shù)據(jù)和參考圖像750的低通數(shù)據(jù)。該操作使得 輸入到預(yù)測濾波器的數(shù)據(jù)為常用形式。不規(guī)則運動向量樣式745被應(yīng)用到 目標(biāo)圖像的低通數(shù)據(jù)740，且第二預(yù)測770被生成。自適應(yīng)時間預(yù)測濾波 器使用來自750的參考數(shù)據(jù)和來自760的第一預(yù)測數(shù)據(jù)來預(yù)測目標(biāo)圖像的 第一低通數(shù)據(jù)740中的像素x。第二預(yù)測中使用的每個運動向量具有值(m,)和模式映射(A)。模 式映射(mode map)是0和1之間的值/ ,e
;在某些實施例中，A. 為0、 l或1/2。模式映射指示前一預(yù)測對當(dāng)前預(yù)測的貢獻。例如，若模式映射為0，則運動向量的值僅由參考圖像的數(shù)據(jù)來確定。若模式映射為1， 則運動向量的值僅由前一預(yù)測的數(shù)據(jù)來確定。若模式映射為1/2，則運動向 量的值由前一預(yù)測數(shù)據(jù)和參考圖像數(shù)據(jù)的平均來確定。由于自適應(yīng)時間預(yù)測濾波器使用第一預(yù)測來生成第二預(yù)測，因此該濾 波器具有以下形式WW其中A為運動向量Z'的模式映射值，Z,為參考圖像的低通數(shù)據(jù)，丄f為第 一預(yù)測的低通數(shù)據(jù)，尸2為第二預(yù)測。更詳細地參考圖1的120、 150和180，選擇運動向量樣式的示例示于 圖8。 一般地，分配給運動向量的總比特預(yù)算和空時變換的階段數(shù)是預(yù)定 的。在某些實施例中，在每個階段中使用的運動向量數(shù)目也是預(yù)定的。由 于每個塊具有一個運動向量，因此可用的各種運動向量采樣樣式由塊的數(shù) 目和類型來表征。例如，使用諸如16像素乘16像素之類的一個塊的形狀 來產(chǎn)生規(guī)則運動向量樣式M^。在某些實施例中，使用諸如8X16、 16X 16和16X32像素之類的三個塊的形狀來產(chǎn)生不規(guī)則樣式M^。在某些實 施例中，更不規(guī)則的樣式M^具有六個塊的形狀，例如8X8、 8X16、 16 X16、 16X32、 32X32禾n 32X64像素。非常不規(guī)則的樣式MJ^具有甚至 更多個塊的形狀，例如十個。給定這些運動向量采樣樣式MF,，其中f表示特定樣式，并給定每個 階段可用的運動向量的數(shù)目，編碼器執(zhí)行下面的操作來確定特定階段"的 采樣樣式。在810中，使用空間濾波器來計算高通數(shù)據(jù)。在某些實施例 中，通過對目標(biāo)圖像進行空間濾波來執(zhí)行該操作以產(chǎn)生高通數(shù)據(jù)的空間預(yù) 測。在815中，測量空間預(yù)測誤差。階段"中高通數(shù)據(jù)的空間預(yù)測誤差被 表示為《—w。在820中，使用空時濾波器和候選運動向量采樣樣式M巧來 計算高通數(shù)據(jù)。在某些實施例中，通過將空時濾波器和運動向量樣式應(yīng)用 到目標(biāo)圖像來執(zhí)行該操作以產(chǎn)生空時預(yù)測。在825中，測量空時預(yù)測誤 差。階段w中高通數(shù)據(jù)的空間預(yù)測誤差表示為《'"'cw。在第一次迭代 期間，/為1，所以使用規(guī)則采樣樣式iW^。在830中，確定空間預(yù)測誤差 和空時預(yù)測誤差之差是否在閾值以內(nèi)。在一個實施例中，使用下式來做確定<formula>formula see original document page 15</formula>其中C,-,和Q是用來控制運動向量采樣樣式的復(fù)雜度的預(yù)定界限。例如， 若卜l且OO，并且<formula>formula see original document page 15</formula>則預(yù)測誤差實際上不隨時間分量的增加而減少。因此，不需要使用不規(guī)則 運動向量樣式來代替規(guī)則運動向量樣式M^。若在830中條件滿足，則在 840中使用候選樣式并且該過程終止于845。若條件不滿足，則在850中/ 增加1以選擇下一運動向量樣式作為候選樣式，然后該過程返回820。圖9示出使用多階段連接方法的系統(tǒng)的示例。數(shù)字?jǐn)z像機910捕獲電 子形式的圖像并使用壓縮設(shè)備920處理圖像，其在壓縮和編碼過程中使用 該連接方法。編碼的圖像通過電子傳輸介質(zhì)930被發(fā)送到數(shù)字重放設(shè)備 940。圖像被在解碼過程中使用本方法的解碼設(shè)備950解碼。攝像機910 代表包含本發(fā)明實施例的各種圖像處理設(shè)備(例如，其它圖像捕獲設(shè)備、 圖像編輯器、圖像處理器、個人和商業(yè)計算平臺等)的示例。類似地，解 碼設(shè)備950代表對圖像數(shù)據(jù)進行解碼的各種設(shè)備的示例。雖然在特定系統(tǒng)環(huán)境中根據(jù)實施例描述了本發(fā)明，但是本領(lǐng)域普通技 術(shù)人員將理解，可在所附權(quán)利要求的精神和范圍內(nèi)的其他不同硬件和軟件 環(huán)境中加以修改地來實施本發(fā)明。
權(quán)利要求
1.一種由電子數(shù)據(jù)處理器執(zhí)行的方法，包括接收目標(biāo)圖像數(shù)據(jù)；將多階段濾波應(yīng)用到所述目標(biāo)圖像數(shù)據(jù)，其中每個階段包括一個濾波過程，所述濾波過程包括生成運動向量采樣樣式；使用所述目標(biāo)圖像數(shù)據(jù)和所述運動向量采樣樣式來生成所述目標(biāo)圖像數(shù)據(jù)的時間預(yù)測；以及使用所述目標(biāo)圖像數(shù)據(jù)的時間預(yù)測來生成所述目標(biāo)圖像數(shù)據(jù)的空時變換。
2. 如權(quán)利要求1所述的方法，其中將所述多階段濾波應(yīng)用到所述目標(biāo) 圖像數(shù)據(jù)包括-在第一階段將所述濾波過程應(yīng)用到所述目標(biāo)圖像；以及 在后續(xù)階段將所述濾波過程應(yīng)用到所述目標(biāo)圖像的低通濾波數(shù)據(jù)。
3. 如權(quán)利要求1所述的方法，其中生成所述運動向量采樣樣式包括 在第一階段生成規(guī)則運動向量采樣樣式；以及 在后續(xù)階段生成不規(guī)則運動向量采樣樣式。
4. 如權(quán)利要求1所述的方法，其中每個階段的運動向量采樣樣式適應(yīng) 于該階段的所述目標(biāo)圖像數(shù)據(jù)的空間相關(guān)性。
5. 如權(quán)利要求4所述的方法，其中在每個階段生成所述運動向量采樣 樣式包括對所述目標(biāo)圖像進行空間濾波以產(chǎn)生所述目標(biāo)圖像的第一預(yù)測； 使用所述第一預(yù)測來確定第一預(yù)測誤差；將運動向量的候選樣式和空時濾波器應(yīng)用到所述目標(biāo)圖像以產(chǎn)生所述 目標(biāo)圖像的第二預(yù)測；使用所述第二預(yù)測來確定第二預(yù)測誤差；以及若所述第一預(yù)測誤差和第二預(yù)測誤差之差在預(yù)定界限以內(nèi)，則使用所 述運動向量的候選樣式作為所述運動向量采樣樣式。
6. 如權(quán)利要求1所述的方法，其中在所述多階段濾波器的第一階段使 用所述運動向量采樣樣式來生成所述目標(biāo)圖像的時間預(yù)測包括應(yīng)用包含下式的預(yù)測濾波器<formula>formula see original document page 3</formula>其中，尸"x)為像素；c在所述第一階段處的時間預(yù)測，S(x)為用于對所述像 素x進行濾波的運動向量的集合，乂為所述集合《x)中運動向量z'的濾波器 系數(shù)權(quán)重，m,為運動向量z'的值，T^為參考圖像。
7. 如權(quán)利要求1所述的方法，其中在所述多階段濾波的第一階段之后 的階段使用所述運動向量采樣樣式來生成所述目標(biāo)圖像的時間預(yù)測包括使用所述運動向量采樣樣式、參考圖像和來自前一階段的時間預(yù)測來 應(yīng)用預(yù)測濾波器。
8. 如權(quán)利要求7所述的方法，其中所述預(yù)測濾波器包括<formula>formula see original document page 3</formula>(1-其中A(x)為階段"像素X的時間預(yù)測，《x)為用于對所述像素X進行濾波的運動向量的集合，y;為所述集合s(:c)中運動向量z'的濾波器系數(shù)權(quán)重，w, 為運動向量/的值，《二為所述參考圖像的低通濾波數(shù)據(jù)，丄乙為所述來自前一階段的時間預(yù)測的低通濾波數(shù)據(jù)，A為用于確定來自參考圖像的低通 濾波數(shù)據(jù)和所述來自前一階段的時間預(yù)測的低通濾波數(shù)據(jù)的貢獻的模式映 射值。
9. 一種存儲計算機指令程序的計算機可讀介質(zhì)，所述指令被處理系統(tǒng) 執(zhí)行時使得所述系統(tǒng)執(zhí)行一種方法，所述方法包括接收目標(biāo)圖像數(shù)據(jù)；將多階段濾波應(yīng)用到所述目標(biāo)圖像數(shù)據(jù)，其中每個階段包括一個濾波 過程，所述濾波過程包括 生成運動向量采樣樣式；使用所述目標(biāo)圖像數(shù)據(jù)和所述運動向量采樣樣式來生成所述目標(biāo)圖像 數(shù)據(jù)的時間預(yù)測；以及使用所述目標(biāo)圖像數(shù)據(jù)的時間預(yù)測來生成所述目標(biāo)圖像數(shù)據(jù)的空時變換。
10. 如權(quán)利要求9所述的計算機可讀介質(zhì)，其中將所述多階段濾波應(yīng) 用到所述目標(biāo)圖像數(shù)據(jù)包括在第一階段將所述濾波過程應(yīng)用到所述目標(biāo)圖像；以及 在后續(xù)階段將所述濾波過程應(yīng)用到所述目標(biāo)圖像的低通濾波數(shù)據(jù)。
11. 如權(quán)利要求9所述的計算機可讀介質(zhì)，其中生成所述運動向量采 樣樣式包括在第一階段生成規(guī)則運動向量采樣樣式；以及 在后續(xù)階段生成不規(guī)則運動向量采樣樣式。
12. 如權(quán)利要求9所述的計算機可讀介質(zhì)，其中每個階段的運動向量 采樣樣式適應(yīng)于該階段的所述目標(biāo)圖像數(shù)據(jù)的空間相關(guān)性。
13. 如權(quán)利要求12所述的計算機可讀介質(zhì)，其中在每個階段生成所述運動向量采樣樣式包括對所述目標(biāo)圖像進行空間濾波以產(chǎn)生所述目標(biāo)圖像的第一預(yù)測； 使用所述第一預(yù)測來確定第一預(yù)測誤差；將運動向量的候選樣式和空時濾波器應(yīng)用到所述目標(biāo)圖像以產(chǎn)生所述目標(biāo)圖像的第二預(yù)測；使用所述第二預(yù)測來確定第二預(yù)測誤差；以及若所述第一預(yù)測誤差和第二預(yù)測誤差之差在預(yù)定界限以內(nèi)，則使用所 述運動向量的候選樣式作為所述運動向量采樣樣式。
14. 一種裝置包括微處理器，所述微處理器接收目標(biāo)圖像數(shù)據(jù)并將多階段濾波應(yīng)用到所述目標(biāo)圖像數(shù)據(jù)，其中每個階段包括一個濾波過程，所述濾波過程包括生成運動向量采樣樣式；使用所述目標(biāo)圖像數(shù)據(jù)和所述運動向量采樣樣式來生成所述目標(biāo)圖像數(shù)據(jù)的時間預(yù)測；以及使用所述目標(biāo)圖像數(shù)據(jù)的時間預(yù)測來生成所述目標(biāo)圖像數(shù)據(jù)的空時變換。
15. 如權(quán)利要求14所述的裝置，其中所述微處理器通過以下操作將所 述多階段濾波應(yīng)用到所述目標(biāo)圖像數(shù)據(jù)在第一階段將所述濾波過程應(yīng)用到所述目標(biāo)圖像；以及 在后續(xù)階段將所述濾波過程應(yīng)用到所述目標(biāo)圖像的低通濾波數(shù)據(jù)。
16. 如權(quán)利要求14所述的裝置，其中所述微處理器通過以下操作生成 所述運動向量采樣樣式在第一階段生成規(guī)則運動向量采樣樣式；以及 在后續(xù)階段生成不規(guī)則運動向量采樣樣式。
17. 如權(quán)利要求14所述的裝置，其中每個階段的所述運動向量采樣樣 式適應(yīng)于該階段的所述目標(biāo)圖像數(shù)據(jù)的空間相關(guān)性。
18. 如權(quán)利要求17所述的裝置，其中在每個階段所述微處理器通過以 下操作生成所述運動向量采樣樣式對所述目標(biāo)圖像進行空間濾波以產(chǎn)生所述目標(biāo)圖像的第一預(yù)測； 使用所述第一預(yù)測來確定第一預(yù)測誤差；將運動向量的候選樣式和空時濾波器應(yīng)用到所述目標(biāo)圖像以產(chǎn)生所述 目標(biāo)圖像的第二預(yù)測；使用所述第二預(yù)測來確定第二預(yù)測誤差；以及若所述第一預(yù)測誤差和第二預(yù)測誤差之差在預(yù)定界限以內(nèi)，則使用所 述運動向量的候選樣式作為所述運動向量采樣樣式。
全文摘要
一種對圖像進行濾波的方法包括接收目標(biāo)圖像數(shù)據(jù)并將多階段濾波器應(yīng)用到目標(biāo)圖像數(shù)據(jù)。濾波的每個階段包括生成運動向量采樣樣式，使用目標(biāo)圖像數(shù)據(jù)和運動向量采樣樣式來生成目標(biāo)圖像數(shù)據(jù)的時間預(yù)測，以及使用目標(biāo)圖像數(shù)據(jù)的時間預(yù)測來生成目標(biāo)圖像數(shù)據(jù)的空時變換。
文檔編號G06K9/40GK101268477SQ200680034190
公開日2008年9月17日 申請日期2006年9月13日 優(yōu)先權(quán)日2005年9月16日
發(fā)明者苗周榮, 詹姆斯·J·卡里格, 馬里奧·帕尼科尼 申請人:索尼電子有限公司