移除視頻數(shù)據(jù)中的編碼偽影的自適應濾波機制的制作方法
【專利摘要】本發(fā)明提供移除視頻數(shù)據(jù)中的編碼偽影的自適應濾波機制。方法包括通過處理器和/或硬件引擎在視頻序列的解碼或與解碼相關聯(lián)的后處理期間基于預定閾值確定視頻序列的視頻幀的邊緣像素和平坦像素，以及量化視頻幀的、其邊緣周圍的像素的空間相關性，以估計振鈴偽影的強度以及其跨視頻幀和其跨視頻序列的視頻幀的空間和時間持久性。方法還包括對視頻幀的邊緣周圍的像素進行自適應地和空間地濾波、對視頻幀進行自適應地和時間地濾波，以及將自適應空間濾波和自適應時間濾波的輸出進行混合以生成具有經(jīng)抑制的下列項的輸出：振鈴偽影、其空間和時間持久性以及來源于其中的壓縮的累積效應的偽影。
【專利說明】移除視頻數(shù)據(jù)中的編碼偽影的自適應濾波機制

【技術領域】
[0001]本公開總地涉及視頻處理，并且更具體地，涉及移除視頻數(shù)據(jù)中的編碼偽影(artifact)的自適應濾波機制。

【背景技術】
[0002]對具有視頻處理能力的數(shù)據(jù)處理設備(例如膝上型計算機、移動設備)的用戶體驗可依賴于在其上的視頻回放的質量。視頻編碼技術可能產(chǎn)生數(shù)字偽影，其基于諸如所選擇的比特率的因素而令人不快地變化。因此，回放內容可能遭受在各種比特率上令人不快的數(shù)字偽影的組合的影響。因為還可在大的顯示單元(例如高清電視(HDTV)機的顯示單元)上觀看視頻內容，所以前述偽影甚至可能會更加容易察覺并且令人不快。特別是，視頻幀上的對象的邊緣附近的振鈴(ringing)偽影和蚊式噪聲偽影可能由于其存在于對象的邊界附近而令人不快。


【發(fā)明內容】

[0003]公開了移除視頻數(shù)據(jù)中的編碼偽影的自適應濾波機制的方法、設備和/或系統(tǒng)。
[0004]在一個方面，方法包括:通過數(shù)據(jù)處理設備的可通信地耦連到存儲器的處理器和/或硬件引擎在視頻序列的解碼或與解碼相關聯(lián)的后處理期間基于預定閾值確定視頻序列的視頻幀的邊緣像素和平坦像素。邊緣像素與視頻幀的一個或多個邊緣相關聯(lián)，在所述邊緣周圍存在高于其閾值的強度(intensity)級別的改變，并且平坦像素與視頻幀的一個或多個區(qū)域相關聯(lián)，在所述區(qū)域周圍強度級別的改變低于閾值。
[0005]方法還包括通過處理器和/或硬件引擎量化視頻幀的、一個或多個邊緣周圍的像素的空間相關性，以基于所確定的邊緣像素和平坦像素以及解碼的原始輸出來估計其中的振鈴偽影的強度、振鈴偽影在視頻巾貞內的持久性(persistence)以及其跨視頻巾貞和視頻序列的另一個視頻幀的時間持久性。進一步地，方法包括通過邊緣保留濾波器對視頻幀的一個或多個邊緣周圍的像素進行自適應地和空間地濾波，所述邊緣保留濾波器通過在處理器和/或硬件引擎上執(zhí)行指令來實現(xiàn)，所述濾波基于與視頻序列相關聯(lián)的元數(shù)據(jù)、所估計的振鈴偽影的強度、振鈴偽影在視頻幀內的持久性以及振鈴偽影跨視頻幀和另一個視頻幀的時間持久性。
[0006]再進一步地，方法包括通過處理器和/或硬件引擎對視頻幀進行自適應地和時間地濾波以減輕來源于視頻序列的編碼期間的壓縮的累積效應的偽影，以及通過處理器和/或硬件引擎將自適應空間濾波和自適應時間濾波的輸出進行混合以生成具有經(jīng)抑制的下列項的輸出:振鈴偽影、其空間和時間持久性以及來源于其中的壓縮的累積效應的偽影。
[0007]在另一方面，數(shù)據(jù)處理設備包括存儲器和通信地耦連到存儲器的處理器。處理器配置為執(zhí)行指令以在視頻序列的解碼或與解碼相關聯(lián)的后處理期間基于預定閾值確定視頻序列的視頻幀的邊緣像素和平坦像素。邊緣像素與視頻幀的一個或多個邊緣相關聯(lián)，在所述邊緣周圍存在高于其閾值的強度級別的改變，并且平坦像素與視頻幀的一個或多個區(qū)域相關聯(lián)，在所述區(qū)域周圍強度級別的改變低于閾值。
[0008]處理器還配置為執(zhí)行指令以量化視頻幀的、一個或多個邊緣周圍的像素的空間相關性，以基于所確定的邊緣像素和平坦像素以及解碼的原始輸出來估計其中的振鈴偽影的強度、振鈴偽影在視頻幀內的持久性以及其跨視頻幀和視頻序列的另一個視頻幀的時間持久性。進一步地，處理器配置為執(zhí)行指令以通過邊緣保留濾波器對視頻幀的一個或多個邊緣周圍的像素進行自適應地和空間地濾波，所述濾波基于與視頻序列相關聯(lián)的元數(shù)據(jù)、所估計的振鈴偽影的強度、振鈴偽影在視頻幀內的持久性以及振鈴偽影跨視頻幀和另一個視頻幀的時間持久性。
[0009]再進一步地，處理器配置為執(zhí)行指令以對視頻幀進行自適應地和時間地濾波以減輕來源于視頻序列的編碼期間的壓縮的累積效應的偽影，以及將自適應空間濾波和自適應時間濾波的輸出進行混合以生成具有經(jīng)抑制的下列項的輸出:振鈴偽影、其空間和時間持久性以及來源于其中的壓縮的累積效應的偽影。
[0010]在又一方面，系統(tǒng)包括配置為生成被編碼為視頻序列的視頻數(shù)據(jù)的數(shù)據(jù)源，以及可通信地耦連到數(shù)據(jù)源的硬件引擎和/或客戶端設備。硬件引擎和/或客戶端設備配置為在視頻序列的解碼或與解碼相關聯(lián)的后處理期間基于預定閾值確定視頻序列的視頻幀的邊緣像素和平坦像素。邊緣像素與視頻幀的一個或多個邊緣相關聯(lián)，在所述邊緣周圍存在高于其閾值的強度級別的改變，并且平坦像素與視頻幀的一個或多個區(qū)域相關聯(lián)，在所述區(qū)域周圍強度級別的改變低于閾值。
[0011]硬件引擎和/或客戶端設備還配置為量化視頻幀的、一個或多個邊緣周圍的像素的空間相關性，以基于所確定的邊緣像素和平坦像素以及解碼的原始輸出來估計其中的振鈴偽影的強度、振鈴偽影在視頻幀內的持久性以及其跨視頻幀和視頻序列的另一個視頻幀的時間持久性。硬件引擎和/或客戶端設備進一步配置為通過邊緣保留濾波器對視頻幀的一個或多個邊緣周圍的像素進行自適應地和空間地濾波，所述濾波基于與視頻序列相關聯(lián)的元數(shù)據(jù)、所估計的振鈴偽影的強度、振鈴偽影在視頻幀內的持久性以及振鈴偽影跨視頻幀和另一個視頻幀的時間持久性。
[0012]再進一步地，硬件引擎和/或客戶端設備配置為對視頻幀進行自適應地和時間地濾波以減輕來源于視頻序列的編碼期間的壓縮的累積效應的偽影，以及將自適應空間濾波和自適應時間濾波的輸出進行混合以生成具有經(jīng)抑制的下列項的輸出:振鈴偽影、其空間和時間持久性以及來源于其中的壓縮的累積效應的偽影。
[0013]本文所公開的方法和系統(tǒng)可以以用于達到各方面的任何手段加以實現(xiàn)，并且可以以具體化指令集的非暫時性機器可讀介質的形式加以執(zhí)行，所述指令集當由機器所執(zhí)行時使機器實施本文所公開的操作中的任何操作。
[0014]其他特征根據(jù)附圖和下面的詳細描述將是顯而易見的。

【專利附圖】

【附圖說明】
[0015]本發(fā)明的實施例以示例而非限制的方式示出在附圖的圖中，其中相似的參考指示類似的元件，并且其中:
[0016]圖1是根據(jù)一個或多個實施例的視頻系統(tǒng)的示意圖。
[0017]圖2是簡化的視頻幀中的示范性邊緣的示意圖。
[0018]圖3是根據(jù)一個或多個實施例的、為加寬與視頻幀相關聯(lián)的邊緣的輪廓而對其邊緣像素周圍的視頻幀的像素進行標記的示意圖。
[0019]圖4是在圖1的視頻系統(tǒng)的客戶端設備上執(zhí)行的后處理引擎的實現(xiàn)方案的示意圖。
[0020]圖5是根據(jù)一個或多個實施例的、詳述移除圖1的視頻數(shù)據(jù)中的編碼偽影的自適應濾波機制中所涉及的操作的流程圖。
[0021]圖6是根據(jù)一個或多個實施例的、詳述移除圖1的視頻數(shù)據(jù)中的編碼偽影的自適應濾波機制中所涉及的操作的過程流程圖。
[0022]所呈現(xiàn)的實施例的其他特征根據(jù)附圖和下面的詳細描述將是顯而易見的。

【具體實施方式】
[0023]可以使用如下文所描述的示范性實施例來提供移除視頻數(shù)據(jù)中的編碼偽影的自適應濾波機制的方法、設備和/或系統(tǒng)。雖然所呈現(xiàn)的實施例已參照具體的示范性實施例進行描述，但是明顯的是，可以對這些實施例做出各種修改和改變而不脫離各實施例的較寬精神和范圍。
[0024]圖1是根據(jù)一個或多個實施例的視頻系統(tǒng)100的示意圖。在一個或多個實施例中，視頻系統(tǒng)100可包括服務器102，其(例如通過計算機網(wǎng)絡106)可通信地耦連到客戶端設備104。在一個或多個實施例中，服務器102(或數(shù)據(jù)源)可配置為生成被編碼為視頻序列并被傳送到客戶端設備104的視頻數(shù)據(jù)。在一個或多個實施例中，所傳送的視頻數(shù)據(jù)可在客戶端設備104處被解碼并在與其相關聯(lián)的顯示單元120上被渲染。在一個或多個實施例中，客戶端設備104可以是臺式計算機、膝上型計算機、筆記本計算機、上網(wǎng)本、平板電腦或諸如移動電話的移動設備。其他形式的客戶端設備104在本文所討論的示例性實施例的范圍內。在替代的示范性實施例中，服務器102和客戶端設備104可以是同一數(shù)據(jù)處理設備。
[0025]在一個或多個實施例中，客戶端設備104可包括處理器108 (例如中央處理單元(CPU)、圖形處理單元(GPU))，其可通信地耦連到存儲器110 (例如易失性存儲器和/或非易失性存儲器)；存儲器110可包括可通過處理器108尋址的存儲位置。在一個或多個實施例中，處理器108可在其上執(zhí)行解碼器引擎112(例如指令集)以解碼所接收的視頻數(shù)據(jù)(例如視頻數(shù)據(jù)116)，以使能其在顯示單元120上的渲染；顯示單元120在圖1中被示出為與處理器108接合。圖1還將解碼器引擎112示出為存儲在存儲器110中以通過處理器108加以執(zhí)行；此外，圖1將視頻數(shù)據(jù)116示出為存儲在存儲器110 (例如易失性存儲器)中。
[0026]在一個或多個實施例中，處理器108還可在其上執(zhí)行后處理引擎130 (以將解碼器引擎112的輸出應用到其的方式也被示出為存儲器110的一部分)。在一個或多個實施例中，后處理引擎130可處理解碼器引擎112的輸出(例如視頻數(shù)據(jù)116)以抑制/減輕其中與編碼相關的振鈴/蚊式噪聲偽影，如下文將討論的。在一個或多個替代的實施例中，后處理引擎130可以是解碼器引擎112的一部分。應該注意，視頻系統(tǒng)100可能要求實時處理以抑制/減輕前述偽影。因此，雖然本文所討論的示例性實施例可優(yōu)先針對于解決這類要求，但是更多運算量的解決方案也在其范圍內。
[0027]在一個或多個實施例中，視頻數(shù)據(jù)116可包括(例如通過處理器108)被掃描以保留其邊緣的若干視頻幀(例如視頻幀122^)。在一個或多個實施例中，邊緣可以是視頻幀122^的在其周圍存在高于閾值(例如存儲在存儲器110中的閾值172)的強度級別的改變的點。圖2示出了簡化的視頻幀122^中的邊緣202的示例。在一個或多個實施例中，可掃描每個視頻幀122i_N以標識其與預期的偽影表現(xiàn)相關聯(lián)的區(qū)域并丟棄其他區(qū)域。換句話說，在一個或多個實施例中，可以保留視頻數(shù)據(jù)116的邊緣。
[0028]在一個示范性實現(xiàn)方案中，可以利用索貝爾(Sobel)算子來計算視頻幀122i_N的強度級別函數(shù)的近似梯度，作為上文所討論的邊緣檢測的一部分。索貝爾算子對本領域技術人員來說是已知的；因此，與其相關聯(lián)的詳細討論已出于便利和簡潔的緣故而略過。近似梯度的其他方法在本文所討論的示例性實施例的范圍內。
[0029]視頻壓縮/編碼方法可使偽影在視頻數(shù)據(jù)116的渲染期間出現(xiàn)，其基于所選擇的比特率而令人不快地變化。視頻幀122i_N中強邊緣對比平坦背景可能導致振鈴偽影的出現(xiàn)。因此，在一個或多個實施例中，上文所討論的過程可標識其中振鈴偽影可能出現(xiàn)的視頻幀122i_N的區(qū)域并丟棄所有其他區(qū)域，從而消除誤報的可能性。
[0030]在一個或多個實施例中，基于上文所討論的邊緣計算，可依據(jù)與像素相關聯(lián)的強度級別是否超過在前像素的強度級別閾值級別來將視頻幀122i_N的像素分類為邊緣像素和平坦像素。在一個或多個實施例中，對于每個邊緣像素，可(例如通過處理器108)將所述邊緣像素周邊的像素也標記為邊緣像素。因此，在一個或多個實施例中，視頻幀122^內的邊緣輪廓可被加寬。例如，就視頻幀122i_N的中間部分中的像素來說，邊緣輪廓可以是3像素寬。圖3示出了示范性視頻巾貞122i_N內的前述標記。應該注意,本文所描述的邊緣加寬過程還可基于與視頻序列相關聯(lián)的元數(shù)據(jù)(例如顯示單元120的大小)來調適(adapt)。
[0031]在一個或多個實施例中，后處理引擎130還可具有與在其中所實現(xiàn)的極差分析相關聯(lián)的指令。在一個或多個實施例中，可針對視頻幀122i_N的每個子塊(例如8X8塊)將極差計算為其內像素的強度值的最大和最小值之間的差。在一個或多個實施例中，可隨后將極差與塊的像素基于其被標記為平坦像素和邊緣像素的(例如預設和基于實驗所確定的)閾值進行比較。例如，如果所計算的極差小于閾值，則可將塊的所有像素標記為平坦像素。如果所計算的極差大于閾值，則可將塊的所有像素標記為邊緣像素。
[0032]在一個或多個實施例中，可實施極差分析以通過減少誤報和/或漏報的方式來使邊緣檢測過程達到絕無錯誤的程度?，F(xiàn)在，在一個或多個實施例中，可針對視頻幀122i_N的每個子塊計算平坦像素百分比和邊緣像素百分比。然后，在一個或多個實施例中，如果子塊內的平坦像素百分比高于閾值(例如90% )，則可以保留子塊并且不對其像素進行濾波。這么做可避免對視頻幀122i_N的具有發(fā)生振鈴偽影的低概率的平坦區(qū)進行濾波。在一個或多個實施例中，如果子塊內的邊緣像素百分比高于另一個閾值(例如40%)，則也可以保留子塊并且不對其像素進行濾波。這么做可避免對視頻幀122i_N的高度密集的邊緣區(qū)進行濾波。在一個或多個實施例中，可將排除所保留的像素以外的像素分類為候選像素用于濾波。
[0033]在一個或多個實施例中，可隨后基于對候選像素進行分析來量化可能的振鈴偽影的強度和其持久性。在一個或多個實施例中，可通過視頻幀122i_N的、“邊緣”(例如邊緣像素)周圍的子塊之間的歸一化相關性來計算振鈴的強度。此外，在一個或多個實施例中，計算考慮了由于空間相關性的持久性的振鈴強度的修改。另外，在一個或多個實施例中，可跨多個視頻幀122i_N跟蹤振鈴的時間持久性。
[0034]在一個或多個實施例中，跨視頻幀122i_N的像素的空間相關性和其持久性可使能視頻幀122i_N的與可能的振鈴偽影相關聯(lián)的區(qū)域(或像素)的標識以及對其強度進行量化。換句話說，可量化兩個事物:跨視頻幀122i_N的像素和跨視頻幀122i_N的相關性的強度和其持久性。應該注意，可依據(jù)數(shù)學函數(shù)來量化視頻幀122i_N之間的時間持久性和相關性。然而，考慮到其中涉及本文所討論的概念的實現(xiàn)方案場景的實時性質，依據(jù)數(shù)學函數(shù)的時間相關性計算可能是運算量大和/或無法可靠實行的。不過，涉及這類數(shù)學函數(shù)的實現(xiàn)方案在本文所討論的示例性實施例的范圍內。
[0035]在一個或多個實施例中，可因此估計諸如本底噪聲的參數(shù)。例如，本底噪聲可在邊緣像素處是低的并且在視頻幀122i_N的中間部分中是高的。在一個或多個實施例中，可通過邊緣保留濾波器(例如雙邊濾波器)對邊緣周圍的像素(或候選像素)進行濾波以移除振鈴偽影。在一個或多個實施例中，還可采用時間濾波來移除來源于視頻數(shù)據(jù)116的編碼期間的壓縮的累積效應的偽影(例如蚊式噪聲偽影)。在一個或多個實施例中，可隨后將視頻幀122i_N的經(jīng)濾波的像素與其未濾波的像素進行組合以生成最終輸出，所述最終輸出中具有減少的振鈴/蚊式噪聲偽影。
[0036]圖4示出了根據(jù)一個或多個實施例的后處理引擎130的實現(xiàn)方案。在一個或多個實施例中，后處理引擎130可配置為接收解碼器引擎112的輸出(例如原始視頻數(shù)據(jù)116)并處理所述輸出以生成最終輸出(例如輸出402)，所述最終輸出中具有減少的振鈴/蚊式噪聲偽影。在一個或多個實施例中，后處理器引擎130可包括配置為實施上文所討論的邊緣檢測的邊緣檢測引擎404 ;邊緣檢測引擎404的輸出可隨后被饋送到分析引擎406，該分析引擎406配置為實施上文所討論的邊緣分析以生成視頻幀122i_N的邊緣像素和平坦像素。在一個或多個實施例中，可通過空間地以及時間地執(zhí)行濾波器引擎408來對邊緣周圍的像素進行自適應地濾波，所述濾波器引擎408以來自解碼器引擎112的元數(shù)據(jù)410 (例如編碼期間的量化參數(shù)(QP)、編碼類型)作為其參考輸入。
[0037]應該注意，如本文所討論的元數(shù)據(jù)410可以是在一個或多個級別上的信息，其被適當?shù)乩糜诒疚乃懻摰恼{適。在高級別上，元數(shù)據(jù)410可以是顯示單元120的類型；與在小的顯示單元120中相比，偽影可在大的顯示單元120或HDTV機/4KTV機的顯示單元120中出現(xiàn)更多。另外，元數(shù)據(jù)410可以是基于諸如幀速率、幀大小和比特率和/或編解碼器類型的參數(shù)的視頻數(shù)據(jù)116的分類器(例如低比特率，高比特率)。在較低級別上，元數(shù)據(jù)410可以是與解碼器引擎112相關聯(lián)的平均量化級別和/或類似物的參數(shù)。前述量化級別可理解為在視頻幀122i_N級別上的調適因子。在最低級別上，可利用(例如通過分析引擎406的)視頻像素分析來對濾波進行調適，以高級別元數(shù)據(jù)410作為參考。
[0038]在一個或多個實施例中，可隨后(例如通過組合引擎412)將分析引擎406和濾波器引擎408的輸出進行組合以生成輸出402。在一個或多個實施例中，可通過邊緣保留濾波器來實現(xiàn)濾波器引擎408的空間組件。邊緣保留濾波器的示例是雙邊濾波器，它的輸出可一般表不為:
[_] mf]p =忐 Eg 義_ ill) Gff應-




(I)
[0040]用語言表達就是,對于輸入視頻幀122^1，針對像素P的輸出BF[I]p可表達為示范性等式(I)。此處，03和σ ^分別是空間偏差和輻射度偏差；6。3是與空間位置相關聯(lián)的高斯函數(shù)，并且G?是與像素強度(極差)相關聯(lián)的高斯函數(shù)；并且歸一化因子Wp給定為:
[0041]% = EfliS-- f/ll) Οσ,.(\?ρ - la I)(2}
[0042]歸一化因子可確保針對所有像素的濾波器權重總計為I。因此，雙邊濾波器的權重可取決于空間高斯函數(shù)和極差高斯函數(shù)這兩者。雙邊濾波器可通過改變03和/或(^來調適。在示范性實現(xiàn)方案中，可基于先前所計算的統(tǒng)計信息(statistics)來為亮度和色度值單獨地調整os0至于極差部分，\可以平衡去振鈴(de-ringing)和特征保留，并且也可基于先前所計算的統(tǒng)計信息被調整。隨后可將雙邊濾波自適應地應用到邊緣周圍的像素(或候選像素)，如上文所討論的。
[0043]在示范性實現(xiàn)方案中，可通過一階無限脈沖響應(IIR)濾波器來實現(xiàn)時間濾波，以通過遞歸地應用當前視頻幀122i_NX(t)和先前經(jīng)時間濾波的視頻幀122^7(1-1)的阿爾法(alpha)混合來生成輸出y(t)。簡言之，
[0044]y (t) = y (t~l) + (1- ) x (t),(3)
[0045]其中0<°^<1。
[0046]此外，可隨后將經(jīng)空間地(ys(t))和時間地(yt(t))濾波的圖像混合在一起以生成最終輸出為:
[0047]y0 (t) = β γ3(?) + (1-β )yt(t) ,(4)
[0048]其中O彡β彡I。很明顯，β的下限和上限分別表示純時間和純空間的濾波。
[0049]應該注意，上文所討論的雙邊濾波器和IIR濾波器僅為示范性目的而示出。其他邊緣保留濾波器和時間濾波器在本文所討論的示例性實施例的范圍內。另外，上文所討論的高斯函數(shù)和IIR濾波器的一階性質也是出于示范性實現(xiàn)方案的目的。其他更簡單或復雜的函數(shù)也在本文所討論的示例性實施例的范圍內。
[0050]圖5示出了根據(jù)一個或多個實施例的、概述上文所討論的移除視頻數(shù)據(jù)116中的編碼偽影的自適應濾波機制的流程圖。在一個或多個實施例中，操作502可涉及(例如通過處理器108)讀取解碼器引擎112的輸出。在一個或多個實施例中，操作504可涉及使用索貝爾算子來計算視頻數(shù)據(jù)116的每個視頻幀122i_N的邊緣。在一個或多個實施例中，操作506可涉及將視頻巾貞122^n的像素分類為邊緣像素和平坦像素。在一個或多個實施例中，操作508可涉及加寬邊緣，如上文所討論的。在一個或多個實施例中，操作510可涉及相關性計算和極差分析，又如上文所討論的。
[0051]在一個或多個實施例中，操作512可涉及將針對視頻幀122i_N的每個子塊所計算的極差和閾值進行比較。在一個或多個實施例中，如果操作512的結果得出極差小于閾值，則操作514可涉及增量用于若干平坦像素的計數(shù)。另外，在一個或多個實施例中，操作514可涉及通過不對視頻幀122i_N的邊緣像素進行濾波而保留其邊緣。在一個或多個實施例中，操作516可涉及計算基于視頻巾貞122^n的邊緣的像素統(tǒng)計信息以及視頻巾貞122i_N邊緣周圍的像素統(tǒng)計信息，以確定候選像素用于濾波，如上文所討論的。在一個或多個實施例中，操作518可涉及基于統(tǒng)計信息和解碼器引擎112的輸出來估計與候選像素相關聯(lián)的預期振鈴偽影的強度及其在視頻幀122i_N內和跨視頻幀122i_N之間的持久性。
[0052]在一個或多個實施例中，操作520可涉及對邊緣像素周圍的候選像素進行自適應地和空間地濾波，如上文所討論的。在一個或多個實施例中，操作522可隨后涉及基于混合因子(示范性等式(4)的β)將空間濾波和時間濾波的輸出進行組合。關于操作502的結果，在一個或多個實施例中，并行操作524可涉及就時間濾波是否被使能而進行檢查。在一個或多個實施例中，如果時間濾波被使能，則操作526可涉及(例如通過一階IIR濾波器)對當前視頻幀122i_N應用時間濾波。另外，在一個或多個實施例中，操作526可涉及應用當前視頻幀122η和先前經(jīng)時間濾波的視頻幀122^的阿爾法混合(示范性等式(3)的~ )。在一個或多個實施例中，可隨后將控制傳遞到操作522，此處將空間濾波和時間濾波的輸出進行組合。
[0053]應該注意，可通過在處理器108上執(zhí)行的解碼器引擎112和/或后處理引擎130來實施上文所討論的過程。替代地，解碼器引擎112和/或后處理引擎130可以是硬件引擎。硬件和軟件的組合也可以是可能的。
[0054]在一個或多個實施例中，可基于來自解碼器弓I擎112的元數(shù)據(jù)(例如量化步長、視頻標準)、振鈴偽影的強度和其持久性等來調適上文所討論的邊緣保留濾波器。調適的一些示例包括依據(jù)高量化步長的低比特率調適和反之亦然、視頻標準調適、依據(jù)視頻幀122i_N內的振鈴強度的邊緣保留濾波器(例如雙邊濾波器)的空間幅度和極差參數(shù)的調適以及隨著跨多個視頻幀122i_N的振鈴偽影的持久性增加而增加去振鈴強度。其他形式的元數(shù)據(jù)(例如關于圖4所討論的元數(shù)據(jù)410)在本文所討論的示例性實施例的范圍內。
[0055]可以為本文所討論的示例性實施例預想數(shù)個實現(xiàn)方案場景。例如，可在改善多媒體回放體驗的手持設備、耦連到手持設備的數(shù)字電視機、用于無噪聲渲染的智能電視盒以及用于視頻回放的游戲機中采用本文所討論的概念。其他實現(xiàn)方案在本文所討論的示例性實施例的范圍內。
[0056]應該注意，雖然已在整個詳細描述中討論了視頻幀，但是與示例性實施例相關聯(lián)的概念也適用于圖像。圖6示出了根據(jù)一個或多個實施例的、詳述移除視頻數(shù)據(jù)116中的編碼偽影的自適應濾波機制中所涉及的操作的過程流程圖。在一個或多個實施例中，操作602可涉及通過處理器108和/或硬件引擎在視頻序列的解碼或與解碼相關聯(lián)的后處理期間基于預定閾值確定視頻序列的視頻幀122i_N的邊緣像素和平坦像素。在一個或多個實施例中，邊緣像素可與視頻幀122i_N的一個或多個邊緣相關聯(lián)，在所述邊緣周圍存在高于其閾值的強度級別的改變，并且平坦像素與視頻幀122i_N的一個或多個區(qū)域相關聯(lián)，在所述區(qū)域周圍強度級別的改變低于閾值。
[0057]在一個或多個實施例中，操作604可涉及通過處理器108和/或硬件弓I擎量化視頻幀122i_N的、一個或多個邊緣周圍的像素的空間相關性，以基于所確定的邊緣像素和平坦像素以及解碼的原始輸出來估計其中的振鈴偽影的強度、振鈴偽影在視頻幀122i_N內的持久性以及其跨視頻幀122i_N和視頻序列的另一個視頻幀122i_N的時間持久性。在一個或多個實施例中，操作606可涉及通過邊緣保留濾波器對視頻巾貞122^的一個或多個邊緣周圍的像素進行自適應地和空間地濾波，所述邊緣保留濾波器通過在處理器108和/或硬件引擎上執(zhí)行指令實現(xiàn)，所述濾波基于與視頻序列相關聯(lián)的元數(shù)據(jù)、所估計的振鈴偽影的強度、振鈴偽影在視頻幀122i_N內的持久性以及振鈴偽影跨視頻幀122i_N和另一個視頻幀122i_N的時間持久性。
[0058]在一個或多個實施例中，操作608可涉及通過處理器108和/或硬件引擎對視頻幀122i_N進行自適應地和時間地濾波，以減輕來源于視頻序列的編碼期間的壓縮的累積效應的偽影。在一個或多個實施例中，操作610可隨后涉及通過處理器108和/或硬件引擎對自適應空間濾波和自適應時間濾波的輸出進行混合以生成具有經(jīng)抑制的下列項的輸出:振鈴偽影、其空間和時間持久性以及來源于其中的壓縮的累積效應的偽影。
[0059]雖然已參照具體的示范性實施例對所呈現(xiàn)的實施例進行了描述，但是很明顯可對這些實施例做出各種修改和改變而不脫離各實施例的較寬精神和范圍。例如，可使用硬件電路(例如基于CMOS的邏輯電路)、固件、軟件或硬件、固件和(例如具體化在非暫時性機器可讀介質中的)軟件的任何組合來使能并且操作本文所描述的各種設備和模塊。例如，可使用晶體管、邏輯門以及電氣電路(例如專用集成電路(ASIC)和/或數(shù)字信號處理器(DSP)電路)來具體化各種電氣結構和方法。
[0060]此外，將理解的是，可將本文所公開的各種操作、過程以及方法具體化在與數(shù)據(jù)處理系統(tǒng)(例如客戶端設備104)相兼容的機器可讀介質和/或機器可訪問介質中。因此，說明書和附圖將被視為例示性而非限制性的意義。
【權利要求】
1.一種方法，包括: 通過數(shù)據(jù)處理設備的可通信地耦連到存儲器的處理器和硬件引擎中的至少一個在視頻序列的解碼和與所述解碼相關聯(lián)的后處理中的一個期間基于預定閾值確定所述視頻序列的視頻幀的邊緣像素和平坦像素，所述邊緣像素與所述視頻幀的至少一個邊緣相關聯(lián)，在所述邊緣周圍存在高于其閾值的強度級別的改變，并且所述平坦像素與所述視頻幀的至少一個區(qū)域相關聯(lián)，在所述區(qū)域周圍所述強度級別的所述改變低于所述閾值； 通過所述處理器和所述硬件引擎中的至少一個量化所述視頻幀的、所述至少一個邊緣周圍的像素的空間相關性，以基于所確定的所述邊緣像素和所述平坦像素以及所述解碼的原始輸出來估計其中的振鈴偽影的強度、所述振鈴偽影在所述視頻幀內的持久性以及其跨所述視頻幀和所述視頻序列的另一個視頻幀的時間持久性； 通過邊緣保留濾波器對所述視頻幀的所述至少一個邊緣周圍的所述像素進行自適應地和空間地濾波，所述邊緣保留濾波器通過在所述處理器上執(zhí)行指令和在所述硬件引擎上執(zhí)行指令中的至少一個來實現(xiàn)，所述濾波基于與所述視頻序列相關聯(lián)的元數(shù)據(jù)、所估計的所述振鈴偽影的強度、所述振鈴偽影在所述視頻幀內的所述持久性以及所述振鈴偽影跨所述視頻幀和所述另一個視頻幀的所述時間持久性； 通過所述處理器和所述硬件引擎中的至少一個對所述視頻幀進行自適應地和時間地濾波，以減輕來源于所述視頻序列的編碼期間的壓縮的累積效應的偽影；以及 通過所述處理器和所述硬件引擎中的至少一個將所述自適應空間濾波和所述自適應時間濾波的輸出進行混合以生成具有經(jīng)抑制的下列項的輸出:振鈴偽影、其空間和時間持久性以及來源于其中的壓縮的所述累積效應的偽影。
2.根據(jù)權利要求1所述的方法，其中確定所述邊緣像素和所述平坦像素進一步包括下列中的至少一個: 估計所述視頻幀的所述至少一個邊緣； 將邊緣像素周邊的至少一個像素也標記為邊緣像素，以加寬所述至少一個邊緣的輪廓； 將針對所述視頻幀的每個子塊的極差計算為其內的像素的強度級別的最大值和最小值之間的差； 將針對所述每個子塊的所述極差與另一個預定閾值進行比較，以確定其內的所述平坦像素和所述邊緣像素；以及 保留所述每個子塊內的所述邊緣像素。
3.根據(jù)權利要求2所述的方法，進一步包括當所述每個子塊的平坦像素百分比和邊緣像素百分比分別高于第一閾值和第二閾值時阻止對其進行濾波。
4.根據(jù)權利要求2所述的方法，包括使用索貝爾算子來計算所述視頻幀的強度級別函數(shù)的近似梯度作為其所述至少一個邊緣的所述估計的一部分。
5.根據(jù)權利要求1所述的方法，包括下列中的至少一個: 實現(xiàn)具有空間濾波器組件和極差濾波器組件的雙邊濾波器作為所述邊緣保留濾波器；以及 實現(xiàn)一階無限脈沖響應(IIR)濾波器作為實施所述自適應時間濾波的組件，所述IIR濾波器配置為通過遞歸地應用所述視頻幀和所述視頻序列的先前的經(jīng)時間濾波的視頻幀的阿爾法混合來生成輸出。
6.根據(jù)權利要求5所述的方法，進一步包括通過改變與所述空間濾波器組件相關聯(lián)的偏差參數(shù)和與所述極差濾波器組件相關聯(lián)的輻射度偏差參數(shù)中的至少一個來調適所述雙邊濾波器。
7.根據(jù)權利要求6所述的方法，包括將所述空間濾波器組件和所述極差濾波器組件實現(xiàn)為高斯函數(shù)。
8.一種數(shù)據(jù)處理設備，包括: 存儲器；以及 處理器，其可通信地耦連到所述存儲器，所述處理器配置為執(zhí)行指令以: 在視頻序列的解碼和與所述解碼相關聯(lián)的后處理中的一個期間基于預定閾值確定所述視頻序列的視頻幀的邊緣像素和平坦像素，所述邊緣像素與所述視頻幀的至少一個邊緣相關聯(lián)，在所述邊緣周圍存在高于其閾值的強度級別的改變，并且所述平坦像素與所述視頻幀的至少一個區(qū)域相關聯(lián)，在所述區(qū)域周圍所述強度級別的所述改變低于所述閾值； 量化所述視頻幀的、所述至少一個邊緣周圍的像素的空間相關性，以基于所確定的所述邊緣像素和所述平坦像素以及所述解碼的原始輸出來估計其中的振鈴偽影的強度、所述振鈴偽影在所述視頻幀內的持久性以及其跨所述視頻幀和所述視頻序列的另一個視頻幀的時間持久性； 通過邊緣保留濾波器對所述視頻幀的所述至少一個邊緣周圍的所述像素進行自適應地和空間地濾波，所述濾波基于與所述視頻序列相關聯(lián)的元數(shù)據(jù)、所估計的所述振鈴偽影的強度、所述振鈴偽影在所述視頻幀內的所述持久性以及所述振鈴偽影跨所述視頻幀和所述另一個視頻幀的所述時間持久性； 對所述視頻幀進行自適應地和時間地濾波，以減輕來源于所述視頻序列的編碼期間的壓縮的累積效應的偽影；以及 將所述自適應空間濾波和所述自適應時間濾波的輸出進行混合以生成具有經(jīng)抑制的下列項的輸出:振鈴偽影、其空間和時間持久性以及來源于其中的壓縮的所述累積效應的偽影。
9.根據(jù)權利要求8所述的數(shù)據(jù)處理設備，其中所述處理器配置為執(zhí)行指令以基于下列項確定所述邊緣像素和所述平坦像素: 估計所述視頻幀的所述至少一個邊緣； 將邊緣像素周邊的至少一個像素也標記為邊緣像素，以加寬其所述至少一個邊緣的輪廓； 將針對所述視頻幀的每個子塊的極差計算為其內的像素的強度級別的最大值和最小值之間的差； 將針對所述每個子塊的所述極差與另一個預定閾值進行比較，以確定其內的所述平坦像素和所述邊緣像素；以及 保留所述每個子塊內的所述邊緣像素。
10.根據(jù)權利要求9所述的數(shù)據(jù)處理設備，其中所述處理器進一步配置為執(zhí)行指令以當所述每個子塊的平坦像素百分比和邊緣像素百分比分別高于第一閾值和第二閾值時阻止對其進行濾波。
11.根據(jù)權利要求9所述的數(shù)據(jù)處理設備，其中所述處理器配置為執(zhí)行指令以使用索貝爾算子來計算所述視頻幀的強度級別函數(shù)的近似梯度作為其所述至少一個邊緣的所述估計的一部分。
12.根據(jù)權利要求8所述的數(shù)據(jù)處理設備，其中所述處理器配置為執(zhí)行與下列中的至少一個相關聯(lián)的指令: 具有空間濾波器組件和極差濾波器組件的雙邊濾波器作為所述邊緣保留濾波器；以及 一階IIR濾波器作為實施所述自適應時間濾波的組件，所述IIR濾波器配置為通過遞歸地應用所述視頻幀和所述視頻序列的先前的經(jīng)時間濾波的視頻幀的阿爾法混合來生成輸出。
13.根據(jù)權利要求12所述的數(shù)據(jù)處理設備，其中所述處理器進一步配置為執(zhí)行指令以通過改變與所述空間濾波器組件相關聯(lián)的偏差參數(shù)和與所述極差濾波器組件相關聯(lián)的輻射度偏差參數(shù)中的至少一個來調適所述雙邊濾波器。
14.根據(jù)權利要求13所述的數(shù)據(jù)處理設備，其中所述處理器配置為執(zhí)行與所述空間濾波器組件和所述極差濾波器組件為高斯函數(shù)相關聯(lián)的指令。
15.—種系統(tǒng),包括: 數(shù)據(jù)源，其配置為生成被編碼為視頻序列的視頻數(shù)據(jù)；以及 硬件引擎和客戶端設備中的至少一個，其可通信地耦連到所述數(shù)據(jù)源，所述硬件引擎和所述客戶端設備中的所述至少一個配置為: 在所述視頻序列的解碼和與所述解碼相關聯(lián)的后處理中的一個期間基于預定閾值確定所述視頻序列的視頻幀的邊緣像素和平坦像素，所述邊緣像素與所述視頻幀的至少一個邊緣相關聯(lián)，在所述邊緣周圍存在高于其閾值的強度級別的改變，并且所述平坦像素與所述視頻幀的至少一個區(qū)域相關聯(lián)，在所述區(qū)域周圍所述強度級別的所述改變低于所述閾值； 量化所述視頻幀的、所述至少一個邊緣周圍的像素的空間相關性，以基于所確定的所述邊緣像素和所述平坦像素以及所述解碼的原始輸出來估計其中的振鈴偽影的強度、所述振鈴偽影在所述視頻幀內的持久性以及其跨所述視頻幀和所述視頻序列的另一個視頻幀的時間持久性； 通過邊緣保留濾波器對所述視頻幀的所述至少一個邊緣周圍的所述像素進行自適應地和空間地濾波，所述濾波基于與所述視頻序列相關聯(lián)的元數(shù)據(jù)、所估計的所述振鈴偽影的強度、所述振鈴偽影在所述視頻幀內的所述持久性以及所述振鈴偽影跨所述視頻幀和所述另一個視頻幀的所述時間持久性； 對所述視頻幀進行自適應地和時間地濾波，以減輕來源于所述視頻序列的編碼期間的壓縮的累積效應的偽影；以及 將所述自適應空間濾波和所述自適應時間濾波的輸出進行混合以生成具有經(jīng)抑制的下列項的輸出:振鈴偽影、其空間和時間持久性以及來源于其中的壓縮的所述累積效應的偽影。
16.根據(jù)權利要求15所述的系統(tǒng)，其中所述硬件引擎和所述客戶端設備中的所述至少一個配置為基于下列項確定所述邊緣像素和所述平坦像素: 估計所述視頻幀的所述至少一個邊緣； 將邊緣像素周邊的至少一個像素也標記為邊緣像素，以加寬其所述至少一個邊緣的輪廓； 將針對所述視頻幀的每個子塊的極差計算為其內的像素的強度級別的最大值和最小值之間的差； 將針對所述每個子塊的所述極差與另一個預定閾值進行比較，以確定其內的所述平坦像素和所述邊緣像素；以及 保留所述每個子塊內的所述邊緣像素。
17.根據(jù)權利要求16所述的系統(tǒng)，其中所述硬件引擎和所述客戶端設備中的所述至少一個進一步配置為當所述每個子塊的平坦像素百分比和邊緣像素百分比分別高于第一閾值和第二閾值時阻止對其進行濾波。
18.根據(jù)權利要求16所述的系統(tǒng)，其中所述硬件引擎和所述客戶端設備中的所述至少一個配置為使用索貝爾算子來計算所述視頻幀的強度級別函數(shù)的近似梯度作為其所述至少一個邊緣的所述估計的一部分。
19.根據(jù)權利要求15所述的系統(tǒng)，其中下列項中的至少一個: 所述邊緣保留濾波器是具有空間濾波器組件和極差濾波器組件的雙邊濾波器，以及實施所述自適應時間濾波的組件是一階IIR濾波器，所述IIR濾波器配置為通過遞歸地應用所述視頻幀和所述視頻序列的先前的經(jīng)時間濾波的視頻幀的阿爾法混合來生成輸出。
20.根據(jù)權利要求19所述的系統(tǒng)，其中所述硬件引擎和所述客戶端設備中的所述至少一個進一步配置為通過改變與所述空間濾波器組件相關聯(lián)的偏差參數(shù)和與所述極差濾波器組件相關聯(lián)的輻射度偏差參數(shù)中的至少一個來調適所述雙邊濾波器。
【文檔編號】H04N19/86GK104244015SQ201410240571
【公開日】2014年12月24日 申請日期:2014年5月30日 優(yōu)先權日:2013年6月14日
【發(fā)明者】尼蘭詹·阿瓦達汗納姆, 拉維·庫馬爾·博代提 申請人:輝達公司