專利名稱：參數(shù)環(huán)路濾波器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理的領(lǐng)域。更具體地講，本發(fā)明涉及在圖像處理中使用參數(shù)環(huán)路濾波器。
背景技術(shù)：
在圖像處理中，執(zhí)行自適應(yīng)環(huán)路濾波(ALF)以通過維納(Wiener)濾波去除或減少在壓縮期間引入的量化噪聲和偽影(artifact)，如圖1中所示。使用基于塊的自適應(yīng)環(huán)路濾波(BALF)或基于四叉樹的自適應(yīng)環(huán)路濾波(QALF)能夠執(zhí)行開/關(guān)通知。在基于四叉樹的開/關(guān)通知中，對于每個塊(除了最低層中的那些塊之外)，發(fā)送I比特以指定它是否被分割(分割通知)。對于每個未分割塊(最低層中的塊總是未分割的)，發(fā)送另外的I比特以指定ALF是否被應(yīng)用于該塊(開/關(guān)開關(guān)通知)。給定Wiener濾波器，使用自下而上遞歸判定來優(yōu)化四叉樹，如圖2中所示。基于使 ALF為開的像素的統(tǒng)計，在線訓(xùn)練Wiener濾波器。訓(xùn)練由編碼器進行。在一些實施例中，每一幀具有一個Wiener濾波器，該Wiener濾波器的濾波器系數(shù)被發(fā)送給解碼器。Wiener濾波器的訓(xùn)練需要知道像素的開/關(guān)信息。然而，開-關(guān)判定還需要Wiener濾波器的知識。迭代判定包括:訓(xùn)練初始Wiener濾波器(例如，基于所有的像素)，基于當(dāng)前Wiener濾波器判定在哪個位置放置開/關(guān)開關(guān)，基于所有“開”的像素更新Wiener濾波器，并多次執(zhí)行判定和更新(例如，直至轉(zhuǎn)換)。ALF有許多缺點。在編碼器中，存在高計算復(fù)雜性，因為在濾波器訓(xùn)練和開/關(guān)切換中存在多遍優(yōu)化。編碼器需要另外的一幀的延遲(在沒有ALF的情況下，延遲為行的數(shù)量級)。編碼器多次針對每個葉節(jié)點存儲/檢索互相關(guān)矩陣和自相關(guān)矩陣，這意味著大量的存儲器存取。比特流包括通知濾波器系數(shù)的開銷比特。在解碼器中，Wiener濾波器系數(shù)是可變的，并且與能夠用幾次位移和加法替代的將一變量與一固定數(shù)相乘相比，兩個變量之間的乘法是昂貴的。另外，這些ALF技術(shù)的硬件實現(xiàn)非常昂貴，對于實時編碼而言尤其如此，因為必須在對整個幀編碼之后完成Wiener濾波器的訓(xùn)練，并且下一幀的運動估計需要ALF的結(jié)果。因此，整個流水線被拉長，這需要更高的時鐘速率和更多的功耗以滿足實時約束
發(fā)明內(nèi)容
參數(shù)環(huán)路濾波器使用一組固定濾波器去除或減少在視頻編碼期間引入的噪聲和偽影。參數(shù)環(huán)路濾波器在編碼器處使用少得多的計算、延遲和存儲器存取。固定系數(shù)允許在解碼器的濾波的快速執(zhí)行。為了指定2-D理想低通濾波器，使用下面的信息:方向、沿該方向的帶寬(bw〃)和垂直于該方向的帶寬(bwi)。在一個方面，一種用于濾除在壓縮期間引入的量化噪聲的參數(shù)環(huán)路濾波器包括:一組固定濾波器；和選擇機構(gòu)，用于選擇固定濾波器中的一個以對塊進行濾波。所述一組固定濾波器中的每個濾波器由一個或多個參數(shù)索引。所述一個或多個參數(shù)使編碼器和解碼器識別濾波器。所述一個或多個參數(shù)被預(yù)測編碼，并被發(fā)送給解碼器。所述一個或多個參數(shù)包括方向、沿該方向的第一帶寬和垂直于該方向的第二帶寬。使用邊緣檢測方案得出該方向，或從相鄰塊預(yù)測該方向。使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。由編碼器選擇所述一組固定濾波器中的濾波器，并且與該濾波器關(guān)聯(lián)的可唯一識別的參數(shù)被發(fā)送給解碼器。濾波器接收濾波器系數(shù)，其中使用通過離線訓(xùn)練獲得的已知濾波器確定濾波器系數(shù)。所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。參數(shù)環(huán)路濾波器以硬件實現(xiàn)。參數(shù)環(huán)路濾波器被存儲在存儲器中并由處理器處理。該濾波器與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果該濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送0，并且其中每幀或每幾幀做出是否更新的判定。該濾波器由從包括下面各項的組中選擇的裝置實現(xiàn):個人計算機、膝上型計算機、計算機工作站、服務(wù)器、大型計算機、手持式計算機、個人數(shù)字助手、蜂窩/移動電話、智能家電、游戲控制臺、數(shù)字照相機、數(shù)字?jǐn)z像機、照相機電話、iPod /iPhone/iPad、視頻播放器、dvd刻錄機/播放器、Blu-Ray 刻錄機/播放器、電視和家庭娛樂系統(tǒng)。在另一方面，一種使用參數(shù)環(huán)路濾波器濾除在壓縮期間引入的量化噪聲的方法包括:從一組固定濾波器確定使用哪個濾波器；以及使用選擇的濾波器對數(shù)據(jù)進行濾波。所述一組固定濾波器中的每個濾波器由一個或多個參數(shù)索引。所述一個或多個參數(shù)使編碼器和解碼器識別濾波器。所述一個或多個參數(shù)被預(yù)測編碼，并被發(fā)送給解碼器。所述一個或多個參數(shù)包括方向、沿該方向的第一帶寬和垂直于該方向的第二帶寬。使用邊緣檢測方案得出該方向，或從相鄰塊預(yù)測該方向。使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。由編碼器選擇所選擇的濾波器，并且與該濾波器關(guān)聯(lián)的可唯一識別的參數(shù)被發(fā)送給解碼器。該濾波器接收濾波器系數(shù)，其中使用通過離線訓(xùn)練獲得的已知濾波器確定濾波器系數(shù)。所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。參數(shù)環(huán)路濾波器以硬件實現(xiàn)。參數(shù)環(huán)路濾波器被存儲在存儲器中并由處理器處理。該濾波器與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果該濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送0，并且其中每幀或每幾幀做出是否更新的判定。該濾波器由從包括下面各項的組中選擇的裝置實現(xiàn):個人計算機、膝上型計算機、計算機工作站、服務(wù)器、大型計算機、手持式計算機、個人數(shù)字助手、蜂窩/移動電話、智能家電、游戲控制臺、數(shù)字照相機、數(shù)字?jǐn)z像機、照相機電話、iPod /iPhone/iPad、視頻播放器、dvd刻錄機/播放器、Blu-Ray 刻錄機/播放器、電視和家庭娛樂系統(tǒng)。在另一方面，一種用于濾除在壓縮期間引入的量化噪聲的設(shè)備包括:方向模塊，用于確定方向；平行帶寬模塊，確定沿該方向的第一帶寬；垂直帶寬模塊，確定垂直于該方向的第二帶寬；選擇模塊，用于基于該方向、第一帶寬和第二帶寬從一組固定濾波器中選擇濾波器；和濾波模塊，用于使用選擇的濾波器濾除塊中的噪聲。所述一組固定濾波器中的每個濾波器由該方向、第一帶寬和第二帶寬索引。使用邊緣檢測方案得出該方向，或從相鄰塊預(yù)測該方向。使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。與選擇的濾波器關(guān)聯(lián)的可唯一識別的參數(shù)被發(fā)送給解碼器。該濾波器接收濾波器系數(shù)，其中使用通過離線訓(xùn)練獲得的已知濾波器確定濾波器系數(shù)。所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。所述設(shè)備與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送0，并且其中每幀或每幾幀做出是否更新的判定。從包括下面各項的組中選擇所述設(shè)備:個人計算機、膝上型計算機、計算機工作站、服務(wù)器、大型計算機、手持式計算機、個人數(shù)字助手、蜂窩/移動電話、智能家電、游戲控制臺、數(shù)字照相機、數(shù)字?jǐn)z像機、照相機電話、iPod /iPhone/iPad、視頻播放器、dvd刻錄機/播放器、Blu-Ray 刻錄機/播放器、電視和家庭娛樂系統(tǒng)。在另一方面，一種設(shè)備包括:存儲器，用于存儲應(yīng)用，該應(yīng)用用于:從由包括方向、沿該方向的第一帶寬和垂直于該方向的第二帶寬的一組參數(shù)索引的一組固定濾波器確定使用哪個濾波器；以及使用選擇的濾波器對數(shù)據(jù)進行濾波；和處理部件，耦合到存儲器，該處理部件構(gòu)造為處理該應(yīng)用。所述一組參數(shù)使編碼器和解碼器識別濾波器。所述一組參數(shù)被預(yù)測編碼，并被發(fā)送給解碼器。使用邊緣檢測方案得出該方向，或使用相鄰塊預(yù)測該方向。使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。與選擇的濾波器關(guān)聯(lián)的可唯一識別的參數(shù)被發(fā)送給解碼器。所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。所述設(shè)備與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送0，并且其中每幀或每幾幀做出是否更新的判定。


圖1示出包括自適應(yīng)環(huán)路濾波器的編碼器的一部分的圖。圖2示出自下而上遞歸判定樹的圖。圖3示出根據(jù)一些實施例的固定濾波器的例子。圖4示出根據(jù)一些實施例的包括參數(shù)環(huán)路濾波器的編碼器的一部分的圖。圖5示出根據(jù)一些實施例的實現(xiàn)參數(shù)環(huán)路濾波的方法的流程圖。
圖6示出根據(jù)一些實施例的構(gòu)造為實現(xiàn)參數(shù)環(huán)路濾波器的示例性計算裝置的方框圖。
具體實施例方式當(dāng)對視頻編碼時，畫面被分成幾個宏塊(或編碼單位、編碼樹單位)。在對宏塊編碼之后，編碼器根據(jù)所希望的比特率和失真選擇編碼模式，并在選擇的編碼模式下執(zhí)行編碼。參數(shù)環(huán)路濾波器(也稱為參數(shù)自適應(yīng)環(huán)路濾波器)使用一組固定濾波器，所述一組固定濾波器在編碼器處使用少得多的計算、延遲和存儲器存取。固定系數(shù)允許在解碼器處的濾波的快速執(zhí)行。每個濾波器由幾個參數(shù)索引(例如，給定一組參數(shù)P1, P2, , Pn，濾波器能夠被編碼器和解碼器兩者唯一地識別)。指定塊的濾波器的參數(shù)被預(yù)測編碼，并被發(fā)送給解碼器。編碼器針對圖像的每個塊確定所述一組濾波器中的最佳濾波器。能夠針對每個大的編碼單位或塊在單遍處理中執(zhí)行在編碼器處的最佳濾波器的選擇。在一些實施例中，僅濾波器的參數(shù)(也稱為索引)被發(fā)送給解碼器。在一些實施例中，該參數(shù)是可唯一識別的。使用低通濾波器作為候選濾波器，如果壓縮被建模為把加性噪聲引入到原始圖像，則理想的低通濾波器是Wiener濾波器的良好近似。為了指定2-D理想低通濾波器，使用下面的信息:方向、沿該方向的帶寬(bw〃)和垂直于該方向的帶寬(bwi)。在圖3中示出典型濾波器的例子。使用已知濾波器、離線訓(xùn)練或其它方法，能夠獲得濾波器系數(shù)。已知濾波器包括但不限于高斯濾波器、Lanczos濾波器和其它濾波器。對于方向信息已經(jīng)可用的塊(例如，具有預(yù)測方向的幀內(nèi)編碼的塊)，該方向被用作預(yù)測。對于方向信息不可用的塊，使用基于邊緣檢測的方案能夠得出該方向，因為解碼器能夠訪問解碼的當(dāng)前塊。替代地，使用脈沖編碼調(diào)制(PCM)或基于來自相鄰塊的預(yù)測能夠發(fā)送該方向信息。使用相鄰塊或基于塊的局部特性(例如，沿指定方向或與指定方向交叉的梯度強度)能夠預(yù)測帶寬。真實參數(shù)和它的預(yù)測之間的差被使用截斷一元碼進行二進制化，并使用上下文自適應(yīng)二進制算術(shù)編碼(CABAC)進行編碼。圖4示出根據(jù)一些實施例的編碼器400內(nèi)包含的參數(shù)環(huán)路濾波器402的圖。參數(shù)環(huán)路濾波器402使用一組固定濾波器404執(zhí)行計算。選擇器406基于指定準(zhǔn)則選擇合適的濾波器以處理一條信息。每個濾波器由幾個參數(shù)索引。使用低通濾波器作為候選濾波器，如果壓縮被建模為把加性噪聲引入到原始圖像，則接近理想或理想的低通濾波器是Wiener濾波器的良好近似。為了指定2-D理想低通濾波器，使用下面的信息:方向、沿該方向的帶寬(bw〃)和垂直于該方向的帶寬(bw±)。使用已知濾波器、離線訓(xùn)練或其它方法能夠獲得濾波器系數(shù)。已知濾波器包括但不限于高斯濾波器、Lanczos濾波器和其它濾波器。對于方向信息已經(jīng)可用的塊(例如，具有預(yù)測方向的幀內(nèi)編碼的塊)，該方向被用作預(yù)測。對于方向信息不可用的塊，使用基于邊緣檢測的方案能夠得出該方向，因為解碼器能夠訪問解碼的當(dāng)前塊。替代地，使用PCM或基于來自相鄰塊的預(yù)測能夠發(fā)送該方向信息。使用相鄰塊或基于塊的局部特性(例如，沿指定方向或與指定方向交叉的梯度強度)能夠預(yù)測帶寬。真實參數(shù)和它的預(yù)測之間的差被使用截斷一元碼進行二進制化，并使用CABAC進行編碼。
圖5示出根據(jù)一些實施例的實現(xiàn)參數(shù)環(huán)路濾波的方法的流程圖。在步驟500中，針對一數(shù)據(jù)塊，確定使用一組固定濾波器中的哪個濾波器?；诜较?、沿該方向的帶寬(bw〃)和垂直于該方向的帶寬(bwi)選擇濾波器。在步驟502中，選擇的濾波器用于對該塊進行濾波。能夠包括更少的步驟或另外的步驟。圖6示出根據(jù)一些實施例的構(gòu)造為實現(xiàn)參數(shù)環(huán)路濾波器的示例性計算裝置600的方框圖。計算裝置600能夠用于獲取、存儲、計算、處理、傳送和/或顯示信息，諸如圖像、視頻和音頻。例如，計算裝置600能夠獲取并存儲圖像。在獲取圖像期間或在獲取圖像之后，或者當(dāng)在裝置600上顯示圖像時，能夠使用參數(shù)環(huán)路濾波器。通常，適合實現(xiàn)計算裝置600的硬件結(jié)構(gòu)包括網(wǎng)絡(luò)接口 602、內(nèi)存604、處理器606、I/O裝置608、總線610和存儲裝置612。處理器的選擇并不重要，只要選擇具有足夠的速度的合適處理器即可。內(nèi)存604能夠是本領(lǐng)域已知的任何常規(guī)計算機內(nèi)存。存儲裝置612能夠包括硬盤驅(qū)動器、⑶R0MXDRW、DVD、DVDRW、閃存卡或任何其它存儲裝置。計算裝置600能夠包括一個或多個網(wǎng)絡(luò)接口 602。網(wǎng)絡(luò)接口的例子包括連接到以太網(wǎng)或其它類型的LAN的網(wǎng)卡。I/O裝置608能夠包括下面的一個或多個:鍵盤、鼠標(biāo)、監(jiān)視器、顯示器、打印機、調(diào)制解調(diào)器、觸摸屏、按鈕接口和其它裝置。在一些實施例中，硬件結(jié)構(gòu)包括多個處理器和其它硬件以執(zhí)行并行處理。用于執(zhí)行濾波的參數(shù)環(huán)路濾波器應(yīng)用630可能被存儲在存儲裝置612和存儲器604中，并且像通常處理應(yīng)用那樣被處理。比圖6中示出的部件更多或更少的部件能夠被包括在計算裝置600中。在一些實施例中，包括參數(shù)環(huán)路濾波器硬件620。雖然圖6中的計算裝置600包括用于實現(xiàn)參數(shù)環(huán)路濾波器的應(yīng)用630和硬件620，但能夠以硬件、固件、軟件或它們的任何組合在計算裝置上實現(xiàn)濾波方法。例如，在一些實施例中，在存儲器中對參數(shù)環(huán)路濾波器應(yīng)用630編程并使用處理器執(zhí)行。在另一例子中，在一些實施例中，參數(shù)環(huán)路濾波器硬件620是編程的硬件邏輯，該硬件邏輯包括具體地設(shè)計為實現(xiàn)該方法的門。在一些實施例中，參數(shù)環(huán)路濾波器應(yīng)用630包括幾個應(yīng)用和/或模塊。模塊包括:選擇模塊，用于從一組固定濾波器選擇濾波器以用于數(shù)據(jù)塊；和濾波模塊，用于使用選擇的濾波器對該塊進行濾波。在一些實施例中，另外的模塊包括:方向模塊，用于確定方向；平行帶寬模塊，用于確定沿該方向的帶寬(bw〃)；和垂直帶寬模塊，用于確定垂直于該方向的帶寬(bwi)。在一些實施例中，模塊還包括一個或多個子模塊。在一些實施例中，能夠包括更少的模塊或另外的模塊。合適的計算裝置的例子包括:個人計算機、膝上型計算機、計算機工作站、服務(wù)器、大型計算機、手持式計算機、個人數(shù)字助手、蜂窩/移動電話、智能家電、游戲控制臺、數(shù)字照相機、數(shù)字?jǐn)z像機、照相機電話、丨Pod /iPhone/iPad、視頻播放器、dvd刻錄機/播
放器、Bh1-Ray 刻錄機/播放器、電視、家庭娛樂系統(tǒng)或任何其它合適的計算裝置。在一些實施例中，參數(shù)自適應(yīng)環(huán)路濾波器(PALF)能夠用于高效率視頻編碼。對于亮度，利用M個方向和N個帶寬以及一個另外的全通濾波器(其脈沖響應(yīng)是德爾塔(delta)函數(shù))的組合，離線預(yù)訓(xùn)練MXN個固定濾波器。每個最大的編碼單位(LCU)決定用于PALF參數(shù)的通知的maxDepth。在解碼器的每個LQJ通知這個maxDepth。在每個⑶通知的PALF參數(shù)(深度<=maxDepth)包括方向(例如，1...M)和沿該方向(例如，0...N)的濾波強度(帶寬)，其中濾波強度O表示不濾波(在這種情況下，方向不被發(fā)送)。垂直于該方向的濾波強度(帶寬)被假設(shè)為O (全通)。從相鄰CU能夠預(yù)測方向和強度的參數(shù)并且使用可變長度碼能夠?qū)@些參數(shù)編碼。一旦對于每個LCU決定了 PALF參數(shù)，則根據(jù)這些參數(shù)對LCU進行濾波，并且不需要對該LCU的另外的訪問。在濾波器被訓(xùn)練為9X9的尺寸的一些實施例中，這產(chǎn)生了 1IXU+4行的最大編碼器延遲。在一些實施例中，使用8個方向和4個帶寬。8個方向是VERTICAL、HORIZONTAL、DIAG_D0WN_LEFT、DIAG_DOWN_RIGHT、VER_RIGHT、H0R_D0WN、VER_LEFT 和 H0R_UP (與 AVC 幀內(nèi)預(yù)測中的方向相同)，并分別使用I 8進行索引。在濾波器帶寬的編碼中，如果當(dāng)前CU的濾波強度水平η (O ^ 4)等于從左側(cè)和頂部CU獲得的預(yù)測的強度水平，則僅發(fā)送I。否則，發(fā)送0，并且使用固定長度碼來通知實際水平η。除了全通濾波器的情況之外，接下來跟著的是濾波器的方向的通知。強度水平的預(yù)測等于左側(cè)CU和頂部CU之間的最小強度水平。對方向進行編碼的方法是類似的，但如果預(yù)測的方向不同于真實方向，則除了從其余7比特識別之外，還需要發(fā)送2比特或3比特的可變長度碼。編碼器優(yōu)化包括:找到每個LCU的最佳最大深度Dmax和LCU內(nèi)的所有CU的最佳濾波器索引(m，n)。通過求得原始塊和重構(gòu)的塊的濾波版本之間的平方誤差和(SSE)來完成這一點。在窮盡搜索方法的情況下計算與所有可能的濾波器關(guān)聯(lián)的SSE。然而，能夠使用許多快速搜索算法以避免窮盡搜索。從第一 CU開始，針對每個CU選擇具有最小速率失真(RD)成本的濾波器。為了進一步降低編碼器的計算成本，當(dāng)使用算術(shù)熵編碼引擎時，對每個濾波器的通知成本進行近似。 對于色度，在一些實施例中，對于YUV420序列，色度濾波器是5X5。色度通道的濾波器參數(shù)的通知類似于亮度的通知，不同之處在于:最大深度Dmax通常具有較小的值。兩種色度分量都使用使它們的RD成本的總和最小化的相同的濾波強度和方向。對于色度分量的濾波方向，發(fā)送標(biāo)志以通知該方向是否與亮度相同。如果該方向不同，則類似于亮度方向地通知該方向。否則，將不需要額外的比特，并且對應(yīng)的亮度塊的方向用于色度分量。在一些應(yīng)用中，編碼器對延遲和存儲器存取不敏感。在這種應(yīng)用中，PALF能夠與在線訓(xùn)練組合以進一步提高性能。編碼器和解碼器都知道默認(rèn)的一組濾波器(例如，離線訓(xùn)練的)。編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項。對于每個預(yù)定義的濾波器(對于某一方向和帶寬)，如果濾波器被更新，則編碼器把“I”發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送“O”。能夠每幀或每幾幀做出是否更新的判定。為了使用參數(shù)環(huán)路濾波器，用戶諸如在數(shù)字?jǐn)z像機上獲取視頻/圖像，并且在獲取視頻的同時或在獲取視頻之后，或者當(dāng)顯示視頻時，參數(shù)環(huán)路濾波器自動用于對圖像進行濾波，從而去除圖像中的噪聲。在沒有用戶干預(yù)的情況下能夠自動實現(xiàn)參數(shù)環(huán)路濾波器。在操作中，特別是在沒有足夠的比特預(yù)算用于通知Wiener濾波器系數(shù)的低比特率應(yīng)用中，參數(shù)環(huán)路濾波器能夠以比Wiener濾波器高效得多的方式從數(shù)據(jù)濾除噪聲。參數(shù)環(huán)路濾波器在編碼器處使用更少的計算、更小的延遲和更少的存儲器存取。延遲更小，因為編碼器僅把每個塊處理一次，并且在最后一個塊之后，不存在對當(dāng)前幀的另外的訪問。由于需要更少的存儲器存取，所以存儲器和存儲器總線要求低。固定濾波器是硬件友好的并且是快速的。更少的計算還導(dǎo)致低用電。相比之下，傳統(tǒng)ALF具有高復(fù)雜性，需要許多操作以求得濾波器系數(shù)?？勺?yōu)V波器系數(shù)成本高，并且在編碼器處的多遍處理增加了延遲并需要高總線帶寬，這不是硬件友好的。
參數(shù)環(huán)路濾波器的一些實施例1.一種用于濾除在壓縮期間引入的量化噪聲的參數(shù)環(huán)路濾波器，包括:a.一組固定濾波器；和 b.選擇機構(gòu)，用于選擇固定濾波器中的一個以對塊進行濾波。2.如項I所述的濾波器，其中所述一組固定濾波器中的每個濾波器由一個或多個參數(shù)索引。3.如項2所述的濾波器，其中所述一個或多個參數(shù)使編碼器和解碼器識別濾波器。4.如項2所述的濾波器，其中所述一個或多個參數(shù)被預(yù)測編碼，并被發(fā)送給解碼器。5.如項2所述的濾波器，其中所述一個或多個參數(shù)包括方向、沿該方向的第一帶寬和垂直于該方向的第二帶寬。6.如項5所述的濾波器，其中使用邊緣檢測方案得出該方向，或從相鄰塊預(yù)測該方向。7.如項5所述的濾波器，其中使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。8.如項I所述的濾波器，其中由編碼器選擇所述一組固定濾波器中的濾波器，并且與該濾波器關(guān)聯(lián)的可唯一識別的參數(shù)被發(fā)送給解碼器。9.如項I所述的濾波器，其中所述濾波器接收濾波器系數(shù)，其中使用通過離線訓(xùn)練獲得的已知濾波器確定濾波器系數(shù)。10.如項I所述的濾波器，其中所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。11.如項I所述的濾波器，其中所述參數(shù)環(huán)路濾波器以硬件實現(xiàn)。12.如項I所述的濾波器，其中所述參數(shù)環(huán)路濾波器被存儲在存儲器中并由處理器處理。13.如項I所述的濾波器，其中所述濾波器與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送0，并且其中每幀或每幾幀做出是否更新的判定。14.如項I所述的濾波器，其中所述濾波器由從包括下面各項的組中選擇的裝置實現(xiàn):個人計算機、膝上型計算機、計算機工作站、服務(wù)器、大型計算機、手持式計算機、個人數(shù)字助手、蜂窩/移動電話、智能家電、游戲控制臺、數(shù)字照相機、數(shù)字?jǐn)z像機、照相機電話、iPod /iPhone/iPad、視頻播放器、dvd刻錄機/播放器、Bh1- Ray 刻錄機/播放器、電視和家庭娛樂系統(tǒng)。15.一種使用參數(shù)環(huán)路濾波器濾除在壓縮期間引入的量化噪聲的方法，包括:a.從一組固定濾波器中確定使用哪個濾波器；以及b.使用選擇的濾波器對數(shù)據(jù)進行濾波。16.如項15所述的方法，其中所述一組固定濾波器中的每個濾波器由一個或多個參數(shù)索引。17.如項16所述的方法，其中所述一個或多個參數(shù)使編碼器和解碼器識別濾波器。18.如項16所述的方法，其中所述一個或多個參數(shù)被預(yù)測編碼，并被發(fā)送給解碼器。19.如項16所述的方法，其中所述一個或多個參數(shù)包括方向、沿該方向的第一帶寬和垂直于該方向的第二帶寬。20.如項19所述的方法，其中使用邊緣檢測方案得出該方向，或從相鄰塊預(yù)測該方向21.如項19所述的方法，其中使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。22.如項15所述的方法，其中由編碼器選擇所選擇的濾波器，并且與該濾波器關(guān)聯(lián)的可唯一識別的參數(shù)被發(fā)送給解碼器。23.如項15所述的方法，其中所述濾波器接收濾波器系數(shù)，其中使用通過離線訓(xùn)練獲得的已知濾波器確定濾波器系數(shù)。24.如項15所述的方法，其中所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。25.如項15所述的方法，其中所述參數(shù)環(huán)路濾波器以硬件實現(xiàn)。26.如項15所述的方法，其中所述參數(shù)環(huán)路濾波器被存儲在存儲器中并由處理器處理。27.如項15所述的方法，其中所述濾波器與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送0，并且其中每幀或每幾幀做出是否更新的判定。28.如項15所述的方法，其中所述濾波器由從包括下面各項的組中選擇的裝置實現(xiàn):個人計算機、膝上型計算機、計算機工作站、服務(wù)器、大型計算機、手持式計算機、個人數(shù)字助手、蜂窩/移動電話、智能家電、游戲控制臺、數(shù)字照相機、數(shù)字?jǐn)z像機、照相機電話、iPod /iPhone/iPad、視頻播放器、dvd刻錄機/播放器、Blu- Ray .刻錄機/播放器、電視和家庭娛樂系統(tǒng)。29.一種用于濾除在壓縮期間引入的量化噪聲的設(shè)備，包括:a.方向模塊，用于確定方向；b.平行帶寬模塊，用于確定沿該方向的第一帶寬；c.垂直帶寬模塊，用于確定垂直于該方向的第二帶寬；d.選擇模塊，用于基于該方向、第一帶寬和第二帶寬從一組固定濾波器中選擇濾波器；和e.濾波模塊，用于使用選擇的濾波器濾除塊中的噪聲。30.如項29所述的設(shè)備，其中所述一組固定濾波器中的每個濾波器由該方向、第一帶寬和第二帶寬索引。
31.如項29所述的設(shè)備，其中使用邊緣檢測方案得出該方向，或從相鄰塊預(yù)測該方向32.如項29所述的設(shè)備，其中使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。33.如項29所述的設(shè)備，其中與選擇的濾波器關(guān)聯(lián)的可唯一識別的參數(shù)被發(fā)送給解碼器。34.如項29所述的設(shè)備，其中所述濾波器接收濾波器系數(shù)，其中使用通過離線訓(xùn)練獲得的已知濾波器確定濾波器系數(shù)。35.如項29所述的設(shè)備，其中所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。36.如項29所述的設(shè)備，其中所述設(shè)備與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送0，并且其中每幀或每幾幀做出是否更新的判定。37.如項29所述的設(shè)備，其中從包括下面各項的組中選擇所述設(shè)備:個人計算機、膝上型計算機、計算機工作站、服務(wù)器、大型計算機、手持式計算機、個人數(shù)字助手、蜂窩/移動電話、智能家電、游戲控制臺、數(shù)字照相機、數(shù)字?jǐn)z像機、照相機電話、iPod /iPhone/iPad、視頻播放器、dvd刻錄機/播放器、Blu-Ray 刻錄機/播放
器、電視和家庭娛樂系統(tǒng)。38.—種設(shè)備，包括:a.存儲器，用于存儲應(yīng)用，該應(yīng)用用于:1.從由包括方向、沿該方向的第一帶寬和垂直于該方向的第二帶寬的一組參數(shù)索引的一組固定濾波器中確定使用哪個濾波器；以及i1.使用選擇的濾波器對數(shù)據(jù)進行濾波；和b.耦合到存儲器的處理部件，該處理部件構(gòu)造為處理該應(yīng)用。39.如項38所述的設(shè)備，其中所述一組參數(shù)使編碼器和解碼器識別濾波器。40.如項38所述的設(shè)備，其中所述一組參數(shù)被預(yù)測編碼，并被發(fā)送給解碼器。41.如項38所述的設(shè)備，其中使用邊緣檢測方案得出該方向，或使用相鄰塊預(yù)測該方向42.如項38所述的設(shè)備，其中使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。43.如項38所述的設(shè)備，其中與選擇的濾波器關(guān)聯(lián)的可唯一識別的參數(shù)被發(fā)送給解碼器。44.如項38所述的設(shè)備，其中所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。45.如項38所述的設(shè)備，其中所述設(shè)備與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送O，并且其中每幀或每幾幀做出是否更新的判定。根據(jù)包括細(xì)節(jié)的特定實施例描述了本發(fā)明以方便理解本發(fā)明的構(gòu)造和操作的原理。在這里的這種對特定實施例及其細(xì)節(jié)的參照并非意圖把所附權(quán)利要求的范圍限制于此。對于本領(lǐng)域技術(shù)人員而言，很容易地將會清楚的是，在不脫離由權(quán)利要求定義的本發(fā)明的精神和范圍的情況下，可在為了說明而選擇的實施例中做出其它各種修改。
權(quán)利要求
1.一種用于濾除在壓縮期間引入的量化噪聲的參數(shù)環(huán)路濾波器，包括: a.一組固定濾波器；和 b.選擇機構(gòu)，用于選擇固定濾波器中的一個以對塊進行濾波。
2.如權(quán)利要求1所述的濾波器，其中所述一組固定濾波器中的每個濾波器由一個或多個參數(shù)索引。
3.如權(quán)利要求2所述的濾波器，其中所述一個或多個參數(shù)使編碼器和解碼器識別濾波器。
4.如權(quán)利要求2所述的濾波器，其中所述一個或多個參數(shù)被預(yù)測編碼，并被發(fā)送給解碼器。
5.如權(quán)利要求2所述的濾波器，其中所述一個或多個參數(shù)包括方向、沿該方向的第一帶寬和垂直于該方向的第二帶寬。
6.如權(quán)利要求5所述的濾波器，其中使用邊緣檢測方案得出該方向，或從相鄰塊預(yù)測該方向。
7.如權(quán)利要求5所述的濾波器，其中使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。
8.如權(quán)利要求1所述的濾波器，其中由編碼器選擇所述一組固定濾波器中的濾波器，并且與該濾波器關(guān)聯(lián)的可 唯一識別的參數(shù)被發(fā)送給解碼器。
9.如權(quán)利要求1所述的濾波器，其中所述濾波器接收濾波器系數(shù)，其中使用通過離線訓(xùn)練獲得的已知濾波器確定濾波器系數(shù)。
10.如權(quán)利要求1所述的濾波器，其中所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。
11.如權(quán)利要求1所述的濾波器，其中所述參數(shù)環(huán)路濾波器以硬件實現(xiàn)。
12.如權(quán)利要求1所述的濾波器，其中所述參數(shù)環(huán)路濾波器被存儲在存儲器中并由處理器處理。
13.如權(quán)利要求1所述的濾波器，其中所述濾波器與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送0，并且其中每幀或每幾幀做出是否更新的判定。
14.如權(quán)利要求1所述的濾波器，其中所述濾波器由從包括下面各項的組中選擇的裝置實現(xiàn):個人計算機、膝上型計算機、計算機工作站、服務(wù)器、大型計算機、手持式計算機、個人數(shù)字助手、蜂窩/移動電話、智能家電、游戲控制臺、數(shù)字照相機、數(shù)字?jǐn)z像機、照相機電話、iPod /iPhone/iPad、視頻播放器、dvd刻錄機/播放器、JBlu-Ray 刻錄機/播放器、電視和家庭娛樂系統(tǒng)。
15.一種使用參數(shù)環(huán)路濾波器濾除在壓縮期間引入的量化噪聲的方法，包括: a.從一組固定濾波器中確定使用哪個濾波器；以及 b.使用選擇的濾波器對數(shù)據(jù)進行濾波。
16.如權(quán)利要求15所述的方法，其中所述一組固定濾波器中的每個濾波器由一個或多個參數(shù)索引。
17.如權(quán)利要求16所述的方法，其中所述一個或多個參數(shù)使編碼器和解碼器識別濾波器。
18.如權(quán)利要求16所述的方法，其中所述一個或多個參數(shù)被預(yù)測編碼，并被發(fā)送給解碼器。
19.如權(quán)利要求16所述的方法，其中所述一個或多個參數(shù)包括方向、沿該方向的第一帶寬和垂直于該方向的第二帶寬。
20.如權(quán)利要求19所述的方法，其中使用邊緣檢測方案得出該方向，或從相鄰塊預(yù)測該方向。
21.如權(quán)利要求19所述的方法，其中使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。
22.如權(quán)利要求15所述的方法，其中由編碼器選擇所選擇的濾波器，并且與該濾波器關(guān)聯(lián)的可唯一識別的參數(shù)被發(fā)送給解碼器。
23.如權(quán)利要求15所述的方法，其中所述濾波器接收濾波器系數(shù)，其中使用通過離線訓(xùn)練獲得的已知濾波器確定濾波器系數(shù)。
24.如權(quán)利要求15所述的方法，其中所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。
25.如權(quán)利要求15所述的方法，其中所述參數(shù)環(huán)路濾波器以硬件實現(xiàn)。
26.如權(quán)利要求15所述的方法，其中所述參數(shù)環(huán)路濾波器被存儲在存儲器中并由處理器處理。
27.如權(quán)利要求15所述的方法，其中所述濾波器與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送0，并且其中每幀或每幾幀做出是否更新的判定。
28.如權(quán)利要求15所述的方法，其中所述濾波器由從包括下面各項的組中選擇的裝置實現(xiàn):個人計算機、膝上型計算機、計算機工作站、服務(wù)器、大型計算機、手持式計算機、個人數(shù)字助手、蜂窩/移動電話、智能家電、游戲控制臺、數(shù)字照相機、數(shù)字?jǐn)z像機、照相機電話、iPod /iPhone/iPad、視頻播放器、dvd刻錄機/播放器、Blu- Ray 刻錄機/播放器、電視和家庭娛樂系統(tǒng)。
29.一種用于濾除在壓縮期間引入的量化噪聲的設(shè)備，包括: a.方向模塊，用于確定方向； b.平行帶寬模塊，用于確定沿該方向的第一帶寬； c.垂直帶寬模塊，用于確定垂直于該方向的第二帶寬； d.選擇模塊，用于基于該方向、第一帶寬和第二帶寬從一組固定濾波器中選擇濾波器；和 e.濾波模塊，用于使用選擇的濾波器濾除塊中的噪聲。
30.如權(quán)利要求29所述的設(shè)備，其中所述一組固定濾波器中的每個濾波器由該方向、第一帶寬和第二帶寬索引。
31.如權(quán)利要求29所述的設(shè)備，其中使用邊緣檢測方案得出該方向，或從相鄰塊預(yù)測該方向。
32.如權(quán)利要求29所述的設(shè)備，其中使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。
33.如權(quán)利要求29所述的設(shè)備，其中與選擇的濾波器關(guān)聯(lián)的可唯一識別的參數(shù)被發(fā)送給解碼器。
34.如權(quán)利要求29所述的設(shè)備，其中所述濾波器接收濾波器系數(shù)，其中使用通過離線訓(xùn)練獲得的已知濾波器確定濾波器系數(shù)。
35.如權(quán)利要求29所述的設(shè)備，其中所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。
36.如權(quán)利要求29所述的設(shè)備，其中所述設(shè)備與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送O，并且其中每幀或每幾幀做出是否更新的判定。
37.如權(quán)利要求29所述的設(shè)備，其中從包括下面各項的組中選擇所述設(shè)備:個人計算機、膝上型計算機、計算機工作站、服務(wù)器、大型計算機、手持式計算機、個人數(shù)字助手、蜂窩/移動電話、智 能家電、游戲控制臺、數(shù)字照相機、數(shù)字?jǐn)z像機、照相機電話、iPod /iPhone/iPac!、視頻播放器、DVD刻錄機I播放器、Blu-Ray 刻錄機/播放器、電視和家庭娛樂系統(tǒng)。
38.一種設(shè)備,包括: a.存儲器，用于存儲應(yīng)用，該應(yīng)用用于: 1.從由包括方向、沿該方向的第一帶寬和垂直于該方向的第二帶寬的一組參數(shù)索引的一組固定濾波器中確定使用哪個濾波器；以及 .使用選擇的濾波器對數(shù)據(jù)進行濾波；和 b.處理部件，耦合到存儲器，該處理部件構(gòu)造為處理該應(yīng)用。
39.如權(quán)利要求38所述的設(shè)備，其中所述一組參數(shù)使編碼器和解碼器識別濾波器。
40.如權(quán)利要求38所述的設(shè)備，其中所述一組參數(shù)被預(yù)測編碼，并被發(fā)送給解碼器。
41.如權(quán)利要求38所述的設(shè)備，其中使用邊緣檢測方案得出該方向，或使用相鄰塊預(yù)測該方向。
42.如權(quán)利要求38所述的設(shè)備，其中使用相鄰塊預(yù)測第一帶寬和第二帶寬或基于塊的局部特性得出第一帶寬和第二帶寬。
43.如權(quán)利要求38所述的設(shè)備，其中與選擇的濾波器關(guān)聯(lián)的可唯一識別的參數(shù)被發(fā)送給解碼器。
44.如權(quán)利要求38所述的設(shè)備，其中所述一組固定濾波器中的每個濾波器是接近理想或理想的低通濾波器。
45.如權(quán)利要求38所述的設(shè)備，其中所述設(shè)備與在線訓(xùn)練組合以進一步提高性能，其中編碼器和解碼器知道默認(rèn)的一組濾波器，并且編碼器具有判定某一濾波器是否應(yīng)該被更新到在線訓(xùn)練的濾波器的選項:對于每個預(yù)定義的濾波器，對于某一方向和帶寬，如果濾波器被更新，則編碼器把I發(fā)送給解碼器，隨后發(fā)送新濾波器的系數(shù)，否則發(fā)送O，并且其中每幀或每幾幀做出是 否更新的判定。
全文摘要
參數(shù)環(huán)路濾波器使用一組固定濾波器去除或減少在視頻編碼期間引入的噪聲和偽影。濾波器被離線預(yù)訓(xùn)練并硬連線到編碼器和解碼器中，以替代在線訓(xùn)練的Wiener濾波器。使用一個或多個參數(shù)能夠指定這些濾波器，所述一個或多個參數(shù)包括方向、沿該方向的帶寬(bw//)和垂直于該方向的帶寬(bw⊥)。從局部圖像特性能夠得出要使用的濾波器或者從相鄰塊能夠預(yù)測要使用的濾波器。參數(shù)環(huán)路濾波器在編碼器處使用少得多的計算、延遲和存儲器存取。固定系數(shù)允許解碼器處的濾波的快速執(zhí)行。通過允許一個或多個固定濾波器被在線訓(xùn)練的Wiener濾波器替換，參數(shù)環(huán)路濾波器能夠與在線訓(xùn)練組合以進一步提高性能。
文檔編號H04N7/12GK103168465SQ201180050404
公開日2013年6月19日 申請日期2011年12月8日 優(yōu)先權(quán)日2011年1月14日
發(fā)明者劉煒, E·瑪阿尼, 董莉娜 申請人:索尼公司