回路濾波方法及其裝置制造方法
【專(zhuān)利摘要】本發(fā)明提供一種編碼系統(tǒng)中重建過(guò)的視頻的回路處理的方法及裝置。該回路處理包含一回路濾波器及一個(gè)或多個(gè)自適應(yīng)濾波器。該自適應(yīng)濾波器的濾波器參數(shù)得自于預(yù)回路視頻數(shù)據(jù)，以便自適應(yīng)濾波器處理可應(yīng)用于該回路處理過(guò)的視頻數(shù)據(jù)而不需要等待圖像或影像單元的回路濾波器處理的完成。在另一實(shí)施例中，兩個(gè)自適應(yīng)濾波器基于同樣的預(yù)回路視頻數(shù)據(jù)得到它們各自的自適應(yīng)濾波器參數(shù)。在又一實(shí)施例中，一移動(dòng)窗口用于包含回路濾波器及一個(gè)或多個(gè)自適應(yīng)濾波器的基于影像單元的編碼系統(tǒng)中。該回路濾波器及該自適應(yīng)濾波器應(yīng)用于預(yù)回路視頻數(shù)據(jù)的一移動(dòng)窗口，該預(yù)回路視頻數(shù)據(jù)包含對(duì)應(yīng)于一個(gè)或多個(gè)影像單元的一個(gè)或多個(gè)次區(qū)域。
【專(zhuān)利說(shuō)明】回路濾波方法及其裝置
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求如下申請(qǐng)的優(yōu)先權(quán):2011年10月14日遞交的申請(qǐng)?zhí)枮?1/547，285，標(biāo)題為“Parallel Encoding for SAO and ALF”的美國(guó)臨時(shí)案；2011年11月8日遞交的申請(qǐng)?zhí)枮?61/557，046,標(biāo)題為 “Memory access reduction for in-loop filtering” 的美國(guó)臨時(shí)案。在此合并參考這些相關(guān)申請(qǐng)案的申請(qǐng)標(biāo)的。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明是關(guān)于視頻編碼系統(tǒng)，尤指一種減少視頻編碼器或解碼器中有關(guān)回路濾波(例如去塊(Deblocking),樣本自適應(yīng)偏移(Sample Adaptive Offset, SAO)及自適應(yīng)回路濾波器(Adaptive Loop Filter, ALF))的處理延遲和/或緩沖器需求的方法以及相關(guān)系裝置。
【背景技術(shù)】
[0004]運(yùn)動(dòng)估計(jì)是一種有效的巾貞間編碼技術(shù)，以利用(exploit)視頻序列中的時(shí)間冗余度(temporal redundancy)。運(yùn)動(dòng)補(bǔ)償巾貞間編碼已在各種國(guó)際視頻編碼標(biāo)準(zhǔn)中廣泛采用。在各種編碼標(biāo)準(zhǔn)中采用的運(yùn)動(dòng)估計(jì)通常是基于塊(block-based)的技術(shù)，其中運(yùn)動(dòng)信息(例如編碼模式及運(yùn)動(dòng)矢量)被判定以用于每一宏模塊(macroblock)或類(lèi)似的塊配置(similarblock configuration)。此外，巾貞內(nèi)編碼也相應(yīng)得到應(yīng)用，其中該圖像(picture)無(wú)須參考任意其他圖像而被處理。間預(yù)測(cè)(inter-predicted)或內(nèi)預(yù)測(cè)(intra-predicted)的殘余量(residue)通常藉由轉(zhuǎn)換、量化及熵編碼作進(jìn)一步處理以產(chǎn)生壓縮的視頻比特流。在編碼過(guò)程期間，尤其在量化過(guò)程中，會(huì)引入編碼噪聲(coding artifact)。為了減輕編碼噪聲，附加的處理已被應(yīng)用于重建過(guò)的視頻以提高更新的(newer )編碼系統(tǒng)中的圖像品質(zhì)。該附加的處理通常在回路操作(in-loop operation)中進(jìn)行配置，以使編碼器和解碼器可得到(derive)同樣的參考圖像以達(dá)到提高系統(tǒng)性能的目的。
[0005]圖1是包含回路濾波過(guò)程的示范性自適應(yīng)間/內(nèi)視頻編碼系統(tǒng)。對(duì)于間預(yù)測(cè)，運(yùn)動(dòng)估計(jì)(Motion Estimation, ME) / 運(yùn)動(dòng)補(bǔ)償(Motion Compensation, MC) 112 用以基于其他一個(gè)或多個(gè)圖像中的視頻數(shù)據(jù)來(lái)提供預(yù)測(cè)數(shù)據(jù)。開(kāi)關(guān)114選擇內(nèi)預(yù)測(cè)110或ME/MC112中的間預(yù)測(cè)數(shù)據(jù)，且被選擇的預(yù)測(cè)數(shù)據(jù)被提供至加法器116以產(chǎn)生預(yù)測(cè)誤差(predictionerrors),也稱(chēng)為預(yù)測(cè)殘余量(prediction residues)或殘余量。預(yù)測(cè)誤差接著藉由轉(zhuǎn)換(Transformation, T) 118進(jìn)行處理,進(jìn)而再藉由量化(Quantization, Q) 120進(jìn)行處理。熵編碼器122對(duì)轉(zhuǎn)換后和量化后的殘余量進(jìn)行編碼以形成對(duì)應(yīng)于被壓縮的視頻數(shù)據(jù)的一視頻比特流。與轉(zhuǎn)換系數(shù)(transform coefficient)相關(guān)的該比特流隨著邊信息(sideinformation)(例如運(yùn)動(dòng)、模式及其他與影像單元(image unit)相關(guān)的信息)一起被封裝(packed)。該邊信息也可藉由熵編碼來(lái)處理以減少所需帶寬。相應(yīng)地，該邊信息被提供至熵編碼器122,如圖1 (至熵編碼器122的運(yùn)動(dòng)/模式路徑(motion/mode path)未繪示)所示。當(dāng)使用間預(yù)測(cè)模式時(shí)，必須使用先前重建過(guò)的一個(gè)或多個(gè)參考圖像以產(chǎn)生預(yù)測(cè)殘余量。因此，一重建回路(reconstruction loop)被用來(lái)在編碼器尾端產(chǎn)生重建過(guò)的圖像。從而,該轉(zhuǎn)換后和量化后的殘余量藉由反量化(Inverse Quantization, IQ) 124和逆轉(zhuǎn)換(InverseTransformation, IT)126處理以恢復(fù)該處理過(guò)的殘余量。該處理過(guò)的殘余量接著藉由重建(Reconstruction, REC)128加回至預(yù)測(cè)數(shù)據(jù)136以重建該視頻數(shù)據(jù)。該重建過(guò)的視頻數(shù)據(jù)可儲(chǔ)存于參考圖像緩沖器(Reference Picture Buffer) 134中并用來(lái)對(duì)其他巾貞進(jìn)行預(yù)測(cè)。
[0006]如圖1所示，輸入的視頻數(shù)據(jù)在編碼系統(tǒng)中會(huì)經(jīng)過(guò)一系列的處理。由重建128得到的重建過(guò)的視頻數(shù)據(jù)由于一系列的處理可能會(huì)遭受各種損害。因此，在重建過(guò)的視頻數(shù)據(jù)被用作預(yù)測(cè)數(shù)據(jù)之前，對(duì)該重建過(guò)的視頻數(shù)據(jù)采用各種回路處理以提高視頻品質(zhì)。在正在發(fā)展的高性能視頻編碼(High Efficiency Video Coding,以下簡(jiǎn)稱(chēng)為HEVC)標(biāo)準(zhǔn)中，去塊濾波器(Deblocking Filter, DF) 130、樣本自適應(yīng)偏移(SAO) 131及自適應(yīng)回路濾波器(ALF) 132已被開(kāi)發(fā)以提高圖像品質(zhì)。去塊濾波器130用于邊界像素，并且去塊濾波處理依賴(lài)于基礎(chǔ)(underlying)像素?cái)?shù)據(jù)及對(duì)應(yīng)塊的有關(guān)編碼信息。在視頻比特流中不需要包含去塊濾波器特有的邊信息。另一方面，樣本自適應(yīng)偏移處理及自適應(yīng)回路濾波處理是自適應(yīng)的，其中濾波器信息(例如濾波器參數(shù)及濾波器類(lèi)型)可依據(jù)基礎(chǔ)視頻數(shù)據(jù)而動(dòng)態(tài)地改變。因此，有關(guān)于樣本自適應(yīng)偏移及自適應(yīng)回路濾波器信息的濾波器信息包含在視頻比特流中，如此一來(lái)，解碼器可正確地恢復(fù)所需信息。所以，從樣本自適應(yīng)偏移及自適應(yīng)回路濾波器得到濾波器信息被提供至熵編碼器122以合并至比特流中。在圖1中，去塊濾波器130首先用于重建過(guò)的視頻；樣本自適應(yīng)偏移131接著用于去塊濾波器處理過(guò)的視頻；以及自適應(yīng)回路濾波器132用于樣本自適應(yīng)偏移處理過(guò)的視頻。然而，去塊濾波器、樣本自適應(yīng)偏移及自適應(yīng)回路濾波器之間的處理順序可以重新安排。在H.264/AVC視頻標(biāo)準(zhǔn)中，自適應(yīng)濾波器僅包含去塊濾波器。在正在發(fā)展的HEVC視頻標(biāo)準(zhǔn)中，回路濾波處理包含去塊濾波器、樣本自適應(yīng)偏移及自適應(yīng)回路濾波器。在本揭露書(shū)中，回路濾波器(in-loop filter)指的是操作于基礎(chǔ)視頻數(shù)據(jù)上而不需要合并于視頻比特流中的邊信息的回路濾波處理(loopfilter processing)。另一方面，自適應(yīng)濾波器指的是自適應(yīng)地操作于基礎(chǔ)視頻數(shù)據(jù)上并使用合并于視頻比特流中的邊信息的回路濾波處理。舉例來(lái)說(shuō)，去塊濾波器被視為回路濾波器而樣本自適應(yīng)偏移及自適應(yīng)回路濾波器被視為自適應(yīng)濾波器。
[0007]與圖1中的編碼器對(duì)應(yīng)的解碼器如圖2所示。視頻比特流藉由熵解碼器142進(jìn)行解碼以恢復(fù)該處理過(guò)(亦即轉(zhuǎn)換后和量化后)的預(yù)測(cè)殘余量、SA0/ALF信息及其他系統(tǒng)信息。在解碼器端，僅僅執(zhí)行運(yùn)動(dòng)補(bǔ)償(MC) 113來(lái)代替ME/MC。解碼過(guò)程類(lèi)似于編碼器端的重建回路。該恢復(fù)的轉(zhuǎn)換后和量化后的預(yù)測(cè)殘余量、SA0/ALF信息及其他系統(tǒng)信息被用于重建該視頻數(shù)據(jù)。該重建過(guò)的視頻進(jìn)一步被去塊濾波器130、樣本自適應(yīng)偏移131及自適應(yīng)回路濾波器132處理以產(chǎn)生最終增強(qiáng)(enhanced)的解碼視頻，其被作為解碼器輸出用于顯示，并且儲(chǔ)存在參考圖像緩沖器134中以產(chǎn)生預(yù)測(cè)數(shù)據(jù)。
[0008]H.264/AVC中的編碼過(guò)程應(yīng)用于16X16的處理單元或影像單元，稱(chēng)為宏模塊(MB)0 HEVC中的編碼過(guò)程依據(jù)最大編碼單元(Largest Coding Unit, LCU)而應(yīng)用。最大編碼單元使用四叉樹(shù)自適應(yīng)地分割為多個(gè)編碼單元。在每一影像單元(即宏模塊或葉編碼單元(leaf QJ))中，針對(duì)亮度分量(luma component)基于8x8的塊(block)(針對(duì)色度分量(chroma component)基于4X4的塊),執(zhí)行去塊濾波器，同時(shí)去塊濾波器依據(jù)邊界強(qiáng)度(boundary strength)應(yīng)用于8X8的亮度塊邊界(對(duì)于色度分量應(yīng)用于4x4的塊邊界)。在以下的討論中，亮度分量用來(lái)作為回路濾波處理的一范例。然而，容易知道回路處理也可應(yīng)用于色度分量。對(duì)于每一 8X8的塊，首先水平濾波應(yīng)用于垂直塊邊界，接著垂直濾波應(yīng)用于水平塊邊界。在亮度塊邊界的處理期間，每一邊(side)的四個(gè)像素涉及到濾波器參數(shù)推導(dǎo)，并且可在濾波后改變每一邊上的多達(dá)三個(gè)像素。對(duì)于應(yīng)用于垂直塊邊界的水平濾波，預(yù)回路(pre-1n-loop )視頻數(shù)據(jù)(即此例中未濾波的重建過(guò)的視頻數(shù)據(jù)或預(yù)去塊濾波的視頻數(shù)據(jù))用于濾波器參數(shù)推導(dǎo)以及對(duì)于濾波而言作為源視頻數(shù)據(jù)(source video data)。對(duì)于應(yīng)用于水平塊邊界的垂直濾波，預(yù)回路視頻數(shù)據(jù)(即此例中未濾波的重建過(guò)的視頻數(shù)據(jù)或預(yù)去塊濾波的視頻數(shù)據(jù))用于濾波器參數(shù)推導(dǎo)，并且去塊濾波器中間(intermediate)像素(即水平濾波后的像素)用于濾波。對(duì)于色度塊邊界的去塊濾波器處理，每一邊的兩個(gè)像素涉及到濾波器參數(shù)推導(dǎo)，并且在濾波后改變每一邊上的至多一個(gè)像素。對(duì)于應(yīng)用于垂直塊邊界的水平濾波，未濾波的重建過(guò)的像素用于濾波器參數(shù)推導(dǎo)且作為濾波的源像素；對(duì)于應(yīng)用于水平塊邊界的垂直濾波，去塊濾波器處理過(guò)的中間像素(即水平濾波后的像素)用于濾波器參數(shù)推導(dǎo)且也作為濾波的源像素。
[0009]去塊濾波過(guò)程可用于一圖像的多個(gè)塊中。另外，去塊濾波過(guò)程也可用于一圖像的每一影像單元(宏模塊或最大編碼單元)中。在基于影像單元的去塊濾波過(guò)程中，影像單元邊界的去塊濾波過(guò)程依賴(lài)于鄰近影像單元的數(shù)據(jù)。圖像中的該影像單元通常以光柵掃描順序(raster scan order)來(lái)處理。因此,上影像單元或左影像單元的數(shù)據(jù)對(duì)于影像單元邊界的上側(cè)及左側(cè)的去塊濾波處理是可用的。然而，對(duì)于影像單元邊界的底部或右側(cè)，去塊濾波處理必須被延遲直到相應(yīng)的數(shù)據(jù)變?yōu)榭捎谩Ｓ捎卩徑跋駟卧臄?shù)據(jù)緩沖原因，有關(guān)去塊濾波的數(shù)據(jù)相關(guān)性問(wèn)題(data dependency issue)使系統(tǒng)設(shè)計(jì)變得復(fù)雜，同時(shí)增加了系統(tǒng)成本。
[0010]在后續(xù)的自適應(yīng)濾波器的系統(tǒng)中，例如操作于由回路濾波器(例如去塊濾波器)處理的數(shù)據(jù)上的樣本自適應(yīng)偏移及自適應(yīng)回路濾波器，附加的自適應(yīng)濾波器處理使系統(tǒng)設(shè)計(jì)更為復(fù)雜，并增加系統(tǒng)成本/延遲(latency)。舉例來(lái)說(shuō)，在HEVC測(cè)試模組版本4.0(HM-4.0 )中，樣本自適應(yīng)偏移及自適應(yīng)回路濾波器自適應(yīng)地被采用，其允許樣本自適應(yīng)偏移參數(shù)及自適應(yīng)回路濾波器參數(shù)可針對(duì)每一圖像自適應(yīng)地被判定(“WD4:Working Draft4of High-Efficiency Video Coding，，, Bross et.al., Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG16WP3and IS0/IEC JTC1/SC29/WG11, 6th Meeting:Torino, IT, 14-22July, 2011, Document: JCTVC-F803 ) ?在圖像的樣本自適應(yīng)偏移處理期間，該圖像的樣本自適應(yīng)偏移參數(shù)基于該圖像的去塊濾波器輸出像素及原始像素而得到，接著樣本自適應(yīng)偏移處理應(yīng)用于具有所得到的樣本自適應(yīng)偏移參數(shù)的去塊濾波器處理過(guò)的圖像上。類(lèi)似地，在圖像的自適應(yīng)回路濾波器處理期間，該圖像的自適應(yīng)回路濾波器參數(shù)基于該圖像的樣本自適應(yīng)偏移輸出像素及原始像素而得到，接著自適應(yīng)回路濾波器處理應(yīng)用于具有所得到的自適應(yīng)回路濾波器參數(shù)的樣本自適應(yīng)偏移處理過(guò)的圖像上?；趫D像的樣本自適應(yīng)偏移及自適應(yīng)回路濾波器處理需要幀緩沖器來(lái)儲(chǔ)存去塊濾波器處理過(guò)的幀及樣本自適應(yīng)偏移處理過(guò)的幀。這些系統(tǒng)由于附加的幀緩沖器需求會(huì)導(dǎo)致更高的系統(tǒng)成本，也會(huì)造成更長(zhǎng)的編碼延遲。
[0011] 圖3是在編碼器端基于連續(xù)的(sequential)樣本自適應(yīng)偏移處理及自適應(yīng)回路濾波器處理的一編碼器的系統(tǒng)方塊圖。在采用樣本自適應(yīng)偏移320之前，樣本自適應(yīng)偏移參數(shù)必須被獲取到，如方塊310所示。樣本自適應(yīng)偏移參數(shù)是基于去塊濾波器處理過(guò)的數(shù)據(jù)而得到的。在樣本自適應(yīng)偏移應(yīng)用于去塊濾波器處理過(guò)的數(shù)據(jù)后，如方塊330所示，樣本自適應(yīng)偏移處理過(guò)的數(shù)據(jù)用來(lái)得到自適應(yīng)回路濾波器參數(shù)。根據(jù)自適應(yīng)回路濾波器參數(shù)的判定，自適應(yīng)回路濾波器應(yīng)用于樣本自適應(yīng)偏移處理過(guò)的數(shù)據(jù)，如方塊340所示。如上所述，由于樣本自適應(yīng)偏移參數(shù)是基于去塊濾波器處理過(guò)的視頻數(shù)據(jù)的完整幀(wholeframe)而得到的，因此需要幀緩沖器來(lái)儲(chǔ)存去塊濾波器輸出像素，以用于后續(xù)的樣本自適應(yīng)偏移處理。類(lèi)似地，同樣需要幀緩沖器來(lái)儲(chǔ)存樣本自適應(yīng)偏移輸出像素，以用于后續(xù)的自適應(yīng)回路濾波器處理。這些緩沖器沒(méi)有在圖3中明確表示出來(lái)。在較新的HEVC發(fā)展中，基于最大編碼單元的樣本自適應(yīng)偏移及自適應(yīng)回路濾波器用來(lái)降低緩沖器的需求，同時(shí)用來(lái)降低編碼器延遲。然而，圖3所示的同樣的處理工作流程可用于基于最大編碼單元的回路處理中。換句話(huà)說(shuō)，藉由最大編碼單元的基礎(chǔ)，在一最大編碼單元上，樣本自適應(yīng)偏移參數(shù)從去塊濾波器輸出像素中來(lái)判定，自適應(yīng)回路濾波器參數(shù)從樣本自適應(yīng)偏移輸出像素中來(lái)判定。如前面討論的，直到來(lái)自鄰近最大編碼單元(最大編碼單元下方及最大編碼單元的右方)所需數(shù)據(jù)變得可用，一當(dāng)前最大編碼單元的去塊濾波處理才能被完成。因此，針對(duì)一當(dāng)前最大編碼單元的樣本自適應(yīng)偏移處理會(huì)被延遲大致最大編碼單元的一圖像行值(picture-row worth),并且需要相應(yīng)的緩沖器來(lái)儲(chǔ)存最大編碼單元的該圖像行值。自適應(yīng)回路濾波器處理也有類(lèi)似的問(wèn)題。
[0012]根據(jù)HM-5.0，如圖4所示，針對(duì)基于最大編碼單元的處理，壓縮的視頻比特流被構(gòu)造(structured)來(lái)緩解解碼過(guò)程。比特流400相當(dāng)于一個(gè)圖像區(qū)域的被壓縮的視頻數(shù)據(jù)，其可以為一完整圖像或一部分(slice)圖像。在一圖像中針對(duì)單獨(dú)的最大編碼單元，對(duì)于由被壓縮的數(shù)據(jù)跟隨的對(duì)應(yīng)的圖像，構(gòu)造比特流400以包含一幀頭部(frame header) 410(或者，如果使用部分構(gòu)造則為一部分頭部(slice header))。每一最大編碼單元數(shù)據(jù)包含最大編碼單元頭部410及最大編碼單元?dú)堄鄶?shù)據(jù)(residual data)。該最大編碼單元頭部位于每一最大編碼單元比特流的起始處并且包含最大編碼單元共有的(common)信息，例如樣本自適應(yīng)偏移參數(shù)控制信息及自適應(yīng)回路濾波器控制信息。因此，在最大編碼單元?dú)堄嗔康慕獯a起動(dòng)(start)之前，解碼器可依據(jù)包含于最大編碼單元頭部中的信息被正確地設(shè)置，如此一來(lái)便可降低解碼器端的緩沖器需求。然而，由于殘余量必須被緩沖，直到欲并入最大編碼單元頭部的頭部信息準(zhǔn) 備好，因此對(duì)于編碼器來(lái)說(shuō)，產(chǎn)生符合圖4中比特流構(gòu)造的一比特流是一個(gè)負(fù)擔(dān)。
[0013]如圖4所示，最大編碼單元頭部插入最大編碼單元?dú)堄鄶?shù)據(jù)的前面。對(duì)于最大編碼單元，樣本自適應(yīng)偏移參數(shù)包含于最大編碼單元頭部中。最大編碼單元中的樣本自適應(yīng)偏移參數(shù)是基于最大編碼單元的DP處理過(guò)的像素而得到的。因此，完整最大編碼單元的DP處理過(guò)的像素在樣本自適應(yīng)偏移處理能夠應(yīng)用于去塊濾波器處理過(guò)的數(shù)據(jù)之前必須被緩沖。此外，樣本自適應(yīng)偏移參數(shù)包含樣本自適應(yīng)偏移濾波器打開(kāi)/關(guān)閉決定(0η/0--decision)，其是關(guān)于樣本自適應(yīng)偏移是否被應(yīng)用于當(dāng)前最大編碼單元。樣本自適應(yīng)偏移濾波器打開(kāi)/關(guān)閉決定是基于當(dāng)前最大編碼單元的原始像素?cái)?shù)據(jù)及去塊濾波器處理過(guò)的像素?cái)?shù)據(jù)而得到的。因此，當(dāng)前最大編碼單元的原始像素?cái)?shù)據(jù)也必須被緩沖。當(dāng)最大編碼單元選擇打開(kāi)決定時(shí)，樣本自適應(yīng)偏 移濾波器類(lèi)型(即邊界偏移(Edge Offset，E0)或帶寬偏移(Band Offset, BO))會(huì)進(jìn)一步被判定。針對(duì)已選擇的樣本自適應(yīng)偏移濾波器類(lèi)型,對(duì)應(yīng)的邊界偏移參數(shù)或帶寬偏移參數(shù)會(huì)被判定。如HM-5.0所描述的，打開(kāi)/關(guān)閉決定、EO/BO決定以及對(duì)應(yīng)的EO/BO參數(shù)是嵌入在最大編碼單元頭部中的。在解碼器端，由于樣本自適應(yīng)偏移參數(shù)包含于比特流中，所以并沒(méi)有要求樣本自適應(yīng)偏移參數(shù)推導(dǎo)。自適應(yīng)回路濾波器的情形與樣本自適應(yīng)偏移過(guò)程類(lèi)似。然而，樣本自適應(yīng)偏移過(guò)程是基于DP處理過(guò)的像素，而自適應(yīng)回路濾波器過(guò)程是基于樣本自適應(yīng)偏移過(guò)程處理過(guò)的像素。
[0014]如前所述,去塊濾波器處理是確定性的(deterministic),其中這些運(yùn)作是依賴(lài)于基礎(chǔ)重建過(guò)的像素(underlying reconstructed pixel)及已準(zhǔn)備好的可用信息。附加信息無(wú)須藉由編碼器而得到且無(wú)須包含于比特流中。因此，在無(wú)自適應(yīng)濾波器(如樣本自適應(yīng)偏移及自適應(yīng)回路濾波器)的視頻編碼系統(tǒng)中，編碼器處理管線(xiàn)(processing pipeline)是相對(duì)簡(jiǎn)單的。圖5是有關(guān)于編碼器的關(guān)鍵處理步驟的示范性處理管線(xiàn)的示意圖。間/內(nèi)預(yù)測(cè)方塊(Inter/Intra Prediction) 510表示分別對(duì)應(yīng)于圖1的ME/MC112及內(nèi)預(yù)測(cè)110的間預(yù)測(cè)及內(nèi)預(yù)測(cè)的運(yùn)動(dòng)估計(jì)/運(yùn)動(dòng)補(bǔ)償。重建520負(fù)責(zé)產(chǎn)生重建過(guò)的像素，其對(duì)應(yīng)于圖1中的轉(zhuǎn)換118，量化120，反量化124，逆轉(zhuǎn)換126及重建128。首先在每一最大編碼單元執(zhí)行間/內(nèi)預(yù)測(cè)510以產(chǎn)生多個(gè)殘余量，接著重建520應(yīng)用于這些殘余量以產(chǎn)生重建過(guò)的像素。間/內(nèi)預(yù)測(cè)510方塊及重建520方塊是順序執(zhí)行的。然而，由于在熵編碼530及去塊540之間沒(méi)有數(shù)據(jù)相關(guān)性(data cbpendency)，熵編碼530及去塊540可并行執(zhí)行。圖5是說(shuō)明實(shí)作一無(wú)自適應(yīng)濾波處理的編碼系統(tǒng)的示范性編碼器管線(xiàn)的示意圖。編碼器管線(xiàn)的處理方塊可作不同的設(shè)置。
[0015]當(dāng)使用自適應(yīng)濾波器處理時(shí)，處理管線(xiàn)需要被小心地設(shè)置。圖6A為有關(guān)于具有樣本自適應(yīng)偏移610的編碼器的關(guān)鍵處理步驟的示范性處理管線(xiàn)的示意圖。如前所述，樣本自適應(yīng)偏移操作于去塊濾波器處理過(guò)的像素。因此，樣本自適應(yīng)偏移610在去塊540后執(zhí)行。因?yàn)闃颖咀赃m應(yīng)偏移參數(shù)會(huì)包含于最大編碼單元頭部中，因此熵編碼530需要等待直到得到樣本自適應(yīng)偏移參數(shù)。相應(yīng)地，圖6A中所示的熵編碼530開(kāi)始于得到樣本自適應(yīng)偏移參數(shù)之后。圖6B為具有樣本自適應(yīng)偏移的編碼器的另一管線(xiàn)架構(gòu)(pipelinearchitecture)的示意圖，其中熵編碼530開(kāi)始于樣本自適應(yīng)偏移610結(jié)束時(shí)。最大編碼單元尺寸可為64x64像素。當(dāng)在管線(xiàn)階段發(fā)生附加延遲時(shí)，最大編碼單元數(shù)據(jù)需要被緩沖。緩沖器尺寸會(huì)相當(dāng)大。因此，需要在處理管線(xiàn)中縮短延遲。
[0016]圖7A為有關(guān)于具有樣本自適應(yīng)偏移610及自適應(yīng)回路濾波器710的編碼器的關(guān)鍵處理步驟的示范性處理管線(xiàn)的示意圖。如前所述，自適應(yīng)回路濾波器操作于樣本自適應(yīng)偏移處理過(guò)的像素。因此，自適應(yīng)回路濾波器710在樣本自適應(yīng)偏移610之后被執(zhí)行。因?yàn)樽赃m應(yīng)回路濾波器控制信息會(huì)包含于最大編碼單元頭部中，所以熵編碼530需要等待直到得到自適應(yīng)回路濾波器控制信息。相應(yīng)地，圖7A中所示的熵編碼530開(kāi)始于得到自適應(yīng)回路濾波器控制信息之后。圖7B為具有樣本自適應(yīng)偏移及自適應(yīng)回路濾波器的編碼器的另一管線(xiàn)架構(gòu)的示意圖，其中熵編碼530開(kāi)始于自適應(yīng)回路濾波器710結(jié)束時(shí)。
[0017]如圖6A-6B及圖7A-7B所示，由于自適應(yīng)濾波器處理的順序流程性質(zhì)(sequentialprocess nature)，具有自適應(yīng)濾波器處理的系統(tǒng)會(huì)導(dǎo)致更長(zhǎng)的處理延遲。需要開(kāi)發(fā)一種能夠減少有關(guān)自適應(yīng)濾波器處理的處理延遲及緩沖器尺寸的方法及裝置。
[0018]回路濾波器能夠有效增強(qiáng)圖像品質(zhì)，相關(guān)的處理需要至編碼端圖像級(jí)數(shù)據(jù)(picture-level data)的多路訪(fǎng)問(wèn)(mult1-pass access),以執(zhí)行參數(shù)生成及濾波器操作。圖8為包含去塊、樣本自適應(yīng)偏移及自適應(yīng)回路濾波器的示范性HEVC編碼器的示意圖。圖8中的編碼器是基于圖1中的HEVC編碼器。然而，樣本自適應(yīng)偏移參數(shù)推導(dǎo)(SAO parameterderivation) 831及自適應(yīng)回路濾波器參數(shù)推導(dǎo)(ALF parameter derivation) 832都明確顯示出來(lái)。樣本自適應(yīng)偏移參數(shù)推導(dǎo)831需要存取(access)原始視頻數(shù)據(jù)及去塊濾波器處理過(guò)的數(shù)據(jù)以產(chǎn)生樣本自適應(yīng)偏移參數(shù)。樣本自適應(yīng)偏移131接著基于所得到的樣本自適應(yīng)偏移參數(shù)，操作于去塊濾波器處理過(guò)的數(shù)據(jù)上。類(lèi)似地，自適應(yīng)回路濾波器參數(shù)推導(dǎo)832需要存取原始視頻數(shù)據(jù)及樣本自適應(yīng)偏移處理過(guò)的數(shù)據(jù)以產(chǎn)生自適應(yīng)回路濾波器參數(shù)。自適應(yīng)回路濾波器132接著基于所得到的自適應(yīng)回路濾波器參數(shù)，操作于樣本自適應(yīng)偏移處理過(guò)的數(shù)據(jù)上。如果片上緩沖器(on-chip buffer)(例如SRAM)被用于圖像級(jí)多路編碼，晶片面積會(huì)非常大。因此，片外(off-chip)幀緩沖器(例如DRAM)用來(lái)儲(chǔ)存圖像。外部存儲(chǔ)器帶寬及系統(tǒng)功耗會(huì)大幅增加。相應(yīng)地，需要開(kāi)發(fā)一種能夠緩解高存儲(chǔ)器存取需求的機(jī)制。

【發(fā)明內(nèi)容】

[0019]本發(fā)明提供一種用于對(duì)編碼系統(tǒng)中重建過(guò)的視頻數(shù)據(jù)的回路處理的方法及裝置。該回路處理包含一回路濾波器及一個(gè)或多個(gè)自適應(yīng)濾波器。在本發(fā)明一實(shí)施例中，自適應(yīng)濾波處理應(yīng)用于回路處理過(guò)的視頻數(shù)據(jù)。該自適應(yīng)濾波器的濾波器參數(shù)得自于預(yù)回路視頻數(shù)據(jù)，以便一旦后續(xù)自適應(yīng)濾波器處理有足夠的回路處理過(guò)的數(shù)據(jù)變得可用，自適應(yīng)濾波器處理便可應(yīng)用于該回路處理過(guò)的視頻數(shù)據(jù)。編碼系統(tǒng)可以為基于圖像的處理或基于影像單元的處理?；芈诽幚砑白赃m應(yīng)濾波器處理可以同時(shí)應(yīng)用于基于圖像的系統(tǒng)的一部分圖像。針對(duì)基于影像單元的系統(tǒng)，自適應(yīng)濾波器處理可與回路濾波器同時(shí)應(yīng)用于該影像單元的一部分。在本發(fā)明另一實(shí)施例中，兩個(gè)自適應(yīng)濾波器基于同樣的預(yù)回路視頻數(shù)據(jù)得到它們各自的自適應(yīng)濾波器參數(shù)。該影像單元可以為最大編碼單元或宏模塊。濾波器參數(shù)也可依賴(lài)于部分回路濾波器處理過(guò)的視頻數(shù)據(jù)。
[0020]在另一實(shí)施例中，移動(dòng)窗口用于包含回路濾波器及一個(gè)或多個(gè)自適應(yīng)濾波器的基于影像單元的編碼系統(tǒng)中。針對(duì)影像單元，第一自適應(yīng)濾波器的第一自適應(yīng)濾波器參數(shù)是基于影像單元的原始視頻數(shù)據(jù)及預(yù)回路視頻數(shù)據(jù)而被估計(jì)。在移動(dòng)窗口上，該預(yù)回路視頻數(shù)據(jù)接著使用回路濾波器及第一自適應(yīng)濾波器來(lái)被處理，并且移動(dòng)窗口包含當(dāng)前圖像的一個(gè)或多個(gè)影像單元對(duì)應(yīng)的一個(gè)或多個(gè)次區(qū)域。該回路濾波器及該第一自適應(yīng)濾波器可同時(shí)應(yīng)用于當(dāng)前移動(dòng)窗口的至少一部分，或者該第一自適應(yīng)濾波器應(yīng)用于第二移動(dòng)窗口且該回路濾波器應(yīng)用于第一移動(dòng)窗口，其中該第二移動(dòng)窗口延遲該第一移動(dòng)窗口一個(gè)或多個(gè)移動(dòng)窗口。該回路濾波器應(yīng)用于預(yù)回路視頻數(shù)據(jù)以產(chǎn)生第一處理過(guò)的數(shù)據(jù)，以及該第一自適應(yīng)濾波器應(yīng)用于使用基于估計(jì)的該第一自適應(yīng)濾波器參數(shù)的該第一處理過(guò)的數(shù)據(jù)，以產(chǎn)生第二處理過(guò)的視頻數(shù)據(jù)。該第一濾波器參數(shù)也可依賴(lài)于部分回路濾波器處理過(guò)的視頻數(shù)據(jù)。針對(duì)影像單元，該方法更包含基于該影像單元的原始視頻數(shù)據(jù)及預(yù)回路視頻數(shù)據(jù)，估計(jì)第二自適應(yīng)濾波器的第二自適應(yīng)濾波器參數(shù)，以及在該移動(dòng)窗口使用該第二自適應(yīng)濾波器來(lái)處理該移動(dòng)窗口。估計(jì)該第二自適應(yīng)濾波器的第二自適應(yīng)濾波器參數(shù)也可依賴(lài)于部分回路濾波器處理過(guò)的視頻數(shù)據(jù)。
[0021]在另一實(shí)施例中，移動(dòng)窗口用于包含回路濾波器及一個(gè)或多個(gè)自適應(yīng)濾波器的基于影像單元的解碼系統(tǒng)。預(yù)回路視頻數(shù)據(jù)使用移動(dòng)窗口上的回路濾波器及第一自適應(yīng)濾波器來(lái)被處理，該移動(dòng)窗口包含當(dāng)前圖像的一個(gè)或多個(gè)影像單元對(duì)應(yīng)的一個(gè)或多個(gè)次區(qū)域?；芈窞V波器應(yīng)用于該預(yù)回路視頻數(shù)據(jù)以產(chǎn)生該第一處理過(guò)的數(shù)據(jù)，且該第一自適應(yīng)濾波器應(yīng)用于使用包含于視頻比特流中的該第一自適應(yīng)濾波器參數(shù)的該第一處理過(guò)的數(shù)據(jù)，以產(chǎn)生該第二處理過(guò)的視頻數(shù)據(jù)。在另一實(shí)施例中，該回路濾波器及該第一自適應(yīng)濾波器可同時(shí)應(yīng)用于當(dāng)前移動(dòng)窗口的至少一部分，或者該第一自適應(yīng)濾波器應(yīng)用于第二移動(dòng)窗口且該回路濾波器應(yīng)用于第一移動(dòng)窗口，其中該第二移動(dòng)窗口延遲該第一移動(dòng)窗口 一個(gè)或多個(gè)移動(dòng)窗口。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0022]圖1為包含去塊濾波器回路處理、樣本自適應(yīng)偏移回路處理及自適應(yīng)回路濾波器回路處理的一示范性HEVC視頻編碼系統(tǒng)的示意圖。
[0023]圖2是包含去塊濾波器回路處理、樣本自適應(yīng)偏移回路處理及自適應(yīng)回路濾波器回路處理的一示范性間/內(nèi)視頻解碼系統(tǒng)的示意圖。
[0024]圖3是包含管線(xiàn)樣本自適應(yīng)偏移處理及自適應(yīng)回路濾波器處理的一傳統(tǒng)視頻編碼的方塊示意圖。
[0025]圖4是一示范性基于最大編碼單元的視頻比特流架構(gòu)，其中最大編碼單元頭部插入在每一最大編碼單元比特流的起始處。
[0026]圖5是包含去塊作為回路濾波器的編碼器的一示范性處理管線(xiàn)流程圖。
[0027]圖6A是包含去塊作為回路濾波器及樣本自適應(yīng)偏移作為自適應(yīng)濾波器的編碼器的一示范性處理管線(xiàn)流程圖。
[0028]圖6B是包含去塊作為回路濾波器及樣本自適應(yīng)偏移作為自適應(yīng)濾波器的編碼器的另一示范性處理管線(xiàn)流程圖。
[0029]圖7A是包含去塊作為回路濾波器及樣本自適應(yīng)偏移和自適應(yīng)回路濾波器作為自適應(yīng)濾波器的傳統(tǒng)編碼器的一示范性處理管線(xiàn)流程圖。
[0030]圖7B是包含去塊作為回路濾波器及樣本自適應(yīng)偏移和自適應(yīng)回路濾波器作為自適應(yīng)濾波器的傳統(tǒng)編碼器的另一示范性處理管線(xiàn)流程圖。
[0031]圖8是包含去塊濾波器回路處理、樣本自適應(yīng)偏移回路處理及自適應(yīng)回路濾波器回路處理的示范性HEVC視頻編碼系統(tǒng)，其中清楚顯示了樣本自適應(yīng)偏移參數(shù)推導(dǎo)和自適應(yīng)回路濾波器參數(shù)推導(dǎo)。
[0032]圖9是依據(jù)本發(fā)明一實(shí)施例的具有去塊濾波器處理及自適應(yīng)濾波器處理的編碼器的一示范性方塊示意圖。
[0033]圖1OA是依據(jù)本發(fā)明一實(shí)施例的具有去塊濾波器、樣本自適應(yīng)偏移及自適應(yīng)回路濾波器的編碼器的一示范性方塊示意圖。
[0034]圖1OB是依據(jù)本發(fā)明一實(shí)施例的具有去塊濾波器、樣本自適應(yīng)偏移及自適應(yīng)回路濾波器的編碼器的另一示范性方塊示意圖。
[0035]圖1lA是在間預(yù)測(cè)及回路處理之間包含共享存儲(chǔ)器存取的一示范性HEVC視頻編碼系統(tǒng)，其中ME/MC與自適應(yīng)回路濾波器共享存儲(chǔ)器存取。
[0036]圖1lB是在間預(yù)測(cè)及回路處理之間包含共享存儲(chǔ)器存取的一示范性HEVC視頻編碼系統(tǒng)，其中ME/MC與自適應(yīng)回路濾波器、樣本自適應(yīng)偏移共享存儲(chǔ)器存取。
[0037]圖1lC是在間預(yù)測(cè)及回路處理之間包含共享存儲(chǔ)器存取的一示范性HEVC視頻編碼系統(tǒng)，其中ME/MC與自適應(yīng)回路濾波器、樣本自適應(yīng)偏移及去塊濾波器共享存儲(chǔ)器存取。
[0038]圖12A是依據(jù)本發(fā)明一實(shí)施例的具有去塊濾波器及一個(gè)自適應(yīng)濾波器的編碼器的一示范性處理管線(xiàn)流程圖。
[0039]圖12B是依據(jù)本發(fā)明一實(shí)施例的具有去塊濾波器及一個(gè)自適應(yīng)濾波器的編碼器的另一示范性處理管線(xiàn)流程圖。
[0040]圖13A是依據(jù)本發(fā)明一實(shí)施例的具有去塊濾波器及兩個(gè)自適應(yīng)濾波器的編碼器的一示范性處理管線(xiàn)流程圖。
[0041]圖13B是依據(jù)本發(fā)明一實(shí)施例的具有去塊濾波器及兩個(gè)自適應(yīng)濾波器的編碼器的另一示范性處理管線(xiàn)流程圖。
[0042]圖14是具有去塊濾波器回路處理、樣本自適應(yīng)偏移回路處理及自適應(yīng)回路濾波器回路處理的傳統(tǒng)的基于最大編碼單元的解碼器的處理管線(xiàn)流程圖及緩沖器管線(xiàn)示意圖。
[0043]圖15是依據(jù)本發(fā)明一實(shí)施例的具有去塊濾波器回路處理、樣本自適應(yīng)偏移回路處理及自適應(yīng)回路濾波器回路處理的基于最大編碼單元的解碼器的示范性處理管線(xiàn)流程圖及緩沖器管線(xiàn)示意圖。
[0044]圖16是依據(jù)本發(fā)明一實(shí)施例的具有回路濾波器及自適應(yīng)濾波器的基于最大編碼單元的解碼器的一示范性移動(dòng)窗口示意圖。
[0045]圖17A-圖17C是依據(jù)本發(fā)明一實(shí)施例的具有回路濾波器及自適應(yīng)濾波器的基于最大編碼單元的解碼器的一示范性移動(dòng)窗口各個(gè)階段的示意圖。
【具體實(shí)施方式】
[0046]如前所述，回路處理的各種類(lèi)型用于視頻編碼器或解碼器中順序地重建過(guò)的視頻數(shù)據(jù)。舉例來(lái)說(shuō)，在HEVC中，首先采用去塊濾波器處理；接著采用樣本自適應(yīng)偏移處理；然后再采用自適應(yīng)回路濾波器處理，如圖1所示。此外，自適應(yīng)濾波器(即此例中樣本自適應(yīng)偏移及自適應(yīng)回路濾波器)各自的濾波器參數(shù)是基于前一級(jí)(previous-stage)回路處理的處理過(guò)的輸出而得到的。舉例來(lái)說(shuō)，樣本自適應(yīng)偏移參數(shù)是基于去塊濾波器處理過(guò)的像素而得到的，以及自適應(yīng)回路濾波器參數(shù)是基于樣本自適應(yīng)偏移處理過(guò)的像素而得到的。在基于影像單元(image-unit-based)的編碼系統(tǒng)中，針對(duì)一完整的影像單元，自適應(yīng)濾波器參數(shù)推導(dǎo)是基于處理過(guò)的像素。所以，后續(xù)的自適應(yīng)濾波器處理不能開(kāi)始，直到影像單元的前一階段回路處理完成。換言之，影像單元的去塊濾波器處理過(guò)的像素必須被緩沖以用于后續(xù)的樣本自適應(yīng)偏移處理，以及影像單元的樣本自適應(yīng)偏移處理過(guò)的像素必須被緩沖以用于后續(xù)的自適應(yīng)回路濾波器處理。影像單元的尺寸可為64x64像素，同時(shí)緩沖器會(huì)相當(dāng)大。另外，上述系統(tǒng)也會(huì)導(dǎo)致從一個(gè)級(jí)到下一級(jí)的處理延遲及增加整體處理延遲。
[0047]本發(fā)明一實(shí)施例可緩解緩沖器尺寸需求及減少處理延遲。在一實(shí)施例中，自適應(yīng)濾波器參數(shù)推導(dǎo)是基于重建過(guò)的像素，而不是基于去塊濾波器處理過(guò)的數(shù)據(jù)。換言之，自適應(yīng)濾波器參數(shù)推導(dǎo)是基于在前一級(jí)回路處理之前的視頻數(shù)據(jù)。圖9是本發(fā)明實(shí)施例的編碼器的一示范性處理流程的示意圖。自適應(yīng)濾波器參數(shù)推導(dǎo)930是基于重建過(guò)的數(shù)據(jù)，而不是基于去塊濾波器處理過(guò)的數(shù)據(jù)。因此，無(wú)論何時(shí)有足夠的去塊濾波器處理過(guò)的數(shù)據(jù)變得可用，自適應(yīng)濾波器處理920都可開(kāi)始，而不需要等待當(dāng)前影像單元去塊濾波器處理910的完成。相應(yīng)地，針對(duì)后續(xù)的自適應(yīng)濾波器處理920，無(wú)須儲(chǔ)存整個(gè)影像單元的去塊濾波器處理過(guò)的數(shù)據(jù)。自適應(yīng)濾波器處理可為樣本自適應(yīng)偏移處理或自適應(yīng)回路濾波器處理。自適應(yīng)濾波器參數(shù)推導(dǎo)930也可依賴(lài)于去塊濾波器處理910的部分輸出912。舉例來(lái)說(shuō)，除重建過(guò)的視頻數(shù)據(jù)之外，對(duì)應(yīng)于第一少數(shù)方塊(block)的去塊濾波器處理910的輸出，還可以包含于自適應(yīng)濾波器參數(shù)推導(dǎo)930中。由于僅使用去塊濾波器處理910的部分輸出，后續(xù)自適應(yīng)濾波器處理920可在去塊濾波器處理910完成之前開(kāi)始。
[0048]在另一實(shí)施例中，自適應(yīng)濾波處理的兩種或多種類(lèi)型的自適應(yīng)濾波器參數(shù)推導(dǎo)是基于相同的源(source)。舉例來(lái)說(shuō)，自適應(yīng)回路濾波器參數(shù)推導(dǎo)與樣本自適應(yīng)偏移參數(shù)推導(dǎo)可基于相同的源數(shù)據(jù)，即去塊濾波處理過(guò)的數(shù)據(jù)，而不是使用樣本自適應(yīng)偏移處理過(guò)的像素。因此，自適應(yīng)回路濾波器參數(shù)可以不需要等待當(dāng)前影像單元的樣本自適應(yīng)偏移處理完成就能得到。實(shí)際上，自適應(yīng)回路濾波器參數(shù)的獲得可在樣本自適應(yīng)偏移處理開(kāi)始之前或在樣本自適應(yīng)偏移處理開(kāi)始之后一段短時(shí)期內(nèi)完成。同時(shí)，無(wú)論何時(shí)有足夠的樣本自適應(yīng)偏移處理過(guò)的數(shù)據(jù)變得可用，自適應(yīng)回路濾波處理都可開(kāi)始，而不需要等待影像單元的樣本自適應(yīng)偏移處理完成。圖1OA是依據(jù)本發(fā)明實(shí)施例的一示范性系統(tǒng)設(shè)置的示意圖，其中樣本自適應(yīng)偏移參數(shù)推導(dǎo)1010及自適應(yīng)回路濾波器參數(shù)推導(dǎo)1040都基于相同的源數(shù)據(jù)(即本例中的去塊濾波器處理過(guò)的像素)。所得到的參數(shù)接著被提供至樣本自適應(yīng)偏移1020及自適應(yīng)回路濾波器1030中處理。由于針對(duì)自適應(yīng)回路濾波器處理，無(wú)論何時(shí)有足夠的樣本自適應(yīng)偏移處理過(guò)的數(shù)據(jù)變得可用，后續(xù)自適應(yīng)回路濾波器處理都可開(kāi)始來(lái)操作，圖1OA緩解了緩沖完整影像單元的樣本自適應(yīng)偏移處理過(guò)的像素的需求。自適應(yīng)回路濾波器參數(shù)推導(dǎo)1040也可依賴(lài)于樣本自適應(yīng)偏移1020的部分輸出1022。舉例來(lái)說(shuō)，除去塊濾波器的輸出數(shù)據(jù)之外，對(duì)應(yīng)于第一少數(shù)線(xiàn)(line)或方塊的樣本自適應(yīng)偏移1020的輸出，也可以包含在自適應(yīng)回路濾波器參數(shù)推導(dǎo)1040中。由于僅使用樣本自適應(yīng)偏移的部分輸出，后續(xù)自適應(yīng)回路濾波器1030可在樣本自適應(yīng)偏移1020完成之前開(kāi)始。
[0049]在又一例子中，樣本自適應(yīng)偏移參數(shù)推導(dǎo)及自適應(yīng)回路濾波器參數(shù)推導(dǎo)進(jìn)一步被移至前一級(jí)，如圖1OB所示。樣本自適應(yīng)偏移參數(shù)推導(dǎo)及自適應(yīng)回路濾波器參數(shù)推導(dǎo)可基于預(yù)去塊濾波器數(shù)據(jù)(pre-DF data)(即重建過(guò)的數(shù)據(jù))，而不使用去塊濾波器處理過(guò)的像素。此外，樣本自適應(yīng)偏移參數(shù)推導(dǎo)及自適應(yīng)回路濾波器參數(shù)推導(dǎo)可并行執(zhí)行。樣本自適應(yīng)偏移參數(shù)不需要等待當(dāng)前影像單元去塊濾波器處理的完成便可得到。實(shí)際上，樣本自適應(yīng)偏移參數(shù)的獲得可在去塊濾波器處理開(kāi)始之前或在去塊濾波器處理開(kāi)始之后一段短時(shí)期內(nèi)完成。而且，無(wú)論何時(shí)有足夠的去塊濾波器處理過(guò)的數(shù)據(jù)變得可用，樣本自適應(yīng)偏移處理都可開(kāi)始，而不需要等待影像單元的去塊濾波器處理完成。類(lèi)似地，無(wú)論何時(shí)有足夠的樣本自適應(yīng)偏移處理過(guò)的數(shù)據(jù)變得可用，自適應(yīng)回路濾波器處理都可開(kāi)始，而不需要等待影像單元的樣本自適應(yīng)偏移處理完成。樣本自適應(yīng)偏移參數(shù)推導(dǎo)1010也可依賴(lài)于去塊濾波器1050的部分輸出1012。舉例來(lái)說(shuō)，除重建過(guò)的輸出數(shù)據(jù)之外，對(duì)應(yīng)于第一少數(shù)塊的去塊濾波器1050的輸出可包含于樣本自適應(yīng)偏移參數(shù)推導(dǎo)1010中。由于僅使用去塊濾波器1050的部分輸出，后續(xù)樣本自適應(yīng)偏移1020可在去塊濾波器1050完成之前開(kāi)始。類(lèi)似地，自適應(yīng)回路濾波器參數(shù)推導(dǎo)1040也可依賴(lài)于去塊濾波器1050的部分輸出1012以及樣本自適應(yīng)偏移1020的部分輸出1024。由于僅使用樣本自適應(yīng)偏移1020的部分輸出，后續(xù)自適應(yīng)回路濾波器1030可在樣本自適應(yīng)偏移1020完成之前開(kāi)始。圖1OA及圖1OB所示的系統(tǒng)設(shè)置可減少緩沖器需求及處理延遲，而所得到的樣本自適應(yīng)偏移參數(shù)及自適應(yīng)回路濾波器參數(shù)在視覺(jué)效果(PSNR)方面可能不是最佳的。
[0050]為了降低樣本自適應(yīng)偏移及自適應(yīng)回路濾波器的DRAM帶寬需求，依據(jù)本發(fā)明一實(shí)施例將自適應(yīng)回路濾波器處理的存儲(chǔ)器存取與下一圖像編碼過(guò)程的間預(yù)測(cè)(Interprediction)階段的存儲(chǔ)器存取相結(jié)合，如圖1lA所示。由于間預(yù)測(cè)需要存取參考圖像以執(zhí)行運(yùn)動(dòng)估計(jì)或運(yùn)動(dòng)補(bǔ)償，自適應(yīng)回路濾波器過(guò)程可在此階段被執(zhí)行。與傳統(tǒng)的自適應(yīng)回路濾波器實(shí)作相比較，ME/M112及自適應(yīng)回路濾波器132的結(jié)合處理1110可減少對(duì)DRAM的一次附加讀及一次附加寫(xiě)來(lái)產(chǎn)生參數(shù)及應(yīng)用濾波器處理。在濾波器處理被應(yīng)用之后，改進(jìn)的(modified)參考數(shù)據(jù)可藉由替換未被濾波的數(shù)據(jù)而被儲(chǔ)存回參考圖像緩沖器以供將來(lái)使用。圖1lB是結(jié)合回路處理的間預(yù)測(cè)的另一實(shí)施例，其中回路處理包含樣本自適應(yīng)偏移以及自適應(yīng)回路濾波器，以進(jìn)一步降低存儲(chǔ)器帶寬需求。樣本自適應(yīng)偏移以及自適應(yīng)回路濾波器都需要使用去塊濾波器的輸出像素來(lái)作為參數(shù)推導(dǎo)的輸入，如圖1lB所示。與傳統(tǒng)的回路處理相比較，圖1lB的實(shí)施例可減少外部存儲(chǔ)器(例如DRAM)兩次附加讀及兩次附加寫(xiě)來(lái)用于參數(shù)推導(dǎo)及濾波器操作。此外，樣本自適應(yīng)偏移參數(shù)及自適應(yīng)回路濾波器參數(shù)可并行產(chǎn)生，如圖1lB所示。在此實(shí)施例中，自適應(yīng)回路濾波器參數(shù)推導(dǎo)可能不是最佳的。然而，本發(fā)明實(shí)施例相關(guān)的編碼損失可依據(jù)DRAM存儲(chǔ)器存取的實(shí)質(zhì)性減少而被調(diào)整。
[0051]在HM-4.0中，對(duì)于去塊濾波器，不需要濾波器參數(shù)推導(dǎo)。在本發(fā)明另一實(shí)施例中，去塊濾波器的線(xiàn)緩沖器(line buffer)與ME搜索范圍緩沖器共享，如圖1lC所示。在此設(shè)置中，樣本自適應(yīng)偏移及自適應(yīng)回路濾波器使用預(yù)去塊濾波器像素(即重建過(guò)的像素)作為參數(shù)推導(dǎo)的輸入。
[0052]圖1OA及圖1OB是基于相同的源的多個(gè)自適應(yīng)濾波器參數(shù)推導(dǎo)的兩個(gè)實(shí)施例。為了得到基于相同的源的兩種或多種類(lèi)型的自適應(yīng)濾波器處理的自適應(yīng)濾波器參數(shù)，基于前一級(jí)回路處理之前的數(shù)據(jù)，得到至少一組的自適應(yīng)濾波器參數(shù)。圖1OA及圖1OB的實(shí)施例是依據(jù)本發(fā)明的處理流程方面的示意圖，圖12A-圖12B及圖13A-圖13B是依據(jù)本發(fā)明實(shí)施例的時(shí)間方面的示意圖。圖12A-圖12B為包含一種類(lèi)型的自適應(yīng)濾波器處理(例如樣本自適應(yīng)偏移或自適應(yīng)回路濾波器)的編碼系統(tǒng)的一示范性時(shí)間表(time profile)。首先執(zhí)行內(nèi)/間預(yù)測(cè)1210，接著執(zhí)行重建1220。如前所述，轉(zhuǎn)換、量化、去量化(de-quantization)及逆轉(zhuǎn)換(inverse transformation)都隱含包含于內(nèi)/間預(yù)測(cè)1210及重建1220中。由于自適應(yīng)濾波器參數(shù)推導(dǎo)是基于預(yù)去塊濾波器數(shù)據(jù)，當(dāng)重建過(guò)的數(shù)據(jù)變得可用時(shí)，自適應(yīng)濾波器參數(shù)推導(dǎo)可開(kāi)始。一旦當(dāng)前影像單元的重建完成或不久之后，自適應(yīng)濾波器參數(shù)推導(dǎo)也可完成。
[0053]圖12A所示的示范性處理管線(xiàn)流程圖中，去塊1230在當(dāng)前影像單元重建完成之后執(zhí)行。此外，圖12A的實(shí)施例在去塊1230及熵編碼1240開(kāi)始之前完成自適應(yīng)濾波器參數(shù)推導(dǎo)，如此一來(lái)，自適應(yīng)濾波器參數(shù)對(duì)于熵編碼1240并入對(duì)應(yīng)的影像單元比特流的頭部來(lái)說(shuō)便是及時(shí)的。在圖12A的例子中，當(dāng)重建過(guò)的數(shù)據(jù)被產(chǎn)生且被寫(xiě)入至幀緩沖器之前，可存取該重建過(guò)的數(shù)據(jù)用于自適應(yīng)濾波器參數(shù)推導(dǎo)。無(wú)論何時(shí)有足夠的回路處理過(guò)的數(shù)據(jù)(即此例中去塊濾波器處理過(guò)的數(shù)據(jù))變得可用，對(duì)應(yīng)的自適應(yīng)濾波器處理(例如樣本自適應(yīng)偏移或自適應(yīng)回路濾波器)都可開(kāi)始，而不需要等待影像單元上的回路濾波器處理的完成。圖12B所示的實(shí)施例在重建1220完成之后執(zhí)行自適應(yīng)濾波器參數(shù)推導(dǎo)。換言之，自適應(yīng)濾波器參數(shù)推導(dǎo)與去塊1230并行執(zhí)行。在圖12B的例子中，當(dāng)重建過(guò)的數(shù)據(jù)從緩沖器讀回用于去塊時(shí)，可存取該重建過(guò)的數(shù)據(jù)用于自適應(yīng)濾波器參數(shù)推導(dǎo)。當(dāng)獲得自適應(yīng)濾波器參數(shù)時(shí)，熵編碼1240可開(kāi)始將自適應(yīng)濾波器參數(shù)并入對(duì)應(yīng)的影像單元比特流的頭部中。如圖12A及圖12B所示，針對(duì)影像單元周期(period)的一部分(portion)，回路濾波器處理(即此例中的去塊)及自適應(yīng)濾波器處理(即此例中的樣本自適應(yīng)偏移)是同時(shí)執(zhí)行的。根據(jù)圖12A及圖12B的實(shí)施例，在該影像單元周期的一部分期間，回路濾波器可應(yīng)用于影像單元的第一部分中的重建過(guò)的視頻數(shù)據(jù)，同時(shí)自適應(yīng)濾波器可應(yīng)用于影像單元的第二部分中該回路處理過(guò)的數(shù)據(jù)。因?yàn)樽赃m應(yīng)濾波器操作可依賴(lài)于一基礎(chǔ)像素的鄰近像素，所以自適應(yīng)濾波器操作必須等待有足夠的回路處理過(guò)的數(shù)據(jù)變得可用。相應(yīng)地，該影像單元的該第二部分相當(dāng)于有關(guān)該影像單元的該第一部分的延遲的視頻數(shù)據(jù)。針對(duì)該影像單元周期的一部分，當(dāng)回路濾波器應(yīng)用于該影像單元的該第一部分的重建過(guò)的視頻數(shù)據(jù)，同時(shí)自適應(yīng)濾波器應(yīng)用于影像單元的第二部分中該回路處理過(guò)的數(shù)據(jù)時(shí)，這種情況被稱(chēng)為自適應(yīng)濾波器及自適應(yīng)濾波器同時(shí)應(yīng)用于該影像單元的一部分。依賴(lài)于回路濾波器處理及自適應(yīng)濾波器處理的濾波器特性，該并發(fā)的(concurrent)處理可表示該影像單元的大部分。
[0054]有關(guān)于并發(fā)的回路濾波器及自適應(yīng)濾波器的管線(xiàn)流程，如圖12A及圖12B所示，可應(yīng)用于基于圖像的編碼系統(tǒng)，也可應(yīng)用于基于影像單元的編碼系統(tǒng)。在基于圖像的編碼系統(tǒng)中，一旦有足夠的去塊濾波器處理過(guò)的視頻數(shù)據(jù)變得可用，后續(xù)的自適應(yīng)濾波器處理便可應(yīng)用于去塊濾波器處理過(guò)的視頻數(shù)據(jù)。因此，在去塊濾波器及樣本自適應(yīng)偏移之間無(wú)須儲(chǔ)存完整的去塊濾波器處理過(guò)的圖像。在基于影像單元的編碼系統(tǒng)中，并發(fā)的回路濾波器及自適應(yīng)濾波器可應(yīng)用于如前所述的影像單元的一部分。然而，在本發(fā)明另一實(shí)施例中，兩個(gè)連續(xù)的(consecutive)回路濾波器(loop filter)(例如去塊濾波器處理及樣本自適應(yīng)偏移處理)應(yīng)用于兩個(gè)影像單元，該兩個(gè)影像單元被一個(gè)或多個(gè)影像單元所分離。舉例來(lái)說(shuō)，當(dāng)去塊濾波器應(yīng)用于當(dāng)前影像單元時(shí)，樣本自適應(yīng)偏移應(yīng)用于一先前去塊濾波器處理過(guò)的影像單元，其是從當(dāng)前影像單元分離的兩個(gè)影像單元。
[0055]圖13A及圖13B是包含樣本自適應(yīng)偏移及自適應(yīng)回路濾波器的編碼系統(tǒng)的一示范性時(shí)間表。內(nèi)/間預(yù)測(cè)1210、重建1220及去塊1230在一影像單元基礎(chǔ)上被順序地執(zhí)行。由于樣本自適應(yīng)偏移參數(shù)及自適應(yīng)回路濾波器參數(shù)是基于重建過(guò)的數(shù)據(jù)來(lái)得到的，圖13A所示的實(shí)施例在去塊1230開(kāi)始前便執(zhí)行樣本自適應(yīng)偏移參數(shù)推導(dǎo)1330及自適應(yīng)回路濾波器參數(shù)推導(dǎo)1340。因此，樣本自適應(yīng)偏移參數(shù)推導(dǎo)及自適應(yīng)回路濾波器參數(shù)推導(dǎo)可并行執(zhí)行。當(dāng)樣本自適應(yīng)偏移參數(shù)變得可用或者當(dāng)樣本自適應(yīng)偏移參數(shù)及自適應(yīng)回路濾波器參數(shù)變得可用時(shí)，熵編碼1240可開(kāi)始并入影像單元數(shù)據(jù)的頭部中的樣本自適應(yīng)偏移參數(shù)及自適應(yīng)回路濾波器參數(shù)。圖13A是在重建1220期間，執(zhí)行樣本自適應(yīng)偏移參數(shù)推導(dǎo)及自適應(yīng)回路濾波器參數(shù)推導(dǎo)的一實(shí)施例。如前所述，針對(duì)自適應(yīng)濾波器參數(shù)推導(dǎo)，重建過(guò)的數(shù)據(jù)的存取可發(fā)生在產(chǎn)生該重建過(guò)的數(shù)據(jù)時(shí)或?qū)⒃摂?shù)據(jù)寫(xiě)入幀緩沖器之前。樣本自適應(yīng)偏移參數(shù)推導(dǎo)及自適應(yīng)回路濾波器參數(shù)推導(dǎo)可在同一時(shí)間開(kāi)始，也可交錯(cuò)(stagger)進(jìn)行。無(wú)論何時(shí)有足夠的去塊濾波器處理過(guò)的數(shù)據(jù)變得可用，樣本自適應(yīng)偏移處理1310都可開(kāi)始，而不需要等待影像單元上的去塊濾波器處理的完成。無(wú)論何時(shí)有足夠的樣本自適應(yīng)偏移處理過(guò)的數(shù)據(jù)變得可用，自適應(yīng)回路濾波器處理1320都可開(kāi)始，而不需要等待影像單元上的樣本自適應(yīng)偏移處理的完成。圖13B所示的實(shí)施例在重建1220完成之后執(zhí)行樣本自適應(yīng)偏移參數(shù)推導(dǎo)1330及自適應(yīng)回路濾波器參數(shù)推導(dǎo)1340。在獲得樣本自適應(yīng)偏移參數(shù)及自適應(yīng)回路濾波器參數(shù)之后，熵編碼1240可開(kāi)始并入對(duì)應(yīng)的影像單元比特流的頭部中的這些參數(shù)。在圖13B的例子中，針對(duì)自適應(yīng)濾波器參數(shù)推導(dǎo)，重建過(guò)的數(shù)據(jù)的存取可發(fā)生于當(dāng)重建過(guò)的數(shù)據(jù)從緩沖器讀回以用于去塊時(shí)。如圖13A及圖13B所示，針對(duì)影像單元周期的一部分，回路濾波器處理(即此例中的去塊)及多個(gè)自適應(yīng)濾波器處理(即此例中的樣本自適應(yīng)偏移及自適應(yīng)回路濾波器)是同時(shí)發(fā)生。依賴(lài)于回路濾波器處理及自適應(yīng)濾波器處理的濾波器特性，該并發(fā)的處理可表示該影像單元周期的大部分。
[0056]有關(guān)于并發(fā)的回路濾波器及一個(gè)或多個(gè)自適應(yīng)濾波器的管線(xiàn)流程，如圖13A及圖13B所示，可應(yīng)用于基于圖像的編碼系統(tǒng)，也可應(yīng)用于基于影像單元的編碼系統(tǒng)。在基于圖像的編碼系統(tǒng)中，一旦有足夠的去塊濾波器處理過(guò)的視頻數(shù)據(jù)變得可用，后續(xù)的自適應(yīng)濾波器處理便可應(yīng)用于去塊濾波器處理過(guò)的視頻數(shù)據(jù)。因此，在去塊濾波器及樣本自適應(yīng)偏移之間無(wú)須儲(chǔ)存完整的去塊濾波器處理過(guò)的圖像。類(lèi)似地，一旦有足夠的樣本自適應(yīng)偏移處理過(guò)的數(shù)據(jù)變得可用，自適應(yīng)回路濾波器處理便可開(kāi)始，而在樣本自適應(yīng)偏移及自適應(yīng)回路濾波器之間無(wú)須儲(chǔ)存完整的樣本自適應(yīng)偏移處理過(guò)的圖像。在基于影像單元的編碼系統(tǒng)中，并發(fā)的回路濾波器及一個(gè)或多個(gè)自適應(yīng)濾波器可應(yīng)用于如前所述的影像單元的一部分。然而，在本發(fā)明另一實(shí)施例中，兩個(gè)連續(xù)的回路濾波器(例如去塊濾波器處理及樣本自適應(yīng)偏移處理，或者樣本自適應(yīng)偏移處理及自適應(yīng)回路濾波器處理)應(yīng)用于兩個(gè)影像單元，該兩個(gè)影像單元是被一個(gè)或多個(gè)影像單元所分離。舉例來(lái)說(shuō)，當(dāng)去塊濾波器應(yīng)用于當(dāng)前影像單元時(shí)，樣本自適應(yīng)偏移應(yīng)用于一先前去塊濾波器處理過(guò)的影像單元，其是從當(dāng)前影像單元分離的兩個(gè)影像單元。
[0057]圖12A-圖12B及圖13A-圖13B圖為依據(jù)本發(fā)明不同實(shí)施例的自適應(yīng)濾波器參數(shù)推導(dǎo)及處理的示范性時(shí)間表。這些例子不是對(duì)本發(fā)明的時(shí)間表的詳盡說(shuō)明，所屬領(lǐng)域技術(shù)人員可以在不脫離本發(fā)明精神的前提下重新安排或修改該時(shí)間表以實(shí)現(xiàn)本發(fā)明。
[0058]如前所述，在HEVC中，采用基于影像單元的編碼過(guò)程，其中每一影像單元可使用其特有的樣本自適應(yīng)偏移參數(shù)及自適應(yīng)回路濾波器參數(shù)。去塊濾波器處理應(yīng)用于垂直塊邊界與水平塊邊界。針對(duì)與影像單元邊界對(duì)齊(aligned with)的塊邊界，去塊濾波器處理也依賴(lài)于鄰近影像單元的數(shù)據(jù)。因此，在邊界處或邊界附近的某些像素不能被處理，直到所需的鄰近影像單元的像素變得可用。樣本自適應(yīng)偏移處理及自適應(yīng)回路濾波器處理也包含正在處理的一像素附近的鄰近像素。因此，當(dāng)樣本自適應(yīng)偏移及自適應(yīng)回路濾波器應(yīng)用于影像單元邊界時(shí)，需要附加的緩沖器來(lái)容納(accommodate)鄰近影像單元的數(shù)據(jù)。相應(yīng)地，編碼器及解碼器需要分配一個(gè)相當(dāng)大的緩沖器以?xún)?chǔ)存去塊濾波器處理、樣本自適應(yīng)偏移處理及自適應(yīng)回路濾波器處理期間的中間數(shù)據(jù)。該相當(dāng)大的緩沖器本身會(huì)引起長(zhǎng)時(shí)間的編碼或解碼延遲。圖14是用于連續(xù)影像單元的具有去塊濾波器回路處理、樣本自適應(yīng)偏移回路處理及自適應(yīng)回路濾波器回路處理的傳統(tǒng)HEVC解碼器的解碼管線(xiàn)流程的實(shí)施例。輸入的比特流藉由執(zhí)行比特流語(yǔ)法分析(bitstream parsing)及熵解碼的比特流解碼1410來(lái)處理。該被分析過(guò)的及熵解碼過(guò)的符號(hào)接著經(jīng)過(guò)視頻解碼步驟以產(chǎn)生重建過(guò)的殘余量，該視頻解碼步驟包含去量化及逆轉(zhuǎn)換(IQ/IT1420)、內(nèi)預(yù)測(cè)/運(yùn)動(dòng)補(bǔ)償(IP/MC)1430。重建方塊(REC1440)接著操作于該重建過(guò)的殘余量及先前重建過(guò)的視頻數(shù)據(jù)以針對(duì)一當(dāng)前影像單元或塊產(chǎn)生重建過(guò)的視頻數(shù)據(jù)。包含去塊濾波器1450、樣本自適應(yīng)偏移1460及自適應(yīng)回路濾波器1470的各種回路處理接著應(yīng)用于該連續(xù)重建過(guò)的數(shù)據(jù)。在第一影像單元時(shí)間(t=0)，影像單元O藉由比特流解碼1410處理。在下一影像單元時(shí)間(t=l)，影像單元O移動(dòng)到管線(xiàn)的下一階段(即IQ/IT1420及IP/MC1430)，并且一新影像單元(即影像單元I)藉由比特流解碼1410處理。處理繼續(xù)進(jìn)行，在t=5，當(dāng)一新影像單元(即影像單元5)進(jìn)入比特流解碼1410時(shí)，影像單元O到達(dá)自適應(yīng)回路濾波器1470。如圖14所示，需要6個(gè)影像單元周期來(lái)藉由各種回路處理以解碼、重建及處理一影像單元。因此需要降低解碼延遲。此外，任意兩個(gè)連續(xù)階段之間，會(huì)有一緩沖器來(lái)儲(chǔ)存視頻數(shù)據(jù)的影像單元值(image unit worth)。
[0059]依據(jù)本發(fā)明一實(shí)施例的解碼器可降低解碼延遲。如圖13A及圖13B所描述的，樣本自適應(yīng)偏移參數(shù)及自適應(yīng)回路濾波器參數(shù)可基于重建過(guò)的數(shù)據(jù)而得到，并且這些參數(shù)在重建的最后或者不久之后變得可用。因此，無(wú)論何時(shí)有足夠的去塊濾波器處理過(guò)的數(shù)據(jù)可用，樣本自適應(yīng)偏移都可開(kāi)始。類(lèi)似地，無(wú)論何時(shí)有足夠的樣本自適應(yīng)偏移處理過(guò)的數(shù)據(jù)可用，自適應(yīng)回路濾波器都可開(kāi)始。圖15是依據(jù)本發(fā)明實(shí)施例的解碼器的解碼管線(xiàn)流程圖。針對(duì)最初的三個(gè)處理周期，管線(xiàn)流程與傳統(tǒng)解碼器一樣。然而，去塊濾波處理、樣本自適應(yīng)偏移處理及自適應(yīng)回路濾波處理可以交錯(cuò)方式(staggered fashion)開(kāi)始，并且這些處理在三種回路處理類(lèi)型之間實(shí)質(zhì)上(substantially)重迭。換言之，針對(duì)影像單元數(shù)據(jù)的一部分，回路濾波器(即此例中去塊濾波器)以及一個(gè)或多個(gè)自適應(yīng)濾波器(即此例中樣本自適應(yīng)偏移及自適應(yīng)回路濾波器)是同時(shí)執(zhí)行。相應(yīng)地，相較于傳統(tǒng)HEVC解碼器來(lái)說(shuō)，解碼延遲得以降低。
[0060]圖15所示的實(shí)施例有助于降低解碼延遲，其是藉由允許去塊濾波、樣本自適應(yīng)偏移及自適應(yīng)回路濾波以交錯(cuò)方式來(lái)執(zhí)行，如此一來(lái)，在一完整影像單元上，后續(xù)處理便不需要等待前一階段處理的完成。然而，去塊濾波處理、樣本自適應(yīng)偏移處理及自適應(yīng)回路濾波可依賴(lài)于鄰近像素，對(duì)于影像單元邊界附近的像素來(lái)說(shuō)，會(huì)導(dǎo)致鄰近影像單元上的數(shù)據(jù)相關(guān)性。圖16是依據(jù)本發(fā)明一實(shí)施例的基于影像單元的具有去塊濾波處理及至少一自適應(yīng)濾波處理的解碼器的一示范性解碼管線(xiàn)流程圖。塊1601?1605表示五個(gè)影像單元，其中每一影像單元包含16x16像素且每一像素以一小正方形1646表示。影像單元1605是當(dāng)前要處理的影像單元。由于影像單元邊界有關(guān)去塊濾波器的數(shù)據(jù)相關(guān)性，當(dāng)前影像單元的一次區(qū)域(sub-region)及從先前處理過(guò)的鄰近影像單元而來(lái)的三個(gè)次區(qū)域可由去塊濾波器處理。窗口(也稱(chēng)為移動(dòng)窗口)由粗虛線(xiàn)框1610及四個(gè)次區(qū)域表示，該四個(gè)次區(qū)域是分別對(duì)應(yīng)于影像單元1601、1602、1604及1605中的四個(gè)白色區(qū)域(white area)。依據(jù)光柵掃描順序處理這些影像單元，即從影像單元1601至影像單元1605。圖16所示的窗口對(duì)應(yīng)于有關(guān)影像單元1605的一時(shí)間段內(nèi)被處理的像素。此時(shí)，陰影區(qū)域1620完全是被去塊濾波器處理。陰影區(qū)域1630由水平去塊濾波器處理，而不由垂直去塊濾波器處理。影像單元1605中的陰影區(qū)域1640既不由水平去塊濾波器處理，也不由垂直去塊濾波器處理。
[0061]圖15顯示一編碼系統(tǒng)，允許對(duì)影像單元的至少一部分同時(shí)執(zhí)行去塊濾波器、樣本自適應(yīng)偏移及自適應(yīng)回路濾波器，以降低緩沖器需求及處理延遲。圖15所示的去塊濾波處理、樣本自適應(yīng)偏移處理及自適應(yīng)回路濾波處理可應(yīng)用于圖16所示的系統(tǒng)中。針對(duì)當(dāng)前窗口 1610，可首先應(yīng)用水平去塊濾波器，接著應(yīng)用垂直去塊濾波器。樣本自適應(yīng)偏移操作需要鄰近像素以獲得濾波器類(lèi)型信息。因此，本發(fā)明一實(shí)施例儲(chǔ)存移動(dòng)窗口外的右邊界及底邊界的相關(guān)像素的信息，該信息是獲得類(lèi)型信息所需要的。類(lèi)型信息可基于邊界標(biāo)志(edgesign)(即窗口中一基礎(chǔ)像素與一鄰近像素之間差異的標(biāo)志)得到。儲(chǔ)存標(biāo)志信息(signinformation)比儲(chǔ)存像素值(pixel value)更加緊湊(compact)。相應(yīng)地,如圖16中白色圓圈1644所示，獲得標(biāo)志信息以用于窗口中右邊界及底邊界的像素。當(dāng)前窗口中右邊界及底邊界的有關(guān)像素的標(biāo)志信息會(huì)被儲(chǔ)存以用于后續(xù)窗口的樣本自適應(yīng)偏移處理。換言之，當(dāng)樣本自適應(yīng)偏移用于窗口內(nèi)左邊界及上邊界的像素時(shí)，窗口外的邊界像素已經(jīng)被去塊濾波器處理且不能用于類(lèi)型信息推導(dǎo)。然而，窗口中與邊界像素有關(guān)的先前儲(chǔ)存的標(biāo)志信息可被取回(retrieve)以獲得類(lèi)型信息。用于當(dāng)前窗口的樣本自適應(yīng)偏移處理的與先前儲(chǔ)存的標(biāo)志信息有關(guān)的像素位置由圖16中黑色圓圈1648表示。系統(tǒng)會(huì)儲(chǔ)存先前計(jì)算過(guò)的標(biāo)志信息以用于與當(dāng)前窗口的頂行對(duì)齊的一行1652、當(dāng)前窗口底部之下的一行1654以及與當(dāng)前窗口最左行對(duì)齊的一列1656。在當(dāng)前窗口的樣本自適應(yīng)偏移處理完成之后，當(dāng)前窗口向右移且儲(chǔ)存的標(biāo)志信息可被更新。當(dāng)窗口在右側(cè)達(dá)到圖像邊界時(shí)，該窗口向下移且從左側(cè)圖像邊界開(kāi)始。
[0062]圖16所示的當(dāng)前窗口 1610覆蓋了穿過(guò)四個(gè)鄰近影像單元(即最大編碼單元1601、1602、1604及1605)中的像素。然而，窗口可覆蓋一個(gè)或兩個(gè)最大編碼單元。處理窗口從位于圖像左上角第一最大編碼單元開(kāi)始，且以光柵掃描方式穿過(guò)圖像移動(dòng)。圖17A至圖17C是處理進(jìn)展(processing progression)的一實(shí)施例。圖17A是有關(guān)于一圖像的第一最大編碼單元1710a的處理窗口。LCU_x及LCU_y分別表示最大編碼單元水平及垂直索引(index)。當(dāng)前窗口以具有右側(cè)邊界1702a及底側(cè)邊界1704a的白色背景的區(qū)域表示。頂窗口邊界及左窗口邊界被圖像邊界界化(bound)。在圖17A中，16x16最大編碼單元尺寸被用來(lái)作為一個(gè)例子且每一正方形對(duì)應(yīng)于一像素。完整的去塊濾波器處理(即水平去塊濾波器處理及垂直去塊濾波器處理)可用于窗口 1720a (即白色背景區(qū)域)中的像素。針對(duì)區(qū)域1730a，由于最大編碼單元之下的邊界像素不可用，可采用水平去塊濾波器處理而不能采用垂直去塊濾波器處理。針對(duì)區(qū)域1740a，由于右邊最大編碼單元的邊界像素不可用，不能采用水平去塊濾波器處理。因此，后續(xù)的垂直去塊濾波器處理也不能應(yīng)用于區(qū)域1740a。針對(duì)窗口 1720a內(nèi)的像素，樣本自適應(yīng)偏移處理可在去塊濾波器處理之后采用。如前所述，窗口底部邊界1740a之下的像素行1751及右窗口邊界1702a之外的像素列1712a有關(guān)的標(biāo)志信息被計(jì)算及儲(chǔ)存以用于獲得后續(xù)最大編碼單元的樣本自適應(yīng)偏移處理的類(lèi)型信息。標(biāo)志信息被計(jì)算及儲(chǔ)存的像素位置以白色圓圈表示。在圖17A中，窗口包含一次區(qū)域(即區(qū)域1720a)。
[0063]圖17B是下一窗口的處理管線(xiàn)流程圖，其中該窗口覆蓋穿過(guò)兩個(gè)最大編碼單元1710a及1710b的像素。最大編碼單元1710b的處理管線(xiàn)流程與在前一窗口周期的最大編碼單元1710a的處理管線(xiàn)流程一樣。當(dāng)前窗口被窗口邊界1702b、1704b及1706b圍繞(enclose)。當(dāng)前窗口 1720b內(nèi)的像素包含(cover)最大編碼單元1710a及1710b的像素，如圖17B中白色背景區(qū)域所示。列1712a中像素的標(biāo)志信息變成先前儲(chǔ)存的信息且用來(lái)獲得當(dāng)前窗口邊界1706b內(nèi)邊界像素的樣本自適應(yīng)偏移類(lèi)型信息。鄰近右側(cè)窗口邊界1702b的列像素1712b中的標(biāo)志信息，以及底部窗口邊界1704b之下的行像素1753被計(jì)算及儲(chǔ)存以用于后續(xù)最大編碼單元的樣本自適應(yīng)偏移處理。先前窗口區(qū)域1720a變成完全由回路濾波器及一個(gè)或多個(gè)自適應(yīng)濾波器(即此例中的樣本自適應(yīng)偏移)處理。區(qū)域1730b表示由水平去塊濾波器處理的像素，以及區(qū)域1740b表示既不由水平去塊濾波器處理也不由垂直去塊濾波器處理的像素。在當(dāng)前窗口 1720b被去塊濾波器處理及樣本自適應(yīng)偏移處理之后，處理管線(xiàn)流程移至下一窗口。在圖17B中，該窗口包含兩個(gè)次區(qū)域(即最大編碼單元1710a中的白色區(qū)域及最大編碼單元1710b中的白色區(qū)域)。
[0064]圖17C是在一圖像的一第二最大編碼單元行的起始處的一最大編碼單元的處理管線(xiàn)流程圖。當(dāng)前窗口由具有白色背景及窗口邊界1702d、1704d及1708d的區(qū)域1720d表示。該窗口包含兩個(gè)最大編碼單元(即最大編碼單元1710a及1710d)的像素。區(qū)域1760d被去塊濾波器及樣本自適應(yīng)偏移處理。區(qū)域1730d只被水平去塊濾波器處理，以及區(qū)域1740d既不由水平去塊濾波器處理也不由垂直去塊濾波器處理。像素行1755表示經(jīng)計(jì)算及儲(chǔ)存的標(biāo)志信息，以用于與當(dāng)前窗口頂行對(duì)齊的像素的樣本自適應(yīng)偏移處理。底部窗口邊界1704d之下的像素行1757及鄰近右側(cè)窗口邊界1702d的像素列1712d的標(biāo)志信息被計(jì)算及儲(chǔ)存，以用于判定后續(xù)最大編碼單元的對(duì)應(yīng)窗口邊界處的像素的樣本自適應(yīng)偏移類(lèi)型信息。在完成當(dāng)前窗口(即LCU_x=0及LCU_y=l)的之，處理管線(xiàn)流程移至下一窗口(即LCU_x=l及LCU_y=l )。在下一窗口周期，對(duì)應(yīng)于(LCU_x=l及LCU_y=l)的窗口變成當(dāng)前窗口，如圖16所示。在圖17C中，該窗口包含兩個(gè)次區(qū)域(亦即大編碼單元1710a中的白色區(qū)域及最大編碼單元1710d中的白色區(qū)域)。
[0065]圖16中的例子是依據(jù)本發(fā)明一實(shí)施例的編碼系統(tǒng),其中移動(dòng)窗口是用來(lái)利用回路濾波器(即此例中的去塊濾波器)及自適應(yīng)濾波器(即此例中的樣本自適應(yīng)偏移)來(lái)處理基于最大編碼單元的編碼。該窗口被配置為考慮穿過(guò)最大編碼單元邊界的基礎(chǔ)回路濾波器及自適應(yīng)濾波器的數(shù)據(jù)相關(guān)性。每一移動(dòng)窗口包含I個(gè)、2個(gè)或4個(gè)最大編碼單元的像素以處理窗口邊界內(nèi)的所有像素。此外，窗口中像素的自適應(yīng)濾波器處理需要附加的緩沖器。舉例來(lái)說(shuō)，對(duì)于底部窗口邊界之下的像素以及右側(cè)窗口邊界外的像素，邊緣標(biāo)志信息被計(jì)算及儲(chǔ)存以用于后續(xù)窗口的樣本自適應(yīng)偏移處理，如圖16所示。當(dāng)在上述實(shí)施例中僅使用樣本自適應(yīng)偏移作為唯一的自適應(yīng)濾波器，也會(huì)包含附加的自適應(yīng)濾波器，例如自適應(yīng)回路濾波器。如果包含自適應(yīng)回路濾波器，移動(dòng)窗口必須被重新設(shè)置以考慮到與自適應(yīng)回路濾波器有關(guān)的附加數(shù)據(jù)相關(guān)性。
[0066]在圖16中的例子中，在回路濾波器應(yīng)用于一當(dāng)前窗口之后，自適應(yīng)濾波器應(yīng)用于該當(dāng)前窗口。在基于圖像的系統(tǒng)中，自適應(yīng)濾波器不能應(yīng)用于基礎(chǔ)視頻數(shù)據(jù)，直到去塊濾波器處理完一完整的圖像?；趫D像的去塊濾波器的完成，針對(duì)該圖像，可判定樣本自適應(yīng)偏移信息，樣本自適應(yīng)偏移從而應(yīng)用于該圖像。在基于最大編碼單元的處理中，不需要緩沖完整的圖像，并且后續(xù)自適應(yīng)濾波器可應(yīng)用于去塊濾波器處理過(guò)的視頻數(shù)據(jù)而不需要等待該圖像的去塊濾波器處理的完成。此外，針對(duì)最大編碼單元的一部分，回路濾波器及一個(gè)或多個(gè)自適應(yīng)濾波器可同時(shí)應(yīng)用于最大編碼單元。然而，在本發(fā)明另一實(shí)施例中，兩個(gè)連續(xù)的回路濾波器(例如去塊濾波器處理及樣本自適應(yīng)偏移處理，或者樣本自適應(yīng)偏移處理及自適應(yīng)回路濾波器處理)應(yīng)用于兩個(gè)窗口，該兩個(gè)窗口是被一個(gè)或多個(gè)窗口分離。舉例來(lái)說(shuō)，當(dāng)去塊濾波器應(yīng)用于一當(dāng)前窗口，樣本自適應(yīng)偏移應(yīng)用于一先前去塊濾波器處理過(guò)的窗口，此窗口是從當(dāng)前窗口分離的。
[0067]如前所述，依據(jù)本發(fā)明實(shí)施例當(dāng)去塊濾波器處理、樣本自適應(yīng)偏移及自適應(yīng)回路濾波器處理同時(shí)應(yīng)用于該移動(dòng)窗口的一部分時(shí)，回路濾波器及自適應(yīng)濾波器也可順序應(yīng)用于每一窗口中。例如，一移動(dòng)窗口可被分成多個(gè)部分，其中回路濾波器及自適應(yīng)濾波器可順序應(yīng)用于該窗口的這些部分。例如，回路濾波器可應(yīng)用于該窗口的第一部分。在第一部分的回路濾波完成之后，自適應(yīng)濾波器可應(yīng)用于該第一部分。在回路濾波器及自適應(yīng)濾波器應(yīng)用于該第一部分之后，回路濾波器及自適應(yīng)濾波器可順序應(yīng)用于該窗口的第二部分。
[0068]以上描述可使所屬領(lǐng)域技術(shù)人員依據(jù)特定應(yīng)用及要求實(shí)作本發(fā)明。所述實(shí)施例的各種修改對(duì)于所屬領(lǐng)域技術(shù)人員都是顯而易見(jiàn)的，并且此處定義的一般原理可應(yīng)用于其他實(shí)施例中。因此，本發(fā)明并非限定于本說(shuō)明書(shū)揭露的特定實(shí)施例，而是符合此處揭露的原理及新穎特征的最大范圍。在上述詳細(xì)說(shuō)明中，列舉各種具體細(xì)節(jié)以提供本發(fā)明的全面理解。然而，所屬領(lǐng)域技術(shù)人員容易理解本發(fā)明可被實(shí)作。
[0069]上述本發(fā)明實(shí)施例可通過(guò)各種硬件、軟件碼、或者二者的結(jié)合來(lái)實(shí)作。舉例來(lái)說(shuō)，本發(fā)明一實(shí)施例可以是整合到視頻壓縮芯片上的電路或者是整合到視頻壓縮軟件中的程式碼，以執(zhí)行上述處理。本發(fā)明一實(shí)施例也可為在數(shù)字信號(hào)處理器(Digital SignalProcessor, DSP)上執(zhí)行的程式編碼，以執(zhí)行上述處理。本發(fā)明也可包含藉由計(jì)算機(jī)處理器、數(shù)字信號(hào)處理器、微處理器或現(xiàn)場(chǎng)可編程門(mén)陣列(field programmable gate array, FPGA)執(zhí)行的若干功能。依據(jù)本發(fā)明，通過(guò)執(zhí)行定義本發(fā)明的特定方法的機(jī)器可讀軟件碼或固件(firmware)碼，這些處理器可被設(shè)置以執(zhí)行特定的任務(wù)。軟件碼或固件碼可以不同的程式語(yǔ)言及不同的格式或類(lèi)型來(lái)開(kāi)發(fā)。軟件碼也可對(duì)不同的目標(biāo)平臺(tái)進(jìn)行編譯。然而，依據(jù)本發(fā)明用來(lái)執(zhí)行任務(wù)的軟件碼不同的碼格式、類(lèi)型及語(yǔ)言以及其他設(shè)置碼的方式都不會(huì)脫離本發(fā)明的精神及范圍。
[0070]本發(fā)明可以其他特定形式體現(xiàn)而不脫離本發(fā)明的精神和基本特征。上述實(shí)施例僅作為說(shuō)明而非用來(lái)限制本發(fā)明，本發(fā)明的保護(hù)范圍當(dāng)視權(quán)利要求書(shū)所界定者為準(zhǔn)。凡依本發(fā)明權(quán)利要求書(shū)所做的均等變化與修飾，皆應(yīng)屬本發(fā)明的涵蓋范圍。
【權(quán)利要求】
1.一種編碼視頻數(shù)據(jù)的方法，其特征在于，所述的方法包含: 從原始視頻數(shù)據(jù)及預(yù)測(cè)信號(hào)中產(chǎn)生預(yù)測(cè)殘余量； 從處理過(guò)的預(yù)測(cè)殘余量及所述的預(yù)測(cè)信號(hào)中產(chǎn)生重建過(guò)的視頻數(shù)據(jù)； 基于所述的原始視頻數(shù)據(jù)及預(yù)回路視頻數(shù)據(jù)來(lái)估計(jì)第一自適應(yīng)濾波器的第一自適應(yīng)濾波器參數(shù)，其中所述的預(yù)回路視頻數(shù)據(jù)對(duì)應(yīng)于所述的重建過(guò)的視頻數(shù)據(jù)或者被回路濾波器處理之前處理過(guò)的重建過(guò)的視頻數(shù)據(jù)； 使用所述的回路濾波器來(lái)處理所述的預(yù)回路視頻數(shù)據(jù)以產(chǎn)生第一處理過(guò)的視頻數(shù)據(jù)；以及 使用具有被估計(jì)的所述的第一自適應(yīng)濾波器參數(shù)的所述的第一自適應(yīng)濾波器來(lái)處理所述的第一處理過(guò)的視頻數(shù)據(jù)，以產(chǎn)生第二處理過(guò)的視頻數(shù)據(jù)。
2.如權(quán)利要求1所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的第一自適應(yīng)濾波器參數(shù)被判定以用于當(dāng)前圖像的單獨(dú)影像單元。
3.如權(quán)利要求2所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的估計(jì)所述的第一自適應(yīng)濾波器參數(shù)更依賴(lài)于先前估計(jì)的相鄰影像單元的第一自適應(yīng)濾波器參數(shù)。
4.如權(quán)利要求1所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的估計(jì)所述的第一自適應(yīng)濾波器的所述的第一自適應(yīng)濾波器參數(shù)更基于部分第一處理過(guò)的視頻數(shù)據(jù)。
5.如權(quán)利要求1所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的第一自適應(yīng)濾波器參數(shù)是包含于與所述的視頻數(shù)據(jù)有關(guān)的視頻比特流中。
6.如權(quán)利要求1所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的回路濾波器對(duì)應(yīng)于去塊濾波器。
7.如權(quán)利要求1所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的第一自適應(yīng)濾波器對(duì)應(yīng)于樣本自適應(yīng)偏移。
8.如權(quán)利要求1所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的第一自適應(yīng)濾波器對(duì)應(yīng)于自適應(yīng)回路濾波器。
9.如權(quán)利要求1所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的方法更包含: 基于所述的原始視頻數(shù)據(jù)及所述的預(yù)回路視頻數(shù)據(jù)來(lái)估計(jì)第二自適應(yīng)濾波器的第二自適應(yīng)濾波器參數(shù)；以及 使用具有被估計(jì)的所述的第二自適應(yīng)濾波器參數(shù)的所述的第二自適應(yīng)濾波器來(lái)處理所述的第二處理過(guò)的視頻數(shù)據(jù)。
10.如權(quán)利要求9所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的第一自適應(yīng)濾波器對(duì)應(yīng)于樣本自適應(yīng)偏移以及所述的第二自適應(yīng)濾波器對(duì)應(yīng)于自適應(yīng)回路濾波器。
11.如權(quán)利要求9所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的估計(jì)所述的第二自適應(yīng)濾波器的所述的第二自適應(yīng)濾波器參數(shù)更基于部分第一處理過(guò)的視頻數(shù)據(jù)。
12.如權(quán)利要求1所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的方法更包含: 基于所述的原始視頻數(shù)據(jù)及所述的第一處理過(guò)的視頻數(shù)據(jù)來(lái)估計(jì)第二自適應(yīng)濾波器的第二自適應(yīng)濾波器參數(shù)；以及 使用具有被估計(jì)的所述的第二自適應(yīng)濾波器參數(shù)的所述的第二自適應(yīng)濾波器來(lái)處理所述的第二處理過(guò)的視頻數(shù)據(jù)。
13.如權(quán)利要求12所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的估計(jì)所述的第二自適應(yīng)濾波器的所述的第二自適應(yīng)濾波器參數(shù)更基于部分第二處理過(guò)的視頻數(shù)據(jù)。
14.一種編碼視頻數(shù)據(jù)的方法，其特征在于，所述的方法包含: 從原始視頻數(shù)據(jù)及預(yù)測(cè)信號(hào)中產(chǎn)生預(yù)測(cè)殘余量； 從處理過(guò)的預(yù)測(cè)殘余量及所述的預(yù)測(cè)信號(hào)中產(chǎn)生重建過(guò)的視頻數(shù)據(jù)； 基于影像單元的所述的原始視頻數(shù)據(jù)及預(yù)回路視頻數(shù)據(jù)，估計(jì)用于所述的影像單元的第一自適應(yīng)濾波器的第一自適應(yīng)濾波器參數(shù)，其中所述的預(yù)回路視頻數(shù)據(jù)對(duì)應(yīng)于所述的重建過(guò)的視頻數(shù)據(jù)或者被回路濾波器處理之前處理過(guò)的重建過(guò)的視頻數(shù)據(jù)； 使用所述的回路濾波器及所述的第一自適應(yīng)濾波器來(lái)處理所述的預(yù)回路視頻數(shù)據(jù)的移動(dòng)窗口，其中所述的移動(dòng)窗口包含對(duì)應(yīng)于當(dāng)前圖像的一個(gè)或多個(gè)影像單元的一個(gè)或多個(gè)次區(qū)域； 其中所述的回路濾波器及所述的第一自適應(yīng)濾波器同時(shí)應(yīng)用于當(dāng)前移動(dòng)窗口的至少一部分，或者所述的第一自適應(yīng)濾波器應(yīng)用于第二移動(dòng)窗口且所述的回路濾波器同時(shí)應(yīng)用于第一移動(dòng)窗口，其中所述的第二移動(dòng)窗口從所述的第一移動(dòng)窗口延遲一個(gè)或多個(gè)移動(dòng)窗口 ； 其中所述的回路濾波器應(yīng)用于所述的預(yù)回路視頻數(shù)據(jù)以產(chǎn)生第一處理過(guò)的數(shù)據(jù)；以及所述的第一自適應(yīng)濾波器應(yīng)用于使用被估計(jì)的所述的第一自適應(yīng)濾波器參數(shù)的所述的第一處理過(guò)的數(shù)據(jù)上以產(chǎn)生第二處理過(guò)的視頻數(shù)據(jù)。
15.如權(quán)利要求14所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的估計(jì)所述的第一自適應(yīng)濾波器的所述的第一自適應(yīng)濾波器參數(shù)更基于部分第一處理過(guò)的視頻數(shù)據(jù)。
16.如權(quán)利要求14所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的方法更包含有: 針對(duì)所述的影像單元，基于所述的影像單元的所述的原始視頻數(shù)據(jù)及所述的預(yù)回路視頻數(shù)據(jù)來(lái)估計(jì)第二自適應(yīng)濾波器的第二自適應(yīng)濾波器參數(shù)； 應(yīng)用所述的第二自適應(yīng)濾波器于使用被估計(jì)的所述的第二自適應(yīng)濾波器參數(shù)的所述的第二處理過(guò)的視頻數(shù)據(jù)；以及 其中所述的回路濾波器、所述的第一自適應(yīng)濾波器及所述的第二自適應(yīng)濾波器同時(shí)應(yīng)用于所述的當(dāng)前移動(dòng)窗口的至少一部分，或者所述的第二自適應(yīng)濾波器同時(shí)應(yīng)用于第三移動(dòng)窗口，其中所述的第三移動(dòng)窗口從所述的第二移動(dòng)窗口延遲一個(gè)或多個(gè)移動(dòng)窗口。
17.如權(quán)利要求16所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的估計(jì)所述的第二自適應(yīng)濾波器的所述的第二自適應(yīng)濾波器參數(shù)更基于部分第二處理過(guò)的視頻數(shù)據(jù)。
18.如權(quán)利要求14所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的回路濾波器對(duì)應(yīng)于去塊濾波器。
19.如權(quán)利要求14所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的第一自適應(yīng)濾波器對(duì)應(yīng)于樣本自適應(yīng)偏移。
20.如權(quán)利要求14所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的方法另包含: 對(duì)所述的移動(dòng)窗口的至少部分邊界像素，判定有關(guān)于所述的第一自適應(yīng)濾波器的至少部分?jǐn)?shù)據(jù)相關(guān)性；以及 儲(chǔ)存所述的至少部分邊界像素的至少部分?jǐn)?shù)據(jù)相關(guān)性，其中所述的至少部分邊界像素的至少部分?jǐn)?shù)據(jù)相關(guān)性用于后續(xù)移動(dòng)窗口的所述的第一自適應(yīng)濾波器。
21.如權(quán)利要求20所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的第一自適應(yīng)濾波器對(duì)應(yīng)于樣本自適應(yīng)偏移，所述的至少部分?jǐn)?shù)據(jù)相關(guān)性有關(guān)于所述的樣本自適應(yīng)偏移的類(lèi)型信息，所述的至少部分邊界像素包含所述的移動(dòng)窗口的右側(cè)或底部的邊界像素。
22.如權(quán)利要求14所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的移動(dòng)窗口是依據(jù)影像單元邊界處與所述的回路濾波器有關(guān)的數(shù)據(jù)相關(guān)性來(lái)設(shè)置。
23.如權(quán)利要求22所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的移動(dòng)窗口另依據(jù)所述的影像單元邊界處與所述的第一自適應(yīng)濾波器有關(guān)的數(shù)據(jù)相關(guān)性來(lái)設(shè)置。
24.如權(quán)利要求14所述的編碼視頻數(shù)據(jù)的方法，其特征在于，所述的影像單元對(duì)應(yīng)于最大編碼單元或宏模塊。
25.—種編碼視頻數(shù)據(jù)的裝置，其特征在于，所述的裝置包含: 從原始視頻數(shù)據(jù)及預(yù)測(cè)信號(hào)中產(chǎn)生預(yù)測(cè)殘余量的裝置； 從處理過(guò)的預(yù)測(cè)殘余量及所述的預(yù)測(cè)信號(hào)中產(chǎn)生重建過(guò)的視頻數(shù)據(jù)的裝置； 基于所述的原始視頻數(shù)據(jù)及所述的預(yù)回路視頻數(shù)據(jù)估計(jì)第一自適應(yīng)濾波器的第一自適應(yīng)濾波器參數(shù)的裝置，其中所述的預(yù)回路視頻數(shù)據(jù)對(duì)應(yīng)于所述的重建過(guò)的視頻數(shù)據(jù)或者被回路濾波器 處理之前處理過(guò)的重建過(guò)的視頻數(shù)據(jù)； 使用所述的回路濾波器來(lái)處理所述的預(yù)回路視頻數(shù)據(jù)以產(chǎn)生第一處理過(guò)的視頻數(shù)據(jù)的裝置；以及 使用具有被估計(jì)的所述的第一自適應(yīng)濾波器參數(shù)的所述的第一自適應(yīng)濾波器來(lái)處理所述的第一處理過(guò)的視頻數(shù)據(jù)以產(chǎn)生第二處理過(guò)的視頻數(shù)據(jù)的裝置。
26.如權(quán)利要求25所述的編碼視頻數(shù)據(jù)的裝置，其特征在于，所述的裝置更包含: 基于所述的原始視頻數(shù)據(jù)及預(yù)回路視頻數(shù)據(jù)估計(jì)第二自適應(yīng)濾波器的第二自適應(yīng)濾波器參數(shù)的裝置；以及 使用具有被估計(jì)的所述的第二自適應(yīng)濾波器參數(shù)的所述的第二自適應(yīng)濾波器來(lái)處理所述的第二處理過(guò)的視頻數(shù)據(jù)的裝置。
27.—種編碼視頻數(shù)據(jù)的裝置，其特征在于，所述的裝置包含: 從原始視頻數(shù)據(jù)及預(yù)測(cè)信號(hào)中產(chǎn)生預(yù)測(cè)殘余量的裝置； 從處理過(guò)的預(yù)測(cè)殘余量及所述的預(yù)測(cè)信號(hào)中產(chǎn)生重建過(guò)的視頻數(shù)據(jù)的裝置； 基于影像單元的所述的原始視頻數(shù)據(jù)及預(yù)回路視頻數(shù)據(jù)，估計(jì)用于所述的影像單元的第一自適應(yīng)濾波器的第一自適應(yīng)濾波器參數(shù)的裝置，其中所述的預(yù)回路視頻數(shù)據(jù)對(duì)應(yīng)于所述的重建過(guò)的視頻數(shù)據(jù)或者被后續(xù)回路濾波器處理之前處理過(guò)的重建過(guò)的視頻數(shù)據(jù)；使用所述的回路濾波器及所述的第一自適應(yīng)濾波器來(lái)處理所述的預(yù)回路視頻數(shù)據(jù)的移動(dòng)窗口的裝置，其中所述的移動(dòng)窗口包含對(duì)應(yīng)于當(dāng)前圖像的一個(gè)或多個(gè)影像單元的一個(gè)或多個(gè)次區(qū)域； 其中所述的回路濾波器及所述的第一自適應(yīng)濾波器同時(shí)應(yīng)用于當(dāng)前移動(dòng)窗口的至少一部分，或者所述的第一自適應(yīng)濾波器應(yīng)用于第二移動(dòng)窗口且所述的回路濾波器同時(shí)應(yīng)用于第一移動(dòng)窗口，其中所述的第二移動(dòng)窗口從所述的第一移動(dòng)窗口延遲一個(gè)或多個(gè)移動(dòng)窗Π ； 其中所述的回路濾波器應(yīng)用于所述的預(yù)回路視頻數(shù)據(jù)以產(chǎn)生第一處理過(guò)的數(shù)據(jù)；以及所述的第一自適應(yīng)濾波器應(yīng)用于使用被估計(jì)的所述的第一自適應(yīng)濾波器參數(shù)的所述的第一處理過(guò)的數(shù)據(jù)以產(chǎn)生第二處理過(guò)的視頻數(shù)據(jù)。
28.如權(quán)利要求27所述的編碼視頻數(shù)據(jù)的裝置，其特征在于，所述的裝置更包含:基于所述的影像單元的所述的原始視頻數(shù)據(jù)及所述的預(yù)回路視頻數(shù)據(jù)來(lái)估計(jì)第二自適應(yīng)濾波器的第二自適應(yīng)濾波器參數(shù)的裝置； 使用被估計(jì)的所述的第二自適應(yīng)濾波器參數(shù)并應(yīng)用所述的第二自適應(yīng)濾波器于所述的第二處理過(guò)的視頻數(shù)據(jù)的裝置；以及 其中所述的回路濾波器、所述的第一自適應(yīng)濾波器及所述的第二自適應(yīng)濾波器同時(shí)應(yīng)用于所述的當(dāng)前移動(dòng)窗口的至少一部分，或者所述的第二自適應(yīng)濾波器同時(shí)應(yīng)用于第三移動(dòng)窗口，其中所述的 第三移動(dòng)窗口從所述的第二移動(dòng)窗口延遲一個(gè)或多個(gè)移動(dòng)窗口。
【文檔編號(hào)】H04N19/82GK103891277SQ201280050445
【公開(kāi)日】2014年6月25日 申請(qǐng)日期:2012年10月11日 優(yōu)先權(quán)日:2011年10月14日
【發(fā)明者】李坤儐, 陳翊豪, 朱啟誠(chéng), 黃毓文, 雷少民, 傅智銘, 陳慶曄, 蔡家揚(yáng), 徐志瑋 申請(qǐng)人:聯(lián)發(fā)科技股份有限公司