本申請(qǐng)是2010年3月10日提交的申請(qǐng)?zhí)枮?01080011373.9的發(fā)明專(zhuān)利申請(qǐng)“用于視頻編碼器中的快速幾何模式判定的方法和設(shè)備”的分案申請(qǐng)。
相關(guān)申請(qǐng)的交叉引用
本申請(qǐng)要求2009年3月12日提交的美國(guó)臨時(shí)申請(qǐng)序列號(hào)no.61/159,573(代理案卷no.pu090032)的權(quán)益,在此通過(guò)引用并入其全部?jī)?nèi)容。
本原理一般地涉及視頻編碼和解碼,更具體地涉及用于去偽像濾波的基于區(qū)域的濾波器參數(shù)選擇的方法和裝置。
背景技術(shù):
視頻編碼標(biāo)準(zhǔn)采用基于塊的變換(例如,普遍存在的離散余弦變換,或者dct)以及運(yùn)動(dòng)補(bǔ)償來(lái)實(shí)現(xiàn)壓縮效率。變換系數(shù)的粗略量化以及在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)中鄰近塊使用不同的參考位置或者不同的參考畫(huà)面可能產(chǎn)生視覺(jué)上干擾的偽像,諸如邊緣周?chē)氖д妗⒓y理或者塊的不連續(xù)性。在國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)(iso/iec)移動(dòng)圖像專(zhuān)家組-4(mpeg-4)第十部分高級(jí)視頻編碼(avc)標(biāo)準(zhǔn)/國(guó)際電信聯(lián)盟電信分部(itu-t)h.264推薦(下文中的“mpeg-4avc標(biāo)準(zhǔn)”)的當(dāng)前技術(shù)水平下,引入了自適應(yīng)去塊濾波器來(lái)應(yīng)對(duì)(combat)沿塊邊界發(fā)生的偽像。
已經(jīng)提出許多通常的去偽像方法來(lái)不僅僅應(yīng)對(duì)關(guān)于塊不連續(xù)性的偽像還應(yīng)對(duì)圖像奇點(diǎn)(singularity)(例如邊緣和/或紋理)周?chē)膫蜗?,無(wú)論這些偽像可能在哪兒出現(xiàn)。在第一現(xiàn)有技術(shù)方法中,為了使性能最大化,去偽像濾波器的閾值必須考慮視頻編碼過(guò)程施加的局部編碼條件。例如,在單個(gè)幀內(nèi),mpeg-4avc標(biāo)準(zhǔn)提供了各種預(yù)測(cè)模式(幀內(nèi)、幀間、跳躍,等等),它們中的每一個(gè)經(jīng)歷不同的量化噪聲統(tǒng)計(jì)和對(duì)應(yīng)的濾波要求。由此,在第一現(xiàn)有技術(shù)方法中,基于編碼模式和量化參數(shù)(qp)對(duì)所述閾值進(jìn)行適配。然而,第一現(xiàn)有技術(shù)方法中的閾值沒(méi)有考慮視頻內(nèi)容本身。
mpeg-4avc標(biāo)準(zhǔn)中的去塊濾波器
在mpeg-4avc標(biāo)準(zhǔn)的當(dāng)前技術(shù)水平下,已經(jīng)采用了環(huán)內(nèi)(in-loop)去塊濾波器。濾波器進(jìn)行動(dòng)作以衰減沿塊邊界發(fā)生的偽像。這樣的偽像由變換(dct)系數(shù)的粗略量化以及運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)造成。通過(guò)向塊邊緣自適應(yīng)地應(yīng)用低通濾波器,去塊濾波器可以改善主觀和客觀視頻質(zhì)量二者。濾波器通過(guò)對(duì)塊邊緣周?chē)臉颖緢?zhí)行分析而進(jìn)行操作并且使濾波強(qiáng)度適配為衰減對(duì)塊偽像有作用的小的強(qiáng)度差異同時(shí)保留屬于實(shí)際圖像內(nèi)容的一般的較大的強(qiáng)度差異。若干塊編碼模式和條件也用作指示要應(yīng)用濾波器的強(qiáng)度。這些包括幀間/幀內(nèi)預(yù)測(cè)判定、編碼殘差的存在以及相鄰塊之間運(yùn)動(dòng)差異。除了在塊級(jí)別上的自適應(yīng)性之外,去塊濾波器還在碼片級(jí)別和樣本級(jí)別(sample-level)上是自適應(yīng)的。在碼片級(jí)別上,濾波強(qiáng)度可以對(duì)于視頻序列的各個(gè)特征進(jìn)行調(diào)整。在樣本級(jí)別上,依賴(lài)于樣本值和基于量化器的閾值,可以在各個(gè)樣本的每一個(gè)上關(guān)閉濾波。
由mpeg-4avc標(biāo)準(zhǔn)去塊濾波器移除的塊偽像不僅僅是壓縮視頻中存在的偽像。粗略量化也對(duì)諸如環(huán)、邊緣失真,或者紋理?yè)p壞負(fù)有責(zé)任。去塊濾波器不能減少出現(xiàn)在塊內(nèi)部的由量化誤差造成的偽像。另外,在去塊中采用的低通濾波技術(shù)假定平滑的圖像模型并且不適合于處理諸如邊緣或紋理之類(lèi)的圖像奇點(diǎn)。
基于稀疏性的去偽像
通過(guò)基于稀疏性的去噪聲技術(shù)的啟發(fā),已經(jīng)提出一種非線性的環(huán)內(nèi)濾波器,用于上述關(guān)于第一現(xiàn)有技術(shù)方法所提到的壓縮去偽像。第一現(xiàn)有技術(shù)方法使用由變換的過(guò)完備集(over-completeset)提供的一組去噪聲估計(jì)。第一現(xiàn)有技術(shù)方法的實(shí)現(xiàn)方式通過(guò)使用諸如小波或者dct之類(lèi)的給定的二維(2d)標(biāo)準(zhǔn)正交變換h的所有可能的變換hi來(lái)生成變換的過(guò)完備集。由此,給定圖像i,通過(guò)應(yīng)用各種變換hi創(chuàng)建圖像i的一系列不同變換版本yi。每個(gè)變換版本yi然后經(jīng)歷去噪聲過(guò)程(典型地包含閾值化操作),產(chǎn)生一系列的y’i。變換和閾值化的系數(shù)y’i然后被逆變換回空間域,產(chǎn)生去噪聲的估計(jì)i’i。在過(guò)完備集中,希望去噪聲的估計(jì)中的一些將比其它去噪聲估計(jì)提供更好的性能并且最終濾波的版本i’將從經(jīng)由這樣的去噪聲的估計(jì)的平均化進(jìn)行的組合中受益。第一種現(xiàn)有技術(shù)方法去噪聲濾波器提出對(duì)去噪聲的估計(jì)i’i的加權(quán)平均化,其中對(duì)權(quán)重進(jìn)行優(yōu)化以強(qiáng)調(diào)最好的去噪聲估計(jì)。
對(duì)于去偽像工作,選擇濾波參數(shù)(諸如,例如閾值)是非常重要的。應(yīng)用的閾值在控制濾波器的去噪聲能力以及在計(jì)算用于強(qiáng)調(diào)更好的去噪聲估計(jì)的平均化權(quán)重時(shí)起關(guān)鍵作用。不適當(dāng)?shù)拈撝颠x擇可能導(dǎo)致過(guò)度平滑的重構(gòu)畫(huà)面或者可能使得偽像持續(xù)(persistence)。在第一現(xiàn)有技術(shù)方法中,對(duì)基于量化參數(shù)(qp)和編碼模式信息的每個(gè)像素類(lèi)選擇的閾值進(jìn)行編碼并且將其作為輔助信息(sideinformation)傳送給解碼器。該閾值不基于視頻內(nèi)容而進(jìn)行適配。
視頻內(nèi)容在空間和時(shí)間上變化。在相同量化參數(shù)(qp)或者編碼模式下的視頻序列的噪聲或者偽像等級(jí)可能是非常不同的,這要求不同的濾波參數(shù)。
技術(shù)實(shí)現(xiàn)要素:
本原理針對(duì)現(xiàn)有技術(shù)的這些以及其它的缺點(diǎn)和缺陷,本原理關(guān)注一種用于去偽像濾波的基于區(qū)域的濾波器參數(shù)選擇的方法和裝置。
根據(jù)本原理的一方面,提供了一種裝置。該裝置包括為畫(huà)面的至少一個(gè)區(qū)域編碼畫(huà)面數(shù)據(jù)的編碼器。該編碼器包括去偽像濾波器,其使用基于區(qū)域的濾波器參數(shù)選擇對(duì)所述區(qū)域執(zhí)行去偽像濾波。所述區(qū)域包括非塊邊界、塊邊界、二者的組合,以及排除了任何塊邊界的非塊邊界中的任一種。
根據(jù)本原理的另一方面,提供了一種方法。該方法包括為畫(huà)面的至少一個(gè)區(qū)域編碼畫(huà)面數(shù)據(jù)。編碼步驟包括使用基于區(qū)域的濾波器參數(shù)選擇對(duì)所述區(qū)域執(zhí)行去偽像濾波。所述區(qū)域包括非塊邊界、塊邊界、二者的組合,以及排除了任何塊邊界的非塊邊界中的任一種。
根據(jù)本原理的又一方面,提供了一種為畫(huà)面的至少一個(gè)區(qū)域解碼畫(huà)面數(shù)據(jù)的解碼器。該解碼器包括去偽像濾波器,其使用基于區(qū)域的濾波器參數(shù)選擇對(duì)所述區(qū)域執(zhí)行去偽像濾波。所述區(qū)域包括非塊邊界、塊邊界、二者的組合,以及排除了任何塊邊界的非塊邊界中的任一種。
根據(jù)本原理的另一方面,提供了一種方法。該方法包括為畫(huà)面的至少一個(gè)區(qū)域解碼畫(huà)面數(shù)據(jù)。解碼步驟包括使用基于區(qū)域的濾波器參數(shù)選擇對(duì)所述區(qū)域執(zhí)行去偽像濾波。所述區(qū)域包括非塊邊界、塊邊界、二者的組合,以及排除了任何塊邊界的非塊邊界中的任一種。
根據(jù)以下應(yīng)連同附圖一起閱讀的示例性實(shí)施例的詳細(xì)描述,本原理的這些和其它方面、特征和優(yōu)點(diǎn)將變得清楚。
附圖說(shuō)明
根據(jù)以下示例性的圖可以更好地理解本原理,其中:
圖1是示出根據(jù)本原理的實(shí)施例的、可以應(yīng)用本原理的示例性的視頻編碼器的框圖;
圖2是示出根據(jù)本原理的實(shí)施例的、可以應(yīng)用本原理的示例性的視頻解碼器的框圖;
圖3是示出根據(jù)本原理的實(shí)施例的、用于在視頻編碼器中的去偽像濾波的、基于區(qū)域的濾波器參數(shù)選擇的示例性方法的流程圖;
圖4是示出根據(jù)本原理的實(shí)施例的、用于在視頻解碼器中的去偽像濾波的、基于區(qū)域的濾波器參數(shù)選擇的示例性方法的流程圖;以及
圖5是示出根據(jù)本原理的實(shí)施例的、用于在視頻編碼器和/或視頻解碼器中的去偽像濾波的、基于類(lèi)的濾波器參數(shù)選擇的示例性方法的流程圖;
具體實(shí)施方式
本原理關(guān)注一種用于去偽像濾波的基于區(qū)域的濾波器參數(shù)選擇的方法和裝置。
本描述對(duì)本原理進(jìn)行說(shuō)明。由此要理解的是本領(lǐng)域的技術(shù)人員將能夠想到(devise)各種配置來(lái)實(shí)施本原理,雖然這些配置并未被明確地在此描述或示出而且包括在本原理的精神和范圍中。
在此陳述的各種示例和條件性的語(yǔ)言旨在用于輔助讀者理解本原理和(多個(gè))發(fā)明人貢獻(xiàn)的構(gòu)思以促進(jìn)本領(lǐng)域的教導(dǎo)性的目的,并且要被解譯為不限于被這樣具體陳述的示例和條件。
而且,在此陳述本原理的原理、方面,以及實(shí)施例的所有敘述,以及其具體的示例,是旨在包括其結(jié)構(gòu)和功能的等效物。此外,這種等效物旨在包括當(dāng)前已知的等效物以及在未來(lái)開(kāi)發(fā)的等效物(即所開(kāi)發(fā)的執(zhí)行相同功能的任何元件而不論其結(jié)構(gòu)如何)這兩者。
由此,例如,本領(lǐng)域的技術(shù)人員將理解的是在此呈現(xiàn)的框圖表示實(shí)施本原理的說(shuō)明性電路的概念上的視圖。類(lèi)似的,將理解的是任何流程圖表、流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等等表示各種處理,這些處理實(shí)質(zhì)上可以以計(jì)算機(jī)可讀介質(zhì)表示因而通過(guò)計(jì)算機(jī)或處理器來(lái)執(zhí)行,而無(wú)論是否明確地示出這樣的計(jì)算機(jī)或處理器。
可以通過(guò)使用專(zhuān)用的硬件以及與合適的軟件相關(guān)的能夠執(zhí)行軟件的硬件來(lái)提供圖中示出的各種元件的功能。當(dāng)通過(guò)處理器來(lái)提供時(shí),可以通過(guò)單一的專(zhuān)用處理器、通過(guò)單一的共享的處理器,或者通過(guò)多個(gè)單獨(dú)的(individual)處理器(其一部分可以被共享)來(lái)提供該功能。另外,術(shù)語(yǔ)“處理器”或“控制器”的明確使用不應(yīng)當(dāng)被解譯為排他性地指代能夠執(zhí)行軟件的硬件,而是可以隱含地包括,但不限于,數(shù)字信號(hào)處理器(“dsp”)硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器(“rom”)、隨機(jī)存取存儲(chǔ)器(“ram”),以及非易失性存儲(chǔ)器。
還可以包括傳統(tǒng)的和/或定制的(custom)其它硬件。類(lèi)似的,在圖中所示的任何開(kāi)關(guān)(switch)僅僅是概念上的。它們的功能可以通過(guò)程序邏輯的操作、通過(guò)專(zhuān)用的邏輯、通過(guò)程序控制和專(zhuān)用邏輯的交互,或者甚至通過(guò)手動(dòng)來(lái)進(jìn)行,具體的技術(shù)是可由實(shí)施者按照從上下文中更具體的理解來(lái)選擇。
在其權(quán)利要求中,表達(dá)為用于執(zhí)行指定功能的手段(means)的任何元件旨在包含執(zhí)行該功能的任何方式,例如包括,a)執(zhí)行該功能的電路元件的組合或者b)任何形式的軟件,因此包括,與執(zhí)行該軟件以進(jìn)行該功能的合適的電路所組合的固件、微代碼等等。由這樣的權(quán)利要求所限定的本原理在于(residein)這樣的事實(shí),以權(quán)利要求所要求的方式將通過(guò)各種陳述的手段所提供的功能相組合并且集合在一起。由此認(rèn)為能夠提供那些功能的任何手段等效于在此所示的這些手段。
說(shuō)明書(shū)中對(duì)于本原理的“一個(gè)實(shí)施例”或者“一實(shí)施例”及其其它的變型的引用意味著連同實(shí)施例描述的具體的特征、結(jié)構(gòu)、特性,等等被包括在本原理的至少一個(gè)實(shí)施例中。由此,貫穿本說(shuō)明書(shū)的各個(gè)位置中出現(xiàn)的短語(yǔ)“一個(gè)實(shí)施例中”或“一實(shí)施例中”以及任何其它變型的出現(xiàn)不是必須都指代相同的實(shí)施例。
要理解的是以下“/”、“和/或”以及“…的至少一個(gè)”中任一個(gè)的使用,例如,在“a/b”、“a和/或b”以及“a和b的至少一個(gè)”的情形下,旨在包括僅僅選擇羅列的第一選項(xiàng)(a)、或者僅僅選擇羅列的第二選項(xiàng)(b),或者選擇兩個(gè)選項(xiàng)(a和b)。作為另一個(gè)例子,在“a、b、和/或c”以及“a、b和c的至少一個(gè)”的情形下,這樣的短語(yǔ)旨在包括僅僅選擇羅列的第一選項(xiàng)(a)、或者僅僅選擇羅列的第二選項(xiàng)(b)、或者僅僅選擇羅列的第三選項(xiàng)(c)、或者僅僅選擇羅列的第一選項(xiàng)和第二選項(xiàng)(a和b)、或者僅僅選擇羅列的第一選項(xiàng)和第三選項(xiàng)(a和c)、或者僅僅選擇羅列的第二選項(xiàng)和第三選項(xiàng)(b和c),或者選擇所有的三個(gè)選項(xiàng)(a和b和c)。如本領(lǐng)域和相關(guān)領(lǐng)域的一個(gè)普通技術(shù)人員易于清楚的是,當(dāng)羅列了許多條目時(shí)這是可以擴(kuò)展的。
此外,要理解的是關(guān)于mpeg-4avc標(biāo)準(zhǔn)在此描述了本原理的一個(gè)或多個(gè)實(shí)施例,但本原理不單獨(dú)限于該標(biāo)準(zhǔn),并且由此,可以關(guān)于其它的視頻編碼標(biāo)準(zhǔn)、推薦,以及其擴(kuò)展(包括mpeg-4avc標(biāo)準(zhǔn)的擴(kuò)展)來(lái)利用本原理,同時(shí)保留本原理的精神。
另外,要理解,盡管關(guān)于閾值化參數(shù)在此描述了本原理的一個(gè)或多個(gè)實(shí)施例,但本原理不僅僅限于關(guān)于濾波器參數(shù)的閾值參數(shù),本原理可以應(yīng)用于關(guān)于濾波器的參數(shù),并且由此,可以應(yīng)用于本領(lǐng)域和相關(guān)領(lǐng)域技術(shù)人員容易確定的任何其它濾波器參數(shù),同時(shí)保持本原理的精神。
另外,如在此使用的,單詞“畫(huà)面”和“圖像”可互換地使用并且指代來(lái)自視頻序列的靜態(tài)圖像或畫(huà)面。如已知的,畫(huà)面可以是幀或者場(chǎng)。
此外,如在此使用的,單詞“發(fā)信號(hào)通知”指代其中將某事指示到對(duì)應(yīng)解碼器。例如,編碼器可以發(fā)信號(hào)通知(signal)用于去偽像濾波的、基于區(qū)域的濾波器參數(shù)選擇的多個(gè)參數(shù)中特定的一個(gè)參數(shù)。以此方式,相同的參數(shù)可以用于編碼器側(cè)和解碼器側(cè)這二者。由此,例如,編碼器可以向解碼器傳送特定參數(shù)使得解碼器可以使用相同的特定參數(shù),或者,如果解碼器已經(jīng)具有該特定參數(shù)以及其它的,則可以使用信令(無(wú)需傳送)以簡(jiǎn)單地使得解碼器知道并選擇該特定參數(shù)。通過(guò)避免傳送任何實(shí)際的功能,可以實(shí)現(xiàn)比特的節(jié)約。要理解,可以以各種方式來(lái)完成發(fā)信號(hào)通知。例如,一個(gè)或多個(gè)語(yǔ)法元素、標(biāo)志等可以用于向?qū)?yīng)的解碼器發(fā)信號(hào)通知信息。盡管前述的與單詞“信號(hào)(signal)”的動(dòng)詞形式有關(guān),但單詞“信號(hào)”還可以在此用作名詞。
另外,如在此使用的,短語(yǔ)“高級(jí)別語(yǔ)法”指代在宏塊層之上分等級(jí)(hierarchically)駐留(reside)的比特流中出現(xiàn)的語(yǔ)法(syntax)。例如,如在此使用的,高級(jí)別語(yǔ)法可以指代,但不限于,碼片首部級(jí)別、補(bǔ)充增強(qiáng)信息(sei)級(jí)別、畫(huà)面參數(shù)集(pps)級(jí)別、序列參數(shù)集(sps)級(jí)別和網(wǎng)絡(luò)抽象層(nal)單元首部級(jí)別處的語(yǔ)法。
此外,如在此使用的,短語(yǔ)“基于區(qū)域的參數(shù)選擇”指代基于畫(huà)面區(qū)域(其可以繼而依賴(lài)于畫(huà)面區(qū)域的特征)的參數(shù)的選擇、調(diào)整,和/或適配的任一種。
另外,如在此使用的,短語(yǔ)“畫(huà)面區(qū)域”(或者簡(jiǎn)單的縮寫(xiě)“區(qū)域”)指代包括例如一個(gè)或多個(gè)塊或者任何大小的任意形狀和/或以另外方式從其規(guī)劃(formulate)的畫(huà)面的一部分。所述一個(gè)或多個(gè)塊可以例如與超宏塊、宏塊、宏塊分區(qū)、子宏塊分區(qū)等有關(guān)。另外,與傳統(tǒng)的被限制在塊邊界的去塊濾波器相反,依據(jù)本原理的畫(huà)面區(qū)域能夠包含非塊邊界以及塊邊界。也就是,在一些實(shí)施例中,畫(huà)面區(qū)域可以?xún)H僅包含非塊邊界(即,排除了任何塊邊界)。由此,除了塊邊界之外的區(qū)域可以有利地被濾波以移除或者減少來(lái)自其中的偽像。
另外,如在此使用的,短語(yǔ)“區(qū)域指示”指代其中可以應(yīng)用本原理的畫(huà)面的區(qū)域的指示。例如,區(qū)域指示可以用于發(fā)信號(hào)通知和/或以另外方式識(shí)別依據(jù)本原理可以應(yīng)用基于區(qū)域的濾波器參數(shù)選擇的畫(huà)面的特定部分。
轉(zhuǎn)到圖1,由參考標(biāo)記100一般地指示能夠依據(jù)本原理執(zhí)行視頻編碼的視頻編碼器。
視頻編碼器100包括幀排序緩沖器110,其具有與組合器185的非反向輸入端信號(hào)通信的輸出端。組合器185的輸出端與變換器和量化器125的第一輸入端信號(hào)通信地連接。變換器和量化器125的輸出端與熵編碼器145的第一輸入端以及逆變換器和逆量化器150的第一輸入端信號(hào)通信地連接。熵編碼器145的輸出端與組合器190的第一非反向輸入端信號(hào)通信地連接。組合器190的輸出端與輸出緩沖器135的第一輸入端信號(hào)通信地連接。
編碼器控制器105的第一輸出端與幀排序緩沖器110的第二輸入端、逆變換器和逆量化器150的第二輸入端、畫(huà)面類(lèi)型判定模塊115的輸入端、宏塊類(lèi)型(mb類(lèi)型)判定模塊120的第一輸入端、幀內(nèi)預(yù)測(cè)模塊160的第二輸入端、去偽像濾波器165的第二輸入端、運(yùn)動(dòng)補(bǔ)償器170的第一輸入端、運(yùn)動(dòng)估計(jì)器175的第一輸入端,以及參考畫(huà)面緩沖器180的第二輸入端信號(hào)通信地連接。
編碼器控制器105的第二輸出端與補(bǔ)充增強(qiáng)信息(sei)插入器130的第一輸入端、變換器和量化器125的第二輸入端、熵編碼器145的第二輸入端、輸出緩沖器135的第二輸入端,以及序列參數(shù)集(sps)和畫(huà)面參數(shù)集(pps)插入器140的輸入端信號(hào)通信地連接。
sei插入器130的輸出端與組合器190的第二非反向輸入端信號(hào)通信地連接。
畫(huà)面類(lèi)型判定模塊115的第一輸出端與幀排序緩沖器110的第三輸入端信號(hào)通信地連接。畫(huà)面類(lèi)型判定模塊115的第二輸出端與宏塊類(lèi)型判定模塊120的第二輸入端信號(hào)通信地連接。
序列參數(shù)集(sps)和畫(huà)面參數(shù)集(pps)插入器140的輸出端與組合器190的第三非反向輸入端信號(hào)通信地連接。
逆量化器和逆變換器150的輸出端與組合器119的第一非反向輸入端信號(hào)通信地連接。組合器119的輸出端與幀內(nèi)預(yù)測(cè)模塊160的第一輸入端和去偽像濾波器165的第一輸入端信號(hào)通信地連接。去偽像濾波器165的輸出端與參考畫(huà)面緩沖器180的第一輸入端信號(hào)通信地連接。參考畫(huà)面緩沖器180的輸出端與運(yùn)動(dòng)估計(jì)器175的第二輸入端和運(yùn)動(dòng)補(bǔ)償器170的第三輸入端信號(hào)通信地連接。運(yùn)動(dòng)估計(jì)器175的第一輸出端與運(yùn)動(dòng)補(bǔ)償器170的第二輸入端信號(hào)通信地連接。運(yùn)動(dòng)估計(jì)器175的第二輸出端與熵編碼器145的第三輸入端信號(hào)通信地連接。
運(yùn)動(dòng)補(bǔ)償器170的輸出端與開(kāi)關(guān)197的第一輸入端信號(hào)通信地連接。幀內(nèi)預(yù)測(cè)模塊160的輸出端與開(kāi)關(guān)197的第二輸入端信號(hào)通信地連接。宏塊類(lèi)型判定模塊120的輸出端與開(kāi)關(guān)197的第三輸入端信號(hào)通信地連接。開(kāi)關(guān)197的第三輸入端確定該開(kāi)關(guān)的“數(shù)據(jù)”輸入端(與控制輸入端,即第三輸入端相比較)是由運(yùn)動(dòng)補(bǔ)償器170還是由幀內(nèi)預(yù)測(cè)模塊160提供。開(kāi)關(guān)197的輸出端與組合器119的第二非反向輸入端和組合器185的反向輸入端信號(hào)通信地連接。
幀排序緩沖器110的第一輸入端和編碼器控制器105的輸入端可用作編碼器100的輸入端,用于接收輸入畫(huà)面。另外,補(bǔ)償增強(qiáng)信息(sei)插入器130的第二輸入端可用作編碼器100的輸入端,用于接收元數(shù)據(jù)。輸出緩沖器135的輸出端可用作編碼器100的輸出端,用于輸出比特流。
轉(zhuǎn)到圖2,由參考標(biāo)記200一般地指示能夠依據(jù)本原理的執(zhí)行視頻解碼的視頻解碼器。
視頻解碼器200包括輸入緩沖器210,其具有與熵解碼器245的第一輸入端信號(hào)通信連接的輸出端。熵解碼器245的第一輸出端與逆變換器和逆量化器250的第一輸入端信號(hào)通信地連接。逆變換器和逆量化器250的輸出端與組合器225的第二非反向輸入端信號(hào)通信地連接。組合器225的輸出端與去偽像濾波器265的第二輸出端和幀內(nèi)預(yù)測(cè)模塊260的第一輸入端信號(hào)通信地連接。去偽像濾波器265的第二輸入端與參考畫(huà)面緩沖器280的第一輸入端信號(hào)通信地連接。參考畫(huà)面緩沖器280的輸出端與運(yùn)動(dòng)補(bǔ)償器270的第二輸入端信號(hào)通信地連接。
熵解碼器245的第二輸出端與運(yùn)動(dòng)補(bǔ)償器270的第三輸入端、去偽像濾波器265的第一輸入端,以及幀內(nèi)預(yù)測(cè)器260的第三輸入端信號(hào)通信地連接。熵解碼器245的第三輸出端與解碼器控制器205的輸入端信號(hào)通信地連接。解碼器控制器205的第一輸出端與熵解碼器245的第二輸入端信號(hào)通信地連接。解碼器控制器205的第二輸出端與逆變換器和逆量化器250的第二輸入端信號(hào)通信地連接。解碼器控制器205的第三輸出端與去偽像濾波器265的第三輸入端信號(hào)通信地連接。解碼器控制器205的第四輸出端與幀內(nèi)預(yù)測(cè)模塊260的第二輸入端、運(yùn)動(dòng)補(bǔ)償器270的第一輸入端,以及參考畫(huà)面緩沖器280的第二輸入端信號(hào)通信地連接。
運(yùn)動(dòng)補(bǔ)償器270的輸出端與開(kāi)關(guān)297的第一輸入端信號(hào)通信地連接。幀內(nèi)預(yù)測(cè)模塊260的輸出端與開(kāi)關(guān)297的第二輸入端信號(hào)通信地連接。開(kāi)關(guān)297的輸出端與組合器225的第一非反向輸入端信號(hào)通信地連接。
輸入緩沖器210的輸入端可用作解碼器200的輸入端,用于接收輸入比特流。去偽像濾波器265的第一輸出端可用作解碼器200的輸出端,用于對(duì)輸出畫(huà)面進(jìn)行輸出。
如上提到的,本原理關(guān)注一種用于去偽像濾波的基于區(qū)域的濾波器參數(shù)選擇的方法和裝置。有利地,本原理提供了改進(jìn)的基于視頻內(nèi)容的濾波參數(shù)調(diào)整(意味著參數(shù)選擇或適配)。濾波參數(shù)調(diào)整對(duì)于基于稀疏性的去偽像濾波器是重要的。在實(shí)施例中,使用基于區(qū)域的參數(shù)選擇方法,當(dāng)與現(xiàn)有技術(shù)水平的基于稀疏性去偽像濾波器相比較,其增加了編碼效率。
在特定的實(shí)施例中,使用基于塊的濾波器參數(shù)調(diào)整來(lái)改進(jìn)視頻壓縮中基于稀疏性的去偽像濾波器性能。更具體地,將不僅基于量化參數(shù)(qp)和編碼信息,而且基于視頻序列的區(qū)域來(lái)適配濾波器參數(shù)。本原理使得參數(shù)更密切地適配于內(nèi)容自身。將使用mpeg-4avc標(biāo)準(zhǔn)和閾值化參數(shù)作為示例來(lái)解釋本原理的一個(gè)示例性實(shí)現(xiàn)方式。然而,如上所提到的,應(yīng)理解本原理不限于任何特定的視頻編碼標(biāo)準(zhǔn)和/或推薦,并且因此,可以應(yīng)用于任何其它視頻編碼標(biāo)準(zhǔn)和/或推薦和/或其擴(kuò)展,同時(shí)保留本原理的精神。另外,應(yīng)理解,本原理不單獨(dú)限于關(guān)于基于區(qū)域的濾波器參數(shù)選擇的閾值化參數(shù)的使用,并且因此,還可以依據(jù)本原理而利用其它濾波器參數(shù),同時(shí)保留本原理的精神。
在實(shí)施例中,區(qū)域是塊,并且可以具有可變的塊大小,包括,但不限于64×64、128×128、256×256、512×512等等??梢允褂美绺呒?jí)別語(yǔ)法元素來(lái)發(fā)信號(hào)通知塊大小。這樣的高級(jí)別語(yǔ)法元素可以駐留在,但不限于,例如,在每個(gè)碼片的碼片首標(biāo)中。當(dāng)然,應(yīng)理解,本原理不單獨(dú)限于塊,并且因此,可以使用其它畫(huà)面分區(qū)大小和形狀,同時(shí)保留本原理的精神。
在實(shí)施例中,對(duì)于每個(gè)塊,發(fā)信號(hào)通知每個(gè)類(lèi)的濾波器參數(shù)以指示這個(gè)塊的基于稀疏性去偽像濾波的參數(shù)值??梢允褂美绺呒?jí)別語(yǔ)法元素來(lái)發(fā)信號(hào)通知該參數(shù)。這樣的高級(jí)別語(yǔ)法元素可以駐留在,但不限于,例如,在碼片首標(biāo)或者塊級(jí)別處。在一實(shí)施例中,為節(jié)省發(fā)信號(hào)通知參數(shù)的開(kāi)銷(xiāo),可以應(yīng)用若干方法。
在一實(shí)施例中,在編碼器和解碼器二者中存儲(chǔ)基于量化參數(shù)(qp)和編碼信息的用于每個(gè)類(lèi)的唯一的參數(shù)表。對(duì)于每個(gè)塊,簡(jiǎn)單地發(fā)信號(hào)通知標(biāo)度因子(scalingfactor)。
可替代地,在一實(shí)施例中,基于當(dāng)前塊的統(tǒng)計(jì)進(jìn)行參數(shù)的適配。該統(tǒng)計(jì)可以是例如去偽像濾波之前的局部方差(其不需要發(fā)信號(hào)通知),和/或噪聲的方差(其應(yīng)該被發(fā)信號(hào)通知)。
在另一實(shí)施例中,在編碼器和解碼器二者中存儲(chǔ)用于每個(gè)類(lèi)的一組參數(shù)。對(duì)于每個(gè)塊,簡(jiǎn)單地發(fā)信號(hào)通知每個(gè)類(lèi)的索引。
在另一實(shí)施例中,使用標(biāo)志來(lái)指示是否應(yīng)用參數(shù)自適應(yīng)。
應(yīng)理解,以上的方法和變型可以應(yīng)用于亮度或/和色度,同時(shí)保留本原理的精神。
表1例示了依據(jù)本原理的實(shí)施例的碼片首標(biāo)語(yǔ)法。
表1
表1的至少一些語(yǔ)法元素的語(yǔ)義如下:
block_adaptive_flag等于1指定對(duì)該碼片使用基于塊的參數(shù)自適應(yīng)。block_adaptive_flag等于0指定不對(duì)該碼片使用基于塊的參數(shù)自適應(yīng)。
block_size_idx指定塊的大小。
parameter_adaptive_flag[i]等于1指定對(duì)塊i使用參數(shù)自適應(yīng)。parameter_adaptive_flag[i]等于0指定不對(duì)塊i使用參數(shù)自適應(yīng)。
parameter_idx[i][j]指定塊i和類(lèi)j的參數(shù)索引。
轉(zhuǎn)到圖3,由參考標(biāo)記300一般地指示視頻編碼器中去偽像濾波的基于區(qū)域的濾波器參數(shù)選擇的示例性方法。方法300包括開(kāi)始?jí)K305,其向功能塊308傳遞控制。功能塊308生成濾波器參數(shù)集(其可以包含,但不限于,例如從存儲(chǔ)的參數(shù)表中獲得濾波器參數(shù)集),并且向循環(huán)限制塊310傳遞控制。循環(huán)限制塊310開(kāi)始在每個(gè)塊大小(其可以例如是,但不限于,64×64、128×128等)上的循環(huán),并且將控制傳遞給循環(huán)限制塊315。循環(huán)限制塊315開(kāi)始在每個(gè)塊(具有按照循環(huán)限制塊310指定的塊大小)上的循環(huán),并且將控制傳遞給循環(huán)限制塊320。循環(huán)限制塊320開(kāi)始在濾波器參數(shù)集上的循環(huán),并且將控制傳遞給功能塊325。功能塊325執(zhí)行去偽像濾波,并且將控制傳遞給循環(huán)限制塊330。循環(huán)限制塊330結(jié)束在濾波器參數(shù)集上的循環(huán),并且將控制傳遞給功能塊335。功能塊335設(shè)置(適配)最好的濾波器參數(shù),并且將控制傳遞給循環(huán)限制塊340。循環(huán)限制塊340結(jié)束在每個(gè)塊(具有指定的大小)上的循環(huán),并且將控制傳遞給循環(huán)限制塊345。循環(huán)限制塊345結(jié)束在每個(gè)塊大小上的循環(huán),并且將控制傳遞給功能塊350。功能塊350設(shè)置最好的塊大小,并且將控制傳遞給功能塊355。功能塊355編碼塊大小,并且將控制傳遞給功能塊360。功能塊360編碼每個(gè)塊的濾波器參數(shù),并且將控制傳遞給結(jié)束塊399。
轉(zhuǎn)到圖4,由參考標(biāo)記400一般地指示視頻解碼器中去偽像濾波的基于區(qū)域的濾波器參數(shù)選擇的示例性方法。方法400包括開(kāi)始?jí)K405,其向功能塊408傳遞控制。功能塊408生成濾波器參數(shù)集(其可以包含,但不限于,例如從存儲(chǔ)的參數(shù)表中獲得濾波器參數(shù)集),并且向功能塊410傳遞控制。功能塊410解析塊大小,并且將控制傳遞給功能塊415。功能塊415解析每個(gè)塊的濾波器參數(shù),并且將控制傳遞給循環(huán)限制塊420。循環(huán)限制塊420開(kāi)始在每個(gè)塊(具有按照循環(huán)限制塊410指定的塊大小)上的循環(huán),并且將控制傳遞給功能塊425。功能塊425設(shè)置濾波器參數(shù),并且將控制傳遞給功能塊430。功能塊430執(zhí)行去偽像濾波,并且將控制傳遞給循環(huán)限制塊435。循環(huán)限制塊435結(jié)束在每個(gè)塊(具有指定的大小)上的循環(huán),將控制傳遞給結(jié)束塊499。
轉(zhuǎn)到圖5,由參考標(biāo)記500一般地指示視頻編碼器和/或視頻解碼器中去偽像濾波的基于類(lèi)的濾波器參數(shù)選擇的示例性方法。應(yīng)理解,關(guān)于方法500描述的參數(shù)盡管被描述為基于類(lèi),但如本領(lǐng)域和相關(guān)領(lǐng)域的技術(shù)人員很顯然的,其也是基于區(qū)域。方法500包括開(kāi)始?jí)K505,其向功能塊510傳遞控制。功能塊510基于類(lèi)對(duì)用于基于區(qū)域的濾波器參數(shù)的參數(shù)編排索引以獲得基于類(lèi)的參數(shù)集,并且將控制傳遞給功能塊515。功能塊515為每個(gè)類(lèi)存儲(chǔ)各自的基于類(lèi)的參數(shù)集,并且將控制傳遞給功能塊520。功能塊520通過(guò)索引發(fā)信號(hào)通知用于每個(gè)區(qū)域的參數(shù),并且將控制傳遞給結(jié)束塊599。如本領(lǐng)域以及相關(guān)領(lǐng)域的技術(shù)人員很顯而易見(jiàn)的,當(dāng)在編碼器處實(shí)現(xiàn)功能塊520時(shí),功能塊520執(zhí)行發(fā)信號(hào)通知(如通過(guò)索引發(fā)信號(hào)通知用于每個(gè)區(qū)域的參數(shù)),并且執(zhí)行接收(如通過(guò)索引接收用于每個(gè)區(qū)域的參數(shù))。
現(xiàn)在將給出本發(fā)明的眾多伴隨優(yōu)點(diǎn)/特征中的一些的描述,它們中的一些已經(jīng)在以上提到過(guò)。例如,一個(gè)優(yōu)點(diǎn)/特征是一種裝置,其具有用于編碼畫(huà)面的至少一個(gè)區(qū)域的畫(huà)面數(shù)據(jù)的編碼器。該編碼器包括去偽像濾波器,用于使用基于區(qū)域的濾波器參數(shù)選擇對(duì)區(qū)域執(zhí)行去偽像濾波。該區(qū)域包括非塊邊界、塊邊界、二者的組合,以及排除了任何塊邊界的非塊邊界。
另一優(yōu)點(diǎn)/特征是具有上述的編碼器的裝置,其中,至少基于與該區(qū)域有關(guān)的量化噪聲和編碼信息,將基于區(qū)域的濾波器參數(shù)選擇與基于區(qū)域的濾波器參數(shù)自適應(yīng)進(jìn)行組合。
又一優(yōu)點(diǎn)/特征是具有上述的編碼器的裝置,其中,使用高級(jí)別語(yǔ)法元素和塊級(jí)別語(yǔ)法元素中的至少一個(gè)來(lái)發(fā)信號(hào)通知區(qū)域指示和濾波器參數(shù)中的至少一個(gè)。
另一優(yōu)點(diǎn)/特征是具有上述的編碼器的裝置,其中,該區(qū)域能夠具有各種塊大小和形狀。
另外,又一優(yōu)點(diǎn)/特征是具有上述的編碼器的裝置,其中,對(duì)畫(huà)面的多個(gè)區(qū)域編碼畫(huà)面數(shù)據(jù)。編碼器存儲(chǔ)唯一的參數(shù)表,使來(lái)自唯一參數(shù)表的參數(shù)適配于所述多個(gè)區(qū)域中的每一個(gè),并且使用標(biāo)度因子來(lái)發(fā)信號(hào)通知該參數(shù)。
此外,另一優(yōu)點(diǎn)/特征是具有上述的編碼器的裝置,其中,對(duì)畫(huà)面的多個(gè)區(qū)域編碼畫(huà)面數(shù)據(jù)。編碼器基于內(nèi)容統(tǒng)計(jì),使參數(shù)適配于所述多個(gè)區(qū)域中的每一個(gè),并且禁止向?qū)?yīng)的解碼器發(fā)信號(hào)通知該參數(shù)。
另外,另一優(yōu)點(diǎn)/特征是具有上述的編碼器的裝置,其中,對(duì)畫(huà)面的多個(gè)區(qū)域編碼畫(huà)面數(shù)據(jù)?;诙鄠€(gè)類(lèi)對(duì)基于區(qū)域的濾波器參數(shù)選擇的多個(gè)參數(shù)中的每一個(gè)編排索引以獲得多個(gè)基于類(lèi)的參數(shù)集。為所述多個(gè)類(lèi)中的每一個(gè)存儲(chǔ)多個(gè)基于類(lèi)的參數(shù)集中相應(yīng)的一個(gè)。通過(guò)索引發(fā)信號(hào)通知多個(gè)區(qū)域的每一個(gè)的參數(shù)。
相關(guān)領(lǐng)域的普通技術(shù)人員基于在此的教導(dǎo)可以很容易地確認(rèn)本原理的這些和其它特性以及優(yōu)點(diǎn)。要理解的是可以以各種形式的硬件、軟件、固件、專(zhuān)用處理器或其組合來(lái)實(shí)現(xiàn)本原理的教導(dǎo)。
最優(yōu)選地,將本原理的教導(dǎo)實(shí)現(xiàn)為硬件和軟件的組合。此外,可以將該軟件實(shí)現(xiàn)為在程序存儲(chǔ)單元上有形體現(xiàn)的應(yīng)用程序??梢詫⒃搼?yīng)用程序上載到包括任何合適架構(gòu)的機(jī)器,并由其執(zhí)行。優(yōu)選地,在具有諸如一個(gè)或多個(gè)中央處理單元(“cpu”)、隨機(jī)存取存儲(chǔ)器(“ram”)、以及輸入/輸出(“i/o”)接口之類(lèi)的硬件的計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)該機(jī)器。該計(jì)算機(jī)平臺(tái)還可以包括操作系統(tǒng)和微指令代碼。在此描述的各種處理和功能可以是由cpu可以執(zhí)行的微指令代碼的一部分、或者應(yīng)用程序的一部分、或者是其的任何組合。此外,諸如附加數(shù)據(jù)存儲(chǔ)單元和打印單元之類(lèi)的各種其它的外設(shè)單元可與該計(jì)算機(jī)平臺(tái)連接。
還要理解的是因?yàn)閮?yōu)選地以軟件實(shí)現(xiàn)附圖中描繪的一些組成系統(tǒng)組件和方法,所以取決于對(duì)本原理進(jìn)行編程的方式,該系統(tǒng)組件或處理功能塊之間的實(shí)際連接可能有所不同。給定在此的教導(dǎo),相關(guān)領(lǐng)域的普通技術(shù)人員將能夠設(shè)想到本原理的這些和類(lèi)似的實(shí)現(xiàn)方式或配置。
雖然參照附圖在此已經(jīng)描述了說(shuō)明性的實(shí)施例,但應(yīng)當(dāng)理解的是本原理不限于這些明確的實(shí)施例,并且相關(guān)領(lǐng)域的普通技術(shù)人員可以在其中實(shí)施各種改變和修改而不脫離本原理的范圍或精神。所有這種改變和修改旨在被包括在所附的權(quán)利要求中所闡述的本原理的范圍內(nèi)。