專(zhuān)利名稱(chēng)：提供用于多視圖視頻編碼的提供降低分辨率的更新模式的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總地涉及視頻編碼和解碼，更具體地涉及用于提供多視圖視頻編 碼的去塊濾波的適配(adaptation)的方法和裝置。
背景技術(shù)：
基于塊的視頻編碼算法可能在解碼后的圖像中創(chuàng)建可見(jiàn)的成塊偽像 (blocking artifacts )。為了編碼單視圖序列已經(jīng)廣泛研究了由基于塊的運(yùn)動(dòng)補(bǔ) 償和殘差變換編碼(residual transform coding)引起的這些偽l象。
具。還已經(jīng)證明如在國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)(ISO/IEC)運(yùn)動(dòng)圖 像專(zhuān)家組4 (MPEG-4)第10部分高級(jí)視頻編碼(AVC)標(biāo)準(zhǔn)/國(guó)際電信聯(lián)盟 電信部(ITU-T) H.264推薦(以下稱(chēng)為"MPEG-4 AVC標(biāo)準(zhǔn)，，)中那樣，如 果在預(yù)測(cè)循環(huán)中使用去塊濾波器，則可能提高編碼效率。
去塊濾波器在接近塊邊界的重建像素上進(jìn)行平滑。高效的去塊濾波器應(yīng) 當(dāng)根據(jù)信號(hào)特性和某些編碼參數(shù)的值來(lái)調(diào)整濾波強(qiáng)度。然而，濾波器的高級(jí) 適應(yīng)性將在實(shí)現(xiàn)中引入不期望的高復(fù)雜度。
一些之前提出的多視圖視頻編碼(MVC)架構(gòu)包括跨視圖預(yù)測(cè)，以便與
同時(shí)聯(lián)播(獨(dú)立地壓縮每個(gè)視圖)相比實(shí)現(xiàn)更高的編碼效率。然而，還沒(méi)有 關(guān)于在多視圖視頻編碼的框架下的去塊濾波器設(shè)計(jì)的現(xiàn)有技術(shù)。

發(fā)明內(nèi)容
現(xiàn)有技術(shù)的這些和其它缺陷和缺點(diǎn)通過(guò)本發(fā)明來(lái)解決，本發(fā)明致力于用 于提供多視圖視頻編碼的去塊濾波的適配的方法和裝置。
根據(jù)本發(fā)明的一方面，提供了一種視頻編碼器。該視頻編碼器包括可 基于用于編碼多視圖視頻序列的預(yù)測(cè)信息來(lái)適配的去塊濾波器。
根據(jù)本發(fā)明的另一方面，提供了一種視頻編碼方法。該方法包括基于 用于編碼多視圖視頻序列的預(yù)測(cè)信息，來(lái)適配去塊濾波。
根據(jù)本發(fā)明的另一方面，提供了一種視頻解碼器。該視頻解碼器包括 可基于用于解碼多視圖視頻序列的預(yù)測(cè)信息來(lái)適配的去塊濾波器。
根據(jù)本發(fā)明的另一方面，提供了一種視頻解碼方法。該方法包括基于 用于解碼多視圖視頻序列的預(yù)測(cè)信息，來(lái)適配去塊濾波。
根據(jù)本發(fā)明的另一方面，提供了一種用于視頻編碼的視頻信號(hào)結(jié)構(gòu)。該 視頻信號(hào)結(jié)構(gòu)包括用于編碼多視圖視頻序列的、用于適配去塊濾波器的預(yù) 測(cè)信息。
根據(jù)本發(fā)明的另 一方面，提供了 一種其上編碼有視頻信號(hào)數(shù)據(jù)的存儲(chǔ)介 質(zhì)。該視頻信號(hào)數(shù)據(jù)包括用于編碼多視圖視頻序列的、用于適配去塊濾波 器的預(yù)測(cè)信息。
從下面對(duì)示例性實(shí)施例進(jìn)行的詳細(xì)描述，本發(fā)明的這些和其他方面、特 征和優(yōu)點(diǎn)將變得顯而易見(jiàn)，該示例性實(shí)施例要結(jié)合附圖閱讀。


根據(jù)下面的附圖可以更好地理解本發(fā)明，附圖中 圖l是根據(jù)本原理的實(shí)施例、可以應(yīng)用本原理的示例性編碼器的框圖； 圖2是根據(jù)本原理的實(shí)施例、可以應(yīng)用本原理的示例性解碼器的框圖； 圖3是根據(jù)本原理的實(shí)施例、多視圖視頻編碼(MVC)的切片(slice)
編碼/解碼的示例性方法的流程圖4是根據(jù)本原理的實(shí)施例、用于選擇MPEG-4 AVC標(biāo)準(zhǔn)使用的邊界強(qiáng)
度的示例性方法的流程圖5是根據(jù)本原理的實(shí)施例、用于基于預(yù)測(cè)類(lèi)型信息選擇在基于預(yù)測(cè)類(lèi)
型信息的多視圖視頻編碼中使用的邊界強(qiáng)度的示例性方法的流程圖；以及
圖6是根據(jù)本原理的實(shí)施例、用于基于預(yù)測(cè)視圖信息選擇在基于參考視 圖信息的多視圖視頻編碼中使用的邊界強(qiáng)度的示例性方法的流程圖。
具體實(shí)施例方式
本發(fā)明致力于用于提供多視圖視頻編碼的去塊濾波的適配的方法和裝置。
本說(shuō)明書(shū)說(shuō)明了本發(fā)明的原理。因此將認(rèn)識(shí)到，本領(lǐng)域技術(shù)人員將能夠 設(shè)計(jì)各種布置，這些布置盡管沒(méi)有在此明確地描述或示出，但是其體現(xiàn)本發(fā) 明的原理并包括在本發(fā)明的精神和范圍內(nèi)。
這里所述的所有示例和條件語(yǔ)言意圖出于教導(dǎo)的目的，以幫助讀者理解 發(fā)明人對(duì)推進(jìn)本領(lǐng)域發(fā)展所貢獻(xiàn)的本發(fā)明的原理和構(gòu)思，因此要被解釋為不 是限制于這些具體陳述的示例和條件。
而且，這里所有敘述本發(fā)明的原理、方面和實(shí)施例、以及其具體示例的 陳述意在包括其結(jié)構(gòu)等效物和功能等效物兩者。此外，意在這樣的等效物既 包括目前已知的等效物，也包括將來(lái)開(kāi)發(fā)的等效物，即，所開(kāi)發(fā)的執(zhí)行相同 功能的任何元件，而無(wú)論其結(jié)構(gòu)如何。
因此，例如，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到這里呈現(xiàn)的框圖表示體現(xiàn)本發(fā)明 原理的說(shuō)明性電路的概念圖。類(lèi)似地，將認(rèn)識(shí)到，任何流程圖、流序圖、狀 態(tài)轉(zhuǎn)換圖、偽代碼等表示基本上可在計(jì)算機(jī)可讀介質(zhì)中表示并因此由計(jì)算機(jī) 或處理器執(zhí)行的各種處理，而無(wú)論是否明確地示出該計(jì)算機(jī)或處理器。
附圖中示出的各種元件的功能可通過(guò)使用專(zhuān)用硬件以及能夠與適當(dāng)軟件 相關(guān)聯(lián)地執(zhí)行軟件的硬件來(lái)提供。當(dāng)由處理器提供功能時(shí)，可由單個(gè)專(zhuān)用處 理器、單個(gè)共享處理器、或多個(gè)獨(dú)立的處理器來(lái)提供功能，該多個(gè)獨(dú)立的處 理器中的一些可以是共享的。此外，術(shù)語(yǔ)"處理器，，或"控制器"的明確使 用不應(yīng)被解釋為排外性地僅指能夠執(zhí)行軟件的硬件，而可以隱含包括但不限 于數(shù)字信號(hào)處理器("DSP")硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器("ROM")、 隨機(jī)存取存儲(chǔ)器("RAM")、以及非易失性存儲(chǔ)體。
還可以包括常規(guī)和/或定制的其他硬件。類(lèi)似地，附圖中示出的任何開(kāi)關(guān) 僅是概念性的。它們的功能可通過(guò)程序邏輯的操作、通過(guò)專(zhuān)用邏輯、通過(guò)程
序控制和專(zhuān)用邏輯的交互、或甚至手動(dòng)執(zhí)行，如從上下文更具體理解的，特 定技術(shù)可由實(shí)現(xiàn)者選擇。
在其權(quán)利要求中，被表達(dá)為用于執(zhí)行指定功能的部件的任何元件意在包
括執(zhí)行該功能的任何方式，包括例如a)執(zhí)行該功能的電路元件的組合；或 b)與適當(dāng)電路組合以執(zhí)行該功能的任何形式的軟件，因此包括固件、微代碼 等，該適當(dāng)電路用于執(zhí)行該軟件。如由權(quán)利要求書(shū)限定的本發(fā)明在于這樣的 事實(shí)由各種所述部件提供的功能以權(quán)利要求書(shū)所要求保護(hù)的方式組合并集 合在一起。因此認(rèn)為，能夠提供這些功能的任何部件等效于這里所示出的部 件。
說(shuō)明書(shū)中對(duì)本原理的"一個(gè)實(shí)施例"或"一實(shí)施例"的引用意味著關(guān)于 實(shí)施例描述的特定特征、結(jié)構(gòu)、特性等包括在本原理的至少一個(gè)實(shí)施例中。 因此，在遍及說(shuō)明書(shū)的各個(gè)地方出現(xiàn)的短語(yǔ)"在一個(gè)實(shí)施例中"或"在一實(shí) 施例中"的出現(xiàn)不必全部指相同的實(shí)施例。
此外，關(guān)于循環(huán)(例如，在流程圖中所執(zhí)行的)，為了示例性目的在說(shuō)明 書(shū)中提供了對(duì)諸如宏塊、畫(huà)面、場(chǎng)、幀、塊、像素等的"每個(gè)"實(shí)體循環(huán)的 特定循環(huán)的引用，并且該引用還可以被認(rèn)為指每個(gè)實(shí)體的"一個(gè)或多個(gè)"，因 此在維持本原理的范圍的情況下不必是"每個(gè)"。因此，例如，在維持本原理 的范圍的情況下，可#4居本原理的教導(dǎo)執(zhí)行部分編碼/解碼和/或部分去塊。
轉(zhuǎn)到圖1,可以應(yīng)用本原理的示例性編碼器由參考標(biāo)記100總地指示。
編碼器100包括具有與整數(shù)變換器/縮放器/量化器115進(jìn)行信號(hào)通信的輸 出的組合器105。整數(shù)變換器/縮放器/量化器115的第一輸出與熵編碼器155 的第一輸入和縮放器/逆變換器120的第一輸入以信號(hào)通信方式連接?？s放器 /逆變換器120的輸出與組合器150的第一正向輸入以信號(hào)通信方式連接。組 合器150的輸出與幀內(nèi)預(yù)測(cè)器125的第一輸入和去塊濾波器145的第一輸入 以信號(hào)通信方式連接。去塊濾波器145的輸出與幀存儲(chǔ)體140的輸入和運(yùn)動(dòng) 估計(jì)器135的第一輸入以信號(hào)通信方式連接。運(yùn)動(dòng)估計(jì)器135的輸出與運(yùn)動(dòng) 補(bǔ)償器130的第三輸入和熵編碼器155的第三輸入以信號(hào)通信方式連接。組 合器105的反向輸入與開(kāi)關(guān)177的輸出以信號(hào)通信方式連接。開(kāi)關(guān)177的輸 出還與組合器150的第二正向輸入以信號(hào)通信方式連接。開(kāi)關(guān)177的第一輸 入與運(yùn)動(dòng)補(bǔ)償器130的輸出以信號(hào)通信方式連接。開(kāi)關(guān)177的第二輸入與幀 內(nèi)預(yù)測(cè)器125的輸出以信號(hào)通信方式連接。幀存儲(chǔ)體140的輸出與運(yùn)動(dòng)補(bǔ)償
器130的第一輸入以信號(hào)通信方式連接。
編碼器100的輸入與組合器105的正向輸入、編碼器控制模塊110的輸 入、和運(yùn)動(dòng)估計(jì)器135的第三輸入以信號(hào)通信方式連接。編碼器控制模塊110 的第一輸出與運(yùn)動(dòng)補(bǔ)償器130的第二輸入以信號(hào)通信方式連接。編碼器控制 模塊110的第二輸出與運(yùn)動(dòng)估計(jì)器135的第二輸入以信號(hào)通信方式連接。編 碼器控制模塊110的第三輸出與幀內(nèi)預(yù)測(cè)器125的第二輸入以信號(hào)通信方式 連接。編碼器控制模塊110的第四輸出與整數(shù)變換器/縮放器/量化器115的第 二輸入以信號(hào)通信方式連接。編碼器控制模塊110的第五輸出與去塊濾波器 145的第二輸入以信號(hào)通信方式連接。編碼器控制模塊110的第六輸出與縮 放器/逆變換器120的第二輸入以信號(hào)通信方式連接。編碼器控制模塊110的 第七輸出與熵編碼器155的第二輸入以信號(hào)通信方式連接。熵編碼器155的 輸出可用作編碼器100的輸出。
轉(zhuǎn)到圖2,可應(yīng)用本原理的示例性解碼器總地由參考標(biāo)記200指示。解 碼器200包括熵解碼器205。熵解碼器205的輸入可用作解碼器200的輸入。 熵解碼器205的第 一輸出與解碼器控制模塊210的輸入以信號(hào)通信方式連接。 解碼器控制模塊210的第一輸出與運(yùn)動(dòng)補(bǔ)償器225的第二輸入以信號(hào)通信方 式連接。解碼器控制模塊210的第二輸出與幀內(nèi)預(yù)測(cè)器220的第一輸入以信 號(hào)通信方式連接。解碼器控制模塊210的第三輸出與縮放器/逆變換器215的 第二輸入以信號(hào)通信方式連接。解碼器控制模塊210的第四輸出與去塊濾波 器235的第二輸入以信號(hào)通信方式連接。
熵解碼器205的第二輸出與縮放器/逆變換器215的第一輸入以信號(hào)通信 方式連接。縮放器/逆變換器215的輸出與組合器230的第一正向輸入以信號(hào) 通信方式連接。組合器230的輸出與幀內(nèi)預(yù)測(cè)器220的第二輸入和去塊濾波 器235的第一輸入以信號(hào)通信方式連接。去塊濾波器235的輸出與幀存儲(chǔ)體 240的輸入以信號(hào)通信方式連接。幀存儲(chǔ)體240的輸出與運(yùn)動(dòng)補(bǔ)償器225的 第三輸入以信號(hào)通信方式連接。組合器230的第二正向輸入與開(kāi)關(guān)277的輸 出以信號(hào)通信方式連接。開(kāi)關(guān)277的第一輸入與運(yùn)動(dòng)補(bǔ)償器225的輸出以信 號(hào)通信方式連接。開(kāi)關(guān)277的第二輸入與幀內(nèi)預(yù)測(cè)器220的輸出以信號(hào)通信 方式連接。
熵解碼器205的第三輸出與運(yùn)動(dòng)補(bǔ)償器225的第一輸入以信號(hào)通信方式 連接。
轉(zhuǎn)到圖3,在符合MPEG-4AVC標(biāo)準(zhǔn)的本原理的實(shí)施例中用于多視圖視 頻編碼(MVC)的切片編碼/解碼的示例性方法由參考標(biāo)記300總地指示。
方法300包括將控制傳遞給循環(huán)限制塊310的起始?jí)K305。循環(huán)限制塊 310開(kāi)始對(duì)每個(gè)宏塊的循環(huán)，包括使用變量mb=0到MacroBlockslnPic-l來(lái)設(shè) 置循環(huán)的范圍，并且將控制傳遞給功能塊315。功能塊315編碼/解碼一個(gè)宏 塊，并且將控制傳遞給循環(huán)限制塊320。循環(huán)限制塊320結(jié)束對(duì)每個(gè)宏塊的 循環(huán)，并且將控制傳遞到循環(huán)限制塊325。循環(huán)限制塊325開(kāi)始對(duì)每個(gè)宏塊 的循環(huán)，包括使用變量mb-O到MacroBlockslnPic-l來(lái)設(shè)置循環(huán)的范圍，并且 將控制傳遞到循環(huán)限制塊330。循環(huán)限制塊330開(kāi)始對(duì)要編碼/解碼的當(dāng)前宏 塊的每個(gè)垂直邊緣(vedge )的循環(huán)，包括使用變量vedge=0到VerticalEdges-1 來(lái)設(shè)置循環(huán)的范圍，并且將控制傳遞到功能塊335。功能塊335選擇要應(yīng)用 的邊界強(qiáng)度，并且將控制傳遞到功能塊340。功能塊340執(zhí)行采樣濾波，并 且將控制傳遞到循環(huán)限制塊345。循環(huán)限制塊345結(jié)束對(duì)當(dāng)前宏塊的每個(gè)垂 直邊緣(vedge )的循環(huán)，并且將控制傳遞到循環(huán)限制塊350。循環(huán)限制塊350 開(kāi)始對(duì)要編碼/解碼的當(dāng)前宏塊的每個(gè)水平邊緣(hedge )的循環(huán)，包括使用變 量hedge=0到HorizontalEdges-1來(lái)設(shè)置循環(huán)的范圍，并且將控制傳遞到功能 塊355。功能塊355選4奪邊界強(qiáng)度，并且將控制傳遞到功能塊360。功能塊 360執(zhí)行采樣濾波，并且將控制傳遞到循環(huán)限制塊365。循環(huán)限制塊365結(jié)束 對(duì)每個(gè)水平邊緣(hedge)的循環(huán)，并且將控制傳遞到循環(huán)限制塊370。循環(huán) 限制塊370結(jié)束的對(duì)每個(gè)宏塊的循環(huán)，并且將控制傳遞到結(jié)束塊375。
本原理的實(shí)施例致力于適配多視圖視頻編碼(MVC)的去塊濾波。多視 圖碎見(jiàn)頻編碼(MVC)是用于多^f見(jiàn)圖序列的編碼的壓縮框架(framework )。多 視圖視頻編碼(MVC)序列是從不同視點(diǎn)捕獲相同場(chǎng)景的一組兩個(gè)或多個(gè)視 頻序列。作為可以應(yīng)用本原理的特殊情況，立體^L頻(sterestopic video )序 列包括兩個(gè)視頻序列， 一個(gè)表示左通道，而另一個(gè)表示右通道。每個(gè)通道的 各幀同時(shí)捕獲并且具有不同視角。
實(shí)施例涉及抑制由使能跨視圖預(yù)測(cè)引入的成塊偽像，其中預(yù)測(cè)信號(hào)從另 一碎見(jiàn)圖的解碼畫(huà)面形成。當(dāng)使能這樣的跨視圖預(yù)測(cè)時(shí)，典型地在從不同相機(jī) 視圖補(bǔ)償?shù)南袼刂g的邊界處引入額外的成塊性(blockiness )。有利地，本 原理的該實(shí)施例通過(guò)減少由從不同視圖預(yù)測(cè)而導(dǎo)致的塊邊界周?chē)膫蜗駚?lái)提 高解碼后的畫(huà)面質(zhì)量。在實(shí)施例中，將預(yù)測(cè)視圖信息(在此可互換地稱(chēng)作參
考視圖信息)引入MVC的去塊濾波器的設(shè)計(jì)和/或使用中。參考視圖信息指 示在預(yù)測(cè)信號(hào)的形成中涉及的視圖。例如，預(yù)測(cè)信號(hào)可以來(lái)自當(dāng)前視圖的之 前已解碼的畫(huà)面或相鄰-〖見(jiàn)圖的之前已解碼的畫(huà)面。在實(shí)施例中，這樣的參考 視圖信息可用來(lái)例如改變(例如，增加)去塊濾波器的強(qiáng)度和/或選擇不同類(lèi) 型的濾波器。給出這里提供的本原理的教導(dǎo)，本領(lǐng)域普通技術(shù)人員將在維持 本原理的范圍的同時(shí)，預(yù)期在適配多視圖視頻編碼的去塊濾波中使用的參考 視圖信息的這些和各種其他使用。
另一實(shí)施例涉及抑制由使能跨視圖預(yù)測(cè)和時(shí)間預(yù)測(cè)兩者使用MVC來(lái)編 碼多視圖視頻序列而引入的成塊偽像。在允許兩類(lèi)預(yù)測(cè)(跨視圖預(yù)測(cè)和時(shí)間 預(yù)測(cè))的情形下，典型地在利用不同MVC預(yù)測(cè)類(lèi)型解碼的像素之間的邊界 處引入額外的成塊性。有利地，本原理的該實(shí)施例通過(guò)減少由不同預(yù)測(cè)類(lèi)型 (時(shí)間和跨視圖)導(dǎo)致的塊邊界周?chē)膫蜗駚?lái)提高解碼后的畫(huà)面質(zhì)量。由于 提高了解碼后的畫(huà)面質(zhì)量，因此壓縮效率也可以提高。在實(shí)施例中，將預(yù)測(cè) 類(lèi)型信息引入MVC的去塊濾波器的設(shè)計(jì)和/或使用中。在實(shí)施例中，這樣的 預(yù)測(cè)類(lèi)型信息可以被用來(lái)例如改變(例如，增加)去塊濾波器的強(qiáng)度和/或選 擇不同類(lèi)型的濾波器。可替代地，可以使用參考視圖信息來(lái)例如改變(例如， 增加)去塊濾波器的強(qiáng)度和/或選擇不同類(lèi)型的濾波器。給出這里提供的本原 理的教導(dǎo)，本領(lǐng)域普通技術(shù)人員將在維持本原理的范圍的同時(shí)，預(yù)期在適配 多視圖視頻編碼的去塊濾波中使用的預(yù)測(cè)類(lèi)型信息的這些和各種其他使用。
出于圖示目的，在此關(guān)于MPEG-4 AVC標(biāo)準(zhǔn)描述本發(fā)明的各實(shí)施例。然 而，應(yīng)當(dāng)認(rèn)識(shí)到，本發(fā)明不限于MPEG-4AVC標(biāo)準(zhǔn)，并且給出這里提供的本 原理的教導(dǎo)，本領(lǐng)域普通技術(shù)人員將在維持本發(fā)明的范圍的同時(shí)，預(yù)期能夠 進(jìn)行可以應(yīng)用本原理的多3見(jiàn)圖 一見(jiàn)頻編碼的這種和其他-現(xiàn)頻編碼標(biāo)準(zhǔn)。
應(yīng)認(rèn)識(shí)到，本原理不限于凈皮應(yīng)用到預(yù)測(cè)畫(huà)面的特定去塊技術(shù)，并且因此 根據(jù)本原理的實(shí)施例可以利用任何去塊技術(shù)，同時(shí)維持本原理的范圍。
出于圖示目的，現(xiàn)在將描述關(guān)于如何擴(kuò)展如在MPEG-4 AVC標(biāo)準(zhǔn)中指定 的去塊濾波器的實(shí)施例，該實(shí)施例基于某些編碼判斷來(lái)適配去塊濾波器的強(qiáng) 度。此后，出于簡(jiǎn)化原因我們將引用該選擇。
MPEG-4 AVC標(biāo)準(zhǔn)中的去塊濾波器應(yīng)用到4x4塊之間的所有邊緣。此 外，去塊濾波器具有對(duì)于每個(gè)邊緣來(lái)適配其強(qiáng)度的能力?？刂茷V波器強(qiáng)度的 參數(shù)被稱(chēng)作邊界強(qiáng)度(BS)。邊界強(qiáng)度的值指示在每個(gè)邊緣上具有視覺(jué)成塊
性的可能性以及因此對(duì)或多或少的去塊濾波的需要。更高的Bs值指示將適配
更強(qiáng)的去塊濾波。
轉(zhuǎn)到圖4,用于選擇MPEG-4 AVC標(biāo)準(zhǔn)使用的邊界強(qiáng)度的示例性方法由 參考標(biāo)記400總地指示。該方法包括將控制傳遞到功能塊410的起始?jí)K405。 功能塊410檢查塊p和q之間的塊邊界，并且將控制傳遞到判斷塊415。判 斷塊415確定塊p或q是否是幀內(nèi)編碼的。如果是，則將控制傳遞到判斷塊 420。否則，將控制傳遞到判斷塊435。
判斷塊420確定塊邊界是否是宏塊邊界。如果是，則將控制傳遞到功能 塊425。否則，將控制傳遞到功能塊430。
功能塊425將邊界強(qiáng)度設(shè)置為4，并且將控制傳遞到結(jié)束塊465。 功能塊430將邊界強(qiáng)度設(shè)置為3，并且將控制傳遞到結(jié)束塊465。 判斷塊435確定在塊p或q內(nèi)是否編碼了系數(shù)。如果是，則將控制傳遞 到功能塊440。否則，將控制傳遞到判斷塊445。
功能塊440將邊界強(qiáng)度設(shè)置為2，并且將控制傳遞到結(jié)束塊465。 判斷塊445確定塊p和q是否具有不同參考幀或不同數(shù)量的參考幀。如 果是，則將控制傳遞到功能塊450。否則，將控制傳遞到判斷塊455。 功能塊450將邊界強(qiáng)度設(shè)置為1，并且將控制傳遞到結(jié)束塊465。 判斷塊455確定p^(p，x)-V"q，x)l〉-l或IV"p，y)-V"q,y)IX,或者，如果 是雙向預(yù)測(cè)，|V2(p,x)-V2(q,x)|>=l或lV2(p,y)-V2(q,y)1〉4是否成立。如果是， 則將控制傳遞到功能塊450。否則，將控制傳遞到功能塊460。
功能塊460將邊界強(qiáng)度設(shè)置為0，并且將控制傳遞到結(jié)束塊465。
根據(jù)本原理的實(shí)施例，在編碼多視圖序列的情況下，邊界強(qiáng)度計(jì)算還應(yīng) 當(dāng)考慮預(yù)測(cè)類(lèi)型信息。
轉(zhuǎn)到圖5，基于在多視圖視頻編碼中使用的預(yù)測(cè)類(lèi)型信息來(lái)選擇邊界強(qiáng) 度的示例性方法由參考標(biāo)記500總地指示。根據(jù)方法500,根據(jù)下面的示例 性編碼參數(shù)來(lái)調(diào)整強(qiáng)度MVC預(yù)測(cè)類(lèi)型；邊緣位置；塊類(lèi)型；編碼系數(shù)的數(shù) 量；參考幀索引；以及運(yùn)動(dòng)/視差向量差。注應(yīng)意到，如果兩個(gè)相鄰塊具有不 同MVC預(yù)測(cè)類(lèi)型，則將執(zhí)行最高邊界強(qiáng)度Bs-4。通常，跨視圖預(yù)測(cè)塊和時(shí) 間預(yù)測(cè)塊使用來(lái)自不同視圖的參考畫(huà)面，因此具有不同MVC預(yù)測(cè)類(lèi)型的兩 個(gè)塊的塊邊緣將更有可能包括更高級(jí)別的成塊性。因此，在這些邊緣上分配 更高的邊界強(qiáng)度將給出更好的濾波結(jié)果。
方法500包括將控制傳遞到功能塊510的起始?jí)K505。功能塊510檢查 塊p和q之間的塊邊界，并且將控制傳遞到判斷塊515。判斷塊515確定塊p 或q是否是幀內(nèi)編碼的。如果是，則將控制傳遞到判斷塊520。否則，將控 制傳遞到判斷塊535。
判斷塊520確定塊邊界是否是宏塊邊界。如果是，則將控制傳遞到功能 塊525。否則，將控制傳遞到功能塊530。
功能塊525將邊界強(qiáng)度設(shè)置為4,并且將控制傳遞到結(jié)束塊570。 功能塊530將邊界強(qiáng)度設(shè)置為3,并且將控制傳遞到結(jié)束塊570。 判斷塊535確定塊p和q是否具有不同的多視圖視頻編碼預(yù)測(cè)類(lèi)型。如 果是，則將控制傳遞到功能塊525。否則，將控制傳遞到判斷塊540。判斷塊 540確定在塊p和q中是否編碼了系數(shù)。如果是，則將控制傳遞到功能塊545。 否則，將控制傳遞到判斷塊550。
功能塊545將邊界強(qiáng)度設(shè)置為2，并且將控制傳遞到結(jié)束塊570。 判斷塊550確定塊p和q是否具有不同參考幀或不同數(shù)量的參考幀。如 果是，則將控制傳遞到功能塊545。否則，將控制傳遞到判斷塊560。
判斷塊560確定IV"p,x)-V"q,x)1^1或lV"p，y)-V"q，y)1^1，或者，如果 是雙向預(yù)測(cè)，|V2(p,x)-V2(q,x)|>=l或lV2(p,y)-V2(q,y)l〉-l是否成立。如果是， 則將控制傳遞到功能塊555。否則，將控制傳遞到功能塊565。
功能塊565將邊界強(qiáng)度設(shè)置為0，并且將控制傳遞到結(jié)束塊570。 根據(jù)本原理的另一實(shí)施例，在編碼多視圖序列的情況下，邊界強(qiáng)度計(jì)算 還應(yīng)當(dāng)考慮參考視圖信息。
轉(zhuǎn)到圖6,基于在多視圖視頻編碼中使用的預(yù)測(cè)視圖信息來(lái)選擇邊界強(qiáng) 度的示例性方法由參考標(biāo)記600總地指示。根據(jù)方法600，根據(jù)下面示例性 編碼參數(shù)來(lái)調(diào)整強(qiáng)度參考視圖；邊緣位置；塊類(lèi)型；編碼系數(shù)的數(shù)量；參 考幀索引；以及運(yùn)動(dòng)/一見(jiàn)差向量差。應(yīng)注意到，如果兩個(gè)相鄰塊具有不同MVC 預(yù)測(cè)類(lèi)型，則將執(zhí)行最高邊界強(qiáng)度Bs:4。通常，跨視圖預(yù)測(cè)塊和時(shí)間預(yù)測(cè)塊 使用來(lái)自不同視圖的參考畫(huà)面，因此具有不同MVC預(yù)測(cè)類(lèi)型的兩個(gè)塊的塊 邊緣將更有可能包括更高級(jí)別的成塊性。因此，在這些邊緣上分配更高的邊 界強(qiáng)度將給出更好的濾波結(jié)果。
方法600包括將控制傳遞到功能塊610的起始?jí)K605。功能塊610檢查 塊p和q之間的塊邊界，并且將控制傳遞到判斷塊615。判斷塊615確定塊p
或q是否是幀內(nèi)編碼的。如果是，則將控制傳遞到判斷塊620。否則，將控 制傳遞到判斷塊635。
判斷塊620確定塊邊界是否是宏塊邊界。如果是，則將控制傳遞到功能 塊625。否則，將控制傳遞到功能塊630。
功能塊625將邊界強(qiáng)度設(shè)置為4，并且將控制傳遞到結(jié)束塊670。 功能塊630將邊界強(qiáng)度設(shè)置為3，并且將控制傳遞到結(jié)束塊670。 判斷塊635確定塊p和q是否具有不同參考視圖。如果是，則將控制傳 遞到功能塊625。否則，將控制傳遞到判斷塊640。判斷塊640確定在塊p和 q中是否編碼了系數(shù)。如果是，則將控制傳遞到功能塊645。否則，將控制傳 遞到判斷塊650。
功能塊645將邊界強(qiáng)度設(shè)置為2，并且將控制傳遞到結(jié)束塊670。 判斷塊650確定塊p和q是否具有不同參考幀或不同數(shù)量的參考幀。如 果是，則將控制傳遞到功能塊655。否則，將控制傳遞到判斷塊660。
判斷塊660確定IVi(p,x)-V"q，x)1^1或lV(p，y)-V!(q,y)l〉-l，或者，如果 是雙向預(yù)測(cè)，|V2(p，x)-V2(q,x)|>=l或lV2(p,y)-V2(q，y)l〉-l是否成立。如果是， 則將控制傳遞到功能塊655。否則，將控制傳遞到功能塊665。
功能塊665將邊界強(qiáng)度設(shè)置為0，并且將控制傳遞到結(jié)束塊670。 現(xiàn)在將給出本發(fā)明的一些伴隨優(yōu)點(diǎn)/特征的描述，其中一些已經(jīng)在上面提 到。例如， 一個(gè)優(yōu)點(diǎn)/特征是包括去塊濾波器的視頻編碼器，該去塊濾波器可 基于用于編碼多視圖視頻序列的預(yù)測(cè)信息來(lái)適配。另 一優(yōu)點(diǎn)/特征是如上所述 的視頻編碼器，其中預(yù)測(cè)信息包括預(yù)測(cè)類(lèi)型信息和預(yù)測(cè)視圖信息中的至少一 個(gè)。另一優(yōu)點(diǎn)/特征是具有可基于預(yù)測(cè)信息來(lái)適配的去塊濾波器的視頻編碼 器，該預(yù)測(cè)信息包括如上所述的預(yù)測(cè)類(lèi)型信息和預(yù)測(cè)視圖信息中的至少一個(gè)， 其中預(yù)測(cè)類(lèi)型信息包括時(shí)間預(yù)測(cè)信息和跨視圖預(yù)測(cè)信息中的至少一個(gè)。此外， 另 一優(yōu)點(diǎn)/特征是具有可基于預(yù)測(cè)信息來(lái)適配的去塊濾波器的視頻編碼器，該 預(yù)測(cè)信息包括如上所述的預(yù)測(cè)類(lèi)型信息和預(yù)測(cè)視圖信息中的至少一個(gè)，其中 去塊濾波器可基于關(guān)于要由所述去塊濾波器濾波的給定塊的兩個(gè)相鄰塊的預(yù) 測(cè)信息來(lái)適配。此外，另一優(yōu)點(diǎn)/特征是具有可基于預(yù)測(cè)信息來(lái)適配的去塊濾 波器的視頻編碼器，該預(yù)測(cè)信息包括如上所述的預(yù)測(cè)類(lèi)型信息和預(yù)測(cè)視圖信 息中的至少一個(gè)，其中去塊濾波器遵循國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)運(yùn)動(dòng) 圖像專(zhuān)家組4-第10部分高級(jí)視頻編碼標(biāo)準(zhǔn)/國(guó)際電信聯(lián)盟電信部H.264推薦， 并且由去塊濾波器應(yīng)用的邊界強(qiáng)度可基于用于編碼多視圖視頻序列的預(yù)測(cè)信
息來(lái)適配。而且，另一優(yōu)點(diǎn)/特征是遵循如上所述MPEG-4AVC標(biāo)準(zhǔn)的視頻編
同時(shí)，邊界強(qiáng)度被設(shè)置為4。此外，另一優(yōu)點(diǎn)/特征是如上所述的視頻編碼器， 其中邊界強(qiáng)度、要濾波的采樣數(shù)量、以及去塊濾波器的類(lèi)型中的至少一個(gè)是 可適配的。此外，另一優(yōu)點(diǎn)/特征是具有如上所述可適配的邊界強(qiáng)度、要濾波 的采樣數(shù)量、以及去塊濾波器的類(lèi)型中的至少一個(gè)的視頻編碼器，其中去塊
預(yù)測(cè)信息來(lái)適配，并且當(dāng)該兩個(gè)相鄰塊的預(yù)測(cè)信息不同時(shí)，邊界強(qiáng)度增加。 此外，另一優(yōu)點(diǎn)/特征是如上所述的視頻編碼器，其中多視圖視頻序列包括立 體—見(jiàn)頻序列。
本發(fā)明的這些和其他特征和優(yōu)點(diǎn)可由本領(lǐng)域普通技術(shù)人員基于這里的教 導(dǎo)容易地確定。應(yīng)理解，本發(fā)明的教導(dǎo)可以硬件、軟件、固件、專(zhuān)用處理器 或其組合的各種形式實(shí)現(xiàn)。
更優(yōu)選地，本發(fā)明的教導(dǎo)實(shí)現(xiàn)為硬件和軟件的組合。此外，軟件可實(shí)現(xiàn) 為在程序存儲(chǔ)單元上有形體現(xiàn)的應(yīng)用程序。應(yīng)用程序可上載到包括任何適當(dāng) 架構(gòu)的機(jī)器上并由其執(zhí)行。優(yōu)選的，機(jī)器在具有如一個(gè)或多個(gè)中央處理單元 ("CPU")、隨機(jī)存取存儲(chǔ)器("RAM")、和輸入/輸出("I/O")接口的硬件 的計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)。計(jì)算機(jī)平臺(tái)還可包括操作系統(tǒng)和微指令代碼。這里描 述的各種處理和功能可以是可由CPU執(zhí)行的微指令代碼的一部分或應(yīng)用程序 的一部分或其任何組合。此外，如附加數(shù)據(jù)存儲(chǔ)單元和打印單元的各種其他
外圍單元可連接到計(jì)算機(jī)平臺(tái)。
還應(yīng)理解，因?yàn)樵诟綀D中描繪的一些組成系統(tǒng)組件和方法優(yōu)選地以軟件 實(shí)現(xiàn)，所以系統(tǒng)組件或處理功能塊之間的實(shí)際連接可能依賴(lài)于本發(fā)明所編程 的方式而不同。給出這里的教導(dǎo)，所屬領(lǐng)域普通技術(shù)人員將能夠預(yù)期本發(fā)明 的這些和類(lèi)似實(shí)現(xiàn)或配置。
盡管已經(jīng)參照附圖描述了說(shuō)明性實(shí)施例，但是應(yīng)理解，本發(fā)明不限于這 些精確的實(shí)施例，并且所屬領(lǐng)域普通技術(shù)人員可在其中進(jìn)行各種改變和修改， 而不背離本發(fā)明的范圍或精神。所有這樣的改變和修改都意在被包括在如由
所附權(quán)利要求書(shū)中提出的本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種視頻編碼器，包括去塊濾波器(145)，其可基于用于編碼多視圖視頻序列的預(yù)測(cè)信息來(lái)適配。
2. 如權(quán)利要求1所述的視頻編碼器，其中預(yù)測(cè)信息包括預(yù)測(cè)類(lèi)型信息和 預(yù)測(cè) 一見(jiàn)圖信息中的至少 一 個(gè)。
3. 如權(quán)利要求2所述的視頻編碼器，其中預(yù)測(cè)類(lèi)型信息包括時(shí)間預(yù)測(cè)信,包、和圖預(yù)測(cè)信息中的至少 一 個(gè)。
4. 如權(quán)利要求2所述的視頻編碼器，其中所述去塊濾波器(145)可基
5. 如權(quán)利要求2所述的視頻編碼器，其中所述去塊濾波器(145)遵循 國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)運(yùn)動(dòng)圖像專(zhuān)家組4-第10部分高級(jí)視頻編碼 標(biāo)準(zhǔn)/國(guó)際電信聯(lián)盟電信部R264推薦，并且由所述去塊濾波器應(yīng)用的邊界強(qiáng) 度可基于用于編碼多視圖視頻序列的預(yù)測(cè)信息來(lái)適配。
6. 如權(quán)利要求5所述的視頻編碼器，其中當(dāng)關(guān)于要由所述去塊濾波器濾 波的給定塊的兩個(gè)相鄰塊的預(yù)測(cè)信息不同時(shí)，邊界強(qiáng)度被設(shè)置為4。
7. 如權(quán)利要求1所述的視頻編碼器，其中邊界強(qiáng)度、要濾波的采樣數(shù)量、 以及所述去塊濾波器(145)的類(lèi)型中的至少一個(gè)是可適配的。
8. 如權(quán)利要求7所述的視頻編碼器，其中所述去塊濾波器(145)的邊息來(lái)適配，并且當(dāng)該兩個(gè)相鄰塊的預(yù)測(cè)信息不同時(shí)，邊界強(qiáng)度增加。
9. 如權(quán)利要求1所述的視頻編碼器，其中多視圖視頻序列包括立體視頻 序列。
10. —種纟見(jiàn)頻編碼方法，包括基于用于編碼多視圖視頻序列的預(yù)測(cè)信息，來(lái)適配(335, 340, 355, 360) 去塊濾波。
11. 如權(quán)利要求IO所述的方法，其中預(yù)測(cè)信息包括預(yù)測(cè)類(lèi)型信息和預(yù)測(cè) 視圖信息中的至少一個(gè)(535, 635 )。
12. 如權(quán)利要求11所述的方法，其中預(yù)測(cè)類(lèi)型信息包括時(shí)間預(yù)測(cè)信息和 跨視圖預(yù)測(cè)信息中的至少一個(gè)(535, 635 )。
13. 如權(quán)利要求11所述的方法，其中去塊濾波可基于關(guān)于要被去塊濾波 的給定塊的兩個(gè)相鄰塊的預(yù)測(cè)信息來(lái)適配。
14. 如權(quán)利要求11所述的方法，其中所述去塊濾波遵循國(guó)際標(biāo)準(zhǔn)化組織 /國(guó)際電工委員會(huì)運(yùn)動(dòng)圖像專(zhuān)家組4-第10部分高級(jí)視頻編碼標(biāo)準(zhǔn)/國(guó)際電信聯(lián) 盟電信部H.264推薦(400),并且所述適配步驟基于用于編碼多視圖視頻序 列的預(yù)測(cè)信息來(lái)適配去塊濾波的邊界強(qiáng)度(535, 635 )。
15. 如權(quán)利要求14所述的方法，其中當(dāng)關(guān)于要被去塊濾波的給定塊的兩 個(gè)相鄰塊的預(yù)測(cè)信息不同時(shí)(535, 635 ),邊界強(qiáng)度被設(shè)置為4。
16. 如權(quán)利要求IO所述的方法，其中所述適配步驟適配邊界強(qiáng)度、要濾 波的采樣數(shù)量、以及去塊濾波的類(lèi)型中的至少一個(gè)(335, 340, 355, 360)。
17. 如權(quán)利要求16所述的方法，其中所述適配步驟基于關(guān)于要被去塊濾 波的給定塊的兩個(gè)相鄰塊的預(yù)測(cè)信息來(lái)適配去塊濾波的邊界強(qiáng)度，并且當(dāng)兩 個(gè)相鄰塊的預(yù)測(cè)信息不同時(shí)(535， 635 )，邊界強(qiáng)度增加。
18. 如權(quán)利要求IO所述的視頻編碼器，其中多視圖視頻序列包括立體視 頻序列。
19. 一種視頻解碼器，包括去塊濾波器(235 ),其可基于用于解碼多視圖視頻序列的預(yù)測(cè)信息來(lái)適配。
20. 如權(quán)利要求19所述的視頻解碼器，其中預(yù)測(cè)信息包括預(yù)測(cè)類(lèi)型信息 和預(yù)測(cè)#見(jiàn)圖信息中的至少 一個(gè)。
21. 如權(quán)利要求20所述的視頻解碼器，其中預(yù)測(cè)類(lèi)型信息包括時(shí)間預(yù)測(cè) 信息和跨碎見(jiàn)圖預(yù)測(cè)信息中的至少一個(gè)。
22. 如權(quán)利要求20所述的視頻解碼器，其中所述去塊濾波器(235 )可 基于關(guān)于要由所述去塊濾波器濾波的給定塊的兩個(gè)相鄰塊的預(yù)測(cè)信息來(lái)適 配。
23. 如權(quán)利要求20所述的視頻解碼器，其中所述去塊濾波器(235 )遵 循國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)運(yùn)動(dòng)圖像專(zhuān)家組4-第10部分高級(jí)視頻編 碼標(biāo)準(zhǔn)/國(guó)際電信聯(lián)盟電信部H.264推薦，并且由所述去塊濾波器應(yīng)用的邊界 強(qiáng)度可基于用于編碼多視圖視頻序列的預(yù)測(cè)信息來(lái)適配。
24. 如權(quán)利要求23所述的視頻解碼器，其中當(dāng)關(guān)于要由所述去塊濾波器 濾波的給定塊的兩個(gè)相鄰塊的預(yù)測(cè)信息不同時(shí)，邊界強(qiáng)度被設(shè)置為4。
25. 如權(quán)利要求19所述的視頻解碼器，其中邊界強(qiáng)度、要濾波的采樣數(shù) 量、以及所述去塊濾波器(235 )的類(lèi)型中的至少一個(gè)是可適配的。
26. 如權(quán)利要求25所述的視頻解碼器，其中所述去塊濾波器(235 )的信息來(lái)適配，并且當(dāng)該兩個(gè)相鄰塊的預(yù)測(cè)信息不同時(shí)，邊界強(qiáng)度增加。
27. 如權(quán)利要求19所述的視頻解碼器，其中多視圖視頻序列包括立體視 頻序列。
28. —種^L頻解碼方法，包括基于用于解碼多視圖視頻序列的預(yù)測(cè)信息，來(lái)適配去塊濾波(335， 340, 355, 360)。
29. 如權(quán)利要求28所述的方法，其中預(yù)測(cè)信息包括預(yù)測(cè)類(lèi)型信息和預(yù)測(cè) 視圖信息中的至少一個(gè)(535, 635 )。
30. 如權(quán)利要求29所述的方法，其中預(yù)測(cè)類(lèi)型信息包括時(shí)間預(yù)測(cè)信息和 if爭(zhēng)-魄圖預(yù)測(cè)信息中的至少一個(gè)(535, 635 )。
31. 如權(quán)利要求29所述的方法，其中去塊濾波可基于關(guān)于要被去塊濾波 的給定塊的兩個(gè)相鄰塊的預(yù)測(cè)信息來(lái)適配(535, 635 )。
32. 如權(quán)利要求29所述的方法，其中所述去塊濾波遵循國(guó)際標(biāo)準(zhǔn)化組織 /國(guó)際電工委員會(huì)運(yùn)動(dòng)圖像專(zhuān)家組4-第10部分高級(jí)視頻編碼標(biāo)準(zhǔn)/國(guó)際電信聯(lián) 盟電信部H.264推薦(400),并且所述適配步驟基于用于編碼多視圖視頻序 列的預(yù)測(cè)信息來(lái)適配去塊濾波的邊界強(qiáng)度(535, 635 )。
33. 如權(quán)利要求32所述的方法，其中當(dāng)關(guān)于要被去塊濾波的給定塊的兩 個(gè)相鄰塊的預(yù)測(cè)信息不同時(shí)(535， 635 )，邊界強(qiáng)度被設(shè)置為4。
34. 如權(quán)利要求28所述的方法，其中所述適配步驟適配邊界強(qiáng)度、要濾 波的采樣數(shù)量、以及去塊濾波的類(lèi)型中的至少一個(gè)(335， 340, 355， 360 )。
35. 如權(quán)利要求34所述的方法，其中所述適配步驟基于關(guān)于要被去塊濾 波的給定塊的兩個(gè)相鄰塊的預(yù)測(cè)信息來(lái)適配去塊濾波的邊界強(qiáng)度，并且當(dāng)該 兩個(gè)相鄰塊的預(yù)測(cè)信息不同時(shí)(535， 635 )，邊界強(qiáng)度增加。
36. 如權(quán)利要求28所述的方法，其中多視圖視頻序列包括立體視頻序列。
37. —種用于視頻編碼的視頻信號(hào)結(jié)構(gòu)，包括用于編碼多視圖視頻序列的、用于適配去塊濾波器的預(yù)測(cè)信息。
38. —種其上編碼有視頻信號(hào)數(shù)據(jù)的存儲(chǔ)介質(zhì)，包括 用于編碼多視圖視頻序列的、用于適配去塊濾波器的預(yù)測(cè)信息。
全文摘要
提供了一種用于提供多視圖視頻編碼的去塊濾波的適配的視頻編碼器、視頻解碼器以及相對(duì)應(yīng)的編碼和解碼方法。該視頻編碼器包括可基于用于編碼多視圖視頻序列的預(yù)測(cè)信息來(lái)適配的去塊濾波器(145)。
文檔編號(hào)H04N7/26GK101371585SQ200780002185
公開(kāi)日2009年2月18日 申請(qǐng)日期2007年1月9日 優(yōu)先權(quán)日2006年1月9日
發(fā)明者克里斯蒂娜·戈米拉, 澎 尹, 蘇野平 申請(qǐng)人:湯姆森特許公司