專利名稱：處理多視圖視頻的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及處理多視圖視頻。
背景技術(shù)：
多視圖視頻編碼(MVC)涉及壓縮通常由對(duì)應(yīng)照相機(jī)獲取的視頻
序列(例如圖像或者"圖像"序列)。視頻序列或者"視圖"能夠根
據(jù)標(biāo)準(zhǔn)例如MPEG編碼。視頻序列中的圖像能夠表示整個(gè)視頻幀或者 視頻幀的場(chǎng)。片段(slice)是圖像的獨(dú)立編碼部分，片段包括圖像中的 一些或者所有的宏塊，并且宏塊包括圖像元素(或者"像素")的塊。
視頻序列能夠根據(jù)H.264/AVC編解碼器技術(shù)被編碼成多視圖視頻 序列，并且很多研發(fā)者對(duì)標(biāo)準(zhǔn)的修訂進(jìn)行研究以適應(yīng)多視圖視頻序列。
在當(dāng)前H.264標(biāo)準(zhǔn)中規(guī)定了用于支持特定功能的三個(gè)檔(profile)。 術(shù)語"檔(profile)"指示用于視頻編碼/解碼算法的技術(shù)元素的標(biāo)準(zhǔn) 化。換言之，檔是為解碼壓縮序列的比特流而規(guī)定的一組技術(shù)元素， 并且可以被認(rèn)為是子標(biāo)準(zhǔn)。上述三個(gè)檔是基線檔、主要檔和擴(kuò)展檔。 在H.264標(biāo)準(zhǔn)中定義了用于編碼器和解碼器的各種功能，以便編碼器 和解碼器能夠分別地與基線檔、主要檔和擴(kuò)展檔兼容。
根據(jù)用于處理運(yùn)動(dòng)圖像編碼(即序列編碼)的視頻編碼層(VCL) 以及與能夠發(fā)送/存儲(chǔ)編碼信息的子系統(tǒng)相關(guān)聯(lián)的網(wǎng)絡(luò)提取層(NAL)，
構(gòu)造用于H.264/AVC標(biāo)準(zhǔn)的比特流。編碼過程的輸出數(shù)據(jù)是VCL數(shù)據(jù)， 并且在它被發(fā)送或者存儲(chǔ)之前被映射成NAL單元。每一個(gè)NAL單元 包括對(duì)應(yīng)于壓縮視頻數(shù)據(jù)或者頭部信息的原始字節(jié)序列載荷(RBSP)。
NAL單元包括NAL頭部和RBSP。 NAL頭部包括標(biāo)志信息(例 如，nal—ref—idc)和標(biāo)識(shí)(ID)信息(例如，nal—unit—type)。標(biāo)志信 息"nal—refjdc "指示用作NAL單元的參考圖像的片段是否存在。ID 信息"nal—unit—type "指示NAL單元的類型。RBSP存儲(chǔ)壓縮后的原 始數(shù)據(jù)。RBSP末位能夠被添加到RBSP的最后部分，從而RBSP的長(zhǎng) 度能夠由8比特的倍數(shù)來表示。
存在各種NAL單元，例如，即時(shí)解碼刷新(IDR)圖像、序列參 數(shù)集(SPS)、圖像參數(shù)集(PPS)和補(bǔ)充增強(qiáng)信息(SEI)等。
該標(biāo)準(zhǔn)通常使用各種檔和級(jí)來定義目標(biāo)產(chǎn)品，以便能夠以適當(dāng)成 本實(shí)現(xiàn)目標(biāo)產(chǎn)品。解碼器滿足在對(duì)應(yīng)的檔和級(jí)處的預(yù)定約束條件。
檔和級(jí)能夠指示解碼器的功能或者參數(shù)，以便它們指示解碼器能 夠處理哪些壓縮圖像。指示多個(gè)檔中的哪一個(gè)檔對(duì)應(yīng)于比特流的特定 信息能夠利用檔ID信息來標(biāo)識(shí)。檔ID信息"profilejdc "提供用于 標(biāo)識(shí)與比特流相關(guān)聯(lián)的檔的標(biāo)志。H.264/AVC標(biāo)準(zhǔn)包括三個(gè)檔標(biāo)識(shí)符 (ID)。如果檔ID信息"profile—idc "被設(shè)為"66 "，則比特流基 于基線檔。如果檔ID信息"profilejdc"被設(shè)為"77 "，則比特流基 于主要檔。如果檔ID信息"profile—idc "被設(shè)為"88"，則比特流基 于擴(kuò)展檔。上述"profile—idc"信息可以例如被包含在SPS (序列參數(shù) 集)中。

發(fā)明內(nèi)容
在一個(gè)方面，通常， 一種用于解碼視頻信號(hào)的方法包括接收比 特流，該比特流包括根據(jù)第一檔編碼的視頻信號(hào)和標(biāo)識(shí)該第一檔的檔 信息，第一檔表示從包括用于多視圖視頻信號(hào)的至少一個(gè)檔的一組多 個(gè)檔中做出的選擇；從該比特流提取檔信息；以及當(dāng)確定的檔對(duì)應(yīng)于 多視圖視頻信號(hào)時(shí)，使用在對(duì)應(yīng)的視圖中的圖像的段之間的亮度補(bǔ)償， 根據(jù)確定的檔來解碼視頻信號(hào)，其中該多個(gè)視圖的每一個(gè)包括分段成
多個(gè)段(例如，圖像塊段例如單塊或者宏塊，或者例如圖像片段的段) 的多個(gè)圖像。
本發(fā)明的方面能夠包括下面的特征中的一個(gè)或者多個(gè)。
該方法還包括當(dāng)確定的檔對(duì)應(yīng)于多視圖視頻信號(hào)時(shí)，從比特流 中提取與多個(gè)視圖相關(guān)聯(lián)的配置信息，其中，該配置信息包括如下信 息中的至少一個(gè)表示在各個(gè)視圖之間的依賴關(guān)系的視圖依賴信息、 指示參考視圖的視圖標(biāo)識(shí)信息、指示視圖數(shù)目的視圖數(shù)目信息、用于 提供視圖縮放性的視圖級(jí)信息以及指示照相機(jī)布局的視圖布局信息。
檔信息位于比特流的頭部中。
視圖級(jí)信息對(duì)應(yīng)于在多視圖視頻信號(hào)的視圖中與層級(jí)
(hierachical)視圖預(yù)測(cè)結(jié)構(gòu)相關(guān)聯(lián)的多個(gè)級(jí)中的一個(gè)。 視圖依賴信息以二維數(shù)據(jù)結(jié)構(gòu)表示依賴關(guān)系。 二維數(shù)據(jù)結(jié)構(gòu)包括矩陣。 段包括圖像塊。
對(duì)于第一段使用亮度補(bǔ)償包括通過形成包括用于相鄰塊的亮度 補(bǔ)償?shù)念A(yù)測(cè)器(predictor)和殘值(residual value)的和，獲得用于相 鄰塊的亮度補(bǔ)償?shù)钠浦怠?br> 該方法還包括按照其中一個(gè)或者多個(gè)豎直或者水平相鄰者之后 跟著一個(gè)或者多個(gè)對(duì)角相鄰者的次序，根據(jù)對(duì)于相鄰塊來說是否滿足 一個(gè)或者多個(gè)條件，來選擇至少一個(gè)相鄰塊。
選擇至少一個(gè)相鄰塊包括按照以下順序判定對(duì)于相鄰塊來說是否 滿足一個(gè)或者多個(gè)條件左相鄰塊，隨后為上相鄰塊，隨后為右上相 鄰塊，隨后為左上相鄰塊。
判定對(duì)于相鄰塊來說是否滿足一個(gè)或者多個(gè)條件包括從比特流 中提取與相鄰塊相關(guān)聯(lián)的值，該值指示是否需要執(zhí)行相鄰塊的亮度補(bǔ) 償。
選擇至少一個(gè)相鄰塊包括判定使用用于單個(gè)相鄰塊的亮度補(bǔ)償 的偏移值還是使用用于對(duì)應(yīng)的相鄰塊的亮度補(bǔ)償?shù)亩鄠€(gè)偏移值。
在另一方面，通常， 一種用于解碼多視圖視頻信號(hào)的方法包括 接收比特流，該比特流包括多視圖視頻信號(hào)以及表示依賴關(guān)系的視圖 依賴數(shù)據(jù)，該多視圖視頻信號(hào)根據(jù)在各個(gè)視圖之間的依賴關(guān)系編碼； 提取視圖依賴數(shù)據(jù)，并且根據(jù)所提取的數(shù)據(jù)來確定依賴關(guān)系；以及使 用在各個(gè)視圖中的圖像的段之間的亮度補(bǔ)償，根據(jù)確定的依賴關(guān)系， 來解碼多視圖視頻信號(hào)，其中，所述多視圖視頻信號(hào)包括多個(gè)視圖， 每一個(gè)視圖均包括分段成多個(gè)段的多個(gè)圖像。
本發(fā)明的方面能夠包括下面的特征中的一個(gè)或者多個(gè)。
視圖依賴數(shù)據(jù)以二維數(shù)據(jù)結(jié)構(gòu)表示依賴關(guān)系。
視圖依賴數(shù)據(jù)包括矩陣。
該方法還包括從比特流提取配置信息，該配置信息包括以下信息 中的至少一個(gè)指示參考視圖的視圖標(biāo)識(shí)信息、指示視圖數(shù)目的視圖 數(shù)目信息、用于提供視圖縮放性的視圖級(jí)信息以及指示照相機(jī)布局的 視圖布局信息。
段包括圖像塊。
對(duì)于第一段使用亮度補(bǔ)償包括通過形成包括用于相鄰塊的亮度 補(bǔ)償?shù)念A(yù)測(cè)器和殘值的和，獲得用于相鄰塊的亮度補(bǔ)償?shù)钠浦怠?br> 該方法還包括按照在一個(gè)或者多個(gè)豎直或者水平相鄰者后面跟 著一個(gè)或者多個(gè)對(duì)角相鄰者的次序，根據(jù)對(duì)于相鄰塊來說是否滿足一 個(gè)或者多個(gè)條件，來選擇至少一個(gè)相鄰塊。
選擇至少一個(gè)相鄰塊包括按照以下順序判定對(duì)于相鄰塊來說是否 滿足一個(gè)或者多個(gè)條件左相鄰塊，隨后為上相鄰塊，隨后為右上相 鄰塊，隨后為左上相鄰塊。
判定對(duì)于相鄰塊來說是否滿足一個(gè)或者多個(gè)條件包括從比特流 提取與相鄰塊相關(guān)聯(lián)的值，該值指示是否將要執(zhí)行相鄰塊的亮度補(bǔ)償。
選擇至少一個(gè)相鄰塊包括判定使用用于單個(gè)相鄰塊的亮度補(bǔ)償 的偏移值還是使用用于各個(gè)相鄰塊的亮度補(bǔ)償?shù)亩鄠€(gè)偏移值。
該方法還包括當(dāng)將要使用多個(gè)偏移值時(shí)，通過組合多個(gè)偏移值 來獲得用于執(zhí)行第一塊的亮度補(bǔ)償?shù)念A(yù)測(cè)器。
組合該多個(gè)偏移值包括求取偏移值的平均值或者中值。
在另一方面，通常，對(duì)于每一個(gè)對(duì)應(yīng)的解碼方法來說， 一種用于 編碼視頻信號(hào)的方法包括產(chǎn)生能夠利用對(duì)應(yīng)的解碼方法被解碼成視 頻信號(hào)的比特流。例如，在另一方面，通常， 一種用于編碼比特流的 方法包括根據(jù)第一檔形成比特流，該第一檔表示從一組多個(gè)檔中進(jìn) 行的選擇，該組多個(gè)檔包括用于多視圖視頻信號(hào)的至少一個(gè)檔，以及 形成標(biāo)識(shí)該第一檔的檔信息；并且當(dāng)確定的檔對(duì)應(yīng)于多視圖視頻信號(hào)
時(shí)，提供用于在各個(gè)視圖中的圖像的段之間的亮度補(bǔ)償?shù)男畔?，其中?該多個(gè)視圖的每一個(gè)包括分段成多個(gè)段的多個(gè)圖像。在另一方面，通 常， 一種用于編碼比特流的方法包括根據(jù)在各個(gè)視圖之間的依賴關(guān) 系形成比特流，以及形成表示該依賴關(guān)系的視圖依賴數(shù)據(jù)；以及當(dāng)確 定的檔對(duì)應(yīng)于多視圖視頻信號(hào)時(shí)，提供用于在各個(gè)視圖中的圖像的段 之間的亮度補(bǔ)償?shù)男畔?，其中，該多個(gè)視圖的每一個(gè)包括分段成多個(gè) 段的多個(gè)圖像。
在另一方面，通常，對(duì)于各種解碼方法，在計(jì)算機(jī)可讀介質(zhì)上存 儲(chǔ)的計(jì)算機(jī)程序包括用于致使計(jì)算機(jī)執(zhí)行對(duì)應(yīng)的解碼方法的指令。
在另一方面，通常，對(duì)于各種解碼方法，在機(jī)器可讀信息載體上 實(shí)施的圖像數(shù)據(jù)能夠利用對(duì)應(yīng)的解碼方法被解碼成視頻信號(hào)。
在另一方面，通常，對(duì)于各種解碼方法，解碼器包括用于執(zhí)行對(duì) 應(yīng)的解碼方法的裝置。
在另一方面，通常，對(duì)于各種解碼方法，編碼器包括用于產(chǎn)生能 夠利用對(duì)應(yīng)的解碼方法被解碼成視頻信號(hào)的比特流的裝置。
從下面的說明，并且從權(quán)利要求可以清楚其它特征和優(yōu)點(diǎn)。


圖1是示例性解碼設(shè)備。
圖2是示出序列參數(shù)集RBSP語法的結(jié)構(gòu)圖示。
圖3A是示出包括僅僅一個(gè)序列的比特流的結(jié)構(gòu)圖示。
圖3B是示出包括兩個(gè)序列的比特流的結(jié)構(gòu)圖示。
圖4A-4C是示出示例性GOP組(GGOP)結(jié)構(gòu)的圖示。
圖5是示出用于解碼視頻序列的方法的流程圖。
圖6A-6B、 7A-7B和8是示出多視圖序列預(yù)測(cè)結(jié)構(gòu)的實(shí)例的圖示。
圖9A-9B是示出在多視圖序列數(shù)據(jù)的數(shù)個(gè)觀點(diǎn)之間的層級(jí)預(yù)測(cè)結(jié) 構(gòu)的圖示。
圖10A-10B是示出二維(2D)多視圖序列數(shù)據(jù)的預(yù)測(cè)結(jié)構(gòu)的圖示。
圖11A-11C是示出多視圖序列預(yù)測(cè)結(jié)構(gòu)的圖示。
圖12是示出層級(jí)編碼/解碼系統(tǒng)的圖示。
圖13是示出用于編碼視頻序列的方法的流程圖。
圖14是示出用于從其它視圖的參考?jí)K推導(dǎo)出當(dāng)前塊的預(yù)測(cè)平均 像素值的過程的框圖。
圖15是示出用于從其它視圖的參考?jí)K推導(dǎo)出當(dāng)前塊的預(yù)測(cè)平均 像素值的過程的詳細(xì)框圖。
圖16是示出16X16宏塊的圖示。
圖17A-17B是示出16X8宏塊的圖示。
圖18A-18B是示出8X 16宏塊的圖示。
圖19A-19B是示出8X8宏塊的圖示。
圖20是示出用于獲得當(dāng)前塊的偏移值的過程的圖示。
圖21是示出用于執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)倪^程的流程圖。
圖22是示出用于通過判定當(dāng)前塊的參考索引(reference index) 是否等于相鄰塊的參考索引而獲得預(yù)測(cè)器的方法的流程圖。
圖23是示出根據(jù)本本發(fā)明基于當(dāng)前塊的預(yù)測(cè)類型來執(zhí)行亮度補(bǔ) 償?shù)姆椒ǖ牧鞒虉D。
圖24是示出用于使用指示是否執(zhí)行塊的亮度補(bǔ)償?shù)臉?biāo)志信息來 執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
圖25是示出用于通過判定當(dāng)前塊的參考索引是否等于相鄰塊的 參考索引來預(yù)測(cè)當(dāng)前塊的標(biāo)志信息的方法的流程圖。
圖26是示出用于當(dāng)利用兩個(gè)或者更多參考?jí)K對(duì)當(dāng)前塊預(yù)測(cè)編碼 時(shí)執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
圖27是示出用于不僅使用指示是否執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)臉?biāo) 志還使用當(dāng)前塊偏移值來執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
圖28A-28B是示出用于使用與P和B片段的塊相關(guān)聯(lián)的標(biāo)志和偏 移值來執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ膱D示。
圖29是指示用于當(dāng)利用兩個(gè)或者更多參考?jí)K對(duì)當(dāng)前塊預(yù)測(cè)編碼 時(shí)執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
圖30是指示用于使用指示是否執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)臉?biāo)志執(zhí) 行亮度補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
圖31A-31C是示出指示是否執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)臉?biāo)志信息的 范圍的圖示。
圖32是指示用于考慮到當(dāng)前塊的偏移值來獲得運(yùn)動(dòng)矢量的方法 的流程圖。
具體實(shí)施例方式
為了有效處理多視圖序列，輸入比特流包括允許解碼設(shè)備判定輸 入比特流是否與多視圖檔有關(guān)的信息。在判定輸入比特流與多視圖檔 相關(guān)的情形中，根據(jù)語法將與多視圖序列相關(guān)聯(lián)的補(bǔ)充信息添加到比 特流并且發(fā)送到解碼器。例如，多視圖檔ID能夠指示用于根據(jù) H.264/AVC標(biāo)準(zhǔn)的修訂來處理多視圖視頻數(shù)據(jù)的檔模式。
MVC (多視圖視頻編碼)技術(shù)是H.264/AVC標(biāo)準(zhǔn)的修訂技術(shù)。艮口 ， 為MVC模式添加特定語法作為補(bǔ)充信息。用于支持MVC技術(shù)的這種 修訂能夠比其中使用無條件語法的備選方案更加有效。例如，如果AVC 技術(shù)的檔標(biāo)識(shí)符指示多視圖檔，則添加多視圖序列信息能夠提高編碼 效率。
H.264/AVC比特流的序列參數(shù)集(SPS)指示包括與整個(gè)序列編 碼相關(guān)聯(lián)的信息(例如檔和級(jí))的頭部信息。
全部壓縮后的運(yùn)動(dòng)圖像(即序列)能夠以序列頭部開始，從而對(duì) 應(yīng)于頭部信息的序列參數(shù)集(SPS)早于參考參數(shù)集(referto)的數(shù)據(jù) 到達(dá)解碼器。結(jié)果，序列參數(shù)集RBSP在進(jìn)口 (entry) Sl處用作運(yùn)動(dòng) 圖像的壓縮數(shù)據(jù)的頭部信息(圖2)。如果接收到比特流，則檔ID信 息"profile一idc "從數(shù)個(gè)檔中標(biāo)識(shí)哪一個(gè)檔對(duì)應(yīng)于接收到的比特流。
檔ID信息"profile—idc"能夠被例如設(shè)為 "MULTI一VIEW—ROFILE"，以便包括檔ID信息的語法能夠判定所接 收的比特流是否與多視圖檔相關(guān)。當(dāng)所接收的比特流與多視圖檔相關(guān) 時(shí)，能夠添加下面的配置信息。
圖1是示出用于解碼包含多視圖視頻序列的視頻信號(hào)的多視圖視 頻系統(tǒng)的示例性解碼設(shè)備(或者"解碼器")的框圖。該多視圖視頻 系統(tǒng)包括對(duì)應(yīng)的編碼設(shè)備(或者"編碼器")以提供多視圖視頻序列 作為比特流，該比特流包括在機(jī)器可讀信息載體(例如機(jī)器可讀存儲(chǔ) 介質(zhì)或者在發(fā)送器和接收器之間傳播的機(jī)器可讀能量信號(hào))上實(shí)施的 編碼圖像數(shù)據(jù)。
參考圖1，解碼設(shè)備包括解析單元10、熵解碼單元11、反量化 (Inverse Quantization) /反變換(Inverse Transform)單元12、幀間預(yù) 測(cè)單元13、幀內(nèi)預(yù)測(cè)單元14、解塊濾波器15和解碼圖像緩存器16。
幀間預(yù)測(cè)單元13包括運(yùn)動(dòng)補(bǔ)償單元17、亮度補(bǔ)償單元18和亮度 補(bǔ)償偏移預(yù)測(cè)單元19。
解析單元10在NAL單元中對(duì)接收的視頻序列執(zhí)行解析以解碼所 接收的視頻序列。 一般地，在片段頭部和片段數(shù)據(jù)被解碼之前，將一 個(gè)或者多個(gè)序列參數(shù)集和圖像參數(shù)集發(fā)送到解碼器。在此情形中，NAL 頭部或者NAL頭部的擴(kuò)展區(qū)域可以包括各種配置信息，例如，時(shí)間級(jí) 信息(temporal level information)、視圖級(jí)信息(view level information)、 錨定(anchor)圖像ID信息和視圖ID信息等。
術(shù)語"時(shí)間級(jí)信息"表示用于從視頻信號(hào)提供時(shí)間縮放性的分層 結(jié)構(gòu)信息，以便能夠經(jīng)由上述時(shí)間級(jí)信息將多種時(shí)區(qū)的序列提供給用 戶。
術(shù)語"視圖級(jí)信息"表示用于從視頻信號(hào)提供視圖縮放性的分層 結(jié)構(gòu)信息。多視圖視頻序列能夠限定時(shí)間級(jí)和視圖級(jí)，以便能夠根據(jù) 所限定的時(shí)間級(jí)和視圖級(jí)將多種時(shí)間序列和視圖序列提供給用戶。
以此方式，如果如上所述來限定級(jí)信息，則用戶可以采用時(shí)間縮 放性和視圖縮放性。因此，使用者能夠査看對(duì)應(yīng)于期望時(shí)間和視圖的 序列，或者能夠査看對(duì)應(yīng)于另一限制的序列。也可以根據(jù)參考狀態(tài)以 各種方式建立上述級(jí)信息。例如，可以根據(jù)照相機(jī)位置改變級(jí)信息， 并且也可以根據(jù)照相機(jī)布局類型來改變級(jí)信息。另外，也可以沒有任 何特定參考地任意建立級(jí)信息。
術(shù)語"錨定圖像"表示其中所有片段僅僅指的是當(dāng)前視圖中的片 段而非其它視圖中的片段的編碼圖像。在視圖之間的隨機(jī)訪問能夠被
用于多視圖序列解碼。
錨定圖像ID信息能夠被用于執(zhí)行隨機(jī)訪問過程以訪問特定視圖 的數(shù)據(jù)而無需解碼大量數(shù)據(jù)。
術(shù)語"視圖ID信息"表示用于在當(dāng)前視圖的圖像和另一視圖的
圖像之間進(jìn)行區(qū)別的特定信息。當(dāng)對(duì)視頻序列信號(hào)進(jìn)行編碼時(shí)，為了
將一個(gè)圖像從其它圖像區(qū)別開，能夠使用圖像序列號(hào)(POC)和幀序號(hào) 信息(frame—num)。
如果當(dāng)前序列被確定為多視圖視頻序列，則能夠執(zhí)行視圖間預(yù)測(cè)。 標(biāo)識(shí)符被用于將當(dāng)前視圖的圖像與另一視圖的圖像進(jìn)行區(qū)別。
能夠定義視圖標(biāo)識(shí)符以表示圖像的視圖。解碼設(shè)備能夠使用上述 視圖標(biāo)識(shí)符獲得不同于當(dāng)前圖像的視圖的視圖中的圖像的信息，以便 它能夠使用該圖像的信息來解碼視頻信號(hào)。上述視圖標(biāo)識(shí)符能夠被應(yīng)
用于視頻信號(hào)的整個(gè)編碼/解碼過程。而且，考慮到視圖，上述視圖標(biāo)
識(shí)符也能夠被應(yīng)用于使用幀序號(hào)信息"ftame—num "的多視圖視頻編
碼過程。
一般地，多視圖序列具有大量數(shù)據(jù)，并且每一個(gè)視圖的分層編碼 功能(也被稱為"視圖縮放性")能夠被用于處理該大量數(shù)據(jù)。為了 執(zhí)行視圖縮放性功能，可以定義考慮到多視圖序列的視圖的預(yù)測(cè)結(jié)構(gòu)。
可以通過結(jié)構(gòu)化數(shù)個(gè)視圖序列的預(yù)測(cè)次序或者方向來定義上述預(yù) 測(cè)結(jié)構(gòu)。例如，如果給定將要編碼的數(shù)個(gè)視圖序列，則總體布局的中 心位置被設(shè)為基礎(chǔ)視圖，以便能夠分層地選擇將要編碼的視圖序列。 總體布局的端部或者其它部分可以被設(shè)為基礎(chǔ)視圖。
如果照相機(jī)視圖的數(shù)目由"2 "的指數(shù)冪表示，則根據(jù)用"2 " 的指數(shù)冪表示照相機(jī)視圖的上述情形，能夠形成數(shù)個(gè)視圖序列之間的 分層預(yù)測(cè)結(jié)構(gòu)。在其它情形中，如果照相機(jī)視圖的數(shù)目不由"2 "的 指數(shù)冪表示，則能夠使用虛擬視圖并且可以基于該虛擬視圖形成預(yù)測(cè) 結(jié)構(gòu)。如果照相機(jī)布局指示二維布局，則可以沿著水平或者垂直方向 交替地(by turns)形成預(yù)測(cè)次序。
被解析的比特流利用熵解碼單元11進(jìn)行熵解碼，并且提取數(shù)據(jù)， 例如每一個(gè)宏塊的系數(shù)、運(yùn)動(dòng)矢量等。反量化/反變換單元12將所接收 的量化值乘以預(yù)定常數(shù)以獲取經(jīng)過變換的系數(shù)值，并且對(duì)所獲取系數(shù) 值執(zhí)行反變換，以便它重構(gòu)像素值。幀間預(yù)測(cè)單元13使用該重構(gòu)的像 素值由當(dāng)前圖像的解碼樣本執(zhí)行幀間預(yù)測(cè)功能。
同時(shí)，解塊濾波器15被應(yīng)用于每一個(gè)解碼宏塊以降低塊失真程 度。解塊濾波器15執(zhí)行塊邊緣的平滑處理，從而它提高解碼后的幀的 圖像質(zhì)量。濾波過程的選擇依賴于邊界強(qiáng)度和在邊界附近布局的圖像 樣本的梯度。濾波后的圖像被存儲(chǔ)在解碼圖像緩存器16中，從而它們
能夠被輸出或者被用作參考圖像。
解碼圖像緩存器16存儲(chǔ)或者輸出預(yù)編碼圖像以執(zhí)行幀間預(yù)測(cè)功
能。在此情形中，圖像的幀序號(hào)信息"frame一num "和POC (圖像序 列號(hào))信息被用于存儲(chǔ)或者輸出預(yù)編碼圖像。在MVC技術(shù)的情形中， 其它視圖的圖像可以存在于上述預(yù)編碼圖像中。因此，為了使用上述 圖像作為參考圖像，根據(jù)需要，可以不僅使用"frame—皿m "和POC 信息，而且使用表示圖像視圖的視圖標(biāo)識(shí)符。
幀間預(yù)測(cè)單元13使用在解碼圖像緩存器16中存儲(chǔ)的參考圖像執(zhí) 行幀間預(yù)測(cè)。幀間編碼宏塊可以被劃分成宏塊部分。每一個(gè)宏塊部分 能夠利用一個(gè)或者兩個(gè)參考圖像來預(yù)測(cè)。
運(yùn)動(dòng)補(bǔ)償單元17使用從熵解碼單元11接收的信息補(bǔ)償當(dāng)前塊的 運(yùn)動(dòng)。運(yùn)動(dòng)補(bǔ)償單元17從視頻信號(hào)提取當(dāng)前塊的相鄰塊的運(yùn)動(dòng)矢量， 并且獲得當(dāng)前塊的運(yùn)動(dòng)矢量預(yù)測(cè)器。運(yùn)動(dòng)補(bǔ)償單元17使用在從視頻信 號(hào)和所獲得的運(yùn)動(dòng)矢量預(yù)測(cè)器所提取的運(yùn)動(dòng)矢量和預(yù)測(cè)值之間的差 值，來補(bǔ)償當(dāng)前塊的運(yùn)動(dòng)。上述運(yùn)動(dòng)補(bǔ)償可以利用僅僅一個(gè)參考圖像 執(zhí)行，或者也可以利用多個(gè)參考圖像執(zhí)行。
因此，如果上述參考圖像被確定為不同于當(dāng)前視圖的其它視圖的 圖像，則可以根據(jù)表示其它視圖的視圖標(biāo)識(shí)符來執(zhí)行運(yùn)動(dòng)補(bǔ)償。
直接模式表示用于基于被完全解碼的塊的運(yùn)動(dòng)信息來預(yù)測(cè)當(dāng)前塊 的運(yùn)動(dòng)信息的編碼模式。上述直接模式能夠減少編碼運(yùn)動(dòng)信息所需的 位數(shù)，結(jié)果導(dǎo)致提高壓縮效率。
例如，時(shí)域直接模式使用時(shí)域方向的運(yùn)動(dòng)信息的相關(guān)性來預(yù)測(cè)當(dāng) 前塊的運(yùn)動(dòng)信息。類似于時(shí)域直接模式，解碼器能夠使用視圖方向的 運(yùn)動(dòng)信息的相關(guān)性來預(yù)測(cè)當(dāng)前塊的運(yùn)動(dòng)信息。
如果所接收的比特流對(duì)應(yīng)于多視圖序列，則可以分別地利用不同 照相機(jī)捕獲視圖序列，以便可能由于照相機(jī)的內(nèi)部或者外部因素導(dǎo)致 可以發(fā)生亮度差異。為了減少與亮度差異相關(guān)聯(lián)的潛在的效率低下問 題，亮度補(bǔ)償單元18執(zhí)行亮度補(bǔ)償功能。
在執(zhí)行亮度補(bǔ)償功能的情形中，標(biāo)志信息可以用于指示是否執(zhí)行
在視頻信號(hào)的特定級(jí)處的亮度補(bǔ)償。例如，亮度補(bǔ)償單元18可以使用
指示是否執(zhí)行對(duì)應(yīng)的片段或者宏塊的亮度補(bǔ)償?shù)臉?biāo)志信息，來執(zhí)行亮 度補(bǔ)償功能。而且，用于使用上述標(biāo)志信息執(zhí)行亮度補(bǔ)償?shù)纳鲜龇椒?br> 可以被應(yīng)用于各種宏塊類型(例如幀間16X16模式(inter 16X16 mode) 、 B-跳過模式(B-skipmode)、直接模式等)。
當(dāng)執(zhí)行亮度補(bǔ)償時(shí)，為了重構(gòu)當(dāng)前塊，可以使用相鄰塊的信息或 者不同于當(dāng)前塊的視圖的視圖中的塊的信息，并且也可以使用當(dāng)前塊 的偏移值。
在此情形中，當(dāng)前塊的偏移值表示在當(dāng)前塊的平均像素值與對(duì)應(yīng) 于當(dāng)前塊的參考?jí)K的平均像素值之間的差值。作為使用上述偏移值的 實(shí)例，可以通過使用當(dāng)前塊的相鄰塊獲得當(dāng)前塊偏移值的預(yù)測(cè)器，并 且可以使用在偏移值和預(yù)測(cè)器之間的殘值。因此，解碼器能夠使用殘 值和預(yù)測(cè)器重構(gòu)當(dāng)前塊的偏移值。
為了獲得當(dāng)前塊的預(yù)測(cè)器，可以根據(jù)需要使用相鄰塊的信息。
例如，能夠通過使用相鄰塊的偏移值來預(yù)測(cè)當(dāng)前塊的偏移值。在 預(yù)測(cè)當(dāng)前塊的偏移值之前，判定當(dāng)前塊的參考索引是否等于相鄰塊的 參考索引。根據(jù)判定結(jié)果，亮度補(bǔ)償單元18能夠判定將使用哪一個(gè) 相鄰塊或者使用哪個(gè)值。
亮度補(bǔ)償單元18可以使用當(dāng)前塊的預(yù)測(cè)類型來執(zhí)行亮度補(bǔ)償。如 果利用兩個(gè)參考?jí)K對(duì)當(dāng)前塊進(jìn)行預(yù)測(cè)編碼，則亮度補(bǔ)償單元18可以使 用當(dāng)前塊的偏移值來獲得對(duì)應(yīng)于每一個(gè)參考?jí)K的偏移值。
如上所述，根據(jù)預(yù)測(cè)模式來選擇利用亮度補(bǔ)償和運(yùn)動(dòng)補(bǔ)償獲得的 幀間預(yù)測(cè)圖像或幀內(nèi)預(yù)測(cè)圖像，并且重構(gòu)當(dāng)前圖像。
在該文獻(xiàn)中稍后將描述用于重構(gòu)當(dāng)前圖像的編碼/解碼方法的各
種實(shí)例。圖2是指示序列參數(shù)集RBSP語法的結(jié)構(gòu)圖示。
參考圖2，序列參數(shù)集表示包括與整個(gè)序列編碼相關(guān)聯(lián)的信息(例 如檔和級(jí))的頭部信息。
整個(gè)壓縮序列能夠以序列頭部開始，從而對(duì)應(yīng)于頭部信息的序列 參數(shù)集早于參考(refer to)參數(shù)集的數(shù)據(jù)到達(dá)解碼器。結(jié)果，在步驟 Sl，序列參數(shù)集(RBSP)用作與得到的壓縮后的運(yùn)動(dòng)圖像的數(shù)據(jù)相關(guān) 聯(lián)的頭部信息。在步驟S2，如果接收到比特流，"profile—idc "信息 確定數(shù)個(gè)檔中的哪一個(gè)檔對(duì)應(yīng)于所接收的比特流。例如，如果 "profilejdc "被設(shè)為"66 "，則這指示所接收的比特流基于基線檔。 如果"profile一idc "被設(shè)為"77 "，則這指示所接收的比特流基于主 要檔。如果"profile—idc"被設(shè)為"88"，則這指示所接收的比特流基 于擴(kuò)展檔。步驟 S3 使用語法"If ( profile—idc ) ==MULTI—VIEW—PROFILE)"以判定所接收的比特流是否涉及多視圖 檔。
如果在步驟S3所接收的比特流涉及多視圖檔，則多視圖序列的各 種信息能夠被添加到所接收的比特流。
"reference—view "信息表示全部視圖的參考視圖，并且可以將與 參考視圖相關(guān)聯(lián)的信息添加到比特流。通常，MVC技術(shù)使用能夠被用
于單個(gè)序列的編碼方案(例如，H.264/AVC編解碼器)來編碼或者解 碼參考視圖序列。如果參考視圖被添加到語法，則語法指示數(shù)個(gè)視圖 中的哪一個(gè)視圖將被設(shè)為參考視圖。
用作編碼參考的基礎(chǔ)視圖用作上述參考視圖。參考視圖的圖像被 獨(dú)立編碼而不參考另一視圖的圖像。
視圖數(shù)目(num—views)可以添加指示由數(shù)個(gè)照相機(jī)捕獲的多視圖 的數(shù)目的特定信息。可以以各種方式設(shè)定每一個(gè)序列的視圖數(shù)目 (num—views) 。 "num_views "信息被發(fā)送到編碼器和解碼器，從 而在步驟S5編碼器和解碼器能夠自由使用"num一views "信息。
照相機(jī)布局(view—arrangement)指示當(dāng)獲取到序列時(shí)照相機(jī)的布 局類型。如果"view_arrangement "信息被添加到語法，則編碼過程 能夠有效執(zhí)行以適用于各個(gè)布局。此后，如果開發(fā)出新的編碼方法， 能夠使用不同的"view—arrangement "信息。
幀的數(shù)目"temporal_units_siZe "指示每一個(gè)視圖的接連編碼/解 碼幀的數(shù)目。如果需要，也可以添加指示幀數(shù)的特定信息。更加詳細(xì) 地，如果當(dāng)前第N個(gè)視圖正在被編碼/解碼，并且第M個(gè)視圖將在下一 次被編碼/解碼，則"temporal_units—size "信息指示在第N個(gè)視圖將 首先處理多少個(gè)幀并且然后將處理第M個(gè)視圖。通過 "temporal—units—size "信息和"num_views "信息，系統(tǒng)能夠從數(shù)個(gè) 視圖中判定哪一個(gè)視圖對(duì)應(yīng)于每個(gè)幀。如果從每一個(gè)視圖序列的I片段 到P片段的第一長(zhǎng)度、在P片段之間的第二長(zhǎng)度、或者對(duì)應(yīng)于第一或 者第二長(zhǎng)度的倍數(shù)的長(zhǎng)度被設(shè)為"temporal—units—size "信息，可以僅 僅在一個(gè)視圖處處理"temporal—units—size "信息，并且可以進(jìn)行到下 一個(gè)視圖。"temporal—units—size "信息可以等于或者小于傳統(tǒng)GOP 長(zhǎng)度。例如，圖4B 4C示出用于解釋"tempora1—units—size "概念的 GGOP結(jié)構(gòu)。在此情形中，在圖4B中，"temporal—units—size"信息被
設(shè)為"3"。在圖4C中，"temporal—units—size"信息被設(shè)為"1"。
在一些實(shí)例中，對(duì)應(yīng)于"temporal一units一size"為"l的情況，MVC 方法在時(shí)間軸和視圖軸上布局?jǐn)?shù)個(gè)幀，以便它可以處理在相同時(shí)間值 的每個(gè)視圖的單個(gè)幀，并且然后可以處理在下一個(gè)時(shí)間值的每一個(gè)視 圖的單個(gè)幀?？商娲兀瑢?duì)應(yīng)于"temporal_units—size "為"N"的情 況，MVC方法可以在相同視圖處處理N個(gè)幀，并且然后可以在下一個(gè) 視圖處處理該N個(gè)幀。因?yàn)橥ǔＬ幚碇辽僖粋€(gè)幀，所以 "temporal—units_size—minusl "可以被添加到語法以表示處理多少另外 的幀。因此，在步驟S7，上述實(shí)例可以分別地由"temporal—units_size minusl=0 "和"temporal—units_size_minusl=N-1 "表示。
傳統(tǒng)編碼方案的檔不具有公共檔，從而標(biāo)志被進(jìn)一步用于指示兼 容性。"constraint—set*—flag "信息指示哪一個(gè)檔能夠使用解碼器來解 碼比特流。"constraint—setO_flag "信息指示能夠在步驟S8利用基線 檔的解碼器來解碼比特流。"constraint—setl—flag "信息指示能夠在步 驟S9利用主要檔的解碼器來解碼比特流。"constraint—set2—flag"信息 指示能夠在步驟S10利用擴(kuò)展檔的解碼器來解碼比特流。因此，需要 定義"MULTI—VIEW—PROFILE "解碼器，并且可以在步驟Sll利用 "constraintset4Jlag "信息來定義"MULTI—VIEW—PROFILE"解碼 器。
"leveljdc "信息指示級(jí)標(biāo)識(shí)符。"level"通常指示解碼器的性 能和比特流的復(fù)雜度，并且在步驟S12涉及在上述檔中規(guī)定的技術(shù)元素。
"seq_parameter_set—id"信息指示在SPS (序列參數(shù)集)中包含的 SPS (序列參數(shù)集)ID信息從而在步驟S13標(biāo)識(shí)序列類型。
圖3A是示出包括僅僅一個(gè)序列的比特流的結(jié)構(gòu)圖示。
參考圖3A，序列參數(shù)集(SPS)指示包括與整個(gè)序列編碼相關(guān)聯(lián) 的信息(例如檔和級(jí))的頭部信息。補(bǔ)充增強(qiáng)信息(SEI)指示補(bǔ)充信 息，對(duì)于運(yùn)動(dòng)圖像(即序列)編碼層的解碼過程而言并不需要該補(bǔ)充 增強(qiáng)信息。圖像參數(shù)集(PPS)是指示整個(gè)圖像的編碼模式的頭部信息。 I片段僅僅執(zhí)行幀內(nèi)編碼過程。P片段執(zhí)行幀內(nèi)編碼過程或者幀間預(yù)測(cè) 編碼過程。圖像分隔符指示在視頻圖像之間的邊界。系統(tǒng)對(duì)上述SPS 應(yīng)用SPSRBSP語法。因此，系統(tǒng)在產(chǎn)生比特流期間采用上述語法，以 便它能夠向所需對(duì)象添加各種信息。
圖3B是示出包括兩個(gè)序列的比特流的結(jié)構(gòu)圖示。
參考圖3B， H.264/AVC技術(shù)能夠使用單個(gè)比特流處理多種序列。 SPS包括SPS中的SPS ID信息(seq_parameter_set—id)以便標(biāo)識(shí)序列。 在PPS (圖像參數(shù)集)中規(guī)定SPSID信息，以便標(biāo)識(shí)哪一個(gè)序列包括 圖像。而且，在片段頭部中規(guī)定PPSID信息(pic_parameter_set—id)， 以便"pic_parameter—set—id "信息能夠標(biāo)識(shí)將使用哪一個(gè)PPS。
例如，圖3B的片段#1的頭部包括將將要參考的PPS ID信息 (pic_parameter—set—id)，如由①所表示。PPS#1包括所參考的SPS ID 信息(SPS=1)，如由②所表示。因此，能夠認(rèn)識(shí)到片段#1屬于序列#1。 以此方式，也能夠認(rèn)識(shí)到片段#2屬于序列#2，如由③和④所表示。實(shí) 際上，基線檔和主要檔被添加和編輯以創(chuàng)建新的視頻比特流。在此情 形中，兩個(gè)比特流被分配不同的SPSID信息。該兩個(gè)比特流中的任何 一個(gè)也可以根據(jù)需要被轉(zhuǎn)變?yōu)槎嘁晥D檔。
圖4A示出示例性GOP組(GGOP)結(jié)構(gòu)。圖4B和圖4C示出用 于解釋"temporal_units—size "概念的GGOP結(jié)構(gòu)。GOP表示一些圖 像的數(shù)據(jù)組。為了有效執(zhí)行編碼過程，MVC使用GGOP概念來執(zhí)行空 間(spatial)預(yù)測(cè)和時(shí)間(temporal)預(yù)測(cè)。
如果在每一個(gè)視圖序列的I片段和P片段之間的第一長(zhǎng)度、在P 片段之間的第二長(zhǎng)度、或者對(duì)應(yīng)于第一或者第二長(zhǎng)度的倍數(shù)的第三長(zhǎng)
度被設(shè)為"temporal—units_size "信息，則可以在僅僅一個(gè)視圖處處理 "temporal—units—size "信息，并且可以進(jìn)行到下 一 個(gè)視圖。 "temporal_units—size "信息可以等于或者小于傳統(tǒng)GOP長(zhǎng)度。例如， 在圖4B中，"temporal_units—size "信息被設(shè)為"3 "。在圖4C中， "temporal—units_size "信息被設(shè)為"1 "。特別地，在圖4B中，如 果"temporal—units—size "信息由"temporal—units—size>l "表示，并 且一個(gè)或者多個(gè)視圖在I幀處開始，則能夠處理(temporal一units—size+l ) 個(gè)幀。而且，通過參考上述"temporal—units—size "和"num—views ，， 信息，系統(tǒng)能夠從數(shù)個(gè)視圖中識(shí)別出哪一個(gè)視圖對(duì)應(yīng)于整個(gè)序列的每 一個(gè)幀。
在圖4A中，在時(shí)間軸和視圖軸上布局各個(gè)幀。V1 V8的圖像分 別地指示GOP。用作基礎(chǔ)GOP的V4被用作其它GOP的參考GOP。 如果"temporal—units—size "信息被設(shè)為"1 "，則MVC方法在相同 時(shí)間區(qū)處理各個(gè)視圖的幀，并且然后能夠在下一個(gè)時(shí)間區(qū)再次處理各 個(gè)視圖的幀。T1 T4的圖像指示在相同時(shí)間區(qū)的各個(gè)視圖的幀。換言 之，MVC方法能夠首先處理T1的幀，并且然后能夠以T4-〉T2-〉T3-、.. 的順序處理多個(gè)幀。如果"temporal—units—size "信息被設(shè)為"N"， 則MVC方法可以首先在單個(gè)視圖中沿著時(shí)間軸方向處理N個(gè)幀，并 且可以在下一個(gè)視圖處處理該N個(gè)幀。換言之，如果 "temporal—units—size "信息被設(shè)為"4 "，則MVC方法可以首先處 理在V4 GOP的Tl-T4的幀中包含的幀，并且然后可以按照順序 V1》V2》V3》".處理多個(gè)幀。
因此，在產(chǎn)生圖4A中的比特流的情形中，視圖數(shù)目(皿m—views) 被設(shè)為"8 "，參考視圖被設(shè)為V4 GOP (圖像組)。幀的數(shù)目 (temporal—units—size)指示每一個(gè)視圖的接連編碼/解碼的幀的數(shù)目。
因此，如果在圖4A中的相同時(shí)間區(qū)處處理每一個(gè)視圖的幀，則 "temporal—units—size "信息被設(shè)為"1 "。如果在單個(gè)視圖中沿著時(shí) 間軸方向處理幀，貝IJ "temporal_units—size "信息被設(shè)為"N"。上述 信息被添加到比特流產(chǎn)生過程。
圖5是示出用于解碼視頻序列的方法的流程圖。
參考圖8，從所接收的比特流提取一個(gè)或者多個(gè)檔信息。在此情 形中，所提取的檔信息可以是數(shù)個(gè)檔(例如基線檔、主要檔和多視圖 檔)中的至少一個(gè)。在步驟S51可以根據(jù)輸入的視頻序列來改變上述 檔信息。從所提取的檔信息中提取在上述檔中包含的至少一個(gè)配置信 息。例如，如果所提取的檔信息涉及多視圖檔，則在步驟S53提取在 多視圖檔中包含的一個(gè)或者多個(gè)配置信息(即"reference_view "、 "num—views ，， 、 " view—arrangement"和"temporal—units_size "信息)。 以此方式，上述所提取的信息被用于對(duì)多視圖編碼的比特流進(jìn)行解碼。
圖6A-6B是示出根據(jù)第一實(shí)例的多視圖序列預(yù)測(cè)結(jié)構(gòu)的概念圖示。
參考圖6A-6B，如果數(shù)個(gè)觀點(diǎn)的數(shù)目(m)(即，多視圖數(shù)目)被 設(shè)為211 (即，m=2n)，如果薩0，則多視圖數(shù)目(m)被設(shè)為"1 "。 如果『1，則多視圖數(shù)目(m)被設(shè)為"2 "。如果『2，則多視圖數(shù) 目(m)被設(shè)為"4 "。如果!1=3，則多視圖數(shù)目(m)被設(shè)為"8 "。 因此，如果多視圖數(shù)目(m)被設(shè)為2n"<m《2n，則比特流包括單個(gè)基 礎(chǔ)視圖比特流和n個(gè)分層輔助視圖比特流。
特別地，術(shù)語"基礎(chǔ)視圖"表示數(shù)個(gè)觀點(diǎn)(即多視圖)中的參考 視圖。換言之，對(duì)應(yīng)于該基礎(chǔ)視圖的序列(即運(yùn)動(dòng)圖像)利用普通視 頻編碼方案(例如MPEG-2、 MPEG-4、 H.263和H.264等)編碼，從 而它以獨(dú)立比特流的形式產(chǎn)生。為了方便說明，該獨(dú)立比特流被稱為
"基礎(chǔ)視圖比特流"。
術(shù)語"輔助視圖"表示在數(shù)個(gè)觀點(diǎn)(即多視圖)中除了上述基礎(chǔ) 視圖之外的剩余視圖。換言之，對(duì)應(yīng)于輔助視圖的序列通過執(zhí)行基礎(chǔ)
視圖序列的差異(disparity)估計(jì)而形成比特流，并且該比特流被稱為 "輔助視圖比特流"。
當(dāng)在數(shù)個(gè)觀點(diǎn)(即多視圖)之間執(zhí)行分層編碼過程(即視圖縮放 性過程)的情形中，上述輔助視圖比特流被分類成第一輔助視圖比特 流、第二輔助視圖比特流和第n輔助視圖比特流。
術(shù)語"比特流"根據(jù)需要可以包括上述基礎(chǔ)視圖比特流和上述輔 助視圖比特流。
例如，如果多視圖數(shù)目(m)被設(shè)為"8 " (n=3)，比特流包括 單個(gè)基礎(chǔ)視圖和三層輔助視圖。如果比特流包括單個(gè)基礎(chǔ)視圖和n層 輔助視圖，則優(yōu)選由普通規(guī)則定義將要成為多視圖中的基礎(chǔ)視圖的位 置和將要成為每一個(gè)分層輔助視圖的位置。作為參考，圖6A-6B的正 方形區(qū)域表示單個(gè)觀點(diǎn)。關(guān)于在正方形區(qū)域中包含的數(shù)字，數(shù)字"0 " 表示基礎(chǔ)視圖，數(shù)字"1 "指示第一層輔助視圖，數(shù)字"2 "表示第 二層輔助視圖，并且數(shù)字"3 "表示第三層輔助視圖。在圖6A-6B的 這個(gè)實(shí)例中，作為多視圖視頻序列，示例性地公開了最多8個(gè)觀點(diǎn)， 然而，應(yīng)該注意，多視圖數(shù)目不限于"8 "，并且根據(jù)需要任何多視 圖數(shù)目可以用于其它實(shí)例。
參考圖6A，由下面的規(guī)則確定各個(gè)基礎(chǔ)視圖和各個(gè)輔助視圖。首 先，基礎(chǔ)視圖的位置被設(shè)為第2"個(gè)視圖。例如，如果r^3，基礎(chǔ)視圖 被設(shè)為第四視圖。圖6A-6B示出其中開始視圖位于最右側(cè)的示例性情 形。對(duì)應(yīng)于從最右視圖61起的第四次序的特定視圖被用作基礎(chǔ)視圖。 優(yōu)選地，基礎(chǔ)視圖位置可以位于多視圖中的中心視圖附近的特定位置
處或者可以被設(shè)為多視圖中的中心視圖，因?yàn)榛A(chǔ)視圖可以被用作參 考以執(zhí)行其它輔助視圖的預(yù)測(cè)編碼過程。
對(duì)于另一實(shí)例，最左的視圖總是被設(shè)為開始視圖，并且觀點(diǎn)的數(shù)
目(m)(即多視圖數(shù)目)可以按照111=0-〉111=1->111=2-〉111=3...的順序布 局。例如，如果11=3，第211—i個(gè)多視圖數(shù)目(即111=4)可以被設(shè)為基礎(chǔ) 視圖。
第一層輔助視圖位置可以被設(shè)為從上述基礎(chǔ)視圖分開2n—2量級(jí) (magnitude)的左側(cè)視圖，或者從上述基礎(chǔ)視圖分開2n-2量級(jí)的右側(cè) 視圖。例如，圖6A示出例示情況，其中從基礎(chǔ)視圖在向左方向上分開 2"個(gè)視圖(即在n-3的情形中為兩個(gè)觀點(diǎn))的觀點(diǎn)被確定為第一層輔 助視圖。在其它情形中，圖6B示出例示情況，其中沿著右方向從基礎(chǔ) 視圖分開2"個(gè)視圖(即在11=3的情形中為兩個(gè)觀點(diǎn))的觀點(diǎn)被確定為 第一層輔助視圖。在上述實(shí)例中，第一層輔助視圖的數(shù)目被設(shè)為"l "。
第二層輔助視圖位置可以被設(shè)為從基礎(chǔ)視圖分開2n-2量級(jí)的左側(cè) 視圖，或者從第一層輔助視圖分開211-2量級(jí)的右側(cè)視圖。例如，上述圖 6A的情形產(chǎn)生兩個(gè)第二層輔助視圖。因?yàn)樯鲜鰣D6B的情形不具有沿 著右方向從第一層輔助視圖分開211—2量級(jí)的視圖，所以沿著左方向從基 礎(chǔ)視圖分開2n—2量級(jí)的觀點(diǎn)被確定為第二層輔助視圖。
沿著左方向從第二層輔助視圖分開2"量級(jí)的觀點(diǎn)也可以被確定 為第二層輔助視圖63。然而，如果該觀點(diǎn)對(duì)應(yīng)于多視圖的兩端，則上 述觀點(diǎn)可以被確定為第三層輔助視圖。在圖6B的情形中可以產(chǎn)生一個(gè) 或者兩個(gè)第二層輔助視圖。
最后，第三層輔助視圖位置被設(shè)為除了已被選擇為基礎(chǔ)視圖和第 一以及第二層輔助視圖的上述觀點(diǎn)之外的剩余觀點(diǎn)。在圖6A中，產(chǎn)生 四個(gè)第三層輔助視圖。在圖6B中，產(chǎn)生四個(gè)或者五個(gè)第三層輔助視圖。
圖7A-7B是示出根據(jù)第二實(shí)例的多視圖序列預(yù)測(cè)結(jié)構(gòu)的概念圖
圖7A-7B的第二實(shí)例在概念方面類似于上述圖6A-6B的第一實(shí) 例，然而，應(yīng)該注意，不同于圖6A-6B，圖7A-7B示出用于選擇基礎(chǔ) 視圖的開始視圖位于最左側(cè)。換言之，從最左側(cè)65分開的第四視圖被 選擇作為基礎(chǔ)視圖。在圖7A-7B中，除了上述差異之外的其余部分與 圖6A-6B的那些相同。
圖8是示出根據(jù)第三實(shí)例的多視圖序列預(yù)測(cè)結(jié)構(gòu)的概念圖示。
圖8的第三實(shí)例示出其中多視圖數(shù)目(m)被設(shè)為2n-^m《2n的示 例性情形。更加詳細(xì)地，圖8示出由111=5， m=6， m=7，和m=8表示 的各種情形。如果m=5， 6，和7，則多視圖數(shù)目(m)并不滿足條件 m=2n，從而系統(tǒng)不作改變則難以實(shí)現(xiàn)圖6A-6B的上述第一實(shí)例和圖 7A-7B的上述第二實(shí)例。為了解決上述問題，該系統(tǒng)應(yīng)用虛擬視圖概 念，以便利用虛擬視圖概念避免上述問題。
例如，如果2n-^nK211，產(chǎn)生2^m個(gè)虛擬視圖。如果多視圖數(shù)目 (m)是奇數(shù)，則在多視圖布局的左側(cè)(或者右側(cè))產(chǎn)生(2n-m+l) /2 個(gè)虛擬視圖，并且在多視圖布局的右側(cè)(或者左側(cè))產(chǎn)生(2n-m-l) /2 個(gè)虛擬視圖。如果多視圖數(shù)目(m)是偶數(shù)，分別地在多視圖布局的左 側(cè)和右側(cè)產(chǎn)生(2n-m) /2個(gè)虛擬視圖。并且然后，能夠以相同方式利 用所得到的虛擬視圖應(yīng)用上述預(yù)測(cè)結(jié)構(gòu)。
例如，如果多視圖數(shù)目(m)被設(shè)為"5 "，則通過分別地向多 視圖的兩端添加一個(gè)或者兩個(gè)虛擬視圖而虛擬地形成m=8的多視圖， 并且選擇基礎(chǔ)視圖位置和三個(gè)層級(jí)輔助視圖位置。如從圖8可見，兩 個(gè)虛擬視圖被添加到左側(cè)的端部，并且單個(gè)虛擬視圖被添加到右側(cè)的
端部，以便根據(jù)圖6A的上述實(shí)例選擇基礎(chǔ)視圖和第一到第三層輔助視 圖。
例如，如果多視圖數(shù)目(m)被設(shè)為"6 "，則通過向多視圖的 兩端都添加單個(gè)虛擬視圖而虛擬地形成m-8的多視圖，并且分別地選 擇基礎(chǔ)視圖的位置和三層輔助視圖的位置。如從圖8可見，根據(jù)圖6A 的上述實(shí)例選擇基礎(chǔ)視圖和第一到第三層輔助視圖。
例如，如果多視圖數(shù)目(m)被設(shè)為"7 "，則通過向多視圖兩 端的任何一個(gè)添加單個(gè)虛擬視圖而虛擬地形成m=8的多視圖，并且分 別地選擇基礎(chǔ)視圖的位置和三層輔助視圖的位置。例如，如圖8所示， 將單個(gè)虛擬視圖添加到左側(cè)端部，以便根據(jù)圖6A的上述實(shí)例選擇基礎(chǔ) 視圖和第一到第三層輔助視圖。
圖9A-9B是示出在多視圖序列數(shù)據(jù)的數(shù)個(gè)觀點(diǎn)之間的分層預(yù)測(cè)結(jié) 構(gòu)的概念圖示。例如，圖9A示出圖6A情形的實(shí)現(xiàn)實(shí)例，并且圖9B 示出圖7A情形的實(shí)現(xiàn)實(shí)例。更加詳細(xì)地，如果多視圖數(shù)目(m)被設(shè) 為"8 "，提供基礎(chǔ)視圖和三層輔助視圖，以便在多視圖序列的編碼 期間能夠?qū)崿F(xiàn)在數(shù)個(gè)觀點(diǎn)之間的分層編碼(或者"視圖縮放性")。
基于基礎(chǔ)視圖的圖像和/或上層輔助視像的圖像，估計(jì)/預(yù)測(cè)由 上述分層輔助視圖比特流實(shí)現(xiàn)的各個(gè)圖像，從而對(duì)所得到的圖像執(zhí)行 編碼。特別地，差異(disparity)估計(jì)通常被用作上述估計(jì)。
例如，第一層輔助視圖92通過參考基礎(chǔ)視圖91執(zhí)行在觀點(diǎn)之間 的估計(jì)/編碼過程(即多視圖的估計(jì)/編碼過程)。第二層級(jí)輔助視圖(93a 和93b)通過參考基礎(chǔ)視圖91和/或第一層輔助視圖92執(zhí)行在觀點(diǎn)之 間的估計(jì)/編碼過程。第三層輔助視圖(94a、 94b、 94c和94d)通過參 考基礎(chǔ)視圖和第一層輔助視圖92，和/或第二層輔助視圖(93a和93b) 執(zhí)行在觀點(diǎn)之間的估計(jì)/編碼過程。與上述說明相關(guān)，圖中箭頭指示上
述多視圖的估計(jì)/編碼過程的行進(jìn)方向，并且可以理解，在相同層中包 含的輔助流可以根據(jù)需要參考不同視圖。上述分層-編碼的比特流根據(jù) 顯示器特性在接受端中被選擇性地解碼，并且將參考圖12在以后描述 其詳細(xì)說明。
通常，編碼器的預(yù)測(cè)結(jié)構(gòu)可以被改變?yōu)榱硪唤Y(jié)構(gòu)，以便通過發(fā)送 指示各個(gè)視圖的關(guān)系的信息，解碼器能夠容易地識(shí)別出各個(gè)視像 的預(yù)測(cè)結(jié)構(gòu)關(guān)系。而且，指示整個(gè)視圖層級(jí)中的哪一個(gè)級(jí)包括該各個(gè) 視圖的特定信息也可以被發(fā)送到解碼器。
如果為對(duì)應(yīng)的圖像(或者片段)指定視圖級(jí)(view—level)，并且 給出視像之間的依賴關(guān)系，即便利用編碼器以各種方式改變預(yù)測(cè) 結(jié)構(gòu)，解碼器也能夠容易地識(shí)別出被改變的預(yù)測(cè)結(jié)構(gòu)。在此情形中， 各個(gè)視圖的預(yù)測(cè)結(jié)構(gòu)/方向信息可以以矩陣的形式構(gòu)造，以便矩陣型的 預(yù)測(cè)結(jié)構(gòu)/方向信息被發(fā)送到目的地。換言之，視圖數(shù)目(num—view) 被發(fā)送到解碼器，并且各個(gè)視圖的依賴關(guān)系也可以由二維(2D)矩陣 表示。
如果視圖的依賴關(guān)系隨著時(shí)間而改變，例如，如果每一個(gè)GOP的 第一幀的依賴關(guān)系不同于其余時(shí)間區(qū)的其它幀的依賴關(guān)系，則可以發(fā) 送與各個(gè)情形相關(guān)聯(lián)的依賴關(guān)系矩陣信息。
圖IOA-IOB是示出根據(jù)第四實(shí)例的二維(2D)多視圖序列的預(yù)測(cè) 結(jié)構(gòu)的概念圖示。
上述第一到第三實(shí)例已經(jīng)作為實(shí)例公開了一維陣列的多視圖。應(yīng) 該注意，根據(jù)需要它們也能夠被應(yīng)用于二維(2D)多視圖序列。
在圖10A-10B中，正方形表示以2D的形式布局的各個(gè)視圖，并 且在正方形中包含的數(shù)字表示分層視圖的關(guān)系。
例如，如果以"A-B "的形式構(gòu)造正方形中的數(shù)字，"A "指示 對(duì)應(yīng)的分層輔助視圖，并且"B "指示在相同分層輔助視圖中的優(yōu)先 權(quán)。
關(guān)于在正方形區(qū)域中包含的數(shù)字，數(shù)字"0 "表示基礎(chǔ)視圖，數(shù) 字"1 "表示第一層輔助視圖，數(shù)字"2-1 "或者"2-2 "表示第二層 輔助視圖，數(shù)字"3-l "或者"3-2 "表示第三層輔助視圖，數(shù)字"4-l "、 "4-2 "或者"4-3 "表示第四層輔助視圖，并且數(shù)字"5-l "、 "5-2 " 或者"5-3 "表示第五層輔助視圖。
總之，在通過對(duì)利用從二維(2D)多視圖獲取的圖像進(jìn)行編碼產(chǎn) 生比特流的情形中，如果在水平軸上的2D多視圖數(shù)目(m)是2n—^m 《2n并且在垂直軸上的2D多視圖數(shù)目(p)是2k、p《2k，上述比特流 包括單個(gè)基礎(chǔ)視圖比特流和(n+k)個(gè)分層輔助視圖比特流。
更加詳細(xì)地，在水平軸和垂直軸上交替地形成上述(n+k)層輔助 視圖。例如，在圖IOA中的(n+k)層輔助視圖中的第一層輔助視圖位 于包括基礎(chǔ)視圖的垂直軸處。在圖IOB中的(n+k)層輔助視圖中的第 一層輔助視圖位于包括基礎(chǔ)視圖的水平軸處。
例如，如圖IOA所示，如果水平軸的多視圖數(shù)目(m)被設(shè)為"8 " (即，n=3)，并且垂直軸的多視圖數(shù)目(p)被設(shè)為"4 "(即，k=2)， 則比特流包括單個(gè)基礎(chǔ)視圖和五層輔助視圖。與上述說明有關(guān)，圖10A 示出按照"垂直軸->水平軸->垂直軸->..."的順序選擇分層輔助視圖。 將如下在下文中描述用于確定基礎(chǔ)視圖和輔助視圖的位置的方法。
首先，以與上述一維陣列相同的方式確定基礎(chǔ)視圖位置。因此， 基礎(chǔ)視圖位置被確定為對(duì)應(yīng)于沿著水平軸方向第2n"個(gè)位置且沿著垂 直軸方向第2k-1個(gè)位置的特定視圖。
第一層輔助視圖位置被確定為在垂直軸方向上從基礎(chǔ)視圖位置分 開2"2量級(jí)的頂側(cè)視圖或者底側(cè)視圖，如由①所表示。第二層輔助視圖 位置被確定為沿著水平軸方向從基礎(chǔ)視圖位置和第一層輔助視圖分開 2"量級(jí)的如由②所示的左側(cè)視圖或右側(cè)視圖。第三層輔助視圖位置被 確定為在包括不僅第一和第二層輔助視圖而且還包括基礎(chǔ)視圖的垂直 軸中包含的其余視圖。第四層輔助視圖位置被確定為沿著水平軸方向
從第一到第三層輔助視圖和基礎(chǔ)視圖分開量級(jí)的左側(cè)視圖或者右
側(cè)視圖。最后，第五層輔助視圖位置被確定為除了基礎(chǔ)視圖和第一到 第四層輔助視圖之外的其余視圖。
例如，如從圖10B可見，如果水平軸的多視圖數(shù)目(m)被設(shè)為 "8"(即，n=3)，并且垂直軸的多視圖數(shù)目(p)被設(shè)為"4 "(即， k=2)，則比特流包括單個(gè)基礎(chǔ)視圖和五層輔助視圖。與上述說明相關(guān)， 圖10B示出按照"水平軸->垂直軸->水平->..."的次序選擇分層輔助 視圖。將如下在下文中描述用于確定基礎(chǔ)視圖和輔助視圖的位置的方 法。
首先，以與上述一維陣列相同的方式確定基礎(chǔ)視圖位置。因此， 基礎(chǔ)視圖位置被確定為對(duì)應(yīng)于沿著水平軸方向的第2n"個(gè)位置以及沿 著豎直軸方向的第2k"個(gè)位置的特定視圖。
第一層輔助視圖位置被確定為沿著水平軸方向從基礎(chǔ)視圖位置分 開2"—2量級(jí)的左側(cè)視圖或者右側(cè)視圖，如由①所表示。第二層輔助視圖 位置被確定為沿著垂直軸方向從基礎(chǔ)視圖和第一層輔助視圖分開2k—1 量級(jí)的如②所示的頂側(cè)視圖或底側(cè)視圖。第三層輔助視圖位置被確定 為沿著水平軸方向從基礎(chǔ)視圖和第一到第二層輔助視圖分開2n—2量級(jí) 的左和右方向視圖。第四層輔助視圖位置被確定為在包括不僅第一到 第三層輔助視圖而且還包括基礎(chǔ)視圖的垂直軸中包含的其余視圖。最 后，第五層輔助視圖位置被確定為除了基礎(chǔ)視圖和第一到第四層輔助
視圖之外的其余視圖。
圖11A-11C是示出根據(jù)第五實(shí)例的多視圖序列預(yù)測(cè)結(jié)構(gòu)的概念圖
示。圖11A-llC的第五實(shí)例具有不同于上述第一到第四實(shí)例的預(yù)測(cè)-結(jié) 構(gòu)規(guī)則。例如，圖11A-11C的正方形區(qū)域表示各個(gè)視圖，然而，在正 方形區(qū)域中包含的數(shù)字指示視圖預(yù)測(cè)的次序。換言之，關(guān)于在正方形 區(qū)域中包含的數(shù)字，數(shù)字"0 "表示第一預(yù)測(cè)視圖(或者第一視圖)， 數(shù)字"1 "表示第二預(yù)測(cè)視圖(或者第二視圖)，數(shù)字"2 "表示第 三預(yù)測(cè)視圖(或者第三視圖)，并且數(shù)字"3 "表示第四預(yù)測(cè)視圖(或 者第四視圖)。
例如，圖11A示出在多視圖數(shù)目(m)由m=l m=10表示的情形 中第一到第四視圖的決定格式。第一到第四視圖由下面的規(guī)則確定。
例如，多視圖的兩端被設(shè)為第一視圖(0)，并且多視圖中的中心 視圖被設(shè)為第二視圖(1)。通過基于第二視圖(1)沿著兩個(gè)方向跳 過至少一個(gè)視圖接連布局的視圖被分別地設(shè)為第三視圖(2)。除了第 一到第三視圖之外的其余視圖被分別地設(shè)為第四視圖(3)。如果如上 所述確定第一到第四視圖，則需要區(qū)分基礎(chǔ)視圖和輔助視圖。例如， 第一視圖、第二視圖和第三視圖中的任何一個(gè)被設(shè)為基礎(chǔ)視圖，并且 除了基礎(chǔ)視圖之外的其余視圖可以被設(shè)為輔助視圖。
如果不通過上述規(guī)定規(guī)則來確定基礎(chǔ)視圖而是由編碼器任意選擇 基礎(chǔ)視圖，則基礎(chǔ)視圖位置的標(biāo)識(shí)(ID)信息(S卩"base—viewjosition ")
可以被包含在比特流中。
圖11B示出第二視圖(1)的決定的另一實(shí)例。更加詳細(xì)地，圖 IIB示出不同于圖IIA實(shí)例的另一實(shí)例，從而它示出其中除了第一視
圖(0)之外的其余視圖被設(shè)為偶數(shù)的示例性情形。換言之，如果!!1=4、
m=6、 n^8或者m40，則圖11B的第二視圖(1)可以根據(jù)需要不同
于圖IIA的第二視圖(1)。對(duì)于另一實(shí)例，在確定位于第二視圖(1) 之后的視圖的情形中，可以通過基于最左第一視圖(0)順序地跳過單 個(gè)視圖而確定上視圖。
與上述說明相關(guān)，圖iic示出一種示例性情形，其中，多視圖數(shù)
目(m)為10(即，m=10)，并且多視圖中的基礎(chǔ)視圖由基礎(chǔ)視圖ID 信息利用"base_view_position=Tview "(對(duì)應(yīng)于第六視圖)。例如， 如從圖IIC可見，第一層輔助視圖被設(shè)為第三視圖(2)，第二層輔助 視圖被設(shè)為第一視圖(0)，并且第三層輔助視圖被設(shè)為第四視圖(3)。
與上述說明相關(guān)，在圖11A-11B中，基礎(chǔ)視圖也可以被設(shè)為第一 視圖(1)，如圖11C所示。原因在于，如果基礎(chǔ)視圖位于多視圖中心 部分附近的特定位置處，或者位于多視圖的中心部分處，則其它輔助 視圖的估計(jì)/編碼過程能夠有效執(zhí)行。因此，能夠根據(jù)下面的規(guī)則來確 定基礎(chǔ)視圖位置和輔助視圖位置。
換言之，基礎(chǔ)視圖位置被設(shè)為多視圖的中心視圖(1)，第二輔助 視圖位置被設(shè)為多視圖的兩端視圖(0)，并且第一輔助視圖位置被設(shè) 為通過基于基礎(chǔ)視圖沿著兩個(gè)方向跳過至少一個(gè)視圖而接連布局的視 圖(2)。除了上述視圖之外的其余視圖(3)均被設(shè)為第三輔助視圖。
與上述說明相關(guān)，如果多視圖數(shù)目(m)等于或者小于"7 "(即， m<7)，僅僅兩個(gè)或者更少視圖被布局在基礎(chǔ)視圖(1)和第二輔助視 圖(0)之間，在基礎(chǔ)視圖(1)和第二輔助視圖(0)之間布局的所有 的視圖均被分別地設(shè)為第一輔助視圖(2)。
如果多視圖數(shù)目(m)等于或者大于"8 "(即，m氹)并且僅僅 兩個(gè)或者更少視圖被布局在第二輔助視圖(0)和第一輔助視圖(2) 之間，則在第二輔助視圖(0)和第一輔助視圖(2)之間布局的所有 視圖均被分別地設(shè)為第三輔助視圖(3)。
例如，如圖11A 11B所示，如果m-8、 m=9，Bm=10，則能夠識(shí) 別出位于第二輔助視圖(0)和第一輔助視圖(2)之間的一個(gè)或者兩 個(gè)視圖被分別地設(shè)為第三輔助視圖(3)。
對(duì)于另一實(shí)例，如果僅僅兩個(gè)或者更少的視圖位于基礎(chǔ)視圖(1) 和第二輔助視圖(0)之間，則在基礎(chǔ)視圖(1)和第二輔助視圖(0) 之間布局的所有的視圖均可以分別地被設(shè)為第三輔助視圖(3)。例如， 如圖11A 11B所示，如果m=8，則能夠知道，位于基礎(chǔ)視圖(1)和 第二輔助視圖(0)之間的兩個(gè)視圖被分別地設(shè)為第三輔助視圖(3)。
使用利用上述方法確定的基礎(chǔ)視圖和輔助視圖，能夠執(zhí)行在視圖 (或者觀點(diǎn))之間的視圖縮放性。
例如，如果多視圖數(shù)目(m)等于或者小于"7 "(即，m^)， 則產(chǎn)生單個(gè)基礎(chǔ)視圖流和兩個(gè)分層輔助視圖比特流。例如，第二輔助 視圖(0)能夠被設(shè)為第一層輔助視圖，并且第一輔助視圖(2)也能 夠被設(shè)為第二層輔助視圖。
例如，如果多視圖數(shù)目(m)等于或者高于"8 "(即，m^)， 即，如果m-8、 n^9或者m40，則產(chǎn)生單個(gè)基礎(chǔ)視圖比特流和三個(gè)分 層輔助視圖比特流。例如，第一輔助視圖(2)被選擇作為第一層輔助 視圖，第二輔助視圖(0)被選擇作為第一層輔助視圖，并且第三輔助 視圖(3)被選擇作為第三層輔助視圖。
圖12是示出編碼/解碼多視圖序列的分層方法的概念圖示。
參考圖12，傳輸端的編碼器使用可以由第一到第五實(shí)施例預(yù)期到 的修改方法和在第一到第五實(shí)例中示出的方法執(zhí)行多視圖序列的視圖 縮放性功能，以用于產(chǎn)生比特流，并且將比特流發(fā)送到接受端。
因此，解碼方法或者設(shè)備接收由上述特性形成的比特流，解碼所 接收的比特流，并且對(duì)于每一個(gè)層產(chǎn)生解碼后的數(shù)據(jù)。此后，根據(jù)用 戶或者顯示器的選擇，能夠使用由每一個(gè)層解碼的數(shù)據(jù)來實(shí)現(xiàn)各種顯 示。
例如，用于再現(xiàn)僅僅基礎(chǔ)視圖的數(shù)據(jù)的基礎(chǔ)層121適用于2D顯示 125。用于一起再現(xiàn)基礎(chǔ)視圖的數(shù)據(jù)和第一層輔助視圖的數(shù)據(jù)的第一增 強(qiáng)層#1 (122)適用于通過組合兩個(gè)2D圖像而形成的立體型顯示126。 用于一起地再現(xiàn)基礎(chǔ)視圖的數(shù)據(jù)、第一層輔助視圖的數(shù)據(jù)和第二層輔 助視圖的數(shù)據(jù)的第二增強(qiáng)層#2 (123)適用于用于多視圖序列的3D再 現(xiàn)的低多視圖顯示127。用于一起再現(xiàn)基礎(chǔ)視圖的數(shù)據(jù)和所有的分層輔 助視圖的數(shù)據(jù)的第三增強(qiáng)層#3 (124)適用于用于多視圖序列的3D再 現(xiàn)的高多視圖顯示128。
圖13是示出用于編碼視頻序列的方法的流程圖。
參考圖13，在步驟S131，視頻序列編碼方法的實(shí)例獲得當(dāng)前塊的 相鄰塊和另一視圖的參考?jí)K中的至少一個(gè)塊的平均像素值。當(dāng)接收到 所獲得的值時(shí)，視頻序列編碼方法在步驟S132使用數(shù)個(gè)模式中的至少 一種模式推導(dǎo)當(dāng)前塊的預(yù)測(cè)平均像素值。視頻序列編碼方法在步驟 S133獲得在當(dāng)前塊的預(yù)測(cè)平均像素值和實(shí)際平均像素值之間的差值。 視頻序列編碼方法在步驟S134測(cè)量上述數(shù)個(gè)模式的各個(gè)的編碼效率， 并且從該數(shù)個(gè)模式中選擇最優(yōu)模式。能夠以各種方式選擇上述最優(yōu)模 式，例如，用于從所獲得差值中選擇最小差值的方法，和用于使用指 示率失真(Rate-Distortion) (RD)的關(guān)系的等式的方法等。
在此情形中，上述RD等式不僅認(rèn)識(shí)到在編碼對(duì)應(yīng)塊期間產(chǎn)生的 編碼位數(shù)而且認(rèn)識(shí)到指示與實(shí)際圖像相關(guān)聯(lián)的差值的失真值，以便它 使用編碼位數(shù)和失真值來計(jì)算成本。更加詳細(xì)地，視頻序列編碼方法
利用由量化系數(shù)確定的拉格朗日乘子去乘位數(shù)，并且將失真值加到乘 積，以便它計(jì)算成本。如果選擇最優(yōu)模式，視頻序列編碼方法能夠編 碼指示所選擇模式的標(biāo)識(shí)(ID)信息，并且發(fā)送編碼結(jié)果。可替代地， 如果選擇最優(yōu)模式，視頻序列編碼方法能夠不僅編碼指示所選擇模式
的ID信息而且編碼由所選擇模式獲得的差值，并且在步驟S135發(fā)送 編碼結(jié)果。
圖14是示出用于由另一視圖的參考?jí)K推導(dǎo)當(dāng)前塊的預(yù)測(cè)平均像 素值的過程的框圖。
參考圖14，假定Be塊的平均像素值是nv Bu塊的平均像素值是 mrJ，并且其余塊的平均像素值由上述塊符號(hào)表示。具有用于根據(jù)一個(gè) 或者多個(gè)相鄰塊的信息預(yù)測(cè)me信息的各種方法。為了方便說明，假定 在編碼Be塊的情形中參考幀弁l被用作候選參考幀。
用于根據(jù)一個(gè)或者多個(gè)相鄰塊的信息來預(yù)測(cè)me信息的第一方法 是用于基于對(duì)應(yīng)于當(dāng)前塊的另一視圖的參考?jí)K的平均像素值來預(yù)測(cè)mc 信息的第一模式方法(Model)。更加詳細(xì)地，第一模式方法(Model) 表示用于使用參考幀#1的Bu塊的平均像素值來預(yù)測(cè)m。信息的方法。 差值能夠由下面的等式l表示
用于預(yù)測(cè)在當(dāng)前塊的平均像素值和對(duì)應(yīng)于當(dāng)前塊的另一視圖的參 考?jí)K的平均像素值之間的差值的第二方法，是用于基于在當(dāng)前塊的每 一個(gè)相鄰塊的平均像素值和參考?jí)K的平均像素值之間的差異來預(yù)測(cè)差 值的第二模式方法(Mode2)。更加詳細(xì)地，第二模式方法(Mode2) 使用在相鄰塊(《'《，1)之間的平均像素值的差值來預(yù)測(cè)在當(dāng)前塊的平
均像素值和參考幀#1的""塊的平均像素值之間的差值。 差值能夠由下面的等式2表示 [等式2]
e二(附c一柳,.,0 — (附:一 附")
用于預(yù)測(cè)在當(dāng)前塊的平均像素值和對(duì)應(yīng)于當(dāng)前塊的另一視圖的參 考?jí)K的平均像素值之間的差值的第三方法，是用于使用在當(dāng)前塊的相 鄰塊的平均像素值和參考?jí)K的平均像素值之間的差異來預(yù)測(cè)該差值的
第三模式方法(Mode3)。更加詳細(xì)地，第三模式方法(Mode3)基于 在相鄰塊《的平均像素值和參考幀#1的^"塊的平均像素值之間的差 異來預(yù)測(cè)me信息。在此情形中，差值能夠由下面的等式3表示
C -(附c 一附rJ一(附:—附")-附c—附:
在通過使用另一視圖的參考?jí)K的相鄰塊來編碼當(dāng)前塊的相鄰塊的
情形中，具有用于基于當(dāng)前塊的相鄰塊的預(yù)測(cè)平均像素值來預(yù)測(cè)m。信 息的第四模式方法(Mode4)。換言之，如果通過參考參考幀#2的《.2 塊而對(duì)《塊進(jìn)行預(yù)編碼，則在當(dāng)前塊(A)和對(duì)應(yīng)于當(dāng)前塊的參考?jí)K 的平均像素值之間的差值能夠利用在當(dāng)前塊的相鄰塊(《)的 平均像素值和另一視圖的參考?jí)K的相鄰塊(《2)的平均像素值之間的 差值來進(jìn)行預(yù)測(cè)。
在此情形中，差值能夠由下面的等式4表示<formula>formula see original document page 38</formula>
在使用上述Mode2、 Mode3和Mode4方法使用相鄰塊信息的情形 中，雖然上述Mode2、 Mode3和Mode4方法已經(jīng)公開僅僅示例性地使 用下一上塊(upper-block)的一個(gè)信息，應(yīng)該注意，圍繞當(dāng)前塊的數(shù)個(gè) 相鄰塊的信息的組合也可以被用作實(shí)例。
圖15是示出用于由其它視圖的參考?jí)K推導(dǎo)當(dāng)前塊的預(yù)測(cè)平均像 素值的過程的詳細(xì)框圖。
更加詳細(xì)地，圖15示出當(dāng)前塊、每一個(gè)與當(dāng)前塊共享邊界的預(yù)編 碼塊以及其它塊，其他塊的每一個(gè)與參考?jí)K共享邊界。在此情形中， Mode2-方法等式、Mode3-方法等式和Mode4-方法等式能夠由下面的等 式5表示
<formula>formula see original document page 38</formula>
在上述Mode4等式中，"^指示在^塊的參考?jí)K位于參考幀弁k處 的條件下該參考?jí)K的平均像素值。
在等式5中，w'指示加權(quán)系數(shù)。用于預(yù)測(cè)的相鄰塊不限于共享邊 界的塊，并且根據(jù)需要也可以包括與上述相鄰塊鄰近的其它塊。在其 它情形中，上述相鄰塊也可以采用其它塊的僅僅一些部分。上述相鄰
<formula>formula see original document page 38</formula>
塊的范圍可以由w'調(diào)整。以此方式，差值(e)被量化并且被熵編碼， 以便將熵編碼信息發(fā)送到解碼單元。
在計(jì)算數(shù)個(gè)步驟到實(shí)際比特流階段之后，考慮到速率和失i因子，
上述Model、 Mode2、 Mode3和Mode4方法的參考幀被確定為最優(yōu)幀。 具有用于選擇最優(yōu)模式的各種方法，例如，用于選擇所獲得差值中的 最小差值的特定模式的方法，以及用于使用RD關(guān)系的方法。
上述RD-關(guān)系方法計(jì)算各個(gè)模式的實(shí)際比特流，并且考慮到速率 和失真而選擇最優(yōu)模式。在計(jì)算塊殘值的情形中，上述RD關(guān)系方法由 當(dāng)前塊推斷每個(gè)塊的平均像素值，由參考?jí)K推斷每一個(gè)塊的平均像素 值，并且計(jì)算在當(dāng)前塊的推斷結(jié)果和參考?jí)K的所推斷結(jié)果之間的差值， 如由下面的等式6所表示
不^ K 力-& - (; 0' + Ax， _/ + A力-mr I
在等式6中，AxAy表示差異矢量，并且I是像素值。如果由相鄰 塊的信息預(yù)測(cè)的值和差值被量化，并且預(yù)測(cè)值和差值的量化結(jié)果值被 重構(gòu)，并且重構(gòu)結(jié)果值被添加，則所添加結(jié)果由等式6的&表示。在 此情形中，^的值適于從編碼單元和解碼單元獲得相同數(shù)值。^指示 參考?jí)K的平均像素值。在解碼圖像的情形中，編碼單元具有與解碼單 元相同的 。實(shí)際上，在時(shí)間域中搜索參考?jí)K，并且在空間-時(shí)間域中 搜索最優(yōu)塊。因此，指示是否將使用亮度補(bǔ)償?shù)腎D信息被與各個(gè)幀和 塊相關(guān)聯(lián)地設(shè)為"0 "或者"1"，并且所得到的ID信息被熵編碼。
如果選擇最優(yōu)模式，則能夠編碼僅僅所選擇模式，從而所選擇模 式的編碼結(jié)果可以被發(fā)送到解碼單元。除了所選擇模式的編碼結(jié)果， 由所選擇模式獲得的差值也能夠被編碼和發(fā)送。所選擇模式信息由索 引類型表示，并且也能夠利用相鄰模式信息進(jìn)行預(yù)測(cè)。另外，在當(dāng)前 選擇模式的索引和預(yù)測(cè)模式的索引之間的差值也能夠被編碼和發(fā) 送。
根據(jù)需要，可以考慮所有的上述模式，可以選擇上述模式中的一 些，或者也可以僅僅選擇上述模式中的一個(gè)。在使用所有的可用方法 中的單個(gè)方法的情形中，無需分別地編碼模式索引。
在獲得平均像素值并且推導(dǎo)得到預(yù)測(cè)平均像素值的情形中，預(yù)解 碼像素值可以被應(yīng)用于將要編碼的參考幀和目標(biāo)幀的當(dāng)前塊。
基本上，左側(cè)像素的預(yù)解碼值和上側(cè)像素的預(yù)解碼值被用于預(yù)測(cè) 當(dāng)前塊的平均像素值。在編碼實(shí)際視頻序列的情形中，基于宏塊來編 碼視頻序列。16X16宏塊被劃分成16X8塊、8X16塊和8X8塊，并 且然后被解碼。8X8塊也可以被劃分成8X4塊、4X8塊禾B4X4塊。 具有用于基于單個(gè)宏塊來預(yù)測(cè)子塊的平均像素值的各種方法。
圖16是示出16X16宏塊的概念圖示，用于解釋在推導(dǎo)得到當(dāng)前 塊的平均像素值和預(yù)測(cè)平均像素值的情形中位于整個(gè)塊的左和上部的 預(yù)解碼像素值的使用。
參考圖16， 16X16宏塊能夠使用左和上部的所有像素值。因此， 在預(yù)測(cè)當(dāng)前塊的平均像素值的情形中，計(jì)算上部的像素(hl hl6)和左 部的像素(vl vl6)的平均像素值，并且利用計(jì)算出的像素(vl vl6， hl hl6)的平均像素值來預(yù)測(cè)當(dāng)前塊的平均像素值。在此情形中，16 X16塊(由"B16X16 "表示)的平均像素值能夠由下面的等式7表
示
<formula>formula see original document page 41</formula>
圖17A是示出16X8宏塊的概念圖示，用于解釋在推導(dǎo)得到劃分 塊的平均像素值和預(yù)測(cè)平均像素值的情形中包圍劃分塊的所有的像素 的使用。圖17B是示出16X8宏塊的概念圖示，用于解釋在推導(dǎo)得到 劃分塊的平均像素值和預(yù)測(cè)平均像素值的情形中僅僅包圍劃分塊的像 素的使用。
在圖17A中，在使用包圍劃分塊的所有像素的情形中，B16X8一0 塊和B16X8—l塊的平均值能夠由下面的等式8表示
16 16
'■=1_!'=1
在圖17B中，在使用包圍劃分塊的所有像素的情形中，B16X8J) 塊的平均值能夠由下面的等式9表示，并且B16X8—1塊的平均值能夠 由下面的等式IO表示<formula>formula see original document page 41</formula><formula>formula see original document page 42</formula>
在圖17A 17B的上述情形中，位于宏塊角部處的值h0也可以根 據(jù)需要被添加到計(jì)算結(jié)果。在此情形中，圖17A的B16X8一0塊的平均 像素值能夠由下面的等式11表示，并且圖17B的B16X8一0的平均像 素值能夠由下面的等式12表示 <formula>formula see original document page 42</formula>
<formula>formula see original document page 42</formula>在圖17A 17B的上述情形中，位于宏塊角部處的值hO和v8也可 以根據(jù)需要被添加到計(jì)算結(jié)果。在此情形中，圖17A的B16X8_1塊的 平均像素值能夠由下面的等式13表示，并且圖17B的B16X8—1的平 均像素值能夠由下面的等式14表示<formula>formula see original document page 42</formula>[等式14]
<formula>formula see original document page 43</formula>
圖18A是示出8X16宏塊的概念圖示，用于解釋在推導(dǎo)得到劃分 塊的平均像素值和預(yù)測(cè)平均像素值的情形中包圍劃分塊的所有的像素 的使用。圖18B是示出8X16宏塊的概念圖示，用于解釋在推導(dǎo)得到 劃分塊的平均像素值和預(yù)測(cè)平均像素值的情形中僅僅包圍劃分塊的像 素的使用。用于推導(dǎo)得到劃分塊的平均像素值的方法與圖17A-17B的 相同。
圖19A是示出8X8宏塊的概念圖示，用于解釋在推導(dǎo)得到劃分塊
的平均像素值和預(yù)測(cè)平均像素值的情形中包圍劃分塊的所有的像素的 使用。圖19B是指示8X8宏塊的概念圖示，用于解釋在推導(dǎo)得到劃分 塊的平均像素值和預(yù)測(cè)平均像素值的情形中僅僅包圍劃分塊的像素的 使用。用于推導(dǎo)得到劃分塊的平均像素值的方法與圖17A-17B的相同。
該8 X 8塊能夠被劃分成多個(gè)子塊。
預(yù)測(cè)將要被編碼的當(dāng)前幀的當(dāng)前塊的對(duì)應(yīng)塊的平均像素值，從而 將預(yù)測(cè)的平均像素值設(shè)為&。預(yù)測(cè)參考幀的對(duì)應(yīng)塊的平均像素值，以 便將預(yù)測(cè)的平均像素值設(shè)為& 。
從每一個(gè)塊的所有像素推斷每一個(gè)預(yù)測(cè)的平均像素值，并且能夠 由下面的等式15來計(jì)算在使用參考?jí)K預(yù)測(cè)的像素值與當(dāng)前塊的像素值 之間的差值;;|/c 0', _/ ) — - (/r (z' + Ax， + A力—Ar )|
在等式15中，(Ax， Ay)表示差異矢量，并且I是像素值。具有 最小塊殘值的參考?jí)K被選擇作為亮度補(bǔ)償最優(yōu)塊。在此情形中，差異 矢量由(Ax， Ay)表示。實(shí)際上，系統(tǒng)比較上述亮度補(bǔ)償情形和其中 不補(bǔ)償亮度的另一情形，并且選擇這兩種情形中的較好的一個(gè)。
作為上述方案的一個(gè)修改實(shí)例，參考?jí)K的平均像素值不利用相鄰 塊的像素值預(yù)測(cè)，而是利用在實(shí)際塊中包含的所有像素的平均像素值 來直接計(jì)算的。
作為上述方案的另一修改實(shí)例，可以增加左和上部像素的數(shù)目。 更加詳細(xì)地，可以使用當(dāng)前層的兩個(gè)或者更多相鄰層的像素以代替鄰 近當(dāng)前層的僅僅一個(gè)層的像素。
解碼單元使用ID信息來判定是否執(zhí)行對(duì)應(yīng)塊的亮度補(bǔ)償。如果執(zhí)
行亮度補(bǔ)償，則解碼單元計(jì)算差值(e)的解碼值，并且根據(jù)上述預(yù)測(cè) 方法獲得預(yù)測(cè)值。差值(e)的解碼值被添加到預(yù)測(cè)值，從而值^(-^+e)
能夠被解碼。從參考?jí)K推斷^—^的值，所述參考?jí)K是預(yù)測(cè)塊，就是 所謂的用于當(dāng)前塊的預(yù)測(cè)器，并且所推斷的結(jié)果被添加到殘余塊的解 碼值，以便能夠最后獲得當(dāng)前塊的值。當(dāng)前塊能夠如下重構(gòu)
B二預(yù)測(cè)塊+殘余塊+(7^—^+e)，其中B是當(dāng)前塊的值，參考?jí)K 是用于當(dāng)前塊的預(yù)測(cè)器，^是平均像素值的預(yù)測(cè)差，即用于當(dāng)前 塊的亮度補(bǔ)償?shù)念A(yù)測(cè)偏移值，并且e是差值。解碼單元獲得在當(dāng)前塊的 亮度補(bǔ)償?shù)钠浦岛皖A(yù)測(cè)差之間的差，并且能夠使用所獲得的殘余塊 值和預(yù)測(cè)差來重構(gòu)當(dāng)前塊的亮度補(bǔ)償?shù)钠浦怠?br> 圖20是示出用于獲得當(dāng)前塊的偏移值的過程的圖示。
可以在運(yùn)動(dòng)估計(jì)期間執(zhí)行亮度補(bǔ)償。當(dāng)它比較當(dāng)前塊與參考?jí)K時(shí)， 考慮到在兩個(gè)塊之間的亮度差異。新的運(yùn)動(dòng)估計(jì)和新的運(yùn)動(dòng)補(bǔ)償被用
于補(bǔ)償亮度差異。新的SAD (差的絕對(duì)值的總和)能夠由下面的等式 16和17表示
<formula>formula see original document page 45</formula>
參考等式16和17， Mc表示當(dāng)前塊的平均像素值，并且Mr表示參 考?jí)K的平均像素值。Ie (x， y)表示在當(dāng)前塊的特定坐標(biāo)(x， y)處的 像素值，并且L (x+Ax, y+Ay)表示在參考?jí)K的運(yùn)動(dòng)矢量(Ax， Ay) 處的像素值?；谟傻仁?6表示的新的SAD，來執(zhí)行運(yùn)動(dòng)估計(jì)，以便
能夠獲得在當(dāng)前塊的平均像素值和參考?jí)K的平均像素值之間的差值。 在當(dāng)前塊和參考?jí)K之間的平均像素值的差值被稱為偏移值(IC-Offset)。
如果執(zhí)行應(yīng)用于亮度補(bǔ)償?shù)倪\(yùn)動(dòng)估計(jì)，則獲得偏移值和運(yùn)動(dòng)矢量。 能夠使用偏移值和運(yùn)動(dòng)矢量由下面的等式18執(zhí)行亮度補(bǔ)償
<formula>formula see original document page 45</formula>
參考等式18， R (x， y)表示亮度補(bǔ)償?shù)臍堉怠?br> 偏移值(IC一offset-Mc-M》被發(fā)送到解碼單元。能夠由下面的等 式19執(zhí)行解碼單元的亮度補(bǔ)償
圖21是示出用于執(zhí)行當(dāng)前塊的亮補(bǔ)償?shù)倪^程的流程圖。
參考圖21，如果當(dāng)前塊的亮度補(bǔ)償標(biāo)志被設(shè)為"0 "，則不執(zhí)行 當(dāng)前塊的亮度補(bǔ)償。否則，如果當(dāng)前塊的亮度補(bǔ)償標(biāo)志被設(shè)為"1 "， 則執(zhí)行用于重構(gòu)當(dāng)前塊的偏移值的過程。在獲得當(dāng)前塊預(yù)測(cè)器的情形 中，能夠釆用相鄰塊的信息。在步驟S210判定當(dāng)前塊的參考索引是 否等于相鄰塊的參考索引。在步驟S211，基于判定結(jié)果獲得用于執(zhí)行
當(dāng)前塊的亮度補(bǔ)償?shù)念A(yù)測(cè)器。在步驟S212通過使用所獲得的預(yù)測(cè)器重
構(gòu)當(dāng)前塊的偏移值。在此情形中，將在下文中參考圖22描述用于判定 當(dāng)前塊的參考索引是否等于相鄰塊的參考索引的步驟S210和用于基 于判定結(jié)果來獲得預(yù)測(cè)器的步驟S211。
圖22是示出用于通過判定當(dāng)前塊的參考索引是否等于相鄰塊的 參考索引而獲得預(yù)測(cè)器的方法的流程圖。
參考圖22，為了執(zhí)行亮度補(bǔ)償，解碼單元從視頻信號(hào)提取各種信 息，例如，當(dāng)前塊的相鄰塊的標(biāo)志信息和偏移值，以及當(dāng)前和相鄰塊 的參考?jí)K的參考索引，以便解碼單元能夠使用所提取的信息獲得當(dāng)前 塊的預(yù)測(cè)器。解碼單元獲得在當(dāng)前塊的偏移值和預(yù)測(cè)之間的殘值，并 且能夠使用所獲得的殘值和預(yù)測(cè)器重構(gòu)當(dāng)前塊的偏移值。
在獲得當(dāng)前塊的預(yù)測(cè)器的情形中，能夠采用相鄰塊的信息。例如， 能夠利用相鄰塊的偏移值來預(yù)測(cè)當(dāng)前塊的偏移值。在預(yù)測(cè)當(dāng)前塊的偏 移值之前，能夠判定當(dāng)前塊的參考索引是否等于相鄰塊的參考索引， 以便能夠通過參考判定結(jié)果來確定將使用哪一個(gè)值或者哪一個(gè)相鄰 塊。而且，判定相鄰塊的標(biāo)志信息是否被設(shè)為"真"，以便能夠通過 參考該判定結(jié)果來判定是否使用相鄰塊。
根據(jù)第一實(shí)例，在步驟S220判定是否存在具有與當(dāng)前塊相同的參 考索引的相鄰塊。如果判定存在僅僅一個(gè)具有與當(dāng)前塊相同的參考索 引的相鄰塊，則在步驟S221，將具有該相同參考索引的相鄰塊的偏 移值分配給當(dāng)前塊的預(yù)測(cè)器。如果在步驟S220判定存在每一個(gè)均具有 與當(dāng)前塊相同的參考索引的兩個(gè)相鄰塊，則在步驟S222，將該兩個(gè)相 鄰塊的偏移值的平均值分配給當(dāng)前塊的預(yù)測(cè)器。如果在步驟S220判定 存在每一個(gè)均具有與當(dāng)前塊相同的參考索引的三個(gè)相鄰塊，則在步驟
S223，將該三個(gè)相鄰塊的偏移值的中值分配給當(dāng)前塊的預(yù)測(cè)器。如果 根據(jù)在步驟S220的判定結(jié)果確定不存在具有與當(dāng)前塊相同的參考索引
的相鄰塊，則在步驟S224，將當(dāng)前塊的預(yù)測(cè)器設(shè)為"0 "。如果需要， 用于判定當(dāng)前塊的參考索引是否等于相鄰塊的參考索引的步驟S220 還可包括用于判定相鄰塊的標(biāo)志是否被設(shè)為"1 "的另一步驟。
根據(jù)第二實(shí)例，判定相鄰塊是否具有與當(dāng)前塊相同的參考索引， 并且判定相鄰塊的標(biāo)志是否被設(shè)為"1 "。如果確定相鄰塊具有與當(dāng) 前塊相同的參考索引，并且具有"l "的標(biāo)志，則可以將相鄰塊的偏 移值設(shè)為當(dāng)前塊的預(yù)測(cè)器。在此情形中，可以按照左相鄰塊->上相鄰塊 ->右上相鄰塊->左上相鄰塊的順序檢査多個(gè)相鄰塊。如果需要，也可以 按照上相鄰塊->左相鄰塊->右上相鄰塊->左上相鄰塊的順序檢查相鄰 塊。如果沒有能夠滿足該兩個(gè)條件的相鄰塊，并且該三個(gè)相鄰塊(即 左相鄰塊、上相鄰塊和右上(或者左上)相鄰塊)的標(biāo)志分別地被設(shè) 為"1 "，則將該三個(gè)塊的偏移值的中值設(shè)為預(yù)測(cè)器。否則，當(dāng)前塊 的預(yù)測(cè)器可以被設(shè)為"0 "。
圖23是示出用于基于當(dāng)前塊的預(yù)測(cè)類型來執(zhí)行亮度補(bǔ)償?shù)姆椒?的流程圖。
參考圖23，可以根據(jù)當(dāng)前塊的預(yù)測(cè)類型來改變用作參考?jí)K的相鄰 塊。例如，如果當(dāng)前塊具有與相鄰塊相同的形狀，則利用相鄰塊的中 值來預(yù)測(cè)當(dāng)前塊。否則，如果當(dāng)前塊的形狀不同于相鄰塊的形狀，則 將采用另一種方法。
例如，如果位于當(dāng)前塊左側(cè)的塊被劃分成數(shù)個(gè)子塊，則子塊中的 最上子塊被用于預(yù)測(cè)。同樣，如果位于當(dāng)前塊上部的塊被劃分成數(shù)個(gè) 子塊，則最左子塊被用于預(yù)測(cè)。在此情形中，可以根據(jù)當(dāng)前塊的預(yù)測(cè) 類型來改變預(yù)測(cè)值。因此，圖23的實(shí)例在步驟S231確定將由當(dāng)前塊 的預(yù)測(cè)類型參考的相鄰塊。在步驟S232，判定所確定的相鄰塊的參考 索引是否等于當(dāng)前塊的參考索引。用于判定相鄰塊的參考索引是否 等于當(dāng)前塊的參考索引的步驟S232還可包括用于判定相鄰塊的標(biāo)志
是否被設(shè)為"1 "的另一步驟。能夠在步驟S233基于該判定結(jié)果來獲 得用于執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)念A(yù)測(cè)器。利用所獲得的預(yù)測(cè)器重構(gòu)當(dāng) 前塊的偏移值，以便能夠在步驟S234執(zhí)行亮度補(bǔ)償。在此情形中，將 在下文中詳細(xì)描述用于通過參考步驟S232的結(jié)果來執(zhí)行步驟S233的 過程，并且其詳細(xì)說明將類似于圖22。
例如，如果當(dāng)前塊的預(yù)測(cè)類型指示通過使用位于當(dāng)前塊左側(cè)的相 鄰塊來執(zhí)行預(yù)測(cè)，則判定左側(cè)相鄰塊的參考索引是否等于當(dāng)前塊的參 考索引。如果當(dāng)前塊的參考索引等于左側(cè)相鄰塊的參考索引，則將 左側(cè)相鄰塊的偏移值分配給當(dāng)前塊的預(yù)測(cè)器。此外，如果當(dāng)前塊的預(yù) 測(cè)類型指示通過參考當(dāng)前塊的左相鄰塊和上相鄰塊執(zhí)行預(yù)測(cè)，或者如 果通過參考三個(gè)相鄰塊(即左相鄰塊、上相鄰塊和右上相鄰塊)執(zhí)行 預(yù)測(cè)，則將如圖22的方法那樣類似地應(yīng)用各個(gè)情形。
圖24是示出用于使用指示是否執(zhí)行塊的亮度補(bǔ)償?shù)臉?biāo)志信息來 執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
參考圖24,指示是否執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)臉?biāo)志信息(IC_flag) 也可以被用于重構(gòu)當(dāng)前塊的偏移值。另外，也可以使用圖22的用于檢 查參考索引的方法和用于預(yù)測(cè)標(biāo)志信息的方法來獲得預(yù)測(cè)器。首先， 在步驟S241判定是否存在具有與當(dāng)前塊相同的參考索引的相鄰塊。 在步驟S242利用該判定結(jié)果獲得用于執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)念A(yù)測(cè) 器。在此情形中，用于判定相鄰塊的標(biāo)志是否為"1 "的過程也可以 被包括在步驟S242中。在步驟S243，基于該判定結(jié)果來預(yù)測(cè)當(dāng)前塊的 標(biāo)志信息。通過使用所獲得的預(yù)測(cè)器和預(yù)測(cè)的標(biāo)志信息來重構(gòu)當(dāng)前塊 的偏移值，以便能夠在步驟S244執(zhí)行亮度補(bǔ)償。在此情形中，可以如 圖22的方法那樣類似地應(yīng)用步驟S242，并且將參考圖25在下文中描 述步驟S243。
圖25是示出用于通過判定當(dāng)前塊的參考索引是否等于相鄰塊的
參考索引來預(yù)測(cè)當(dāng)前塊的標(biāo)志信息的方法的流程圖。
參考圖25，在步驟S250判定是否存在具有與當(dāng)前塊相同的參考 索引的相鄰塊。如果確定僅僅存在一個(gè)具有與當(dāng)前塊相同的參考索引 的相鄰塊，則在步驟S251利用具有該相同參考索引的相鄰塊的標(biāo)志 信息來預(yù)測(cè)當(dāng)前塊的標(biāo)志信息。如果在步驟S250確定存在兩個(gè)相鄰塊， 其中每一個(gè)相鄰塊具有與當(dāng)前塊相同的參考索引，則在步驟S252利 用具有該相同參考索引的該兩個(gè)相鄰塊的標(biāo)志信息中的任何一個(gè)來 預(yù)測(cè)當(dāng)前塊的標(biāo)志信息。
如果在步驟S250確定存在三個(gè)相鄰塊，其中每一個(gè)相鄰塊具有與 當(dāng)前塊相同的參考索引，則在步驟S253利用該三個(gè)相鄰塊的標(biāo)志信 息的中值來預(yù)測(cè)當(dāng)前塊的標(biāo)志信息。此外，如果根據(jù)步驟S250的判定 結(jié)果不存在具有與當(dāng)前塊相同的參考索引的相鄰塊，則在步驟S254 不預(yù)測(cè)當(dāng)前塊的標(biāo)志信息。
圖26是示出當(dāng)利用兩個(gè)或者更多參考?jí)K對(duì)當(dāng)前塊預(yù)測(cè)編碼時(shí)用 于執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
參考圖26，在執(zhí)行亮度補(bǔ)償期間，如果通過使用兩個(gè)參考?jí)K預(yù)測(cè) 編碼當(dāng)前塊，則解碼單元不能直接識(shí)別出對(duì)應(yīng)于每一個(gè)參考?jí)K的偏移 值，因?yàn)楫?dāng)獲得當(dāng)前塊的偏移值時(shí)解碼單元使用該兩個(gè)參考?jí)K的平均 像素值。因此，在一個(gè)實(shí)例中，獲得對(duì)應(yīng)于每一個(gè)參考?jí)K的偏移值， 結(jié)果實(shí)現(xiàn)了正確預(yù)測(cè)。在步驟S261，通過使用當(dāng)前塊的預(yù)測(cè)器和殘值
來重構(gòu)當(dāng)前塊的偏移值。如果通過使用兩個(gè)參考?jí)K來預(yù)測(cè)編碼當(dāng)前塊， 則在步驟S262利用該偏移值獲得對(duì)應(yīng)于每一個(gè)參考?jí)K的偏移值，如由 下面的等式21所表示
/C一Oj^Sef = mc — wx附,j — w2 x wr 2
/C* —— o炎etL0 == /Mc 一 = iC — o炎ef + (w — 1) x m,,+ w2 x wr,2 /C — = 7wc - wr,2 = i"C 一 o炎e《+ vv, x m,.,, + (w2 -1) x mr,2
在等式21中，^是當(dāng)前塊的平均像素值。"^和^，2分別地指示
參考?jí)K的平均像素值，Wl和W2分別地指示用于雙預(yù)測(cè)編碼過程的加權(quán) 系數(shù)。
在亮度補(bǔ)償方法的一個(gè)實(shí)例中，系統(tǒng)獨(dú)立地獲得對(duì)應(yīng)于每一個(gè)參 考?jí)K的準(zhǔn)確的偏移值，以便它能夠正確地執(zhí)行預(yù)測(cè)編碼過程。在步驟
S262重構(gòu)當(dāng)前塊的偏移值的情形中，系統(tǒng)將重構(gòu)的殘值和預(yù)測(cè)器值相 加，從而它獲得偏移值。在此情形中，分別地獲得ListO的參考圖像的 預(yù)測(cè)器和Listl的參考圖像的預(yù)測(cè)器并將這些預(yù)測(cè)器進(jìn)行組合，從而該 系統(tǒng)能夠獲得用于重構(gòu)當(dāng)前塊的偏移值的預(yù)測(cè)器。
根據(jù)另 一 實(shí)例，該系統(tǒng)也能夠被應(yīng)用于跳過宏塊 (skip-macroblock)。在此情形中，執(zhí)行預(yù)測(cè)以獲得用于亮度補(bǔ)償?shù)男?息。利用相鄰塊預(yù)測(cè)的值被用作標(biāo)志信息，指示是否執(zhí)行亮度補(bǔ)償。 利用相鄰塊預(yù)測(cè)的偏移值可以被用作當(dāng)前塊的偏移值。例如，如果標(biāo) 志信息被設(shè)為"真"，則偏移值被添加到參考?jí)K。在應(yīng)用P-跳過模式 (P-skip mode)的宏塊的情形中，通過使用左相鄰塊和上相鄰塊的標(biāo) 志和偏移值來執(zhí)行預(yù)測(cè)，以便能夠獲得宏塊的標(biāo)志和偏移值。如果僅 僅一個(gè)塊具有"i "的標(biāo)志，則可以將當(dāng)前塊的標(biāo)志和偏移值分別地
設(shè)為該塊的標(biāo)志和偏移值。如果兩個(gè)塊具有"l "的標(biāo)志，則將當(dāng)前 塊的標(biāo)志設(shè)為"1 "，并且將當(dāng)前塊的偏移值設(shè)為該兩個(gè)相鄰塊的平 均偏移值。
根據(jù)另一實(shí)例，該系統(tǒng)也能夠被應(yīng)用于直接模式，例如，時(shí)域直 接模式、B-跳過模式等。在此情形中，執(zhí)行預(yù)測(cè)以獲得亮度補(bǔ)償?shù)男?息。通過使用用于預(yù)測(cè)標(biāo)志和偏移的可變方法，能夠獲得每一個(gè)預(yù)測(cè)
器。該預(yù)測(cè)器可以被設(shè)為當(dāng)前塊的實(shí)際標(biāo)志和實(shí)際偏移值。如果每一 個(gè)塊具有一對(duì)標(biāo)志和偏移信息，則能夠獲得每一個(gè)塊的預(yù)測(cè)值。在此 情形中，如果存在兩個(gè)參考?jí)K并且檢查該兩個(gè)參考?jí)K的參考索引，則 判定當(dāng)前塊的參考索引是否等于相鄰塊的參考索引。此外，如果每 一個(gè)參考?jí)K包括唯一的偏移值，則能夠獲得第一預(yù)測(cè)標(biāo)志信息、第一 預(yù)測(cè)偏移值、第二預(yù)測(cè)標(biāo)志信息和第二預(yù)測(cè)偏移值。在此情形中，利 用相鄰塊預(yù)測(cè)的值可以被用作標(biāo)志信息。該兩個(gè)參考?jí)K的偏移值可以 被分別地用作第一預(yù)測(cè)偏移值和第二預(yù)測(cè)偏移值。在此情形中，當(dāng)前 塊的偏移值可以被設(shè)為各個(gè)參考?jí)K的平均偏移值。
在直接模式或者跳過宏塊模式中，該系統(tǒng)可以編碼/解碼指示是否 將直接模式或者跳過宏塊模式應(yīng)用于當(dāng)前塊的標(biāo)志信息。更加詳細(xì)地， 根據(jù)標(biāo)志值添加或者不添加偏移值。在偏移值和預(yù)測(cè)偏移值之間的殘 值也可以被編碼/解碼。在此情形中，能夠更加正確地重構(gòu)所需數(shù)據(jù)，
并且可以考慮到RD (率失真)關(guān)系來選擇最優(yōu)模式。如果參考圖像不 能被用于預(yù)測(cè)過程，即，如果參考圖像數(shù)目小于"l "，則標(biāo)志信息 或者預(yù)測(cè)標(biāo)志信息可以被設(shè)為"假(false)"，并且偏移值或者預(yù)測(cè) 偏移值也可以被設(shè)為"0 "。
根據(jù)另一實(shí)例，該系統(tǒng)也能夠被應(yīng)用于熵編碼過程。與標(biāo)志信息 相關(guān)聯(lián)地，可以根據(jù)相鄰塊(例如位于當(dāng)前塊的左部和上部的塊)的 標(biāo)志數(shù)值來使用三個(gè)上下文模型(context model)。
如果確定標(biāo)志值被設(shè)為"真"，則產(chǎn)生值"1"。如果確定標(biāo)志值 被設(shè)為"假"，則產(chǎn)生值"0"。如果該兩種情形的該兩個(gè)數(shù)值"1 " 和"0"被相加，則能夠獲得三種情形。通過使用三個(gè)上下文模型來編 碼/解碼標(biāo)志信息。變換系數(shù)級(jí)編碼方法能夠被用于偏移值的預(yù)測(cè)殘值。
換言之，由UEGO執(zhí)行數(shù)據(jù)二進(jìn)制化，單個(gè)上下文模型能夠被應(yīng)用于 第一bin值(bin value)，并且另一上下文模型被應(yīng)用于一元前綴部分 的其余bin值。利用旁路(bypass)模式編碼/解碼符號(hào)位。根據(jù)標(biāo)志信
息的另一實(shí)例，根據(jù)預(yù)測(cè)標(biāo)志值可以考慮兩個(gè)上下文，以便能夠執(zhí)行 編碼/解碼過程。
圖27是示出用于不僅使用指示是否執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)臉?biāo)
志信息而且還使用當(dāng)前塊的偏移值來執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
參考圖27，為了執(zhí)行亮度補(bǔ)償，解碼單元從視頻信號(hào)提取各種信 息，例如，當(dāng)前塊的標(biāo)志信息和偏移值，以及當(dāng)前塊的相鄰塊的標(biāo)志 信息和偏移值，以及當(dāng)前和相鄰塊的參考?jí)K的索引信息，以便解碼單 元能夠使用上述所提取的信息來獲得當(dāng)前塊的預(yù)測(cè)器。解碼單元50獲 得在當(dāng)前塊的偏移值和預(yù)測(cè)器之間的殘值，并且能夠使用所獲得的殘 值和預(yù)測(cè)器來重構(gòu)當(dāng)前塊的偏移值。在重構(gòu)當(dāng)前塊的偏移值的情形中， 可以使用指示是否執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)臉?biāo)志信息(IC—flag)。
解碼單元在步驟S271獲得指示是否執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)臉?biāo) 志信息。如果根據(jù)上述標(biāo)志信息(IC_flag)執(zhí)行亮度補(bǔ)償，則在步驟 S272能夠重構(gòu)指示在當(dāng)前塊和參考?jí)K之間的平均像素值的差異的當(dāng)前 塊的偏移值。以此方式，上述亮度補(bǔ)償技術(shù)編碼在不同圖像的塊之間 的平均像素值的差值。如果當(dāng)指示是否應(yīng)用亮度的標(biāo)志被應(yīng)用于每一 個(gè)塊時(shí)在P片段中包含對(duì)應(yīng)的塊，則單個(gè)標(biāo)志信息和單個(gè)偏移值被編 碼/解碼。然而，如果在B片段中包含對(duì)應(yīng)的塊，則能夠使用各種方法， 并且將參考圖28A 28B在下文中對(duì)其詳細(xì)說明進(jìn)行描述。
圖28A-28B是示出用于使用與P和B片段的塊相關(guān)聯(lián)的標(biāo)志信息 和偏移值來執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ膱D示。
參考圖28A， "C "表示當(dāng)前塊，"N"表示當(dāng)前塊(C)的相鄰 塊，"R "表示當(dāng)前塊(C)的參考?jí)K，"S"表示當(dāng)前塊(C)的相 鄰塊(N) of的參考?jí)K，并且"mc"表示當(dāng)前塊(C)的平均像素值， "m/'表示當(dāng)前塊(C)的參考?jí)K的平均像素值。如果當(dāng)前塊(C)的
偏移值由"IC—offset "表示，貝ij " IC—offset "信息能夠由 "IC_offset=mc-mr"表示。
以此方式，如果相鄰塊(S)的偏移值由"IC_offset_pred "表示， 則編碼單元能夠?qū)?dāng)前塊的偏移值(IC—offset)和相鄰塊的偏移值 (IC—offset_pred)之間的殘值(RIC_offset)發(fā)送到解碼單元，以便它 能夠重構(gòu)當(dāng)前塊(C)的偏移數(shù)值"IC一offset"。在此情形中，"RIC—offset" 信息也能夠由上述等式20表示。
在基于相鄰塊的標(biāo)志信息或者偏移值來產(chǎn)生當(dāng)前塊的預(yù)測(cè)器的情 形中，能夠使用各種方法。例如，可以采用僅僅一個(gè)相鄰塊的信息， 或者也可以采用兩個(gè)或者更多相鄰塊的信息。在采用兩個(gè)或者更多相 鄰塊的信息的情形中，可以采用平均值或者中值。以此方式，如果利 用單個(gè)參考?jí)K來預(yù)測(cè)編碼當(dāng)前塊，則能夠使用單個(gè)偏移值和單個(gè)標(biāo)志
信息來執(zhí)行亮度補(bǔ)償。
然而，如果在B片段中包含對(duì)應(yīng)的塊，g卩，如果利用兩個(gè)或者更 多參考?jí)K來預(yù)測(cè)編碼當(dāng)前塊，則能夠使用各種方法。
例如，如圖28B所示，假定"C "表示當(dāng)前塊，"N "表示當(dāng)前 塊(C)的相鄰塊，"R0 "表示位于由當(dāng)前塊參考的ListO的參考圖像 (1)處的參考?jí)K，"SO "表示位于由相鄰塊參考的ListO的參考圖像 (1)處的參考?jí)K，"Rl "表示位于由當(dāng)前塊參考的Listl的參考圖像 (3)處的參考?jí)K，并且"SI "表示位于由相鄰塊參考的Listl的參考 圖像(3)處的參考?jí)K。在此情形中，當(dāng)前塊的標(biāo)志信息和偏移值與每 一個(gè)參考?jí)K相關(guān)聯(lián)，從而每一個(gè)參考?jí)K包括兩個(gè)值。因此，能夠分別 地采用標(biāo)志信息和偏移值中的至少一個(gè)。
根據(jù)第一實(shí)例，能夠經(jīng)由運(yùn)動(dòng)補(bǔ)償通過組合兩個(gè)參考?jí)K的信息來 獲得當(dāng)前塊的預(yù)測(cè)器。在此情形中，單個(gè)標(biāo)志信息指示是否執(zhí)行當(dāng)前
塊的亮度補(bǔ)償。如果標(biāo)志信息被確定為"真"，則從當(dāng)前塊和預(yù)測(cè)器 獲得單個(gè)偏移值，從而能夠執(zhí)行編碼/解碼過程。
根據(jù)第二實(shí)例，在運(yùn)動(dòng)補(bǔ)償過程中，判定亮度補(bǔ)償是否將被應(yīng)用 于兩個(gè)參考?jí)K的每一個(gè)。標(biāo)志信息被分配給兩個(gè)參考?jí)K的每一個(gè)，并 且通過使用上述標(biāo)志信息獲得的單個(gè)偏移值可以被編碼或者解碼。在 此情形中，應(yīng)該注意，可以基于參考?jí)K來使用兩個(gè)標(biāo)志信息，并且可 以基于當(dāng)前塊來使用單個(gè)偏移值。
根據(jù)第三實(shí)例，單個(gè)標(biāo)志信息可以基于當(dāng)前塊指示亮度補(bǔ)償是否 被應(yīng)用于對(duì)應(yīng)的塊。能夠?qū)τ趦蓚€(gè)參考?jí)K編碼/解碼各自的偏移值。如 果在編碼過程期間亮度補(bǔ)償未被應(yīng)用于參考?jí)K中的任何一個(gè)，則對(duì)應(yīng) 的偏移值被設(shè)為"0 "。在此情形中，可以基于當(dāng)前塊使用單個(gè)標(biāo)志 信息，并且可以基于參考?jí)K使用兩個(gè)偏移值。
根據(jù)第四實(shí)例，能夠?qū)τ诟鱾€(gè)參考?jí)K編碼/解碼標(biāo)志信息和偏移 值。在此情形中，能夠基于參考?jí)K使用兩個(gè)標(biāo)志和兩個(gè)偏移值。
根據(jù)上述第一到第四實(shí)例，偏移值未被無任何改變地編碼，而是 利用相鄰塊的偏移值被預(yù)測(cè)，從而它的殘值被編碼。
圖29是示出用于當(dāng)利用兩個(gè)或者更多參考?jí)K預(yù)測(cè)編碼當(dāng)前塊時(shí)
執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
參考圖29，為了在B片段中包含當(dāng)前塊的條件下執(zhí)行亮度補(bǔ)償， 從視頻信號(hào)提取當(dāng)前塊的相鄰塊的標(biāo)志信息和偏移值，并且提取當(dāng)前 和相鄰塊的對(duì)應(yīng)的參考?jí)K的索引信息，以便能夠通過使用所提取的信 息來獲得當(dāng)前塊的預(yù)測(cè)器。解碼單元獲得在當(dāng)前塊的偏移值和預(yù)測(cè)器 之間的殘值，并且能夠使用所獲得的殘值和預(yù)測(cè)器重構(gòu)當(dāng)前塊的偏移 值。在重構(gòu)當(dāng)前塊偏移值的情形中，根據(jù)需要可以使用指示是否執(zhí)行
當(dāng)前塊的亮度補(bǔ)償?shù)臉?biāo)志信息(IC一flag)。
解碼單元在步驟S291獲得指示是否執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)臉?biāo) 志信息。如果根據(jù)上述標(biāo)志信息(IC一flag)執(zhí)行亮度補(bǔ)償，則能夠在 步驟S292重構(gòu)指示在當(dāng)前塊和參考?jí)K之間的平均像素值的差異的當(dāng)前 塊的偏移值。
然而，如果利用兩個(gè)參考?jí)K預(yù)測(cè)編碼當(dāng)前塊，則解碼器不能直接 識(shí)別出對(duì)應(yīng)于每一個(gè)參考?jí)K的偏移值，因?yàn)楫?dāng)獲得當(dāng)前塊的偏移值時(shí) 它使用兩個(gè)參考?jí)K的平均像素值。因此，根據(jù)第一實(shí)例，獲得對(duì)應(yīng)于 每一個(gè)參考?jí)K的偏移值，結(jié)果實(shí)現(xiàn)了正確預(yù)測(cè)。因此，如果利用兩個(gè) 參考?jí)K預(yù)測(cè)編碼當(dāng)前塊，則在步驟S293能夠通過使用上述偏移值來獲 得對(duì)應(yīng)于每一個(gè)參考?jí)K的的偏移值，如由下面的等式22所表示
— 0炎^ = Wc — W) X附"一 W2 X 7Mr2
/C — 。_^"丄0 = mc — mr，, = /C — c#sd + (w, — 1) x m,.,, + w2 x w,.,2 /C 一 。炎"丄1 = wc -氣2 = /C 一 +x mr>1 + (w2 -1) x氣2
在等式22中，^是當(dāng)前塊的平均像素值。"^和^'2分別表示參 考?jí)K的平均像素值，Wi和W2分別地表示用于雙預(yù)測(cè)編碼過程的加權(quán)系數(shù)。
在使用上述方法執(zhí)行亮度補(bǔ)償?shù)那樾沃校撓到y(tǒng)獨(dú)立地獲得對(duì)應(yīng) 于每一個(gè)參考?jí)K的準(zhǔn)確偏移值，從而它能夠更加準(zhǔn)確地執(zhí)行預(yù)測(cè)編碼 過程。在重構(gòu)當(dāng)前塊的偏移值的情形中，系統(tǒng)將重構(gòu)的殘值和預(yù)測(cè)器 值相加，以便它獲得偏移值。在此情形中，List0的預(yù)測(cè)器和Listl的預(yù) 測(cè)器被獲得和組合，從而系統(tǒng)能夠獲得用于重構(gòu)當(dāng)前塊的偏移值的預(yù) 測(cè)器值。
圖30是示出用于使用指示是否執(zhí)行當(dāng)前塊的亮度補(bǔ)償?shù)臉?biāo)志信 息來執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
亮度補(bǔ)償技術(shù)適用于補(bǔ)償亮度差異或者顏色差異。如果亮度補(bǔ)償 技術(shù)的范圍得以擴(kuò)展，則也可以在由相同照相機(jī)捕獲到的所獲得序列 之間應(yīng)用擴(kuò)展亮度補(bǔ)償技術(shù)。亮度補(bǔ)償技術(shù)能夠防止亮度或者顏色差 異顯著影響運(yùn)動(dòng)估計(jì)。然而，實(shí)際上，編碼過程釆用指示是否執(zhí)行亮 度補(bǔ)償?shù)臉?biāo)志信息。亮度補(bǔ)償?shù)膽?yīng)用范圍可以被擴(kuò)展到序列、視圖、 GOP (圖像組)、圖像、片段、宏塊和子塊等。
如果亮度補(bǔ)償技術(shù)被應(yīng)用于小尺寸區(qū)域，也可以控制局部區(qū)域， 然而，應(yīng)該注意，用于標(biāo)志信息的許多位數(shù)被消耗?？赡懿恍枰炼?補(bǔ)償技術(shù)。因此，指示是否執(zhí)行亮度補(bǔ)償?shù)臉?biāo)志位被分配給各個(gè)區(qū)域， 從而該系統(tǒng)能夠有效地使用亮度補(bǔ)償技術(shù)。該系統(tǒng)在步驟S201獲得能 夠允許對(duì)視頻信號(hào)的特定級(jí)進(jìn)行亮度補(bǔ)償?shù)臉?biāo)志信息。
例如，下面的標(biāo)志信息可以被分配給各個(gè)區(qū)域。"seqJC一flag " 信息被分配給序列級(jí)，"view_IC—flag "信息被分配給視圖級(jí)， "GOP—IC_flag "信息被分配給GOP級(jí)，"pic_IC_flag "信息被分配 給圖像級(jí)，"sliceJC—flag "信息被分配給片段級(jí)，"mb_IC—flag " 信息被分配給宏塊級(jí)，并且"blk_IC—flag "信息被分配給塊級(jí)。將參 考圖31A 31C對(duì)上述標(biāo)志信息的詳細(xì)說明進(jìn)行描述。能夠在步驟S302 對(duì)利用標(biāo)志信息執(zhí)行亮度補(bǔ)償后的視頻信號(hào)的特定級(jí)進(jìn)行解碼。
圖31A-31C是示出標(biāo)志信息的范圍的概念圖示，該標(biāo)志信息指示 是否執(zhí)行當(dāng)前塊的亮度補(bǔ)償。
參考圖31A-31C，指示是否執(zhí)行亮度補(bǔ)償?shù)臉?biāo)志信息能夠以分層 方式被分類。例如，如從圖31A-31C可見，"seq_IC—flag "信息311
被分配給序列級(jí)，"view_IC—flag "信息312被分配給視圖級(jí)， "GOP—IC—flag "信息313被分配給GOP級(jí)，"pic—IC—flag "信息
314被分配給圖像級(jí)，"slice—IC—flag "信息315被分配給片段級(jí)， "mb_IC_flag "信息316被分配給宏塊級(jí)，并且"blk—IC—flag "信息
317被分配給塊級(jí)。
在此情形中，每一個(gè)標(biāo)志均由1個(gè)位構(gòu)成。上述標(biāo)志的數(shù)目可以 至少被設(shè)為一。上述序列/視圖/圖像/片段-級(jí)標(biāo)志可以位于對(duì)應(yīng)的參數(shù) 集或者頭部處，或者也可以位于另一參數(shù)集處。例如，"Seq_IC_flag " 信息311可以位于序列參數(shù)集處，"view—IC一flag "信息312可以位 于視圖參數(shù)集處，"pic—IC一flag "信息314可以位于圖像參數(shù)集處， 并且"slice—IC_flag "信息315可以位于片段頭部處。
如果存在兩個(gè)或者更多標(biāo)志，則指示是否執(zhí)行上級(jí)的亮度補(bǔ)償?shù)?特定信息可以對(duì)是否執(zhí)行下級(jí)的亮度補(bǔ)償進(jìn)行控制。換言之，如果每 一個(gè)標(biāo)志位值被設(shè)為"1 "，則亮度補(bǔ)償技術(shù)可以被應(yīng)用于下級(jí)。
例如，如果"picJC一flag "信息被設(shè)為"1"，在對(duì)應(yīng)的圖像中 包含的每一個(gè)片段的"slice—IC_flag "信息可以被設(shè)為"l "或者"0 "， 每一個(gè)宏塊的"mb—IC—flag "信息可以被設(shè)為"1 "或者"0 "，或 者每一個(gè)塊的"blk—IC_flag "信息可以被設(shè)為"1 "或者"0 "。如 果在存在視圖參數(shù)集的條件下"seq_IC_flag "信息被設(shè)為"1 ",則 每一個(gè)視圖的"view—IC_flag "值可以被設(shè)為"1 "或者"0"。否貝U， 如果"vieW_IC_flag"信息被設(shè)為"1"，對(duì)應(yīng)視圖的GOP、圖像、片 段、宏塊或者塊的標(biāo)志位值可以被設(shè)為"1 "或者"0"，如圖31A所 示。顯然，根據(jù)需要，對(duì)應(yīng)視圖的GOP、圖像、片段、宏塊或者塊的 上述標(biāo)志位值可以不被設(shè)為"1 "或者"0"。如果對(duì)應(yīng)視圖的GOP、 圖像、片段、宏塊或者塊的上述標(biāo)志位值可以不被設(shè)為"l "或者"O"， 則這表示GOP標(biāo)志、圖像標(biāo)志、片段標(biāo)志、宏塊標(biāo)志或者塊標(biāo)志不由 視圖標(biāo)志信息控制，如圖31B所示。
如果上范圍的標(biāo)志位值被設(shè)為"0"，下范圍的標(biāo)志位值被自動(dòng)設(shè) 為"0"。例如，如果"seqJC—flag "信息被設(shè)為"0"，則這指示亮 度補(bǔ)償技術(shù)不被應(yīng)用于對(duì)應(yīng)的序列。因此，"view_IC—flag "信息被 設(shè)為"0" ， "GOP—IC_flag "信息被設(shè)為"0 ，， ， >c_IC—flag，，信息 被設(shè)為"0" ， "slice_IC_flag "信息被設(shè)為"0 " ， "mb-IC—flag" 信息被設(shè)為"0"，并且"blk—IC_flag"信息被設(shè)為"0"。如果需要， 根據(jù)亮度補(bǔ)償技術(shù)的特定實(shí)現(xiàn)方法，可以采用僅僅一個(gè)"mbJCLflag " 信息或者僅僅一個(gè)"blk—IC_flag "信息。如果需要，當(dāng)視圖參數(shù)集被 新(newly)應(yīng)用于多視圖視頻編碼時(shí)，可以采用"vieW_IC_flag "信 息。根據(jù)用作最低級(jí)單元的宏塊或者子塊的標(biāo)志位值，當(dāng)前塊的偏移 值可以被另外地編碼/解碼。
如從圖31C可見，指示IC技術(shù)應(yīng)用的標(biāo)志也可以被應(yīng)用于片段級(jí) 和宏塊級(jí)。例如，如果"slice—IC—flag "信息被設(shè)為"0 "，則這表 示IC技術(shù)未被應(yīng)用于對(duì)應(yīng)的片段。如果"slice—IC—flag "信息被設(shè)為 "1 "，則這表示IC技術(shù)被應(yīng)用于對(duì)應(yīng)的片段。在此情形中，如果 "mb—IC一flag "信息被設(shè)為"1 "，對(duì)應(yīng)的宏塊的"IC—offset "信息 被重構(gòu)。如果"mb—IC—flag "信息被設(shè)為"0 "，則這表示IC技術(shù)未 被應(yīng)用于對(duì)應(yīng)的宏塊。
根據(jù)另一實(shí)例，如果高于宏塊級(jí)的上級(jí)的標(biāo)志信息被確定為 "真"，則該系統(tǒng)能夠獲得指示在當(dāng)前塊和參考?jí)K之間的平均像素值 的差異的當(dāng)前塊的偏移值。在此情形中，根據(jù)需要，宏塊級(jí)的標(biāo)志信 息或者塊級(jí)的標(biāo)志信息可以不被采用。亮度補(bǔ)償技術(shù)能夠使用標(biāo)志信 息來指示是否對(duì)每一個(gè)塊執(zhí)行亮度補(bǔ)償。亮度補(bǔ)償技術(shù)也可以使用特 定值例如運(yùn)動(dòng)矢量，來指示是否對(duì)每一個(gè)塊執(zhí)行亮度補(bǔ)償。上述實(shí)例 也能夠被應(yīng)用于亮度補(bǔ)償技術(shù)的各種應(yīng)用。與上范圍(即序列、視圖、 GOP和圖像)相關(guān)聯(lián)地，上述實(shí)例能夠使用標(biāo)志信息指示是否執(zhí)行下 范圍的亮度補(bǔ)償。用作最低范圍的宏塊或者塊級(jí)能夠使用偏移值有效
地指示是否執(zhí)行亮度補(bǔ)償而不使用標(biāo)志位。類似于使用運(yùn)動(dòng)矢量的方 法，能夠執(zhí)行預(yù)測(cè)編碼過程。例如，如果預(yù)測(cè)編碼過程被應(yīng)用于當(dāng)前 塊，則相鄰塊的偏移值被分配給當(dāng)前塊的偏移值。如果預(yù)測(cè)編碼方案
被確定為雙預(yù)測(cè)編碼方案，則通過計(jì)算從List0和Listl檢測(cè)到的參考
塊獲得各個(gè)參考?jí)K的偏移值。因此，在編碼當(dāng)前塊偏移值的情形中， 沒有利用相鄰塊的偏移值對(duì)每一個(gè)參考?jí)K的偏移值進(jìn)行直接編碼，并 且殘值被編碼/解碼。用于預(yù)測(cè)偏移值的方法可以被確定為上述偏移預(yù) 測(cè)方法或者用于獲得用于預(yù)測(cè)運(yùn)動(dòng)矢量的中值的方法。在雙向預(yù)測(cè)的 直接模式的情形中，沒有使用與運(yùn)動(dòng)矢量相同的方法對(duì)補(bǔ)充信息進(jìn)行 編碼/解碼，并且能夠利用預(yù)定信息獲得偏移值。
根據(jù)另一實(shí)例，使用解碼單元(例如基于H.264的解碼單元)替 代MVC解碼單元。應(yīng)該利用傳統(tǒng)解碼單元來解碼與傳統(tǒng)解碼單元兼容 的視圖序列，從而"view_IC—flag "信息被設(shè)為"假"或者"0 "。 在此情形中，需要解釋基礎(chǔ)視圖概念。應(yīng)該注意，可能需要與 H.264/AVC解碼器兼容的單個(gè)視圖序列。因此，能夠被獨(dú)立解碼的至 少一個(gè)視圖被定義并且稱為基礎(chǔ)視圖?；A(chǔ)視圖表示在數(shù)個(gè)視圖(即 多視圖)中的參考視圖。利用普通視頻編碼方案(例如MPEG-2、 MPEG-4、 H.263和H.264等)對(duì)在MVC方案中對(duì)應(yīng)于基礎(chǔ)視圖的序 列進(jìn)行編碼，從而它以獨(dú)立比特流的形式產(chǎn)生。上述基礎(chǔ)視圖序列能 夠與H.264/AVC方案兼容，或者能夠不與之兼容。然而，與H.264/AVC 方案兼容的視圖序列總是被設(shè)為基礎(chǔ)視圖。
圖32是示出用于考慮到當(dāng)前塊的偏移值獲得運(yùn)動(dòng)矢量的方法的 流程圖。
參考圖32，該系統(tǒng)能夠在步驟S321獲得當(dāng)前塊的偏移值。該系 統(tǒng)在步驟S322使用偏移值搜索與當(dāng)前塊最佳匹配的參考?jí)K。該系統(tǒng)在 步驟S323從參考?jí)K獲得運(yùn)動(dòng)矢量，并且編碼運(yùn)動(dòng)矢量。為了亮度補(bǔ)償， 在運(yùn)動(dòng)估計(jì)期間對(duì)各種因素加以考慮。例如，在用于通過偏移第一和
第二塊的平均像素值來比較第一塊和第二塊的方法的情形中，在運(yùn)動(dòng)
估計(jì)期間從每一個(gè)塊的像素值推斷該兩個(gè)塊的平均像素值，從而能夠 計(jì)算在該兩個(gè)塊之間的相似性。在此情形中，在該兩個(gè)塊之間的偏移 值被獨(dú)立編碼，從而在運(yùn)動(dòng)估計(jì)過程中反映出用于獨(dú)立編碼的成本。 能夠由下面的等式23計(jì)算傳統(tǒng)成本
<formula>formula see original document page 61</formula>
在使用亮度補(bǔ)償?shù)那樾沃?，SAD (差絕對(duì)值的總和)能夠由下面 的等式24表示
<formula>formula see original document page 61</formula>
在等式24中，Ic表示當(dāng)前塊的像素值，并且Ir表示參考?jí)K的像素 值。Me表示當(dāng)前塊的平均像素值，并且Mr表示參考?jí)K的平均像素值。
偏移成本能夠被包括在上述SAD計(jì)算過程中，如由下面的等式25和 26所表示 [等式26]
<formula>formula see original document page 61</formula>
參考等式25和26， a表示加權(quán)系數(shù)。如果a的值被設(shè)為"1 "， 反映出則偏移值的絕對(duì)值。對(duì)于用于反映亮度補(bǔ)償成本的另一種方法， 具有一種通過預(yù)測(cè)用于編碼偏移值所需要的位數(shù)來反映亮度補(bǔ)償成本 的方法。下面的等式27表示一種用于預(yù)測(cè)偏移編碼位的方法。在此情 形中，能夠與偏移殘值的大小成比例地預(yù)測(cè)編碼位。
<formula>formula see original document page 62</formula>
在此情形中，能夠由下面的等式28計(jì)算新的成本 [等式28]<formula>formula see original document page 62</formula>
權(quán)利要求
1.一種用于對(duì)視頻信號(hào)進(jìn)行解碼的方法，包括接收包括根據(jù)第一檔編碼的視頻信號(hào)和標(biāo)識(shí)所述第一檔的檔信息的比特流，所述第一檔表示從一組多個(gè)檔中選擇的檔，所述多個(gè)檔包括用于多視圖視頻信號(hào)的至少一個(gè)檔；從所述比特流中提取所述檔信息；以及當(dāng)所述確定的檔對(duì)應(yīng)于多視圖視頻信號(hào)、并且所述多視圖中的每一個(gè)視圖包括被分段成多個(gè)段的多個(gè)圖像時(shí)，使用在各個(gè)視圖中的各圖像的各段之間的亮度補(bǔ)償，根據(jù)所述確定的檔來對(duì)所述視頻信號(hào)進(jìn)行解碼。
2. 根據(jù)權(quán)利要求l所述的方法，還包括當(dāng)所述確定的檔對(duì)應(yīng)于 多視圖視頻信號(hào)時(shí)，從所述比特流中提取與多個(gè)視圖相關(guān)聯(lián)的配置信 息，其中，所述配置信息包括如下信息中的至少一個(gè)表示在各個(gè)視 圖之間的依賴關(guān)系的視圖依賴信息、指示參考視圖的視圖標(biāo)識(shí)信息、 指示視圖數(shù)目的視圖數(shù)目信息、用于提供視圖縮放性的視圖級(jí)信息以 及指示照相機(jī)布局的視圖布局信息。
3. 根據(jù)權(quán)利要求l所述的方法，其中，所述檔信息位于所述比特 流的頭部中。
4. 根據(jù)權(quán)利要求l所述的方法，其中，所述視圖級(jí)信息對(duì)應(yīng)于在 所述多視圖視頻信號(hào)的各視圖中與分層視圖預(yù)測(cè)結(jié)構(gòu)相關(guān)聯(lián)的多個(gè)級(jí) 中的一個(gè)。
5. 根據(jù)權(quán)利要求l所述的方法，其中，所述視圖依賴信息以二維 數(shù)據(jù)結(jié)構(gòu)表示所述依賴關(guān)系。
6. 根據(jù)權(quán)利要求5所述的方法，其中，所述二維數(shù)據(jù)結(jié)構(gòu)包括矩 陣。
7. 根據(jù)權(quán)利要求l所述的方法，其中，所述段包括圖像塊。
8. 根據(jù)權(quán)利要求7所述的方法，其中，對(duì)于第一段使用亮度補(bǔ)償包括通過形成包括用于相鄰塊的亮度補(bǔ)償?shù)念A(yù)測(cè)器和殘值的和，來 獲得用于所述相鄰塊的亮度補(bǔ)償?shù)钠浦怠?br> 9. 根據(jù)權(quán)利要求8所述的方法，還包括基于對(duì)于按照一個(gè)或者 多個(gè)垂直或者水平相鄰者之后跟隨一個(gè)或者多個(gè)對(duì)角相鄰者的次序的 相鄰塊來說是否滿足一個(gè)或者多個(gè)條件，來選擇至少一個(gè)相鄰塊。
10. 根據(jù)權(quán)利要求9所述的方法，其中，選擇至少一個(gè)相鄰塊包括確定對(duì)于按照以下次序的相鄰塊來說是否滿足一個(gè)或者多個(gè)條件 左相鄰塊，隨后是上相鄰塊，隨后是右上相鄰塊，隨后是左上相鄰塊。
11. 根據(jù)權(quán)利要求9所述的方法，其中，確定對(duì)于相鄰塊來說是否滿足一個(gè)或者多個(gè)條件包括從所述比特流中提取與所述相鄰塊相 關(guān)聯(lián)的值，該值指示是否要執(zhí)行所述相鄰塊的亮度補(bǔ)償。
12. 根據(jù)權(quán)利要求9所述的方法，其中，選擇至少一個(gè)相鄰塊包括確定是使用用于單個(gè)相鄰塊的亮度補(bǔ)償?shù)钠浦颠€是使用用于各 個(gè)相鄰塊的亮度補(bǔ)償?shù)亩鄠€(gè)偏移值。
13. —種用于對(duì)多視圖視頻信號(hào)進(jìn)行解碼的方法，包括 接收比特流，該比特流包括根據(jù)各個(gè)視圖之間的依賴關(guān)系進(jìn)行編碼的多視圖視頻信號(hào)以及表示所述依賴關(guān)系的視圖依賴數(shù)據(jù)；提取所述視圖依賴數(shù)據(jù)，并且根據(jù)所提取的數(shù)據(jù)來確定所述依賴關(guān)系；以及使用在各個(gè)視圖中的各圖像的各段之間的亮度補(bǔ)償，根據(jù)所述確定的依賴關(guān)系，來對(duì)所述多視圖視頻信號(hào)進(jìn)行解碼，其中，所述多視 圖視頻信號(hào)包括多個(gè)視圖，每一個(gè)所述視圖包括被分段成多個(gè)段的多 個(gè)圖像。
14. 根據(jù)權(quán)利要求13所述的方法，其中，所述視圖依賴數(shù)據(jù)以二維數(shù)據(jù)結(jié)構(gòu)表示所述依賴關(guān)系。
15. 根據(jù)權(quán)利要求14所述的方法，其中，所述視圖依賴數(shù)據(jù)包括 矩陣。
16. 根據(jù)權(quán)利要求13所述的方法，還包括從所述比特流中提取配 置信息，所述配置信息包括以下信息中的至少一個(gè)指示參考視圖的 視圖標(biāo)識(shí)信息、指示視圖數(shù)目的視圖數(shù)目信息、用于提供視圖縮放性 的視圖級(jí)信息以及指示照相機(jī)布局的視圖布局信息。
17. 根據(jù)權(quán)利要求13所述的方法，其中，所述段包括圖像塊。
18. 根據(jù)權(quán)利要求17所述的方法，其中，對(duì)于第一段使用亮度補(bǔ) 償包括通過形成包括用于相鄰塊的亮度補(bǔ)償?shù)念A(yù)測(cè)器和殘值的總和，來獲得用于所述相鄰塊的亮度補(bǔ)償?shù)钠浦怠?br> 19. 根據(jù)權(quán)利要求18所述的方法，還包括基于對(duì)于按照一個(gè)或者多個(gè)垂直或者水平相鄰者之后跟隨一個(gè)或者多個(gè)對(duì)角相鄰者的次序 的相鄰塊來說是否滿足一個(gè)或者多個(gè)條件，來選擇至少一個(gè)相鄰塊。
20. 根據(jù)權(quán)利要求19所述的方法，其中選擇至少一個(gè)相鄰塊包括確定對(duì)于按照以下次序的相鄰塊來說是否滿足一個(gè)或者多個(gè)條件左相鄰塊，隨后是上相鄰塊，隨后是右上相鄰塊，隨后是左上相鄰塊。
21. 根據(jù)權(quán)利要求19所述的方法，其中，確定對(duì)于相鄰塊來說是否滿足一個(gè)或者多個(gè)條件包括從所述比特流中提取與所述相鄰塊相 關(guān)聯(lián)的值，該值指示是否要執(zhí)行所述相鄰塊的亮度補(bǔ)償。
22. 根據(jù)權(quán)利要求19所述的方法，其中，選擇至少一個(gè)相鄰塊包括確定是使用用于單個(gè)相鄰塊的亮度補(bǔ)償?shù)钠浦颠€是使用用于各 個(gè)相鄰塊的亮度補(bǔ)償?shù)亩鄠€(gè)偏移值。
23. 根據(jù)權(quán)利要求22所述的方法，還包括當(dāng)使用多個(gè)偏移值時(shí)， 通過組合所述多個(gè)偏移值來獲得用于執(zhí)行所述第一塊的亮度補(bǔ)償?shù)念A(yù) 測(cè)器。
24. 根據(jù)權(quán)利要求23所述的方法，其中，組合所述多個(gè)偏移值包 括求取所述偏移值的平均值或者中值。
全文摘要
對(duì)視頻信號(hào)進(jìn)行解碼包括接收比特流，該比特流包括根據(jù)第一檔編碼的視頻信號(hào)以及標(biāo)識(shí)第一檔的檔信息，該第一檔表示從一組多個(gè)檔中選擇的檔，該多個(gè)檔包括用于多視圖視頻信號(hào)的至少一個(gè)檔。從該比特流提取檔信息。當(dāng)確定的檔對(duì)應(yīng)于多視圖視頻信號(hào)時(shí)，使用在各個(gè)視圖中的圖像的段之間的亮度補(bǔ)償，根據(jù)確定的檔來解碼視頻信號(hào)。該多個(gè)視圖的每一個(gè)包括分段成多個(gè)段的多個(gè)圖像。
文檔編號(hào)H04N7/08GK101375593SQ200780003112
公開日2009年2月25日 申請(qǐng)日期2007年1月12日 優(yōu)先權(quán)日2006年1月12日
發(fā)明者梁正休 申請(qǐng)人:Lg電子株式會(huì)社