專利名稱：處理多視圖視頻的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及處理多視圖視頻。
背景技術(shù)：
多視圖視頻編碼(MVC)涉及壓縮通常由對應(yīng)照相機獲取的視頻 序列(例如，圖像或者"圖像"序列)。視頻序列或者"視圖"能夠 根據(jù)標(biāo)準(zhǔn)例如MPEG編碼。視頻序列中的圖像能夠表示全視頻幀或者 視頻幀的場。片段(slice)是圖像的獨立編碼部分，片段包括圖像中的 一些或者所有的宏塊，并且宏塊包括圖像元素(或者"像素")的塊。
視頻序列能夠根據(jù)H.264/AVC編解碼器技術(shù)被編碼成多視圖視頻 序列，并且很多研發(fā)者對標(biāo)準(zhǔn)的修訂進(jìn)行研究以適應(yīng)多視圖視頻序列。
在當(dāng)前H.264標(biāo)準(zhǔn)中規(guī)定了用于支持特定功能的三個檔(profile)。 術(shù)語"檔"指示用于視頻編碼/解碼算法的技術(shù)元素的標(biāo)準(zhǔn)化。換言之， 檔是為解碼壓縮序列的比特流而規(guī)定的一組技術(shù)元素，并且可以被認(rèn) 為是子標(biāo)準(zhǔn)。上述三個檔是基線檔、主要檔和擴展檔。在H.264標(biāo)準(zhǔn) 中定義了用于編碼器和解碼器的各種功能，從而編碼器和解碼器能夠 分別地與基線檔、主要檔和擴展檔兼容。
根據(jù)用于處理運動圖像編碼(即序列編碼)的視頻編碼層(VCL) 以及與能夠發(fā)送/存儲編碼信息的子系統(tǒng)相關(guān)聯(lián)的網(wǎng)絡(luò)提取層(NAL)， 構(gòu)造用于H.264/AVC標(biāo)準(zhǔn)的比特流。編碼過程的輸出數(shù)據(jù)是VCL數(shù)據(jù)， 并且在它被發(fā)送或者存儲之前被映射成NAL單元。每一個NAL單元 包括對應(yīng)于壓縮視頻數(shù)據(jù)或者頭部信息的原始字節(jié)序列載荷(RBSP)。
NAL單元包括NAL頭部和RBSP。 NAL頭部包括標(biāo)志信息(例 如，nal—ref—idc)和標(biāo)識(ID)信息(例如，nal—unit」ype)。標(biāo)志信 息"nal_ref—idc "指示用作NAL單元參考圖像的片段是否存在。ID 信息"nal—unit_type "指示NAL單元的檔型。RBSP存儲壓縮后的原 始數(shù)據(jù)。RBSP末位能夠被添加到RBSP的最后部分，從而RBSP的長 度能夠由8比特的倍數(shù)來表示。
存在各種NAL單元，例如，即時解碼刷新(IDR)圖像、序列參 數(shù)集(SPS)、圖像參數(shù)集(PPS)和補充增強信息(SEI)等。
該標(biāo)準(zhǔn)通常使用各種檔和級定義目標(biāo)產(chǎn)品，從而能夠以適當(dāng)成本 實現(xiàn)目標(biāo)產(chǎn)品。解碼器滿足在對應(yīng)的檔和級處的預(yù)定約束。
檔和級能夠指示解碼器的功能或者參數(shù)，從而它們指示解碼器能 夠處理哪些壓縮圖像。指示多個檔中的哪一個對應(yīng)于比特流的特定信 息能夠利用檔ID信息來標(biāo)識。檔ID信息"profile—idc "提供用于標(biāo) 識與比特流相關(guān)聯(lián)的檔的標(biāo)志。H.264/AVC標(biāo)準(zhǔn)包括三個檔標(biāo)識符 (IDs)。如果檔ID信息"profilejdc "被設(shè)為"66 "，則比特流基 于基線檔。如果檔ID信息"profile—idc "被設(shè)為"77"，則比特流基 于主要檔。如果檔ID信息"profile—idc "被設(shè)為"88",則比特流基 于擴展檔。上述"profilejdc"信息可以例如被包含在SPS (序列參數(shù) 集)中。

發(fā)明內(nèi)容
在一個方面，通常， 一種用于解碼多視圖視頻信號的方法包括 接收包括多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包 括被分段成多個段(例如，例如單個塊或者宏塊的圖像塊段，或者例 如圖像片段的段)的多個圖像；從比特流提取與多視圖視頻信號的一 個部分相關(guān)聯(lián)的標(biāo)志信息，該標(biāo)志信息指示是否能夠?qū)υ诙嘁晥D視頻 信號的所述部分中的段進(jìn)行亮度補償；并且對于根據(jù)所提取的標(biāo)志信 息能夠進(jìn)行亮度補償?shù)牟糠?，從比特流提取與該部分中的段相關(guān)聯(lián)的 值，并且根據(jù)所述提取的值確定是否將要執(zhí)行對該段的亮度補償。
本發(fā)明的方面能夠包括下面的特征中的一個或者多個。
段包括圖像塊。
該方法還包括，對于與指示將要執(zhí)行亮度補償?shù)闹迪嚓P(guān)聯(lián)的第一 塊，使用用于對鄰近于第一塊的至少一個相鄰塊執(zhí)行亮度補償?shù)钠?值，來獲得用于對第一塊執(zhí)行亮度補償?shù)念A(yù)測器。
通過形成包括用于相鄰塊的亮度補償?shù)念A(yù)測器和殘值的和，獲得 用于相鄰塊的亮度補償?shù)钠浦怠?br> 使用用于對鄰近于第一塊的至少一個相鄰塊執(zhí)行亮度補償?shù)钠?值來獲得用于對第一塊執(zhí)行亮度補償?shù)念A(yù)測器包括在相鄰塊中根據(jù) 預(yù)定次序選擇該至少一個相鄰塊。
根據(jù)預(yù)定次序選擇該至少一個相鄰塊包括按照一個或者多個垂 直或者水平相鄰者之后接著一個或者多個對角相鄰者的次序來確定相 鄰塊是否滿足一個或者多個條件。
標(biāo)志信息使得能夠?qū)Π搲K的序列、視圖、 一組圖像、圖像和 片段的一個或多個進(jìn)行亮度補償。
該標(biāo)志信息使得能夠?qū)兴鰤K的片段進(jìn)行亮度補償。
所提取值包括用于含有所述塊的宏塊的標(biāo)志信息或者用于所述塊 的標(biāo)志信息。
所提取值包括用于含有所述塊的宏塊的標(biāo)志信息。
在另一方面，通常， 一種用于解碼多視圖視頻信號的方法包括 接收包括多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包 括被分段成多個段的多個圖像；并且使用用于對鄰近于第一段的至少 一個相鄰段執(zhí)行亮度補償?shù)钠浦?，獲得用于對第一段執(zhí)行亮度補償 的預(yù)測器，包括在相鄰段中根據(jù)預(yù)定次序選擇該至少一個相鄰段。
本發(fā)明的方面能夠包括下面的特征中的一個或者多個。
第一段和至少一個相鄰段包括圖像塊。
通過形成包括用于相鄰塊的亮度補償?shù)念A(yù)測器和殘值的和，獲得 用于相鄰塊的亮度補償?shù)钠浦怠?br> 根據(jù)預(yù)定次序選擇該至少一個相鄰塊包括按照一個或者多個垂 直或者水平相鄰者之后接著一個或者多個對角相鄰者的次序確定相鄰 塊是否滿足一個或者多個條件。
根據(jù)預(yù)定次序選擇該至少一個相鄰塊包括按照以下順序確定對于 相鄰塊是否滿足一個或者多個條件左相鄰塊，隨后接著上相鄰塊， 隨后為右上相鄰塊，隨后為左上相鄰塊。
根據(jù)預(yù)定次序選擇該至少一個相鄰塊包括按照以下順序確定對于 相鄰塊是否滿足一個或者多個條件上相鄰塊，隨后為左相鄰塊，隨 后為右上相鄰塊，隨后為左上相鄰塊。
確定對于相鄰塊是否滿足一個或者多個條件包括從比特流提取 與相鄰塊相關(guān)聯(lián)的值，該值指示是否要執(zhí)行相鄰塊的亮度補償。
所提取值包括用于含有所述塊的宏塊的標(biāo)志信息或者用于所述塊 的標(biāo)志信息。
獲得所述預(yù)測器包括確定使用用于單個相鄰塊的亮度補償?shù)钠?移值還是使用用于對應(yīng)相鄰塊的亮度補償?shù)亩鄠€偏移值。
該方法還包括，當(dāng)使用多個偏移值時，通過組合多個偏移值來獲 得用于執(zhí)行第一塊的亮度補償?shù)念A(yù)測器。
組合該多個偏移值包括采用偏移值的平均值或者中值。
在另一方面，通常， 一種用于解碼多視圖視頻信號的方法包括 接收包括多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包 括被分段成多個段的多個圖像；獲得用于相對于參考圖像對第一段進(jìn) 行亮度補償?shù)钠浦?，其中，使用用于基于與相鄰段相關(guān)聯(lián)的特性所 確定的至少一個相鄰段的亮度補償?shù)钠浦祦眍A(yù)測所述偏移值；并且 使用用于第一段的亮度補償來解碼所述比特流，包括形成包括以下值 的總和用于從參考圖像獲得的第一段的像素的預(yù)測器，用于第一段 的像素的殘值，以及用于亮度補償?shù)膶?yīng)的偏移值。
本發(fā)明的方面能夠包括下面的特征中的一個或者多個。
第一段和至少一個相鄰段包括圖像塊。
通過形成包括用于相鄰塊的亮度補償?shù)念A(yù)測器和殘值的和，獲得 用于相鄰塊的亮度補償?shù)钠浦怠?br> 該方法還包括基于按照一個或者多個垂直或者水平相鄰者之后 接著一個或者多個對角相鄰者的次序?qū)τ谙噜弶K是否滿足一個或者多 個條件，選擇至少一個相鄰塊。
選擇至少一個相鄰塊包括按照以下順序確定對于相鄰塊是否滿足 一個或者多個條件左相鄰塊，隨后為上相鄰塊，隨后為右上相鄰塊， 隨后為左上相鄰塊。
確定對于相鄰塊是否滿足一個或者多個條件包括從比特流提取 與相鄰塊相關(guān)聯(lián)的值，該值指示是否要執(zhí)行相鄰塊的亮度補償。
所提取值包括用于含有所述塊的宏塊的標(biāo)志信息或者用于所述塊 的標(biāo)志信息。
選擇至少一個相鄰塊包括確定使用用于單個相鄰塊的亮度補償 的偏移值，還是使用用于對應(yīng)相鄰塊的亮度補償?shù)亩鄠€偏移值。
該方法還包括，當(dāng)使用多個偏移值時，通過組合多個偏移值而獲 得用于執(zhí)行第一塊的亮度補償?shù)念A(yù)測器。
組合該多個偏移值包括采用偏移值的平均值或者中值。
在另一方面，通常， 一種用于解碼多視圖視頻信號的方法包括 接收包括多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包 括被分段成多個段的多個圖像；獲得用于相對于參考圖像對第一段進(jìn) 行亮度補償?shù)念A(yù)測器；確定用于第一段的亮度補償?shù)钠浦蛋ㄐ纬?包括預(yù)測器和殘余值的和；并且使用用于第一段的亮度補償來解碼所 述比特流包括形成包括以下值的和用于從參考圖像獲得的第一段的 像素的預(yù)測器，用于第一段的像素的殘值，以及用于亮度補償?shù)膶?yīng) 的偏移值。
本發(fā)明的方面能夠包括下面的特征中的一個或者多個。
所述的段包括圖像塊。
對于第一段使用亮度補償包括通過形成包括用于相鄰塊的亮度 補償?shù)念A(yù)測器和殘值的和，獲得用于相鄰塊的亮度補償?shù)钠浦怠?br> 該方法還包括基于按照一個或者多個垂直或者水平相鄰者之后 接著一個或者多個對角相鄰者的次序?qū)τ谙噜弶K是否滿足一個或者多 個條件，來選擇至少一個相鄰塊。
選擇至少一個相鄰塊包括按照以下順序確定對于相鄰塊是否滿足 一個或者多個條件左相鄰塊，隨后為上相鄰塊，隨后為右上相鄰塊， 隨后為左上相鄰塊。
確定對于相鄰塊是否滿足一個或者多個條件包括從比特流提取 與相鄰塊相關(guān)聯(lián)的值，該值指示是否要執(zhí)行相鄰塊的亮度補償。
所提取值包括用于含有所述塊的宏塊的標(biāo)志信息或者用于所述塊 的標(biāo)志信息。
選擇至少一個相鄰塊包括確定使用用于單個相鄰塊的亮度補償 的偏移值，還是使用用于對應(yīng)的相鄰塊的亮度補償?shù)亩鄠€偏移值。
該方法還包括，當(dāng)要使用多個偏移值時，通過組合多個偏移值而 獲得用于執(zhí)行第一塊的亮度補償?shù)念A(yù)測器。
組合該多個偏移值包括采用偏移值的平均值或者中值。
在另一方面，通常， 一種用于解碼多視圖視頻信號的方法包括-接收包括多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包 括被分段成多個段的多個圖像；以及根據(jù)與第一段相關(guān)聯(lián)的參考圖像
是否與與相鄰段相關(guān)聯(lián)的參考圖像相同，使用用于對鄰近于第一段的 至少一個相鄰段進(jìn)行亮度補償?shù)钠浦?，獲得相對于參考圖像對第一 段進(jìn)行亮度補償?shù)念A(yù)測器。
本發(fā)明的方面能夠包括下面的特征中的一個或者多個。 所述的段包括圖像塊。
對于第一段使用亮度補償包括通過形成包括用于相鄰塊的亮度 補償?shù)念A(yù)測器和殘值的和，獲得用于相鄰塊的亮度補償?shù)钠浦怠?br> 該方法還包括基于按照一個或者多個垂直或者水平相鄰者之后 接著一個或者多個對角相鄰者的次序?qū)τ谙噜弶K是否滿足一個或者多 個條件，來選擇至少一個相鄰塊。
選擇至少一個相鄰塊包括按照以下順序判定對于相鄰塊是否滿足 一個或者多個條件左相鄰塊，隨后為上相鄰塊，隨后為右上相鄰塊， 隨后為左上相鄰塊。
確定對于相鄰塊是否滿足一個或者多個條件包括從比特流提取 與相鄰塊相關(guān)聯(lián)的值，該值指示是否要執(zhí)行相鄰塊的亮度補償。
所提取值包括用于含有所述塊的宏塊的標(biāo)志信息或者用于所述塊 的標(biāo)志信息。
選擇至少一個相鄰塊包括確定使用用于單個相鄰塊的亮度補償 的偏移值，還是使用用于對應(yīng)的相鄰塊的亮度補償?shù)亩鄠€偏移值。
該方法還包括，當(dāng)要使用多個偏移值時，通過組合多個偏移值而 獲得用于執(zhí)行第一塊的亮度補償?shù)念A(yù)測器。
組合該多個偏移值包括采用偏移值的平均值或者中值。
在另一方面，通常，對于每一種相應(yīng)的解碼方法， 一種用于編碼 視頻信號的方法包括產(chǎn)生能夠利用該種相應(yīng)解碼方法被解碼成視頻 信號的比特流。
例如，在另一方面，通常， 一種用于編碼比特流的方法包括形 成包括多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包括 被分段成多個段的多個圖像；在比特流中提供與多視圖視頻信號的一 部分相關(guān)聯(lián)的標(biāo)志信息，該標(biāo)志信息指示是否使得能夠?qū)υ诙嘁晥D視 頻信號的所述部分中的段進(jìn)行亮度補償；以及對于根據(jù)所提取標(biāo)志信 息在能夠執(zhí)行亮度補償?shù)牟糠郑诒忍亓髦刑峁┡c該部分中的段相關(guān) 聯(lián)的值，并且根據(jù)所述提取值來確定是否要對該段執(zhí)行亮度補償。
在另一方面，通常， 一種用于編碼比特流的方法包括形成包括 多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包括被分段 成多個段的多個圖像；以及使用用于對鄰近于第一段的至少一個相鄰 段執(zhí)行亮度補償?shù)钠浦?，提供用于對第一段?zhí)行亮度補償?shù)念A(yù)測器， 包括在相鄰段中根據(jù)預(yù)定次序選擇該至少一個相鄰段。
在另一方面，通常， 一種用于編碼比特流的方法包括形成包括
多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包括被分段
成多個段的多個圖像；提供用于相對于參考圖像對第一段進(jìn)行亮度補
償?shù)钠浦?，其中，能夠使用用于基于與相鄰段相關(guān)聯(lián)的特性所確定 的至少一個相鄰段的亮度補償?shù)钠浦祦眍A(yù)測所述偏移值；以及基于
包括下述值的和來提供用于對第一段進(jìn)行亮度補償?shù)男畔⒂糜趶膮?考圖像獲得的第一段的像素的預(yù)測器，用于第一段的像素的殘值，以 及用于亮度補償?shù)膶?yīng)的偏移值。
在另一方面，通常， 一種用于編碼比特流的方法包括形成包括 多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包括被分段 成多個段的多個圖像；提供用于相對于參考圖像對第一段進(jìn)行亮度補 償?shù)念A(yù)測器；基于包括預(yù)測器和殘余值的和，提供用于對第一段進(jìn)行 亮度補償?shù)钠浦?；以及基于包括下述值的和來提供用于對第一段進(jìn) 行亮度補償?shù)男畔⒂糜趶膮⒖紙D像獲得的第一段的像素的預(yù)測器， 用于第一段的像素的殘值，以及用于亮度補償?shù)膶?yīng)的偏移值。
在另一方面，通常， 一種用于編碼比特流的方法包括形成包括 多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包括被分段 成多個段的多個圖像；以及根據(jù)與第一段相關(guān)聯(lián)的參考圖像是否與與 相鄰段相關(guān)聯(lián)的參考圖像相同，使用對鄰近于第一段的至少一個相鄰 段進(jìn)行亮度補償?shù)钠浦?，提供用于相對于參考圖像對第一段進(jìn)行亮 度補償?shù)念A(yù)測器。
在另一方面，通常，對于每一種對應(yīng)的解碼方法，在計算機可讀 介質(zhì)上存儲的計算機程序包括用于致使計算機執(zhí)行該對應(yīng)的解碼方法 的指令。
在另一方面，通常，對于每一種對應(yīng)的解碼方法，在機器可讀信 息載體上實施的圖像數(shù)據(jù)能夠利用該對應(yīng)的解碼方法解碼成視頻信 號。
在另一方面，通常，對于每一種對應(yīng)的解碼方法，解碼器包括用 于執(zhí)行對應(yīng)的解碼方法的裝置。
在另一方面，通常，對于每一種對應(yīng)的解碼方法，編碼器包括用 于產(chǎn)生能夠利用對應(yīng)的解碼方法解碼成視頻信號的比特流的裝置。
在另一方面，通常， 一種用于編碼視頻序列的方法，包括a)從
當(dāng)前塊的相鄰塊和另一視圖的參考塊獲得至少一個塊的平均像素值； b)從所得到的至少一個塊的平均像素值，推導(dǎo)當(dāng)前塊的預(yù)測平均像素 值；以及C)獲得在當(dāng)前塊的預(yù)測平均像素值和當(dāng)前塊的平均像素值之 間的差值。
在另一方面，通常，提供一種用于解碼視頻序列的方法，包括1) 獲得能夠從視頻信號重構(gòu)當(dāng)前塊的平均像素值的差值；m)從另一視圖 的參考塊推導(dǎo)當(dāng)前塊的預(yù)測平均像素值；和n)基于預(yù)測平均像素值和 差值來重構(gòu)當(dāng)前塊的平均像素值。
在又一方面，通常，提供一種用于編碼視頻序列的設(shè)備，包括 用于獲得當(dāng)前塊的相鄰塊和另一視圖的參考塊的平均像素值的平均像 素值獲得單元；用于從所獲得的平均像素值來推導(dǎo)當(dāng)前塊的預(yù)測平均 像素值的平均像素值預(yù)測單元；和用于獲得在當(dāng)前塊的預(yù)測平均像素 值和平均像素值之間的差值的差值編碼單元。
在又一方面，通常，提供一種用于解碼視頻序列的設(shè)備，包括 用于從所接收的比特流獲得差值的差值解碼單元；用于從另一視圖的 參考塊推導(dǎo)當(dāng)前塊的預(yù)測平均像素值的平均像素值預(yù)測單元；和用于 基于預(yù)測平均像素值和差值來重構(gòu)當(dāng)前塊的平均像素值的亮度補償單 元。
在又一方面，通常， 一種用于解碼視頻信號的方法包括使用鄰 近于當(dāng)前塊的至少一個相鄰塊的偏移值，來獲得用于執(zhí)行當(dāng)前塊的亮 度補償?shù)念A(yù)測器；以及使用該預(yù)測器重構(gòu)當(dāng)前塊的偏移值，其中，通 過確定當(dāng)前塊的參考索引是否等于相鄰塊的參考索引來確定所述預(yù)測 器。
在又一方面，通常，提供一種用于解碼視頻信號的方法，包括 重構(gòu)當(dāng)前塊偏移值，該當(dāng)前塊偏移值指示在當(dāng)前塊的平均像素值和至少一個參考塊的平均像素值之間的差異；以及如果利用兩個或者更多 參考塊對當(dāng)前塊進(jìn)行預(yù)測編碼，則使用該偏移值分別地獲得當(dāng)前塊的 參考塊的偏移值。
在又一方面，通常， 一種用于解碼視頻信號的方法，包括獲得 指示是否對當(dāng)前塊執(zhí)行亮度補償?shù)臉?biāo)志信息；以及如果根據(jù)該標(biāo)志信 息執(zhí)行亮度補償，則重構(gòu)指示在當(dāng)前塊的平均像素值和參考塊的平均 像素值之間的差異的偏移值。
在又一方面，通常，提供一種用于解碼視頻信號的方法，包括a) 獲得用于允許對視頻信號的特定級進(jìn)行亮度補償?shù)臉?biāo)志信息；和b)對 利用標(biāo)志信息進(jìn)行亮度補償?shù)囊曨l信號的特定級進(jìn)行解碼，其中，該 視頻信號的特定級對應(yīng)于序列級、視圖級、GOP (圖像組)級、圖像 級、片段級、宏塊級和塊級中的任何一個。
在又一方面，通常，提供一種用于編碼視頻信號的方法，包括 獲得指示在當(dāng)前塊和參考塊的平均像素值之間的差異的當(dāng)前塊的偏移 值；以及使用該偏移值搜索與當(dāng)前塊最優(yōu)匹配的參考塊；以及從匹配 的參考塊獲得運動矢量，并且編碼該運動矢量。
本發(fā)明的方面能夠具有下面的一個或者多個優(yōu)點。
用于編碼/解碼視頻序列的方法或者設(shè)備基于周邊塊來預(yù)測要被 編碼的當(dāng)前塊的平均值，以及發(fā)送在當(dāng)前塊和周邊塊之間的差值，由 此減少將被發(fā)送用于亮度補償?shù)男畔⒘俊?br> 該方法有效執(zhí)行需要大量數(shù)據(jù)的多視圖視頻序列的亮度補償，由 此增加編碼速率。該方法使用在塊或者視圖之間的相關(guān)性實現(xiàn)了一種 有效的編碼/解碼系統(tǒng)。
由不同照相機捕獲多視圖視頻數(shù)據(jù)的視圖序列，從而由于照相機 內(nèi)部或者外部因素而存在亮度差異。為了解決該問題，該方法使用相 鄰塊的信息來預(yù)測當(dāng)前塊的偏移值，僅僅發(fā)送在當(dāng)前塊和相鄰塊之間 的殘值，從而它能夠減少被發(fā)送用于亮度補償?shù)男畔⒘?。在預(yù)測當(dāng)前 塊的偏移值的情形中，該方法判定當(dāng)前塊的參考索引是否等于相鄰塊 的參考索引，結(jié)果實現(xiàn)了準(zhǔn)確預(yù)測。
該方法預(yù)測指示是否對當(dāng)前塊執(zhí)行亮度補償?shù)臉?biāo)志信息，并且僅 僅發(fā)送在標(biāo)志信息之間的殘值，由此減少被發(fā)送的信息量。該方法判 定當(dāng)前塊的參考索引是否等于相鄰塊的參考索引，結(jié)果實現(xiàn)了準(zhǔn)確預(yù) 測。該方法使用在塊或者視圖之間的相關(guān)性，結(jié)果實現(xiàn)了有效編碼過 程。
由不同照相機捕獲多視圖視頻數(shù)據(jù)的視圖序列，從而由于照相機 內(nèi)部或者外部因素而存在亮度差異。為了解決上述問題，該方法使用 相鄰塊的信息來預(yù)測當(dāng)前塊的偏移值，僅僅發(fā)送在當(dāng)前塊和相鄰塊之 間的殘值，從而它能夠減少被發(fā)送用于進(jìn)行亮度補償?shù)男畔⒘?。該?法預(yù)測指示是否對當(dāng)前塊執(zhí)行亮度補償?shù)臉?biāo)志信息，并且僅僅發(fā)送殘 值，由此使得發(fā)送的信息量最少。
如果使用兩個或者更多參考塊來執(zhí)行預(yù)測編碼過程，則該方法使 用至少一種方法采用偏移值和標(biāo)志信息，結(jié)果實現(xiàn)了有效編碼過程。 分配指示是否對視頻信號的每一個區(qū)域執(zhí)行亮度補償?shù)臉?biāo)志位，從而 能夠有效使用亮度補償技術(shù)。該方法通過反映在運動估計過程中的亮 度差異而計算成本，結(jié)果實現(xiàn)了正確的預(yù)測編碼。
從下面的說明以及從權(quán)利要求可以清楚其它特征和優(yōu)點。
附圖簡要說明


圖1是示例性解碼設(shè)備。
圖2是示出用于編碼視頻序列的方法的流程圖。
圖3是示出用于從其它視圖的參考塊推導(dǎo)當(dāng)前塊的預(yù)測平均像素 值的過程的框圖。
圖4是示出用于從其它視圖的參考塊推導(dǎo)當(dāng)前塊的預(yù)測平均像素
值的過程的詳細(xì)框圖。
圖5是示出16X16宏塊的圖示。 圖6A-6B是示出16X8宏塊的圖示。 圖7A-7B是示出8X16宏塊的圖示。 圖8A-8B是指示8X8宏塊的圖示。 圖9是示出用于獲得當(dāng)前塊的偏移值的過程的圖示。 圖IO是示出用于執(zhí)行當(dāng)前塊的亮度補償?shù)倪^程的流程圖。 圖11是示出用于通過確定當(dāng)前塊的參考索引是否等于相鄰塊的 參考索引而獲得預(yù)測器的方法的流程圖。
圖12是示出基于當(dāng)前塊的預(yù)測類型來執(zhí)行亮度補償?shù)姆椒ǖ牧鞒虉D。
圖13是示出用于使用指示是否執(zhí)行塊的亮度補償?shù)臉?biāo)志信息來 執(zhí)行亮度補償?shù)姆椒ǖ牧鞒虉D。
圖14是示出用于通過確定當(dāng)前塊的參考索引是否等于相鄰塊的 參考索引來預(yù)測當(dāng)前塊的標(biāo)志信息的方法的流程圖。
圖15是示出用于當(dāng)當(dāng)前塊利用兩個或者更多參考塊來預(yù)測編碼 時執(zhí)行亮度補償?shù)姆椒ǖ牧鞒虉D。
圖16是示出用于不僅使用指示是否執(zhí)行當(dāng)前塊的亮度補償?shù)臉?biāo) 志而且使用當(dāng)前塊的偏移值來執(zhí)行亮度補償?shù)姆椒ǖ牧鞒虉D。
圖17A-17B是示出用于使用與P和B片段的塊相關(guān)聯(lián)的標(biāo)志和偏 移值來執(zhí)行亮度補償?shù)姆椒ǖ膱D示。
圖18是示出用于當(dāng)當(dāng)前塊利用兩個或者更多參考塊預(yù)測編碼時 執(zhí)行亮度補償?shù)姆椒ǖ牧鞒虉D。
圖19是示出用于使用指示是否執(zhí)行當(dāng)前塊的亮度補償?shù)臉?biāo)志來 執(zhí)行亮度補償?shù)姆椒ǖ牧鞒虉D。
圖20A-20C是示出指示是否執(zhí)行當(dāng)前塊的亮度補償?shù)臉?biāo)志信息的
范圍的圖示。
圖21是示出用于考慮到當(dāng)前塊的偏移值而獲得運動矢量的方法 的流程圖。
具體實施例方式
為了有效處理多視圖序列，輸入比特流包括允許解碼設(shè)備確定輸 入比特流是否與多視圖檔有關(guān)的信息。在確定輸入比特流涉及多視圖 檔的情形中，與多視圖序列相關(guān)聯(lián)的補充信息根據(jù)語法被添加到比特
流并且發(fā)送到解碼器。例如，多視圖檔ID能夠指示用于根據(jù)H.264/AVC 標(biāo)準(zhǔn)的修訂來處理多視圖視頻數(shù)據(jù)的檔模式。
MVC (多視圖視頻編碼)技術(shù)是H.264/AVC標(biāo)準(zhǔn)的修訂技術(shù)。艮口 ， 作為補充信息為MVC模式添加特定語法。用于支持MVC技術(shù)的這種 修訂能夠比使用無條件語法的備選方案更加有效。例如，如果AVC技 術(shù)的檔標(biāo)識符指示多視圖檔，則添加多視圖序列信息可以提高編碼效率。
H.264/AVC比特流的序列參數(shù)集(SPS)指示包括與全序列編碼 相關(guān)聯(lián)的信息(例如檔和級)的頭部信息。
全壓縮運動圖像(即序列)能夠以序列頭部開始，從而對應(yīng)于頭 部信息的序列參數(shù)集(SPS)早于由參數(shù)集參考的數(shù)據(jù)到達(dá)解碼器。結(jié) 果，序列參數(shù)集RBSP在進(jìn)口 Sl處用作運動圖像的壓縮數(shù)據(jù)的頭部信 息(圖2)。如果接收到比特流，則檔ID信息"profile一idc "標(biāo)識數(shù) 個檔中的哪一個檔對應(yīng)于接收到的比特流。
檔ID信息"profilejdc"能夠被例如設(shè)為 "MULTI—VIEW_PROFILE "，從而包括檔ID信息的語法能夠確定所 接收的比特流是否涉及多視圖檔。當(dāng)所接收的比特流涉及多視圖檔時， 能夠添加下面的配置信息。
圖1是示出用于解碼含有多視圖視頻序列的視頻信號的多視圖視 頻系統(tǒng)的示例性解碼設(shè)備(或者"解碼器")的框圖。多視圖視頻系 統(tǒng)包括對應(yīng)的編碼設(shè)備(或者"編碼器")以提供多視圖視頻序列作 為比特流，該比特流包括在機器可讀信息載體(例如機器可讀存儲介 質(zhì)或者在發(fā)送器和接收器之間傳播的機器可讀能量信號)上實施的編 碼圖像數(shù)據(jù)。
參考圖1，解碼設(shè)備包括解析單元10、熵解碼單元11、反量化/
反變換單元12、幀間預(yù)測單元13、幀內(nèi)預(yù)測單元14、解塊濾波器15 和解碼圖像緩存器16。
幀間預(yù)測單元13包括運動補償單元17、亮度補償單元18和亮度 補償偏移預(yù)測單元19。
解析單元10對在NAL單元中接收的視頻序列執(zhí)行解析以解碼所 接收的視頻序列。 一般地，在對片段頭部和片段數(shù)據(jù)解碼之前， 一個 或者多個序列參數(shù)集和圖像參數(shù)集被發(fā)送到解碼器。在此情形中，NAL 頭部或者NAL頭部的擴展區(qū)域可以包括各種配置信息，例如，時域級 信息、視圖級信息、錨定圖像ID信息和視圖ID信息等。
術(shù)語"時間級信息"表示用于從視頻信號提供時域縮放性的分層 結(jié)構(gòu)信息，從而能夠經(jīng)由上述時域級信息將各種時間區(qū)的序列提供給 用戶。
術(shù)語"視圖級信息"表示用于從視頻信號提供視圖縮放性的分層 結(jié)構(gòu)信息。多視圖視頻序列能夠限定時域級和視圖級，從而可以根據(jù) 所限定的時域級和視圖級將各種時域序列和視圖序列提供給用戶。
以此方式，如果如上所述限定級信息，則用戶可以采用時域縮放
性和視圖縮放性。因此，用戶能夠査看對應(yīng)于期望時間和視圖的序列， 或者能夠查看對應(yīng)于另一限制的序列。也可以根據(jù)參考條件以各種方 式建立上述級信息。例如，可以根據(jù)照相機位置改變級信息，并且也 可以根據(jù)照相機布局類型來改變級信息。另外，也可以不加任何特定 參考地任意建立級信息。
術(shù)語"錨定圖像"表示其中所有的片段僅僅指的是當(dāng)前視圖中的 片段而非其它視圖中的片段的編碼圖像。在視圖之間的隨機訪問能夠 基于錨定圖像以進(jìn)行多視圖序列解碼。
錨定圖像ID信息能夠被用于執(zhí)行隨機訪問過程以訪問特定視圖 的數(shù)據(jù)而不需要解碼大量數(shù)據(jù)。
術(shù)語"視圖ID信息"表示用于區(qū)別當(dāng)前視圖的圖像和另一視圖 的圖像的特定信息。當(dāng)視頻序列信號被編碼時，為了將一個圖像從其
它圖像區(qū)別開，能夠使用圖像序列號(POC)和幀數(shù)信息(frame—num)。
如果當(dāng)前序列被確定為多視圖視頻序列，則能夠執(zhí)行視圖間預(yù)測。 標(biāo)識符被用于區(qū)別當(dāng)前視圖的圖像與另 一視圖的圖像。
能夠定義視圖標(biāo)識符以指示圖像的視圖。解碼設(shè)備能夠使用上述 視圖標(biāo)識符來獲得不同于當(dāng)前圖像的視圖的視圖中的圖像的信息，從 而它能夠使用圖像的信息來解碼視頻信號。上述視圖標(biāo)識符能夠被應(yīng) 用于視頻信號的全部編碼/解碼過程。而且，考慮到視圖上述視圖標(biāo)識 符也能夠被應(yīng)用于使用幀數(shù)信息"frame—mim "的多視圖視頻編碼過 程。
一般地，多視圖序列具有大量數(shù)據(jù)，并且每一個視圖的分層編碼 功能(也被稱為"視圖縮放性")能夠被用于處理大量數(shù)據(jù)。為了執(zhí) 行視圖縮放性功能，可以定義考慮到多視圖序列的視圖的預(yù)測結(jié)構(gòu)。 可以通過結(jié)構(gòu)化預(yù)測次序或者數(shù)個視圖序列的方向而定義上述預(yù) 測結(jié)構(gòu)。例如，如果給定要被編碼的數(shù)個視圖序列，則全部布局的中 心位置被設(shè)于基礎(chǔ)視圖，從而要被編碼的視圖序列能夠被分層選擇。 全部布局的端部或者其它部分可以被設(shè)為基礎(chǔ)視圖。
如果照相機視圖的數(shù)目由"2 "的指數(shù)冪表示，可以基于由"2 " 的指數(shù)冪表示的照相機視圖的上述情形來形成數(shù)個視圖序列之間的分
層預(yù)測結(jié)構(gòu)。在其它情形中，如果照相機視圖的數(shù)目不由"2 "的指
數(shù)冪表示，能夠使用虛擬視圖并且可以基于虛擬視圖來形成預(yù)測結(jié)構(gòu)。 如果照相機布局指的是二維布局，則可以沿著水平或者垂直方向交替
(by turns)建立預(yù)測次序。
被解析的比特流由熵解碼單元11進(jìn)行熵解碼，并且數(shù)據(jù)例如每一 個宏塊的系數(shù)、運動矢量等被提取。反量化/反變換單元12用預(yù)定常數(shù) 去乘所接收的量化值以獲取變換后的系數(shù)值，并且對所獲取的系數(shù)值 執(zhí)行反變換，從而它重構(gòu)像素值。幀間預(yù)測單元13使用重構(gòu)的像素值 由當(dāng)前圖像的解碼樣本來執(zhí)行幀間預(yù)測功能。
同時，解塊濾波器15被應(yīng)用于每一個解碼宏塊以降低塊失真程 度。解塊濾波器15執(zhí)行塊邊緣的平滑，從而它提高解碼幀的圖像質(zhì)量。 濾波過程的選擇依賴于邊界強度和在邊界附近布局的圖像樣本的梯 度。濾波后的圖像被存儲在解碼圖像緩存器16中，從而它們能夠被輸 出或者被用作參考圖像。
解碼圖像緩存器16存儲或者輸出預(yù)編碼圖像以執(zhí)行幀間預(yù)測功 能。在此情形中，圖像的幀數(shù)信息"frame_num "和POC (圖像序列 號)信息被用于存儲或者輸出預(yù)編碼圖像。在MVC技術(shù)的情形中，其 它視圖的圖像可以存在于上述預(yù)編碼圖像中。因此，為了使用上述圖 像作為參考圖像，可以根據(jù)需要不僅使用"frame一num "和POC信息，
而且使用指示圖像視圖的視圖標(biāo)識符。
幀間預(yù)測單元13使用在解碼圖像緩存器16中存儲的參考圖像來 執(zhí)行幀間預(yù)測。幀間編碼宏塊可以被劃分成宏塊部分。每一個宏塊部 分能夠利用一個或者兩個參考圖像預(yù)測。
運動補償單元17使用從熵解碼單元11接收的信息來補償當(dāng)前塊 的運動。運動補償單元17從視頻信號提取當(dāng)前塊的相鄰塊的運動矢量， 并且獲得當(dāng)前塊的運動矢量預(yù)測器。運動補償單元17使用從視頻信號 和所獲得的運動矢量預(yù)測器提取的運動矢量和預(yù)測器之間的差值來補 償當(dāng)前塊的運動。上述運動補償可以利用僅僅一個參考圖像執(zhí)行，或 者也可以利用多個參考圖像執(zhí)行。
因此，如果上述參考圖像被確定為不同于當(dāng)前視圖的其它視圖的 圖像，則可以根據(jù)指示其它視圖的視圖標(biāo)識符來執(zhí)行運動補償。
直接模式表示用于基于被完全解碼的塊的運動信息來預(yù)測當(dāng)前塊 的運動信息的編碼模式。上述直接模式能夠減少用于編碼運動信息所 需要的位數(shù)，結(jié)果提高了壓縮效率。
例如，時域直接模式使用時域方向的運動信息的相關(guān)性來預(yù)測當(dāng) 前塊的運動信息。類似于時域直接模式，解碼器能夠使用視圖方向的 運動信息的相關(guān)性來預(yù)測當(dāng)前塊的運動信息。
如果所接收的比特流對應(yīng)于多視圖序列，則可以分別地由不同照 相機捕獲視圖序列，從而由于照相機的內(nèi)部或者外部因素可以發(fā)生亮 度差異。為了減少與亮度差異相關(guān)聯(lián)的潛在的效率低下問題，亮度補 償單元18執(zhí)行亮度補償功能。
在執(zhí)行亮度補償功能的情形中，標(biāo)志信息可以用于指示是否執(zhí)行在視頻信號的特定級處的亮度補償。例如，亮度補償單元18可以使用 指示是否執(zhí)行對應(yīng)的片段或者宏塊的亮度補償?shù)臉?biāo)志信息來執(zhí)行亮度 補償功能。而且，用于使用上述標(biāo)志信息執(zhí)行亮度補償?shù)纳鲜龇椒?br> 以被應(yīng)用于各種宏塊類型(例如，幀間16X16模式、B跳過(B-skip)
模式、直接模式等)。
當(dāng)執(zhí)行亮度補償時為了重構(gòu)當(dāng)前塊，可以使用相鄰塊的信息或者 不同于當(dāng)前塊的視圖的視圖中的塊的信息，并且也可以使用當(dāng)前塊的 偏移值。
在此情形中，當(dāng)前塊的偏移值指示在當(dāng)前塊的平均像素值與對應(yīng) 于當(dāng)前塊的參考塊的平均像素值之間的差值。作為使用上述偏移值的 實例，可以通過使用當(dāng)前塊的相鄰塊來獲得當(dāng)前塊偏移值的預(yù)測器， 并且可以使用在偏移值和預(yù)測器之間的殘值。因此，解碼器能夠使用 殘值和預(yù)測器來重構(gòu)當(dāng)前塊的偏移值。
為了獲得當(dāng)前塊的預(yù)測器，可以根據(jù)需要使用相鄰塊的信息。
例如，能夠通過使用相鄰塊的偏移值來預(yù)測當(dāng)前塊的偏移值。在 預(yù)測當(dāng)前塊偏移值之前，確定當(dāng)前塊的參考索引是否等于相鄰塊的參 考索引。根據(jù)確定結(jié)果，亮度補償單元18能夠確定將使用哪一個相鄰 塊或者使用哪個值。
亮度補償單元18可以使用當(dāng)前塊的預(yù)測類型來執(zhí)行亮度補償。如 果利用兩個參考塊對當(dāng)前塊預(yù)測編碼，則亮度補償單元18可以使用當(dāng) 前塊的偏移值來獲得對應(yīng)于每一個參考塊的偏移值。
如上所述，通過亮度補償和運動補償獲取的幀間預(yù)測圖像或者幀 內(nèi)預(yù)測圖像根據(jù)預(yù)測模式來選擇，并且重構(gòu)當(dāng)前圖像。
在該文獻(xiàn)中將在以后描述用于重構(gòu)當(dāng)前圖像的編碼/解碼方法的 各種實例。
圖2是示出用于編碼視頻序列的方法的流程圖。
參考圖2，在步驟S131，視頻序列編碼方法的實例獲得當(dāng)前塊的 相鄰塊和另一視圖的參考塊中的至少一個塊的平均像素值。當(dāng)接收到 所獲得的值時，視頻序列編碼方法在步驟S132使用數(shù)個模式中的至少 一種模式推導(dǎo)當(dāng)前塊的預(yù)測平均像素值。視頻序列編碼方法在步驟 S133獲得在當(dāng)前塊的預(yù)測平均像素值和實際平均像素值之間的差值。 視頻序列編碼方法在步驟S134測量上述數(shù)個模式的各個編碼效率，并 且從該數(shù)個模式中選擇最優(yōu)模式。能夠以各種方式選擇上述最優(yōu)模式， 例如，能夠使用用于從所獲得差值中選擇最小差值的方法，和用于使 用指示率失真(rate-distortion, RD)的關(guān)系的等式的方法等。
在此情形中，上述RD等式不僅認(rèn)出在對應(yīng)塊的編碼期間產(chǎn)生的 編碼位數(shù)而且認(rèn)出指示與實際圖像相關(guān)聯(lián)的差值的失真值，從而它使 用編碼位數(shù)和失真值來計算成本。更加詳細(xì)地，視頻序列編碼方法用 由量化系數(shù)確定的拉格朗日乘子去乘位數(shù)，并且將失真值添加到乘積 結(jié)果，從而它計算成本。如果選擇最優(yōu)模式，視頻序列編碼方法能夠 編碼指示所選擇模式的標(biāo)識(ID)信息，并且發(fā)送編碼結(jié)果?？商娲?地，如果選擇最優(yōu)模式，則視頻序列編碼方法能夠不僅編碼指示所選 擇模式的ID信息而且編碼利用所選擇模式獲得的差值，并且在步驟 S135發(fā)送編碼結(jié)果。
圖3是示出用于從另一視圖的參考塊推導(dǎo)當(dāng)前塊的預(yù)測平均像素 值的過程的框圖。
參考圖3，假定Be塊的平均像素值是m。， Br，i塊的平均像素值是 mM，并且其余塊的平均像素值由上述塊符號表示。具有用于根據(jù)一個
或者多個相鄰塊的信息來預(yù)測me信息的各種方法。為了方便說明，假
定在編碼Be塊的情形中使用參考幀弁l作為候選參考幀。
用于根據(jù)一個或者多個相鄰塊的信息預(yù)測me信息的第一方法是 用于基于對應(yīng)于當(dāng)前塊的另一視圖的參考塊的平均像素值來預(yù)測m。信 息的第一模式方法(Model)。更加詳細(xì)地，第一模式方法(Model) 指示用于使用參考幀#1的B^塊的平均像素值來預(yù)測me信息的方法。 差值能夠由下面的等式1表示
g =柳c 一柳r j
用于預(yù)測在當(dāng)前塊的平均像素值和對應(yīng)于當(dāng)前塊的另一視圖的參 考塊的平均像素值之間的差值的第二方法是用于基于在當(dāng)前塊的每一 個相鄰塊和參考塊的平均像素值之間的差異來預(yù)測差值的第二模式方 法(Mode2)。更加詳細(xì)地，第二模式方法(Mode2)使用在相鄰塊(《，《，1) 之間的平均像素值的差值來預(yù)測在當(dāng)前塊的平均像素值和參考幀#1的 i塊的平均像素值之間的差值。
該差值能夠由下面的等式2表示
6 =(柳廣柳,.》—(附:一柳).,)
用于預(yù)測在當(dāng)前塊的平均像素值和對應(yīng)于當(dāng)前塊的另一視圖的參 考塊的平均像素值之間的差值的第三方法是用于使用在當(dāng)前塊的相鄰 塊的平均像素值和參考塊的平均像素值之間的差異來預(yù)測差值的第三 模式方法(Mode3)。更加詳細(xì)地，第三模式方法(Mode3)基于在相
鄰塊^的平均像素值和參考幀#1的""塊的平均像素值之間的差異來 預(yù)測me信息。在此情形中，差值能夠由下面的等式3表示
e二(附c 一附w)一 (附:—》irl)=wic -柳j
在通過使用另一視圖的參考塊的相鄰塊來編碼當(dāng)前塊的相鄰塊的
情形中，具有用于基于當(dāng)前塊的相鄰塊的預(yù)測平均像素值來預(yù)測me信 息的第四模式方法(Mode4)。換言之，如果通過參考參考幀#2的《，2 塊而對《塊預(yù)編碼，則在當(dāng)前塊(A)和對應(yīng)于當(dāng)前塊的參考塊(A，') 的平均像素值之間的差值能夠利用在當(dāng)前塊的相鄰塊(《)的平均像 素值和另一視圖參考塊的相鄰塊(《2)的平均像素值之間的差值來預(yù)
在此情形中，差值能夠由下面的等式4表示 [等式4]
e = (mc —mrl)—(附:—附)，2)
在使用上述Mode2、 Mode3和Mode4方法使用相鄰塊信息的情形 中，雖然上述Mode2、 Mode3和Mode4方法已經(jīng)公開僅僅示例性地使 用下一上塊的一個信息，應(yīng)該注意，圍繞當(dāng)前塊的數(shù)個相鄰塊的信息 的組合也可以被用作實例。
圖4是示出用于從其它視圖的參考塊來推導(dǎo)當(dāng)前塊的預(yù)測平均像 素值的過程的詳細(xì)框圖。
更加詳細(xì)地，圖4示出當(dāng)前塊、每一個與當(dāng)前塊共享邊界的預(yù)編
碼塊以及每一個與參考塊共享邊界的其它塊。在此情形中，Mode2方 法等式、Mode3方法等式和Mode4方法等式能夠由下面的等式5表示
<formula>formula see original document page 33</formula>
在上述Mode4等式中，w"指示在《塊的參考塊位于參考幀弁k處 的條件下該參考塊的平均像素值。
在等式5中，w'指示加權(quán)系數(shù)。用于預(yù)測的相鄰塊不限于不限于 共享邊界的塊，并且根據(jù)需要也可以包括鄰近于上述相鄰塊的其它塊。 在其它情形中，上述相鄰塊也可以采用其它塊的僅僅一些部分。上述 相鄰塊的范圍可以由w'調(diào)整。以此方式，差值(e)被量化并且被熵編 碼，從而熵編碼信息被發(fā)送到解碼單元。
在計算數(shù)個步驟到實際比特流階段之后，考慮到速率和失真因子， 上述Model、 Mode2、 Mode3和Mode4方法的參考幀被確定為最優(yōu)幀。 具有用于選擇最優(yōu)模式的各種方法，例如，用于從所獲得差值中選擇 最小差值的特定模式的方法和用于使用RD關(guān)系的方法。
上述RD-關(guān)系方法計算各個模式的實際比特流，并且考慮到速率 和失真(rate and the distortion)而選擇最優(yōu)模式。在計算塊殘值的情形 中，上述RD關(guān)系方法從當(dāng)前塊推斷每一個塊的平均像素值，從參考塊 推斷每一個塊的平均像素值，并且計算在當(dāng)前塊和參考塊的所推斷結(jié) 果之間的差值，如由下面的等式6所表示[等式6]
<formula>formula see original document page 34</formula>
在等式6中，AxAy表示差異矢量，并且I是像素值。如果利用相 鄰塊的信息預(yù)測的值和差值被量化，并且預(yù)測值和差值的量化結(jié)果值 被重構(gòu)，并且重構(gòu)的結(jié)果值被添加，則所添加結(jié)果由等式6的^表示。 在此情形中，^的值適于從編碼單元和解碼單元獲得相同值。^指示 參考塊的平均像素值。在解碼圖像的情形中，編碼單元具有與解碼單 元相同的^。實際上，在時間域中搜索參考塊，并且在空間-時間域中 搜索最優(yōu)塊。因此，指示是否將使用亮度補償?shù)腎D信息被與各個幀和 塊相關(guān)聯(lián)地設(shè)為"0"或者"1"，并且所得到的ID信息被熵編碼。
如果選擇最優(yōu)模式，則能夠編碼僅僅所選擇模式，從而所選擇模 式的編碼結(jié)果可以被發(fā)送到解碼單元。除了所選擇模式的編碼結(jié)果， 利用所選擇模式獲得的差值也能夠被編碼和發(fā)送。所選擇模式信息由 索引類型表示，并且也能夠利用相鄰模式信息來預(yù)測。另外，在當(dāng)前 選擇模式的索引和預(yù)測模式的索引之間的差值也能夠被編碼和發(fā)送。
根據(jù)需要，可以考慮所有的上述模式，可以選擇上述模式中的一 些，或者也可以僅僅選擇上述模式中的一個。在使用所有可用方法中 的單個方法的情形中，無需分別地編碼模式索引。
在獲得平均像素值并且推導(dǎo)預(yù)測平均像素值的情形中，預(yù)解碼像 素值可以被應(yīng)用于要被編碼的參考幀和目標(biāo)幀的當(dāng)前塊。
基本上，左側(cè)像素的預(yù)解碼值和上側(cè)像素的預(yù)解碼值被用于預(yù)測 當(dāng)前塊的平均像素值。在編碼實際視頻序列的情形中，基于宏塊來編 碼視頻序列。16X16宏塊被劃分成16X8塊、8X16塊和8X8塊，并且然后被解碼。8X8塊也可以被劃分成8X4塊、4X8土央禾P4X4塊。 具有用于基于單個宏塊來預(yù)測子塊的平均像素值的各種方法。
圖5是示出用于解釋在推導(dǎo)當(dāng)前塊的平均像素值和預(yù)測平均像素 值的情形中位于整個塊的左和上部的預(yù)解碼像素值的使用的16X16宏 塊的概念圖示。
參考圖5， 16X16宏塊能夠使用左和上部的所有的像素值。因此， 在預(yù)測當(dāng)前塊的平均像素值的情形中，計算上部像素(hl hl6)和左部 像素(vl vl6)的平均像素值，并且利用計算出的像素(vl vl6， hl hl6) 的平均像素值來預(yù)測當(dāng)前塊的平均像素值。在此情形中，16X16塊(由 "B16X16 "表示)的平均像素值能夠由下面的等式7表示
16 16 '.=1_i=l
圖6A是示出16X8宏塊的概念圖示，用于解釋在推導(dǎo)劃分塊的平 均像素值和預(yù)測平均像素值的情形中包圍劃分塊的所有的像素的使 用。圖6B是示出16X8宏塊的概念圖示，用于解釋在推導(dǎo)劃分塊的平 均像素值和預(yù)測平均像素值的情形中僅僅包圍劃分塊的像素的使用。
在圖6A中，在使用包圍劃分塊的所有的像素的情形中，B16X8J) 塊和B16X8—l塊的平均值能夠由下面的等式8表示<formula>formula see original document page 36</formula>
在圖6B中，在使用包圍劃分塊的所有的像素的情形中，B16X8J) 塊的平均值能夠由下面的等式9表示，并且B16X8J塊的平均值能夠 由下面的等式IO表示
<formula>formula see original document page 36</formula>
<formula>formula see original document page 36</formula>
在圖6A-6B的上述情形中，位于宏塊的角部處的值hO也可以根據(jù) 需要被添加到計算結(jié)果。在此情形中，圖6A的B16X8J)塊的平均像 素值能夠由下面的等式11表示，并且圖6B的B16X8J)的平均像素值 能夠由下面的等式12表示 <formula>formula see original document page 36</formula>
<formula>formula see original document page 37</formula>
在圖6A-6B的上述情形中，位于宏塊的角部處的值h0和v8也可 以根據(jù)需要被添加到計算結(jié)果。在此情形中，圖6A的B16X8_1塊的 平均像素值能夠由下面的等式13表示，并且圖6B的B16X8_1的平均 像素值能夠由下面的等式M表示
<formula>formula see original document page 37</formula>
<formula>formula see original document page 37</formula>
圖7A是示出8X16宏塊的概念圖示，用于解釋在推導(dǎo)劃分塊的平 均像素值和預(yù)測平均像素值的情形中包圍劃分塊的所有的像素的使 用。圖7B是示出8X16宏塊的概念圖示，用于解釋在推導(dǎo)劃分塊的平 均像素值和預(yù)測平均像素值的情形中僅僅包圍劃分塊的像素的使用。 用于推導(dǎo)劃分塊的平均像素值的方法與圖6A-6B的相同。
圖8A是示出8X8宏塊的概念圖示，用于解釋在推導(dǎo)劃分塊的平 均像素值和預(yù)測平均像素值的情形中包圍劃分塊的所有的像素的使 用。圖8B是示出8X8宏塊的概念圖示，用于解釋在推導(dǎo)劃分塊的平 均像素值和預(yù)測平均像素值的情形中僅僅包圍劃分塊的像素的使用。
用于推導(dǎo)劃分塊的平均像素值的方法與圖6a-6b的相同。 該8x8塊能夠被劃分成多個子塊。
預(yù)測要被編碼的當(dāng)前幀的當(dāng)前塊的對應(yīng)塊的平均像素值，從而預(yù) 測平均像素值被設(shè)為^。預(yù)測參考幀的對應(yīng)塊的平均像素值，從而預(yù) 測的平均像素值被設(shè)為^。
從每一個塊的所有的像素推斷每一個預(yù)測平均像素值，并且能夠 由下面的等式15，來計算在使用參考塊預(yù)測的像素值和當(dāng)前塊的像素 值之間的差值
<formula>formula see original document page 38</formula>
在等式15中，(Ax， Ay)指示差異矢量，并且I是像素值。具有 最小塊殘值的參考塊被選擇作為亮度補償最優(yōu)塊。在此情形中，差異 矢量由(Ax， Ay)表示。實際上，系統(tǒng)比較上述亮度補償情形和其中 亮度未被補償?shù)牧硪磺樾危⑶疫x擇這兩種情形中的較好的一個。
作為上述方案的一個修改實例，參考塊的平均像素值不利用相鄰 塊的像素值預(yù)測，而是利用在實際塊中包含的所有像素的平均像素值 來直接計算。
作為上述方案的另一修改實例，可以增加左和上部像素的數(shù)目。 更加詳細(xì)地，可以使用當(dāng)前層的兩個或者更多相鄰層的像素以代替鄰 近當(dāng)前層的僅僅一個層的像素。
解碼單元使用ID信息來確定是否執(zhí)行對應(yīng)塊的亮度補償。如果執(zhí)
行亮度補償，則解碼單元計算差值(e)的解碼值，并且根據(jù)上述預(yù)測 方法來獲得預(yù)測值。差值(e)的解碼值被添加到預(yù)測值，從而值 A(-^+e)能夠被解碼。從參考塊推斷^—^的值，所述參考塊是預(yù)測 塊，就是所謂的用于當(dāng)前塊的預(yù)測器，并且所推斷結(jié)果被添加到殘余 塊的解碼值，從而能夠最后獲得當(dāng)前塊的值。當(dāng)前塊能夠如下被重構(gòu)
8=預(yù)測塊+殘余塊+ ^+e),其中B是當(dāng)前塊的值，參考塊
是用于當(dāng)前塊的預(yù)測器，^是平均像素值的預(yù)測差異，即用于當(dāng) 前塊的亮度補償?shù)念A(yù)測偏移值，并且e是差值。解碼單元獲得在當(dāng)前塊 的亮度補償?shù)钠浦岛皖A(yù)測差之間的差，并且能夠使用所獲得殘余塊 值和預(yù)測差來重構(gòu)當(dāng)前塊的亮度補償?shù)钠浦怠?br> 圖9是示出用于獲得當(dāng)前塊的偏移值的過程的圖示。
可以在運動估計期間執(zhí)行亮度補償。當(dāng)它比較當(dāng)前塊與參考塊時， 考慮在兩個塊之間的亮度差異。新的運動估計和新的運動補償被用于 補償亮度差異。新的SAD (差的絕對值的總和)能夠由下面的等式16 和17表示
<formula>formula see original document page 39</formula>[等式17]
<formula>formula see original document page 39</formula>
參考等式16和17， Me表示當(dāng)前塊的平均像素值，并且Mr表示參
考塊的平均像素值。Ie (x，y)表示在當(dāng)前塊的特定坐標(biāo)(x，y)處的像 素值，并且L (x+Ax，y+Ay)表示在參考塊的運動矢量(Ax,Ay)處的 像素值?；谟傻仁?6表示的新的SAD來執(zhí)行運動估計，從而能夠 獲得在當(dāng)前塊的平均像素值和參考塊的平均像素值之間的差值。在當(dāng) 前塊和參考塊之間的平均像素值的差值被稱為偏移值(IC—offset)。
如果執(zhí)行應(yīng)用于亮度補償?shù)倪\動估計，則獲得偏移值和運動矢量。 能夠使用偏移值和運動矢量利用下面的等式18來執(zhí)行亮度補償
<formula>formula see original document page 40</formula>
參考等式18， R (x，y)表示亮度補償殘值。
偏移值(IC—offset=Me-M》被發(fā)送到解碼單元。能夠利用下面的 等式19執(zhí)行解碼單元的亮度補償
<formula>formula see original document page 40</formula>
參考等式19，及R'(x,y)表示重構(gòu)和亮度補償?shù)臍堉担⑶襂c(x,y)表示當(dāng)前塊的像素值。
為了重構(gòu)當(dāng)前塊，偏移值被發(fā)送到解碼單元，并且能夠利用相鄰 塊的數(shù)據(jù)來預(yù)測偏移值。為了進(jìn)一步減少用于編碼偏移值的位數(shù)，在 當(dāng)前塊偏移值(IC—offset)和相鄰塊偏移值(IC_offset_pred)之間的差 值(RIC_。ffset)能夠被發(fā)送到解碼單元50，如由下面的等式20所表示:
Ac—o, = /C 一 - /C — —戸^
圖io是示出用于執(zhí)行當(dāng)前塊的亮度補償?shù)倪^程的流程圖。
參考圖10，如果當(dāng)前塊的亮度補償標(biāo)志被設(shè)為"0 "，則不執(zhí)行
當(dāng)前塊的亮度補償。否則，如果當(dāng)前塊的亮度補償標(biāo)志被設(shè)為"1 "， 則執(zhí)行用于重構(gòu)當(dāng)前塊的偏移值的過程。在獲得當(dāng)前塊的預(yù)測器的情
形中，能夠采用相鄰塊的信息。在步驟S210判定當(dāng)前塊的參考索引是 否等于相鄰塊的參考索引。在步驟S211基于該判定結(jié)果來獲得用于執(zhí) 行當(dāng)前塊的亮度補償?shù)念A(yù)測器。在步驟S212通過使用所獲得的預(yù)測器 來重構(gòu)當(dāng)前塊的偏移值。在此情形中，將在下文中參考圖ll描述用于 確定當(dāng)前塊的參考索引是否等于相鄰塊的參考索引的步驟S210和用于 基于該確定結(jié)果來獲得預(yù)測器的步驟S211。
圖11是示出用于通過確定當(dāng)前塊的參考索引是否等于相鄰塊的 參考索引來獲得預(yù)測器的方法的流程圖。
參考圖ll，為了執(zhí)行亮度補償，解碼單元從視頻信號提取各種信 息，例如，當(dāng)前塊的相鄰塊的標(biāo)志信息和偏移值，以及當(dāng)前和相鄰塊 的參考塊的參考索引，從而解碼單元能夠使用所提取的信息來獲得當(dāng) 前塊的預(yù)測器。解碼單元獲得在當(dāng)前塊的偏移值和預(yù)測器之間的殘值， 以及能夠使用所獲得的殘值和預(yù)測器來重構(gòu)當(dāng)前塊的偏移值。
在獲得當(dāng)前塊的預(yù)測器的情形中，能夠采用相鄰塊的信息。例如， 能夠利用相鄰塊的偏移值來預(yù)測當(dāng)前塊的偏移值。在預(yù)測當(dāng)前塊的偏 移值之前，能夠確定當(dāng)前塊的參考索引是否等于相鄰塊的參考索引， 從而能夠通過參考確定結(jié)果來確定將使用哪一個值或者哪一個相鄰
塊。而且，確定相鄰塊的標(biāo)志信息是否被設(shè)為"真"，從而能夠通過 參考確定結(jié)果來確定是否使用相鄰塊。
根據(jù)第一實例，在步驟S220確定是否存在具有與當(dāng)前塊相同的參 考索引的相鄰塊。如果確定存在僅僅一個具有與當(dāng)前塊相同的參考索
引的相鄰塊，則在步驟S221，將具有該相同參考索引的相鄰塊的偏移 值分配給當(dāng)前塊的預(yù)測器。如果在步驟S220確定存在每一個具有與當(dāng) 前塊相同的參考索引的兩個相鄰塊，則在步驟S222，將該兩個相鄰塊 的偏移值的平均值分配給當(dāng)前塊的預(yù)測器。如果在步驟S220確定存在 每一個具有與當(dāng)前塊相同的參考索引的三個相鄰塊，則在步驟S223，
將該三個相鄰塊的偏移值的中值分配給當(dāng)前塊的預(yù)測器。如果根據(jù)在 步驟S220的確定結(jié)果確定不存在具有與當(dāng)前塊相同的參考索引的相鄰 塊，則在步驟S224，將當(dāng)前塊的預(yù)測器設(shè)為"0 "。如果需要，用于 確定當(dāng)前塊的參考索引是否等于相鄰塊的參考索引的步驟S220還可以 包括用于確定相鄰塊的標(biāo)志是否被設(shè)為"1 "的另一步驟。
根據(jù)第二實例，確定相鄰塊是否具有與當(dāng)前塊相同的參考索引， 并且確定相鄰塊的標(biāo)志是否被設(shè)為"1 "。如果確定相鄰塊具有與當(dāng) 前塊相同的參考索引，并且具有"l "的標(biāo)志，則相鄰塊的偏移值可 以被設(shè)為當(dāng)前塊的預(yù)測器。在此情形中，可以按照左相鄰塊->上相鄰塊 ->右上相鄰塊->左上相鄰塊的順序檢查多個相鄰塊。如果需要，也可以 按照上相鄰塊->左相鄰塊->右上相鄰塊->左上相鄰塊的順序檢査相鄰 塊。如果沒有能夠滿足該兩個條件的相鄰塊，并且該三個相鄰塊(即 左相鄰塊、上相鄰塊和右上(或者左上)相鄰塊)的標(biāo)志分別地被設(shè) 為"1"，則該三個塊的偏移值的中值被設(shè)為預(yù)測器。否則，當(dāng)前塊的 預(yù)測器可以被設(shè)為"0"。
圖12是示出用于基于當(dāng)前塊的預(yù)測類型來執(zhí)行亮度補償?shù)姆椒?的流程圖。
參考圖12，可以根據(jù)當(dāng)前塊的預(yù)測類型來改變用作參考塊的相鄰 塊。例如，如果當(dāng)前塊具有與相鄰塊相同的形狀，則利用相鄰塊的中 值來預(yù)測當(dāng)前塊。否則，如果當(dāng)前塊的形狀不同于相鄰塊的形狀，則 將采用另一種方法。
例如，如果位于當(dāng)前塊左側(cè)的塊被劃分成數(shù)個子塊，則子塊中的 最上子塊被用于預(yù)測。并且，如果位于當(dāng)前塊上部的塊被劃分成數(shù)個 子塊，則最左子塊被用于預(yù)測。在此情形中，可以根據(jù)當(dāng)前塊的預(yù)測
類型來改變預(yù)測值。因此，圖12的實例在步驟S231根據(jù)當(dāng)前塊的預(yù) 測類型來確定相鄰塊。在步驟S232確定所確定的相鄰塊的參考索引是 否等于當(dāng)前塊的參考索引。用于確定相鄰塊的參考索引是否等于當(dāng)前 塊的參考索引的步驟S232還可包括用于確定相鄰塊的標(biāo)志是否被設(shè)為 "1 "的另一步驟。能夠在步驟S233基于確定結(jié)果來獲得用于執(zhí)行當(dāng) 前塊的亮度補償?shù)念A(yù)測器。利用所獲得的預(yù)測器重構(gòu)當(dāng)前塊的偏移值， 從而能夠在步驟S234執(zhí)行亮度補償。在此情形中，將在下文中詳細(xì)描 述用于通過參考步驟S232的結(jié)果來執(zhí)行步驟S233的過程，并且其詳 細(xì)說明將類似于圖11。
例如，如果當(dāng)前塊的預(yù)測類型指示通過使用位于當(dāng)前塊左側(cè)的相 鄰塊執(zhí)行預(yù)測，則確定左側(cè)相鄰塊的參考索引是否等于當(dāng)前塊的參考 索引。如果當(dāng)前塊的參考索引等于左側(cè)相鄰塊的參考索引，則左側(cè)相 鄰塊的偏移值被分配給當(dāng)前塊的預(yù)測器。并且，如果當(dāng)前塊的預(yù)測類 型指示通過參考當(dāng)前塊的左相鄰和上相鄰塊來執(zhí)行預(yù)測，或者如果通 過參考三個相鄰塊(即左相鄰塊、上相鄰塊和右上相鄰塊)執(zhí)行預(yù)測， 則將如圖11的方法那樣類似地應(yīng)用各個情形。
圖13是示出用于使用指示是否執(zhí)行塊的亮度補償?shù)臉?biāo)志信息來 執(zhí)行亮度補償?shù)姆椒ǖ牧鞒虉D。
參考圖13，指示是否執(zhí)行當(dāng)前塊的亮度補償?shù)臉?biāo)志信息(IC—flag)
也可以被用于重構(gòu)當(dāng)前塊的偏移值。另外，也可以使用圖ll的用于檢 査參考索引的方法和用于預(yù)測標(biāo)志信息的方法來獲得預(yù)測器。首先， 在步驟S241確定是否存在具有與當(dāng)前塊相同的參考索引的相鄰塊。在
步驟S242利用該確定結(jié)果獲得用于執(zhí)行當(dāng)前塊的亮度補償?shù)念A(yù)測器。 在此情形中，用于確定相鄰塊的標(biāo)志是否為"1 "的過程也可以被包 括在步驟S242中。在步驟S243，基于該確定結(jié)果來預(yù)測當(dāng)前塊的標(biāo)志 信息。通過使用所獲得的預(yù)測器和預(yù)測標(biāo)志信息來重構(gòu)當(dāng)前塊的偏移 值，從而能夠在步驟S244執(zhí)行亮度補償。在此情形中，可以如圖11 的方法那樣類似地應(yīng)用步驟S242，并且將參考圖14在下文中描述步驟 S243。
圖14是示出用于通過確定當(dāng)前塊的參考索引是否等于相鄰塊的 參考索引來預(yù)測當(dāng)前塊的標(biāo)志信息的方法的流程圖。
參考圖14，在步驟S250確定是否存在具有與當(dāng)前塊相同的參考 索引的相鄰塊。如果確定僅僅存在一個具有與當(dāng)前塊相同的參考索引 的相鄰塊，則在步驟S251利用具有該相同參考索引的相鄰塊的標(biāo)志信 息來預(yù)測當(dāng)前塊的標(biāo)志信息。如果在步驟S250確定存在每一個具有與 當(dāng)前塊相同的參考索引的兩個相鄰塊，則在步驟S252利用具有該相同 參考索引的該兩個相鄰塊的標(biāo)志信息中的任何一個來預(yù)測當(dāng)前塊的標(biāo)
志"(曰息o
如果在步驟S250確定存在每一個具有與當(dāng)前塊相同的參考索引 的三個相鄰塊，則在步驟S253利用該三個相鄰塊的標(biāo)志信息的中值來 預(yù)測當(dāng)前塊的標(biāo)志信息。此外，如果根據(jù)步驟S250的確定結(jié)果不存在 具有與當(dāng)前塊相同的參考索引的相鄰塊，則在步驟S254不預(yù)測當(dāng)前塊 的標(biāo)志信息。
圖15是示出當(dāng)利用兩個或者更多參考塊對當(dāng)前塊進(jìn)行預(yù)測編碼 時用于執(zhí)行亮度補償?shù)姆椒ǖ牧鞒虉D。
參考圖15，在執(zhí)行亮度補償期間，如果通過使用兩個參考塊來預(yù) 測編碼當(dāng)前塊，則解碼單元不能直接識別出對應(yīng)于每一個參考塊的偏 移值，因為當(dāng)獲得當(dāng)前塊的偏移值時它使用該兩個參考塊的平均像素 值。因此，在一個實例中，獲得對應(yīng)于每一個參考塊的偏移值，結(jié)果
實現(xiàn)了正確預(yù)測。在步驟S261，通過使用當(dāng)前塊的預(yù)測器和殘值來重 構(gòu)當(dāng)前塊的偏移值。如果通過使用兩個參考塊來預(yù)測編碼當(dāng)前塊，則 在步驟S262利用該偏移值獲得對應(yīng)于每一個參考塊的偏移值，如由下 面的等式21所表示-
—Oj^Sef = wtc —x /nrl — w2 x附。2
— q^&e/丄0 = mc — mrl =—+ (w) 一 1)x w^.,！ + w2 x wr,2 在等式21中， 是當(dāng)前塊的平均像素值。 .i和 ，2分別地指示
參考塊的平均像素值。Wl和W2分別地指示用于雙預(yù)測編碼過程的加權(quán) 系數(shù)。
在亮度補償方法的一個實例中，系統(tǒng)獨立地獲得對應(yīng)于每一個參 考塊的準(zhǔn)確的偏移值，從而它能夠正確地執(zhí)行預(yù)測編碼過程。在步驟
S262重構(gòu)當(dāng)前塊的偏移值的情形中，系統(tǒng)將重構(gòu)的殘值和預(yù)測器值相 加，從而它獲得偏移值。在此情形中，分別地獲得ListO的參考圖像的 預(yù)測器和Listl的參考圖像的預(yù)測器并且將這些預(yù)測器進(jìn)行組合，從而 該系統(tǒng)能夠獲得用于重構(gòu)當(dāng)前塊的偏移值的預(yù)測器。
根據(jù)另 一 實例，該系統(tǒng)也能夠被應(yīng)用于跳過宏塊 (skip-marcoblock)。在此情形中，執(zhí)行預(yù)測以獲得用于亮度補償?shù)男?息。利用相鄰塊預(yù)測的值被用作指示是否執(zhí)行亮度補償?shù)臉?biāo)志信息。 利用相鄰塊預(yù)測的偏移值可以被用作當(dāng)前塊的偏移值。例如，如果標(biāo)
志信息被設(shè)為"真"，則偏移值被添加到參考塊。在應(yīng)用P-跳過(P-skip) 模式的宏塊的情形中，通過使用左相鄰塊和上相鄰塊的標(biāo)志和偏移值 執(zhí)行預(yù)測，從而能夠獲得宏塊的標(biāo)志和偏移值。如果僅僅一個塊具有
"1 "的標(biāo)志，則當(dāng)前塊的標(biāo)志和偏移值可以分別地被設(shè)為該塊的標(biāo) 志和偏移值。如果兩個塊具有"1 "的標(biāo)志，則當(dāng)前塊的標(biāo)志被設(shè)為
"1"，并且當(dāng)前塊的偏移值被設(shè)為該兩個相鄰塊的平均偏移值。
根據(jù)另一實例，該系統(tǒng)也能夠被應(yīng)用于直接模式，例如，時域直
接模式、B-跳過(B-skip)模式等。在此情形中，執(zhí)行預(yù)測以獲得亮度
補償?shù)男畔?。通過使用用于預(yù)測標(biāo)志和偏移的可變方法能夠獲得每一 個預(yù)測器。該預(yù)測器可以被設(shè)為當(dāng)前塊的實際標(biāo)志和實際偏移值。如 果每一個塊具有一對標(biāo)志和偏移信息，則能夠獲得每一個塊的預(yù)測值。
在此情形中，如果具有兩個參考塊并且檢查該兩個參考塊的參考索引， 則確定當(dāng)前塊的參考索引是否等于相鄰塊的參考索引。此外，如果每 一個參考塊包括唯一偏移值，則能夠獲得第一預(yù)測標(biāo)志信息、第一預(yù) 測偏移值、第二預(yù)測標(biāo)志信息和第二預(yù)測偏移值。在此情形中，利用 相鄰塊預(yù)測的值可以被用作標(biāo)志信息。該兩個參考塊的偏移值可以被 分別地用作第一預(yù)測偏移值和第二預(yù)測偏移值。在此情形中，當(dāng)前塊 的偏移值可以被設(shè)為各個參考塊的平均偏移值。
在直接模式或者跳過宏塊(skipmacroblock)模式中，該系統(tǒng)可以 編碼/解碼指示直接模式或者跳過宏塊模式是否被應(yīng)用于當(dāng)前塊的標(biāo)志 信息。更加詳細(xì)地，根據(jù)標(biāo)志值添加或者不添加偏移值。在偏移值和 預(yù)測偏移值之間的殘值也可以被編碼/解碼。在此情形中，能夠更加正 確地重構(gòu)期望數(shù)據(jù)，并且可以考慮到RD (率失真)關(guān)系來選擇最優(yōu)模 式。如果參考圖像不能被用于預(yù)測過程，即，如果參考圖像數(shù)目小于 "1 "，則標(biāo)志信息或者預(yù)測標(biāo)志信息可以被設(shè)為"假"，并且偏移 值或者預(yù)測偏移值也可以被設(shè)為"0"。
根據(jù)另一實例，該系統(tǒng)也能夠被應(yīng)用于熵編碼過程。與標(biāo)志信息
相關(guān)聯(lián)地，根據(jù)相鄰塊(例如位于當(dāng)前塊的左和上部的塊)的標(biāo)志值
可以使用三個上下文模型(context model)。
如果確定標(biāo)志值被設(shè)為"真"，則產(chǎn)生值"1"。如果確定標(biāo)志 值被設(shè)為"假"，則產(chǎn)生值"0"。如果該兩種情形的該兩個值"1" 和"0"相加，則能夠獲得三種情形。通過使用三個上下文模型來編碼 /解碼標(biāo)志信息。變換系數(shù)級編碼方法能夠被用于偏移值的預(yù)測殘值。 換言之，利用UEG0執(zhí)行數(shù)據(jù)二進(jìn)制化，單個上下文模型能夠被應(yīng)用 于第一 bin值，并且另一上下文模型被應(yīng)用于一元前綴部分(unary prefix part)的其余bin值。利用旁路(bypass)模式編碼/解碼符號位。 根據(jù)標(biāo)志信息的另一實例，根據(jù)預(yù)測標(biāo)志值可以考慮兩個上下文，從 而能夠執(zhí)行編碼/解碼過程。
圖16是示出用于不僅使用指示是否執(zhí)行當(dāng)前塊的亮度補償?shù)臉?biāo) 志信息而且還使用當(dāng)前塊的偏移值來執(zhí)行亮度補償?shù)姆椒ǖ牧鞒虉D。
參考圖16，為了執(zhí)行亮度補償，解碼單元從視頻信號提取各種信 息，例如，當(dāng)前塊的以及當(dāng)前塊的相鄰塊的標(biāo)志信息和偏移值，以及 當(dāng)前和相鄰塊的參考塊的索引信息，從而解碼單元能夠使用上述所提 取的信息來獲得當(dāng)前塊的預(yù)測器。解碼單元50獲得在當(dāng)前塊的偏移值 和預(yù)測器之間的殘值，并且能夠使用所獲得的殘值和預(yù)測器來重構(gòu)當(dāng) 前塊的偏移值。在重構(gòu)當(dāng)前塊的偏移值的情形中，可以使用指示是否 執(zhí)行當(dāng)前塊的亮度補償?shù)臉?biāo)志信息(IC—flag)。
解碼單元在步驟S271獲得指示是否執(zhí)行當(dāng)前塊的亮度補償?shù)臉?biāo) 志信息。如果根據(jù)上述標(biāo)志信息(IC—flag)執(zhí)行亮度補償，則在步驟 S272能夠重構(gòu)指示在當(dāng)前塊和參考塊之間的平均像素值的差異的當(dāng)前 塊的偏移值。以此方式，上述亮度補償技術(shù)編碼在不同圖像的塊之間 的平均像素值的差值。如果當(dāng)指示是否執(zhí)行亮度補償?shù)臉?biāo)志被應(yīng)用于 每一個塊時在P片段中包含對應(yīng)的塊，則單個標(biāo)志信息和單個偏移值
被編碼/解碼。然而，如果在B片段中包含對應(yīng)的塊，則能夠使用各種
方法，并且將參考圖17A、17B在下文中對其詳細(xì)說明進(jìn)行描述。
圖17A-17B是示出用于使用與P和B片段的塊相關(guān)聯(lián)的標(biāo)志信息 和偏移值來執(zhí)行亮度補償?shù)姆椒ǖ膱D示。
參考圖17A， "C"表示當(dāng)前塊，"N"表示當(dāng)前塊(C)的相鄰 塊，"R"表示當(dāng)前塊(C)的參考塊，"S"表示當(dāng)前塊(C)的相鄰 塊(N)的參考塊，并且"me"表示當(dāng)前塊(C)的平均像素值，"m/' 表示當(dāng)前塊(C)的參考塊的平均像素值。如果當(dāng)前塊(C)的偏移值 由"IC—offset "表示，貝U "IC_offset"信息能夠由"IC—offset=mc-mr" 表示。
以此方式，如果相鄰塊(S)的偏移值由"IC_offset_pred"表示， 則編碼單元能夠?qū)?dāng)前塊的偏移值(IC_offSet)和相鄰塊的偏移值 (IC—offset_pred)之間的殘值(RIC_。ffset)發(fā)送到解碼單元，從而它能 夠重構(gòu)當(dāng)前塊(C)的偏移值"IC—offset"。在此情形中，"RIC—。ffset" 信息也能夠由上述等式20表示。
在基于相鄰塊的標(biāo)志信息或者偏移值來產(chǎn)生當(dāng)前塊的預(yù)測器的情 形中，能夠使用各種方法。例如，可以采用僅僅一個相鄰塊的信息， 或者也可以采用兩個或者更多相鄰塊的信息。在采用兩個或者更多相 鄰塊的信息的情形中，可以采用平均值或者中值。以此方式，如果利 用單個參考塊來預(yù)測編碼當(dāng)前塊，則能夠使用單個偏移值和單個標(biāo)志
信息來執(zhí)行亮度補償。
然而，如果在B片段中包含對應(yīng)的塊，即，如果利用兩個或者更 多參考塊來預(yù)測編碼當(dāng)前塊，則能夠使用各種方法。
例如，如圖17B所示，假定"C"表示當(dāng)前塊，"N"表示當(dāng)前塊
(C)的相鄰塊，"RO"表示位于由當(dāng)前塊參考的ListO的參考圖像(1) 處的參考塊，"SO"表示位于由相鄰塊參考的ListO的參考圖像(1) 處的參考塊，"R1 "表示位于由當(dāng)前塊參考的Listl的參考圖像(3) 處的參考塊，并且"S1 "表示位于由相鄰塊參考的Listl的參考圖像(3) 處的參考塊。在此情形中，當(dāng)前塊的標(biāo)志信息和偏移值與每一個參考 塊相關(guān)聯(lián)，從而每一個參考塊包括兩個值。因此，能夠分別地采用標(biāo) 志信息和偏移值中的至少一個。
根據(jù)第一實例，能夠經(jīng)由運動補償通過組合兩個參考塊的信息而 獲得當(dāng)前塊的預(yù)測器。在此情形中，單個標(biāo)志信息指示是否執(zhí)行當(dāng)前 塊的亮度補償。如果標(biāo)志信息被確定為"真"，則從當(dāng)前塊和預(yù)測器 獲得單個偏移值，從而能夠執(zhí)行編碼/解碼過程。
根據(jù)第二實例，在運動補償過程中，確定亮度補償是否被應(yīng)用于 兩個參考塊的每一個。標(biāo)志信息被分配給兩個參考塊的每一個，并且 通過使用上述標(biāo)志信息獲得的單個偏移值可以被編碼或者解碼。在此 情形中，應(yīng)該注意到，可以基于參考塊來使用兩個標(biāo)志信息，并且可 以基于當(dāng)前塊使用單個偏移值。
根據(jù)第三實例，單個標(biāo)志信息可以基于當(dāng)前塊指示亮度補償是否 被應(yīng)用于對應(yīng)的塊。能夠?qū)τ趦蓚€參考塊編碼/解碼各個偏移值。如果 在編碼過程期間亮度補償未被應(yīng)用于參考塊中的任何一個，則對應(yīng)的 偏移值被設(shè)為"0 "。在此情形中，可以基于當(dāng)前塊使用單個標(biāo)志信 息，并且可以基于參考塊使用兩個偏移值。
根據(jù)第四實例，能夠?qū)τ诟鱾€參考塊編碼/解碼標(biāo)志信息和偏移 值。在此情形中，能夠基于參考塊使用兩個標(biāo)志和兩個偏移值。
根據(jù)上述第一到第四實例，偏移值不被無任何改變地編碼(not encoded without any change)，而是利用相鄰塊的偏移值進(jìn)行預(yù)測，從
而它的殘值被編碼。
圖18是示出用于當(dāng)利用兩個或者更多參考塊來預(yù)測編碼當(dāng)前塊 時執(zhí)行亮度補償?shù)姆椒ǖ牧鞒虉D。
參考圖18，為了在B片段中包含當(dāng)前塊的條件下執(zhí)行亮度補償，
從視頻信號提取當(dāng)前塊的相鄰塊的標(biāo)志信息和偏移值，并且提取當(dāng)前 和相鄰塊的對應(yīng)的參考塊的索引信息，從而能夠通過使用所提取的信 息來獲得當(dāng)前塊的預(yù)測器。解碼單元獲得在當(dāng)前塊的偏移值和預(yù)測器 之間的殘值，并且能夠使用所獲得的殘值和預(yù)測器來重構(gòu)當(dāng)前塊的偏 移值。在重構(gòu)當(dāng)前塊的偏移值的情形中，根據(jù)需要可以使用指示是否
執(zhí)行當(dāng)前塊的亮度補償?shù)臉?biāo)志信息(IC_flag)。
解碼單元在步驟S291獲得指示是否執(zhí)行當(dāng)前塊的亮度補償?shù)臉?biāo) 志信息。如果根據(jù)上述標(biāo)志信息(IC一flag)執(zhí)行亮度補償，則能夠在 步驟S292重構(gòu)指示在當(dāng)前塊和參考塊之間的平均像素值的差異的當(dāng)前 塊的偏移值。
然而，如果利用兩個參考塊來預(yù)測編碼當(dāng)前塊，則解碼器不能直 接識別出對應(yīng)于每一個參考塊的偏移值，因為當(dāng)獲得當(dāng)前塊的偏移值 時它使用兩個參考塊的平均像素值。因此，根據(jù)第一實例，獲得對應(yīng) 于每一個參考塊的偏移值，結(jié)果實現(xiàn)了正確預(yù)測。因此，如果利用兩 個參考塊來預(yù)測編碼當(dāng)前塊，則在步驟S293能夠通過使用上述偏移值 來獲得對應(yīng)于每一個參考塊的的偏移值，如由下面的等式22所表示
<formula>formula see original document page 50</formula>
在等式22中，^是當(dāng)前塊的平均像素值。"^和^，2分別地表示 參考塊的平均像素值，Wi和W2分別地表示用于雙預(yù)測編碼過程的加權(quán) 系數(shù)。
在使用上述方法執(zhí)行亮度補償?shù)那樾沃?，該系統(tǒng)獨立地獲得對應(yīng) 于每一個參考塊的準(zhǔn)確偏移值，從而它能夠更加準(zhǔn)確地執(zhí)行預(yù)測編碼 過程。在重構(gòu)當(dāng)前塊的偏移值的情形中，系統(tǒng)將重構(gòu)的殘值和預(yù)測器 值相加，從而它獲得偏移值。在此情形中，List0的預(yù)測器和Listl的預(yù) 測器被獲得和組合，從而系統(tǒng)能夠獲得用于重構(gòu)當(dāng)前塊的偏移值的預(yù) 測器值。
圖19是示出用于使用指示是否執(zhí)行當(dāng)前塊的亮度補償?shù)臉?biāo)志信 息執(zhí)行亮度補償?shù)姆椒ǖ牧鞒虉D。
亮度補償技術(shù)適用于補償亮度差異或者顏色差異。如果擴展亮度 補償技術(shù)的范圍，則也可以在由相同照相機捕獲到的所獲得序列之間 應(yīng)用擴展的亮度補償技術(shù)。亮度補償技術(shù)能夠防止亮度或者顏色差異 顯著影響運動估計。然而，實際上，編碼過程采用指示是否執(zhí)行亮度 補償?shù)臉?biāo)志信息。亮度補償?shù)膽?yīng)用范圍可以被擴展到序列、視圖、GOP (圖像組)、圖像、片段、宏塊和子塊等。
如果亮度補償技術(shù)被應(yīng)用于小尺寸區(qū)域，也可以控制局部區(qū)域， 然而，應(yīng)該注意到，消耗用于標(biāo)志信息的許多位數(shù)?？赡懿恍枰炼?補償技術(shù)。因此，指示是否執(zhí)行亮度補償?shù)臉?biāo)志位被分配給各個區(qū)域， 從而該系統(tǒng)能夠有效地使用亮度補償技術(shù)。該系統(tǒng)在步驟S201獲得能 夠允許對視頻信號的特定級進(jìn)行亮度補償?shù)臉?biāo)志信息。
例如，下面的標(biāo)志信息可以被分配給各個區(qū)域。"seq_IC—flag" 信息被分配給序列級，"view—IC—flag "信息被分配給視圖級， "GOP_IC—flag "信息被分配給GOP級，"pic—IC—flag"信息被分配
給圖像級，"sliceJC—flag"信息被分配給片段級，"mb—IC_flag "信 息被分配給宏塊級，并且"blk—IC^flag"信息被分配給塊級。將參考圖 20A-20C對上述標(biāo)志信息的詳細(xì)說明進(jìn)行描述。能夠在步驟S302對利 用標(biāo)志信息執(zhí)行亮度補償?shù)囊曨l信號的特定級進(jìn)行解碼。
圖20A-20C是示出標(biāo)志信息的范圍的概念圖示，該標(biāo)志信息指示 是否執(zhí)行當(dāng)前塊的亮度補償。
參考圖20A-20C，指示是否執(zhí)行亮度補償?shù)臉?biāo)志信息能夠以分層 方式被分類。例如，如從圖20A-20C可見，"seq_IC_flag "信息311 被分配給序列級，"view—IC—flag "信息312被分配給視圖級，
"GOPJC—flag "信息313被分配給GOP級，"pic—IC_flag"信息314 被分配給圖像級，"SliCe_IC_flag"信息315被分配給片段級，
"mb_IC_flag"信息316被分配給宏塊級，并且"blk_IC—flag"信息317 被分配給塊級。
在此情形中，每一個標(biāo)志均由1個位構(gòu)成。上述標(biāo)志的數(shù)目可以 被設(shè)為至少一。上述序列/視圖/圖像/片段級標(biāo)志可以位于對應(yīng)的參數(shù)集 或者頭部處，或者也可以位于另一參數(shù)集處。例如，"seq_IC—flag " 信息311可以位于序列參數(shù)集處，"vieW_IC_flag"信息312可以位于 視圖參數(shù)集處，"picJC^flag"信息314可以位于圖像參數(shù)集處，并且 "slice—IC—flag"信息315可以位于片段頭部處。
如果存在兩個或者更多標(biāo)志，則指示是否執(zhí)行上級的亮度補償?shù)?特定信息可以控制是否執(zhí)行下級的亮度補償。換言之，如果每一個標(biāo) 志位值均被設(shè)為"1 "，則亮度補償技術(shù)可以被應(yīng)用于下級。
例如，如果"pic_IC_flag"信息被設(shè)為"1"，在對應(yīng)的圖像中包 含的每一個片段的"slice—IC_flag"信息可以被設(shè)為"1"或者"0"， 每一個宏塊的"mb—IC—flag"信息可以被設(shè)為"1"或者"0"，或者每
一個塊的"blk—IC—flag"信息可以被設(shè)為"1 "或者"0"。如果在存 在視圖參數(shù)集的條件下"seqJC—flag"信息被設(shè)為"1"，則每一個視 圖的"vieW_IC_flag"值可以被設(shè)為"l"或者"0"。否則，如果 "view一IC一flag"信息被設(shè)為"1"，對應(yīng)的視圖的GOP、圖像、片段、 宏塊或者塊的標(biāo)志位值可以被設(shè)為"1"或者"0"，如圖20A所示。 顯然，根據(jù)需要，對應(yīng)的視圖的GOP、圖像、片段、宏塊或者塊的上 述標(biāo)志位值可以不被設(shè)為"1"或者"0"。如果對應(yīng)的視圖的GOP、 圖像、片段、宏塊或者塊的上述標(biāo)志位值可以不被設(shè)為"1"或者"0"， 則這表示GOP標(biāo)志、圖像標(biāo)志，片段標(biāo)志、宏塊標(biāo)志或者塊標(biāo)志不由 視圖標(biāo)志信息控制，如圖20B所示。
如果上范圍的標(biāo)志位值被設(shè)為"0"，下范圍的標(biāo)志位值被自動設(shè) 為"0"。例如，如果"Seq_IC_flag"信息被設(shè)為"0"，則這指示亮度 補償技術(shù)未被應(yīng)用于對應(yīng)的序列。因此，"view—IC_flag"信息被設(shè)為 "0" ， "GOP_IC_flag"信息被設(shè)為"0" ， "pic—IC—flag"信息被設(shè)為 "0 " ， "slice—IC—flag"信息被設(shè)為"0" ， "mb_IC—flag "信息被設(shè) 為"0"，并且"blk_IC—flag "信息被設(shè)為"0"。如果需要，根據(jù)亮 度補償技術(shù)的特定實現(xiàn)方法，可以采用僅僅一個"mb—IC—flag "信息 或者僅僅一個"blk—IC—flag "信息。如果需要，當(dāng)視圖參數(shù)集被新應(yīng) 用于多視圖視頻編碼時，可以采用"view—IC_flag "信息。根據(jù)用作 最低級單元的宏塊或者子塊的標(biāo)志位值，當(dāng)前塊的偏移值可以被另外
地編碼/解碼。
如從圖20C可見，指示IC技術(shù)應(yīng)用的標(biāo)志也可以被應(yīng)用于片段級 和宏塊級。例如，如果"slice—IC—flag "信息被設(shè)為"0"，則這指示 IC技術(shù)未被應(yīng)用于對應(yīng)的片段。如果"sliCe_IC_flag"信息被設(shè)為"1 "， 則這指示IC技術(shù)被應(yīng)用于對應(yīng)的片段。在此情形中，如果 "mb—IC_flag "信息被設(shè)為"1 ",對應(yīng)的宏塊的"IC_offset "信息 被重構(gòu)。如果"mb—IC_flag "信息被設(shè)為"0"，則這指示IC技術(shù)未 被應(yīng)用于對應(yīng)的宏塊。
根據(jù)另一實例，如果高于宏塊級的上級的標(biāo)志信息被確定為 "真"，該系統(tǒng)能夠獲得指示在當(dāng)前塊和參考塊之間的平均像素值的 差異的當(dāng)前塊的偏移值。在此情形中，根據(jù)需要，宏塊級的標(biāo)志信息 或者塊級的標(biāo)志信息可以不被采用。亮度補償技術(shù)能夠使用標(biāo)志信息 指示是否對每一個塊執(zhí)行亮度補償。亮度補償技術(shù)也可以使用特定值 例如運動矢量來指示是否對每一個塊執(zhí)行亮度補償。上述實例也能夠
被應(yīng)用于亮度補償技術(shù)的各種應(yīng)用。與上范圍(即序列、視圖、GOP 和圖像)相關(guān)聯(lián)地，上述實例能夠使用標(biāo)志信息來指示是否對下范圍 執(zhí)行亮度補償。用作最低范圍的宏塊或者塊級能夠使用偏移值有效地 指示是否執(zhí)行亮度補償而不使用標(biāo)志位。類似于使用運動矢量的方法， 能夠執(zhí)行預(yù)測編碼過程。例如，如果預(yù)測編碼過程被應(yīng)用于當(dāng)前塊， 則相鄰塊的偏移值被分配給當(dāng)前塊的偏移值。如果預(yù)測編碼方案被確 定為雙預(yù)測編碼方案，則通過計算從List0和Listl檢測到的參考塊來 獲得各個參考塊的偏移值。因此，在編碼當(dāng)前塊的偏移值的情形中， 沒有利用相鄰塊的偏移值對每一個參考塊的偏移值直接編碼，并且殘 值被編碼/解碼。用于預(yù)測偏移值的方法可以被確定為上述偏移預(yù)測方 法或者用于獲得用于預(yù)測運動矢量的中值的方法。在雙向預(yù)測的直接 模式的情形中，沒有使用與運動矢量相同的方法對補充信息進(jìn)行編碼/ 解碼，并且能夠利用預(yù)定信息來獲得偏移值。
根據(jù)另一實例，使用解碼單元(例如基于H.264的解碼單元)來 替代MVC解碼單元。應(yīng)該利用傳統(tǒng)解碼單元來解碼與傳統(tǒng)解碼單元兼 容的視圖序列，從而"vieW_IC_flag "信息被設(shè)為"假"或者"0"。 在此情形中，需要解釋基礎(chǔ)視圖概念。應(yīng)該指出可能需要與H.264/AVC 解碼器兼容的單個視圖序列。因此，能夠被獨立解碼的至少一個視圖， 被定義并且稱為基礎(chǔ)視圖。該基礎(chǔ)視圖表示數(shù)個視圖(即多視圖)中 的參考視圖。利用普通視頻編碼方案(例如MPEG-2、 MPEG-4、 H.263 和H.264等)對在MVC方案中對應(yīng)于基礎(chǔ)視圖的序列進(jìn)行編碼，從而 它以獨立比特流的形式產(chǎn)生。上述基礎(chǔ)視圖序列能夠與H.264/AVC方 案兼容，或者不能與之兼容。然而，能夠與H.264/AVC方案兼容的視 圖序列總是被設(shè)為基礎(chǔ)視圖。
圖21是示出用于考慮到當(dāng)前塊的偏移值獲得運動矢量的方法的 流程圖。
參考圖21，該系統(tǒng)能夠在步驟S321獲得當(dāng)前塊的偏移值。該系 統(tǒng)在步驟S322使用該偏移值搜索與當(dāng)前塊最佳匹配的參考塊。該系統(tǒng) 在步驟S323從參考塊獲得運動矢量，并且編碼運動矢量。為進(jìn)行亮度 補償，在運動估計期間對各種因素加以考慮。例如，在用于通過偏移 第一和第二塊的平均像素值來比較第一塊和第二塊的方法的情形中，
在運動估計期間從每一個塊的像素值推斷該兩個塊的平均像素值，從 而能夠計算在該兩個塊之間的相似性。在此情形中，在該兩個塊之間 的偏移值被獨立編碼，從而在運動估計過程中反映出用于獨立編碼的 成本。能夠由下面的等式23計算傳統(tǒng)成本
<formula>formula see original document page 55</formula>
在使用亮度補償?shù)那樾沃?，SAD (差的絕對值的總和)能夠由下 面的等式24表示
<formula>formula see original document page 55</formula>
在等式24中，Ie表示當(dāng)前塊的像素值，并且Ir表示參考塊的像素 值。Me表示當(dāng)前塊的平均像素值，并且Mr表示參考塊的平均像素值。
偏移成本能夠被包括在上述SAD計算過程中，如由下面的等式25和
26所表示<formula>formula see original document page 56</formula><formula>formula see original document page 56</formula>
參考等式25和26， a表示加權(quán)系數(shù)。如果a的值被設(shè)為"1 "， 反映出則偏移值的絕對值。對于用于反映亮度補償成本的另一種方法， 具有一種通過預(yù)測用于編碼偏移值所需要的位數(shù)而反映亮度補償成本 的方法。下面的等式27表示一種用于預(yù)測偏移編碼位的方法。在此情 形中，能夠與偏移殘值的大小成比例地預(yù)測編碼位。 <formula>formula see original document page 56</formula>
在此情形中，能夠由下面的等式28計算新的成本: [等式28]
<formula>formula see original document page 56</formula>
權(quán)利要求
1.一種用于對多視圖視頻信號進(jìn)行解碼的方法，包括接收包括所述多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包括被分段成多個段的多個圖像；從所述比特流中提取與所述多視圖視頻信號的一部分相關(guān)聯(lián)的標(biāo)志信息，該標(biāo)志信息指示是否能夠?qū)υ谒龆嘁晥D視頻信號的所述部分中的段進(jìn)行亮度補償；以及對于根據(jù)所述提取的標(biāo)志信息能夠執(zhí)行亮度補償?shù)牟糠?，從所述比特流中提取與該部分中的段相關(guān)聯(lián)的值，并且根據(jù)所述提取的值來確定是否將要對該段執(zhí)行亮度補償。
2. 根據(jù)權(quán)利要求l所述的方法，其中，所述段包括圖像塊。
3. 根據(jù)權(quán)利要求2所述的方法，還包括對于與指示將要執(zhí)行亮 度補償?shù)闹迪嚓P(guān)聯(lián)的第一塊，使用用于對鄰近于所述第一塊的至少一 個相鄰塊執(zhí)行亮度補償?shù)钠浦祦慝@得用于對所述第一塊執(zhí)行亮度補 償?shù)念A(yù)測器。
4. 根據(jù)權(quán)利要求3所述的方法，其中，通過形成包括用于所述相 鄰塊的亮度補償?shù)念A(yù)測器和殘值的總和，來獲得用于相鄰塊的亮度補 償?shù)钠浦怠?br> 5. 根據(jù)權(quán)利要求3所述的方法，其中，使用用于對鄰近于所述第 一塊的至少一個相鄰塊執(zhí)行亮度補償?shù)钠浦但@得用于對所述第一塊 執(zhí)行亮度補償?shù)念A(yù)測器包括在所述相鄰塊中根據(jù)預(yù)定次序選擇所述 至少一個相鄰塊。
6. 根據(jù)權(quán)利要求5所述的方法，其中，根據(jù)所述預(yù)定次序選擇所 述至少一個相鄰塊包括確定對于按照一個或者多個垂直或者水平相 鄰者之后根據(jù)一個或者多個對角相鄰者的次序的相鄰塊來說，是否滿 足一個或者多個條件。
7. 根據(jù)權(quán)利要求2所述的方法，其中，所述標(biāo)志信息使得能夠?qū)π蛄小⒁晥D、圖像組、圖像和含有所述塊的片段的一個或多個進(jìn)行亮 度補償。
8. 根據(jù)權(quán)利要求7所述的方法，其中，所述標(biāo)志信息使得能夠?qū)?含有所述塊的所述片段進(jìn)行亮度補償。
9. 根據(jù)權(quán)利要求7所述的方法，其中，所述提取的值包括用于含 有所述塊的宏塊的標(biāo)志信息或者用于所述塊的標(biāo)志信息。
10. 根據(jù)權(quán)利要求9所述的方法，其中，所述提取的值包括用于 含有所述塊的所述宏塊的標(biāo)志信息。
11. 一種用于解碼多視圖視頻信號的方法，包括 接收包括所述多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包括被分段成多個段的多個圖像；并且使用用于對鄰近于第一段的至少一個相鄰段執(zhí)行亮度補償?shù)钠?值來獲得用于對所述第一段執(zhí)行亮度補償?shù)念A(yù)測器，包括在相鄰段中 根據(jù)預(yù)定次序選擇所述至少一個相鄰段。
12. 根據(jù)權(quán)利要求11所述的方法，其中，所述第一段和所述至少 一個相鄰段包括圖像塊。
13. 根據(jù)權(quán)利要求12所述的方法，其中，通過形成包括用于相鄰 塊的亮度補償?shù)念A(yù)測器和殘值的總和，來獲得用于所述相鄰塊的亮度 補償?shù)钠浦怠?br> 14. 根據(jù)權(quán)利要求12所述的方法，其中，根據(jù)所述預(yù)定次序選擇 所述至少一個相鄰塊包括確定對于按照一個或者多個垂直或者水平 相鄰者之后接著一個或者多個對角相鄰者的次序的相鄰塊來說，是否 滿足一個或者多個條件。
15. 根據(jù)權(quán)利要求14所述的方法，其中，根據(jù)所述預(yù)定次序選擇 所述至少一個相鄰塊包括確定對于按照以下次序的相鄰塊來說是否滿 足一個或者多個條件左相鄰塊，隨后為上相鄰塊，隨后為右上相鄰 塊，隨后為左上相鄰塊。
16. 根據(jù)權(quán)利要求14所述的方法，其中，確定對于相鄰塊是否滿 足一個或者多個條件包括從所述比特流中提取與所述相鄰塊相關(guān)聯(lián) 的值，該值指示是否要執(zhí)行所述相鄰塊的亮度補償。
17. 根據(jù)權(quán)利要求16所述的方法，其中，所述提取的值包括用于含有所述塊的宏塊的標(biāo)志信息或者用于所述塊的標(biāo)志信息。
18. 根據(jù)權(quán)利要求12所述的方法，其中，獲得所述預(yù)測器包括確定使用用于單個相鄰塊的亮度補償?shù)钠浦担€是使用用于對應(yīng)的 相鄰塊的亮度補償?shù)亩鄠€偏移值。
19. 根據(jù)權(quán)利要求18所述的方法，還包括當(dāng)要使用多個偏移值時，通過組合所述多個偏移值而獲得用于執(zhí)行所述第一塊的亮度補償 的所述預(yù)測器。
20. 根據(jù)權(quán)利要求19所述的方法，其中，組合所述多個偏移值包括求取所述偏移值的平均值或者中值。
21. —種用于解碼多視圖視頻信號的方法，包括接收包括所述多視圖視頻信號的多個視圖的編碼的比特流，每一 個視圖包括被分段成多個段的多個圖像；獲得用于相對于參考圖像對第一段進(jìn)行亮度補償?shù)钠浦?，其中?使用用于基于與相鄰段相關(guān)聯(lián)的特性所確定的至少一個相鄰段的亮度 補償?shù)钠浦祦眍A(yù)測所述偏移值；以及使用用于對所述第一段執(zhí)行的亮度補償來解碼所述比特流，包括 形成總和，該總和包括用于從所述參考圖像獲得的所述第一段的像 素的預(yù)測器，用于所述第一段的像素的殘值，以及用于亮度補償?shù)膶?應(yīng)的偏移值。
22. 根據(jù)權(quán)利要求21所述的方法，其中，所述第一段和所述至少 一個相鄰段包括圖像塊。
23. 根據(jù)權(quán)利要求22所述的方法，其中，通過形成包括用于相鄰 塊的亮度補償?shù)念A(yù)測器和殘值的總和，來獲得用于所述相鄰塊的亮度 補償?shù)钠浦怠?br> 24. 根據(jù)權(quán)利要求22所述的方法，還包括基于對于按照一個或 者多個垂直或者水平相鄰者之后跟隨一個或者多個對角相鄰者的次序 的相鄰塊來說是否滿足一個或者多個條件，來選擇所述至少一個相鄰 塊。
25. 根據(jù)權(quán)利要求24所述的方法，其中，選擇至少一個相鄰塊包 括確定對于按照以下次序的相鄰塊來說是否滿足一個或者多個條件 上相鄰塊，隨后為左相鄰塊，隨后為右上相鄰塊，隨后為左上相鄰塊。
26. 根據(jù)權(quán)利要求24所述的方法，其中，確定對于相鄰塊來說是 否滿足一個或者多個條件包括從所述比特流中提取與所述相鄰塊相 關(guān)聯(lián)的值，該值指示是否要執(zhí)行所述相鄰塊的亮度補償。
27. 根據(jù)權(quán)利要求26所述的方法，其中，所述提取的值包括用于 含有所述塊的宏塊的標(biāo)志信息或者用于所述塊的標(biāo)志信息。
28. 根據(jù)權(quán)利要求24所述的方法，其中，選擇至少一個相鄰塊包 括確定使用用于單個相鄰塊的亮度補償?shù)钠浦?，還是使用用于對 應(yīng)的相鄰塊的亮度補償?shù)亩鄠€偏移值。
29. 根據(jù)權(quán)利要求28所述的方法，還包括當(dāng)要使用多個偏移值 時，通過組合所述多個偏移值來獲得用于執(zhí)行所述第一塊的亮度補償 的所述預(yù)測器。
30. 根據(jù)權(quán)利要求29所述的方法，其中，組合所述多個偏移值包 括求取所述偏移值的平均值或者中值。
31. —種用于解碼多視圖視頻信號的方法，包括 接收包括多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖均包括被分段成多個段的多個圖像；獲得用于相對于參考圖像對第一段進(jìn)行亮度補償?shù)钠浦担?確定用于所述第一段進(jìn)行亮度補償?shù)钠浦蛋ㄐ纬砂ㄋ鲱A(yù)測器和殘值的總和；以及使用對于所述第一段的亮度補償來解碼所述比特流，包括形成總和，該總和包括用于從所述參考圖像獲得的所述第一段的像素的預(yù)測器、所述第一段的像素的殘值以及用于亮度補償?shù)膶?yīng)的偏移值。
32. 根據(jù)權(quán)利要求31所述的方法，其中，所述段包括圖像塊。
33. 根據(jù)權(quán)利要求32所述的方法，其中，使用對于所述第一段的 亮度補償包括通過形成包括用于相鄰塊的亮度補償?shù)念A(yù)測器和殘值 的總和，來獲得用于所述相鄰塊的亮度補償?shù)钠浦怠?br> 34. 根據(jù)權(quán)利要求33所述的方法，還包括基于對于按照一個或 者多個垂直或者水平相鄰者之后跟隨一個或者多個對角相鄰者的次序 的相鄰塊來說是否滿足一個或者多個條件，來選擇至少一個相鄰塊。
35. 根據(jù)權(quán)利要求34所述的方法，其中，選擇至少一個相鄰塊包括確定對于按照以下次序的相鄰塊來說是否滿足一個或者多個條件 左相鄰塊，隨后為上相鄰塊，隨后為右上相鄰塊，隨后為左上相鄰塊。
36. 根據(jù)權(quán)利要求34所述的方法，其中，確定對于相鄰塊來說是 否滿足一個或者多個條件包括從所述比特流中提取與所述相鄰塊相關(guān)聯(lián)的值，該值指示是否要執(zhí)行所述相鄰塊的亮度補償。
37. 根據(jù)權(quán)利要求36所述的方法，其中，所述提取的值包括用于 含有所述塊的宏塊的標(biāo)志信息或者用于所述塊的標(biāo)志信息。
38. 根據(jù)權(quán)利要求34所述的方法，其中，選擇至少一個相鄰塊包 括確定使用用于單個相鄰塊的亮度補償?shù)钠浦?，還是使用用于對 應(yīng)的相鄰塊的亮度補償?shù)亩鄠€偏移值。
39. 根據(jù)權(quán)利要求38所述的方法，還包括當(dāng)要使用多個偏移值 時，通過組合所述多個偏移值來獲得用于執(zhí)行所述第一塊的亮度補償 的所述預(yù)測器。
40. 根據(jù)權(quán)利要求39所述的方法，其中，組合所述多個偏移值包 括采用所述偏移值的平均值或者中值。
41. 一種用于解碼多視圖視頻信號的方法，包括 接收包括所述多視圖視頻信號的多個視圖的編碼的比特流，每一個視圖包括被分段成多個段的多個圖像；并且根據(jù)與第一段相關(guān)聯(lián)的參考圖像是否與與相鄰段相關(guān)聯(lián)的參考圖 像相同，使用用于鄰近于所述第一段的至少一個相鄰段的亮度補償?shù)?偏移值，獲得用于相對于所述參考圖像對所述第一段進(jìn)行亮度補償?shù)?預(yù)測器。
42. 根據(jù)權(quán)利要求41所述的方法，其中，所述段包括圖像塊。
43. 根據(jù)權(quán)利要求42所述的方法，其中，使用對于所述第一段的 亮度補償包括通過形成包括用于相鄰塊的亮度補償?shù)念A(yù)測器和殘值 的總和，來獲得用于所述相鄰塊的亮度補償?shù)钠浦怠?br> 44. 根據(jù)權(quán)利要求43所述的方法，還包括基于對于按照一個或 者多個垂直或者水平相鄰者之后根隨一個或者多個對角相鄰者的次序 的相鄰塊來說是否滿足一個或者多個條件，來選擇至少一個相鄰塊。
45. 根據(jù)權(quán)利要求44所述的方法，其中，選擇至少一個相鄰塊包 括確定對于按照以下次序的相鄰塊來說是否滿足一個或者多個條件 左相鄰塊，隨后為上相鄰塊，隨后為右上相鄰塊，隨后為左上相鄰塊。
46. 根據(jù)權(quán)利要求44所述的方法，其中，確定對于相鄰塊來說是 否滿足一個或者多個條件包括從所述比特流中提取與所述相鄰塊相 關(guān)聯(lián)的值，該值指示是否要執(zhí)行所述相鄰塊的亮度補償。
47. 根據(jù)權(quán)利要求46所述的方法，其中，所述提取的值包括用于 含有所述塊的宏塊的標(biāo)志信息或者用于所述塊的標(biāo)志信息。
48. 根據(jù)權(quán)利要求44所述的方法，其中，選擇至少一個相鄰塊包 括確定使用用于單個相鄰塊的亮度補償?shù)钠浦?，還是使用用于對 應(yīng)的相鄰塊的亮度補償?shù)亩鄠€偏移值。
49. 根據(jù)權(quán)利要求48所述的方法，還包括當(dāng)使用多個偏移值時， 通過組合所述多個偏移值來獲得用于執(zhí)行所述第一塊的亮度補償?shù)念A(yù) 測器。
50.根據(jù)權(quán)利要求49所述的方法，其中，組合所述多個偏移值包 括求取所述偏移值的平均值或者中值。
全文摘要
對多視圖視頻信號進(jìn)行解碼包括接收包括多視圖視頻信號的多個視圖的編碼的比特流。每一個視圖包括被分段成多個段的多個圖像。所述解碼還包括從比特流提取與多視圖視頻信號的一部分相關(guān)聯(lián)的標(biāo)志信息，該標(biāo)志信息指示是否能夠?qū)υ诙嘁晥D視頻信號的所述部分中的段進(jìn)行亮度補償。對于根據(jù)所提取的標(biāo)志信息能夠執(zhí)行亮度補償?shù)牟糠?，從比特流提取與該部分中的段相關(guān)聯(lián)的值，并且根據(jù)所述提取值確定是否將要對該段執(zhí)行亮度補償。
文檔編號H04N5/455GK101371571SQ200780003083
公開日2009年2月18日 申請日期2007年1月12日 優(yōu)先權(quán)日2006年1月12日
發(fā)明者梁正休 申請人:Lg電子株式會社