專利名稱：用于解碼/編碼視頻信號的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻信號的編碼。
背景技術(shù)：
壓縮編碼意指用于經(jīng)由通信電路發(fā)送數(shù)字化信息或以適合于貯存 介質(zhì)的形式來存儲數(shù)字化信息的一系列信號處理技術(shù)。作為壓縮編碼 的目標(biāo)，存在音頻、視頻、符號等。具體而言，用于對視頻執(zhí)行壓縮 編碼的技術(shù)被稱為視頻序列壓縮。視頻序列的一般特征在于具有空間 冗余或時間冗余。

發(fā)明內(nèi)容
技術(shù)問題 技術(shù)解決方案
因此，本發(fā)明針對一種用于解碼/編碼視頻信號的方法和裝置，它 們可以充分提高視頻信號編碼的效率。
本發(fā)明的一個目的是提供一種用于解碼/編碼視頻信號的方法和 裝置，通過該方法和裝置，通過基于視點(diǎn)間圖片的關(guān)系獲得當(dāng)前圖片 的運(yùn)動信息，可以執(zhí)行運(yùn)動補(bǔ)償。
本發(fā)明的另一目的是提供一種用于解碼/編碼視頻信號的方法和 裝置，通過該方法和裝置，使用與當(dāng)前圖片的運(yùn)動信息具有高相似性 的參考視點(diǎn)的運(yùn)動信息，可以提高當(dāng)前圖片的恢復(fù)速率。
本發(fā)明的另 一 目的是通過定義能夠標(biāo)識圖片的視點(diǎn)的視點(diǎn)間信 息，對視頻信號有效率地執(zhí)行編碼。本發(fā)明的另一目的是提供一種管理用于視點(diǎn)間預(yù)測的參考圖片的 方法，通過該方法，可以有效率地編碼視頻圖像。
本發(fā)明的另一目的是提供一種預(yù)測視頻信號的運(yùn)動信息的方法， 通過該方法，可以有效率地處理視頻信號。
本發(fā)明的進(jìn)一步目的是提供一種搜索與當(dāng)前塊相對應(yīng)的塊的方 法，通過該方法，可以有效率地處理視頻信號。
有益效果
根據(jù)本發(fā)明，通過使用視頻序列的時間和空間相關(guān)性來預(yù)測運(yùn)動 信息，可以提高信號處理效率。通過使用與當(dāng)前塊具有高相關(guān)性的圖 片的編碼信息來預(yù)測當(dāng)前塊的編碼信息，實現(xiàn)了更精確的預(yù)測，從而
減少發(fā)送錯誤，以執(zhí)行有效率的編碼。即使不發(fā)送當(dāng)前塊的運(yùn)動信息， 也能夠計算與當(dāng)前塊的運(yùn)動信息非常相似的運(yùn)動信息。因此，提高了 恢復(fù)速率。
此外，通過提供管理用于視點(diǎn)間預(yù)測的參考圖片的方法，可以有 效率地執(zhí)行編碼。在通過本發(fā)明執(zhí)行視點(diǎn)間預(yù)測的情形下，減少了施 加在DPB (解碼圖片緩沖器)上的負(fù)擔(dān)。因此，可以提高編碼速率，并 且實現(xiàn)了更準(zhǔn)確的預(yù)測，以減少要發(fā)送的位數(shù)目。
此外，使用關(guān)于多視點(diǎn)序列的各種各樣的配置信息，實現(xiàn)了更有 效的編碼。


附圖被包含在內(nèi)以提供對本發(fā)明的進(jìn)一步理解，并且被并入在本 說明書中并構(gòu)成本說明書的一部分，附示了本發(fā)明的實施例，并 且與描述一起用于解釋本發(fā)明的原理。
6在附圖中
圖l是根據(jù)本發(fā)明實施例的視頻信號解碼裝置的示意性框圖； 圖2是根據(jù)本發(fā)明實施例的關(guān)于可以被添加到多視點(diǎn)序列編碼位
流的多視點(diǎn)序列的配置信息的視圖3是根據(jù)本發(fā)明實施例的多視點(diǎn)序列信號的整體預(yù)測結(jié)構(gòu)的視
圖，以解釋視點(diǎn)間圖片組的概念；
圖4是用于解釋根據(jù)本發(fā)明實施例的根據(jù)存在或不存在運(yùn)動跳過 (Skip)來執(zhí)行運(yùn)動補(bǔ)償?shù)姆椒ǖ囊晥D5是解釋根據(jù)本發(fā)明實施例的搜索相對應(yīng)塊的方法的框圖； 圖6是解釋根據(jù)本發(fā)明實施例的使用邊信息來搜索相對應(yīng)塊的方
法的視圖7是解釋根據(jù)本發(fā)明實施例的在至少一個參考視點(diǎn)可用的情形 下執(zhí)行運(yùn)動跳過的方法的視圖8a至8d是根據(jù)本發(fā)明實施例的指示在至少一個參考視點(diǎn)可用的 情形下用于運(yùn)動跳過的視點(diǎn)的各種示例的視圖9a至10b是解釋根據(jù)本發(fā)明實施例的在視點(diǎn)之間空間分辨率不 同的情形下執(zhí)行視點(diǎn)間預(yù)測的方法的視圖ll是解釋根據(jù)本發(fā)明實施例的在執(zhí)行運(yùn)動跳過情形下推導(dǎo)出參 考索引的方法的視圖12是解釋根據(jù)本發(fā)明實施例的用于獲得視點(diǎn)間預(yù)測使用的運(yùn)動
矢量的各種方法的視圖13a和圖13b是根據(jù)本發(fā)明實施例的指示分級視點(diǎn)間參考信息的 語法的視圖；以及
圖14是解釋根據(jù)本發(fā)明實施例的用于發(fā)送深度信息的各種方法的 視圖。
具體實施例方式
本發(fā)明的另外特征和優(yōu)點(diǎn)將在下面的描述中闡明，并且部分地將從該描述中顯而易見，或者可以通過本發(fā)明的實施得知。通過在本書 面描述和其權(quán)利要求以及附圖中特別指出的結(jié)果，將實現(xiàn)并獲得本發(fā)
明的目標(biāo)和其他優(yōu)點(diǎn)。
為了實現(xiàn)這些和其他優(yōu)點(diǎn)，以及根據(jù)本發(fā)明的目的，如所體現(xiàn)和 廣義描述的，根據(jù)本發(fā)明的一種解碼視頻信號的方法包括使用邊信 息搜索參考塊，從參考塊推導(dǎo)出當(dāng)前塊的運(yùn)動信息，使用當(dāng)前塊的運(yùn) 動信息解碼當(dāng)前塊，其中，邊信息包括指示在參考塊和相對應(yīng)塊之間 的位置差的偏移信息，并且其中，相對應(yīng)塊是由指示在當(dāng)前塊視點(diǎn)和 參考塊視點(diǎn)之間視差差異的全局運(yùn)動矢量指示的塊。
優(yōu)選地，該方法進(jìn)一步包括獲得指示是否推導(dǎo)出當(dāng)前塊的運(yùn)動信 息的第二標(biāo)記信息，并且基于該第二標(biāo)記信息來獲得邊信息。
更優(yōu)選地，從宏塊層獲得第二標(biāo)記信息。
在該情形下，該方法進(jìn)一步包括獲得指示當(dāng)前片是否使用運(yùn)動跳 過的第一標(biāo)記信息，其中，基于該第一標(biāo)記信息來獲得第二標(biāo)記信息。
并且，從片頭部獲得第一標(biāo)記信息。
更優(yōu)選地，基于視點(diǎn)間圖片組標(biāo)識信息來獲得第一標(biāo)記信息或第 二標(biāo)記信息。
在該情形下，當(dāng)根據(jù)視點(diǎn)間圖片組標(biāo)識信息，當(dāng)前圖片對應(yīng)于非 視點(diǎn)間圖片組時，獲得第 一 標(biāo)記信息或第二標(biāo)記信息。
而且，基于指示視點(diǎn)間參考關(guān)系的視點(diǎn)間參考信息，獲得第一標(biāo) 記信息。
8在該情形下，從序列參數(shù)集合的擴(kuò)展區(qū)域獲得視點(diǎn)間參考信息。
而且，視點(diǎn)間參考信息包括非視點(diǎn)間圖片組的視點(diǎn)間參考圖片的 數(shù)目信息。
而且，在L0方向和/或L1方向上存在非視點(diǎn)間圖片組的至少一個視 點(diǎn)間參考圖片。
優(yōu)選地，該方法進(jìn)一步包括使用全局運(yùn)動矢量和偏移信息來推導(dǎo) 出修改的全局運(yùn)動矢量，其中使用該修改的全局運(yùn)動矢量來推導(dǎo)出參 考塊的位置信息。
優(yōu)選地，基于指示視點(diǎn)間參考關(guān)系的視點(diǎn)間參考信息，獲得全局 運(yùn)動矢量。
更優(yōu)選地，視點(diǎn)間參考信息包括非視點(diǎn)間圖片組的視點(diǎn)間參考圖 片的數(shù)目信息，并且獲得與非視點(diǎn)間圖片組的視點(diǎn)間參考圖片的數(shù)目 信息一樣多的全局運(yùn)動矢量。
優(yōu)選地，基于視點(diǎn)間圖片組標(biāo)識信息，獲得全局運(yùn)動矢量。
更優(yōu)選地，如果根據(jù)視點(diǎn)間圖片組標(biāo)識信息，當(dāng)前圖片對應(yīng)于視 點(diǎn)間圖片組，則獲得全局運(yùn)動矢量。
優(yōu)選地，視頻信號被接收為廣播信號。
優(yōu)選地，視頻信號經(jīng)由數(shù)字介質(zhì)被接收。
為了進(jìn)一步實現(xiàn)這些和其他優(yōu)點(diǎn)，以及根據(jù)本發(fā)明的目的， 一種 用于解碼視頻信號的裝置包括使用邊信息搜索參考塊的相對應(yīng)塊搜索單元、從參考塊推導(dǎo)當(dāng)前塊的運(yùn)動信息的運(yùn)動信息推導(dǎo)單元，以及 使用當(dāng)前塊的運(yùn)動信息來解碼當(dāng)前塊的運(yùn)動補(bǔ)償單元，其中，邊信息 包括指示在參考塊和相對應(yīng)塊之間的位置差的偏移信息，并且其中， 相對應(yīng)塊是由指示在當(dāng)前塊的視點(diǎn)和參考塊的視點(diǎn)之間視差差異的全 局運(yùn)動矢量指示的塊。
應(yīng)當(dāng)理解的是，前述一般描述和下列詳細(xì)描述都是示例性和解釋 性的，并且意在提供對所請求保護(hù)的本發(fā)明的進(jìn)一步的解釋。
發(fā)明模式
現(xiàn)在將詳細(xì)參考本發(fā)明的優(yōu)選實施例，附圖中圖示了本發(fā)明的示例。
首先，視頻信號數(shù)據(jù)的壓縮編碼考慮空間冗余、時間冗余、可分 級冗余和視點(diǎn)間冗余。并且，在壓縮編碼過程中通過考慮視點(diǎn)間存在 相互冗余，實現(xiàn)了壓縮編碼。考慮視點(diǎn)間冗余的壓縮編碼方案僅是本 發(fā)明的實施例。并且，本發(fā)明的技術(shù)思想可應(yīng)用于時間冗余、可分級 冗余等。在本公開中，編碼可以包括編碼和解碼的概念。并且，可以 靈活地解釋編碼，以對應(yīng)于本發(fā)明的技術(shù)思想和范圍。
觀察視頻信號的位序列配置，在處理活動圖片編碼處理本身的
VCL (視頻編碼層)和發(fā)送并存儲編碼信息的下層系統(tǒng)之間存在被稱 為NAL (網(wǎng)絡(luò)抽象層)的獨(dú)立層結(jié)構(gòu)。來自編碼處理的輸出是VCL數(shù) 據(jù)，并且在發(fā)送或存儲之前，被NAL單元映射。每個NAL單元包括作 為與頭部信息相對應(yīng)的數(shù)據(jù)的壓縮視頻數(shù)據(jù)或RBSP (原始字節(jié)序列有 效負(fù)載活動圖片壓縮的結(jié)果數(shù)據(jù))。
NAL單元基本上包括兩部分NAL頭部和RBSP。 NAL頭部包括標(biāo) 記信息(nal—ref—idc)，它指示是否包括作為NAL單元的參考圖片的片； 以及標(biāo)識符(nal—unit—type)，它指示NAL單元的類型。壓縮的原始數(shù)據(jù)被存儲在RBSP中。并且，RBSP尾部位被添加到RBSP的最后部分， 以表示作為8位乘數(shù)的RGSP的長度。作為NAL單元的類型，存在IDR(瞬 時解碼刷新)圖片、SPS (序列參數(shù)集合)、PPS (圖片參數(shù)集合)、 SEI (補(bǔ)充增強(qiáng)信息)等。
在標(biāo)準(zhǔn)化過程中，設(shè)置各種類(profile)和級(level)的要求，以
使得能夠利用適當(dāng)?shù)某杀緦崿F(xiàn)目標(biāo)產(chǎn)品。在該情形下，解碼器應(yīng)當(dāng)滿 足根據(jù)相應(yīng)類和級確定的要求。因此，定義兩個概念"類"和"級" 以指示用于表示解碼器可以應(yīng)付壓縮序列的范圍的程度的函數(shù)或參 數(shù)。并且，類標(biāo)識符(profileJdc)可以標(biāo)識位流是基于指定類的。類 標(biāo)識符意指指示位流所基于的類的標(biāo)記。例如，在H.264/AVC中，如果 類標(biāo)識符是66，則它意指位流是基于基線類的。如果類標(biāo)識符是77， 則它意指位流是基于主類的。如果類標(biāo)識符是88，則它意指位流是基 于擴(kuò)展類的。而且，類標(biāo)識符可以被包括在序列參數(shù)集合中。
因此，為了處理多視點(diǎn)序列，需要標(biāo)識輸入的位流是否是多視點(diǎn) 類。如果所輸入的位流是多視點(diǎn)類，則有必要添加語法以使得能夠發(fā) 送用于多視點(diǎn)的至少一個附加信息。在該情形下，多視點(diǎn)類指示用于 處理多視點(diǎn)視頻的類模式作為H.264/AVC的附加技術(shù)。在MVC中，可 以更有效率的是，添加語法作為用于MVC模式的附加信息，而非無條 件的語法。例如，當(dāng)AVC的類標(biāo)識符指示多視點(diǎn)類時，如果添加了用 于多視點(diǎn)序列的信息，則它能夠提高編碼效率。
序列參數(shù)集合指示頭部信息，該頭部信息包含跨越諸如類、級等 的全部序列的編碼的信息。整個壓縮的活動圖片，即序列，應(yīng)當(dāng)從序 列頭部開始。因此，與頭部信息相對應(yīng)的序列參數(shù)集合應(yīng)當(dāng)在參考參 數(shù)集合的數(shù)據(jù)到達(dá)之前，到達(dá)解碼器。S卩，序列參數(shù)集合RBSP作用為 用于活動圖片壓縮的結(jié)果數(shù)據(jù)的頭部信息。 一旦輸入了位流，類標(biāo)識 符優(yōu)先標(biāo)識該輸入位流是基于多個類的中的哪一個。因此，通過將用 于確定輸入的位流是否涉及多視點(diǎn)類(例如，"If(profile—idc==MULTI—VIEW—PROFILE)")的部分添加至語法，確 定所輸入的位流是否涉及多視點(diǎn)類。僅當(dāng)證實所輸入的位流涉及多視 點(diǎn)類時，才可以添加各種各樣的配置信息。例如，能夠添加視點(diǎn)的總 數(shù)、視點(diǎn)間參考圖片的數(shù)目、視點(diǎn)間參考圖標(biāo)的視點(diǎn)標(biāo)識編號等。并 且，解碼的圖片緩沖器可以使用關(guān)于視點(diǎn)間參考圖片的各種各樣的信 息以構(gòu)造并管理參考圖片列表。
圖l是根據(jù)本發(fā)明的用于解碼視頻信號的裝置的示意性框圖。
參考圖l，解碼裝置包括解析單元IOO、熵解碼單元200、反量化/ 反變換單元300、幀內(nèi)預(yù)測單元400、解塊濾波器單元500、解碼的圖片 緩沖器單元600、幀間預(yù)測單元700等。并且，解碼的圖片緩沖器單元 600主要包括參考圖片存儲單元(圖中未示出)、參考圖片列表構(gòu)建單 元(圖中未示出)、參考圖片管理單元(圖中未示出)等。而且，幀 間預(yù)測單元700可以包括運(yùn)動跳過確定單元710、相對應(yīng)塊搜索單元 720、運(yùn)動信息推導(dǎo)單元730、運(yùn)動補(bǔ)償單元740和運(yùn)動信息獲得單元 750。
解析單元100通過NAL單元執(zhí)行解析，以解碼接收到的視頻序列。 通常，在片頭部和片數(shù)據(jù)被解碼之前，將至少一個序列參數(shù)集合和至 少一個圖片參數(shù)集合傳輸?shù)浇獯a器。在該情形下，可以將各種各樣的 配置信息包括在NAL頭部區(qū)域或NAL頭部的擴(kuò)展區(qū)域中。由于MVC是 用于常規(guī)AVC方案的附加方案，所以僅在MVC位流的情形下，添加各 種配置信息而非無條件添加可能是更有效率的。例如，能夠在NAL頭 部區(qū)域或者NAL頭部的擴(kuò)展區(qū)域中添加用于標(biāo)識存在或不存在MVC位
流的標(biāo)記信息。僅當(dāng)根據(jù)標(biāo)記信息輸入的位流是多視點(diǎn)序列編碼位流 時，才能夠添加用于多視點(diǎn)序列的配置信息。例如，配置信息可以包 括視點(diǎn)標(biāo)識信息、視點(diǎn)間圖片組標(biāo)識信息、視點(diǎn)間預(yù)測標(biāo)記信息、時 間級信息、優(yōu)先級標(biāo)識信息、指示它是否是用于視點(diǎn)的瞬時解碼的圖 片的標(biāo)識信息等。將參考圖2對它們進(jìn)行詳細(xì)解釋。
12熵解碼單元200對解析的位流執(zhí)行熵解碼，并且然后提取每個宏塊 的系數(shù)、運(yùn)動矢量等。反量化/反變換單元300獲得通過將接收到的量化 值乘以預(yù)定常數(shù)而變換的系數(shù)值，并且然后將系數(shù)值進(jìn)行相反的變換
以重建像素值。使用所重建的像素值，幀內(nèi)預(yù)測單元400從當(dāng)前圖片內(nèi) 的解碼的樣本來執(zhí)行屏幕內(nèi)預(yù)測。同時，解塊濾波器單元500被應(yīng)用于 每個編碼宏塊，以減少塊失真。濾波器使塊邊緣平滑，以增強(qiáng)解碼的 幀的圖像質(zhì)量。濾波處理的選擇取決于邊界強(qiáng)度和在邊界周圍的圖像 樣本的梯度。通過濾波的圖片被輸出或存儲在解碼的圖片緩沖器單元 600中，以被用作參考圖片。
解碼的圖片緩沖器單元600作用于存儲或打開先前編碼的圖片以
執(zhí)行圖片間預(yù)測。在該情形下，為了將圖片存儲在解碼的圖片緩沖器 單元600中，或者為了打開圖片，使用每個圖片的"frame—num"和POC
(圖片順序計數(shù))。因此，在MVC中，由于存在與先前編碼的圖片中 存在的當(dāng)前圖片得視點(diǎn)不同的視點(diǎn)的圖片，所以為了將這些圖片用作 參考圖片，用于標(biāo)識圖片的視點(diǎn)信息可以與"frame—num"禾nPOC—起 使用。解碼的圖片緩沖器單元600包括參考圖片存儲單元(圖中未示 出)、參考圖片列表構(gòu)建單元(圖中未示出)以及參考圖片管理單元
(圖中未示出)。
參考圖片存儲單元存儲為了對當(dāng)前圖片進(jìn)行編碼而將被參考的圖 片。參考圖片列表構(gòu)建單元構(gòu)建用于圖片間預(yù)測的參考圖片的列表。 在多視點(diǎn)視頻編碼中，視點(diǎn)間預(yù)測是可能的。因此，如果當(dāng)前圖片參 考另一視點(diǎn)中的圖片，則可能有必要構(gòu)建用于視點(diǎn)間預(yù)測的參考圖片 列表。
參考圖片列表構(gòu)建單元在構(gòu)建用于視點(diǎn)間預(yù)測的參考圖片列表中 可以使用關(guān)于視點(diǎn)的信息。例如，可以使用視點(diǎn)間參考信息。視點(diǎn)間 參考信息意指用于指示視點(diǎn)間依賴關(guān)系的信息。例如，可能存在視點(diǎn)的總數(shù)目、視點(diǎn)標(biāo)識編號、視點(diǎn)間參考圖片的數(shù)目、視點(diǎn)間參考圖片 的視點(diǎn)標(biāo)識編號等。
參考圖片管理單元管理參考圖片，以更靈活地執(zhí)行圖片間預(yù)測。 例如，存儲器管理控制操作方法和滑動窗口方法是可用的。這用于通 過將存儲器統(tǒng)一成一個存儲器來管理參考圖片存儲器和非參考圖片存 儲器，并且利用較小的存儲器來實現(xiàn)有效率的存儲器管理。在多視點(diǎn) 視頻編碼中，由于在視點(diǎn)方向上的圖片具有相同的圖片順序計數(shù)，所 以在標(biāo)記它們的過程中，可以使用用于標(biāo)識每個圖片的視點(diǎn)的信息。 并且，以上述方法管理的參考圖片可以由幀間預(yù)測單元700使用。
通過上述處理，根據(jù)預(yù)測模式來選擇幀間預(yù)測圖片和幀內(nèi)預(yù)測圖 片，以重建當(dāng)前圖片。
圖2是根據(jù)本發(fā)明一個實施例的關(guān)于可添加到多視點(diǎn)序列編碼的
位流的多視點(diǎn)序列的配置信息的視圖。
圖2示出了可以添加關(guān)于多視點(diǎn)序列的配置信息的NAL單元配置 的示例。NAL單元可以主要包括NAL單元頭部和RBSP (原始字節(jié)序列 有效載荷活動圖片壓縮的結(jié)果數(shù)據(jù))。并且，NAL單元頭部可以包 括指示NAL單元是否包括參考圖片的片的標(biāo)識信息(nal一refjdc)以及 指示NAL單元的類型的信息(nal—unit_type)。并且，可以有限地包括 NAL單元頭部的擴(kuò)展區(qū)域。例如，如果指示NAL單元的類型的信息與 可分級視頻編碼相關(guān)聯(lián)，或者指示前綴NAL單元，則NAL單元能夠包 括NAL單元頭部的擴(kuò)展區(qū)域。具體而言，如果nal—unit—type二20或14， 則NAL單元能夠包括NAL單元頭部的擴(kuò)展區(qū)域。并且，根據(jù)能夠標(biāo)識 它是否是MVC位流的標(biāo)記信息(svc—mvc—flag)，可以將用于多視點(diǎn)序 列的配置信息添加到NAL單元頭部的擴(kuò)展區(qū)域。
又例如，如果指示NAL單元的類型的信息是指示序列參數(shù)集合的
14信息，則RBSP可以包括關(guān)于序列參數(shù)集合的信息。具體而言，如果
nal—unit—type=7，則RBSP可以包括關(guān)于序列參數(shù)集合的信息。如果 nal_unit—type=15，則RBSP可以包括關(guān)于子集序列參數(shù)集合的信息。在 該情形下，根據(jù)類信息，子集序列參數(shù)集合可以包括序列參數(shù)集合的 擴(kuò)展區(qū)域。例如，如果類信息(profile—idc)是與多視點(diǎn)視頻編碼相關(guān) 的類，則子集序列參數(shù)集合可以包括序列參數(shù)集合的擴(kuò)展區(qū)域。序列 參數(shù)集合的擴(kuò)展區(qū)域可以包括指示視點(diǎn)間依賴型的視點(diǎn)間參考信息。
如下詳細(xì)解釋關(guān)于多視點(diǎn)序列的各種配置信息，例如，可以被包 括在NAL單元頭部的擴(kuò)展區(qū)域中的配置信息，或者可以被包括在序列 參數(shù)集合的擴(kuò)展區(qū)域中的配置信息。
首先，視頻標(biāo)識信息意指用于區(qū)別當(dāng)前視點(diǎn)中的圖片與不同視點(diǎn) 中的圖片的信息。在編碼視頻序列信號的過程中，POC(圖片順序計數(shù)) 和"frame—num"被用于標(biāo)識每個圖片。在多視點(diǎn)視頻序列的情形下， 執(zhí)行視點(diǎn)間預(yù)測。因此，需要用于將當(dāng)前視點(diǎn)中圖片與另一視點(diǎn)中圖 片相區(qū)別的標(biāo)識信息。因此，有必要定義用于標(biāo)識圖片的視點(diǎn)的視點(diǎn) 標(biāo)識信息?？梢詮囊曨l信號的頭部區(qū)域獲得視點(diǎn)標(biāo)識信息。例如，頭 部區(qū)域可以是NAL頭部區(qū)域、NAL頭部的擴(kuò)展區(qū)域或片頭部區(qū)域。使
用視點(diǎn)標(biāo)識信息獲得關(guān)于與當(dāng)前圖片的視點(diǎn)不同的視點(diǎn)中的圖片的信 息，并且能夠使用關(guān)于不同視點(diǎn)中的圖片的信息來解碼視頻信號。
視點(diǎn)標(biāo)識信息可應(yīng)用于視頻信號的整體編碼/解碼處理。例如，視 點(diǎn)標(biāo)識信息可以被用于指示視點(diǎn)間依賴性?？赡苄枰獏⒖紙D片的計數(shù) 信息、視點(diǎn)間參考圖片的視點(diǎn)標(biāo)識信息等來指示視點(diǎn)間依賴性。與視 點(diǎn)間參考圖片的計數(shù)信息和視點(diǎn)間參考圖片的視點(diǎn)標(biāo)識信息類似，用 于指示視點(diǎn)間依賴性的信息被稱為視點(diǎn)間參考信息。在該情形下，視 點(diǎn)標(biāo)識信息可以被用于指示視點(diǎn)間參考圖片的視點(diǎn)標(biāo)識信息。視點(diǎn)間 參考圖片可以意指在對當(dāng)前圖片執(zhí)行視點(diǎn)間預(yù)測過程中使用的參考圖 片。并且，視點(diǎn)標(biāo)識信息可以被完整應(yīng)用于使用考慮視點(diǎn)而不是考慮
15特定視點(diǎn)標(biāo)識符的"frame_num"的多視點(diǎn)視頻編碼。
視點(diǎn)間圖片組標(biāo)識信息意指能夠標(biāo)識當(dāng)前N AL單元的編碼的圖片 是否是視點(diǎn)間圖片組的信息。在該情形下，視點(diǎn)間圖片組意指僅參考 所有片存在于在相同時區(qū)上的幀中的片的編碼的圖片。例如，它意指 僅參考在不同視點(diǎn)中的片而不參考在當(dāng)前視點(diǎn)中的片的編碼的圖片。 在解碼多視點(diǎn)序列中，視點(diǎn)間隨機(jī)訪問是可能的。對于視點(diǎn)間預(yù)測， 視點(diǎn)間參考信息是必要的。在獲得視點(diǎn)間參考信息的過程中，視點(diǎn)間 圖片組標(biāo)識信息是可用的。例如，如果當(dāng)前圖片對應(yīng)于視點(diǎn)間圖片組， 則可以獲得關(guān)于視點(diǎn)間圖片組的視點(diǎn)間參考信息。如果當(dāng)前圖片對應(yīng) 于非視點(diǎn)間圖片組，則可以獲得關(guān)于非視點(diǎn)間圖片組的視點(diǎn)間參考信 息。下文將參考圖3對此進(jìn)行詳細(xì)解釋。
因此，在基于視點(diǎn)間圖片組標(biāo)識信息來獲得視點(diǎn)間參考信息的情 形下，能夠更有效率地執(zhí)行視點(diǎn)間隨機(jī)訪問。這是因為在視點(diǎn)間圖片 組中的圖片之間的視點(diǎn)間參考關(guān)系可能不同于非視點(diǎn)間圖片組中的圖 片之間的視點(diǎn)間參考關(guān)系。并且，在視點(diǎn)間圖片組的情形下，可以參 考多個視點(diǎn)中的圖片。例如，從多個視點(diǎn)中的圖片生成虛擬視點(diǎn)的圖 片，并且然后，能夠使用該虛擬視點(diǎn)的圖片來預(yù)測當(dāng)前圖片。替代地， 能夠通過參考多個視點(diǎn)中的多個圖片來預(yù)測當(dāng)前圖片。
在構(gòu)建參考圖片列表的過程中，可以使用視點(diǎn)間圖片組標(biāo)識信息。 在該情形下，參考圖片列表可以包括用于視點(diǎn)間預(yù)測的參考圖片列表。 并且，可以將用于視點(diǎn)間預(yù)測的參考圖片列表添加到參考圖片列表。 例如，在初始化參考圖片列表或者修改參考圖片列表的情形下，可以 使用視點(diǎn)間圖片組標(biāo)識信息。并且，它還可以用于管理用于視點(diǎn)間預(yù) 測的所添加的參考圖片。例如，通過將參考圖片劃分成視點(diǎn)間圖片組 和非視點(diǎn)間圖片組，能夠進(jìn)行標(biāo)記，該標(biāo)記指示不應(yīng)當(dāng)使用未能用于
執(zhí)行視點(diǎn)間預(yù)測的參考圖片。并且，視點(diǎn)間圖片組標(biāo)識信息可應(yīng)用于 假設(shè)參考解碼器。視點(diǎn)間預(yù)測標(biāo)記信息意指指示當(dāng)前NAL單元的編碼的圖片是否用 于視點(diǎn)間預(yù)測的信息。視點(diǎn)間預(yù)測標(biāo)記信息可用于執(zhí)行時間預(yù)測或視
點(diǎn)間預(yù)測的部分。在該情形下，可以一起使用指示NAL單元是否包括 參考圖片的片的標(biāo)識信息。例如，雖然根據(jù)標(biāo)識信息，當(dāng)前NAL單元 未能包括參考圖片的片，但是如果它用于視點(diǎn)間預(yù)測，則當(dāng)前NAL單 元可以是僅用于視點(diǎn)間預(yù)測的參考圖片。根據(jù)標(biāo)識信息，如果當(dāng)前NAL 單元包括參考圖片的片并且用于視點(diǎn)間預(yù)測，則當(dāng)前NAL單元可以被 用于時間預(yù)測和視點(diǎn)間預(yù)測。如果根據(jù)標(biāo)識信息，NAL單元未能包括 參考圖片的片，則它可以被存儲在解碼的圖片緩沖器中。這是因為， 根據(jù)視點(diǎn)間預(yù)測標(biāo)記信息，在當(dāng)前NAL單元的編碼的圖片用于視點(diǎn)間 預(yù)測的情形下，它需要被存儲。
除了一起使用標(biāo)記信息和標(biāo)識信息的情形， 一個標(biāo)識信息可以指 示當(dāng)前NAL的編碼的圖片是否用于時間預(yù)測或/和視點(diǎn)間預(yù)測。
并且，視點(diǎn)間預(yù)測標(biāo)記信息可以被用于單一循環(huán)解碼處理。根據(jù) 視點(diǎn)間預(yù)測標(biāo)記信息，在當(dāng)前NAL單元的編碼的圖片沒有用于視點(diǎn)間 預(yù)測的情形下，可以部分地執(zhí)行解碼。例如，完全解碼幀內(nèi)宏塊，然 而僅解碼幀間宏塊的殘留信息。因此，能夠降低解碼器的復(fù)雜性。如 果當(dāng)用戶正在觀看僅在特定視點(diǎn)中的視點(diǎn)而不觀看在全部視點(diǎn)中的序 列時，不必通過在不同視點(diǎn)中執(zhí)行運(yùn)動補(bǔ)償來重建序列，則這可能是 有效的。
圖3所示的視圖用于解釋本發(fā)明的一個實施例。
例如，考慮圖3所示的視圖的一部分，編碼順序可以對應(yīng)于SO、 Sl 和S2。假定當(dāng)前要編碼的圖片是在視點(diǎn)S1中的時區(qū)T2上的圖片B3。在 該情形下，在視點(diǎn)S0中的時區(qū)T2上的圖片B2和在視點(diǎn)S2中的時區(qū)T2上 的圖片B2可以被用于視點(diǎn)間預(yù)測。如果在視點(diǎn)SO中的時區(qū)T2上的圖片B2被用于視點(diǎn)間預(yù)測，則視點(diǎn)間預(yù)測標(biāo)記信息可以被設(shè)置成l。如果在
視點(diǎn)S0中的時區(qū)T2上的圖片B2沒有用于視點(diǎn)間預(yù)測，則標(biāo)記信息可以 被設(shè)置成O。在該情形下，如果在視點(diǎn)SO中所有片的視點(diǎn)間預(yù)測標(biāo)記信 息是O，則可能不必解碼在視點(diǎn)SO中的全部片。因此，可以提高編碼效 率。
又例如，如果在視點(diǎn)SO中所有片的視點(diǎn)間預(yù)測標(biāo)記信息不是O，艮口， 如果至少一個被設(shè)置成l，則解碼是強(qiáng)制性的，即使一個片被設(shè)置為O。 由于在視點(diǎn)S0中的時區(qū)T2上的圖片B2沒有用于當(dāng)前圖片的解碼，假定 通過將視點(diǎn)間預(yù)測信息設(shè)置成O而不執(zhí)行解碼，所以無法重建視點(diǎn)SO中 的時區(qū)T1上的圖片B3，在解碼在視點(diǎn)SO中的片的情形下，它使用在視 點(diǎn)S0中的時區(qū)T2上的圖片B2和在視點(diǎn)S0中的時區(qū)T3上的圖片B3。因此， 無論視點(diǎn)間預(yù)測標(biāo)記信息如何，它們應(yīng)當(dāng)被重建。
再例如，視點(diǎn)間預(yù)測標(biāo)記信息可用于解碼的圖片緩沖器(DPB)。 如果沒有提供視點(diǎn)間預(yù)測標(biāo)記信息，則在視點(diǎn)S 0中的時區(qū)T 2上的圖片 B2應(yīng)當(dāng)被無條件存儲在解碼的圖片緩沖器中。然而，如果能夠知道視 點(diǎn)間預(yù)測標(biāo)記信息是O，則在視點(diǎn)S0中時區(qū)T2上的圖片B2可以不被存儲 在解碼的圖片緩沖器中。因此，能夠節(jié)省解碼的圖片緩沖器的存儲。
時間級信息意指關(guān)于從視頻信號提供時間可分級性的層次結(jié)構(gòu) (hierarchical structure)的信息。雖然是時間級信息，但是它能夠向用
戶提供在各種時區(qū)上的序列。
優(yōu)先級標(biāo)識信息意指能夠標(biāo)識NAL單元的優(yōu)先級的信息。使用優(yōu) 先級標(biāo)識信息能夠提供視點(diǎn)可分級性。例如，使用優(yōu)先級標(biāo)識信息能 夠定義視點(diǎn)級信息。在該情形下，視點(diǎn)級信息意指關(guān)于用于從視頻信 號提供視點(diǎn)可分級性的層次結(jié)構(gòu)的信息。在多視點(diǎn)視頻序列中，有必 要定義用于時間的級和用于視點(diǎn)的級以向用戶提供各種時間和視點(diǎn)序 列。在定義以上級信息的情形下，能夠使用時間可分級性和視點(diǎn)可分級性。因此，用戶能夠瀏覽僅在特定時間和視點(diǎn)的序列或者僅根據(jù)另 一限制條件的序列。級信息可以根據(jù)它的參考條件以各種方式不同地 設(shè)置。例如，根據(jù)相機(jī)位置或相機(jī)排列，可以將級信息設(shè)置為不同。 并且，通過考慮視點(diǎn)依賴性，可以確定級信息。例如，將用于具有I圖 片的視點(diǎn)間圖片組的視點(diǎn)的級設(shè)置成O，將用于具有P圖片的視點(diǎn)間圖 片組的視點(diǎn)的級設(shè)置成l，并且將具有圖片B的視點(diǎn)間圖片組的視點(diǎn)的 級設(shè)置成2。因此，級值可以被分配至優(yōu)先級標(biāo)識信息。而且，級信息 可以被隨機(jī)設(shè)置，而非基于特別參考。
圖3是根據(jù)本發(fā)明一個實施例的多視點(diǎn)序列信號的整體預(yù)測結(jié)構(gòu) 的圖以解釋視點(diǎn)間圖片組的概念。
參考圖3，橫軸上的T0至T100指示根據(jù)時間的幀，并且縱軸上的 S0至S7指示根據(jù)視點(diǎn)的幀。例如，在TO的圖片意指通過在相同時區(qū)TO 上的不同相機(jī)捕獲的序列，而在SO的圖片意指通過在不同時區(qū)上的單 一相機(jī)捕獲的序列。并且，圖中的箭頭指示各個圖片的預(yù)測方向和順 序。例如，在時區(qū)T0上的視點(diǎn)S2中的圖片P0是從I0預(yù)測的圖片，它變 成在時區(qū)T0上的視點(diǎn)S4中圖片P0的參考圖片。并且，它變成分別在視 點(diǎn)S2中的時區(qū)T4和T2上的圖片B1和B2的參考圖片。
對于多視點(diǎn)序列解碼處理，可能需要視點(diǎn)間隨機(jī)訪問。因此，通 過最小化解碼努力，訪問隨機(jī)視點(diǎn)應(yīng)當(dāng)是可能的。在該情形下，可能 需要視點(diǎn)間圖片組的概念以執(zhí)行有效率的訪問。圖2中提到了視點(diǎn)間圖 片組的定義。例如，在圖3中，如果在時區(qū)TO上的視點(diǎn)SO中的圖片IO對 應(yīng)于視點(diǎn)間圖片組，則在相同時區(qū)(即，時區(qū)TO)上不同視點(diǎn)中的所 有圖片可以對應(yīng)于視點(diǎn)間圖片組。又例如，如果在時區(qū)T8上的視點(diǎn)S0 中的圖片IO對應(yīng)于視點(diǎn)間圖片組，則在相同時區(qū)(即，時區(qū)T8)上不同 視點(diǎn)中的所有圖片，可以對應(yīng)于視點(diǎn)間圖片組。類似地，在T16，…， T96和T100中的所有圖片也變成視點(diǎn)間圖片組的示例。根據(jù)另一實施例，在MVC的總體預(yù)測結(jié)構(gòu)中，GOP可以從I圖片開始。并且，I圖片與H.264/AVC兼容。因此，與H.264/AVC兼容的所有視點(diǎn)間圖片組可以變成I圖片。然而，在用P圖片替換I圖片的情形下，更有效率的編碼是可能的。具體而言，使用使GOP從與H.264/AVC兼容
的P圖片開始的預(yù)測結(jié)構(gòu)，實現(xiàn)了更有效率的編碼。在該情形下，如果視點(diǎn)間圖片組被重新定義，則它變成能夠參考在相同視點(diǎn)中的不同時區(qū)上的片以及所有片存在于相同時區(qū)上的幀中的片的編碼的圖片。然而，參考在相同視點(diǎn)中的不同時區(qū)上的片的情形可能僅限于與H.264/AVC兼容的視點(diǎn)間圖片組的。
在已經(jīng)解碼視點(diǎn)間圖片組之后，以沒有幀間預(yù)測的輸出順序，將所有順序編碼的圖片從在視點(diǎn)間圖片組之前解碼的圖片解碼。
因此，考慮圖3中所示的多視點(diǎn)視頻序列的總體編碼結(jié)構(gòu)，由于視點(diǎn)間圖片組的視點(diǎn)間依賴性不同于非視點(diǎn)間圖片組的視點(diǎn)間依賴性，所以有必要根據(jù)視點(diǎn)間圖片組標(biāo)識信息，將視點(diǎn)間圖片組與非視點(diǎn)間圖片組彼此區(qū)別開。
視點(diǎn)間參考信息意指指示何種結(jié)構(gòu)被用于預(yù)測視點(diǎn)間序列的信息。這可以從視頻信號的數(shù)據(jù)區(qū)獲得。例如，它可以從序列參數(shù)設(shè)置區(qū)獲得。并且，使用參考圖片的數(shù)目和參考圖片的視點(diǎn)信息，可以獲得視點(diǎn)間參考信息。例如，在已經(jīng)獲得視點(diǎn)的總數(shù)目之后，能夠基于視點(diǎn)的總數(shù)目獲得用于標(biāo)識每個視點(diǎn)的視點(diǎn)標(biāo)識信息。并且，可以獲得視點(diǎn)間參考圖片的數(shù)目信息，該信息指示用于每個視點(diǎn)的參考方向的參考圖片的數(shù)目。根據(jù)視點(diǎn)間參考圖片的數(shù)目信息，能夠獲得每個視點(diǎn)間參考圖片的視點(diǎn)標(biāo)識信息。
通過該方法，可以獲得視點(diǎn)間參考信息。并且，通過被分類成視點(diǎn)間圖片組的情形和非視點(diǎn)間圖片組的情形的方式，可以獲得視點(diǎn)間參考信息。使用指示在當(dāng)前NAL中的編碼的片是否與視點(diǎn)間圖片組相對應(yīng)的視點(diǎn)間圖片組標(biāo)識信息，可以知道這一點(diǎn)。從NAL頭部的擴(kuò)展
區(qū)域或者片層區(qū)域可以獲得視點(diǎn)間圖片組標(biāo)識信息。
而且，根據(jù)視點(diǎn)間圖片組標(biāo)識信息獲得的視點(diǎn)間參考信息可用于參考圖片列表的構(gòu)建、管理等。
如下描述了用于提供有效率地解碼視頻信號的方法的各種實施例。
圖4是用于解釋根據(jù)本發(fā)明實施例的根據(jù)存在或不存在運(yùn)動跳過
來執(zhí)行運(yùn)動補(bǔ)償?shù)姆椒ǖ囊晥D。
幀間預(yù)測單元700使用從熵解碼單元200發(fā)送的信息來補(bǔ)償當(dāng)前塊的運(yùn)動。從視頻信號提取與當(dāng)前塊相鄰的塊的運(yùn)動矢量，并且然后獲得當(dāng)前塊的運(yùn)動矢量。并且，使用所獲得的運(yùn)動矢量預(yù)測值和從視頻信號提取的差分矢量來補(bǔ)償當(dāng)前塊的運(yùn)動。并且，能夠使用一個參考圖片或多個參考圖片來執(zhí)行運(yùn)動補(bǔ)償。在多視點(diǎn)視頻編碼中，在當(dāng)前圖片參考在不同視點(diǎn)中的圖片時，能夠使用關(guān)于存儲在解碼的圖片緩沖單元600中的視點(diǎn)預(yù)測參考圖片列表的信息來執(zhí)行運(yùn)動補(bǔ)償。并且，還能夠使用用于標(biāo)識相對應(yīng)圖片視點(diǎn)的視點(diǎn)的信息來執(zhí)行運(yùn)動補(bǔ)償。
并且，直接預(yù)測模式是用于從編碼的塊的運(yùn)動信息來預(yù)測當(dāng)前塊的運(yùn)動信息的編碼模式。由于該方法能夠節(jié)省解碼運(yùn)動信息所需要的位的計數(shù)，所以提高了壓縮效率。例如，時間直接模式使用在時間方向上的運(yùn)動信息相關(guān)性來預(yù)測當(dāng)前塊的運(yùn)動信息。當(dāng)在包含不同運(yùn)動的序列中的運(yùn)動速度恒定時，時間直接模式是有效的。在將時間直接模式用于多視點(diǎn)視頻編碼的情形下，應(yīng)當(dāng)考慮多視點(diǎn)運(yùn)動矢量。
對于直接預(yù)測模式的另一示例，空間直接模式使用空間方向上的運(yùn)動信息相關(guān)性來預(yù)測當(dāng)前塊的運(yùn)動信息。當(dāng)在包含相同運(yùn)動的序列中運(yùn)動速度變化時，空間直接模式是有效的。在當(dāng)前圖片的反向參考圖片列表(列表l)中具有最小參考編號的參考圖片內(nèi)，能夠使用與當(dāng)前塊共處的塊的運(yùn)動信息來預(yù)測當(dāng)前圖片的運(yùn)動信息。然而，在多視點(diǎn)視頻編碼中，參考圖片可能存在于與當(dāng)前圖片的視點(diǎn)不同的視點(diǎn)中。在該情形下，在應(yīng)用空間直接模式中，各種實施例是可用的。
如下解釋了根據(jù)本發(fā)明實施例的用于根據(jù)存在或不存在運(yùn)動跳過來執(zhí)行運(yùn)動補(bǔ)償?shù)氖纠?br> 運(yùn)動跳過確定單元710確定是否推導(dǎo)當(dāng)前塊的運(yùn)動信息。例如，能夠使用指示是否執(zhí)行運(yùn)動跳過的標(biāo)記信息(下文中稱為運(yùn)動跳過標(biāo)記信息)。運(yùn)動跳過標(biāo)記信息可以被設(shè)置成分層次的。例如，可以在從由序列級、視點(diǎn)級、GOP (圖片組)級、圖片級、片級、宏塊級和子塊級所組成的組中選擇的至少一個上設(shè)置運(yùn)動跳過標(biāo)記信息。
如果運(yùn)動跳過標(biāo)記信息是l，則執(zhí)行運(yùn)動跳過。即，可以從參考塊的運(yùn)動信息來推導(dǎo)當(dāng)前塊的運(yùn)動信息。另一方面，如果運(yùn)動跳過標(biāo)記
信息是0，則運(yùn)動跳過確定單元710不執(zhí)行運(yùn)動跳過，而是獲得發(fā)送的
運(yùn)動信息。在該情形下，運(yùn)動信息可以包括運(yùn)動矢量、參考索引、塊類型等。
特別是，能夠從片頭部獲得第 一 標(biāo)記信息
(motion—skip—enable—flag)。在該情形下，第一標(biāo)記信息可以指示當(dāng)前片是否使用運(yùn)動跳過。例如，如果第一標(biāo)記信息是l，則當(dāng)前片使用運(yùn)動跳過。如果該標(biāo)記信息是0，則當(dāng)前片不使用運(yùn)動跳過。如果第一標(biāo)記信息不存在，則第一標(biāo)記信息可以被推導(dǎo)為O。
而且，能夠從宏塊層獲得第二標(biāo)記信息(motion—skip—flag)。在該情形下，第二標(biāo)記信息可以指示是否推導(dǎo)當(dāng)前塊的運(yùn)動信息。例如，在根據(jù)第一標(biāo)記信息在當(dāng)前片中使用運(yùn)動跳過的情形下，能夠重新獲得指示在宏塊層中是否使用運(yùn)動跳過的第二標(biāo)記信息。例如，如果第二標(biāo)記信息是l，則可以從在不同視點(diǎn)中的參考塊推導(dǎo)當(dāng)前宏塊的運(yùn)動信息。如果第二標(biāo)記信息是0，則不從在不同視點(diǎn)中的參考塊中推導(dǎo)當(dāng)前塊的運(yùn)動信息。如果第二標(biāo)記信息不存在，則可以從0推導(dǎo)第二標(biāo)記信息。因此，運(yùn)動跳過標(biāo)記信息可以分層次控制是否以在至少兩個級上分層次設(shè)置的方式來執(zhí)行運(yùn)動跳過。替代地，可以在單一級上獨(dú)立設(shè)置運(yùn)動跳過標(biāo)記信息。
對于另一實施例，預(yù)定要求對于獲得運(yùn)動跳過標(biāo)記信息可能是必要的。
對于第一示例，基于視點(diǎn)間圖片組標(biāo)識信息，可以獲得運(yùn)動跳過標(biāo)記信息。如在前面描述中所提及的，參考圖2詳細(xì)解釋了視點(diǎn)間圖片組標(biāo)識信息。在該情形下，運(yùn)動跳過標(biāo)記信息可以包含第一標(biāo)記信息和/或第二標(biāo)記信息。替代地，運(yùn)動跳過標(biāo)記信息可以包含在不同層中定義的另一標(biāo)記信息。如果根據(jù)視點(diǎn)間圖片組標(biāo)識信息，當(dāng)前圖片對應(yīng)于非視點(diǎn)間圖片組，則可以獲得運(yùn)動跳過標(biāo)記信息。
對于第二示例，基于視點(diǎn)間參考信息，可以獲得運(yùn)動跳過標(biāo)記信息。如在前文描述中所提及的，參考圖2詳細(xì)解釋了視點(diǎn)間參考信息。在該情形下，運(yùn)動跳過標(biāo)記信息可以包含第一標(biāo)記信息和/或第二標(biāo)記信息。例如，在視點(diǎn)間參考關(guān)系存在的情形下，可以獲得運(yùn)動跳過標(biāo)記信息。視點(diǎn)間參考關(guān)系可以意指非視點(diǎn)間圖片組的視點(diǎn)間參考關(guān)系。詳細(xì)地，能夠基于非視點(diǎn)間圖片組的視點(diǎn)間參考圖片的數(shù)目的信息來
獲得運(yùn)動跳過標(biāo)記信息。如果用于非視點(diǎn)間圖片組的LO方向的視點(diǎn)間參考圖片的數(shù)目大于o，則可以獲得運(yùn)動跳過標(biāo)記信息。如果用于非視點(diǎn)間圖片組的L1方向的視點(diǎn)間參考圖片數(shù)目大于0，可以獲得運(yùn)動跳過
標(biāo)記信息。
如果視點(diǎn)間圖片組的視點(diǎn)間參考關(guān)系存在，則可以將運(yùn)動跳過標(biāo)
23記信息設(shè)置成獲得。替代地，無論存在或不存在視點(diǎn)間圖片組，能夠?qū)⑦\(yùn)動跳過標(biāo)記信息設(shè)置成獲得。
對于第三示例，基于視點(diǎn)間圖片組信息和視點(diǎn)間參考信息，可以獲得運(yùn)動跳過標(biāo)記信息。在該情形下，運(yùn)動跳過標(biāo)記信息可以獲得第一標(biāo)記信息和/或第二標(biāo)記信息。例如，如果當(dāng)前圖片不是視點(diǎn)間圖片組，并且如果用于非視點(diǎn)間圖片組的L0和/或L1方向的視點(diǎn)間參考圖片的數(shù)目大于0，則能夠獲得運(yùn)動跳過標(biāo)記信息。
基于另一運(yùn)動跳過標(biāo)記信息，可以獲得運(yùn)動跳過標(biāo)記信息。例如，基于第一標(biāo)記信息，可以獲得第二標(biāo)記信息。s卩，如果當(dāng)前片根據(jù)第一標(biāo)記信息(motion—skip—enable—flag)執(zhí)行運(yùn)動跳過，則能夠獲得第二標(biāo)記信息(motion—skip—flag)。替代地，如果當(dāng)前圖片不是視點(diǎn)間圖片并且如果當(dāng)前片執(zhí)行運(yùn)動跳過，則能夠獲得第二標(biāo)記信息。
對于第四示例，基于當(dāng)前視點(diǎn)是否是基視點(diǎn)，可以獲得運(yùn)動跳過標(biāo)記信息。在該情形下，基視點(diǎn)可以意指可以獨(dú)立于其他視點(diǎn)被編碼的視點(diǎn)。替代地，基視點(diǎn)可以意指用于與常規(guī)解碼器(例如，H.264/AVC、
MPEG-2、 MPEG-4等)兼容的至少一個視點(diǎn)?；朁c(diǎn)可以變成在多視點(diǎn)中編碼的基礎(chǔ)。替代地，基視點(diǎn)可以對應(yīng)于用于預(yù)測不同視點(diǎn)的參考視點(diǎn)。通過序列編解碼方案(MPEG-2、 MPEG-4、 H.26L系列等)將與基視點(diǎn)相對應(yīng)的序列編碼，以形成為獨(dú)立位流。與基視點(diǎn)相對應(yīng)的序列可以或可以不與H.264/AVC兼容。然而，在與H.264/AVC兼容的視
點(diǎn)中的序列變成基視點(diǎn)。例如，如果當(dāng)前片對應(yīng)于基視點(diǎn)，則可以不解析當(dāng)前片的運(yùn)動跳過標(biāo)記信息。特別地，如果當(dāng)前片不對應(yīng)于基視點(diǎn)，則可以獲得當(dāng)前片的運(yùn)動跳過標(biāo)記信息。
同時，可以以各種方式定義參考視點(diǎn)。首先，能夠使用指示當(dāng)前要編碼的目標(biāo)是否與基視點(diǎn)相對應(yīng)的標(biāo)記信息。例如，如果
base_view=l，則它可以意指當(dāng)前視點(diǎn)對應(yīng)于基視點(diǎn)。如果base—view=0，則它可以意指當(dāng)前視點(diǎn)不對應(yīng)于基視點(diǎn)。第二，能夠使用級信息來定 義基視點(diǎn)。例如，在視點(diǎn)間圖片組是幀內(nèi)編碼的情形下，可以將包括 視點(diǎn)間圖片組的視點(diǎn)設(shè)置成最低級。并且，可以將具有最低級的視點(diǎn) 定義為基視點(diǎn)。第三，能夠使用優(yōu)先級標(biāo)識信息來定義基視點(diǎn)。在前 文的描述中解釋了優(yōu)先級標(biāo)識信息。例如，可以將優(yōu)先級標(biāo)識信息具 有最低值的視點(diǎn)定義為基視點(diǎn)。
對于第五示例，基于部分解碼標(biāo)記，可以獲得運(yùn)動跳過標(biāo)記信息。 在該情形下，如果當(dāng)前圖片對應(yīng)于非視點(diǎn)間圖片組，則部分解碼標(biāo)記 指示在不完全重建視點(diǎn)間參考圖片的情形下是否可以解碼。例如，如 果部分解碼標(biāo)記是l，則可以使用部分解碼的視點(diǎn)間參考圖片來解碼當(dāng) 前圖片。在該情形下，部分解碼可以意指僅解碼殘余信息的情形。
因此，為了獲得運(yùn)動跳過標(biāo)記，以上實施例可以作為獨(dú)立要求或 其組合被應(yīng)用。而且，在沒有任何要求的情形下，可以獲得運(yùn)動跳過 標(biāo)記。例如，可以從序列參數(shù)集合、圖片、片頭部、宏塊層和/或其一 個擴(kuò)展區(qū)域中獲得運(yùn)動跳過標(biāo)記。
在通過運(yùn)動跳過確定單元710執(zhí)行運(yùn)動跳過的情形下，相對應(yīng)塊搜
索單元720搜索相對應(yīng)塊。運(yùn)動信息推導(dǎo)單元730能夠使用相對應(yīng)塊的 運(yùn)動信息來推導(dǎo)當(dāng)前塊的運(yùn)動信息。然后，運(yùn)動補(bǔ)償單元740使用推導(dǎo) 出的運(yùn)動信息來執(zhí)行運(yùn)動補(bǔ)償。同時，如果未通過運(yùn)動跳過確定單元 710執(zhí)行運(yùn)動跳過，則運(yùn)動信息獲得單元750獲得發(fā)送的運(yùn)動信息。然 后，運(yùn)動補(bǔ)償單元740使用所獲得的運(yùn)動信息來執(zhí)行運(yùn)動補(bǔ)償。如下解 釋了用于執(zhí)行運(yùn)動補(bǔ)償?shù)脑敿?xì)處理。
圖5是解釋根據(jù)本發(fā)明實施例的搜索相對應(yīng)塊的方法的框圖。
根據(jù)本發(fā)明的實施例，能夠使用在第一域塊的第二域上的編碼信 息來預(yù)測在當(dāng)前塊的第二域上的編碼信息。在該情形下，能夠獲得作為編碼信息的塊信息以及運(yùn)動信息。例如，在跳過模式中，在當(dāng)前塊 之前編碼的塊的信息被用于當(dāng)前塊的信息。在應(yīng)用跳過模式中，在不 同域上存在的信息是可用的。參考詳細(xì)示例對這一點(diǎn)解釋如下。
對于第一示例，能夠假定時間Ta中兩個不同視點(diǎn)序列內(nèi)的對象(或 者背景)的相對運(yùn)動關(guān)系在與時間Ta充分接近的時間Tcurr中被類似地 保持。在該情形下，在時間Ta中的視點(diǎn)方向編碼信息與在時間Tcurr中 的視點(diǎn)方向編碼信息具有高度相關(guān)性。如果在同一視點(diǎn)中的不同時區(qū) 上的相對應(yīng)塊的運(yùn)動信息被完整地使用，則能夠獲得較高編碼效率。 并且，能夠使用指示是否使用該方法的運(yùn)動跳過信息。在根據(jù)運(yùn)動跳 過信息執(zhí)行運(yùn)動跳過的情形下，能夠從當(dāng)前塊的相對應(yīng)塊來預(yù)測諸如 塊類型、運(yùn)動矢量和參考索引的運(yùn)動信息。因此，能夠減少編碼運(yùn)動 信息所需要的位數(shù)量。
對于第二示例，與前面示例一樣，相同的方法通過改變作為算法 應(yīng)用軸的第一和第二域的方式可使用。具體而言，在相同時間Ta中的 視點(diǎn)Vn內(nèi)的對象(或者背景)以及在與視點(diǎn)Vn相鄰的視點(diǎn)Vm內(nèi)的對象 (或背景)很可能具有類似運(yùn)動信息。在該情形下，如果在不同視點(diǎn) 中的相同時區(qū)上的相對應(yīng)塊的運(yùn)動信息被完整地帶來，并且然后被使 用，則能夠?qū)崿F(xiàn)較高編碼效率。并且，能夠使用指示是否使用了這樣 的方法的運(yùn)動跳過信息。
使用與當(dāng)前塊相鄰的塊的運(yùn)動信息，編碼器預(yù)測當(dāng)前塊的運(yùn)動信 息，并且然后發(fā)送在實際運(yùn)動矢量和預(yù)測運(yùn)動矢量之間的差值。類似 地，解碼器確定當(dāng)前宏塊所參考的圖片的參考索引是否與相鄰塊所參 考的圖片的參考索引相同，并且然后，相應(yīng)地獲得運(yùn)動矢量預(yù)測值。 例如，在相鄰塊中存在具有當(dāng)前宏塊的相同參考索引的單一塊，相鄰 塊的運(yùn)動矢量依原樣被使用。在另一情形下，使用相鄰塊的運(yùn)動矢量 的中值。在多視點(diǎn)視頻編碼中，參考圖片可以不僅存在于時間軸上，而且 也在視點(diǎn)軸上。由于這個特性，所以如果當(dāng)前塊的參考圖片索引不同 于鄰近塊的參考圖片索引，則運(yùn)動矢量之間將很可能不具有相關(guān)性。 如果是這樣，則顯著降低了運(yùn)動矢量預(yù)測值的準(zhǔn)確性。因此，提出了 一種根據(jù)本發(fā)明一個實施例的使用視點(diǎn)間相關(guān)性的新運(yùn)動矢量預(yù)測方 法。
例如，在視點(diǎn)間生成的運(yùn)動矢量可能依賴于每個對象的深度。如 果序列的深度在空間上沒有顯著變化，并且如果根據(jù)時間軸的變化的 序列的運(yùn)動不顯著，則將不會顯著改變在每個宏塊位置處的深度本身。 在該情形下，深度可以意指能夠指示視點(diǎn)間視差差異的信息。由于全 局運(yùn)動矢量的影響基本上存在于相機(jī)之間，所以雖然深度稍微改變， 但是如果全局運(yùn)動矢量充分大于深度變化，則使用全局運(yùn)動矢量比使 用不具有相關(guān)性的相鄰塊的時間方向運(yùn)動矢量可能更有效率。
在該情形下，全局運(yùn)動矢量可以意指可共同應(yīng)用于預(yù)定區(qū)域的運(yùn) 動矢量。例如，如果運(yùn)動矢量對應(yīng)于局部區(qū)域(例如，宏塊、塊、像 素等)，則全局運(yùn)動矢量或全局視差矢量是對應(yīng)于包括該局部區(qū)域的 整個區(qū)域的運(yùn)動矢量。例如，該整個區(qū)域可以對應(yīng)于單一片、單一圖 片或整個序列。并且，該整個區(qū)域可以對應(yīng)于在圖片、背景或預(yù)定區(qū) 域內(nèi)的至少一個對象。全局運(yùn)動矢量可以是像素單位、1/4像素單位的 值，或者4x4單位、8x8單位或宏塊單位的值。
根據(jù)本發(fā)明的實施例，能夠使用共處塊的視點(diǎn)間運(yùn)動信息來預(yù)測 當(dāng)前塊的運(yùn)動矢量。在該情形下，該共處塊可以是與存在于相同圖片 中的當(dāng)前塊相鄰的塊，或者對應(yīng)于與包括在不同圖片中的當(dāng)前塊共處 的塊。例如，在不同視點(diǎn)中的不同圖片的情形下，它可以是空間共處 的塊。在相同視點(diǎn)中的不同圖片的情形下，它可以是時間共處的塊。
在多視點(diǎn)視頻編碼結(jié)構(gòu)中，通過將圖片僅用于具有預(yù)定時間間隔的視點(diǎn)方向中的預(yù)測，可以執(zhí)行隨機(jī)訪問。因此，如果解碼了用于預(yù) 測僅在視點(diǎn)方向上的運(yùn)動信息的兩個圖片，則能夠?qū)⑿碌倪\(yùn)動矢量預(yù) 測方法應(yīng)用于時間上存在于兩個解碼的圖片之間的圖片。例如，能夠 從用于僅在視點(diǎn)方向上的預(yù)測的圖片來獲得視點(diǎn)方向運(yùn)動矢量，并且 這可以按照4x4塊單位來存儲。在執(zhí)行僅視點(diǎn)方向預(yù)測過程中照亮差異 顯著的情形下，通過幀內(nèi)預(yù)測來執(zhí)行編碼可能頻繁發(fā)生。在該情形下， 運(yùn)動矢量可以被設(shè)置成0。然而，如果由于顯著照亮差異而主要通過幀 內(nèi)預(yù)測來執(zhí)行編碼，則生成了許多宏塊，這些宏塊關(guān)于在視點(diǎn)方向上 的運(yùn)動矢量的信息是未知的。為了補(bǔ)償這一點(diǎn)，在幀內(nèi)預(yù)測的情形下， 能夠使用相鄰塊的運(yùn)動矢量來計算虛擬視點(diǎn)間運(yùn)動矢量。并且，能夠 將虛擬視點(diǎn)間運(yùn)動矢量設(shè)置成通過幀內(nèi)預(yù)測編碼的塊的運(yùn)動矢量。
在已經(jīng)從兩個解碼的圖片獲得了視點(diǎn)間運(yùn)動信息之后，能夠編碼 在解碼的圖片之間存在的層次B圖片。在該情形下，這兩個解碼的圖片 可以是視點(diǎn)間圖片組。在該情形下，視點(diǎn)間圖片組意指僅參考所有片 在相同時區(qū)上的幀中的片的編碼的圖片。例如，它意指僅參考在不同 視點(diǎn)中的片而不參考在當(dāng)前視點(diǎn)中的片的編碼的圖片。
同時，在預(yù)測當(dāng)前塊的運(yùn)動矢量的方法中，相對應(yīng)塊存在于與當(dāng)前 塊的視點(diǎn)不同的視點(diǎn)中，并且然后使用相對應(yīng)塊的編碼信息可以預(yù)測 當(dāng)前塊的編碼信息。首先，如下解釋了找到存在于與當(dāng)前塊的視點(diǎn)不 同的視點(diǎn)中的相對應(yīng)塊的方法。
例如，相對應(yīng)塊可以是由當(dāng)前塊的視點(diǎn)方向運(yùn)動矢量指示的塊。 在該情形下，視點(diǎn)方向運(yùn)動矢量意指指示視點(diǎn)間視差差異的矢量或全 局運(yùn)動矢量。在該情形下，已經(jīng)在前文描述中解釋了全局運(yùn)動矢量的 含義。并且，全局運(yùn)動矢量可以指示在當(dāng)前塊的相同時刻上的相鄰視
點(diǎn)的相對應(yīng)宏塊位置。參考圖5，圖片A和B存在于時間Ta中，圖片C和 D存在于時間Tcurr中，并且圖片E和F存在于時間Tb中。在該情形下， 在時間Ta中的圖片A和B以及在時間Tb中的圖片可以是視點(diǎn)間圖片組。
28并且，在時間Tcurr中的圖片C和D可以是非視點(diǎn)間圖片組。圖片A、 C 和E存在于相同視點(diǎn)Vn中。并且，圖片B、 D和F存在于相同視點(diǎn)Vm中。 圖片C是當(dāng)前要被解碼的圖片。并且，圖片D的相對應(yīng)宏塊(MB)是由 在視點(diǎn)方向上的當(dāng)前塊(當(dāng)前MB)的全局運(yùn)動矢量GDVcurr指示的塊。 通過在當(dāng)前圖片和在相鄰視點(diǎn)中的圖片之間的宏塊單元可以獲得全局 運(yùn)動矢量。在該情形下，通過指示視點(diǎn)間參考關(guān)系的信息，可以知道 關(guān)于相鄰視點(diǎn)的信息。
指示視點(diǎn)間參考關(guān)系的信息是指示何種結(jié)構(gòu)被用于預(yù)測視點(diǎn)間序 列的信息。這可以從視頻信號的數(shù)據(jù)區(qū)獲得。例如，它可以從序列參 數(shù)集合獲得。并且，使用參考圖片的數(shù)目信息和參考圖片的視點(diǎn)信息， 可以識別視點(diǎn)間參考信息。例如，在已經(jīng)獲得了視點(diǎn)的總數(shù)目之后， 基于視點(diǎn)的總數(shù)目，能夠識別用于區(qū)別每個視點(diǎn)的視點(diǎn)信息。并且， 能夠獲得用于每個視點(diǎn)的參考方向的參考圖片的數(shù)目。根據(jù)參考圖片 的數(shù)目，能夠獲得每個參考圖片的視點(diǎn)信息。通過該處理，可以獲得 視點(diǎn)間參考信息。并且，通過被分成視點(diǎn)間圖片組的情形和非視點(diǎn)間 圖片組的情形的方式，可以識別視點(diǎn)間參考信息。這可以使用視點(diǎn)間 圖片組標(biāo)識信息來指導(dǎo)，視點(diǎn)間圖片組標(biāo)識信息指示在當(dāng)前N AL中的 編碼的片是否對應(yīng)于視點(diǎn)間圖片組。
作為本發(fā)明的實施例，預(yù)定要求對于獲得用于找出相對應(yīng)塊的視 點(diǎn)方向上的矢量可能是必要的。例如，如下解釋了用于獲得全局運(yùn)動 矢量的要求。
對于第一示例，基于視點(diǎn)間圖片組標(biāo)識信息，可以獲得全局運(yùn)動 矢量。在前文的描述中，解釋了視點(diǎn)間圖片組標(biāo)識信息和全局運(yùn)動矢 量。例如，在根據(jù)視點(diǎn)間圖片組標(biāo)識信息，當(dāng)前圖片對應(yīng)于視點(diǎn)間圖 片組的情形下，能夠獲得全局運(yùn)動矢量。在該情形下，全局運(yùn)動矢量 可以包括在L0方向上的全局運(yùn)動矢量和/或在L1方向上的全局運(yùn)動矢
量。替代地，在根據(jù)視點(diǎn)間圖片標(biāo)識信息，當(dāng)前圖片對應(yīng)于非視點(diǎn)間圖片組的情形下，能夠?qū)⑷诌\(yùn)動矢量設(shè)置成被獲得。替代地，無論 存在或不存在視點(diǎn)間圖片組，能夠?qū)⑷诌\(yùn)動矢量設(shè)置成被獲得。
對于第二示例，基于片類型，可以獲得全局運(yùn)動矢量。例如，如 果當(dāng)前宏塊的片類型是P片或B片，則可以獲得全局運(yùn)動矢量。在當(dāng)前 塊的片類型是P片的情形下，能夠獲得在LO方向上的全局運(yùn)動矢量。在
當(dāng)前塊的片類型是B片的情形下，能夠獲得在LO方向上的全局運(yùn)動矢量 以及在L1方向上的全局運(yùn)動矢量。
對于第三示例，基于視點(diǎn)間參考信息，可以獲得全局運(yùn)動矢量。
參考圖2詳細(xì)解釋了視點(diǎn)間參考信息。例如，如果存在視點(diǎn)間參考關(guān)系， 則可以獲得全局運(yùn)動矢量。在該情形下，視點(diǎn)間參考關(guān)系可以意指非 視點(diǎn)間圖片組的視點(diǎn)間參考關(guān)系。具體地例如，基于關(guān)于非視點(diǎn)間圖 片組的視點(diǎn)間參考圖片的數(shù)目的信息，能夠獲得全局運(yùn)動矢量。能夠 獲得與在非視點(diǎn)間圖片組的LO方向上的視點(diǎn)間參考圖片的數(shù)目一樣多 的在LO方向上的全局運(yùn)動矢量。替代地，能夠獲得與在非視點(diǎn)間圖片 組的L1方向上的視點(diǎn)間參考圖片的數(shù)目一樣多的L1方向上的全局運(yùn)動
對于第四示例，基于當(dāng)前視點(diǎn)是否是基視點(diǎn)，可以獲得全局運(yùn)動 矢量。在該情形下，基視點(diǎn)可以意指可以獨(dú)立于其他視點(diǎn)被編碼的視 點(diǎn)。替代地，基視點(diǎn)可以意指用于與常規(guī)解碼器(例如，H.264/AVC、 MPEG-2、 MPEG-4等)兼容的至少一個視點(diǎn)。該基視點(diǎn)可以成為在多 視點(diǎn)中編碼的基礎(chǔ)。替代地，基視點(diǎn)可以對應(yīng)于用于不同視點(diǎn)的預(yù)測 的參考視點(diǎn)。通過序列編解碼方案(MPEG-2、 MPEG-4、 H.26L系列等) 將與基視點(diǎn)相對應(yīng)的序列編碼，以形成為獨(dú)立位流。與基視點(diǎn)相對應(yīng) 的序列可以或可以不與H.264/AVC兼容。然而，在與H.264/AVC兼容的
視點(diǎn)中的序列成為基視點(diǎn)。例如，如果當(dāng)前片對應(yīng)于基視點(diǎn)，則可以 不解析當(dāng)前片的全局運(yùn)動矢量。特別地，如果當(dāng)前片不對應(yīng)于基視點(diǎn)， 則可以獲得當(dāng)前片的全局運(yùn)動矢量。同時，可以以各種方式來定義參考視點(diǎn)。首先，能夠使用指示當(dāng) 前要編碼的目標(biāo)是否與基視點(diǎn)相對應(yīng)的標(biāo)記信息。例如，如果
base—view=l，則它可以意指當(dāng)前視點(diǎn)對應(yīng)于基視點(diǎn)。如果base一viewi， 則它可以意指當(dāng)前視點(diǎn)不對應(yīng)于基視點(diǎn)。第二，能夠使用級信息來定 義基視點(diǎn)。例如，在視點(diǎn)間圖片組是幀內(nèi)編碼的情形下，包括視點(diǎn)間 圖片組的視點(diǎn)可以被設(shè)置成最低級。并且，具有最低級的視點(diǎn)可以被 定義為基視點(diǎn)。第三，能夠使用優(yōu)先級標(biāo)識信息來定義基視點(diǎn)。在前 文的描述中解釋了優(yōu)先級標(biāo)識信息。例如，可以將優(yōu)先級標(biāo)識信息具 有最低值的視點(diǎn)定義為基視點(diǎn)。
因此，為了獲得全局運(yùn)動矢量，上述示例可以作為獨(dú)立的要求或 者其任何組合來應(yīng)用。
根據(jù)本發(fā)明的另一實施例，如果當(dāng)前圖片對應(yīng)于非視點(diǎn)間圖片組， 則如下解釋了推導(dǎo)當(dāng)前圖片的全局運(yùn)動矢量的方法。
首先，在當(dāng)前圖片對應(yīng)于非視點(diǎn)間圖片組的情形下，當(dāng)前圖片的 全局運(yùn)動矢量可以從視點(diǎn)間圖片組的全局運(yùn)動矢量推導(dǎo)出。例如，使 用在編碼順序中當(dāng)前圖片之前的編碼的視點(diǎn)間圖片組的全局運(yùn)動矢 量，可以推導(dǎo)當(dāng)前圖片的全局運(yùn)動矢量。在該情形下，視點(diǎn)間圖片組 可以是在當(dāng)前圖片之前的編碼的視點(diǎn)間圖片組當(dāng)中的最近編碼的視點(diǎn) 間圖片。然而，如果最近編碼的視點(diǎn)間圖片組不可用，則能夠使用在 最近編碼的視點(diǎn)間圖片組之前的編碼的視點(diǎn)間圖片組的全局運(yùn)動矢 量。具體地例如，假定在圖5中視點(diǎn)Vn中的圖片A、 C和E的編碼順序?qū)?應(yīng)于A、 E和C的順序。并且，假定圖片A和E對應(yīng)于視點(diǎn)間圖片組。而 且，圖片C對應(yīng)于非視點(diǎn)間圖片組。在該情形下，當(dāng)前圖片C的全局運(yùn) 動矢量可以從與最近編碼的視點(diǎn)間圖片組相對應(yīng)的圖片E的全局運(yùn)動
矢量來推導(dǎo)出。這可以被表示為公式l。
31[公式l]
GDV,-GDVb
如果GDVb不可用，則能夠使用圖片A的全局運(yùn)動矢量。這可以被 表示為公式2。
GDV,=GDVA
并且，能夠獲得與當(dāng)前圖片所參考圖的視點(diǎn)的數(shù)目一樣多的當(dāng)前 圖片的全局運(yùn)動矢量。在該情形下，可以從視點(diǎn)間參考信息獲得所參 考的視點(diǎn)的數(shù)目。并且，可以從序列參數(shù)集合的擴(kuò)展區(qū)域獲得該視點(diǎn) 間參考信息。例如，所參考的視點(diǎn)的數(shù)目可以意指用于非視點(diǎn)間圖片 組的視點(diǎn)間參考圖片的數(shù)目。這可以應(yīng)用于列表0方向和/或列表l方向。
從視點(diǎn)間參考信息可以獲得由當(dāng)前圖片參考的視點(diǎn)。例如，參考 視點(diǎn)的視點(diǎn)標(biāo)識信息可以意指用于非視點(diǎn)間圖片組的視點(diǎn)間參考圖片
的視點(diǎn)標(biāo)識信息。這可以應(yīng)用于列表o方向和/或列表i方向。
根據(jù)本發(fā)明的另一實施例，如果當(dāng)前圖片對應(yīng)于非視點(diǎn)間圖片組， 則使用視點(diǎn)間圖片組的全局運(yùn)動矢量連同指示時間(或空間)距離的
信息，可以獲得當(dāng)前圖片的全局運(yùn)動矢量。例如，參考圖5，假定圖片 A的全局運(yùn)動矢量被設(shè)置成GDVa，并且假定圖片E的全局運(yùn)動矢量被設(shè) 置成GDVb，則使用與視點(diǎn)間圖片組相對應(yīng)的圖片A和E的全局運(yùn)動矢量 和時間距離信息，可以獲得與非視點(diǎn)間圖片組相對應(yīng)的當(dāng)前圖片C的全 局運(yùn)動矢量。例如，時間距離信息可以包括指示圖片輸出順序的POC (圖片順序計數(shù))。因此，使用公式3，能夠推導(dǎo)出當(dāng)前圖片的全局運(yùn) 動矢量。觀察公式3 ，使用在當(dāng)前圖片C和可用視點(diǎn)間圖片組A和E之間的時 間距離，能夠計算當(dāng)前塊的全局運(yùn)動矢量。
因此，使用所獲得的全局運(yùn)動矢量，能夠找出當(dāng)前塊所參考的相 對應(yīng)塊。并且，使用該相對應(yīng)塊，能夠預(yù)測當(dāng)前塊的編碼信息。然而， 根據(jù)應(yīng)用的區(qū)域，可能降低全局運(yùn)動矢量的準(zhǔn)確性。因此，有必要更 詳細(xì)地找出相對應(yīng)的塊。參考圖6如下解釋使用邊信息準(zhǔn)確找出相對應(yīng) 塊的方法。
圖6是解釋根據(jù)本發(fā)明實施例的使用邊信息搜索相對應(yīng)塊的方法 的視圖。
在預(yù)測當(dāng)前塊的運(yùn)動矢量的方法中，通過找出存在于與當(dāng)前塊的 視點(diǎn)不同的視點(diǎn)中的相對應(yīng)塊的方式，使用該相對應(yīng)塊的編碼信息， 能夠預(yù)測當(dāng)前塊的編碼信息。相對應(yīng)塊可以包括由當(dāng)前塊的視點(diǎn)方向 運(yùn)動矢量所指示的塊。并且，視點(diǎn)方向運(yùn)動矢量可以意指全局運(yùn)動矢 量。在前文描述中解釋了全局運(yùn)動矢量的含義。在該情形下，如果使 用邊信息找出了與當(dāng)前塊最類似的塊，則可以更高地提高編碼效率。
根據(jù)本發(fā)明的實施例，如下解釋了提高運(yùn)動矢量的準(zhǔn)確性的方法。 例如，能夠使用邊信息來提高運(yùn)動矢量的準(zhǔn)確性。并且，邊信息可以 包括偏移信息。例如，偏移信息可以包括第一偏移信息offset—X，該信 息指示在由當(dāng)前塊的全局運(yùn)動矢量指示的相對應(yīng)塊MB1和包含運(yùn)動信 息的實際參考塊MB2之間的位置差。在該情形下，相對應(yīng)塊MB1和參 考塊MB2中的每個可以包括16"6宏塊。并且，在執(zhí)行運(yùn)動跳過的情形 下，可以從宏塊層獲得第一偏移信息offset—X。在下列描述中，解釋了
33使用第一偏移信息offset—X來推導(dǎo)指示參考塊MB2的運(yùn)動矢量的處理。
首先，能夠推導(dǎo)第二偏移信息offset—Y,該信息指示在由當(dāng)前塊的 全局運(yùn)動矢量指示的位置P1和包括前面位置P1的宏塊MB1的位置P2之 間的差。在這種情形下，第二偏移信息offset一Y可以意指變量。例如， 基于由當(dāng)前塊的全局運(yùn)動矢量指示的位置P1的值，可以推導(dǎo)第二偏移 信息offset一Y。具體地例如，如果從劃分由當(dāng)前塊的全局運(yùn)動矢量指示 的位置P1 (x，y)的水平和垂直分量得到的余數(shù)是(0， 0)，則第二偏 移信息offset—Y被設(shè)置成(0， 0)。如果余數(shù)是(0， 1)，則第二偏移 信息offset—Y可以被設(shè)置成(0， 1)。如果余數(shù)是(1， 0)，則第二偏 移信息offset—Y可以被設(shè)置成(1， 0)。如果余數(shù)是(1， 1)，則第二 偏移信息offset—Y可以被設(shè)置成(1， 1)。
使用第 一偏移信息offset—X和第二偏移信息offset_Y,能夠推導(dǎo)出 第三偏移信息offset—Z，該信息指示在由當(dāng)前塊的全局運(yùn)動矢量指示的 位置P1和包括在參考塊MB2中的位置P3之間的差。這可以由公式4表示。
offset Z
=offset—X
-offset—Y
offset一Z[ 1 ]=offset—X[ 1 ]-offset一Y[ 1 ]
在該情形下，"0"和"1"可以分別意指水平和垂直方向。
同時，當(dāng)前塊的全局運(yùn)動矢量GDV可以經(jīng)由位流發(fā)送。因此，使 用發(fā)送的全局運(yùn)動矢量GDV和上述推導(dǎo)的第三偏移信息offset—Z，能夠
推導(dǎo)修改的運(yùn)動矢量。例如，修改得運(yùn)動矢量可以意指指示第二參考 塊MB2的運(yùn)動矢量accGDV。在該情形下，參考塊MB2可以意指具有最 佳率失真的塊，最佳率失真是通過編碼器計算所有塊的率失真的結(jié)果。 即，參考塊MB2可以意指與當(dāng)前塊最類似的塊。修改的運(yùn)動矢量可以按照公式5推導(dǎo)出。
<formula>formula see original document page 35</formula>
使用修改的運(yùn)動矢量accGDV，能夠推導(dǎo)參考塊MB2的位置信息。 例如，如果從劃分由修改運(yùn)動矢量指示的位置P3 (x,y)的水平和垂直 分量得到的余數(shù)是(0， 0)，則它可以被稱為"模式0"。在該情形下， 模式0可以意指，參考塊MB2的位置指示在按照8X8單位被劃分成四個 相等部分的16X16宏塊的左上端部分處的8X8塊的位置。如果從劃分 由修改運(yùn)動矢量指示的位置P3 (x,y)的水平和垂直分量所得到的余數(shù) 是(1， 0)，則它被稱為"模式l"。在該情形下，模式l可以意指， 參考塊MB2的位置指示在按照8X8單位被劃分成四個相等部分的16X 16宏塊的右上端部分處的8X8塊的位置。以相同方式，如果余數(shù)是(O， 1)，則它可以被稱為"模式2"。以相同方式，如果余數(shù)是(1， 1)， 則它可以被稱為"模式3"。模式2指示在左下端部分處的8X8塊的位 置。并且，模式3指示在右下端部分處的8X8塊的位置。
因此，推導(dǎo)出參考塊MB2的位置信息，并且然后，根據(jù)參考塊MB2 的位置信息，可以推導(dǎo)當(dāng)前塊的運(yùn)動信息。在該情形下，運(yùn)動信息可 以包括運(yùn)動矢量、參考索引、塊類型等。
圖7是解釋根據(jù)本發(fā)明實施例的在至少一個參考視點(diǎn)是可用的情 形下執(zhí)行運(yùn)動跳過的方法的視圖。
關(guān)于參考視點(diǎn)的信息可以經(jīng)由位流由編碼器顯式發(fā)送，或者可以 由編碼器隱式和隨機(jī)確定。在下列描述中解釋了該顯式方法和隱式方 法。首先，指示可以顯式發(fā)送指示包括在參考視點(diǎn)列表中的視點(diǎn)中的 哪一個被設(shè)置成參考視點(diǎn)的信息，即，參考視點(diǎn)的視點(diǎn)標(biāo)識信息。在 該情形下，參考視點(diǎn)列表可以意指基于視點(diǎn)間參考關(guān)系(視點(diǎn)依賴性) 構(gòu)建的參考視點(diǎn)的列表。
例如，如果它被設(shè)置成檢查從與當(dāng)前視點(diǎn)最接近的一個的視點(diǎn)是 否可以是屬于參考視點(diǎn)列表的視點(diǎn)當(dāng)中的參考視點(diǎn)，則不必顯式發(fā)送 參考視點(diǎn)的視點(diǎn)標(biāo)識信息。然而，由于在L0和L1方向上的參考視點(diǎn)列 表可以存在于這樣的情形中，所以能夠顯式發(fā)送指示將首先檢查這兩 個視點(diǎn)中的哪一個的標(biāo)記信息。例如，根據(jù)該標(biāo)記信息，能夠確定首
先檢查在L0方向上的參考視點(diǎn)列表還是在L1方向上的參考視點(diǎn)列表。
又例如，能夠顯式發(fā)送要被用于運(yùn)動跳過的參考視點(diǎn)的數(shù)目信息。 在這種情形下，可以從序列參數(shù)集合獲得參考視點(diǎn)的數(shù)目信息。并且， 能夠顯式發(fā)送具有由編碼器計算的最佳效率的多個全局運(yùn)動矢量。在 該情形下，從非視點(diǎn)間圖片組的片頭部，可以獲得多個全局運(yùn)動矢量。 因此，可以順序地應(yīng)用多個已發(fā)送的全局運(yùn)動矢量。例如，在具有最 佳效率的全局運(yùn)動矢量指示的塊以幀內(nèi)模式被編碼或者不可使用時， 能夠檢査由具有第二最佳效率的全局運(yùn)動矢量指示的塊。并且，以同 樣方式，能夠檢查由多個顯式發(fā)送的全局運(yùn)動矢量指示的所有塊。
又例如，能夠定義指示是否將運(yùn)動跳過模式應(yīng)用于序列中的標(biāo)記
信息。例如，如果motion—skip—flag—sequence是l，則在序列中可應(yīng)用運(yùn) 動跳過模式。如果motion—skip—flag—sequence是0，則在序列中不應(yīng)用運(yùn) 動跳過模式。如果這樣，則能夠重新檢查在片中或者宏塊級上是否應(yīng) 用運(yùn)動跳過模式。
如果根據(jù)標(biāo)記信息，在序列中應(yīng)用運(yùn)動跳過模式，則能夠定義將 在運(yùn)動跳過模式中使用的參考視點(diǎn)的總數(shù)目。例如， num—of—views—mi皿s 1—for—ms可以意指將在運(yùn)動跳過模式中使用的參考視點(diǎn)的總數(shù)目。并且，可以從序列參數(shù)集合的擴(kuò)展區(qū)域獲得
num—of—views—minus 1—for—ms。能夠獲得總計達(dá)到參考視點(diǎn)的總數(shù)目 的全局運(yùn)動矢量。在這種情形下，從片頭部可以獲得全局運(yùn)動矢量。 并且，僅當(dāng)前片對應(yīng)于非視點(diǎn)間圖片組時，才可以獲得全局運(yùn)動矢量。 因此，以上文所解釋的方式，可以順序地應(yīng)用多個獲得的全局運(yùn)動矢
又例如，基于參考視點(diǎn)的總數(shù)目，可以從序列參數(shù)集合的擴(kuò)展區(qū) 域獲得全局運(yùn)動矢量。例如，通過被劃分成在LO方向上的全局運(yùn)動矢 量和在L1方向上的全局運(yùn)動矢量，可以獲得全局運(yùn)動矢量。在這種情 形下，從視點(diǎn)間參考信息可以確認(rèn)參考視點(diǎn)的數(shù)目，并且通過被分成 在L0方向上的參考視點(diǎn)的數(shù)目和在L1方向上的參考視點(diǎn)的數(shù)目，可以 獲得參考視點(diǎn)的數(shù)目。在該情形下，在片內(nèi)的所有塊使用從序列參數(shù) 集合的擴(kuò)展區(qū)域獲得的相同全局運(yùn)動矢量。并且，不同全局運(yùn)動矢量 可以被用在宏塊層中。在該情形下，指示全局運(yùn)動矢量的索引可能與 先前編碼的視點(diǎn)間圖片組的全局運(yùn)動矢量的索引相同。并且，全局運(yùn) 動矢量的視點(diǎn)標(biāo)識編號可以與先前編碼的視點(diǎn)間圖片組的全局運(yùn)動矢 量所指示的視點(diǎn)的標(biāo)識編號相同。
又例如，能夠發(fā)送具有由編碼器計算的最佳效率的相對應(yīng)塊的視 點(diǎn)標(biāo)識編號。即，選擇的參考視點(diǎn)的視點(diǎn)標(biāo)識編號可以在宏塊級上被 編碼。替代地，選擇的參考視點(diǎn)的視點(diǎn)標(biāo)識編號可以在片級上被編碼。 替代地，使得能夠選擇片級或宏塊級的標(biāo)記信息可以在片級上被定義。 例如，如果該標(biāo)記信息指示在宏塊級上的使用，則可以在宏塊級上解 析參考視點(diǎn)的視點(diǎn)標(biāo)識編號。替代地，在該標(biāo)記信息指示在片級上的 使用的情形下，在片級上解析參考視點(diǎn)的視點(diǎn)標(biāo)識編號，而非在宏塊 級上解析。
同時，可以不發(fā)送指示包括在L0和L1方向上的參考視點(diǎn)列表中的 參考視點(diǎn)中的哪一個將被選擇作為參考視點(diǎn)的信息。如果這樣，則通
37過檢査存在于每個參考視點(diǎn)的相對應(yīng)塊中的運(yùn)動信息，能夠確定最終參考視點(diǎn)和相對應(yīng)塊。關(guān)于將最優(yōu)先地檢査屬于L0和L1方向上的參考視點(diǎn)列表中的指定一個的參考視點(diǎn)的哪一個，可能存在各種實施例。如果運(yùn)動信息不存在于參考視點(diǎn)中，則關(guān)于其后執(zhí)行檢查的順序，可能存在各種實施例。
例如，在屬于特定參考視點(diǎn)列表的參考視點(diǎn)之間的優(yōu)先級中，首
先，能夠以指示包括在LO方向上的參考視點(diǎn)列表(或者在L1方向上的
參考視點(diǎn)列表)中的參考視點(diǎn)當(dāng)中的參考視點(diǎn)的較低索引的順序，檢査參考視點(diǎn)。在這種情形下，指示參考視點(diǎn)的索引可以是在編碼器中編碼位流過程中設(shè)置的參考視點(diǎn)的一系列編號。例如，在將序列擴(kuò)展
信息(SPS擴(kuò)展)中非視點(diǎn)間圖片組的參考視點(diǎn)表示為non—anchor—ref—10[i]或者non—anchor—ref—ll[i]的過程中，"i"可以是指示參考視點(diǎn)的索引。在編碼器中，能夠以更接近當(dāng)前視點(diǎn)的順序分配較低索引，這不是對本發(fā)明的限制。如果索引"i"從0開始，則檢查"1=0"的參考視點(diǎn)，檢查"i=l"的參考視點(diǎn)，并且然后，可以檢查"i=2"的參考視點(diǎn)。
參考圖7，在第一參考列表RL1中，具有指示參考視點(diǎn)的最低索引的視點(diǎn)(Ve.^non—anchor—ref—10
)可以被確定為第一參考視點(diǎn)RV1 。并且，由在當(dāng)前視點(diǎn)Vc和第一參考視點(diǎn)RVl之間的全局運(yùn)動矢量(GDV一IO[O])指示的塊可以被確定為第一相對應(yīng)塊CB1。在第一相對應(yīng)塊CB1不是幀內(nèi)塊的情形下，第一相對應(yīng)塊最終被確定為相對應(yīng)塊。并且然后，可以從該第一相對應(yīng)塊推導(dǎo)運(yùn)動信息。
另一方面，如果第一相對應(yīng)塊CB1的塊類型是幀內(nèi)塊，則在第二參考列表RL2中具有最低索引的視點(diǎn)(Vc+1=non—anchor—ref_ll[O])可以被確定為第二參考視點(diǎn)RV2。并且，基于相對應(yīng)塊的塊類型，由在當(dāng)前視點(diǎn)Vc和第二參考視點(diǎn)RV2之間的全局運(yùn)動矢量(GDV一ll[O])指示的塊可以被確定為第二相對應(yīng)塊CB2。與上述方法一樣，能夠順序地檢查第三參考視點(diǎn)RV3的第三相對應(yīng)塊CB3和第四參考視點(diǎn)RV4的第四相對應(yīng)塊CB4。 g卩，通過考慮指示參考視點(diǎn)的索引，通過交替LO方向的第一參考列表RL1和U方向的第二參考列表RL2的各個參考視點(diǎn)，檢査是否存在運(yùn)動信息。
又例如，能夠以與包括在LO方向上的參考視點(diǎn)列表(或者在L1方向上的參考視點(diǎn)列表)中的參考視點(diǎn)中當(dāng)前視點(diǎn)的接近性順序來檢查參考視點(diǎn)。
又例如，能夠以與包括在LO方向上的參考視點(diǎn)列表(或者在L1方向上的參考視點(diǎn)列表)中的參考視點(diǎn)中當(dāng)基視點(diǎn)的接近性順序來檢査參考視點(diǎn)。
而且，在L0方向上的參考視點(diǎn)列表和在L1方向上的參考視點(diǎn)列表之間的優(yōu)先級中，屬于在LO方向上的參考視點(diǎn)的參考視點(diǎn)可以被設(shè)置成在屬于在L1方向上的參考視點(diǎn)列表的參考視點(diǎn)之前被檢査。
圖8A至8D是根據(jù)本發(fā)明實施例的在至少一個參考視點(diǎn)可用的情形下指示用于運(yùn)動跳過的視點(diǎn)的各種示例的視圖。
對于第一示例，能夠使用用于運(yùn)動跳過的參考視點(diǎn)的視點(diǎn)標(biāo)識信息來執(zhí)行運(yùn)動跳過。編碼器計算所有情形的率失真，并且然后可以找出具有最佳效率的相對應(yīng)塊?？梢詫⑾鄬?yīng)塊的視點(diǎn)標(biāo)識信息發(fā)送至解碼器。例如，參考圖8A，在對當(dāng)前塊執(zhí)行運(yùn)動跳過的情形下[S820]，能夠獲得相對應(yīng)塊的視點(diǎn)標(biāo)識信息[S830]。在該情形下，相對應(yīng)塊的視點(diǎn)標(biāo)識信息可以意指用于當(dāng)前塊視點(diǎn)的視點(diǎn)標(biāo)識符。并且，僅當(dāng)當(dāng)前圖片對應(yīng)于非視點(diǎn)見圖片組時，才可以獲得參考視點(diǎn)的視點(diǎn)標(biāo)識信息。并且，基于視點(diǎn)間參考信息，可以獲得參考視點(diǎn)的視點(diǎn)標(biāo)識信息。例如，如果視點(diǎn)間參考關(guān)系存在，則可以獲得參考視點(diǎn)的標(biāo)識信息。在該情形下，例如，視點(diǎn)間參考關(guān)系可以意指非視點(diǎn)間圖片組的視點(diǎn)間參考關(guān)系。具體而言，基于非視點(diǎn)間圖片組的視點(diǎn)間參考圖片數(shù)目的 信息，能夠獲得參考視點(diǎn)的視點(diǎn)標(biāo)識信息。如果在非視點(diǎn)間圖片組的 LO方向上的視點(diǎn)間參考圖片的數(shù)目大于0，或者如果在非視點(diǎn)間圖片組 的L1方向上的視點(diǎn)間參考圖片的數(shù)目大于0，則能夠獲得參考視點(diǎn)的視
點(diǎn)標(biāo)識信息[S810]。在該情形下，從序列參數(shù)集合、序列參數(shù)集合的擴(kuò)
展區(qū)域、片頭部或者宏塊層，可以獲得參考視點(diǎn)的視點(diǎn)標(biāo)識信息。 利用所獲得的視點(diǎn)標(biāo)識信息的相同視點(diǎn)標(biāo)識符來執(zhí)行視點(diǎn)間預(yù)
觀IJ。然后，從具有當(dāng)前圖片的相同POC的圖片的宏塊，可以推導(dǎo)當(dāng)前塊
的運(yùn)動信息。
對于第二示例，能夠使用用于運(yùn)動跳過的參考片的參考索引來執(zhí) 行運(yùn)動跳過。編碼器計算所有情形的率失真，并且然后，以具有最佳 效率的圖片(或片)的順序來分配參考索引?？梢詫⒃搮⒖妓饕l(fā)送
至解碼器。例如，參考圖8B，在對當(dāng)前塊執(zhí)行運(yùn)跳過的情形下[S850]，
能夠獲得包括當(dāng)前塊的片的參考索引[S860]。在該情形下，參考索引可
以意指用于當(dāng)前塊的運(yùn)動跳過的片的參考索引。并且，僅當(dāng)當(dāng)前圖片 對應(yīng)于非視點(diǎn)間圖片組時，才可以獲得參考索引。并且，基于視點(diǎn)間
參考信息，可以獲得參考索引。例如，如果視點(diǎn)間參考關(guān)系存在，則 可以獲得參考索引。在該情形下，例如，視點(diǎn)間參考關(guān)系可以意指非 視點(diǎn)間圖片組的視點(diǎn)間參考關(guān)系。具體而言，基于非視點(diǎn)間圖片組的 視點(diǎn)間參考圖片數(shù)目的信息，能夠獲得該參考索引。如果在非視點(diǎn)間 圖片組的LO方向上的視點(diǎn)間參考圖片的數(shù)目大于O，或者如果在非視點(diǎn) 間參考圖片組的L1方向上的視點(diǎn)間參考圖片的數(shù)目大于0，則能夠獲得 參考索引[S840]。在該情形下，從序列參數(shù)集合、序列參數(shù)集合的擴(kuò)展 區(qū)域、片頭部或者宏塊層，可以獲得參考索引。
利用由參考索引指示的參考圖片(或片)的相同視點(diǎn)標(biāo)識符來執(zhí) 行視點(diǎn)間預(yù)測。然后，從具有當(dāng)前圖片的相同POC的圖片的宏塊，可以 推導(dǎo)當(dāng)前塊的運(yùn)動信息。
40對于第三示例，能夠使用用于運(yùn)動跳過的視點(diǎn)的視點(diǎn)索引來執(zhí)行 運(yùn)動跳過。編碼器計算所有情形的率失真，并且然后，以具有最佳效 率的圖片(或片)的視點(diǎn)的順序來分配視點(diǎn)索引?？梢詫⒃撘朁c(diǎn)索引 發(fā)送至解碼器。例如，參考圖8C，在對當(dāng)前塊執(zhí)行運(yùn)跳過的情形下，能夠獲得用于當(dāng)前塊的運(yùn)動跳過的視點(diǎn)的視點(diǎn)索引[S890]。并 且，僅當(dāng)當(dāng)前圖片對應(yīng)于非視點(diǎn)間圖片組時，才可以獲得該視點(diǎn)索弓l。 并且，基于視點(diǎn)間參考信息，可以獲得視點(diǎn)索引。例如，如果視點(diǎn)間 參考關(guān)系存在，則可以獲得視點(diǎn)索引。在該情形下，例如，視點(diǎn)間參 考關(guān)系可以意指非視點(diǎn)間圖片組的視點(diǎn)間參考關(guān)系。具體而言，基于 非視點(diǎn)間圖片組的視點(diǎn)間參考圖片數(shù)目的信息，能夠獲得視點(diǎn)索引。 如果在非視點(diǎn)間圖片組的LO方向上的視點(diǎn)間參考圖片的數(shù)目大于O，或 者如果在非視點(diǎn)間參考圖片組的L1方向上的視點(diǎn)間參考圖片的數(shù)目大 于0，則能夠獲得視點(diǎn)索引[S870]。在該情形下，從序列參數(shù)集合、序 列參數(shù)集合的擴(kuò)展區(qū)域、片頭部或者宏塊層，可以獲得視點(diǎn)索引。
能夠使用視點(diǎn)索引來推導(dǎo)用于執(zhí)行運(yùn)動跳過的參考塊的全局運(yùn)動 矢量和視點(diǎn)標(biāo)識信息。例如，參考圖8D，在視點(diǎn)索引除以2得到的余數(shù) 是O的情形下，能夠?qū)⒃贚O方向上的全局運(yùn)動矢量和在LO方向上的視點(diǎn) 標(biāo)識信息用于運(yùn)動跳過。然而，在視點(diǎn)索引除以2得到的余數(shù)是1的情 形下，能夠?qū)⒃贚1方向上的全局運(yùn)動矢量和在L1方向上的視點(diǎn)標(biāo)識信 息用于運(yùn)動跳過。而且，通過將視點(diǎn)索引除以2得到的商(整數(shù))分配 給全局運(yùn)動矢量索引，能夠推導(dǎo)參考塊的全局運(yùn)動矢量和視點(diǎn)標(biāo)識信 息。
最后，能夠從在參考塊的視點(diǎn)標(biāo)識信息的相同視點(diǎn)中的全局運(yùn)動 矢量所指示的宏塊，推導(dǎo)出當(dāng)前塊的運(yùn)動信息。
圖9 A至10 B是解釋根據(jù)本發(fā)明實施例的在視點(diǎn)間的空間分辨率不 同的情形下執(zhí)行視點(diǎn)間預(yù)測的方法的視圖。在當(dāng)前視點(diǎn)和參考視點(diǎn)之間空間分辨率不同的情形下，執(zhí)行視點(diǎn) 間預(yù)測的方法可以改變。
對于第一示例，使用參考圖片的采樣，可以執(zhí)行視點(diǎn)間預(yù)測。例 如，參考圖9A，如果參考圖片的空間分辨率大于當(dāng)前圖片的空間分辨 率，則參考圖片被下采樣。然后，使用已下采樣的參考圖片來執(zhí)行視 點(diǎn)間預(yù)測。如果參考圖片的空間分辨率小于當(dāng)前圖片的空間分辨率， 則通過當(dāng)前圖片的上采樣可以執(zhí)行視點(diǎn)間預(yù)測。
對于第二示例，如果編碼器不執(zhí)行采樣處理，則能夠使用參考圖 片的運(yùn)動信息的分級來執(zhí)行視點(diǎn)間預(yù)測。例如，參考圖9B，如果參考 考圖片的空間分辨率大于當(dāng)前圖片的空間分辨率，則將參考圖片的運(yùn) 動信息分級。然后，從已分級的運(yùn)動信息推導(dǎo)當(dāng)前塊的運(yùn)動信息。在 該情形下，運(yùn)動信息可以意指運(yùn)動矢量、全局運(yùn)動矢量等。如果參考 圖片的空間分辨率小于當(dāng)前圖片的空間分辨率，則這可以類似方式來 應(yīng)用。
具體而言，在完成對當(dāng)前圖片分級之后，能夠從參考圖片推導(dǎo)運(yùn)
動信息。這可以被表示為公式6。 [公式6]+GDV
在公式6中，MbX指示當(dāng)前塊的水平位置。這被分級成參考圖片的 分辨率，并且然后向其添加GDV。因此，能夠推導(dǎo)相對應(yīng)塊的位置。
例如，參考圖10A，在當(dāng)前宏塊的水平位置是O、 l或2的情形下， 能夠使用公式6來計算相對應(yīng)塊的水平位置。每個示例被表示為公式7。[公式7]+GDV=
+2=2 [MbX*(W0/Wl)]+GDV=[l*(3/2)]+2=3 [MbX*(W0/Wl)]+GDV=[2*(3/2)]+2=5
艮P，在當(dāng)前宏塊的水平位置是0、 l或2的情形下，相對應(yīng)塊的水平 位置對應(yīng)于2、 3或5。
又例如，在完成參考圖片的分級之后，能夠從當(dāng)前圖片推導(dǎo)運(yùn)動 信息。這可以表示為公式8。
同樣，MBX指示當(dāng)前塊的水平位置。通過將GDV添加到當(dāng)前塊的
水平位置并且然后利用參考圖片的分辨率來執(zhí)行分級，能夠推導(dǎo)相對 應(yīng)塊的水平位置。
例如，參考圖10B，在當(dāng)前宏塊的水平位置是O、 l或2的情形下， 使用公式8，能夠計算相對應(yīng)塊的水平位置。每個示例被表示為公式9。=[(0+1)*(3/2)]=1 [(MBX+GDV)*(W0/Wl)]=[(l + l)*(3/2)]=3 [(MBX+GDV)*(W0/Wl)]=[(2+l)*(3/2)]=4
艮P，在當(dāng)前宏塊的水平位置是O、 l或2的情形下，相對應(yīng)塊的水平 位置對應(yīng)于l、 3或4。
使用在垂直方向上的信息，以同樣方式，可以應(yīng)用上述方法。
43而且，以上示例可以應(yīng)用于完全重建在參考視點(diǎn)中的圖片的情形。 并且，第二示例也可以應(yīng)用于部分重建在參考視點(diǎn)中的圖片的情形。 而且，上述示例可以應(yīng)用于執(zhí)行運(yùn)動補(bǔ)償?shù)那樾巍?br> 圖ll是解釋根據(jù)本發(fā)明實施例的在執(zhí)行運(yùn)動跳過的情形下推導(dǎo)參 考索引的方法的視圖。
在執(zhí)行運(yùn)動跳過的情形下，當(dāng)前塊的運(yùn)動信息可以從相對應(yīng)塊的 運(yùn)動信息推導(dǎo)出。在該情形下，運(yùn)動信息可以包括運(yùn)動矢量、參考索 引、塊類型等。在下文描述中，解釋了用于推導(dǎo)參考索引的各種實施 例。
在視點(diǎn)間預(yù)測中，可能需要在視點(diǎn)方向上的運(yùn)動矢量，以找出相 對應(yīng)的塊。在該情形下，運(yùn)動矢量可以包括全局運(yùn)動矢量。如在圖4至 圖6的前面描述中提及的，能夠使用更精細(xì)的全局運(yùn)動矢量以找到在使 用全局運(yùn)動矢量中具有最佳效率的相對應(yīng)塊。例如，能夠使用16像素、 8像素、4像素單位的全局運(yùn)動矢量。因此，在使用精細(xì)單位的全局運(yùn)
動矢量的情形下，相對應(yīng)塊的位置可以不與宏塊的位置一致。因此， 存在用于推導(dǎo)參考索引的各種方法。
例如，參考圖ll，在由全局運(yùn)動矢量指示的相對應(yīng)塊與多個宏塊 重疊的情形下，能夠以各種方式推導(dǎo)參考索引。在該情形下，如果不 可使用的參考索引存在于重疊的宏塊的參考索引間，則它可能不被使
用。例如，僅當(dāng)refidx〉-l時，才可以使用參考索引。對于第一示例， 能夠只使用在可用參考索引中最顯著的參考索引。例如，能夠使用最 多重疊區(qū)的參考索引。對于第二示例，能夠使用在可用參考索引中最 小參考索引。對于第三示例，能夠使用可用參考索引中最大參考索弓l。
又例如，在包括了重疊宏塊中的幀內(nèi)編碼的分割的情形下，能夠
44以各種方式推導(dǎo)運(yùn)動信息。例如，在推導(dǎo)運(yùn)動信息的情形下，可以不 使用幀內(nèi)編碼的分割。
又例如，在包括了重疊宏塊中的幀內(nèi)編碼的分割的情形下，能夠 使用在不同視點(diǎn)中的信息。替代地，能夠從與幀內(nèi)編碼的分割相鄰的8 X8宏塊推導(dǎo)運(yùn)動信息。
圖12是解釋根據(jù)本發(fā)明實施例的用于獲得用于視點(diǎn)間預(yù)測的運(yùn)動 矢量的各種方法的視圖。
如在前文描述中所提及的，全局運(yùn)動矢量可以意指可共同應(yīng)用于 預(yù)定區(qū)域的運(yùn)動矢量。例如，如果運(yùn)動矢量對應(yīng)于局部區(qū)域(例如， 宏塊、塊、像素等)，則全局運(yùn)動矢量(或者視差矢量)可以意指與 包括該局部區(qū)域的整體區(qū)域相對應(yīng)的運(yùn)動矢量。例如，整體區(qū)域可以 對應(yīng)于單一片、單一圖片或整體序列。整體區(qū)域可以對應(yīng)于在圖片、 背景或預(yù)定區(qū)域中的至少一個對象。全局運(yùn)動矢量可以具有l(wèi)/4像素單 位的值，或者4x4單位、8x8或宏塊單位的值
對于第一示例，在圖片內(nèi)的區(qū)域被劃分成至少一個或多個區(qū)。然 后，可以獲得對于每個所劃分的區(qū)的全局運(yùn)動矢量。例如，在圖片被
劃分成16個相等部分的情形下，能夠獲得與每個部分相對應(yīng)的全局運(yùn) 動矢量。在該情形下，可以將索引分配至16個相等部分中的每個。而 且，在當(dāng)前圖片對應(yīng)于視點(diǎn)間圖片組的情形下，可以獲得全局運(yùn)動矢 量。此外，在當(dāng)前圖片對應(yīng)于非視點(diǎn)間圖片組的情形下，可以將全局 運(yùn)動矢量設(shè)置成被獲得。在圖5的描述中，詳細(xì)解釋了用于獲得全局運(yùn) 動矢量的要求?？梢砸酝瑯臃绞綉?yīng)用這些要求。
對于第二示例，在圖片內(nèi)的區(qū)域被劃分成至少兩個區(qū)的情形下， 能夠獲得在所劃分區(qū)域的全局運(yùn)動矢量之間的差值。例如，能夠獲得 在索弓I0的區(qū)的全局運(yùn)動矢量和索引1的區(qū)的全局運(yùn)動矢量之間的差值。在該情形下，可以將差值的初始值設(shè)置成索弓10的區(qū)的全局運(yùn)動矢 量。并且，從將索弓IO的區(qū)的全局運(yùn)動矢量添加到發(fā)送的差值，可以推 導(dǎo)出索弓ll的區(qū)的全局運(yùn)動矢量。
又例如，在索引值除以4所得到的余數(shù)為0的情形下，使用公式IO， 可以獲得差值。
diff一va1—of—GDV—mb—lXfJHicbchGDV—mblXLnCidx-W-GDV—mb—lXLn [idx]
在該情形下，idx可以指示范圍在0 (劃分的區(qū)域數(shù)目-l )之間的 值。否則，可以使用公式ll來獲得差值。
diff—val—of一GDV—mb—lX[j][idx]=GDV—mb—lX[j][idx墨l]-GDV—mb一lX[j][idx]
而且，如果當(dāng)前圖片對應(yīng)于視點(diǎn)間圖片組，則可以獲得差值。替 代地，如果當(dāng)前圖片對應(yīng)于非視點(diǎn)間圖片組，則可以將差值設(shè)置成被 獲得。以參考圖5所描述的相同的方式，可以應(yīng)用用于獲得差值的要求。
對于第三示例，參考對象，將圖片內(nèi)的區(qū)域劃分成至少一個或多 個區(qū)。然后，可以獲得對于每個所劃分區(qū)的全局運(yùn)動矢量。在該情形 下，能夠獲得關(guān)于所劃分區(qū)的數(shù)目的信息以及每個所劃分區(qū)的位置信 息。例如，參考圖12，能夠參考兩個對象將區(qū)域劃分成三個區(qū)。在該 情形下，能夠獲得指示存在三個劃分區(qū)的信息以及每個所劃分區(qū)的位 置的信息。例如，位置信息可以包含左上部位置信息和右下部位置信 息。數(shù)目信息可以意指在片內(nèi)的全部區(qū)的數(shù)目。數(shù)目信息可用于執(zhí)行 運(yùn)動跳過，并且可以從片頭部獲得。可以從序列級或圖片級獲得數(shù)目 信息。在該情形下，數(shù)目信息可以不存在于片級上。
又例如，如果當(dāng)前塊的位置存在于所劃分區(qū)的左上位置和所劃分 區(qū)的右下位置，則能夠?qū)⑺饕峙渲了鶆澐謪^(qū)。否則，能夠通過將索 引值遞增l來重復(fù)執(zhí)行以上處理。較低索引提供了較高優(yōu)先級。在該情 形下，優(yōu)先級可以意指在前文描述中參考圖2所描述的先前優(yōu)先級。
圖13A和圖13B是根據(jù)本發(fā)明實施例的指示分級的視點(diǎn)間參考信 息的語法的視圖。
首先，能夠定義用于分級技術(shù)的分級的視點(diǎn)間參考信息。例如， 能夠新定義用于運(yùn)動跳過的視點(diǎn)間參考信息。具體而言，能夠定義用 于運(yùn)動跳過的參考視點(diǎn)的數(shù)目的信息。在該情形下，數(shù)目信息可以定 義 為 例 如 num—motion—skip—refs—10[i] 或
num—motion—skip—refs—11 [i][ S1310、 S1330]。能夠定義參考視點(diǎn)的視點(diǎn)
標(biāo)識信息。例如，視點(diǎn)標(biāo)識信息可以被定義為例如 motion—skip—refs—10[i][j]、 motion—skip—refs—11 [i][j][S1320、 S1340]。從
序列參數(shù)集合的擴(kuò)展區(qū)域，可以獲得用于運(yùn)動跳過的視點(diǎn)間參考信息。
在定義了用于運(yùn)動跳過的視點(diǎn)間參考信息的情形下，基于該視點(diǎn) 間參考信息，能夠獲得運(yùn)動跳過標(biāo)記信息和全局運(yùn)動矢量[S1350]。參 考圖4至6詳細(xì)解釋了用于獲得它們的要求。并且，可以以類似方式來 應(yīng)用這些要求。
因此，在定義了分級視點(diǎn)間參考信息的情形下，可以不使用原始 視點(diǎn)間參考信息?？梢元?dú)立獲得分級視點(diǎn)間參考信息。并且，也可以 與原始視點(diǎn)間參考信息一起，獲得分級視點(diǎn)間參考信息。可以將分級視點(diǎn)間參考信息添加到序列參數(shù)集合的擴(kuò)展區(qū)域。除 了視點(diǎn)間樣本預(yù)測之外，運(yùn)動跳過是可操作的。通過為不可用于視點(diǎn) 間樣本預(yù)測的視點(diǎn)設(shè)置視點(diǎn)間參考關(guān)系，能夠?qū)⑦\(yùn)動跳過用于不可用 于視點(diǎn)間樣本預(yù)測的視點(diǎn)。
又例如，能夠設(shè)置標(biāo)記信息，用于控制分級視點(diǎn)間參考信息。例 如，能夠設(shè)置序列運(yùn)動跳過標(biāo)記信息，該信息指示運(yùn)動跳過是否用于 當(dāng)前序列。如果根據(jù)序列運(yùn)動跳過標(biāo)記信息，當(dāng)前序列執(zhí)行運(yùn)動跳過， 則能夠獲得分級視點(diǎn)間參考信息。
又例如，能夠設(shè)置標(biāo)記信息，用于控制序列運(yùn)動跳過標(biāo)記信息。 例如，基于局部解碼標(biāo)記，可以獲得序列運(yùn)動跳過標(biāo)記信息。在該情 形下，如果當(dāng)前圖片對應(yīng)于非視點(diǎn)間圖片組，則該局部解碼標(biāo)記指示 在未完全重建視點(diǎn)間參考圖片的情況下是否可以解碼當(dāng)前圖片。在圖4 的前述描述中對此進(jìn)行了詳細(xì)解釋。
因此，為了獲得序列運(yùn)動跳過標(biāo)記，上述實施例可以作為獨(dú)立要 求或其任何組合來應(yīng)用。而且，在沒有任何要求的情況下，可以獲得 運(yùn)動跳過標(biāo)記。例如，從序列參數(shù)集合、圖片、片頭部、宏塊層和/或 其一個擴(kuò)展區(qū)域，能夠獲得運(yùn)動跳過標(biāo)記。
圖14是解釋根據(jù)本發(fā)明實施例的用于發(fā)送深度信息的各種方法的 視圖。
在視頻信號編碼中，能夠?qū)⑸疃刃畔⒂糜谔囟☉?yīng)用或不同用途。 深度信息可以意指能夠指示視點(diǎn)間視差差異的信息。例如，能夠通過 視點(diǎn)間預(yù)測獲得視差矢量。并且，應(yīng)當(dāng)將所獲得的視差矢量發(fā)送到解 碼設(shè)備，用于當(dāng)前塊的視差補(bǔ)償。然而，在已經(jīng)找出深度映射之后， 如果將深度映射發(fā)送到解碼設(shè)備，則能夠在不將視差矢量發(fā)送到解碼 設(shè)備的情況下從深度映射(或視差映射)推導(dǎo)視差矢量。在該情形下，能夠減少應(yīng)該被發(fā)送到解碼設(shè)備的深度信息的位數(shù)。并且，也能夠與 深度映射一起發(fā)送運(yùn)動矢量或視差矢量。因此，能夠通過從深度映射 推導(dǎo)視差矢量來提供新的視差補(bǔ)償方法。在從深度映射推導(dǎo)視差矢量 的期間使用不同視點(diǎn)中的圖片的情形下，可以使用視點(diǎn)標(biāo)識信息。在 下文的描述中，解釋了發(fā)送深度信息的各種方法。
根據(jù)本發(fā)明的實施例，能夠定義標(biāo)記信息，該標(biāo)記信息指示當(dāng)前 NAL是包括深度信息的深度位流還是一般色彩位流。例如，如果
depth一flag是l，則它可以意指當(dāng)前NAL是深度位流。如果depth一flag是O，
則它可以意指當(dāng)前NAL是色彩位流。如果根據(jù)標(biāo)記信息，當(dāng)前NAL意 指深度流，則能夠?qū)⑴渲眯畔⒂糜诙嘁朁c(diǎn)視頻編碼。這是因為，在深 度信息之間，視點(diǎn)間預(yù)測可能是必要的。例如，配置信息可以包括標(biāo) 識信息、視點(diǎn)間圖片組標(biāo)識信息、視點(diǎn)間預(yù)測標(biāo)記信息、時間級信息、 優(yōu)先級標(biāo)識信息、指示它是否是用于視點(diǎn)的瞬時解碼的圖片的標(biāo)識等。 這在圖2的描述中作了詳細(xì)解釋。
同時，屬于當(dāng)前NAL的深度映射可以表示在多個視點(diǎn)之間的深度。 并且，深度信息可以包括各種各樣的信息。例如，深度信息可以包括 與深度映射相關(guān)的圖片的視點(diǎn)標(biāo)識信息(target—view_id—base 、 target—view—id一ref)。如果在色彩位流和深度位流之間存在空間分辨率 差異，則在水平和垂直方向上可能分別存在分級因子(scale一x， scale—y)。而且，可能存在指示在采樣深度圖片和采樣色彩圖片之間 的水平和垂直位置差的偏移信息(offset_x， offset—y)。作為用于偏移 信息的示例，可能存在指示在上采樣深度圖片和當(dāng)前圖片之間的上、 下、左和右位置差的偏移信息(left—offset、 top—offset、 right—offset、 bottom—offset)。并且，可能存在指示"圖片之間遠(yuǎn)或近的程度"的深 度范圍信息(nk—far、 nk—near)。
根據(jù)本發(fā)明的另一實施例，通過將深度信息輸入NAL單元頭部、 NAL單元RBSP或者序列參數(shù)集合可以發(fā)送深度信息。NAL單元可以包括NAL單元頭部和RBSP (原始字節(jié)序列有效負(fù) 載運(yùn)動圖片壓縮的結(jié)果數(shù)據(jù))。并且，NAL單元頭部可以包括 nal—ref—idc和nal一unit一type。而且，可以有限地包括NAL單元頭部的擴(kuò) 展區(qū)域。例如，如果指示NAL單元的類型的信息與可分級視頻編碼相 關(guān)或者指示前綴NAL單元，則NAL單元能夠包括NAL單元頭部的擴(kuò)展 區(qū)域。這在圖2的前述描述中進(jìn)行了詳細(xì)解釋。此外，序列參數(shù)集合可 以包括序列參數(shù)集合的擴(kuò)展區(qū)域、序列參數(shù)集合的多視點(diǎn)擴(kuò)展區(qū)域、 序列參數(shù)集合的深度擴(kuò)展區(qū)域等。如下解釋了對此的詳細(xì)實施例。
對于第一示例，在當(dāng)前NAL對應(yīng)于基視點(diǎn)的情形下，如下解釋了 通過將深度信息放入NAL單元頭部中來發(fā)送深度信息的方法。
基視點(diǎn)可以意指可以獨(dú)立于其他視點(diǎn)被編碼的視點(diǎn)?；朁c(diǎn)可以 意指用于與常規(guī)解碼器(例如，H.264/AVC、 MPEG-2、 MPEG-4等) 兼容的至少一個視點(diǎn)。因此，在當(dāng)前NAL對應(yīng)于基視點(diǎn)的情形下，由 于與常規(guī)解碼器的兼容性而不能夠解碼深度信息。因此，能夠?qū)⑸疃?信息插入前面的前綴NAL單元。在該情形下，前綴NAL單元可以意指 包括后面NAL單元的描述信息的NAL單元。前綴NAL單元可以不包括 RBSP信息。例如，在NAL單元類型指示前綴NAL單元的情形下，NAL 單元頭部可以包括深度信息。具體而言，如果nal一unitjype二 14，貝ljNAL 單元頭部可以包括可分級擴(kuò)展信息或多視點(diǎn)擴(kuò)展信息。并且，多視點(diǎn) 擴(kuò)展信息可以包括深度信息。
而且，能夠添加標(biāo)記信息(svc一mvc—flag)，該標(biāo)記信息能夠標(biāo)識 它是在NAL頭部區(qū)域還是在NAL頭部的擴(kuò)展區(qū)域中的MVC流。根據(jù)標(biāo) 記信息，在輸入的位流是多視點(diǎn)序列編碼位流的情形下，能夠定義指 示深度相關(guān)信息是否存在于當(dāng)前NAL單元中的標(biāo)記信息。例如，如果 depth—flag=l,則可以觀察到深度相關(guān)信息存在于當(dāng)前NAL單元中。在 該情形下，可以在NAL單元頭部的擴(kuò)展區(qū)域中定義深度相關(guān)信息。替
50代地，可以在NAL單元頭部的擴(kuò)展區(qū)域的深度擴(kuò)展區(qū)域內(nèi)獨(dú)立地定義 深度相關(guān)信息。
對于第二示例，在當(dāng)前NAL未能對應(yīng)于基視點(diǎn)的情形下，如下解 釋了通過將深度信息放入NAL單元頭部中來發(fā)送深度信息的方法。
在當(dāng)前NAL未能對應(yīng)于基視點(diǎn)的情形下，可以將深度信息插入多 視點(diǎn)擴(kuò)展NAL單元。例如，如果NAL單元類型指示可分級擴(kuò)展NAL單 元或多視點(diǎn)擴(kuò)展NAL單元，則NAL單元頭部可以包括深度信息。具體 而言，如果naLunit—type=20，則NAL單元頭部可以包括可分級擴(kuò)展信 息或多視點(diǎn)擴(kuò)展信息。多視點(diǎn)擴(kuò)展信息可以包括深度信息。在該情形 下，可以以與針對第一示例描述的方法相同的方式來應(yīng)用定義深度信 息的詳細(xì)方法。
對于第三示例，如果當(dāng)前單元對應(yīng)于基視點(diǎn)，則如下解釋了通過 將深度信息插入NAL單元的RBSP中來發(fā)送深度信息的方法。
如在第一示例的前述描述中提及的，由于與常規(guī)解碼器的兼容性 而可以將深度信息插入前綴NAL單元。在第一示例中，將深度信息插 入前綴NAL單元的頭部中。然而，在第三示例中，可以將深度信息包 括在前綴NAL單元的RBSP中。在該情形下，能夠在前綴NAL單元的頭 部的擴(kuò)展區(qū)域中定義deptl^flag。并且，能夠基于該depthjlag信息從前 綴NAL單元的RBSP獲得深度信息。
對于第四示例，如果當(dāng)前NAL未能對應(yīng)于基視點(diǎn)，則如下解釋了 通過將深度信息插入NAL單元的RBSP中來發(fā)送深度信息的方法。
如在第二示例的前述描述中所提及的，可以將深度信息插入多視 點(diǎn)擴(kuò)展NAL單元。在第二示例中，將深度信息包括在多視點(diǎn)擴(kuò)展NAL 單元的頭部中。然而，在第四示例中，可以將深度信息包括在多視點(diǎn)
51擴(kuò)展NAL單元的RBSP中。在該情形下，能夠在多視點(diǎn)擴(kuò)展NAL單元的 頭部的擴(kuò)展區(qū)域中定義depth—flag。并且，能夠基于該depth一flag信息從 多視點(diǎn)擴(kuò)展NAL單元的RBSP獲得深度信息。
對于第五示例，如果當(dāng)前NAL對應(yīng)于基參考，則如下解釋了通過 將深度信息插入新NAL單元頭部來發(fā)送深度信息的方法。
能夠定義新NAL單元類型，以發(fā)送深度相關(guān)信息。例如，如果 nal—unit—type=21，則可以觀察到深度相關(guān)信息存在于當(dāng)前NAL單元中。
與第一示例類似，由于與常規(guī)解碼器的兼容性而可以將深度信息插入 前綴NAL單元。僅當(dāng)在NAL單元頭部的擴(kuò)展區(qū)域中的NAL單元類型是 前綴NAL單元時，才能夠獲得depth—flag信息。因此，能夠基于depth—flag 和新NAL單元類型來獲得深度信息。在該情形下，可以在NAL單元頭 部的擴(kuò)展區(qū)域的深度擴(kuò)展區(qū)域內(nèi)獨(dú)立地定義深度相關(guān)信息。
對于第六示例，如果當(dāng)前NAL未能對應(yīng)于基參考，則如下解釋了 通過將深度信息插入新NAL單元頭部來發(fā)送深度信息的方法。
與第五示例類似，能夠定義新NAL單元類型，以發(fā)送深度相關(guān)信 息。能夠在新NAL單元類型的頭部中定義深度相關(guān)信息。例如，如果 nal—unit—type=21，則能夠解析在NAL頭部的擴(kuò)展區(qū)域中的信息。如果 svc—mVC_flag=l，則能夠解析多視點(diǎn)序列的配置信息。在該情形下，如 果在NAL頭部的擴(kuò)展區(qū)域中的nal—unit—type=21 ，則能夠解析NAL單元 頭部的擴(kuò)展區(qū)域的深度擴(kuò)展區(qū)域。
在已經(jīng)檢査了新NAL單元類型之后，能夠直接解析NAL單元頭部 的深度擴(kuò)展區(qū)域。在該情形下，可以在NAL單元頭部的深度擴(kuò)展區(qū)域 中定義在NAL單元頭部的擴(kuò)展區(qū)域內(nèi)的多視點(diǎn)序列配置信息。
對于第七示例，如果當(dāng)前NAL對應(yīng)于基視點(diǎn)，則如下解釋了通過將深度信息插入新NAL單元的RBSP中來發(fā)送深度信息的方法。
與第五示例類似，由于與常規(guī)解碼器的兼容性而可以將深度信息 插入前綴NAL單元中。僅當(dāng)在NAL頭部的擴(kuò)展區(qū)域中的NAL單元類型 是前綴NAL單元時，才能夠獲得depth—flag。在該情形下，它可以在NAL 單元頭部的擴(kuò)展區(qū)域的深度擴(kuò)展區(qū)域中被獨(dú)立地定義。能夠基于 depth—flag從前綴NAL單元的RBSP獲得深度信息。例如，如果 nal—unit—type=14，則能夠解析在NAL頭部的擴(kuò)展區(qū)域中的信息。如果 svc—mvc—flag=l，則能夠解析多視點(diǎn)序列的配置信息。在該情形下，如 果在NAL頭部的擴(kuò)展區(qū)域中的nal—unit_type= 14 ，則能夠解析depth—flag 。 如果在前綴NAL單元的RBSP中的depthJlag^，則能夠獲得深度信息。
對于第八示例，如果當(dāng)前NAL未能對應(yīng)于基視點(diǎn)，則如下解釋了 通過將深度信息插入新NAL單元的RBSP中來發(fā)送深度信息的方法。
與第六示例類似，能夠定義新的NAL單元類型，以發(fā)送深度相關(guān) 信息。能夠在新NAL單元類型的RBSP中定義深度相關(guān)信息。例如，如 果nal一unit—type=21，則能夠解析在NAL頭部的擴(kuò)展區(qū)域中的信息。如 果svc一nwc一flag-l，則能夠解析多視點(diǎn)序列的配置信息。在該情形下， 如果在NAL頭部的擴(kuò)展區(qū)域中的nal_unit_type=21 ，則能夠解析NAL單 元頭部的深度擴(kuò)展區(qū)域。
在已經(jīng)檢查了新NAL單元類型之后，能夠直接解析NAL單元頭部 的深度擴(kuò)展區(qū)域。在該情形下，可以在NAL單元頭部的深度擴(kuò)展區(qū)域 中定義在NAL單元頭部的擴(kuò)展區(qū)域內(nèi)的多視點(diǎn)序列配置。
對于第九示例，能夠定義關(guān)于在序列參數(shù)集合內(nèi)的深度信息的視 點(diǎn)間參考信息。在下文中，當(dāng)視點(diǎn)被命名用于深度信息時，它被命名 為深度視點(diǎn)。例如，可能存在編碼深度視點(diǎn)的總數(shù)目 (num_views—minusl_depth)、具有編碼順序的深度視點(diǎn)的視點(diǎn)標(biāo)識信息(view—id—depth [i])、重建深度視點(diǎn)所需要的色彩視頻視點(diǎn)(基視 點(diǎn)、參考視點(diǎn))的視點(diǎn)標(biāo)識信息(target_view_id_base [i], target—view—id一ref [i])等。
在指示NAL單元的類型的信息是指示序列參數(shù)集合的信息的情形 下，RBSP可以包括關(guān)于序列參數(shù)集合的信息。具體而言，如果 nal—unit—type=7，則RBSP可以包括關(guān)于序列參數(shù)集合的信息。如果 nal—unit—type=15，則RBSP可以包括關(guān)于子集序列參數(shù)集合的信息。在 該情形下，根據(jù)類信息，子集序列參數(shù)集合可以包括序列參數(shù)集合的 擴(kuò)展區(qū)域。
例如，如果類信息(profile一idc)是與多視點(diǎn)視頻編碼相關(guān)的類， 則子集序列參數(shù)集合可以包括序列參數(shù)集合的擴(kuò)展區(qū)域。序列參數(shù)集 合的擴(kuò)展區(qū)域可以包括指示深度視點(diǎn)間依賴性的深度視點(diǎn)間參考信 息。而且，序列參數(shù)集合的擴(kuò)展區(qū)域可以包括在圖14的描述中解釋的
深度信息。
替代地，能夠新定義用于深度相關(guān)信息的類信息(profile—idc)。 例如，如果類信息是與深度信息編碼相關(guān)的類，則子集序列參數(shù)集合 可以包括序列參數(shù)集合的擴(kuò)展區(qū)域。類似地，基于該新類信息，序列 參數(shù)集合的擴(kuò)展區(qū)域可以包括深度視點(diǎn)間參考信息和/或深度信息。
替代地，基于新類信息(profile—idc)，能夠新定義序列參數(shù)集合 的深度擴(kuò)展區(qū)域。在該情形下，序列參數(shù)集合的深度擴(kuò)展區(qū)域可以包 括深度視點(diǎn)間參考信息和/或深度信息。
替代地，能夠新定義序列參數(shù)集合的深度擴(kuò)展區(qū)域的NAL單元類 型。例如，根據(jù)新NAL單元類型，能夠定義新序列參數(shù)集合的深度擴(kuò) 展區(qū)域。并且，序列參數(shù)集合的擴(kuò)展區(qū)域可以包括深度視點(diǎn)間參考信 息和/或深度信息。而且，序列參數(shù)集合的擴(kuò)展區(qū)域可以包括解碼的圖片的水平長度信息和解碼的幀/字段的片組映射單元的垂直長度信息。 可能需要該信息以補(bǔ)償在色彩圖片和深度圖片之間的空間分辨率差升。
如在前述描述中所提及的，將應(yīng)用本發(fā)明的解碼/編碼設(shè)備提供至
用于諸如DMB (數(shù)字多媒體廣播)的多媒體廣播的發(fā)送器/接收器，以 用于解碼視頻和數(shù)據(jù)信號等。并且，多媒體廣播發(fā)送器/接收器可以包 括移動通信終端。
應(yīng)用本發(fā)明的一種解碼/編碼方法配置有程序，該程序用于計算機(jī) 執(zhí)行，并且然后被存儲在計算機(jī)可讀記錄介質(zhì)中。并且，可以將具有 本發(fā)明的數(shù)據(jù)結(jié)構(gòu)的多媒體數(shù)據(jù)存儲在計算機(jī)可讀記錄介質(zhì)中。計算 機(jī)可讀記錄介質(zhì)包括各種各樣的存儲設(shè)備，用于存儲可以被計算機(jī)系 統(tǒng)讀取的數(shù)據(jù)。計算機(jī)可讀記錄介質(zhì)包括ROM、 RAM、 CD-ROM、磁 帶、軟盤、光學(xué)數(shù)據(jù)存儲設(shè)備等，并且還包括利用載波(例如，經(jīng)由 互聯(lián)網(wǎng)發(fā)送)實現(xiàn)的設(shè)備。并且，通過本編碼方法生成的位流被存儲 在計算機(jī)可讀記錄介質(zhì)中，或者經(jīng)由有線/無線通信網(wǎng)絡(luò)被發(fā)送。
工業(yè)應(yīng)用性
因此，雖然已經(jīng)參考本發(fā)明的優(yōu)選實施例描述并圖示了本發(fā)明， 但是對于本領(lǐng)域的技術(shù)人員顯而易見的是，在不脫離本發(fā)明的精神和 范圍的情況下，可以做出各種修改和變化。因此，本發(fā)明意在涵蓋在 權(quán)利要求和其等同物范圍內(nèi)的對本發(fā)明的修改和變化。
5權(quán)利要求
1.一種解碼視頻信號的方法，包括使用邊信息來搜索參考塊；從所述參考塊推導(dǎo)當(dāng)前塊的運(yùn)動信息；使用所述當(dāng)前塊的所述運(yùn)動信息來解碼所述當(dāng)前塊，其中，所述邊信息包括偏移信息，所述偏移信息指示在所述參考塊和相對應(yīng)塊之間的位置差，以及其中，所述相對應(yīng)塊是由全局運(yùn)動矢量指示的塊，所述全局運(yùn)動矢量指示在所述當(dāng)前塊的視點(diǎn)和所述參考塊的視點(diǎn)之間的視差差異。
2. 根據(jù)權(quán)利要求l所述的方法，進(jìn)一步包括獲得指示是否推導(dǎo)出所述當(dāng)前塊的所述運(yùn)動信息的第二標(biāo)記信 息；以及基于所述第二標(biāo)記信息，獲得所述邊信息。
3. 根據(jù)權(quán)利要求2所述的方法，其中，從宏塊層獲得所述第二標(biāo) 記信息。
4. 根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括獲得第一標(biāo)記信息， 所述第一標(biāo)記信息指示當(dāng)前片是否使用了運(yùn)動跳過，其中，基于所述 第一標(biāo)記信息獲得所述第二標(biāo)記信息。
5. 根據(jù)權(quán)利要求4所述的方法，其中，從片頭部獲得所述第一標(biāo) 記信息。
6. 根據(jù)權(quán)利要求2或4所述的方法，其中，基于視點(diǎn)間圖片組標(biāo) 識信息獲得所述第一標(biāo)記信息或所述第二標(biāo)記信息。
7. 根據(jù)權(quán)利要求6所述的方法，其中，當(dāng)根據(jù)所述視點(diǎn)間圖片組標(biāo)識信息，當(dāng)前圖片對應(yīng)于非視點(diǎn)間圖片組時，獲得所述第一標(biāo)記信 息或所述第二標(biāo)記信息。
8. 根據(jù)權(quán)利要求4所述的方法，其中，基于指示視點(diǎn)間參考關(guān)系 的視點(diǎn)間參考信息獲得所述第一標(biāo)記信息。
9. 根據(jù)權(quán)利要求8所述的方法，其中，從序列參數(shù)集合的擴(kuò)展區(qū) 域獲得所述視點(diǎn)間參考信息。
10. 根據(jù)權(quán)利要求8所述的方法，其中，所述視點(diǎn)間參考信息包 括非視點(diǎn)間圖片組的視點(diǎn)間參考圖片的數(shù)目信息。
11. 根據(jù)權(quán)利要求IO所述的方法，其中，所述非視點(diǎn)間圖片組的 至少一個視點(diǎn)間參考圖片存在于L0方向和/或Ll方向上。
12. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括使用所述全局運(yùn)動 矢量和所述偏移信息來推導(dǎo)修改的全局運(yùn)動矢量，其中，使用所述修 改的全局運(yùn)動矢量來推導(dǎo)所述參考塊的位置信息。
13. 根據(jù)權(quán)利要求1所述的方法，其中，基于指示視點(diǎn)間參考關(guān) 系的視點(diǎn)間參考信息獲得所述全局運(yùn)動矢量。
14. 根據(jù)權(quán)利要求13所述的方法，其中，所述視點(diǎn)間參考信息包 括非視點(diǎn)間圖片組的視點(diǎn)間參考圖片的數(shù)目信息，并且獲得與所述非 視點(diǎn)間圖片組的視點(diǎn)間參考圖片的所述數(shù)目信息一樣多的所述全局運(yùn) 動矢量。
15. 根據(jù)權(quán)利要求1所述的方法，其中，基于視點(diǎn)間圖片組標(biāo)識 信息獲得所述全局運(yùn)動矢量。
16.根據(jù)權(quán)利要求15所述的方法，其中，當(dāng)根據(jù)所述視點(diǎn)間圖片 組標(biāo)識信息，當(dāng)前圖片對應(yīng)于視點(diǎn)間圖片組時，獲得所述全局運(yùn)動矢
17. 根據(jù)權(quán)利要求1所述的方法，其中，所述視頻信號被接收為 廣播信號。
18. 根據(jù)權(quán)利要求1所述的方法，其中，所述視頻信號經(jīng)由數(shù)字介質(zhì)來接收。
19. 一種計算機(jī)可讀介質(zhì)，包括用于執(zhí)行權(quán)利要求1所述的方法的程序，所述程序記錄在所述計算機(jī)可讀介質(zhì)中。
20. —種用于解碼視頻信號的裝置，包括相對應(yīng)塊搜索單元，所述相對應(yīng)塊搜索單元使用邊信息來搜索參考塊；運(yùn)動信息推導(dǎo)單元；所述運(yùn)動信息推導(dǎo)單元從所述參考塊推導(dǎo)當(dāng) 前塊的運(yùn)動信息；以及運(yùn)動補(bǔ)償單元，所述運(yùn)動補(bǔ)償單元使用所述當(dāng)前塊的所述運(yùn)動信 息來解碼所述當(dāng)前塊，其中，所述邊信息包括偏移信息，所述偏移信息指示在所述參考 塊和相對應(yīng)塊之間的位置差，以及其中，所述相對應(yīng)塊是由全局運(yùn)動矢量指示的塊，所述全局運(yùn)動 矢量指示在所述當(dāng)前塊的視點(diǎn)和所述參考塊的視點(diǎn)之間的視差差異。
全文摘要
公開了一種解碼視頻信號的方法。本發(fā)明包括利用邊信息搜索參考塊，從該參考塊推導(dǎo)當(dāng)前塊的運(yùn)動信息，使用當(dāng)前塊的運(yùn)動信息解碼該當(dāng)前塊，其中，邊信息包括指示在在參考塊和相對應(yīng)塊之間的位置差的偏移信息，并且其中，相對應(yīng)塊是全局運(yùn)動矢量所指示的塊，全局運(yùn)動矢量指示在當(dāng)前塊的視點(diǎn)和參考塊的視點(diǎn)之間的視差差異。
文檔編號H04N7/24GK101690220SQ200880020724
公開日2010年3月31日 申請日期2008年4月25日 優(yōu)先權(quán)日2007年4月25日
發(fā)明者全勇俊, 全柄文, 樸勝煜 申請人:Lg電子株式會社