專利名稱：多視圖編碼視頻的單環(huán)解碼的制作方法
技術(shù)領(lǐng)域：
本原理通常涉及視頻編碼和解碼，更具體地，涉及在編碼器和解碼器處用于支持多視圖編碼視頻的單環(huán)解碼的方法和裝置。

背景技術(shù)：
多視圖視頻編碼(MVC)服務(wù)于廣泛的各種應(yīng)用，包括自由視點和三維(3D)視頻應(yīng)用、家庭娛樂以及監(jiān)視。在這些多視圖應(yīng)用中，所涉及的視頻數(shù)據(jù)量是巨大的。
由于多視圖視頻源包括相同或類似的場景的多個視圖，因此在多視像之間存在高度的相關(guān)性。因此，除了時間冗余之外，還可以利用視圖冗余，并且通過跨相同或類似的場景的不同視圖執(zhí)行視圖預(yù)測來實現(xiàn)視圖冗余。
在第一現(xiàn)有技術(shù)途徑中，提出了運(yùn)動跳躍模式以改進(jìn)用于MVC的編碼效率。該第一現(xiàn)有技術(shù)途徑源于在兩個相鄰視圖之間關(guān)于運(yùn)動存在相似性的構(gòu)思。
運(yùn)動跳躍模式直接從相同時間瞬時處的相鄰視圖中的對應(yīng)宏塊推斷運(yùn)動信息(如宏塊類型、運(yùn)動向量和參考索引)。該方法分解為下述兩個階段(1)搜索對應(yīng)的宏塊；和(2)獲得(derivation)運(yùn)動信息。在第一階段，使用全局視差向量(GDV)來指示相鄰視圖的畫面中的對應(yīng)位置(宏塊)。通過當(dāng)前畫面與相鄰視圖的畫面之間的單元的宏塊大小來測量該全局視差向量?？梢灾芷谛缘?、例如每錨點(anchor)畫面地對全局視差向量進(jìn)行估計并且對其進(jìn)行解碼。在此情況下，使用來自錨點畫面的新近的全局視差向量來插入非錨點畫面的全局視差向量。在第二階段，從相鄰視圖的畫面中的對應(yīng)宏塊獲得運(yùn)動信息，并且將該運(yùn)動信息應(yīng)用到當(dāng)前宏塊。由于第一現(xiàn)有技術(shù)途徑的所提出的方法利用來自相鄰視圖的畫面來表示用于視圖間預(yù)測處理的另一方式，因此在當(dāng)前宏塊處于基本視圖的畫面中或處于在聯(lián)合多視圖視頻模型(JMVM)中定義的錨點畫面中的情況下，禁用運(yùn)動跳躍模式。
為了向解碼器通知運(yùn)動跳躍模式的使用，在用于多視圖視頻編碼的宏塊層語法元素的報頭中包括motion_skip_flag。如果使得能夠進(jìn)行motion_skip_flag，則當(dāng)前宏塊從相鄰視圖中的對應(yīng)宏塊獲得宏塊類型、運(yùn)動向量和參考索引。
然而，在實際情形中，將使用不同類的照相機(jī)(camera)或尚未完全校準(zhǔn)的照相機(jī)來建立包括大量照相機(jī)的多視圖視頻系統(tǒng)。在如此多的照相機(jī)的情況下，解碼器的存儲器需求以及復(fù)雜度可能顯著地增加。此外，某些應(yīng)用可以僅要求對來自一組視圖的一些視圖進(jìn)行解碼。結(jié)果，可以無需完全地重構(gòu)輸出不需要的視圖。


發(fā)明內(nèi)容
針對在編碼器和解碼器處用于支持多視圖編碼視頻的單環(huán)解碼的方法和裝置的本原理處理現(xiàn)有技術(shù)的這些和其它缺點和劣勢。
根據(jù)本原理的一方面，提供一種裝置。該裝置包括編碼器，用于對多視圖視頻內(nèi)容進(jìn)行編碼，以使得當(dāng)使用視圖間預(yù)測對多視圖視頻內(nèi)容進(jìn)行編碼時，能夠進(jìn)行多視圖視頻內(nèi)容的單環(huán)解碼。
根據(jù)本原理的另一方面，提供一種方法。該方法包括對多視圖視頻內(nèi)容進(jìn)行編碼以使得當(dāng)使用視圖間預(yù)測對多視圖視頻內(nèi)容進(jìn)行編碼時，支持多視圖視頻內(nèi)容的單環(huán)解碼。
根據(jù)本原理的又一方面，提供一種裝置。該裝置包括解碼器，用于當(dāng)使用視圖間預(yù)測對多視圖視頻內(nèi)容進(jìn)行編碼時，使用單環(huán)解碼對多視圖視頻內(nèi)容進(jìn)行解碼。
根據(jù)本原理的再一方面，提供一種方法。該方法包括當(dāng)使用視圖間預(yù)測對多視圖視頻內(nèi)容進(jìn)行編碼時，使用單環(huán)解碼對多視圖視頻內(nèi)容進(jìn)行解碼。
從將結(jié)合附圖閱讀的示例性實施例的下述詳細(xì)的描述中，本原理的這些和其它方面、特點和優(yōu)點將變得明顯。



根據(jù)以下示例性附圖可以更好地理解本原理，其中 圖1是根據(jù)本原理實施例的可以應(yīng)用本原理的示例性多視圖視頻編碼(MVC)編碼器的方框圖； 圖2是根據(jù)本原理實施例的可以應(yīng)用本原理的示例性多視圖視頻編碼(MVC)解碼器的方框圖； 圖3是根據(jù)本原理實施例的可以應(yīng)用本原理的具有8視圖的示例性MVC系統(tǒng)的編碼結(jié)構(gòu)的圖； 圖4是根據(jù)本原理實施例的用于對多視圖視頻內(nèi)容進(jìn)行編碼以支持單環(huán)解碼的示例性方法的流程圖； 圖5是根據(jù)本原理實施例的用于多視圖視頻內(nèi)容的單環(huán)解碼的示例性方法的流程圖； 圖6是根據(jù)本原理實施例的用于對多視圖視頻內(nèi)容進(jìn)行編碼以支持單環(huán)解碼的另一示例性方法的流程圖；和 圖7是根據(jù)本原理實施例的用于多視圖視頻內(nèi)容的單環(huán)解碼的另一示例性方法的流程圖。

具體實施例方式 本原理針對在編碼器和解碼器處用于支持多視圖編碼視頻的單環(huán)解碼的方法和裝置。
本描述例示本原理。因此應(yīng)理解本領(lǐng)域技術(shù)人員將能夠設(shè)計出雖然未在這里明確描述或示出、但是體現(xiàn)本原理并且包括在本原理的精神和范圍內(nèi)的各種布置。
這里所敘述的所有例子和條件語句意在教學(xué)目的，以幫助讀者理解由發(fā)明人貢獻(xiàn)以促進(jìn)本領(lǐng)域技術(shù)的本原理和構(gòu)思，并被解釋為不限制為這樣具體敘述的例子和條件。
此外，這里敘述本原理的原理、方面、以及實施例的所有陳述、以及本原理的具體例子意在包含本原理的結(jié)構(gòu)的和功能的等價物。另外，意在這樣的等價物包括當(dāng)前已知的等價物以及將來發(fā)展的等價物，即，無論結(jié)構(gòu)如何、執(zhí)行相同功能的所開發(fā)的任何元件。
因此，例如，本領(lǐng)域技術(shù)人員將理解這里呈現(xiàn)的框圖表示體現(xiàn)本原理的示例電路的概念性視圖。類似地，將理解任何流程圖示、流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等等表示各種處理，所述各種處理可以基本上在計算機(jī)可讀介質(zhì)中表示，并因此由計算機(jī)或處理器執(zhí)行，無論這樣的計算機(jī)或處理器是否被明確示出。
附圖中所示的各種元件的功能可以通過使用專用硬件以及能夠與適合的軟件相關(guān)聯(lián)而執(zhí)行軟件的硬件來提供。當(dāng)由處理器提供時，所述功能可以由單個專用處理器、單個共享處理器、或其中一些可以被共享的多個獨立處理器提供。此外，術(shù)語“處理器”或“控制器”的明確使用不應(yīng)被解釋為唯一地代表能夠執(zhí)行軟件的硬件，其也可以隱含地、不受限制地包括數(shù)字信號處理器(“DSP”)硬件、用于存儲軟件的只讀存儲器(“ROM”)、隨機(jī)存取存儲器(“RAM”)、以及非易失性存儲裝置。
也可以包括其它的傳統(tǒng)的和/或定制的硬件。類似地，附圖中所示的任何開關(guān)只是概念性的。它們的功能可以通過程序邏輯的操作、通過專用邏輯、通過程序控制和專用邏輯間的交互作用、或甚至手動地執(zhí)行，具體技術(shù)可由實施者選擇，如從上下文中被更具體地理解的。
在本權(quán)利要求書中，表示為執(zhí)行指定功能的部件的任何元件意在包含執(zhí)行該功能的任何方式，所述方式包括例如，a)執(zhí)行該功能的電路元件的組合，或者b)任何形式的軟件，因此包括與用于執(zhí)行該軟件的適合的電路結(jié)合以執(zhí)行該功能的固件、微代碼等等。由這樣的權(quán)利要求書限定的本原理歸于這樣的事實由各種所敘述的部件提供的功能以權(quán)利要求書要求的方式組合并集合。因此認(rèn)為能夠提供那些功能的任何部件等價于這里所示的那些部件。
說明書中引用的本原理的“一個實施例”或者“實施例”指結(jié)合所述實施例描述的特定特征、結(jié)構(gòu)、特性等等包含在本原理的至少一個實施例中。由此，在貫穿說明書的各處出現(xiàn)的短語“在一個實施例中”或者“在實施例中”的出現(xiàn)不一定都指同一實施例。此外，短語“在另一個實施例中”不排除使所描述的實施例的主題與另一實施例的整體或部分上的組合。
另外，應(yīng)該理解，術(shù)語“和/或”和“至少一個”的使用，例如在“A和/或B”和“A和B中的至少一個”的情況下，意在涵蓋僅選擇所列的第一選項(A)、或者僅選擇所列的第二選項(B)、或者選擇兩個選項(A與B)。作為進(jìn)一步的例子，在“A、B、和/或C”和“A、B、C中的至少一個”的情況下，此類短語意在涵蓋僅選擇所列的第一選項(A)、或者僅選擇所列的第二選項(B)、或者僅選擇所列的第三選項(C)、或者僅選擇所列的第一與第二選項(A與B)、或者僅選擇所列的第一與第三選項(A與C)、或者僅選擇所列的第二與第三選項(B與C)、或者選擇全部三個選項(A與B與C)。本領(lǐng)域與相關(guān)領(lǐng)域的普通技術(shù)人員容易理解，可以將此擴(kuò)展到所列的諸多項目。
如在此使用的那樣，“多視圖視頻序列”指從不同的視點捕捉相同場景的一組兩個或更多個視頻序列。
進(jìn)一步，如在此可互換使用的那樣，“交叉視圖”和“視圖間”兩者都指屬于除了當(dāng)前視圖之外的某一視圖的畫面。
另外，如在此使用的那樣，短語“無需完全重構(gòu)”指當(dāng)沒有在編碼環(huán)或解碼環(huán)中執(zhí)行運(yùn)動補(bǔ)償時的情況。
此外，應(yīng)理解，雖然在此關(guān)于MPEG 4AVC標(biāo)準(zhǔn)的多視圖視頻編碼擴(kuò)展來描述本原理，但本原理不唯一地限于此標(biāo)準(zhǔn)和對應(yīng)的擴(kuò)展，因此在保持本原理精神的同時，可以對與多視圖視頻編碼有關(guān)的其它視頻編碼標(biāo)準(zhǔn)、建議及其擴(kuò)展來利用本原理。
轉(zhuǎn)至圖1，附圖標(biāo)記100總地指示示例性的多視圖視頻編碼(MVC)編碼器。編碼器100包括組合器105，其具有以信號通信方式而與變換器110的輸入連接的輸出。變換器110的輸出以信號通信的方式而與量化器115的輸入連接。量化器115的輸出以信號通信的方式而與熵編碼器120的輸入和逆量化器125的輸入連接。逆量化器125的輸出以信號通信的方式而與逆變換器130的輸入連接。逆變換器130的輸出以信號通信的方式而與組合器135的第一同相輸入連接。組合器135的輸出以信號通信的方式而與幀內(nèi)預(yù)測器145的輸入和去塊濾波器150的輸入連接。去塊濾波器150的輸出以信號通信的方式而與參考畫面存儲155(用于視圖i)的輸入連接。參考畫面存儲155的輸出以信號通信的方式而與運(yùn)動補(bǔ)償器175的第一輸入和運(yùn)動估計器180的第一輸入連接。運(yùn)動估計器180的輸出以信號通信的方式而與運(yùn)動補(bǔ)償器175的第二輸入連接。
參考畫面存儲160(用于其它視圖)的輸出以信號通信的方式而與視差/照度估計器170的第一輸入和視差/照度補(bǔ)償器165的第一輸入連接。視差/照度估計器170的輸出以信號通信的方式而與視差/照度補(bǔ)償器165的第二輸入連接。
熵解碼器120的輸出可用作編碼器100的輸出。組合器105的正相輸入可用作編碼器100的輸入，并且以信號通信的方式而與視差/照度估計器170的第二輸入和運(yùn)動估計器180的第二輸入連接。開關(guān)185的輸出以信號通信的方式而與組合器135的第二同相輸入連接并且與組合器105的反相輸入連接。開關(guān)185包括以信號通信的方式而與運(yùn)動補(bǔ)償器175的輸出連接的第一輸入、以信號通信的方式而與視差/照度補(bǔ)償器165的輸出連接的第二輸入、以及以信號通信的方式而與幀內(nèi)預(yù)測器145的輸出連接的第三輸入。
模式判決模塊140具有連接到開關(guān)185的輸出，用于控制開關(guān)185選擇哪個輸入。
轉(zhuǎn)至圖2，附圖標(biāo)記200總地指示示例性的多視圖視頻編碼(MVC)解碼器。解碼器200包括熵解碼器205，其具有以信號通信的方式而與逆量化器210的輸入連接的輸出。逆量化器的輸出以信號通信的方式而與逆變換器215的輸入連接。逆變換器215的輸出以信號通信的方式而與組合器220的第一正相輸入連接。組合器220的輸出以信號通信的方式而與去塊濾波器225的輸入和幀內(nèi)預(yù)測器230的輸入連接。去塊濾波器225的輸出以信號通信的方式而與參考畫面存儲240(用于視圖i)的輸入連接。參考畫面存儲240的輸出以信號通信的方式而與運(yùn)動補(bǔ)償器235的第一輸入連接。
參考畫面存儲245(用于其它視圖)的輸出以信號通信的方式而與視差/照度補(bǔ)償器250的第一輸入連接。
熵編碼器205的輸入可用作進(jìn)入解碼器200的輸入，用于接收殘余比特流。此外，模式模塊260的輸入也可用作進(jìn)入解碼器200的輸入，用于接收控制語法以控制開關(guān)255選擇哪個輸入。而且，運(yùn)動補(bǔ)償器235的第二輸入可用作解碼器200的輸入，用于接收運(yùn)動向量。此外，視差/照度補(bǔ)償器250的第二輸入可用作進(jìn)入解碼器200的輸入，用于接收視差向量和照度補(bǔ)償語法。
開關(guān)255的輸出以信號通信的方式而與組合器220的第二正相輸入連接。開關(guān)255的第一輸入以信號通信的方式而與視差/照度補(bǔ)償器250的輸出連接。開關(guān)255的第二輸入以信號通信的方式而與運(yùn)動補(bǔ)償器235的輸出連接。開關(guān)255的第三輸入以信號通信的方式而與幀內(nèi)預(yù)測器230的輸出連接。模式模塊260的輸出以信號通信的方式而與開關(guān)255連接，用于控制開關(guān)255選擇哪個輸入。去塊濾波器225的輸出可用作解碼器的輸出。
如上所述，本原理針對在編碼器和解碼器處用于支持多視圖編碼視頻的單環(huán)解碼的方法和裝置。
本原理特別地適合于當(dāng)僅將要對多視圖視頻內(nèi)容的某些視圖進(jìn)行解碼時的情況。這些應(yīng)用不包括完全地重構(gòu)參考視圖(即像素數(shù)據(jù))。在實施例中，可以推斷來自那些視圖的某些元素，并且可以將其用于其它視圖，因此節(jié)約了存儲器和時間。
當(dāng)前多視圖視頻編碼規(guī)范要求完全重構(gòu)所有視圖。重構(gòu)的視圖然后可以用作視圖間參考。轉(zhuǎn)至圖3，附圖標(biāo)記300總地指示用于具有8視圖的示例性MVC系統(tǒng)的編碼結(jié)構(gòu)。
作為重構(gòu)的視圖可以用作視圖間參考這一事實的結(jié)果，即使可以不輸出各個視圖，也必須對每一視圖進(jìn)行完全地解碼并且將其存儲在存儲器中。由于人們將需要花費(fèi)處理器時間來對這些非輸出視圖進(jìn)行解碼，以及花費(fèi)存儲器來為這種非輸出視圖存儲已解碼畫面，因此從存儲器和處理器利用而言，這并不是非常有效率的。
因此，根據(jù)本原理，我們提出了用于支持用于多視圖編碼序列的單環(huán)解碼的方法和裝置。如上所述，雖然主要關(guān)于MPEG-4AVC標(biāo)準(zhǔn)的多視圖視頻編碼擴(kuò)展來描述在此提供的示例，但是，給出了對在此提供的本原理的教學(xué)，容易理解，在保持本原理的精神的同時，本領(lǐng)域或相關(guān)領(lǐng)域普通技術(shù)人員可以容易地將本原理應(yīng)用到任何多視圖視頻編碼系統(tǒng)。
在單環(huán)解碼的一個實施例中，僅錨點畫面將使用完全重構(gòu)的畫面作為參考，而非錨點畫面不使用完全重構(gòu)的畫面作為參考。為了改進(jìn)用于非錨點畫面的編碼效率，我們提出了使用視圖間預(yù)測，從而視圖間預(yù)測從相鄰視圖推斷某些數(shù)據(jù)而不需要完全重構(gòu)相鄰視圖。表1中示出的序列參數(shù)集語法指示相鄰參考視圖。表1示出了根據(jù)本原理實施例的用于MPEG-4AVC標(biāo)準(zhǔn)的多視圖視頻編碼擴(kuò)展的序列參數(shù)集(SPS)語法。
表1 可以從相鄰參考視圖推斷而無需完全重構(gòu)的信息可以是下述一個或多個的組合(1)運(yùn)動和模式信息；(2)殘余預(yù)測；(3)幀內(nèi)預(yù)測模式；(4)照度補(bǔ)償偏移；(5)深度信息；以及(6)去塊強(qiáng)度。應(yīng)理解，前面類型的信息僅僅是示例性的，并且本原理不唯一地限于關(guān)于可以從相鄰視圖推斷而無需完全重構(gòu)的信息的前面類型的信息。例如，應(yīng)理解，在保持本原理的精神的同時，根據(jù)本原理可以使用與來自相鄰視圖的至少一部分畫面的特性有關(guān)的任何類型的信息，包括與對這些畫面或畫面部分進(jìn)行編碼和/或解碼有關(guān)的任何類型的信息。此外，在保持本原理的精神的同時，可以從語法和/或其它源推斷這種信息。
關(guān)于運(yùn)動和模式信息，這與當(dāng)前多視圖視頻編碼規(guī)范中的運(yùn)動跳躍模式類似，其中從相鄰視圖推斷運(yùn)動向量、模式和參考索引信息。此外，可以通過發(fā)送額外的數(shù)據(jù)來提煉(refine)所推斷的運(yùn)動信息。此外，還可以推斷視差信息。
關(guān)于殘余預(yù)測，這里將來自相鄰視圖的殘余數(shù)據(jù)用作用于當(dāng)前宏塊的殘留的預(yù)測數(shù)據(jù)?？梢酝ㄟ^發(fā)送用于當(dāng)前宏塊的額外數(shù)據(jù)來進(jìn)一步提煉該殘余數(shù)據(jù)。
關(guān)于幀內(nèi)預(yù)測模式，也可以推斷這些模式?？梢詫⒅貥?gòu)的幀內(nèi)宏塊直接用作預(yù)測數(shù)據(jù)，或可以將幀內(nèi)預(yù)測模式直接用于當(dāng)前宏塊。
關(guān)于照度補(bǔ)償偏移，可以推斷以及此外進(jìn)一步提煉照度補(bǔ)償偏移值。
關(guān)于深度信息，也可以推斷深度信息。
為了確定多視圖視頻編碼序列是否支持單環(huán)解碼，可以以下述中的一個或多個來表示高級語法序列參數(shù)集(SPS)；畫面參數(shù)集(PPS)；網(wǎng)絡(luò)抽象層(NAL)單元報頭；片報頭(slice header)；以及補(bǔ)充增強(qiáng)信息(SEI)消息。也可以將單環(huán)多視圖視頻解碼指定為簡檔(profile)。
表2示出了所提出的根據(jù)實施例的用于MPEG-4AVC標(biāo)準(zhǔn)的多視圖視頻編碼擴(kuò)展的序列參數(shù)集(SPS)語法，其包括non_anchor_single_loop_decoding_flag語法元素。non_anchor_single_loop_decoding_flag是在以信號通知非錨點畫面參考的環(huán)中添加的額外語法元素。添加non_anchor_single_loop_decoding_flag語法元素，以便以信號通知是否應(yīng)該對用于視圖“i”的非錨點畫面的參考進(jìn)行完全解碼以對視圖“i”進(jìn)行解碼。non_anchor_single_loop_decoding_fiag語法元素具有下述語義 non_anchor_single_loop_decoding_flag[i]等于1指示不需要對用于視圖id等于view_id[i]的視圖的非錨點畫面的參考視圖進(jìn)行完全重構(gòu)以對該視圖進(jìn)行解碼。non_anchor_single_loop_decoding_flag[i]等于0指示應(yīng)該對用于視圖id等于view-id[i]的視圖的非錨點畫面的參考視圖進(jìn)行完全重構(gòu)以對該視圖進(jìn)行解碼。
表2 表3示出了所提出的根據(jù)另一實施例的用于MPEG-4AVC標(biāo)準(zhǔn)的多視圖視頻編碼擴(kuò)展的序列參數(shù)集(SPS)語法，其包括non_anchor_single_loop_decoding_flag語法元素。non_anchor_single_loop_decoding_flag語法元素用來指示對于整個序列，可以對所有的非錨點畫面進(jìn)行解碼而無需完全重構(gòu)參考視圖。non_anchor_single_loop_decoding_flag語法元素具有下述語義 non_anchor_single_loop_decoding_flag等于1指示可以對所有視圖的所有非錨點畫面進(jìn)行解碼而無需完全重構(gòu)對應(yīng)的參考視圖的畫面。
表3 在單環(huán)解碼的另一實施例中，甚至關(guān)于單環(huán)解碼使能錨點畫面。表4示出了所提出的根據(jù)另一實施例的用于MPEG-4AVC標(biāo)準(zhǔn)的多視圖視頻編碼擴(kuò)展的序列參數(shù)集(SPS)語法，其包括anchor_single_loop_decoding_flag語法元素。anchor_single_loop_decoding_flag語法元素可以存在，用于序列參數(shù)集中的錨點畫面依賴性環(huán)。anchor_single_loop_decoding_flag語法元素具有下述語義 anchor_single_loop_decoding_flag[i]等于1指示不需要對用于視圖id等于view_id[i]的視圖的錨點畫面的參考視圖進(jìn)行完全重構(gòu)以對該視圖進(jìn)行解碼。anchor_single_loop_decoding_flag[i]等于0指示應(yīng)該對用于視圖id等于view_id[i]的視圖的錨點畫面的參考視圖進(jìn)行完全重構(gòu)以對該視圖進(jìn)行解碼。
表4 表5示出了所提出的根據(jù)另一實施例的用于MPEG-4AVC標(biāo)準(zhǔn)的多視圖視頻編碼擴(kuò)展的序列參數(shù)集(SPS)語法，其包括anchor_single_loop_decoding_flag語法元素。anchor_single_loop_decoding_flag語法元素具有下述語義 anchor_single_loop_decoding_flag等于1指示可以對所有視圖的所有錨點畫面進(jìn)行解碼而無需完全重構(gòu)對應(yīng)的參考視圖的畫面。
表5 轉(zhuǎn)至圖4，附圖標(biāo)記400總地指示用于對多視圖視頻內(nèi)容進(jìn)行編碼以支持單環(huán)解碼的示例性方法。
方法400包括將控制傳遞到功能塊410的開始塊405。功能塊405解析編碼器配置文件，并且將控制傳遞到判決塊415。判決塊415確定變量i是否比要編碼的視圖的數(shù)量少。如果是，則將控制傳遞到判決塊420。否則，將控制傳遞到結(jié)束塊499。
判決塊420確定是否使得單環(huán)編碼能夠用于視圖i的錨點畫面。如果是，則將控制傳遞到功能塊425。否則，將控制傳遞到功能塊460。
功能塊425設(shè)置anchor_single_loop_decoding_flag[i]等于1，并且將控制傳遞到判決塊430。判決塊430確定是否使得單環(huán)編碼能夠用于視圖i的非錨點畫面。如果是，則將控制傳遞到功能塊435。否則，將控制傳遞到功能塊465。
功能塊435將non_anchor_single_loop_decoding_flag[i]設(shè)置為1，并且將控制傳遞到功能塊440。
功能塊440將anchor_single_loop_decoding_flag[i]和non_anchor_single_loop_decoding_flag[i]寫入用于視圖i的序列參數(shù)集(SPS)、畫面參數(shù)集(PPS)、網(wǎng)絡(luò)抽象層(NAL)單元報頭和/或片報頭，并且將控制傳遞到功能塊445。功能塊445從SPS考慮視圖間依賴性，同時當(dāng)不包括視圖間預(yù)測時對視圖的宏塊進(jìn)行編碼，并且將控制傳遞到功能塊450。功能塊450推斷用于單環(huán)編碼的運(yùn)動信息、幀間預(yù)測模式、殘余數(shù)據(jù)、視差數(shù)據(jù)、幀內(nèi)預(yù)測模式和深度信息的組合，并且將控制傳遞到功能塊455。功能塊455將變量i增加1，并且將控制返回到判決塊415。
功能塊460將anchor_single_loop_decoding_flag[i]設(shè)置為等于0，并且將控制傳遞到判決塊430。
功能塊465將non_anchor_single_loop_decoding_flag[i]設(shè)置為等于0，并且將控制傳遞到功能塊440。
轉(zhuǎn)至圖5，附圖標(biāo)記500總地指示用于多視圖視頻內(nèi)容的單環(huán)解碼的示例性方法。
方法500包括將控制傳遞到功能塊510的起始塊505。功能塊510從用于視圖i的序列參數(shù)集(SPS)、畫面參數(shù)集(PPS)、網(wǎng)絡(luò)抽象層(NAL)單元報頭或片報頭中讀取anchor_single_loop_decoding_flag[i]和non_anchor_single_loop_decoding_flag[i]，并且將控制傳遞到判決塊515。判決塊515確定變量i是否小于要解碼的視圖的數(shù)量。如果是，則將控制傳遞到判決塊520。否則，將控制傳遞到結(jié)束塊599。
判決塊520確定當(dāng)前畫面是否為錨點畫面。如果是，則將控制傳遞到判決塊525。否則，將控制傳遞到判決塊575。
判決塊525確定anchor_single_loop_decoding_flag[i]是否為1。如果是，則將控制傳遞到功能塊530。否則，將控制傳遞到功能塊540。
在當(dāng)不包括視圖間預(yù)測時對視圖i的宏塊進(jìn)行解碼的時候，功能塊530從序列參數(shù)集(SPS)中考慮視圖間依賴性，并且將控制傳遞到功能塊535。功能塊535推斷用于運(yùn)動跳躍宏塊的運(yùn)動信息、幀間預(yù)測模式、殘余數(shù)據(jù)、視差數(shù)據(jù)、幀內(nèi)預(yù)測模式、深度信息的組合，并且將控制傳遞到功能塊570。
功能塊570將變量i增加1，并且將控制返回到判決塊515。
在當(dāng)包括視圖間預(yù)測時對視圖i的宏塊進(jìn)行解碼的同時，功能塊540從序列參數(shù)集(SPS)中考慮視圖間依賴性，并且將控制傳遞到功能塊545。功能塊545推斷運(yùn)動信息、幀間預(yù)測模式、殘余數(shù)據(jù)、視差數(shù)據(jù)、幀內(nèi)預(yù)測模式和深度信息的組合，并且將控制傳遞到功能塊570。
判決塊575確定non_anchor_single_loop_decoding_flag[i]是否為1。如果是，則將控制傳遞到功能塊550。否則，將控制傳遞到功能塊560。
在當(dāng)不包括視圖間預(yù)測時對視圖i的宏塊進(jìn)行解碼的同時，功能塊550從序列參數(shù)集(SPS)中考慮視圖間依賴性，并且將控制傳遞到功能塊555。功能塊555推斷用于運(yùn)動跳躍宏塊的運(yùn)動信息、幀間預(yù)測模式、殘余數(shù)據(jù)、視差數(shù)據(jù)、視圖內(nèi)模式和深度信息的組合，并且將控制傳遞到功能塊570。
在當(dāng)包括視圖間預(yù)測時對視圖i的宏塊進(jìn)行解碼的同時，功能塊560從序列參數(shù)集(SPS)中考慮視圖間依賴性，并且將控制傳遞到功能塊565。功能塊565推斷運(yùn)動信息、幀間預(yù)測模式、殘余數(shù)據(jù)、視差數(shù)據(jù)、幀內(nèi)預(yù)測模式和深度信息的組合，并且將控制傳遞到功能塊570。
轉(zhuǎn)至圖6，附圖標(biāo)記600總地指示用于對多視圖視頻內(nèi)容進(jìn)行編碼以支持單環(huán)解碼的另一示例性方法。
方法600包括用于將控制傳遞到功能塊610的起始塊605。功能塊610解析編碼器配置文件，并且將控制傳遞到判決塊615。判決塊615確定是否使得單環(huán)編碼能夠用于每一視圖的所有錨點畫面。如果是，則將控制傳遞到功能塊620。否則，將控制傳遞到功能塊665。
功能塊620將anchor_single_loop_decoding_flag設(shè)置為等于1，并且將控制傳遞到判決塊625。判決塊625確定是否使得單環(huán)編碼能夠用于每一視圖的所有非錨點畫面。如果是，則將控制傳遞到功能塊630。否則，將控制傳遞到功能塊660。
功能塊630將non_anchor_single_loop_decoding_flag設(shè)置為等于1，并且將控制傳遞到功能塊635。功能塊635將anchor_single_loop_decoding_flag寫入序列參數(shù)集(SPS)、畫面參數(shù)集(PPS)、網(wǎng)絡(luò)抽象層(NAL)單元報頭和/或片報頭，并且將控制傳遞到判決塊640。判決塊640確定變量i是否小于要編碼的視圖的數(shù)量。如果是，則將控制傳遞到功能塊645。否則，將控制傳遞到結(jié)束塊699。
在當(dāng)不包括視圖間預(yù)測時對視圖的宏塊進(jìn)行編碼的同時，功能塊645從SPS中考慮視圖間依賴性，并且將控制傳遞到功能塊650。功能塊650推斷用于單環(huán)編碼的運(yùn)動信息、幀間預(yù)測模式、殘余數(shù)據(jù)、視差數(shù)據(jù)、幀內(nèi)預(yù)測模式、深度信息的組合，并且將控制傳遞到功能塊655。功能塊655將變量i增加1，并且將控制返回到判決塊640。
功能塊665將anchor_single_loop_decoding_flag設(shè)置為等于0，并且將控制傳遞到判決塊625。
功能塊660將non_anchor_single_loop_decoding_flag設(shè)置為等于0，并且將控制傳遞到功能塊635。
轉(zhuǎn)至圖7，附圖標(biāo)記700總地指示用于多視圖視頻內(nèi)容的單環(huán)解碼的另一示例性方法。
方法700包括將控制傳遞到功能塊710的起始塊705。功能塊710從用于視圖i的序列參數(shù)集(SPS)、畫面參數(shù)集(PPS)、網(wǎng)絡(luò)抽象層(NAL)單元報頭或片報頭中讀取anchor_single_loop_decoding_flag和non_anchor_single_loop_decoding_flag，并且將控制傳遞到判決塊715。判決塊715確定變量i是否小于要解碼的視圖的數(shù)量。如果是，則將控制傳遞到判決塊720。否則，將控制傳遞到結(jié)束塊799。
判決塊720確定當(dāng)前畫面是否是錨點畫面。如果是，則將控制傳遞到判決塊725。否則，將控制傳遞到判決塊775。
判決塊725確定anchor_single_loop_decoding_flag是否等于1。如果是，則將控制傳遞到功能塊730。否則，將控制傳遞到功能塊740。
在當(dāng)不包括視圖間預(yù)測時對視圖i的宏塊進(jìn)行解碼的時候，功能塊730從序列參數(shù)集(SPS)中考慮視圖間依賴性，并且將控制傳遞到功能塊735。功能塊735推斷用于運(yùn)動跳躍宏塊的運(yùn)動信息、幀間預(yù)測模式、殘余數(shù)據(jù)、視差數(shù)據(jù)、幀內(nèi)預(yù)測模式、深度信息的組合，并且將控制傳遞到功能塊770。
功能塊770將變量i增加1，并且將控制返回到判決塊715。
在當(dāng)包括視圖間預(yù)測時對視圖i的宏塊進(jìn)行解碼的同時，功能塊740從序列參數(shù)集(SPS)中考慮視圖間依賴性，并且將控制傳遞到功能塊745。功能塊745推斷運(yùn)動信息、幀間預(yù)測模式、殘余數(shù)據(jù)、視差數(shù)據(jù)、幀內(nèi)預(yù)測模式和深度信息的組合，并且將控制傳遞到功能塊770。
判決塊775確定non_anchor_single_loop_decoding是否等于1。如果是，則將控制傳遞到功能塊750。否則，將控制傳遞到功能塊760。
在當(dāng)不包括視圖間預(yù)測時對視圖i的宏塊進(jìn)行解碼的同時，功能塊750從序列參數(shù)集(SPS)中考慮視圖間依賴性，并且將控制傳遞到功能塊755。功能塊755推斷用于運(yùn)動跳躍宏塊的運(yùn)動信息、幀間預(yù)測模式、殘余數(shù)據(jù)、視差數(shù)據(jù)、幀內(nèi)預(yù)測模式和深度信息的組合，并且將控制傳遞到功能塊770。
在當(dāng)包括視圖間預(yù)測時對視圖i的宏塊進(jìn)行解碼的同時，功能塊760從序列參數(shù)集(SPS)中考慮視圖間依賴性，并且將控制傳遞到功能塊765。功能塊765推斷運(yùn)動信息、幀間預(yù)測模式、殘余數(shù)據(jù)、視差數(shù)據(jù)、幀內(nèi)預(yù)測模式和深度信息的組合，并且將控制傳遞到功能塊770。
現(xiàn)在將給出對于本原理的許多伴隨優(yōu)點/特點中的一些伴隨優(yōu)點/特點的描述，其中一些已經(jīng)在上面提到。例如，一個優(yōu)點/特點是具有如下這樣的編碼器的裝置，所述編碼器用于當(dāng)使用視圖間預(yù)測對多視圖視頻內(nèi)容進(jìn)行編碼時，對多視圖視頻內(nèi)容進(jìn)行編碼以使得能夠進(jìn)行多視圖視頻內(nèi)容的單環(huán)解碼。
另一優(yōu)點/特點是具有如上所描述的編碼器的裝置，其中所述多視圖視頻內(nèi)容包括參考視圖和其它視圖。所述其它視圖能夠被重構(gòu)而無需所述參考視圖的完全重構(gòu)。
又一優(yōu)點/特點是具有如上所描述的編碼器的裝置，其中視圖間預(yù)測包括從多視圖視頻內(nèi)容的參考視圖推斷運(yùn)動信息、幀間預(yù)測模式、幀內(nèi)預(yù)測模式、參考索引、殘余數(shù)據(jù)、深度信息、照度補(bǔ)償偏移、去塊強(qiáng)度和視差數(shù)據(jù)中的至少一個。
再一優(yōu)點/特點是具有如上所描述的編碼器的裝置，其中視圖間預(yù)測包括從如下特性推斷用于多視圖內(nèi)容的給定視圖的信息，所述特性與來自關(guān)于所述給定視圖的所述多視圖視頻內(nèi)容的參考視圖中的至少一個畫面的至少一部分的至少一個有關(guān)；并且對與所述至少一個畫面的至少一部分有關(guān)的信息進(jìn)行解碼。
此外，另一優(yōu)點/特點是具有如上所描述的編碼器的裝置，其中使用高級語法元素來指示使得單環(huán)解碼能夠用于多視圖視頻內(nèi)容。
此外，另一優(yōu)點/特點是具有使用所描述的高級語法的編碼器的裝置，其中所述高級語法元素分別進(jìn)行以下之一指示是否使得所述單環(huán)解碼能夠用于多視圖視頻內(nèi)容中的錨點畫面和非錨點畫面，基于視圖指示是否使得能夠進(jìn)行所述單環(huán)解碼，基于序列指示是否使得能夠進(jìn)行所述單環(huán)解碼，并且指示僅對于多視圖視頻內(nèi)容中的非錨點畫面使得能夠進(jìn)行所述單環(huán)解碼。
基于這里的教學(xué)，相關(guān)領(lǐng)域中的普通技術(shù)人員可以容易地確定本原理的這些和其他特點和優(yōu)勢。應(yīng)當(dāng)理解，可以在各種形式的硬件、軟件、固件、專用處理器或它們的組合中實施本原理的教學(xué)。
最優(yōu)選地，本原理的教導(dǎo)被實現(xiàn)為硬件和軟件的組合。另外，軟件可以實現(xiàn)為以有形方式實現(xiàn)在程序存儲單元上的應(yīng)用程序。該應(yīng)用程序可以被上載到包含任何適當(dāng)架構(gòu)的機(jī)器并且由其執(zhí)行。優(yōu)選地，所述機(jī)器被實現(xiàn)在計算機(jī)平臺之上，其具有諸如一個或者多個中央處理單元(“CPU”)、隨機(jī)存取存儲器(“RAM”)、以及輸入/輸出(“I/O”)接口之類的硬件。計算機(jī)平臺還可以包括操作系統(tǒng)和微指令代碼。此處描述的各種處理和功能可以為微指令代碼的一部分或者為應(yīng)用程序的一部分，或者其任何組合，其可以由CPU執(zhí)行。另外，例如附加的數(shù)據(jù)存儲單元以及打印單元的各種其他外設(shè)單元可以連接到計算機(jī)平臺。
此外，要理解的是，對于在其上編碼有視頻信號數(shù)據(jù)的存儲介質(zhì)的引用，無論在說明書還是權(quán)利要求中對其進(jìn)行引用，都包括在其上記錄了這種數(shù)據(jù)的任何類型的計算機(jī)可讀存儲介質(zhì)。
還應(yīng)該理解，因為在附圖中所示的某些系統(tǒng)構(gòu)成組件與方法優(yōu)選地以軟件實現(xiàn)，所以系統(tǒng)組件或者處理功能塊之間的實際連接可能依賴于本原理的編排方式而不同。給出此處的教學(xué)，相關(guān)領(lǐng)域的普通技術(shù)人員將能夠設(shè)想本原理的這些以及類似的實現(xiàn)或者配置。
雖然此處參照附圖描述了說明性實施例，但是應(yīng)該理解本原理不限于這些確切的實施例，并且相關(guān)領(lǐng)域的普通技術(shù)人員在不脫離本原理的范圍與精神的情況下，可以在其中進(jìn)行各種改變和修改。所有這些改變和修改都意在包含在權(quán)利要求書所提出的本原理的范圍之內(nèi)。
權(quán)利要求
1.一種裝置，包括
解碼器(200)，用于當(dāng)使用視圖間預(yù)測對多視圖視頻內(nèi)容進(jìn)行編碼時，使用單環(huán)解碼對所述多視圖視頻內(nèi)容進(jìn)行解碼。
2.如權(quán)利要求1所述的裝置，其中，所述多視圖視頻內(nèi)容包括參考視圖和其它視圖，所述其它視圖能夠被重構(gòu)而無需所述參考視圖的完全重構(gòu)。
3.如權(quán)利要求1所述的裝置，其中，所述視圖間預(yù)測包括從所述多視圖視頻內(nèi)容的參考視圖推斷運(yùn)動信息、幀間預(yù)測模式、幀內(nèi)預(yù)測模式、參考索引、殘余數(shù)據(jù)、深度信息、照度補(bǔ)償偏移、去塊強(qiáng)度和視差數(shù)據(jù)中的至少一個。
4.如權(quán)利要求1所述的裝置，其中，所述視圖間預(yù)測包括從如下這樣的特性推斷用于所述多視圖內(nèi)容的給定視圖的信息，所述特性與來自關(guān)于所述給定視圖的所述多視圖視頻內(nèi)容的參考視圖的至少一個畫面的至少一部分中的至少一個有關(guān)；并且對與所述至少一個畫面的至少一部分有關(guān)的信息進(jìn)行解碼。
5.如權(quán)利要求1所述的裝置，其中，所述解碼器(200)使用高級語法元素確定是否使得所述單環(huán)解碼能夠用于所述多視圖視頻內(nèi)容。
6.如權(quán)利要求5所述的裝置，其中，所述解碼器(200)使用高級語法元素確定以下之一使用所述高級語法元素確定是否使得所述單環(huán)解碼能夠分別用于所述多視圖視頻內(nèi)容中的錨點畫面和非錨點畫面、基于視圖確定是否使得能夠進(jìn)行所述單環(huán)解碼、基于序列確定是否使得能夠進(jìn)行所述單環(huán)解碼、確定是否僅對于所述多視圖視頻內(nèi)容中的非錨點畫面使得能夠進(jìn)行所述單環(huán)解碼。
7.一種方法，包括
當(dāng)使用視圖間預(yù)測對多視圖視頻內(nèi)容進(jìn)行編碼時，使用單環(huán)解碼對所述多視圖視頻內(nèi)容進(jìn)行解碼(530，550)。
8.如權(quán)利要求7所述的方法，其中，所述多視圖視頻內(nèi)容包括參考視圖和其它視圖，所述其它視圖能夠被重構(gòu)而無需所述參考視圖的完全重構(gòu)(530，550，535，555)。
9.如權(quán)利要求7所述的方法，其中，所述視圖間預(yù)測包括從多視圖視頻內(nèi)容的參考視圖推斷運(yùn)動信息、幀間預(yù)測模式、幀內(nèi)預(yù)測模式、參考索引、殘余數(shù)據(jù)、深度信息、照度補(bǔ)償偏移、去塊強(qiáng)度和視差數(shù)據(jù)中的至少一個(535，555)。
10.如權(quán)利要求7所述的方法，其中，所述視圖間預(yù)測包括從如下這樣的特性推斷用于所述多視圖內(nèi)容的給定視圖的信息，所述特性與來自關(guān)于所述給定視圖的所述多視圖視頻內(nèi)容的參考視圖的至少一個畫面的至少一部分中的至少一個有關(guān)；并且對與所述至少一個畫面的所述至少一部分有關(guān)的信息進(jìn)行解碼。
11.如權(quán)利要求7所述的方法，其中，所述解碼步驟包括使用高級語法元素確定是否使得所述單環(huán)解碼能夠用于所述多視圖視頻內(nèi)容(510)。
12.如權(quán)利要求11所述的方法，其中，所述確定步驟使用高級語法元素確定以下之一確定是否使得所述單環(huán)解碼能夠分別用于所述多視圖視頻內(nèi)容中的錨點畫面和非錨點畫面(510)、基于視圖確定是否使得能夠進(jìn)行所述單環(huán)解碼(510)、基于序列確定是否使得能夠進(jìn)行所述單環(huán)解碼(710)、確定是否僅對于所述多視圖視頻內(nèi)容中的非錨點畫面使得能夠進(jìn)行所述單環(huán)解碼。
13.一種用于視頻編碼、解碼和傳輸?shù)囊曨l信號結(jié)構(gòu)，包括
多視圖視頻內(nèi)容，其被編碼以當(dāng)使用視圖間預(yù)測對所述多視圖視頻內(nèi)容進(jìn)行編碼時，支持所述多視圖視頻內(nèi)容的單環(huán)解碼。
14.如權(quán)利要求13所述的視頻信號結(jié)構(gòu)，其中，所述多視圖視頻內(nèi)容包括參考視圖和其它視圖，所述其它視圖能夠被重構(gòu)而無需所述參考視圖的完全重構(gòu)。
15.如權(quán)利要求13所述的視頻信號結(jié)構(gòu)，其中，所述視圖間預(yù)測包括從所述多視圖視頻內(nèi)容的參考視圖推斷運(yùn)動信息、幀間預(yù)測模式、幀內(nèi)預(yù)測模式、參考索引、殘余數(shù)據(jù)、深度信息、照度補(bǔ)償偏移、去塊強(qiáng)度和視差數(shù)據(jù)中的至少一個。
16.如權(quán)利要求13所述的視頻信號結(jié)構(gòu)，其中，所述視圖間預(yù)測包括從如下這樣的特性推斷用于所述多視圖內(nèi)容的給定視圖的信息，所述特性與來自關(guān)于所述給定視圖的所述多視圖視頻內(nèi)容的參考視圖的至少一個畫面的至少一部分中的至少一個有關(guān)；并且對與所述至少一個畫面的所述至少一部分有關(guān)的信息進(jìn)行解碼。
17.如權(quán)利要求13所述的視頻信號結(jié)構(gòu)，其中，使用高級語法元素來指示使得所述單環(huán)解碼能夠用于所述多視圖視頻內(nèi)容。
18.如權(quán)利要求17所述的視頻信號結(jié)構(gòu)，其中，所述高級語法元素分別進(jìn)行以下之一指示是否使得所述單環(huán)解碼能夠用于所述多視圖視頻內(nèi)容中的錨點畫面和非錨點畫面，基于視圖指示是否使得能夠進(jìn)行所述單環(huán)解碼，基于序列指示是否使得能夠進(jìn)行所述單環(huán)解碼，并且指示僅對于所述多視圖視頻內(nèi)容中的非錨點畫面使得能夠進(jìn)行所述單環(huán)解碼。
全文摘要
提供了在編碼器和解碼器處用于支持多視圖編碼視頻的單環(huán)解碼的方法和裝置。裝置包括編碼器(100)，用于對多視圖視頻內(nèi)容進(jìn)行編碼，以使得當(dāng)使用視圖間預(yù)測對多視圖視頻內(nèi)容進(jìn)行編碼時能夠進(jìn)行多視圖視頻內(nèi)容的單環(huán)解碼。類似地，還描述了用于對多視圖視頻內(nèi)容進(jìn)行編碼、以在使用視圖間預(yù)測對多視圖視頻內(nèi)容進(jìn)行編碼時支持多視圖視頻內(nèi)容的單環(huán)解碼的方法(400)。還描述了對應(yīng)的解碼器(200)裝置和方法(500)。
文檔編號H03M7/50GK101690231SQ200880022444
公開日2010年3月31日 申請日期2008年6月24日 優(yōu)先權(quán)日2007年6月28日
發(fā)明者珀文·B·潘迪特, 澎 尹 申請人:湯姆森特許公司