專利名稱：：用于以高級別語法表達(dá)的多視點(diǎn)信息的方法和裝置的制作方法
技術(shù)領(lǐng)域：
：本原理一般涉及視頻編碼器和解碼，更具體地，涉及用于以高級別語法(highlevelsyntax)表達(dá)(convey)的多視點(diǎn)(multi-view)信息的方法和裝置。
背景技術(shù)：
：符合下列標(biāo)準(zhǔn)的比特流包括網(wǎng)絡(luò)提取碎見點(diǎn)(NetworkAbstractionView,NAL)單元，所述標(biāo)準(zhǔn)是國際標(biāo)準(zhǔn)化組織/國際電工委員會(huì)(ISO/正C)運(yùn)動(dòng)圖像專家組-4(MPEG-4)第10部分先進(jìn)視頻編碼(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟、電信部門(ITU-T)R264推薦(下文中是"MPEG-4AVC標(biāo)準(zhǔn)")或者其擴(kuò)展(例如，可分級視頻編碼(SVC)和多視點(diǎn)視頻編碼(MVC))。NAL單元是能夠被獨(dú)立地制定用于傳輸和解析的微粒元素(atomicelement)。NAL單元可被分類為視頻編碼視點(diǎn)(VCL)NAL單元和非VCLNAL單元。VCLNAL單元包括表示一個(gè)或多個(gè)編碼宏塊的語法元素，每個(gè)語法元素對應(yīng)于未被壓縮的畫面中的取樣塊。非VCLNAL單元可以是下列類型之一序列參數(shù)集(及其擴(kuò)展)、畫面參數(shù)集、補(bǔ)充增強(qiáng)信息(SEI)NAL單元等等。補(bǔ)充增強(qiáng)信息NAL單元包括一個(gè)或多個(gè)補(bǔ)償增強(qiáng)信息消息，它們對于解碼輸出畫面是不需要的，但是有助于諸如畫面輸出定時(shí)、呈現(xiàn)、糾錯(cuò)、錯(cuò)誤隱藏、資源保留等等的相關(guān)處理。盡管通過分析原始比特流可以獲得那些信息，但是補(bǔ)償增強(qiáng)信息消息可被用來提供所有所需的信息，而不用真正地對所述比特流進(jìn)行解碼。系統(tǒng)組件可以直接訪問所述信息，并且這使得系統(tǒng)級別的^t喿作容易地多。至今為止，在MPEG-4AVC標(biāo)準(zhǔn)中規(guī)定了22種補(bǔ)充增強(qiáng)信息消息，以及在MPEG-4AVC標(biāo)準(zhǔn)的可升級視頻編碼(SVC)擴(kuò)展中規(guī)定了另外7種補(bǔ)充增強(qiáng)信息消息。由于MPEG-4AVC標(biāo)準(zhǔn)的多視點(diǎn)視頻編碼(MVC)擴(kuò)展是新的，因此不存在與其相關(guān)的用于提供任何必需或者期望的多視點(diǎn)視頻編碼信息的補(bǔ)充增強(qiáng)信息消息。
發(fā)明內(nèi)容通過本原理解決了現(xiàn)有技術(shù)的這些和其它不足和缺陷，本原理致力于用于以高級語法表達(dá)的多視點(diǎn)信息的方法和裝置。根據(jù)本原理的一方面，提供了一種裝置。所述裝置包括編碼器，用于以至少一個(gè)高級語法元素對合成比特流中的多視點(diǎn)視頻內(nèi)容和所述多視點(diǎn)一見頻內(nèi)容的多^L點(diǎn)編碼信息進(jìn)行編碼。根據(jù)本原理的另一方面，提供了一種方法。所述方法包括以至少一個(gè)高級語法元素對合成比特流中的多視點(diǎn)視頻內(nèi)容和所述多視點(diǎn)內(nèi)容的多視點(diǎn)編碼信息進(jìn)行編碼。根據(jù)本原理的再一方面，提供了一種裝置。所述裝置包括解碼器，用于從至少一個(gè)高級語法元素對來自合成比特流的多視點(diǎn)視頻內(nèi)容和所述多視點(diǎn)內(nèi)容的多視點(diǎn)編碼信息進(jìn)行解碼。根據(jù)本原理的又另一方面，提供了一種方法。所述方法包括從至少一個(gè)高級語法元素對來自合成比特流的多視點(diǎn)視頻內(nèi)容和所述多視點(diǎn)內(nèi)容的多一見點(diǎn)編碼信息進(jìn)行解碼。從結(jié)合附圖閱讀的示例性實(shí)施例的下列詳細(xì)描述中，本原理的這些和其它方面、特征和優(yōu)點(diǎn)將變得明顯。根據(jù)下列示例性附圖可以更好地理解本原理，其中圖l是根據(jù)本原理實(shí)施例的、可以應(yīng)用本原理的示例性多視點(diǎn)視頻編碼(MVC)編碼器的方框圖2是根據(jù)本原理實(shí)施例的、可以應(yīng)用本原理的示例性多視點(diǎn)視頻編碼(MVC)解碼器的方框圖3A-圖3D是根據(jù)本原理實(shí)施例的、用于編碼多視點(diǎn)信息的示例性方法的流程圖；和圖4A-圖4D是根據(jù)本原理實(shí)施例的、用于解碼多視點(diǎn)信息的示例性方法的流程圖。具體實(shí)施例方式本原理致力于用于以高級語法表達(dá)多視點(diǎn)信息的方法和裝置。本描述圖解說明了本原理。因此將會(huì)理解，本領(lǐng)域的普通技術(shù)人員將能夠設(shè)計(jì)出體現(xiàn)本原理并且包含在其精神和范疇之內(nèi)的各種結(jié)構(gòu)(盡管此處未清楚地描述和示出)。此處記載的所有示例和條件性語言往往用于教學(xué)目的，以便輔助讀者理解發(fā)明人改進(jìn)現(xiàn)有技術(shù)所貢獻(xiàn)的本原理和理念，并且應(yīng)當(dāng)理解本原理和理念不限于所述特別記載的示例和條件。而且，此處細(xì)述原理、方面和本原理實(shí)施例的所有陳述及其特定示例往往涵蓋其結(jié)構(gòu)性和功能性兩者的等效物。另外，所述等效物往往包括當(dāng)前已知的等效物以及未來發(fā)展的等效物，即，執(zhí)行相同功能而不管結(jié)構(gòu)如何而開發(fā)的任何元件。因此，例如，本領(lǐng)域的普通技術(shù)人員將會(huì)理解，此處展現(xiàn)的方框圖代表體現(xiàn)本原理的解釋性電路的概念視圖。類似地，將會(huì)理解，任何流程圖、流程圖表、狀態(tài)轉(zhuǎn)變圖、偽代碼等代表可以在計(jì)算機(jī)可讀介質(zhì)中表現(xiàn)并且如此由計(jì)算機(jī)或處理器執(zhí)行的各種處理，不管這樣的計(jì)算機(jī)或處理器是否清楚地示出。附圖中示出的各種元件的功能可以通過使用專用硬件以及能夠執(zhí)行軟件的硬件結(jié)合適當(dāng)軟件來提供。當(dāng)通過處理器來提供時(shí)，所述功能可以通過單個(gè)專用處理器、通過單個(gè)共享處理器、或者通過多個(gè)單獨(dú)處理器(其中的一些可被共享)來提供。而且，術(shù)語"處理器"或"控制器"的明確使用不應(yīng)當(dāng)被曲解為排他地指向能夠執(zhí)行軟件的硬件，并且可以隱含地包括但不限于數(shù)字信號(hào)處理器("DSP")硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器("ROM")、隨機(jī)存取存儲(chǔ)器("RAM")和非易失性存儲(chǔ)器。也可以包括其它傳統(tǒng)和/或常規(guī)的硬件。類似地，附圖中示出的任何開關(guān)僅僅是概念性的。它們的功能可以通過編程邏輯的操作、通過專用邏輯、通過程序控制和專用邏輯的交互、或者甚至手工來實(shí)現(xiàn)，如從上下文中更具體地了解到，特定技術(shù)是可通過工具來選擇。在權(quán)利要求書中，被表達(dá)為用于執(zhí)行特定功能的部件的任何元件往往涵蓋執(zhí)行下面那些功能的任何方式包括，例如，a)執(zhí)行那些功能的電路元件的組合或者b)任意形式的軟件，因此包括與執(zhí)行那些軟件以便執(zhí)行所述功能的適當(dāng)電路相結(jié)合的固件、微代碼等。如所述權(quán)利要求定義的本原理涵蓋的事實(shí)是通過各種記載的部件提供的功能性以權(quán)利要求所要求的方式被組合并且放在一起。因此認(rèn)為是能夠提供那些功能性的任何部件等價(jià)于此處所示的那些部件。說明書中對本原理的"一個(gè)實(shí)施例"或"實(shí)施例"的引用是指結(jié)合實(shí)施例描述的特定特征、結(jié)構(gòu)、特性等等被包含在本原理的至少一個(gè)實(shí)施例中。因此，整個(gè)說明書中出現(xiàn)在不同位置的術(shù)語"在一個(gè)實(shí)施例中"或"在實(shí)施例中"并不必都指向相同的實(shí)施例。將會(huì)理解，術(shù)語"和/或"的使用，例如，在"A和/或B"的情況下，往往是指涵蓋第一列出選項(xiàng)(A)的選擇、第二列出選項(xiàng)(B)的選擇或者兩個(gè)選項(xiàng)(A和B)的選擇。又例如，在"A、B和/或C"的情況下，這樣的措辭往往是指涵蓋第一列出選項(xiàng)(A)的選擇、第二列出選項(xiàng)(B)的選擇、第三列出選項(xiàng)(C)的選擇、第一和第二列出選項(xiàng)(A和B)的選擇、第一和第三列出選項(xiàng)(A和C)的選擇、第二和第三列出選項(xiàng)(B和C)的選擇、或者所有三個(gè)選項(xiàng)(A和B和C)的選擇。只要本領(lǐng)域和相關(guān)領(lǐng)域中的普通技術(shù)人員清楚地理解，這可擴(kuò)展到許多列出的項(xiàng)。而且，術(shù)語"讀取/解析"和"已讀取/已解析"是指讀取或解析和讀取兩者。再者，將會(huì)理解，盡管此處對于MPEG-4AVC標(biāo)準(zhǔn)的多視點(diǎn)視頻編碼擴(kuò)展描述了本原理的一個(gè)或多個(gè)實(shí)施例，但是本原理不單獨(dú)限于這種標(biāo)準(zhǔn)和相應(yīng)的擴(kuò)展，并且因此對于與多視點(diǎn)視頻編碼相關(guān)的其它視頻編碼標(biāo)準(zhǔn)、推薦和擴(kuò)展，可以利用本原理，同時(shí)維持本原理的精神。如此處所使用的，"高級語法，，是指存在于層級結(jié)構(gòu)在宏塊層之上的比特流中的語法。例如，如此處所使用的，高級語法可以是指、但是不限于在切片報(bào)頭(sliceheader)級別、序列參數(shù)集(SPS)級別、畫面參數(shù)集(PPS)級別、視點(diǎn)參數(shù)集(VPS)級別、網(wǎng)絡(luò)提取層(NAL)單元報(bào)頭級別和在補(bǔ)充增強(qiáng)信息(SEI)消息處的語法。為了圖示說明和簡潔，此處描述的下列實(shí)施例針對補(bǔ)充增強(qiáng)信息(SEI)消息的使用。然而，將會(huì)理解，針對表達(dá)如此處公開的多視點(diǎn)信息，本原理不僅限于使用補(bǔ)充增強(qiáng)信息(SEI)消息，并且因此針對至少上述類型的高級語法，包括但不限于在切片報(bào)頭級別、序列參數(shù)集(SPS)級別、畫面參數(shù)集(PPS)級別、視點(diǎn)參數(shù)集(VPS)級別、網(wǎng)絡(luò)提取層(NAL)單元報(bào)頭級別和在補(bǔ)充增強(qiáng)信息(SEI)消息處的語法，可以實(shí)現(xiàn)多視點(diǎn)信息的表達(dá)，同時(shí)維持本原理的精神。轉(zhuǎn)向圖1，示例性的多視點(diǎn)視頻編碼(MVC)編碼器通常用附圖標(biāo)記100表示。編碼器100包括組合器105,該組合器105具有與變換器110的輸入端進(jìn)行信號(hào)通信連接的輸出端。變換器110的輸出端與量化器115的輸入端進(jìn)行信號(hào)通信連接。量化器115的輸出端與熵編碼器120的輸入端和逆量化器125的輸入端進(jìn)行信號(hào)通信連接。逆量化器125的輸出端與逆變換器130的輸入端進(jìn)行信號(hào)通信連接。逆變換器130的輸出端與組合器135的第一非反相輸入端進(jìn)行信號(hào)通信連接。組合器135的輸出端與幀內(nèi)預(yù)測器145的輸入端和解塊濾波器150的輸入端進(jìn)行信號(hào)通信連接。解塊濾波器150的輸出端與參考畫面存儲(chǔ)器155(對于視點(diǎn)i)的輸入端進(jìn)行信號(hào)通信連接。參考畫面存儲(chǔ)器155的輸出端與運(yùn)動(dòng)補(bǔ)償器175的第一輸入端和運(yùn)動(dòng)估算器180的第一輸入端進(jìn)行信號(hào)通信連接。運(yùn)動(dòng)估算器180的輸出端與運(yùn)動(dòng)補(bǔ)償器175的第二輸入端進(jìn)行信號(hào)通信連接。參考畫面存儲(chǔ)器160(對于其它視點(diǎn))的輸出端與差異估算器170的第一輸入端和差異補(bǔ)償器165的第一輸入端進(jìn)行信號(hào)通信連接。差異估算器170的輸出端與差異補(bǔ)償器165的第二輸入端進(jìn)行信號(hào)通信連接。熵解碼器120的輸出端可用作編碼器100的輸出端。組合器105的非反相輸入端可用作編碼器100的輸入端，并且與差異估算器170的第二輸入端和運(yùn)動(dòng)估算器180的第二輸入端進(jìn)行信號(hào)通信連接。開關(guān)185的輸出端與組合器135的第二非反相輸入端和組合器105的反相輸入端進(jìn)行信號(hào)通信連接。開關(guān)185包括與運(yùn)動(dòng)補(bǔ)償器175的輸出端進(jìn)行信號(hào)通信連接的第一輸入端、與差異補(bǔ)償器165的輸出端進(jìn)行信號(hào)通信連接的第二輸入端、和與幀內(nèi)預(yù)測器145的輸出端進(jìn)行信號(hào)通信連接的第三輸入端。轉(zhuǎn)向圖2，示例性的多視點(diǎn)視頻編碼(MVC)解碼器通常用附圖標(biāo)記200表示。解碼器200包括熵解碼器205,該熵解碼器205具有與逆量化器210的輸入端進(jìn)行信號(hào)通信連接的輸出端。逆量化器的輸出端與逆變換器215的輸入端進(jìn)行信號(hào)通信連接。逆變換器215的輸出端與組合器220的第一非反相輸入端進(jìn)行信號(hào)通信連接。組合器220的輸出端與解塊濾波器225的輸入端和幀內(nèi)預(yù)測器230的輸入端進(jìn)行信號(hào)通信連接。解塊濾波器225的輸出端與參考畫面存儲(chǔ)器240(對于視點(diǎn)i)的輸入端進(jìn)行信號(hào)通信連接。參考畫面存儲(chǔ)器240的輸出端與運(yùn)動(dòng)補(bǔ)償器235的第一輸入端進(jìn)行信號(hào)通信連接。參考畫面存儲(chǔ)器245(對于其它視點(diǎn))的輸出端與差異補(bǔ)償器250的第一輸入端進(jìn)行信號(hào)通信連接。熵編碼器205的輸入端可用作到解碼器200的輸入端，用于接收殘余比特流。而且，開關(guān)255的控制輸入端也可用作到解碼器200的輸入端，用于接收用來控制被開關(guān)255選擇的那個(gè)輸入的語法。再者，運(yùn)動(dòng)補(bǔ)償器235的第二輸入端可用作解碼器200的輸入端，用于接收運(yùn)動(dòng)補(bǔ)償。而且，差異補(bǔ)償器250的第二輸入端可用作到解碼器200的輸入端，用于接收差異矢量。開關(guān)255的輸出端與組合器220的第二非反相輸入端進(jìn)行信號(hào)通信連接。開關(guān)255的第一輸入端與差異補(bǔ)償器250的輸出端進(jìn)行信號(hào)通信連接。開關(guān)255的第二輸入端與運(yùn)動(dòng)補(bǔ)償器235的輸出端進(jìn)行信號(hào)通信連接。開關(guān)255的第三輸入端與幀內(nèi)預(yù)測器230的輸出端進(jìn)行信號(hào)通信連接。模式模塊260的輸出端與開關(guān)255進(jìn)行信號(hào)通信連接，用于控制由開關(guān)255選定的那個(gè)輸入端。解塊濾波器225的輸出端可用作解碼器的輸出端。如上所注釋的，本原理致力于用于以補(bǔ)充增強(qiáng)信息(SEI)消息表達(dá)的多視點(diǎn)信息的方法和裝置。在一實(shí)施例中，提供新的補(bǔ)充增強(qiáng)信息(SEI)消息，用于以MPEG-4AVC標(biāo)準(zhǔn)的多視點(diǎn)一見頻編碼(MVC)擴(kuò)展來信令多視點(diǎn)信息。本原理可應(yīng)用于相應(yīng)于多視點(diǎn)視頻流的各種系統(tǒng)級別操作，包括但不限于諸如流適應(yīng)、數(shù)據(jù)提取和傳輸、隨機(jī)訪問、錯(cuò)誤檢測、錯(cuò)誤隱藏等之類的操作。盡管所需的信息可以通過分析初始比特流來獲得，但是這樣的比特流分析在實(shí)現(xiàn)和計(jì)算復(fù)雜度兩方面價(jià)值不大。如果所述信息相對于視頻編碼器和解碼器以外的系統(tǒng)組件變得可存取，則是更加靈活并有用的。本原理的實(shí)施例提供了編碼器和解碼器以外的那些信息。根據(jù)本原理，我們建議若干新的補(bǔ)充增強(qiáng)信息消息，以便提供必需的多視點(diǎn)視頻編碼(MVC)信息。在多視點(diǎn)視頻編碼中，我們使得一些相機(jī)視點(diǎn)被編碼，使得一些相機(jī)視點(diǎn)不被編碼，并且使得一些自由視點(diǎn)不被相機(jī)捕獲、而從初始相機(jī)視點(diǎn)中生成。根據(jù)本原理，我們將基于但不限于下列三個(gè)示例性類別來描述新的補(bǔ)充增強(qiáng)信息消息(l)編碼相機(jī)視點(diǎn)；(2)未編碼相機(jī)視點(diǎn)；和(3)為自由視點(diǎn)應(yīng)用而生成的視點(diǎn)。當(dāng)然，假設(shè)此處所提供的本原理的示教，本原理的實(shí)施例不僅限于這些類別，在維持本原理的精神的同時(shí)，本領(lǐng)域和相關(guān)領(lǐng)域的普通技術(shù)人員能夠容易地實(shí)現(xiàn)其它類別和實(shí)施方式。在多視點(diǎn)視頻通信中可用并且相關(guān)的示例性類型的多視點(diǎn)視頻編碼信息包括但不限于下列內(nèi)容。對于編碼相機(jī)視點(diǎn)，示例性類型的多視點(diǎn)視頻編碼信息包括但不限于下列內(nèi)容編碼視點(diǎn)的總數(shù)；每個(gè)編碼視點(diǎn)的特征；視點(diǎn)識(shí)別符及其編碼順序；視點(diǎn)可升級信息；視點(diǎn)相關(guān)信息；位速率；幀大??；幀速率；ROI(感興趣區(qū)域)信息；可升級信息(時(shí)間、空間和/或信噪比(SNR));所需的解碼器(例如，簡檔、級別和簡檔兼容性信息)；所需的初始參數(shù)集；和相機(jī)參數(shù)。對于未編碼相機(jī)視點(diǎn)，示例性類型的多視點(diǎn)視頻編碼信息包括但不限于下列內(nèi)容未編碼視點(diǎn)的總數(shù)；每個(gè)未編碼視點(diǎn)的特征；視點(diǎn)標(biāo)識(shí)符；視點(diǎn)內(nèi)插信息；和相機(jī)參數(shù)。對于自由視點(diǎn)，示例性類型的多視點(diǎn)視頻編碼信息包括但不限于下列內(nèi)容自由一見點(diǎn)生成信息。先前類型的多視點(diǎn)視頻編碼信息可用于媒體提供/應(yīng)答協(xié)商、性能交換、和流適應(yīng)處理中。而且，先前類型的多視點(diǎn)視頻編碼信息可用于高效的數(shù)據(jù)提取、傳輸、視點(diǎn)生成等。編碼相機(jī)視點(diǎn)的信息視點(diǎn)標(biāo)識(shí)符是唯一的并且被用來將一個(gè)視點(diǎn)與其它視點(diǎn)進(jìn)行區(qū)分。視點(diǎn)標(biāo)識(shí)符被用于輸出處理、視點(diǎn)提取、視點(diǎn)隨機(jī)訪問等。視點(diǎn)編碼順序跟蹤編碼-現(xiàn)點(diǎn)。對于每個(gè)編碼視點(diǎn)，；現(xiàn)點(diǎn)標(biāo)識(shí)符以編碼順序遞增一。一見點(diǎn)標(biāo)識(shí)符可用于解碼器檢測丟失的視點(diǎn)中。視點(diǎn)可升級信息被用來允許以最小的解碼努力對被選的視點(diǎn)進(jìn)行訪問。視點(diǎn)可升級信息使得視頻將被顯示在大量不同的終端上和具有各種條件的網(wǎng)絡(luò)上。視點(diǎn)可升級信息可被用來當(dāng)檢測到不連續(xù)的視點(diǎn)層時(shí)檢測丟失的視點(diǎn)。盡管已知對于某一視點(diǎn)表示并不需要全部視點(diǎn)，但是默認(rèn)不知道的是哪個(gè)視點(diǎn)是不需要的。視點(diǎn)相關(guān)信息可幫助視點(diǎn)提取、視點(diǎn)隨機(jī)訪問等。視點(diǎn)相關(guān)信息可幫助解碼器以視點(diǎn)維數(shù)中最小幀解碼來訪問給定視點(diǎn)中的幀。視點(diǎn)相關(guān)信息可幫助流服務(wù)器避免發(fā)送不必要的視點(diǎn)，而不必分析比特流以影響所述避免。對于丟失視點(diǎn)的差錯(cuò)隱藏，相關(guān)信息可幫助解碼器判定哪個(gè)視點(diǎn)要復(fù)制和/或內(nèi)插以隱藏該丟失視點(diǎn)。根據(jù)應(yīng)用和可用的資源，對于不同的視點(diǎn)可以不同地設(shè)置位速率、幀速率和幀大小信息。所述信息可被用來推導(dǎo)視點(diǎn)當(dāng)中的畫面質(zhì)量，因此所述應(yīng)用可以判定哪個(gè)視點(diǎn)要提取用以顯示。另外，位速率信息可幫助解碼器管理用于并行處理的計(jì)算資源。幀速率和幀大小信息可被用于視點(diǎn)合成(synthesis)。所述信息也幫助錯(cuò)誤檢測。如果對于某一視點(diǎn)接收到的位速率或幀速率低于所指定的，則我們知道在該視點(diǎn)中存在錯(cuò)誤。根據(jù)所述應(yīng)用，對于一些視點(diǎn)，僅編碼部分圖像。感興趣區(qū)域(ROI)信息有助于支持感興趣的視點(diǎn)區(qū)域。為了錯(cuò)誤隱藏目的，感興趣區(qū)域用于提供關(guān)于圖像的哪個(gè)部分是相關(guān)的暗示。對于每個(gè)視點(diǎn)，時(shí)間/空間/信噪比(SNR)可升級信息提供讓媒體感知網(wǎng)絡(luò)元件或接收器知道對于特定視點(diǎn)可以丟棄哪個(gè)可升級信息的靈活性。在當(dāng)前的多視點(diǎn)-見頻編碼系統(tǒng)中，MPEG-4AVC標(biāo)準(zhǔn)兼容^L點(diǎn)和非兼容視點(diǎn)使用不同的序列參數(shù)集，意味著視點(diǎn)表示可能不適用整體流的所有初始參數(shù)集。因此，傳送所有初始參數(shù)集可能造成傳輸帶寬的浪費(fèi)以及更長的初始建立延遲，具體是因?yàn)槌跏紖?shù)集通常在帶外且可靠地傳送，這暗示著使用了接收確認(rèn)并且可以使用重發(fā)。針對每個(gè)視點(diǎn)表示的初始參數(shù)集的信令解決了所述問題。相機(jī)參數(shù)有助于視點(diǎn)生成、視點(diǎn)內(nèi)插、視點(diǎn)合成等等。視點(diǎn)生成、視點(diǎn)內(nèi)插和視點(diǎn)合成不僅僅服務(wù)編碼目的，而且也可用于解碼器處的差錯(cuò)隱藏。表1中例示了支持上述編碼相機(jī)視點(diǎn)信息的補(bǔ)充增強(qiáng)信息消息的實(shí)施例。表1<table>tableseeoriginaldocumentpage15</column></row><table><table>tableseeoriginaldocumentpage16</column></row><table>在表1中用粗體指出了編碼相機(jī)視點(diǎn)信息的補(bǔ)充增強(qiáng)信息消息的語法，并且語義學(xué)描述如下。將要注意，語法和/或語義學(xué)中引用的初始參數(shù)集是指可被放置在比特流的開始中或者可以在會(huì)話的開始中被傳送的那些參數(shù)集。力口1的num—coded—views—minus1表示由比特流支持的編石馬一見點(diǎn)的凄t目。num—coded—views—minus1的范圍是0到1023的閉區(qū)間。view—id[i]表示第i視點(diǎn)的標(biāo)識(shí)符。view—num[i]表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的視點(diǎn)編碼順序。針對編碼順序中的每個(gè)編碼視點(diǎn)，viewnum遞增l。view—level[i]表示具有等于viewjd[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的視點(diǎn)可升級的級別。等于1的view—dependency_info_present—flag[i]表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的視點(diǎn)相關(guān)信息在補(bǔ)充增強(qiáng)信息消息中的存在性。值0表示該一見點(diǎn)的#見點(diǎn)相關(guān)信息與由view—dependency—info_src—view—id—delta[i]表示的另一一見點(diǎn)相同(當(dāng)view—dependency—info—src—view—id—delta[i]不等于0時(shí))或者該視點(diǎn)的視點(diǎn)相關(guān)信息不存在于補(bǔ)充增強(qiáng)信息消息中(當(dāng)view—dependency—info—src—view—id—delta[i]等于0)。等于1的bitrate—info_present—flag[i]表示具有等于view—id[i]的-見點(diǎn)標(biāo)識(shí)符的視點(diǎn)的比特率信息在補(bǔ)充增強(qiáng)信息消息中的存在性。值0表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的比特率信息不存在于補(bǔ)充增強(qiáng)信息消息中。等于1的frm—rate一infojresent一flag[i]表示具有等于viewjd[i]的-見^、才示i口、符的視點(diǎn)的幀速率信息在補(bǔ)充增強(qiáng)信息消息中的存在性。值0表示該視點(diǎn)的幀速率信息與由frm—rate—info—src—view—id—delta[i]表示的另一浮見點(diǎn)相同(當(dāng)frm—rate—info—src—view—id—delta[i]不等于0時(shí))或者該視點(diǎn)的幀速率信息不存在于補(bǔ)充增強(qiáng)信息消息中(當(dāng)frm—rate—info—src—view—id—delta[i]等于0)。等于1的frm—size—infoj)resent—flag[i]表示具有等于view—id[i]的碎見點(diǎn)標(biāo)、識(shí)符的視點(diǎn)的幀大小信息在補(bǔ)充增強(qiáng)信息消息中的存在性。值0表示該視點(diǎn)的幀大小信息與由frm—size—info—src—view—id_delta—minus1[i]表示的另一-見點(diǎn)相同。等于1的sub_region—view—flag[i]表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的子區(qū)域信息存在于補(bǔ)充增強(qiáng)信息消息中。值0表示該視點(diǎn)的子區(qū)域信息與由sub—region—info—src—view—id—delta[i]表示的另一一見點(diǎn)相同(當(dāng)sub—region—info—src—view—id—delta[i]不等于0時(shí))或者該-f見點(diǎn)的子區(qū)域信息不存在于補(bǔ)充增強(qiáng)信息消息中(當(dāng)sub—region—info—src—view—id—delta[i]等于0)。等于1的scalability—infoj)resent—flag[i]表示具有等于view—id[i]的^見點(diǎn)才示識(shí)符的視點(diǎn)的幀速率信息在補(bǔ)充增強(qiáng)信息消息中的存在性。值0表示該視點(diǎn)的#見點(diǎn)相關(guān)信息與由view—dependency—info—src—view—id—delta[i]表示的另一視點(diǎn)相同(當(dāng)scalability_info_src—view—id—delta[i]不等于0時(shí))或者該視點(diǎn)的可升級信息不存在于補(bǔ)充增強(qiáng)信息消息中(當(dāng)scalability—info—src—view—id—delta[i]等于0)。值1表示scalability一info()補(bǔ)充增強(qiáng)信息消息在MPEG-4AVC標(biāo)準(zhǔn)的可升級視頻編碼(SVC)擴(kuò)展中的使用。等于1的profile—level—infojtresent一flag[i]表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的簡檔和級別信息在補(bǔ)充增強(qiáng)信息消息中的存在性。值0表示具有等于view一id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的簡檔和級別信息與由profile—level_info_src—view—id_delta[i]表示的另一一見點(diǎn)相同(當(dāng)profile—level—info—src—view—id—ddta[i]不等于0時(shí))或者該視點(diǎn)的簡檔和級別信息不存在于補(bǔ)充增強(qiáng)信息消息中(當(dāng)profile—level—info—src—view—id—delta[i]等于O)。等于1的init_parameter—sets—infoj)resent一flag[i]表示具有等于view一id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的初始參數(shù)集信息在補(bǔ)充增強(qiáng)信息消息中的存在性。值0表示該視點(diǎn)的初始參數(shù)集信息與由init_parameter—sets—info—src—view—id—delta[i]表示的另一#見點(diǎn)相同(當(dāng)init_parameter—sets_info—src—view—id—delta[i]不等于0時(shí))或者i亥一見點(diǎn)的凈刀始參數(shù)集信息不存在于補(bǔ)充增強(qiáng)信息消息中(當(dāng)init_parameter_sets—info—src—view—id—delta[i]等于0)。等于1的cameraj)arameter一infojiresent一flag[i]表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的相機(jī)參數(shù)信息在補(bǔ)充增強(qiáng)信息消息中的存在性。值0表示該洋見點(diǎn)的相機(jī)參凄t信息與由camera_parameter—info—src一view一id一delta[i]表示的另一一見點(diǎn)相同(當(dāng)camera_parameter—info—src—view—id—delta[i]不等于0時(shí))或者該視點(diǎn)的相機(jī)參數(shù)信息不存在于補(bǔ)充增強(qiáng)信息消息中(當(dāng)camera_parameter—info—src—view—id一delta[i]等于0)。view_profile—idc[i]、view一constraint一set0—flag[i]、view一constraint一set1—flag[i]、view—constraint—set2—flag[i]、view—constraint—set3—flag[i]、和view—level一idc[i]表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的#見點(diǎn)的表示的比特流的簡檔和級別順從(compliancy)。view_profile—idc[i]、view—constraint—set0—flag[i]、view—constraint—setl_flag[i]、view—constraint—set2—flag[i]、view_constraint_set3—flag[i]、禾口view—level—idc[i]^Kji吾義學(xué)分另ll等于profile—idc[i]、constraint—setO—flag、constraint—setl_flag、constraint—set2—flag、constraint—set3—flag、和level—idc的語義學(xué)，所討論的比特流是視點(diǎn)表示法之一。大于0的profile—level—info—src一view—id一delta[i]規(guī)定具有等于view_id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)具有與具有等于(view—id[i]+profile—level—info_src—view_id—delta[i])的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)相同的簡檔和級別信息。值0表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的簡檔和級別信息不存在于補(bǔ)充增強(qiáng)信息消息中。avg一bitrate[i]表示具有等于viewjd[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的表示法的比特流以每秒1000比特為單位的平均比特速率。當(dāng)accurate—statistics—flag等于1時(shí)，avg一bitrate[i]的語義學(xué)與子序列視點(diǎn)特性補(bǔ)充增強(qiáng)信息消息中的average—bit—rate的語義學(xué)相同，除了這里目標(biāo)比特流是視點(diǎn)表示法的比特流。max一bitrate一view[i]表示基于由max一bitrate一calc—window[i]規(guī)定的時(shí)間窗口計(jì)算的、具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的比特流以每秒1000比特為單位的最大比特速率。max—bitrate—decoded_picture[i]表示基于由max—bitrate—calc—window[i]規(guī)定的時(shí)間窗口計(jì)算的、具有等于viewjd[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的表示法的比特流以每秒1000比特為單位的最大比特速率。max—bitrate—calc—window[i]表示以1/100秒為單位的時(shí)間窗口的長度，基于該長度，計(jì)算max—bitrate1[i]和max—bitrate2[i]。constant—frm—rate—idc[i]表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的表示法的幀速率是否恒定。如果如下規(guī)定的avg一frm一rate[i]的值恒定，則不管使用視點(diǎn)表示法的哪個(gè)時(shí)間部分用于計(jì)算，幀速率恒定，否則幀速率不恒定。值0表示非恒定幀速率，值1表示恒定幀速率，值2表示不清楚該幀速率是否恒定。恒定幀速率的值在范圍0到2的閉區(qū)間內(nèi)。avg—frm—rate[i]表示具有等于view一id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的表示法的比特流以每秒幀為單位的平均幀速率。當(dāng)accurate—statistics—flag等于1時(shí)，avg—frm_rate[i]的語義學(xué)與子序列視點(diǎn)特性補(bǔ)充增強(qiáng)信息消息中的average_frame_rate的語義學(xué)相同，除了這里目標(biāo)比特流是視點(diǎn)表示法的比特流。大于0的frm—rate一info—src一view—id—delta表示具有等于view—id[i]的牙見點(diǎn)標(biāo)識(shí)符的視點(diǎn)具有與具有等于(view—id[i]-frm—rate—info—src—view_id—delta[i])的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)相同的幀速率信息。值0表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的幀速率信息不存在于補(bǔ)充增強(qiáng)信息消息中。力口1的frm—width—injnbs—minus[i]表示在具有等于view—id[i]的^見點(diǎn)才示識(shí)符的視點(diǎn)的表示中編碼幀的宏塊的最大寬度。變量PicWidthlnMbs[i]被推導(dǎo)為(frm—width—in—mbs—minus[i]+l)。力口1的frm_height—in—mbs一minus[i]表示在具有等于view—id[i]的-見點(diǎn)才示識(shí)符的視點(diǎn)的表示中編碼幀的宏塊的最大高度。變量PicHeightlnMbs[i]凈皮推導(dǎo)為(frm—height—in—mbs—minus[i]+l)。變量PicSizelnMbs[i]表示宏塊單位的畫面大小，并且被推導(dǎo)為PicWi她InMbs[i]承PicHeight固bs[i]。frm—size—info—src—view—id—ddta[i]規(guī)定具有等于view—id[i]的一見,泉才示i口、才尋的視點(diǎn)具有與具有等于(view—id[i]+frm—size—info—sn^view—id—delta[i])的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)相同的幀大小信息。值0表示具有等于view一id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的幀大小信息不存在于補(bǔ)充增強(qiáng)信息消息中。horizontal—offset[i]和vertical—offset[i]分別給出了由具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的表示法所表示的矩形區(qū)域的左上像素的水平偏移和垂直偏移。region一width[i]禾口region—height[i]分另'J表示由具有等于view一id[i]的浮見點(diǎn)才示識(shí)符的視點(diǎn)的表示法所表示的矩形區(qū)域的寬度和高度。sub—region—info—src—view_—id—delta[i]表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)才尋的浮見;、具有與具有等于(view一id[i]十sub—region一info一src一view—id—delta[i])的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)相同的子區(qū)域信息。值0表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的子區(qū)域信息不存在于補(bǔ)充增強(qiáng)信息消息中。num—directly—dependent—view—anchor[i]表示(具有等于view一id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的錨畫面直接相關(guān))^見點(diǎn)數(shù)目。num—directly—dependent—view—anchor的^f直在范圍0到15的閉區(qū)間內(nèi)。num—directly—dependent—view—non一anchor[i]表示(具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的非錨畫面直接相關(guān))視點(diǎn)數(shù)目。如果使用從視點(diǎn)B的非錨畫面的視點(diǎn)間預(yù)測而在視點(diǎn)A中存在至少一個(gè)編碼非錨畫面，則視點(diǎn)A的非錨畫面與視點(diǎn)B的非錨畫面直接相關(guān)。num—directly—dependent—view—non—anchor的4直在范圍0到15的閉區(qū)間內(nèi)。directly—dependent一view—id一delta—anchor[i][j]表示view—id[i]與第j視點(diǎn)的視點(diǎn)標(biāo)識(shí)符(即具有等于view一id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的錨畫面)之間的差直接相關(guān)。該直接相關(guān)的視點(diǎn)的視點(diǎn)標(biāo)識(shí)符等于(view_id[i]+directly_dependent_layer—id_delta—anchor[i][j])。directly—dependent—view—id一delta一non—anchor[i][j]表示view一id[i]與第j視點(diǎn)的視點(diǎn)標(biāo)識(shí)符(即具有等于viewjd[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的非錨畫面)之間的差直接相關(guān)。該直接相關(guān)的視點(diǎn)的視點(diǎn)標(biāo)識(shí)符等于(view—id[i]+directly—dependent—layer—id—delta—non_anchor[i][j])。力口1的num—init—seq_parameter_set—minus[i]表示用于對具有等于viewjd[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的表示進(jìn)行解碼的初始序列參數(shù)集的數(shù)目。init—seq_pammeter—setid—delta[i][j],如果j等于O,則表示用于對具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的表示進(jìn)行解碼的第j初始序列參數(shù)集的seq_parameter—set_id的"f直。3口果j大于0,則init_seq_parameter—set—id一delta[i][j]表示第j初始序列參數(shù)集的seq_parameter—set—id值與第(j-l)初始序列參數(shù)集的seq_parameter—set—id之間的差。所述初始序歹'J參It集以seq_parameter_set_id^f直的升序邏豐辱i也4非列。力口1的num—init_pic_parameter—set—minus[i〗表示用于對具有等于view一id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的表示進(jìn)行解碼的初始畫面參數(shù)集的數(shù)目。init_pic_parameter—set—id—delta[i][j],如果j等于O,則表示用于對具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的表示進(jìn)行解碼的第j初始畫面參數(shù)集的pic_parameter—set_id的值。如果j大于0,則init_pic_parameter—set—id—delta[i][j]表示第j初始畫面參數(shù)集的pic_parameter—set—id值與第(j-l)初始畫面參數(shù)集的pic_parameter—set_id4直之間的差。戶斤述4刀始畫面參凄t集以pic_pammeter—set—id值的降序邏輯地排列。init_parameters—sets—info—src—view—_id—delta[i]規(guī)定具有等于viewjd[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)具有與具有等于(view_id[i]+init_parameters—sets_info—src—view—id—delta[i])的一見點(diǎn)標(biāo)識(shí)符的#見點(diǎn)相同的初始參數(shù)集信息。值0表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的初始參數(shù)集信息不存在于補(bǔ)充增強(qiáng)信息消息中。camera_parameters—info—src—view—id—delta[i]規(guī)定具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)具有與具有等于(view_id[i]+camera_parameters—info—src—view—id—delta[i])的#見點(diǎn)標(biāo)識(shí)符的#見點(diǎn)相同的相才幾參數(shù)信息。值0表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的相機(jī)參數(shù)信息不存在于補(bǔ)充增強(qiáng)信息消息中。未編碼相機(jī)纟見點(diǎn)的信息使用視點(diǎn)識(shí)別符來向解碼器表示哪個(gè)視點(diǎn)未被編碼。視點(diǎn)識(shí)別符可以幫助解碼器確定由于網(wǎng)絡(luò)錯(cuò)誤或者由于有意地未被編碼而丟失了遺漏的視點(diǎn)。視點(diǎn)內(nèi)插信息有助于解碼器從編碼視點(diǎn)內(nèi)插未編碼視點(diǎn)。視點(diǎn)內(nèi)插信息可以包括諸如哪個(gè)視點(diǎn)被用于內(nèi)插、將要使用哪個(gè)內(nèi)插方法之類的信息。因此，如果應(yīng)用請求顯示僅某些未編碼視點(diǎn)，則服務(wù)器僅需要根據(jù)編碼視點(diǎn)的視點(diǎn)相關(guān)信息來提取并發(fā)送所需要的用于內(nèi)插的視點(diǎn)、以及它們相關(guān)的視點(diǎn)。相機(jī)參數(shù)可被用來內(nèi)插或合成未編碼視點(diǎn)。表2中例示了支持上述未編碼相機(jī)視點(diǎn)信息的補(bǔ)充增強(qiáng)信息消息的實(shí)施例。表2<table>tableseeoriginaldocumentpage22</column></row><table>表2中指出了非編碼相機(jī)視點(diǎn)信息的補(bǔ)充增強(qiáng)信息消息的語法，并且語義學(xué)描述如下。將要注意，語法和/或語義學(xué)中引用的初始參數(shù)集是指可被放置在比特流的開始中或者可以在會(huì)話的開始中被傳送的那些參數(shù)集。力口1的numnoncodedviewsminus1表示由比特流支持的未編碼視點(diǎn)的It目。num—non—coded—views—minus1的^直在范圍0到1023的閉區(qū)間內(nèi)。view一id[i]表示第i視點(diǎn)的標(biāo)識(shí)符。等于1的view—interpolation—infoj)resent一flag[i]表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的視點(diǎn)內(nèi)插信息在補(bǔ)充增強(qiáng)信息消息中的存在性。值0表示該-見點(diǎn)的#見點(diǎn)內(nèi)才翁4言息與由view—interpolation—info_src—view_id—delta[i]表示的另一一見點(diǎn)相同(當(dāng)view—interpolation—info—src—view一id一delta[i]不等于0時(shí))或者該視點(diǎn)的視點(diǎn)相關(guān)信息不存在于補(bǔ)充增強(qiáng)信息消息中(當(dāng)view_interpolation—info—src—view—id—delta[i]等于0)。等于1的camera_parameters—infoj)resent一flag[i]表示具有等于view一id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的相機(jī)參數(shù)信息在補(bǔ)充增強(qiáng)信息消息中的存在性。值0表示該一見點(diǎn)的相機(jī)參凄t信息與由camera_parameters—info—src—view—id—delta[i]表示的另一#見點(diǎn)相同(當(dāng)camera_parameters—info一src一view一id—delta[i]不等于0時(shí))或者該視點(diǎn)的相機(jī)參數(shù)信息不存在于補(bǔ)充增強(qiáng)信息消息中(當(dāng)camerajparameters—info—src—view—id—delta[i]等于0)。camera_parameters:假設(shè)以3x4射影矩陣P的形式表達(dá)相機(jī)參數(shù)，該射影矩陣可^L用來將3D世界中的點(diǎn)映射到2D圖像坐標(biāo)/="[X『&::1]其中1是齊次座標(biāo)/=[義./,丄、義]?？梢愿鶕?jù)電氣和電子工程師協(xié)會(huì)(IEEE)單個(gè)精確浮動(dòng)點(diǎn)(32比特)標(biāo)準(zhǔn)來表示每個(gè)元素camera_parameters」—*。num—referenced—views[i]表示具有等于view—id[i]的#見點(diǎn)4示識(shí)才尋的#見點(diǎn)的視點(diǎn)數(shù)目是內(nèi)插形式。num—directly_dependent_views的值在范圍0到1023的閉區(qū)間內(nèi)。directly—dependent—view—id—delta[i][j]表示view—id[i]與第j#見點(diǎn)(即具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn))的視點(diǎn)標(biāo)識(shí)符之間的差是內(nèi)插形式。所述視點(diǎn)的S見點(diǎn)標(biāo)識(shí)符等于(view—id[i]+directly—dependent_layer_id—delta[i][j])。camera_parameters—info—src—view—id—delta[i]夫見定具有等于view—id[i]的#見點(diǎn)標(biāo)識(shí)符的視點(diǎn)具有與具有等于(view_id[i]+camera_parameters—info_src—view—id—delta[i〗)的4見點(diǎn)標(biāo)識(shí)符的#見點(diǎn)相同的相才幾參數(shù)信息。值0表示具有等于view—id[i]的視點(diǎn)標(biāo)識(shí)符的視點(diǎn)的相機(jī)參數(shù)信息不存在于補(bǔ)充增強(qiáng)信息消息中。自由視點(diǎn)應(yīng)用的信息自由視點(diǎn)視頻提供了從三維(3D)計(jì)算機(jī)圖形中已知的相同的功能。用戶可以在視覺景色內(nèi)選擇特定的視點(diǎn)和觀察方向，因此提供交互式的自由視點(diǎn)導(dǎo)航(vavigation)。這個(gè)特征是許多用戶應(yīng)用(例如，用戶可以自由地選擇視點(diǎn)所在的劇院/音樂會(huì)/運(yùn)動(dòng)事件的DVD)感興趣的。為了更好地支持自由視點(diǎn)應(yīng)用，可以使用多視點(diǎn)信息補(bǔ)充增強(qiáng)信息消息來表達(dá)特定于自由視點(diǎn)的信息，包括但不限于下列自由視點(diǎn)信息的一個(gè)示例是相機(jī)陣列設(shè)定(例如，線性陣列、拱形陣列和/或二維(2D)矩形陣列)的類型。自由視點(diǎn)信息的另一示例是導(dǎo)航空間的定義，包括用戶被允許來改變視點(diǎn)和/或觀察方向的程度。根據(jù)呈現(xiàn)設(shè)備的性能，導(dǎo)航空間可被定義為一維或者多維空間。在二維空間的情況下，坐標(biāo)系統(tǒng)可被定義為水平/垂直視點(diǎn)或全景(pan)/傾斜觀察方向的維數(shù)。自由視點(diǎn)信息的再一示例是對于導(dǎo)航空間中的給定位置進(jìn)行呈現(xiàn)所需的視點(diǎn)集。例如，如果呈現(xiàn)設(shè)備被約束能夠沿著一維基線進(jìn)行導(dǎo)航，則應(yīng)當(dāng)指定該基線的每一片段(segment)的相關(guān)視點(diǎn)集。如果可用的話，該信息將幫助能夠?qū)Χ嘁朁c(diǎn)視頻內(nèi)容進(jìn)行解碼的解碼器來決定需要被解碼的視點(diǎn)圖像的子集，以便呈現(xiàn)導(dǎo)航空間中的給定位置。表3中例示了支持上述自由視點(diǎn)信息的補(bǔ)充增強(qiáng)信息消息的實(shí)施例。<table>tableseeoriginaldocumentpage24</column></row><table>在表3中用粗體指出了自由視點(diǎn)信息的補(bǔ)充增強(qiáng)信息消息的語法，并且語義學(xué)描述如下。將會(huì)注意，語法和/或語義學(xué)中引用的初始參數(shù)集是指可被放置在比特流的開始中或者可以在會(huì)話的開始中被傳送的那些參數(shù)集。camera—array—type表示相才幾陣歹'J的類型。left—bound—for—navigation表示導(dǎo)4元空間的左邊界。right—bound—for—navigation表示導(dǎo)航空間的右邊界。num—segments—in_navigation—space表示在具有不同一見點(diǎn)集的導(dǎo)4元空間中呈現(xiàn)所需的片段的數(shù)目。left—bound—segment表示導(dǎo)航空間中當(dāng)前片段的左邊界。num—views—needed—for—rendering表示當(dāng)在當(dāng)前片l殳內(nèi)進(jìn)行導(dǎo)力元時(shí)呈現(xiàn)所需的纟見點(diǎn)的lt目。viewjd—needed—for—rendering"]口]表示當(dāng)在導(dǎo)航空間中的第i片段中進(jìn)行導(dǎo)航時(shí)呈現(xiàn)所需的第j視點(diǎn)的view一id。轉(zhuǎn)向圖3A-圖3D，用于編碼多視點(diǎn)信息的示例性方法通常用附圖標(biāo)記300表示。將會(huì)理解，方法300包括用于對包括非編碼相機(jī)視點(diǎn)信息的多視點(diǎn)信息進(jìn)行編碼的方法500和用于對包括自由視點(diǎn)信息的多視點(diǎn)信息進(jìn)行編碼的方法600。而且，將會(huì)理解，方法300也對包括編碼相機(jī)視點(diǎn)信息的多視點(diǎn)信息進(jìn)行編碼。方法300包括起始塊302,在該起始塊302，將控制傳遞到功能塊304。功能塊304讀取編碼器配置文件，并且將控制傳遞到功能塊306。功能塊306建立編碼參數(shù)，并且將控制傳遞到功能塊308。功能塊308創(chuàng)建高級語法(例如，序列參數(shù)集(SPS)、畫面參數(shù)集(PPS)、和/或視點(diǎn)參數(shù)集)，并且將控制傳遞到功能塊310。功能塊310開始創(chuàng)建編碼相機(jī);f見點(diǎn)信息補(bǔ)充增強(qiáng)信息(SEI)消息，并且將控制傳遞到功能塊312。功能塊312設(shè)定編碼視點(diǎn)的數(shù)目，并且將控制傳遞到判定塊314。判定塊314確定對于所有視點(diǎn)是否設(shè)定了編碼視點(diǎn)的數(shù)目。如果是，則控制傳遞到功能塊316。否則，控制傳遞到功能塊320。功能塊316將補(bǔ)充增強(qiáng)信息(SEI)消息寫入比特流，并且將控制傳遞到功能塊317。功能塊317以帶內(nèi)或帶外發(fā)送補(bǔ)充增強(qiáng)信息(SEI)消息，并且將控制傳遞到功能塊318。功能塊318編碼視點(diǎn)，并且將控制傳遞到結(jié)束塊399。功能塊320設(shè)定viewjd語法參數(shù)，并且將控制傳遞到功能塊322。功能塊322設(shè)定view—num語法元素，并且將控制傳遞到功能塊324。功能塊324設(shè)定viewjevel語法參數(shù)，將控制傳遞到功能塊326。功能塊326設(shè)定視點(diǎn)相關(guān)存在標(biāo)志，并且將控制傳遞到功能塊328。功能塊328設(shè)定比特速率信息存在標(biāo)志，并且將控制傳遞到功能塊330。功能塊330設(shè)定幀速率信息存在標(biāo)志，并且將控制傳遞到功能塊332。功能塊332設(shè)定幀大小消息存在標(biāo)志，并且將控制傳遞到功能塊334。功能塊334設(shè)定子區(qū)域標(biāo)記，并且將控制傳遞到功能塊336。功能塊336設(shè)定可升級消息存在標(biāo)志，并且將控制傳遞到功能塊338。功能塊338設(shè)定簡檔/級別標(biāo)志，并且將控制傳遞到功能塊340。功能塊340設(shè)定初始參數(shù)集標(biāo)志，并且將控制傳遞到功能塊342。功能塊342設(shè)定相機(jī)參數(shù)存在標(biāo)志，并且將控制傳遞到判定塊344。判定塊344確定是否設(shè)定簡檔/級別信息存在標(biāo)志。如果是，則將控制傳遞到功能塊346。否貝寸，將控制傳遞到功能塊348。功能塊346設(shè)定簡檔/級別約束標(biāo)志，設(shè)定view—level標(biāo)志，并且將控制傳遞到判定塊350。判定塊350確定是否設(shè)定比特速率信息存在標(biāo)志。如果是，則將控制傳遞到功能塊352。否則，將控制傳遞到判定塊354。功能塊352設(shè)定比特速率相關(guān)信息，并且將控制傳遞到判定塊354。判定塊354確定是否設(shè)定幀信息存在標(biāo)志。如果是，則將控制傳遞到功能塊356。否則，將控制傳遞到功能塊358。功能塊356設(shè)定幀速率相關(guān)信息，并且將控制傳遞到判定塊360。判定塊360確定是否設(shè)定幀大小信息存在標(biāo)志。如果是，則將控制傳遞到功能塊362。否則，將控制傳遞到功能塊364。功能塊362設(shè)定幀大小信息，并且將控制傳遞到判定塊366。判定塊366確定是否設(shè)定子區(qū)域信息存在標(biāo)志。如果是，則將控制傳遞到功能塊368。否則，將控制傳遞到功能塊370。功能塊368設(shè)定子區(qū)域信息，并且將控制傳遞到開/關(guān)(on-or-off)頁面連接器395。頁面連接器395將控制傳遞到判定塊402。判定塊402確定是否設(shè)定視點(diǎn)相關(guān)信息存在標(biāo)志。如果是，則將控制傳遞到功能塊404。否則，將控制傳遞到功能塊406。功能塊404設(shè)定視點(diǎn)相關(guān)信息參數(shù)，并且將控制傳遞到判定塊408。判定塊408確定是否設(shè)定參數(shù)集初始信息存在標(biāo)志。如果是，則將控制傳遞到功能塊410。否則，將控制傳遞到功能塊412。功能塊410設(shè)定參數(shù)集初始信息參數(shù)，并且將控制傳遞到判定塊414。判定塊414確定是否設(shè)定自由視點(diǎn)信息存在標(biāo)志。如果是，則將控制傳遞到功能塊416。否則，將控制傳遞到功能塊418。功能塊416設(shè)定自由視點(diǎn)信息參數(shù)，并且將控制傳遞到判定塊420。判定塊420確定是否設(shè)定可升級信息存在標(biāo)志。如果是，則將控制傳遞到功能塊422。否則，將控制傳遞到功能塊424。功能塊422設(shè)定可升級信息參數(shù)，并且將控制傳遞到判定塊426。判定塊426確定是否設(shè)定相機(jī)信息存在標(biāo)志。如果是，則將控制傳遞到功能塊428。否則，將控制傳遞到功能塊430。功能塊428設(shè)定相機(jī)信息參數(shù)，并且將控制傳遞到開/關(guān)頁面連接器397。該開/關(guān)頁面連接器397將控制返回到判定塊314。并且將控制傳遞到判定塊348。并且將控制傳遞到判定塊360。并且將控制傳遞到判定塊366。并且將控制傳遞到開/關(guān)頁面連接器并且將控制傳遞到判定塊408。并且將控制傳遞到判定塊414。并且將控制傳遞到判定塊420。并且將控制傳遞到判定塊426。并且將控制傳遞到開/關(guān)頁面連接器397。方法500包括起始塊502，在該起始塊502,將控制傳遞到功能塊504。功能塊504設(shè)定編碼視點(diǎn)的數(shù)目，并且將控制傳遞到判定塊506。判定塊506確定對于所有未編碼視點(diǎn)是否設(shè)定了任何標(biāo)志。如果是，則控制傳遞到開/關(guān)頁面連接器397。否則，控制傳遞到功能塊508。功能塊508設(shè)定未編碼^f見點(diǎn)的view—id語法參數(shù)，并且將控制傳遞到功能塊510。功能塊510設(shè)定未編碼;現(xiàn)點(diǎn)的^L點(diǎn)內(nèi)插信息存在標(biāo)志，并且將控制傳遞到功能塊512。功能塊512設(shè)定未編碼視點(diǎn)的相機(jī)參數(shù)信息存在標(biāo)志，并且將控制傳遞到判定塊514。判定塊514確定是否設(shè)定視點(diǎn)內(nèi)插標(biāo)志。如果是，則將控制傳遞到功能塊516。否則，將控制傳遞到功能塊518。功能塊516設(shè)定視點(diǎn)內(nèi)插信息，將控制傳遞到判定塊520。判定塊520確定是否設(shè)定相機(jī)參數(shù)存在標(biāo)志。如果是，則將控制傳遞到功能塊522。否27功能塊348設(shè)定源view—id增量值，功能塊358設(shè)定源viewjd增量值，功能塊364設(shè)定源view—id增量值，功能塊370設(shè)定源view—id增量值,395。功能塊406設(shè)定源view—id增量值，功能塊412設(shè)定源view—id增量值，功能塊418設(shè)定源view—id增量值，功能塊424設(shè)定源view—id增量值，功能塊430設(shè)定源viewid增量值,則，將控制傳遞到功能塊524。功能塊522設(shè)定相機(jī)參數(shù)信息，并且將控制返回到判定塊506。功能塊518設(shè)定源view—id增量值，并且將控制傳遞到判定塊520。功能塊524設(shè)定源view—id增量值，并且將控制返回到判定塊506。方法600包括起始塊602,在該起始塊602，將控制傳遞到功能塊604。功能塊604設(shè)定相機(jī)陣列類型，并且將控制傳遞到判定塊606。判定塊606確定相機(jī)陣列類型是否等于一。如果是，則控制傳遞到開/關(guān)頁面連接器393。否則，將控制傳遞到功能塊608。功能塊608設(shè)定用于導(dǎo)4元的左邊界，并且將控制傳遞到功能塊610。功能塊610設(shè)定用于導(dǎo)航的右邊界，并且將控制傳遞到功能塊612。功能塊612設(shè)定導(dǎo)航空間中的片段的數(shù)目，并且將控制傳遞到判定塊614。判定塊614確定是否完成所有片段(即，片段集的范圍和數(shù)目)。如果是，則將控制傳遞到開/關(guān)頁面連接器393。否則，將控制傳遞到功能塊616。功能塊616設(shè)定左邊界片段，并且將控制傳遞到功能塊618。功能塊618設(shè)定呈現(xiàn)所需的視點(diǎn)的數(shù)目，并且將控制傳遞到判定塊620。判定塊620確定是否完成所有^L點(diǎn)。如果是，則將控制返回到判定塊614。否則，將控制傳遞到功能塊622。功能塊622按照需要設(shè)定view一id語法參數(shù)。轉(zhuǎn)向圖4A-圖4D,用于解碼多視點(diǎn)信息的示例性方法通常用附圖標(biāo)記700來表示。將要理解，方法700包括用于對包括未編碼相機(jī)-視點(diǎn)信息的多視點(diǎn)信息進(jìn)行編碼的方法900和用于對包括自由視點(diǎn)信息的多視點(diǎn)信息進(jìn)行編碼的方法IOOO。而且，將會(huì)理解，方法700也對包括編碼相機(jī)視點(diǎn)信息的多視點(diǎn)信息進(jìn)行編碼。方法700包括起始塊702,在該起始塊702，將控制傳遞到功能塊704。功能塊704在帶內(nèi)或帶外接收序列參數(shù)集(SPS)、畫面參數(shù)集(PPS)、和/或視點(diǎn)參數(shù)集(VPS)消息，并且將控制傳遞到功能塊706。功能塊706讀取高級語法(序列參數(shù)集(SPS)、畫面參數(shù)集(PPS)、和/或視點(diǎn)參數(shù)集(VPS)),并且將控制傳遞到功能塊708。功能塊708開始解析編碼相機(jī)補(bǔ)充增強(qiáng)信息消息，并且將控制傳遞到功能塊710。功能塊710讀取/解析編碼視點(diǎn)的數(shù)目，并且將控制傳遞到判定塊714。判定塊714確定是否已經(jīng)讀取/解析所有視點(diǎn)。如果是，則將控制傳遞到功能塊716。否則，將控制傳遞到功能塊720。功能塊716將補(bǔ)充增強(qiáng)信息(SEI)消息存儲(chǔ)到存儲(chǔ)器，并且將控制傳遞到功能塊718。功能塊718對視點(diǎn)進(jìn)行解碼，并且將控制傳遞到功能塊結(jié)束塊799。功能塊720讀取/解析view—id語法元素，將控制傳遞到功能塊722。功能塊722讀取/解析view—num語法元素，將控制傳遞到功能塊724。功能塊724讀取/解析view—level語法元素，并且將控制傳遞到功能塊726。功能塊726讀取/解析視點(diǎn)相關(guān)存在標(biāo)志，并且將控制傳遞到功能塊728。功能塊728讀取/解析位速率信息存在標(biāo)志，并且將控制傳遞到功能塊730。功能塊730讀取/解析幀速率信息存在標(biāo)志，并且將控制傳遞到功能塊732。功能塊732讀取/解析幀大小信息存在標(biāo)志，并且將控制傳遞到功能塊734。功能塊734讀取/解析子區(qū)域標(biāo)志，將控制傳遞到功能塊736。功能塊736讀取/解析可升級信息存在標(biāo)志，并且將控制傳遞到功能塊738。功能塊738讀取/解析簡檔/級別標(biāo)志，并且將控制傳遞到功能塊740。功能塊740讀取/解析初始參數(shù)設(shè)定標(biāo)志，并且將控制傳遞到功能塊742。功能塊742讀取/解析相機(jī)參數(shù)存在標(biāo)志，并且將控制傳遞到判定塊744。判定塊744確定是否已經(jīng)讀取/解析簡檔/級別信息存在標(biāo)志。如果是，則將控制傳遞到功能塊746。否則，將控制傳遞到功能塊748。功能塊746讀取/解析簡檔/級別約束標(biāo)志，讀取/解析viewjevel語法元素，并且將控制傳遞到判定塊750。判定塊750確定是否已經(jīng)讀取/解析位速率信息存在標(biāo)志。如果是，則將控制傳遞到功能塊752。否則，將控制傳遞到判定塊754。功能塊752讀耳又/解析位速率相關(guān)信息，并且將控制傳遞到判定塊754。判定塊754確定是否已經(jīng)讀取/解析幀信息存在標(biāo)志。如果是，則將控制傳遞到功能塊756。否則，將控制傳遞到功能塊758。功能塊756讀取/解析幀速率相關(guān)信息，并且將控制傳遞到判定塊760。判定塊760確定是否已經(jīng)讀取/解析幀大小信息存在標(biāo)志。如果是，則將控制傳遞到功能塊762。否則，將控制傳遞到功能塊764。功能塊762讀耳又/解析幀大小信息，并且將控制傳遞到判定塊766。判定塊766確定是否已經(jīng)讀取/解析子區(qū)域信息存在標(biāo)志。如果是，則將控制傳遞到功能塊768。否則，將控制傳遞到功能塊860。功能塊768讀取/解析子區(qū)域信息，并且將控制傳遞到開/關(guān)頁面連接器795。開/關(guān)頁面連接器795將控制傳遞到判定塊802。判定塊802確定是否已經(jīng)設(shè)定視點(diǎn)相關(guān)信息存在標(biāo)志。如果是，則將控制傳遞到功能塊804。否則，將控制傳遞到功能塊806。功能塊804讀取/解析視點(diǎn)相關(guān)信息參數(shù)，并且將控制傳遞到判定塊808。判定塊808確定是否設(shè)定參數(shù)集初始信息存在標(biāo)志。如果是，則將控制傳遞到功能塊810。否則，將控制傳遞到功能塊812。功能塊810讀取/解析參數(shù)集初始信息參數(shù)，并且將控制傳遞到判定塊814。判定塊814確定是否設(shè)定自由視點(diǎn)信息存在標(biāo)志。如果是，則將控制傳遞到功能塊816。否則，將控制傳遞到功能塊818。功能塊816讀取/解析自由視點(diǎn)信息參數(shù)，并且將控制傳遞到判定塊820。判定塊820確定是否設(shè)定可升級信息存在標(biāo)志。如果是，則將控制傳遞到功能塊822。否則，將控制傳遞到功能塊824。功能塊822讀取/解析可升級信息參數(shù)，并且將控制傳遞到判定塊826。判定塊826確定是否設(shè)定相機(jī)信息存在標(biāo)志。如果是，則將控制傳遞到功能塊828。否則，將控制傳遞到功能塊830。功能塊828讀取/解析相機(jī)信息參數(shù)，并且將控制傳遞到開/關(guān)頁面連接器797。功能塊748讀取/解析源viewjd增量值功能塊758讀取/解析源viewjd增量值功能塊764讀取/解析源view—id增量值功能塊770讀取/解析源viewjd增量值接器795。功能塊806讀取/解析源view—id增量值功能塊812讀取/解析源view—id增量值功能塊818讀取/解析源view—id增量值功能塊824讀取/解析源view—id增量值功能塊830讀取/解析源view—id增量值接器797。方法卯O包括起始塊902，在該起始塊902，將控制傳遞到功能塊904。功能塊卯4讀取/解析未編碼視點(diǎn)的數(shù)目，并且將控制傳遞到判定塊906。判定塊906確定是否已經(jīng)讀取/解析所有未編碼視點(diǎn)。如果是，則控制傳遞到開/關(guān)頁面連接器797。否則，控制傳遞到功能塊908。功能塊908讀取/解析30,并且將控制傳遞到判定塊750。,并且將控制傳遞到判定塊760。,并且將控制傳遞到判定塊766。,并且將控制傳遞到開/關(guān)頁面連，并且將控制傳遞到判定塊808。，并且將控制傳遞到判定塊814。,并且將控制傳遞到判定塊820。,并且將控制傳遞到判定塊826。，并且將控制傳遞到開/關(guān)頁面連view一id語法元素，并且將控制傳遞到功能塊910。功能塊910讀取/解析視點(diǎn)內(nèi)插信息存在標(biāo)志，并且將控制傳遞到功能塊912。功能塊912讀取/解析相機(jī)參數(shù)信息存在標(biāo)志，并且將控制傳遞到判定塊914。判定塊914確定是否設(shè)定^L點(diǎn)內(nèi)插標(biāo)志。如果是，則將控制傳遞到功能塊916。否則，將控制傳遞到功能塊918。功能塊916讀取/解析視點(diǎn)內(nèi)插信息，將控制傳遞到判定塊920。判定塊920確定是否設(shè)定相機(jī)參數(shù)存在標(biāo)志。如果是，則將控制傳遞到功能塊922。否則，將控制傳遞到功能塊924。功能塊918讀取/解析源viewjd增量值，并且將控制傳遞到判定塊920。功能塊924讀取/解析源view—id增量值，并且將控制傳遞到判定塊906。方法1000包括起始塊1002,在該起始塊1002,將控制傳遞到功能塊1004。功能塊1004讀取/解析相機(jī)陣列類型，并且將控制傳遞到判定塊1006。判定塊1006確定相機(jī)陣列類型是否等于一。如果是，則將控制傳遞到開/關(guān)頁面連接器793。否則，將控制傳遞到功能塊1008。功能塊1008讀取/解析用于導(dǎo)航的左邊界，并且將控制傳遞到功能塊1010。功能塊1010讀取/解析用于導(dǎo)航的右邊界，并且將控制傳遞到功能塊1012。功能塊1012讀取/解析導(dǎo)航空間中的片段的數(shù)目，并且將控制傳遞到判定塊1014。判定塊1014確定是否完成所有片段。如果是，則將控制傳遞到開/關(guān)頁面連接器793。否則，將控制傳遞到功能塊1016。功能塊1016讀取/解析左邊界片段，并且將控制傳遞到功能塊1018。功能塊1018讀取/解析呈現(xiàn)所需的視點(diǎn)的數(shù)目，并且將控制傳遞到判定塊1020。判定塊1020確定是否已經(jīng)完成所有視點(diǎn)的解析。如果是，則將控制返回到判定塊1014。否貝'J，將控制傳遞到功能塊1022。功能塊1022按照需要讀取/解析view—id語法參數(shù)?，F(xiàn)在將描述本發(fā)明的許多伴隨的優(yōu)點(diǎn)/特征，上面已經(jīng)提到了一些伴隨的優(yōu)點(diǎn)/特征。例如，一個(gè)優(yōu)點(diǎn)/特征是一種包括編碼器的裝置，所述編碼器以至少一個(gè)高級語法元素對合成比特流中的多視點(diǎn)視頻內(nèi)容以及該多視點(diǎn)視頻內(nèi)容的多視點(diǎn)編碼信息進(jìn)行編碼。另一個(gè)優(yōu)點(diǎn)/特征是一種具有如上所述的編碼器的裝置，其中所述至少一個(gè)高級語法元素包括切片報(bào)頭、序列參數(shù)集、畫面參數(shù)集、視點(diǎn)參數(shù)集、網(wǎng)絡(luò)提取層單元報(bào)頭和補(bǔ)充增強(qiáng)信息消息中的至少一個(gè)。另一個(gè)優(yōu)點(diǎn)/特征是具有如上所述的編碼器的裝置，其中所述多視點(diǎn)編碼信息包括編碼相機(jī)視點(diǎn)信息、未編碼相機(jī)視點(diǎn)信息和自由^見點(diǎn)信息中的至少一個(gè)。再一個(gè)優(yōu)點(diǎn)/特征是具有如上所述的編碼器的裝置，其中所述多視點(diǎn)編碼信息包括編碼相機(jī)視點(diǎn)信息、未編碼相機(jī)視點(diǎn)信息和自由^L點(diǎn)信息中的至少一個(gè)，其中編碼相機(jī)視點(diǎn)信息包括下列中的至少一個(gè)編碼相機(jī)^f見點(diǎn)的數(shù)目和每個(gè)編碼相機(jī)一見點(diǎn)的特性、作為對應(yīng)于多視點(diǎn)視頻內(nèi)容的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)的編碼相機(jī)視點(diǎn)的數(shù)目。而且，另一優(yōu)點(diǎn)/特征是一種具有如上所述的編碼器的裝置，其中所述編碼相機(jī)視點(diǎn)信息包括編碼相機(jī)視點(diǎn)的數(shù)目和每個(gè)編碼相機(jī)視點(diǎn)的特性中的至少一個(gè)，編碼相機(jī)視點(diǎn)的數(shù)目是與所述多視點(diǎn)視頻內(nèi)容對應(yīng)的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)，其中每個(gè)編碼相機(jī)-現(xiàn)點(diǎn)的特征包括下列中的至少一個(gè)可升級信息、視點(diǎn)可升級信息、視點(diǎn)相關(guān)信息、感興趣信息的區(qū)域、位速率、幀大小、幀速率、初始參數(shù)集和相機(jī)參數(shù)、解碼器規(guī)范、比特流限制信息、視點(diǎn)標(biāo)識(shí)符、和編碼順序信息，其中所述可升級信息包括時(shí)間可升級信息、空間可升級信息、和信噪比可升級信息中的至少一個(gè)，所述解碼器規(guī)范由筒檔和級別信息以及筒檔和級別約束信息中的至少一個(gè)表示。再者，另一優(yōu)點(diǎn)/特征是具有如上所述的編碼器的裝置，其中所述多視點(diǎn)編碼信息包括編碼相枳3見點(diǎn)信息、未編碼相機(jī);魄點(diǎn)信息和自由^L點(diǎn)信息中的至少一個(gè)，其中所述未編碼相機(jī)視點(diǎn)信息包括未編碼相機(jī)視點(diǎn)的數(shù)目和每個(gè)未編碼相機(jī)視點(diǎn)的特性中的至少一個(gè)，編碼相機(jī)視點(diǎn)的數(shù)目是與所述多視點(diǎn)視頻內(nèi)容對應(yīng)的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)。而且，另一優(yōu)點(diǎn)/特征是具有編碼器的裝置，其中所述未編碼相機(jī)視點(diǎn)信息包括未編碼相機(jī)視點(diǎn)的數(shù)目和每個(gè)未編碼相機(jī)視點(diǎn)的特性中的至少一個(gè)，編碼相機(jī)視點(diǎn)的數(shù)目是與所述多視點(diǎn)視頻內(nèi)容對應(yīng)的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)，其中每個(gè)未編碼視點(diǎn)的特性包括視點(diǎn)標(biāo)識(shí)符、視點(diǎn)內(nèi)插信息、和相機(jī)參數(shù)中的至少一個(gè)。另外，另一優(yōu)點(diǎn)/特征是具有如上所述的編碼器的裝置，其中所述多視點(diǎn)編碼信息包括編碼相機(jī)視點(diǎn)信息、未編碼相機(jī)視點(diǎn)信息和自由視點(diǎn)信息中的至少一個(gè)，其中所述自由視點(diǎn)信息包括用于在給定視點(diǎn)和觀察角度處生成至少一個(gè)視點(diǎn)的參數(shù)和方法中的至少一個(gè)。而且，另一優(yōu)點(diǎn)/特征是具有如上所述的編碼器的裝置，其中所述自由禍L點(diǎn)信息包括用于在給定視點(diǎn)和觀察角度處生成至少一個(gè)視點(diǎn)的參數(shù)和方法中的至少一個(gè)，其中用于生成至少一個(gè)視點(diǎn)的參數(shù)包括下列中的至少一個(gè)相機(jī)陣列設(shè)定、導(dǎo)航空間的定義、和用于在導(dǎo)航空間中呈現(xiàn)特定位置的一組編碼相才幾i見點(diǎn)。而且，另一優(yōu)點(diǎn)/特征是具有如上所述的編碼器的裝置，其中對于所述比特流，在帶內(nèi)和帶外中的至少一個(gè)地發(fā)送所述至少一個(gè)高級語法元素。相關(guān)領(lǐng)域的普通技術(shù)人員基于此處的示教能夠容易地確定本原理的這些和其它特征和優(yōu)點(diǎn)。將會(huì)理解，本原理的示教能夠以硬件、軟件、固件、特殊用途處理器或者它們的組合的各種形式來實(shí)現(xiàn)。更優(yōu)選地，本原理的示教被實(shí)現(xiàn)為硬件和軟件的組合。而且，軟件可4皮實(shí)現(xiàn)為有形地體現(xiàn)在程序存儲(chǔ)單元上的應(yīng)用程序。所述應(yīng)用程序可以通過包括任何合適結(jié)構(gòu)的機(jī)器上傳并執(zhí)行。優(yōu)選地，所述機(jī)器被實(shí)現(xiàn)在計(jì)算機(jī)平臺(tái)上，所述計(jì)算機(jī)平臺(tái)具有諸如一個(gè)或多個(gè)中央處理單元("CPU")、隨機(jī)存fc存儲(chǔ)器("RAM")和輸入/輸出("I/O")接口之類的硬件。計(jì)算機(jī)平臺(tái)也可以包括操作系統(tǒng)和微指令代碼。此處所描述的各種處理和功能可以是微指令代碼的一部分或者是應(yīng)用程序的一部分，或者是它們的任意組合，它們可以由CPU來執(zhí)行。另外，各種其它外圍單元可以連接到計(jì)算機(jī)平臺(tái)，例如另外的數(shù)據(jù)存儲(chǔ)單元和打印單元。還應(yīng)當(dāng)理解，因?yàn)楦綀D中描繪的一些組成系統(tǒng)元件和方法優(yōu)選地以軟件來實(shí)現(xiàn)，因此系統(tǒng)組件或處理功能塊之間的真實(shí)連接可以根據(jù)本原理被編程的方式而有所不同。假設(shè)此處的示教，相關(guān)領(lǐng)域的普通技術(shù)人員將能夠預(yù)料本原理的這些和類似的實(shí)現(xiàn)或者結(jié)構(gòu)。盡管此處參考附圖已經(jīng)描述了圖解性實(shí)施例，但是應(yīng)當(dāng)理解本原理不限化和修改，而不背離本原理的范疇或精神。所有這些變化和修改往往被包含在所附權(quán)利要求闡述的本原理的范疇之內(nèi)。權(quán)利要求1.一種裝置，包括編碼器(100)，用于以至少一個(gè)高級語法元素對合成比特流中的多視點(diǎn)視頻內(nèi)容和所述多視點(diǎn)視頻內(nèi)容的多視點(diǎn)編碼信息進(jìn)行編碼。2.如權(quán)利要求l所述的裝置，其中所述至少一個(gè)高級語法元素包括下列中的至少一個(gè)切片報(bào)頭、序列參數(shù)集、畫面參數(shù)集、視點(diǎn)參數(shù)集、網(wǎng)絡(luò)提取層單元報(bào)頭和補(bǔ)充增強(qiáng)信息消息。3.如權(quán)利要求l所述的裝置，其中所述多視點(diǎn)編碼信息包括編碼相才幾一見點(diǎn)信息、未編碼相機(jī)視點(diǎn)信息、和自由視點(diǎn)信息中的至少一個(gè)。4.如權(quán)利要求3所述的裝置，其中所述編碼相機(jī)視點(diǎn)信息包括編碼相機(jī)視點(diǎn)的數(shù)目和每個(gè)編碼相機(jī)視點(diǎn)的特性中的至少一個(gè)，編碼相機(jī)視點(diǎn)的婆史目是與所述多視點(diǎn)視頻內(nèi)容對應(yīng)的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)。5.如權(quán)利要求4所述的裝置，其中每個(gè)編碼相機(jī)視點(diǎn)的特征包括下列中的至少一個(gè)可升級信息、視點(diǎn)可升級信息、視點(diǎn)相關(guān)信息、感興趣信息的區(qū)域、位速率、幀大小、幀速率、初始參數(shù)集和相機(jī)參數(shù)、解碼器規(guī)范、比特流限制信息、視點(diǎn)標(biāo)識(shí)符、和編碼順序信息，其中所述可升級信息包括時(shí)間可升級信息、空間可升級信息、和信噪比可升級信息中的至少一個(gè)，所述解碼器規(guī)范由簡檔和級別信息以及簡檔和級別約束信息中的至少一個(gè)表示。6.如權(quán)利要求3所述的裝置，其中所述未編碼相機(jī)^見點(diǎn)信息包括未編碼相機(jī)視點(diǎn)的數(shù)目和每個(gè)未編碼相機(jī)視點(diǎn)的特性中的至少一個(gè)，編碼相機(jī)一見點(diǎn)的數(shù)目是與所述多視點(diǎn)視頻內(nèi)容對應(yīng)的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)。7.如權(quán)利要求6所述的裝置，其中每個(gè)未編碼視點(diǎn)的特性包括視點(diǎn)標(biāo)識(shí)符、視點(diǎn)內(nèi)插信息、和相機(jī)參數(shù)中的至少一個(gè)。8.如權(quán)利要求3所述的裝置，其中所述自由視點(diǎn)信息包括用于在給定視點(diǎn)和觀察角度處生成至少一個(gè)視點(diǎn)的參數(shù)和方法中的至少一個(gè)。9.如權(quán)利要求7所述的裝置，其中用于生成至少一個(gè)視點(diǎn)的參數(shù)包括下列中的至少一個(gè)相機(jī)陣列設(shè)定、導(dǎo)航空間的定義、和用于在導(dǎo)航空間中呈現(xiàn)特定位置的一組編碼相枳3見點(diǎn)。10.如權(quán)利要求l所述的裝置，其中對于所述比特流，帶內(nèi)和帶外中的至少一個(gè)地發(fā)送所述至少一個(gè)高級語法元素。11.一種方法，包括以至少一個(gè)高級語法元素對合成比特流中的多視點(diǎn)^L頻內(nèi)容和該多^L點(diǎn)內(nèi)容的多視點(diǎn)編碼信息進(jìn)行編碼(310)。12.如權(quán)利要求11所述的方法，其中所述至少一個(gè)高級語法元素包括下列中的至少一個(gè)切片報(bào)頭、序列參數(shù)集、畫面參數(shù)集、視點(diǎn)參數(shù)集、網(wǎng)絡(luò)提取層單元報(bào)頭和補(bǔ)充增強(qiáng)信息消息。13.如權(quán)利要求11所述的方法，其中所述多視點(diǎn)編碼信息包括編碼相機(jī)視點(diǎn)信息、未編碼相機(jī)視點(diǎn)信息、和自由視點(diǎn)信息中的至少一個(gè)(310,500，600)。14.如權(quán)利要求13所述的方法，其中所述編碼相機(jī)視點(diǎn)信息包括編碼相機(jī)視點(diǎn)的數(shù)目和每個(gè)編碼相機(jī)視點(diǎn)的特性中的至少一個(gè)，編碼相機(jī)視點(diǎn)的數(shù)目是與所述多視點(diǎn)視頻內(nèi)容對應(yīng)的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)(312)。15.如權(quán)利要求14所述的方法，其中每個(gè)編碼相機(jī)視點(diǎn)的特征包括下列中的至少一個(gè)可升級信息、視點(diǎn)可升級信息、視點(diǎn)相關(guān)信息、感興趣信息的區(qū)域、位速率、幀大小、幀速率、初始參數(shù)集、和相機(jī)參數(shù)、解碼器規(guī)范、比特流限制信息、視點(diǎn)標(biāo)識(shí)符、和編碼順序信息，其中所述可升級信息包括時(shí)間可升級信息、空間可升級信息、和信噪比可升級信息中的至少一個(gè)，所述解碼器規(guī)范由簡檔和級別信息以及簡檔和級別約束信息中的至少一個(gè)表示(300)。16.如權(quán)利要求13所述的方法，其中所述未編碼相機(jī)視點(diǎn)信息包括未編碼相機(jī)視點(diǎn)的數(shù)目和每個(gè)未編碼相機(jī)視點(diǎn)的特性中的至少一個(gè)，編碼相枳^見點(diǎn)的數(shù)目是與所述多視點(diǎn)視頻內(nèi)容對應(yīng)的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)(504)。17.如權(quán)利要求16所述的方法，其中每個(gè)未編碼視點(diǎn)的特性包括視點(diǎn)標(biāo)識(shí)符、視點(diǎn)內(nèi)插信息、和相機(jī)參數(shù)中的至少一個(gè)(508,510,512,516,522)。18.如權(quán)利要求13所述的方法，其中所述自由視點(diǎn)信息包括用于在給定視點(diǎn)和觀察角度處生成至少一個(gè)視點(diǎn)的參數(shù)和方法中的至少一個(gè)(414,416)。19.如權(quán)利要求18所述的方法，其中用于生成至少一個(gè)視點(diǎn)的參數(shù)包括下列中的至少一個(gè)相機(jī)陣列設(shè)定、導(dǎo)航空間的定義、和用于在導(dǎo)航空間中呈現(xiàn)特定位置的編碼相機(jī)視點(diǎn)集(600)。20.如權(quán)利要求11所述的方法，其中對于所述比特流，帶內(nèi)和帶外中的至少一個(gè)地發(fā)送所述至少一個(gè)高級語法元素(317)。21.—種裝置，包括解碼器(200),用于從至少一個(gè)高級語法元素對來自合成比特流的多朝L點(diǎn)視頻內(nèi)容以及所述多視點(diǎn)內(nèi)容的多視點(diǎn)編碼信息進(jìn)行解碼。22.如權(quán)利要求21所述的裝置，其中所述至少一個(gè)高級語法元素包4舌下列中的至少一個(gè)切片報(bào)頭、序列參數(shù)集、畫面參數(shù)集、視點(diǎn)參數(shù)集、網(wǎng)絡(luò)提取層單元報(bào)頭和補(bǔ)充增強(qiáng)信息消息。23.如權(quán)利要求21所述的裝置，其中所述多視點(diǎn)編碼信息包括編碼相機(jī)視點(diǎn)信息、未編碼相機(jī)視點(diǎn)信息、和自由視點(diǎn)信息中的至少一個(gè)。24.如權(quán)利要求23所述的裝置，其中所述編碼相機(jī)視點(diǎn)信息包括編碼相機(jī)視點(diǎn)的數(shù)目和每個(gè)編碼相機(jī)視點(diǎn)的特性中的至少一個(gè)，編碼相機(jī)視點(diǎn)的數(shù)目是與所述多視點(diǎn)視頻內(nèi)容對應(yīng)的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)。25.如權(quán)利要求24所述的裝置，其中每個(gè)編碼相機(jī)視點(diǎn)的特征包括下列中的至少一個(gè)可升級信息、視點(diǎn)可升級信息、視點(diǎn)相關(guān)信息、感興趣信息的區(qū)域、位速率、幀大小、幀速率、初始參數(shù)集和相機(jī)參數(shù)、解碼器規(guī)范、比特流限制信息、視點(diǎn)標(biāo)識(shí)符和編碼順序信息，其中所述可升級信息包括時(shí)間可升級信息、空間可升級信息和信噪比可升級信息中的至少一個(gè)，所述解碼器規(guī)范由簡檔和級別信息以及簡檔和級別約束信息中的至少一個(gè)表示。26.如權(quán)利要求23所述的裝置，其中所述未編碼相機(jī)視點(diǎn)信息包括未編碼相機(jī)視點(diǎn)的數(shù)目和每個(gè)未編碼相機(jī)視點(diǎn)的特性中的至少一個(gè)，編碼相才幾視點(diǎn)的數(shù)目是與所述多視點(diǎn)視頻內(nèi)容對應(yīng)的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)。27.如權(quán)利要求26所述的裝置，其中每個(gè)未編碼視點(diǎn)的特性包括視點(diǎn)標(biāo)識(shí)符、視點(diǎn)內(nèi)插信息、和相機(jī)參數(shù)中的至少一個(gè)。28.如權(quán)利要求23所述的裝置，其中所述自由視點(diǎn)信息包括用于在給定視點(diǎn)和觀察角度處生成至少一個(gè)視點(diǎn)的參數(shù)和方法中的至少一個(gè)。29.如權(quán)利要求28所述的裝置，其中用于生成至少一個(gè)視點(diǎn)的參數(shù)包括下列中的至少一個(gè)相機(jī)陣列設(shè)定、導(dǎo)航空間的定義、和用于在導(dǎo)航空間中呈現(xiàn)特定位置的一組編碼相機(jī)纟見點(diǎn)。30.如權(quán)利要求21所述的裝置，其中對于所述比特流，帶內(nèi)和帶外中的至少一個(gè)地接收所述至少一個(gè)高級語法元素。31.—種方法，包括從至少一個(gè)高級語法元素對來自合成比特流的多一見點(diǎn)視頻內(nèi)容以及所述多視點(diǎn)內(nèi)容的多視點(diǎn)編碼信息進(jìn)行解碼(708)。32.如權(quán)利要求31所述的方法，其中所述至少一個(gè)高級語法元素包:fe下列中的至少一個(gè)切片報(bào)頭、序列參數(shù)集、畫面參數(shù)集、視點(diǎn)參數(shù)集、網(wǎng)絡(luò)提取層單元報(bào)頭和補(bǔ)充增強(qiáng)信息消息。33.如權(quán)利要求31所述的方法，其中所述多視點(diǎn)編碼信息包括編碼相機(jī)視點(diǎn)信息、未編碼相機(jī)視點(diǎn)信息、'和自由視點(diǎn)信息中的至少一個(gè)(708,900，1000)。34.如權(quán)利要求33所述的方法，其中所述編碼相機(jī)視點(diǎn)信息包括編碼相機(jī)視點(diǎn)的數(shù)目和每個(gè)編碼相機(jī)視點(diǎn)的特性中的至少一個(gè)，編碼相機(jī)視點(diǎn)的數(shù)目是與所述多視點(diǎn)視頻內(nèi)容對應(yīng)的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)(710)。35.如權(quán)利要求34所述的方法，其中每個(gè)編碼相機(jī)一見點(diǎn)的特征包括下列中的至少一個(gè)可升級信息、視點(diǎn)可升級信息、視點(diǎn)相關(guān)信息、感興趣信息的區(qū)域、位速率、幀大小、幀速率、初始參數(shù)集和相機(jī)參數(shù)、解碼器規(guī)范、比特流限制信息、視點(diǎn)標(biāo)識(shí)符和編碼順序信息，其中所述可升級信息包括時(shí)間可升級信息、空間可升級信息和信噪比可升級信息中的至少一個(gè)，所述解碼器規(guī)范由簡檔和級別信息以及簡檔和級別約束信息中的至少一個(gè)表示。36.如權(quán)利要求33所述的方法，其中所述未編碼相機(jī)視點(diǎn)信息包括未編碼相機(jī)視點(diǎn)的數(shù)目和每個(gè)未編碼相機(jī)視點(diǎn)的特性中的至少一個(gè)，編碼相機(jī)視點(diǎn)的數(shù)目是與所述多視點(diǎn)視頻內(nèi)容對應(yīng)的編碼相機(jī)視點(diǎn)總數(shù)中的一個(gè)或多個(gè)中的任一個(gè)(904)。37.如權(quán)利要求36所述的方法，其中每個(gè)未編碼視點(diǎn)的特性包括視點(diǎn)標(biāo)識(shí)符、視點(diǎn)內(nèi)插信息、和相機(jī)參數(shù)中的至少一個(gè)(908,910,912,916,922)。38.如權(quán)利要求33所述的方法，其中所述自由視點(diǎn)信息包括用于在給定視點(diǎn)和觀察角度處生成至少一個(gè)視點(diǎn)的參數(shù)和方法中的至少一個(gè)(814,816)。39.如權(quán)利要求38所述的方法，其中用于生成至少一個(gè)視點(diǎn)的參數(shù)包括下列中的至少一個(gè)相機(jī)陣列設(shè)定、導(dǎo)航空間的定義、和用于在導(dǎo)航空間中呈現(xiàn)特定位置的一組編碼相機(jī)一見點(diǎn)(1000)。40.如權(quán)利要求31所述的方法，其中對于所述比特流，帶內(nèi)和帶外中的至少一個(gè)地接收所述至少一個(gè)高級語法元素(704)。41.一種用于視頻編碼的視頻信號(hào)結(jié)構(gòu)，包括在合成比特流中編碼的多視點(diǎn)視頻內(nèi)容，其中以至少一個(gè)高級語法元素編碼所述多視點(diǎn)內(nèi)容的多視點(diǎn)編碼信息。42.—種具有在其上編碼的視頻信號(hào)數(shù)據(jù)的存儲(chǔ)介質(zhì)，包括在合成比特流中編碼的多視點(diǎn)視頻內(nèi)容，其中以至少一個(gè)高級語法元素編碼所述多視點(diǎn)內(nèi)容的多視點(diǎn)編碼信息。全文摘要提供了一種用于以高級語法表達(dá)多視點(diǎn)信息的方法和裝置。公開了一種編碼方法(300)和裝置(100)，用于以至少一個(gè)高級語法元素對合成比特流中的多視點(diǎn)視頻內(nèi)容和所述多視點(diǎn)視頻內(nèi)容的多視點(diǎn)編碼信息進(jìn)行編碼(310)。公開了一種解碼方法(700)和裝置(200)，用于從至少一個(gè)高級語法元素對來自合成比特流的多視點(diǎn)視頻內(nèi)容以及該多視點(diǎn)內(nèi)容的多視點(diǎn)編碼信息進(jìn)行解碼(708)。文檔編號(hào)H04N7/26GK101578872SQ200880001741公開日2009年11月11日申請日期2008年1月4日優(yōu)先權(quán)日2007年1月4日發(fā)明者澎尹,珀文·B·潘迪特,蘇野平申請人:湯姆森特許公司