專利名稱：圖像數(shù)據(jù)發(fā)送設(shè)備、圖像數(shù)據(jù)發(fā)送方法、圖像數(shù)據(jù)接收設(shè)備以及圖像數(shù)據(jù)接收方法
技術(shù)領(lǐng)域：
本技術(shù)涉及圖像數(shù)據(jù)發(fā)送設(shè)備、圖像數(shù)據(jù)發(fā)送方法、圖像數(shù)據(jù)接收設(shè)備以及圖像數(shù)據(jù)接收方法，尤其涉及發(fā)送立體圖像數(shù)據(jù)、可伸縮編碼圖像數(shù)據(jù)等的圖像數(shù)據(jù)發(fā)送設(shè)備。
背景技術(shù)：
在相關(guān)技術(shù)中，H. 264/AVC (高級視頻編碼)被稱為視頻編碼系統(tǒng)(參照非專利文獻I)。另外，H. 264/MVC (多視圖視頻編碼)已知為H. 264/AVC的擴展系統(tǒng)(參照非專利文獻2)。MVC采用集體編碼多視像數(shù)據(jù)的方案。在MVC中，將多視像數(shù)據(jù)編碼成基本視圖的圖像數(shù)據(jù)、和一個或多個非基本視圖的圖像數(shù)據(jù)。另外，H. 264/SVC (可伸縮視頻編碼)也已知為H. 264/AVC的擴展系統(tǒng)(參照非專利 文獻3)。SVC是分級編碼圖像的技術(shù)。在SVC中，將視頻劃分成含有以最低質(zhì)量解碼視頻所需的圖像數(shù)據(jù)的基本層(最下層)、和含有通過加入基本層中提高視頻的質(zhì)量的圖像數(shù)據(jù)的擴展層(上層)。引用列表非專利文獻非專利文獻1:"Draft Errata List with Revision-Marked Corrections forH.264/AVC",JVT-1050, Thomas Wiegand et.al. , Joint Video Team (JVT) of IS0/IECMPEG&ITU-T VCEG,2003 ；非專利文獻2 Joint Draft4. Oon Multiview Video Coding, Joint Video Teamof IS0/IEC MPEG&ITU-T VCEG, JVT-X209, July2007 ；非專利文獻3 :Heiko Schwarz, Detlev Marpe, and Thomas Wiegand, "Overviewof the Scalable Video Coding Extension of the H. 264/AVC, Standard"，IEEETRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 17，NO. 9，SEPTEMBER2007, pp. 1103-1120。

發(fā)明內(nèi)容
本發(fā)明要解決的問題在動態(tài)切換AVC流和MVC流的分配環(huán)境中，預(yù)計MVC的接收器通過確定只存在“Stream_Type=0xlB” 的一個流還是存在“Stream_Type=0xlBlPI“Stream_Type=0x20” 的兩個流在它的接收模式之間切換。普通AVC (2D)視頻基本流通過PMT (節(jié)目映射表)的“Stream_Type=0xlB”發(fā)送?？商娲?，在一些情況下，MVC的基本視圖的視頻基本流(叫做基本視圖子位流)可以通過PMT的“Stream_Type=0xlB”發(fā)送。就MVC而言，在一些情況下，集體發(fā)送基本視圖的圖像數(shù)據(jù)和非基本視圖的圖像數(shù)據(jù)。也就是說，在分開發(fā)送基本視圖的圖像數(shù)據(jù)和非基本視圖的圖像數(shù)據(jù)的情況下，可以通過PMT的“Stream_Type=0xlB”發(fā)送MVC的基本視圖的視頻基本流(叫做基本視圖子位流)。傳輸流中的一個部分配有在用作PSI (節(jié)目特定信息)的PMT的級別上區(qū)分傳輸流是AVC流還是MVC流的結(jié)構(gòu)。也就是說，當只存在“Stream_Type=OxlB”時,可認為視頻基本流是2DAVC流。也就是說，當存在“Stream_Type=OxlB”和“Stream_Type=0x20”兩者時，可以認為視頻基本流是MVC流。但是，取決于發(fā)送方裝備，PMT可能未必被動態(tài)地更新。在那種情況下，當將分配內(nèi)容從立體(3D)圖像切換成二維(2D)圖像時，認為會引起如下不便。也就是說，假設(shè)“0x20”流類型(Stream_Type)的流將在“OxlB”流類型(Stream_Type)的基本流之后傳送,則認為接收器會繼續(xù)等待數(shù)據(jù)。在分配內(nèi)容切換到二維(2D)圖像之后，盡管將接收不到“0x20”的基本流，但當假設(shè)將傳送“0x20”的基本流時，接收器的內(nèi)部會繼續(xù)等待“0x20”的基本流。其結(jié)果是，不能實現(xiàn)正確解碼，因此會擔心可能無法正常顯示。也就是說，在接收器只依靠PMT的“Stream_ Type”的類型來確定它的模式的情況下，存在所確定的模式可能不正確的可能性，其結(jié)果是，可能接收不到正確的流。圖27例示了傳輸流中的視頻基本流和PMT (節(jié)目映射表)的配置例子。在視頻基本流ESl和ES2的訪問單元(AU) “001”到“009”的時段中，存在兩個視頻基本流。這個時段是，例如，3D節(jié)目的主要時段，這兩個流構(gòu)成立體(3D)圖像數(shù)據(jù)的流。在接在前述時段之后的視頻基本流ESl的訪問單元“010”到“014”的時段中，只存在一個視頻基本流。這個時段是，例如，要插入3D節(jié)目的主要時段中的CM時段，該一個流構(gòu)成二維圖像數(shù)據(jù)的流。此外，在接在最后所述的時段之后的視頻基本流ESl和ES2的訪問單元“0015”到“016”的時段中，存在兩個視頻基本流。這個時段是例如3D節(jié)目的主要時段，這兩個流構(gòu)成立體(3D)圖像數(shù)據(jù)的流。在PMT中，更新視頻基本流的登記的周期(例如，100ms)不能與視頻的幀時段(例如，33. 3ms)匹配。在識別構(gòu)成傳輸流的基本流隨PMT的動態(tài)變化的方法中，PMT的傳輸流和基本流的內(nèi)部配置是異步的。于是，這樣的方法不能保證在接收器中正確操作。在現(xiàn)有信號標準(MPEG)中，必不可少的是將“MVC_eXtenSi0n描述符”描述符插入“Stream_Type=OxlB”的MVC基本視圖的視頻基本流(叫做基本視圖子位流)中作為PMT描述符。這種描述符的存在告知了非基本視圖的視頻基本流(非基本視圖子位流)的存在。但是，“Stream_Type=OxlB”所指的“基本PID”的視頻基本流未必是上述的MVC基本視圖的視頻基本流(叫做基本視圖子位流)。在傳統(tǒng)AVC中，認為存在許多高級畫質(zhì)(highprofile)流。特別是，為了保證與現(xiàn)有2D接收器的兼容性，在一些情況下，人們建議，盡管存在立體(3D)圖像數(shù)據(jù)，但將基本視圖的視頻基本流轉(zhuǎn)換成傳統(tǒng)AVC (2D)的視頻基本流。在這種情況下，立體圖像數(shù)據(jù)的流包括AVC (2D)的視頻基本流、和非基本視圖的視頻基本流(非基本視圖子位流)。在這種情況下，不將“MVC_extension descriptor”的描述符與“Stream_Type=0xlB”的視頻基本流相聯(lián)系。因此，除了識別與基本視圖的視頻基本流相對應(yīng)的AVC (2D)視頻基本流的存在之外，沒有辦法識別非基本視圖的視頻基本流(非基本視圖子位流)的存在。另外，如上所述，在動態(tài)切換AVC(2D)流和MVC流的分配環(huán)境中，預(yù)計MVC的接收器通過確定只存在“Stream_Type=OxlB”的一個流還是存在“Stream_Type=OxlB”和“Stream_Type=0X20”的兩個流而在它的接收模式之間切換。普通AVC (2D)視頻基本流通過PMT (節(jié)目映射表)的“Stream_Type=OxlB”發(fā)送?？商娲?在一些情況下，MVC的基本視圖(Baseview)的視頻基本流(叫做基本視圖子位流)可以通過PMT的“Stream_Type=OxlB”發(fā)送。在那種情況下，可以將多個視頻基本流多路復(fù)用成一個傳輸流(TS transportStream)ο存在立體圖像數(shù)據(jù)的流由其中的一些視頻基本流形成的情況。例如，考慮將下述的視頻流多路復(fù)用成一個傳輸流的情況。PIDO (AVC2D)stream_type=OxlBPIDl (AVC3D 巾貞兼容)stream_type=OxlBPID2 (MVC 非基本子位流)stream_type=0x20“PID0”本身的視頻基本流是傳統(tǒng)二維(2D)圖像數(shù)據(jù)的流。這個視頻基本流通過與“PID2”的非基本視圖的視頻基本流(非基本視圖子位流)組合而構(gòu)成立體(3D)圖像數(shù)據(jù)的流。但是，不能只將作為3D成分的視頻流與“stream_type”的使用相聯(lián)系。也就是說，這是因為“stream_type=OxlB”也可用于“PID1”的視頻基本流。“AVC3D幀兼容”代表，例如，并肩系統(tǒng)、頂?shù)紫到y(tǒng)等的立體(3D)圖像數(shù)據(jù)。上述的描述結(jié)合了基本視圖的圖像數(shù)據(jù)的編碼系統(tǒng)和非基本視圖的圖像數(shù)據(jù)的編碼系統(tǒng)兩者都是MPEG4-AVC的例子。但是，也可以考慮如下情況基本視圖的圖像數(shù)據(jù)的編碼系統(tǒng)和非基本視圖的圖像數(shù)據(jù)的編碼系統(tǒng)兩者都是非上述編碼系統(tǒng)的MPEG2視頻系統(tǒng)等的情況；以及基本視圖的圖像數(shù)據(jù)的編碼系統(tǒng)和非基本視圖的圖像數(shù)據(jù)的編碼系統(tǒng)相互不同的情況。更進一步，在上述中，指出了如下問題難以確定包含在傳輸流中的基本流是否構(gòu)成立體(3D)圖像數(shù)據(jù)；以及難以識別包含在傳輸流中的基本流當中的哪個基本流構(gòu)成立 體(3D)圖像數(shù)據(jù)。盡管未給出詳細描述，但即使以時分方式發(fā)送AVC流和上述SVC流，也會引起這樣的不便。本技術(shù)的目的是，例如，使MVC或SVC的接收器可以正確響應(yīng)分配內(nèi)容的動態(tài)變化以及進行正確流接收。問題的解決方案本技術(shù)的概念是一種圖像數(shù)據(jù)發(fā)送設(shè)備，其包括編碼單元，用于生成包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)目的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)目的第二基本流；以及發(fā)送單元，用于發(fā)送包括通過將所述編碼單元生成的每個基本流分組化而獲得的每個分組的傳輸流，其中所述編碼單元將指示基本流之間的聯(lián)系的流聯(lián)系信息至少插入第一基本流中。在本技術(shù)中，由編碼單元生成包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)目的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)目的第二基本流。因此，發(fā)送單元發(fā)送包括通過將編碼單元生成的每個基本流分組化而獲得的每個分組的傳輸流。在這種情況下，可能存在如下狀態(tài)只存在預(yù)定數(shù)目的第二圖像數(shù)據(jù)的狀態(tài)；只存在預(yù)定數(shù)目的元數(shù)據(jù)的狀態(tài)；以及總共預(yù)定數(shù)目的第二圖像數(shù)據(jù)和元數(shù)據(jù)共存的狀態(tài)。
例如，作為包含在第一基本流中的第一圖像數(shù)據(jù)的編碼系統(tǒng)，和包含在預(yù)定數(shù)目的第二基本流中的第二圖像數(shù)據(jù)的編碼系統(tǒng)，編碼系統(tǒng)的任何組合都是可接受的。例如，可以考慮只將MPEG4-AVC用作編碼系統(tǒng)的情況、只將MPEG2視頻用作編碼系統(tǒng)的情況、和更進一步使用那些編碼系統(tǒng)的組合的情況。編碼系統(tǒng)不局限于MPEG4-AVC和MPEG2視頻。例如，第一圖像數(shù)據(jù)是構(gòu)成立體(3D)圖像數(shù)據(jù)的基本視圖的圖像數(shù)據(jù)，和第二圖像數(shù)據(jù)是除了構(gòu)成立體(3D)圖像數(shù)據(jù)的基本視圖之外的其他視圖(非基本視圖)的圖像數(shù)據(jù)。在這種情況下，例如，第一圖像數(shù)據(jù)是獲取立體圖像的左眼和右眼的任何一只的圖像數(shù)據(jù)，和第二圖像數(shù)據(jù)是獲取立體圖像的左眼和右眼的另一只的圖像數(shù)據(jù)。另外，例如，元數(shù)據(jù)是與立體圖像數(shù)據(jù)相對應(yīng)的視差信息(視差矢量、深度數(shù)據(jù)等)。例如，在接收方，使用視差信息對接收的圖像數(shù)據(jù)進行內(nèi)插處理(后處理)，以便可以獲得預(yù)定數(shù)目的視圖的顯示圖像數(shù)據(jù)。另外，例如，第一圖像數(shù)據(jù)是構(gòu)成可伸縮編碼圖像數(shù)據(jù)的最下層的編碼圖像數(shù)據(jù)，和第二圖像數(shù)據(jù)是除了構(gòu)成可伸縮編碼圖像數(shù)據(jù)的最下層之外的其他層的編碼圖像數(shù)據(jù)。 例如，流聯(lián)系信息可以被配置成包括指示在多視圖觀看下在立體顯示期間與包含在已經(jīng)插入流聯(lián)系信息的基本流中的圖像數(shù)據(jù)相對應(yīng)的視圖被顯示成哪個視圖的位置信
肩、O指示每個基本流之間的聯(lián)系的流聯(lián)系信息由編碼單元至少插入第一基本流中。例如，流聯(lián)系信息被配置成使用標識各自基本流的標識符指示各自基本流之間的聯(lián)系。例如，將指示每個基本流的標識符與每個基本流的分組標識符或成分標記之間的對應(yīng)關(guān)系的描述符(descriptor)插入傳輸流中。例如，將描述符插在節(jié)目映射表的下面。另外，可以事先定義對應(yīng)關(guān)系。至此，可以識別每個基本流在傳輸流層中的登記狀態(tài)與流聯(lián)系信息之間的聯(lián)系。這樣，在本技術(shù)中，將指示各自基本流之間的聯(lián)系的流聯(lián)系信息至少插入第一基本流中。因此，在接收方，可以根據(jù)流聯(lián)系信息容易地確定與第一基本流相聯(lián)系的第二基本流是否包含在傳輸流中。此外，因為將流聯(lián)系信息插入基本流本身中，所以在接收方，可以根據(jù)流聯(lián)系信息正確地響應(yīng)基本流的配置的變化，即，分配內(nèi)容的動態(tài)變化，并進行正確流接收。另外，在本技術(shù)中，流聯(lián)系信息可以被配置成包括在實際發(fā)生變化之前通知基本流之間的聯(lián)系將發(fā)生變化的提前通知信息。根據(jù)提前通知信息，在接收方，可以有效地、動態(tài)地改變讀取解碼器緩沖器的控制。在本技術(shù)中，例如，編碼單元可以被配置成根據(jù)畫面或GOP將流聯(lián)系信息插入基本流中。對于這樣的配置，在接收方，可以根據(jù)畫面或GOP管理基本流的配置，例如，立體圖像數(shù)據(jù)的視圖數(shù)量的變化或可伸縮編碼圖像數(shù)據(jù)的層數(shù)的變化。更進一步，在本技術(shù)中，接收單元可以被配置成將指示流聯(lián)系信息是否已經(jīng)插入基本流中，或插入基本流中的流聯(lián)系信息是否發(fā)生了變化的描述符插入傳輸流中。由于該描述符，可以提示參考插入基本流中的流聯(lián)系信息，以及在接收方可以進行穩(wěn)定的接收操作。另外，在本技術(shù)中，例如，流聯(lián)系信息可以被配置成進一步包括有關(guān)第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的輸出分辨率的控制信息。對于這樣的配置，在接收方，可以根據(jù)該控制信息調(diào)整第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的輸出分辨率，以便與預(yù)定分辨率匹配。另外，在本技術(shù)中，例如，流聯(lián)系信息可以被配置成進一步包括規(guī)定是否有必要顯示預(yù)定數(shù)目的第二圖像數(shù)據(jù)的每一個的控制信息。對于這樣的配置，在接收方，可以根據(jù)控制信息識別有必要顯示預(yù)定數(shù)目的第二圖像數(shù)據(jù)的哪個數(shù)據(jù)，以及可以限制用戶對圖像顯示狀態(tài)的選擇。此外，本技術(shù)的另一個概念是一種圖像數(shù)據(jù)接收設(shè)備，其包括接收單元，用于接收傳輸流，該傳輸流包含將包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)目的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)目的第二基本流分組化而獲得的每個分組，指示每個基本流之間的聯(lián)系的流聯(lián)系信息被插入第一基本流中；以及進一步包括數(shù)據(jù)獲取單元，用于根據(jù)流聯(lián)系信息，從所述接收單元接收的第一基本流中獲取第一圖像數(shù)據(jù)，和從所述接收單元接收的預(yù)定數(shù)目的第二基本流中獲取與第一圖像數(shù)據(jù)相聯(lián)系 的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)。在本技術(shù)中，由接收單元接收傳輸流。傳輸流可以包括將包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)目的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)目的第二基本流分組化而獲得的每個分組。在這種情況下，將指示每個基本流之間的聯(lián)系的流聯(lián)系信息插入第一基本流中。由數(shù)據(jù)獲取單元從接收單元接收的傳輸流中獲取圖像數(shù)據(jù)和/或元數(shù)據(jù)。在這種情況下，根據(jù)流聯(lián)系信息，從第一基本流中獲取第一圖像數(shù)據(jù)，以及更進一步從預(yù)定數(shù)目的第二基本流中獲取第二圖像數(shù)據(jù)和/或元數(shù)據(jù)。在本技術(shù)中，將指示每個基本流之間的聯(lián)系的流聯(lián)系信息插入傳輸流中。因此，根據(jù)流聯(lián)系信息，可以容易地確定與第一基本流相聯(lián)系的第二基本流是否包含在傳輸流中。此外，因為將流聯(lián)系信息插入基本流本身中，所以根據(jù)流聯(lián)系信息，可以正確地響應(yīng)基本流的配置的變化，即，分配內(nèi)容的動態(tài)變化，并進行正確流接收。在本技術(shù)中，例如，可以進一步包括調(diào)整和輸出數(shù)據(jù)獲取單元獲取的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的分辨率的分辨率調(diào)整器。更進一步，流聯(lián)系信息可以包含有關(guān)第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的輸出分辨率的控制信息，以及分辨率調(diào)整器可以根據(jù)有關(guān)輸出分辨率的控制信息調(diào)整第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的分辨率。在這種情況下，即使在第一圖像數(shù)據(jù)的分辨率和預(yù)定數(shù)目的第二圖像數(shù)據(jù)的分辨率相互不同的情況下，分辨率調(diào)整器也可以匹配輸出分辨率。另外，在本技術(shù)中，例如，可以進一步包括圖像顯示狀態(tài)選擇單元，該圖像顯示狀態(tài)選擇單元根據(jù)所述獲取單元獲取的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)選擇圖像顯示狀態(tài)，流聯(lián)系信息可以包含規(guī)定是否有必要顯示預(yù)定數(shù)目的第二圖像數(shù)據(jù)的每個數(shù)據(jù)的控制信息，以及圖像顯示狀態(tài)選擇單元可以根據(jù)控制信息限制圖像顯示狀態(tài)的選擇。另外，在本技術(shù)中，例如，數(shù)據(jù)獲取單元獲取的元數(shù)據(jù)可以是與立體圖像數(shù)據(jù)相對應(yīng)的視差信息，以及可以進一步包括后處理單元，該后處理單元使用視差數(shù)據(jù)對數(shù)據(jù)獲取單元獲取的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)進行內(nèi)插處理以便獲得預(yù)定數(shù)目的視圖的顯示圖像數(shù)據(jù)。發(fā)明效果按照本技術(shù)，在接收方，可以正確地響應(yīng)基本流的配置中的變化，即，分配內(nèi)容的動態(tài)變化，并滿意地進行流接收。


圖1是例示作為本發(fā)明的第一實施例的圖像發(fā)送/接收系統(tǒng)的配置例子的框圖；圖2是例不節(jié)目由兩個視頻基本流形成的例子的圖形；圖3是例示構(gòu)成圖像發(fā)送/接收系統(tǒng)的廣播臺中的發(fā)送數(shù)據(jù)生成單元的配置例子的框圖；圖4是例不包含視頻基本流、圖形基本流、和首頻基本流等的一般傳輸流的配置例子的圖形；圖5是例示在將流聯(lián)系信息插入基本流中和將ES_ID描述符和ES_association描述符插入傳輸流中的情況下傳輸流的配置例子的圖形； 圖6是例示ES_ID描述符的結(jié)構(gòu)例子(語法)的圖形；圖7是例示ES_association描述符的結(jié)構(gòu)例子(語法)的圖形；圖8是例示插入基本流中的流聯(lián)系信息與插入傳輸流中的ES_association描述符之間的關(guān)系的例子的圖形；圖9是描述當編碼系統(tǒng)是MPEG4-AVC時將流聯(lián)系信息插入訪問單元的“SELs”部分中的圖形；圖10 是例不“流聯(lián)系信息 SEI 消息”和 “userdata_for_stream_association O ”的結(jié)構(gòu)例子(語法)的圖形；圖11是例示“user_data O ”的結(jié)構(gòu)例子(語法)的圖形；圖12是例示流聯(lián)系信息“stream_association() ”的結(jié)構(gòu)例子(語法)的圖形；圖13是例示流聯(lián)系信息“stream_association() ”的結(jié)構(gòu)例子(語法)中的每個信息的內(nèi)容(語義)的圖形； 圖14是例示傳輸流包括MVC的基本視圖的流和MVC的非基本視圖的流的情況的例子的圖形；圖15是例示在接收方進行立體(3D)顯示的時候的視圖顯示例子的圖形；圖16 是例不插入“indication_of_selected_stream_display” 的例子的圖形；圖17是例示構(gòu)成圖像發(fā)送/接收系統(tǒng)的接收器的配置例子的框圖；圖18是例示傳輸流TS包括MVC的基本視圖的流ESl和MVC的非基本視圖的流ES2的情況的例子的圖形；圖19是例示傳輸流TS包括MPEG2視頻流ESl和ES2的情況的例子的圖形；圖20是例示傳輸流TS包括MPEG2視頻流ESl和AVC流ES2的情況的例子的圖形；圖21是例示傳輸流TS包括MVC的基本視圖的流ESl和MVC的非基本視圖的流ES2的情況的另一個例子的圖形；圖22是例示傳輸流TS包括MVC的基本視圖的流ESl和MVC的非基本視圖的流ES2的情況的又一個例子的圖形；圖23是例示傳輸流TS包括MVC的基本視圖的流ESl和MVC的非基本視圖的流ES2和ES3的情況的例子的圖形；
圖24是例示傳輸流TS包括MVC的基本視圖的流ESl和MVC的非基本視圖的流ES2和ES3的情況的另一個例子的圖形；圖25是例示傳輸流TS包括MVC的基本視圖的流ESUMVC的非基本視圖的流ES2、和元數(shù)據(jù)的流ES3的情況的例子的圖形；圖26是例示構(gòu)成圖像發(fā)送/接收系統(tǒng)的接收器的另一個配置例子的框圖；以及圖27是例示傳輸流中的視頻基本流和PMT (節(jié)目映射表)的配置例子的圖形。
具體實施方式

在下文中，將描述實施本技術(shù)的方式(下文稱為實施例)。該描述按如下次序作出1.實施例2.修改例〈1.實施例 >[圖像發(fā)送/接收系統(tǒng)]圖1例示了作為實施例的圖像發(fā)送/接收系統(tǒng)10的配置例子。這種圖像發(fā)送/接收系統(tǒng)10包括廣播臺100和接收器200。廣播臺100將傳輸流放在廣播電波上并發(fā)送它們。傳輸流包含構(gòu)成節(jié)目的圖像數(shù)據(jù)和元數(shù)據(jù)。也就是說，傳輸流包括通過將第一基本流和預(yù)定數(shù)目的第二基本流分組化而獲得的每個分組，其中第一基本流包含第一圖像數(shù)據(jù)，而每個第二基本流包含與第一圖像數(shù)據(jù)相聯(lián)系的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)。這個分組是PES (分組化基本流)分組。在這種情況下，可能存在如下狀態(tài)只存在預(yù)定數(shù)目的第二圖像數(shù)據(jù)的狀態(tài)；只存在預(yù)定數(shù)目的元數(shù)據(jù)的狀態(tài)；以及總共預(yù)定數(shù)目的第二圖像數(shù)據(jù)和元數(shù)據(jù)共存的狀態(tài)。此外，預(yù)定數(shù)目的數(shù)包括O個。在那種情況下，不存在與第一圖像數(shù)據(jù)相聯(lián)系的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)，且傳輸流只含有將包含第一圖像數(shù)據(jù)的第一基本流分組化而獲得的分組。當只存在包含第一圖像數(shù)據(jù)的第一基本流時，第一圖像數(shù)據(jù)構(gòu)成二維(2D)圖像數(shù)據(jù)。另一方面，當除了包含第一圖像數(shù)據(jù)的第一基本流之外，還存在包含第二圖像數(shù)據(jù)的一個或多個第二基本流時，第一圖像數(shù)據(jù)和預(yù)定數(shù)目的第二圖像數(shù)據(jù)構(gòu)成立體(3D)圖像數(shù)據(jù)。這里，第一圖像數(shù)據(jù)是基本視圖的圖像數(shù)據(jù)，而預(yù)定數(shù)目的第二圖像數(shù)據(jù)構(gòu)成非基本視圖的圖像數(shù)據(jù)。在立體(3D)圖像數(shù)據(jù)的情況下，在立體圖像數(shù)據(jù)中只存在一個非基本視圖的圖像數(shù)據(jù)。也就是說，預(yù)定數(shù)目的數(shù)是I個。在這種情況下，基本視圖的圖像數(shù)據(jù)是左眼和右眼的任一只的圖像數(shù)據(jù)，而非基本視圖的圖像數(shù)據(jù)是左眼和右眼的另一只的圖像數(shù)據(jù)。圖2例示了節(jié)目由例如兩個視頻基本流形成的例子。在圖2(a)中，節(jié)目由通過PMT的“Stream_Type=OxlB”發(fā)送的MVC的基本視圖的流、和通過PMT的“Stream_Type=0x20”發(fā)送的MVC的非基本視圖的流形成。另外，在圖2(b)中，節(jié)目由通過PMT的“Stream_Type=0x20”發(fā)送的MPEG2視頻流、和通過PMT的“Stream_Type=OxlB”發(fā)送的AVC流形成。更進一步，在圖2(c)中，節(jié)目由通過PMT的“Stream_Type=0x20”發(fā)送的兩個MPEG2視頻流形成。將指示每個基本流之間的聯(lián)系的流聯(lián)系信息至少插入第一基本流中。這個流聯(lián)系信息根據(jù)作為包含預(yù)測圖像的顯示訪問單元的畫面或GOP (畫面組)被插入。流聯(lián)系信息的細節(jié)將在下面給出。接收器200從廣播臺100接收在廣播電波上傳送的傳輸流。如上所述，傳輸流包括通過將第一基本流和預(yù)定數(shù)目的第二基本流的每一個分組化而獲得的每個分組。第一基本流包含第一圖像數(shù)據(jù)。預(yù)定數(shù)目的第二基本流包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)目的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)。指示每個基本流之間的聯(lián)系的流聯(lián)系信息至少被插入第一基本流中。根據(jù)流聯(lián)系信息，接收器200從第一基本流中獲取第一圖像數(shù)據(jù)，以及從預(yù)定數(shù)目的第二基本流中獲取第二圖像數(shù)據(jù)和/或元數(shù)據(jù)?！鞍l(fā)送數(shù)據(jù)生成單元的配置例子”圖3例示了廣播臺100中生成上述傳輸流的發(fā)送數(shù)據(jù)生成單元110的配置例子。發(fā)送數(shù)據(jù)生成單元Iio包括數(shù)據(jù)提取單元(存檔單元)111、視頻編碼器112、視差信息編碼 器113、和音頻編碼器114。發(fā)送數(shù)據(jù)生成單元110進一步包括圖形生成單元115、圖形編碼器116、和多路復(fù)用器117。在數(shù)據(jù)提取單元111中，以可拆卸方式安裝數(shù)據(jù)記錄媒體111a。將要發(fā)送的節(jié)目的圖像數(shù)據(jù)、和與圖像數(shù)據(jù)相對應(yīng)的音頻數(shù)據(jù)記錄在數(shù)據(jù)記錄媒體Illa中。例如，取決于節(jié)目，將圖像數(shù)據(jù)切換成立體(3D)圖像數(shù)據(jù)或二維(2D)圖像數(shù)據(jù)。例如，甚至在單個節(jié)目內(nèi)，也取決于節(jié)目的主要部分的內(nèi)容和商業(yè)廣告，將圖像數(shù)據(jù)切換成立體畫面數(shù)據(jù)或二維圖像數(shù)據(jù)。立體圖像數(shù)據(jù)包括如上所述的基本視圖的圖像數(shù)據(jù)和預(yù)定非基本視圖的圖像數(shù)據(jù)。當圖像數(shù)據(jù)是立體圖像數(shù)據(jù)時，也將視差信息記錄在數(shù)據(jù)記錄媒體Illa中，以便對應(yīng)于立體圖像數(shù)據(jù)。視差信息是指示基本視圖與每個非基本視圖之間的視差的視差矢量，或深度數(shù)據(jù)?？梢酝ㄟ^預(yù)定轉(zhuǎn)換與視差矢量一樣地對待深度數(shù)據(jù)。視差信息是，例如，基于像素(Pixel)的視差信息，或基于將視圖(圖像)劃分成預(yù)定數(shù)目的區(qū)域獲得的分區(qū)的
視差息等。在接收方，視差信息用于，例如，調(diào)整要疊加在基本視圖的圖像和每個非基本視圖的圖像的每一個上的相同待疊加信息(圖形信息等)的位置，從而賦予視差。更進一步，在接收方，視差信息用于，例如，對基本視圖的圖像數(shù)據(jù)和每個非基本視圖的圖像數(shù)據(jù)進行內(nèi)插處理(后處理)，從而獲得預(yù)定數(shù)目的視圖的顯示圖像數(shù)據(jù)。數(shù)據(jù)記錄媒體Illa是盤狀記錄媒體、半導(dǎo)體存儲器等。數(shù)據(jù)提取單元111從數(shù)據(jù)記錄媒體Illa中提取圖像數(shù)據(jù)、語音數(shù)據(jù)、視差信息等，并輸出它們。視頻編碼器112對從數(shù)據(jù)提取單元111輸出的圖像數(shù)據(jù)進行像MPEG4-AVC(MVC)、MPEG2視頻等那樣的編碼處理，從而獲得編碼視頻數(shù)據(jù)。視頻編碼器112使用配備在最后一級上的流格式化器(未示出)生成視頻基本流。也就是說，當圖像數(shù)據(jù)是二維圖像數(shù)據(jù)時，視頻編碼器112生成包含二維圖像數(shù)據(jù)(第一圖像數(shù)據(jù))的視頻基本流。當圖像數(shù)據(jù)是立體圖像數(shù)據(jù)時，視頻編碼器112生成包含基本視圖的圖像數(shù)據(jù)(第一圖像數(shù)據(jù))的視頻基本流、和包含預(yù)定數(shù)目的非基本視圖的圖像數(shù)據(jù)(第二圖像數(shù)據(jù))的視頻基本流。視頻編碼器112將流聯(lián)系信息至少插入包含第一圖像數(shù)據(jù)的視頻基本流(第一基本流)中。流聯(lián)系信息是指示每個基本流之間的聯(lián)系的信息。第二基本流包含第二圖像數(shù)據(jù)和/或元數(shù)據(jù)。視頻編碼器112根據(jù)作為包含預(yù)測圖像的顯示訪問單元的畫面或GOP(畫面組)插入流聯(lián)系信息。音頻編碼器114對從數(shù)據(jù)提取單元111輸出的視頻數(shù)據(jù)進行像MPEG Audio AAC等那樣的編碼處理，從而生成音頻的基本流。視差信息編碼器113對從數(shù)據(jù)提取單元111輸出的視差信息進行預(yù)定編碼處理，從而生成視差信息的基本流。當視差信息是如上所述基于像素的視差信息時，可以與像素數(shù)據(jù)一樣地對待視差信息。在這種情況下，視差信息編碼器113使用與用于編碼圖像數(shù)據(jù)的編碼系統(tǒng)相同的某種編碼系統(tǒng)對視差信息進行編碼處理，因此可以生成視差信息基本流。另外，在這種情況下，可以考慮利用視頻編碼器112編碼從數(shù)據(jù)提取單元111輸出的視差信息的配置，在該情況下視差信息編碼器113是多余的。圖形生成單元115生成要疊加在圖像上的圖像信息(包括字幕信息)的數(shù)據(jù)(圖形數(shù)據(jù))。圖形編碼器116生成包含圖形生成單元115生成的圖形數(shù)據(jù)的圖形基本流。這里， 圖形信息構(gòu)成待疊加信息。圖形信息是例如徽標等。字幕信息是例如字幕。圖形數(shù)據(jù)是位圖數(shù)據(jù)。將指示圖像上的疊加位置的空閑偏移信息加入圖形數(shù)據(jù)中?？臻e偏移信息代表，例如，圖像的左上基準點與圖形信息的疊加位置的左上像素之間的垂直和水平偏移值。發(fā)送作為位圖數(shù)據(jù)的字幕數(shù)據(jù)的方法的標準是標準化的，且起作為歐洲數(shù)字廣播格式的DVB中的“DVB_Subtitling”的作用。多路復(fù)用器117將視頻編碼器112、視差信息編碼器113、音頻編碼器114、和圖形編碼器116生成的每個基本流分組化，并多路復(fù)用它們以生成傳輸流TS。下面簡要描述例示在圖3中的發(fā)送數(shù)據(jù)生成單元110的操作。將從數(shù)據(jù)提取單元111輸出的圖像數(shù)據(jù)(立體圖像數(shù)據(jù)或二維圖像數(shù)據(jù))供應(yīng)給視頻編碼器112。在視頻編碼器112中，對圖像數(shù)據(jù)進行像MPEG4-AVC (MVC)和MPEG2視頻那樣的編碼處理，以便生成包含編碼視頻數(shù)據(jù)的視頻基本流。將視頻基本流供應(yīng)給多路復(fù)用器117。也就是說，在視頻編碼器112中，當圖像數(shù)據(jù)是二維圖像數(shù)據(jù)時，生成包含二維圖像數(shù)據(jù)(第一圖像數(shù)據(jù))的視頻基本流。另外，在視頻編碼器112中，當圖像數(shù)據(jù)是立體(3D)圖像數(shù)據(jù)時，生成包含基本視圖的圖像數(shù)據(jù)(第一圖像數(shù)據(jù))的視頻基本流、和包含預(yù)定數(shù)目的非基本視圖的圖像數(shù)據(jù)(第二圖像數(shù)據(jù))的視頻基本流。在視頻編碼器112中，根據(jù)作為包含預(yù)測圖像的顯示訪問單元的畫面或G0P，將流聯(lián)系信息至少插入包含第一圖像數(shù)據(jù)的視頻基本流(第一視頻基本流)中。至此，將使用包含第一圖像數(shù)據(jù)的第一基本流將指示存在包含第二圖像數(shù)據(jù)的第二基本流的信息發(fā)送到接收方。另外，當從數(shù)據(jù)提取單元111輸出立體圖像數(shù)據(jù)時，也從數(shù)據(jù)提取單元111輸出與立體圖像數(shù)據(jù)相對應(yīng)的視差 目息。將視差 目息供應(yīng)給視差 目息編碼器113。在視差彳目息編碼器113中，對視差信息進行預(yù)定編碼處理，以生成包含編碼數(shù)據(jù)的視差信息基本流。將視差/[目息基本流供應(yīng)給多路復(fù)用器117。另外，當從數(shù)據(jù)提取單元111輸出圖像數(shù)據(jù)時，也從數(shù)據(jù)提取單元111輸出與圖像數(shù)據(jù)相對應(yīng)的音頻數(shù)據(jù)。將音頻數(shù)據(jù)供應(yīng)給音頻編碼器114。在音頻編碼器114中，對音頻數(shù)據(jù)進行像MPEG2 Audio AAC等那樣的編碼處理，以生成包含編碼音頻數(shù)據(jù)的音頻基本流。將音頻基本流供應(yīng)給多路復(fù)用器117。另外，在圖形生成單元115中 ，生成疊加在圖像(視圖)上的圖形信息(包括字幕信息)的數(shù)據(jù)(圖形數(shù)據(jù))，以便對應(yīng)于從數(shù)據(jù)提取單元111輸出的圖像數(shù)據(jù)。將圖形數(shù)據(jù)供應(yīng)給圖形編碼器116。在圖形編碼器116中，對圖形數(shù)據(jù)進行預(yù)定編碼處理，以生成包含編碼數(shù)據(jù)的圖形基本流。將圖形基本流供應(yīng)給多路復(fù)用器117。在多路復(fù)用器117中，將從各自編碼器供應(yīng)的基本流分組化和多路復(fù)用，以生成傳輸流TS。在從數(shù)據(jù)提取單元111輸出立體(3D)圖像數(shù)據(jù)的時段內(nèi)，將傳輸流TS配置成包括基本視圖的視頻基本流、和預(yù)定數(shù)目的非基本視圖的視頻基本流。另外，在從數(shù)據(jù)提取單元111輸出二維(2D)圖像數(shù)據(jù)的時段內(nèi)，將傳輸流TS配置成包括包含二維圖像數(shù)據(jù)的視頻基本流。圖4例示了包含視頻基本流、音頻基本流等的一般傳輸流的配置例子。在傳輸流中包含將每個基本流分組化而獲得的PES分組。在這個配置例子中，包含兩個視頻基本流的PES分組“視頻PES1”和“視頻PES2”。另外，在該配置例子中，包含圖形基本流的PES分組“圖形PES”和專用基本流的PES分組“差異數(shù)據(jù)PES”。此外，在這個配置例子中，包含音頻基本流的PES分組“音頻PES”。另外，在傳輸流中包含作為PSI (節(jié)目特定信息)的PMT (節(jié)目映射表)。PSI是描述包含在傳輸流中的每個基本流屬于哪個節(jié)目的信息。另外，在傳輸流中包含作為管理事件單元的SI (受服務(wù)信息)的EIT (事件信息表)。在PMT中存在描述與整個節(jié)目相聯(lián)系的信息的節(jié)目描述符(PiOgramDescriptor)。在PMT中存在具有與每個基本流相聯(lián)系的信息的基本環(huán)路。在這個配置例子中，存在視頻基本環(huán)路、圖形基本環(huán)路、專用基本環(huán)路、和首頻基本環(huán)路。為每個基本環(huán)路中的每個流安排像分組標識符(PID)、流類型(Stream_Type )等那樣的信息。更進一步，盡管未例示出來，但也安排了描述與基本流相聯(lián)系的信息的描述符。[流聯(lián)系/[目息]如上所述，視頻編碼器112根據(jù)畫面或GOP將流聯(lián)系信息至少插入包含第一圖像數(shù)據(jù)的視頻基本流(第一基本流)中。流聯(lián)系信息是指示每個基本流之間的聯(lián)系的信息。流聯(lián)系信息被配置成使用標識各自基本流的標識符指示每個基本流之間的聯(lián)系。在這種情況下，有必要將每個基本流在傳輸流層中的登記狀態(tài)與流聯(lián)系信息相聯(lián)系。例如，可以考慮事先定義每個基本流的標識符與每個基本流的分組標識符或成分標記之間的對應(yīng)的方法。在本實施例中，多路復(fù)用器117將指示每個基本流的標識符與每個基本流的分組標識符或成分標記之間的對應(yīng)的描述符，即，ES_ID描述符插入傳輸流中。多路復(fù)用器117將ES_ID描述符插在，例如，PMT的下面。另外，在本實施例中，多路復(fù)用器117將指示流聯(lián)系信息等的存在的描述符，SP，ES_association描述符插入傳輸流中。該描述符指示流聯(lián)系信息是否已經(jīng)插入基本流中，或插入基本流中的流聯(lián)系信息是否發(fā)生了變化。多路復(fù)用器117將ES_aSS0Ciati0n描述符插在，例如，PMT或EIT的下面。圖5例示了在將流聯(lián)系信息插入第一基本流中和更進一步將ES_ID描述符和ES_association描述符插入傳輸流中的情況下傳輸流的配置例子的圖形。在這個配置例子中，在傳輸流中包含基本視圖的視頻基本流(Stream_Typevideol)的PES分組“視頻PES1”。另外，在這個配置例子中，在傳輸流中包含非基本視圖的視頻基本流(Stream_Type video2)的PES分組“視頻PES2”。另外，在這個配置例子中，為了簡化對圖形的描述，未給出對其他PES分組的例示。在這個配置例子中，將指示每個基本流的標識符ES_ID與每個基本流的分組標識符PID或成分標記之間的對應(yīng)的ES_ID描述符插入視頻基本環(huán)路中。圖6例示了 ES_ID描述符的結(jié)構(gòu)例子(語法)?！癲escriptor_tag”是指示描述符類型的8位數(shù)據(jù),這里指示它是ES_ID描述符?！癲escriptor_length”是指示描述符的長度(大小)的8位數(shù)據(jù)。這個數(shù)據(jù)指示存在于作為描述符的長度的“descriptor_length”之后的字節(jié)數(shù)?！皊tream_count_for_association” 是指示流數(shù)目的 4 位數(shù)據(jù)?！癴or” 循環(huán)重復(fù)與流數(shù)目一樣多的次數(shù)。“stream_Association_ID”的4位字段指示每個基本流的標識符(ES_ID)。另外，“Associated_stream_Elementary_PID”的13位字段指不每個基本流的分組標識符PID。為了指示每個基本流的標識符與每個基本流的成分標記之間的對應(yīng)，安排“Component_tag” 來取代 “Associated_stream_Elementary_PID”。圖7 (a)例不了 ES_association 描述符的結(jié)構(gòu)例子(語法)?！癲escriptor_tag”是指示描述符類型的8位數(shù)據(jù)，這里指示它是ES_association描述符?！癲escriptor_length”是指示描述符的長度(大小)的8位數(shù)據(jù)。這個數(shù)據(jù)指示存在于作為描述符的長度的“descriptor_length”之后的字節(jié)數(shù)。“existence_of_stream_association_info”的 I 位字段是如圖 7 (b)所例不，指不在基本流中是否存在流聯(lián)系信息的標志?！癐”指示在基本流中存在流聯(lián)系信息，且“O”指示在基本流中不存在流聯(lián)系信息。可替代地，“I”指示插入基本流中的流聯(lián)系信息發(fā)生了變化，且“O”指示插入基本流中的流聯(lián)系信息未發(fā)生變化。圖8例示了插入基本流中的流聯(lián)系信息與插入傳輸流中的ES_association描述 符之間的關(guān)系的例子。因為在基本流中存在流聯(lián)系信息，所以將ES_aSS0Ciati0n描述符插在傳輸流的PMT的下面和加以發(fā)送，以提示接收方參考它。因為接收方的解碼器可以參考ES_association描述符以及從隨后GOP中檢測每個基本流的聯(lián)系配置中發(fā)生了變化，所以可以實現(xiàn)穩(wěn)定的接收操作。另外，當根據(jù)節(jié)目來固定安排時，將ES_association描述符放在EIT的下面。另外，在圖4的配置例子中，將指示基本視圖的基本流與非基本視圖的基本流之間的聯(lián)系的流聯(lián)系信息插入基本視圖的基本流中。使用用戶數(shù)據(jù)區(qū)根據(jù)畫面或GOP插入流聯(lián)系息。例如，當編碼系統(tǒng)是MPEG4-AVC時，將流聯(lián)系信息插入訪問單元的“SELs”部分中作為“流聯(lián)系信息S EI消息”。圖9(a)例示了 GOP (畫面組)的頭部的訪問單元，和圖9 (b)例示了除了 GOP的頭部之外的訪問單元。當根據(jù)GOP插入流聯(lián)系信息時，只將“流聯(lián)系信息SEI消息”插在GOP的頭部的訪問單元中。圖10(a)例示了“流聯(lián)系信息SEI消息”的結(jié)構(gòu)例子(語法)。"uuid_iso_iec_11578” 具有顯示在 “IS0/IEC11578:1996AnnexA” 中的 UUID 值。將 “userdata_for_stream_association ()，，插在 “user_data_payload_byte，，字段中。圖 10(b)例不了插入“stream_association O ” 作為流聯(lián)系信息的 “userdata_for_stream_association O ” 的結(jié)構(gòu)例子(語法)?！皊tream_association_id”是無符號地用16位表達的流聯(lián)系信息的標識符。另外,例如，當編碼系統(tǒng)是MPEG2視頻時,將流聯(lián)系信息插入畫面首標部分的用戶數(shù)據(jù)區(qū)中作為“uSer_data()”用戶數(shù)據(jù)。圖11例示了“uSer_data()”的結(jié)構(gòu)例子(語法)?！皍ser_data_start_code”的32位字段是用戶數(shù)據(jù)(user_data)的開始碼,且它的值是固定值“0χ000001Β2”。接在開始碼之后的16位字段是標識用戶數(shù)據(jù)的內(nèi)容的標識符。這里，因為陳述了 “Stream_Association_identifier”,所以可以識別出用戶數(shù)據(jù)是流聯(lián)系信息。作為接在標識符之后的數(shù)據(jù)的主體，插入作為流聯(lián)系信息的“stream_association O ”。圖12例示了流聯(lián)系信息“stream_association() ”的結(jié)構(gòu)例子(語法)。圖13例示了例示在圖12中的結(jié)構(gòu)例子中的每段信息的內(nèi)容(語義)?！皊tream_association_ length”的8位字段指示接在這個字段之后的部分的整個字節(jié)大小?！皊tream_count_for_association"的4位字段指示相聯(lián)系基本流的數(shù)目，其取O到15范圍內(nèi)的值。“self_ES_id”的4位字段指示安排了當前流聯(lián)系信息的基本流(當前基本流)本身的聯(lián)系標識符。例如，將基礎(chǔ)基本流(包含第一圖像數(shù)據(jù)的第一基本流)的標識符設(shè)置成“O”?！癷ndication_of_selected_stream_display” 的 I 位字段是指不除了當前基本流之外，是否還存在有必要顯示，以便顯示解碼器的輸出的基本流的標志。“I”代表除了當前基本流之外還存在有必要顯示的基本流?！癘”代表除了當前基本流之外不存在有必要顯示的基本流。在“I”的情況下，有必要與基本視圖的基本流一起顯示設(shè)置在下述的“display_mandatory_f lag”中的非基本視圖的基本流。“ indication_of_other_resolution_master” 的 I 位字段是指不除了當前基本流之外的其他基本流是否是分辨率或取樣頻率的顯示標準的標志。“I”代表不同基本流是顯示標準?！癘”代表當前基本流是顯示標準?！皌erminating_current_association_flag” 的 I 位字段指不從隨后訪問單兀(AU =Access Unit)開始基本流的配置是否將發(fā)生變化?！癐”代表從隨后訪問單元開始基本流的配置將發(fā)生變化?！癘”代表隨后訪問單元具有與當前訪問單元相同的基本流的配置。這個標志信息構(gòu)成提前通知信息?！癲isplay_position”的4位字段指示在進行立體(3D)顯示的時候在多視圖觀看中基于包含在當前基本流中的圖像數(shù)據(jù)的視圖是否被顯示成某個視圖，其取O到15范圍內(nèi)值。例如，如圖14所例示，考慮傳輸流包括通過PMT的“Stream_Type=OxlB”發(fā)送的MVC的基本視圖的流、和通過PMT的“Stream_Type=0X20”發(fā)送的MVC的非基本視圖的流的情況的例子。在這種情況下，在基本視圖流中的流聯(lián)系信息中陳述了 “display_position=0”,而在非基本視圖流中的流聯(lián)系信息中陳述了 “display_position=15”。圖15例示了在接收方進行立體(3D)顯示的時候的視圖顯示例子。也就是說，將基于包含在基本視圖流中的圖像數(shù)據(jù)的視圖顯示成顯示位置“O”上的視圖。S卩，將基于包含在非基本視圖流中的圖像數(shù)據(jù)的視圖顯示成顯示位置“ 15”上的視圖。
回到圖12，“associated_ES_id”的4位字段指示與當前基本流相聯(lián)系的基本流的標識符(聯(lián)系標識符)，其取O到15范圍內(nèi)的值?！癲isplay_mandatory_flag”的I位字段指示是否有必要顯示“aSS0Ciated_ES_id”的基本流?！癐”代表有必要顯示相應(yīng)基本流?！癘”代表沒必要顯示相應(yīng)基本流?！皉esolution_master_flag” 的 I 位字段指不 “associated_ES_id” 的基本流是否是分辨率或取樣頻率的顯示標準。“I”代表相應(yīng)基本流是顯示標準。“O”代表相應(yīng)基本流不是顯示標準。圖16 例不了插入 “indication_of_selected_stream_display” 的例子。這個例子是基本視圖基本流包含左眼(L)的圖像數(shù)據(jù)，以及存在分別包含右眼(R)的圖像數(shù)據(jù)和中心(C)的圖像數(shù)據(jù)的兩個非基本視圖基本流的例子。另外,在圖16中，“indication_of_selected_stream_display” 和“display_mandatory_flag” 被分別簡單表達成“ indication_display” 和 “mandatory_flag，，?？紤]除了基本視圖之外還有必要顯示兩個非基本視圖基本流的情況。在這種情 況下，被表達成“indication_of_selected_stream_display=l”,以及為兩個非基本視圖的基本流設(shè)置“display_mandatory_flag=l”。對于這些設(shè)置,有必要顯示的是左眼(L)、右眼(R)和中心(C)的圖像。進一步，還考慮有必要顯示包含右眼(R)的圖像數(shù)據(jù)的非基本視圖的基本流以及基本視圖的當前基本流的情況。在這種情況下，被表達成“indication_of_selected_Stream_diSplay=l”，以及只為包含右眼(R)的圖像數(shù)據(jù)的非基本視圖的基本流設(shè)置“display_mandatory_flag = I”。對于這些設(shè)置,在接收器中有必要顯示的是左眼(L)和右眼(R)的圖像。更進一步，考慮有必要只顯示基本視圖的基本流的情況。在這種情況下，被表達成“indication_of_selected_stream_diSplay=O”。對于該設(shè)置,在接收器中有必要顯示的只是左眼(L)的圖像?！敖邮掌鞯呐渲美印眻D17例示了接收器200的配置例子。接收器200包括CPU210、閃速R0M202、DRAM203、內(nèi)部總線204、遙控接收單元205、和遙控發(fā)送器206。接收器200進一步包括天線終端211、數(shù)字調(diào)諧器212、傳輸流緩沖器(TS緩沖器)213、多路分用器214。接收器200還進一步包括視頻解碼器215、視圖緩沖器216和216-1到216-N、定標器224和224-1到224-N、和視頻疊加單元217和217-1到217-N。接收器200再進一步包括圖形解碼器218、圖形生成單元219、視差信息解碼器220、圖形緩沖器221和221-1到221-N、音頻解碼器222、和頻道處理單元223。CPU210控制接收器200的每個單元的操作。閃速R0M202存儲控制軟件和保存數(shù)據(jù)。DRAM203用作CPU201的工作區(qū)。CPU201在DRAM203上展開從閃速R0M202讀取的軟件和數(shù)據(jù)并啟動軟件，以便控制接收器200的每個單元。遙控接收單元205接收從遙控發(fā)送器206發(fā)送的遙控信號(遙控代碼)，并將它供應(yīng)給CPU210。CPU201根據(jù)遙控代碼控制接收器200的每個單元。CPU201、閃速R0M202、和DRAM203與內(nèi)部總線204連接。天線終端211是輸入經(jīng)由接收天線(未示出)接收的電視廣播信號的終端。數(shù)字調(diào)諧器212處理輸入天線終端211的電視廣播信號，并輸出與用戶選擇頻道相對應(yīng)的預(yù)定傳輸流(位流數(shù)據(jù))TS。傳輸流緩沖器(TS緩沖器)213臨時累積從數(shù)字調(diào)諧器212輸出的傳輸流TS。如上所述，傳輸流TS包括通過將視頻、視差信息、圖形、音頻等的每個基本流分組化而獲得的每個分組。因此，在這種情況下，傳輸流TS包括包含第一圖像數(shù)據(jù)的第一基本流。另外，傳輸流TS包括包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)目的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)目的第二基本流。這里，在只存在包含第一圖像數(shù)據(jù)的第一基本流的情況下，第一圖像數(shù)據(jù)構(gòu)成二維(2D)圖像數(shù)據(jù)。另一方面，當除了包含第一圖像數(shù)據(jù)的第一基本流之外還存在包含第二圖像數(shù)據(jù)的一個或多個第二基本流 時，第一圖像數(shù)據(jù)和預(yù)定數(shù)目的第二圖像數(shù)據(jù)構(gòu)成立體(3D)圖像數(shù)據(jù)。這里，第一圖像數(shù)據(jù)構(gòu)成基本視圖的圖像數(shù)據(jù)，預(yù)定數(shù)目的第二圖像數(shù)據(jù)是非基本視圖的圖像數(shù)據(jù)。如上所述，使用用戶數(shù)據(jù)區(qū)，根據(jù)畫面或GOP將流聯(lián)系信息(參照圖12)插入傳輸流TS的視頻基本流中，也就是說，至少插入包含第一圖像數(shù)據(jù)的第一基本流中。另外，如上所述，將ES_ID描述符(參照圖6)插入傳輸流TS中，例如，PMT的下面。ES_ID描述符代表每個基本流的標識符與每個基本流的分組標識符或成本標記之間的對應(yīng)。流聯(lián)系信息使用標識各自基本流的標識符指示每個基本流之間的聯(lián)系。于是，通過使用ES_ID描述符識別每個基本流在傳輸流層中的登記狀態(tài)與流聯(lián)系信息之間的聯(lián)系。另外，如上所述，將ES_association描述符(參照圖7 (a))插入傳輸流TS,例如，PMT或EIT的下面。ES_association描述符指示流聯(lián)系信息是否已經(jīng)插入基本流中，或插入基本流中的流聯(lián)系信息是否發(fā)生了變化。因此，可以通過ES_aSS0Ciati0n描述符提示參考流聯(lián)系信息。多路分用器214從臨時累積在TS緩沖器213中的傳輸流TS中提取視頻、視差信息、圖形、和音頻的各自基本流。視差信息基本流只有當立體(3D)圖像數(shù)據(jù)的視頻基本流包含在傳輸流TS中時才提取。另外，多路分用器214提取包含在傳輸流TS中的ES_ID描述符和ES_aSS0Ciati0n描述符，并將它們供應(yīng)給CPU201。CPU201使用ES_ID描述符識別每個基本流的標識符與每個基本流的分組標識符或成分標記之間的對應(yīng)。CPU201使用ES_association描述符識別流聯(lián)系信息是否已經(jīng)插入視頻基本流，例如，包含第一圖像數(shù)據(jù)的視頻基本流中，或所述信息是否發(fā)生了變化。視頻解碼器215進行與發(fā)送數(shù)據(jù)生成單元110的視頻編碼器112進行的處理相反的處理。也就是說，視頻解碼器215通過對包含在多路分用器214提取的每個視頻基本流中的編碼圖像數(shù)據(jù)進行解碼處理獲得解碼圖像數(shù)據(jù)。這里，當只存在包含第一圖像數(shù)據(jù)的第一基本流時，視頻解碼器215獲取第一圖像數(shù)據(jù)作為二維(2D)圖像數(shù)據(jù)。另一方面，當除了包含第一圖像數(shù)據(jù)的第一基本流之外還存在包含第二圖像數(shù)據(jù)的一個或多個第二基本流時，視頻解碼器215獲取立體(3D)圖像數(shù)據(jù)。也就是說，獲取第一圖像數(shù)據(jù)作為基本視圖的圖像數(shù)據(jù)，獲取預(yù)定數(shù)目的第二圖像數(shù)據(jù)作為非基本視圖的圖像數(shù)據(jù)。另外，視頻解碼器215從視頻基本流，例如，包含第一圖像數(shù)據(jù)的第一基本流中提取流聯(lián)系信息，并將它供應(yīng)給CPU201。視頻解碼器215在CPU201的控制下進行提取處理。如上所述，因為可以根據(jù)ES_aSS0Ciati0n描述符識別是否存在流聯(lián)系信息或流聯(lián)系信息是否發(fā)生了變化，所以如有必要，CPU201可以使視頻解碼器215進行提取處理。CPU201可以根據(jù)視頻解碼器215提取的流聯(lián)系信息，識別與包含第一圖像數(shù)據(jù)的第一基本流相聯(lián)系的預(yù)定數(shù)目的第二基本流的存在。根據(jù)該識別，CPU201控制多路分用器214，以便與第一基本流一起提取與第一基本流相聯(lián)系的預(yù)定數(shù)目的第二基本流。視圖緩沖器(視頻緩沖器)216在CPU201的控制下臨時累積視頻解碼器215獲取的第一圖像數(shù)據(jù)。第一圖像數(shù)據(jù)是構(gòu)成二維圖像數(shù)據(jù)或立體圖像數(shù)據(jù)的基本視圖的圖像數(shù)據(jù)。另外，視圖緩沖器(視頻緩沖器)216-1到216-N在CPU201的控制下臨時累積視頻解碼器215獲取的構(gòu)成立體圖像數(shù)據(jù)的N個非基本視圖的圖像數(shù)據(jù)。CPU201進行讀取視圖緩沖器216和216-1到216-N的控制。CPU201可以根據(jù)包含在流聯(lián)系信息中的“terminating_current_association_flag”的標志,事先識別從隨后 訪問單元(畫面)開始基本流的配置是否將發(fā)生變化。因此，可以有效地、動態(tài)地改變讀取視圖緩沖器216和216-1到216-N的控制。定標器224和224-1到224-N在CPU201的控制下調(diào)整從視圖緩沖器216和216-1到216-N輸出的每個視圖的圖像數(shù)據(jù)的輸出分辨率。定標器224和224-1到224-N構(gòu)成分辨率調(diào)整器。將經(jīng)過分辨率調(diào)整的每個視圖的圖像數(shù)據(jù)發(fā)送給視頻疊加單元217和217-1到 217-No在這種情況下，CPU201從視頻解碼器215獲取每個視圖的圖像數(shù)據(jù)的分辨率信息。CPU201根據(jù)每個視圖的分辨率信息，進行定標器224和224-1到224-N的濾波設(shè)置處理，以便每個視圖的圖像數(shù)據(jù)的輸出分辨率可以變成目標分辨率。在定標器224和224-1到224-N中，當輸入圖像數(shù)據(jù)的分辨率不同于目標分辨率時，為分辨率轉(zhuǎn)換進行內(nèi)插處理，以便獲得具有目標分辨率的輸出圖像數(shù)據(jù)。CPU201 根據(jù)包含在流聯(lián)系信息中的“resolution_master_f lag” 和“ indication_of_other_resolution_master”的標志設(shè)置目標分辨率。也就是說,將確定為這些標志中的標準分辨率的包含在基本流中的圖像數(shù)據(jù)的分辨率設(shè)置成目標分辨率。圖形解碼器218進行與發(fā)送數(shù)據(jù)生成單元110的圖形編碼器116進行的處理相反的處理。也就是說，圖形解碼器218通過對包含在多路分用器214提取的圖形基本流中的編碼圖形數(shù)據(jù)進行解碼處理獲取解碼圖形數(shù)據(jù)(字幕數(shù)據(jù))。視差信息解碼器220進行與發(fā)送數(shù)據(jù)生成單元110的視差信息編碼器113進行的處理相反的處理。也就是說，視差信息解碼器220對包含在多路分用器214提取的視差信息基本流中的編碼視差彳目息進行解碼處理獲取解碼視差彳目息。視差/[目息是指不基本視圖與每個非基本視圖之間的視差的視差矢量，或深度數(shù)據(jù)?？梢酝ㄟ^預(yù)定轉(zhuǎn)換與視差矢量一樣地對待深度數(shù)據(jù)。視差信息是，例如，基于像素(Pixel)的視差信息，或基于將視圖(圖像)劃分成預(yù)定個區(qū)域獲得的分區(qū)的視差信息等。圖形生成單元219根據(jù)在CPU201的控制下使用圖形解碼器218獲得的圖形數(shù)據(jù)，生成要疊加在圖像上的圖形信息的數(shù)據(jù)。當從視頻解碼器215只輸出二維圖像數(shù)據(jù)(第一圖像數(shù)據(jù))時，圖形生成單元219生成要疊加在二維圖像數(shù)據(jù)上的圖形信息的數(shù)據(jù)。另外，當從視頻解碼器215輸出構(gòu)成立體(3D)圖像數(shù)據(jù)的每個視圖的圖像數(shù)據(jù)時，圖形生成單元219生成要疊加在每個視圖的圖像數(shù)據(jù)上的圖形信息的數(shù)據(jù)。
圖形緩沖器221累積要疊加在第一圖像數(shù)據(jù)上、圖形生成單元219在CPU201的控制下生成的圖形信息的數(shù)據(jù)。第一圖像數(shù)據(jù)是構(gòu)成二維圖像數(shù)據(jù)或立體圖像數(shù)據(jù)的基本視圖的圖像數(shù)據(jù)。另外，圖形緩沖器221-1到221-N累積要疊加在N個非基本視圖的圖像數(shù)據(jù)上、圖形生成單元219生成的圖形信息的數(shù)據(jù)。視頻疊加單元(顯示緩沖器)217在CPU201的控制下輸出已經(jīng)疊加了圖形信息的第一圖像數(shù)據(jù)。第一圖像數(shù)據(jù)是構(gòu)成二維圖像數(shù)據(jù)SV或立體圖像數(shù)據(jù)的基本視圖的圖像數(shù)據(jù)BN。此刻，視頻疊加單元217將累積在圖形緩沖器221中的圖形信息的數(shù)據(jù)疊加在經(jīng)過定標器224分辨率調(diào)整的第一圖像數(shù)據(jù)上。另外，視頻疊加單元(顯示緩沖器)217-1到217-N在CPU201的控制下輸出已經(jīng)疊加了圖形信息的N個非基本視圖的圖像數(shù)據(jù)NB-1到NB-N。此刻，視頻疊加單元217-1到217-N將累積在圖形緩沖器221-1到221-N中的圖形信息的數(shù)據(jù)分別疊加在經(jīng)過定標器224-1到224-N分辨率調(diào)整的基本視圖的圖像數(shù)據(jù)上。
另外，當如上所述，從視頻解碼器215輸出構(gòu)成立體(3D)圖像數(shù)據(jù)的每個視圖的圖像數(shù)據(jù)時，基本上，從視頻疊加單元217和217-1到217-N分別輸出多段圖像數(shù)據(jù)。但是，按照用戶的選擇操作，CPU201控制非基本視圖的圖像數(shù)據(jù)的輸出。但是，CPU201進行控制，以便保證與用戶的選擇操作無關(guān)地輸出有必要顯示的非基本視圖的圖像數(shù)據(jù)。CPU201可以根據(jù)包含在流聯(lián)系信息中的“display_mandatory_flag”和“ indication_of_selected_stream_display”中的標志，識別有必要顯不的非基本視圖的圖像數(shù)據(jù)。例如，考慮將包含右眼圖像數(shù)據(jù)的非基本視圖的視頻基本流與包含左眼圖像數(shù)據(jù)的基本視圖的視頻基本流相聯(lián)系的情況。在這種情況下，當“indication_of_selected_stream_display 是“I” 時以及當非基本視圖的 “display_mandatory_flag” 是“I” 時，與用戶的選擇操作無關(guān)地輸出左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)兩者作為顯示圖像數(shù)據(jù)。另一方面，當“ indication_of_selected_stream_display是“O”時,按照用戶的選擇操作只輸出左眼圖像數(shù)據(jù)或輸出左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)兩者作為顯示圖像數(shù)據(jù)。音頻解碼器222進行與發(fā)送數(shù)據(jù)生成單元110的音頻編碼器114進行的處理相反的處理。也就是說，音頻解碼器222通過對包含在多路分用器214提取的音頻基本流中的編碼語音數(shù)據(jù)進行解碼處理獲得解碼語音數(shù)據(jù)。頻道處理單元223利用音頻解碼器222獲得的語音數(shù)據(jù)，為實現(xiàn)，例如，5.1ch環(huán)繞等生成和輸出每個頻道的語音數(shù)據(jù)SA。下面簡要描述接收器200的操作。將輸入天線終端211的電視廣播信號供應(yīng)給數(shù)字調(diào)諧器212。在數(shù)字調(diào)諧器212中，處理電視廣播信號，并輸出與用戶所選頻道相對應(yīng)的預(yù)定傳輸流TS。在TS緩沖器213中臨時累積這個傳輸流TS。在多路分用器214中，從臨時累積在TS緩沖器213中的傳輸流TS中提取視頻、視差信息、圖形、和音頻的每個基本流。視差信息基本流只有當立體(3D)圖像數(shù)據(jù)的視頻基本流包含在傳輸流TS中時才提取。另外，在多路分用器214中，提取包含在傳輸流TS中的ES_ID描述符和ES_association描述符，然后將它們供應(yīng)給CPU201。在CPU201中，參考ES_ID描述符識別每個基本流的標識符與每個基本流的分組標識符或成分標記之間的對應(yīng)。另外，在CPU201中，參考ES_aSS0Ciati0n描述符識別流聯(lián)系信息是否已經(jīng)插入視頻基本流，例如，包含第一圖像數(shù)據(jù)的視頻基本流中，或流聯(lián)系信息是否發(fā)生了變化。也就是說，在視頻解碼器215中，對包含在多路分用器214提取的每個視頻基本流中的編碼圖像數(shù)據(jù)進行解碼處理，以便獲得解碼圖像數(shù)據(jù)。這里，當只存在包含第一圖像數(shù)據(jù)的第一基本流時，在視頻解碼器215中，獲取第一圖像數(shù)據(jù)作為二維(2D)圖像數(shù)據(jù)。另夕卜，當除了包含第一圖像數(shù)據(jù)的第一基本流之外還存在包含第二圖像數(shù)據(jù)的一個或多個第二基本流時，在視頻解碼器215中，獲取立體(3D)圖像數(shù)據(jù)。也就是說，獲取第一圖像數(shù)據(jù)作為基本視圖的圖像數(shù)據(jù)，獲取預(yù)定數(shù)目的第二圖像數(shù)據(jù)作為非基本視圖的圖像數(shù)據(jù)。另外，在視頻解碼器215中，從視頻基本流，例如，包含第一圖像數(shù)據(jù)的第一基本流中提取流聯(lián)系信息，并將它供應(yīng)給CPU201。在視頻解碼器215中，提取處理是在CPU201的控制下進行的。如上所述，因為可以根據(jù)ES_aSS0Ciati0n描述符識別是否存在流聯(lián)系信息或流聯(lián)系信息是否發(fā)生了變化，所以如有必要，CPU201可以使視頻解碼器215進行提取處理。
在CPU201中，參考視頻解碼器215提取的流聯(lián)系信息識別與包含第一圖像數(shù)據(jù)的第一基本流相聯(lián)系的預(yù)定數(shù)目的第二基本流的存在。在CPU201中，根據(jù)該識別控制多路分用器214，以便與第一基本流一起提取與第一基本流相聯(lián)系的預(yù)定數(shù)目的第二基本流。在視圖緩沖器(視頻緩沖器)216中，在CPU201的控制下臨時累積視頻解碼器215獲取的第一圖像數(shù)據(jù)。第一圖像數(shù)據(jù)是構(gòu)成二維圖像數(shù)據(jù)或立體圖像數(shù)據(jù)的基本視圖的圖像數(shù)據(jù)。另外，在視圖緩沖器(視頻緩沖器)216-1到216-N中，在CPU201的控制下臨時累積視頻解碼器215獲取的構(gòu)成立體圖像數(shù)據(jù)的N個非基本視圖的圖像數(shù)據(jù)。在CPU201中，進行讀取視圖緩沖器216和216-1到216-N的控制。在CPU201中，參考包含在流聯(lián)系信息中的“terminating_current_association_flag”的標志事先識別從隨后訪問單元(畫面)開始基本流的配置是否將發(fā)生變化。因此，可以有效地、動態(tài)地改變讀取視圖緩沖器216和216-1到216-N的控制。在定標器224和224-1到224-N中，在CPU201的控制下調(diào)整從視圖緩沖器216和216-1到216-N輸出的每個視圖的圖像數(shù)據(jù)的輸出分辨率，以便輸出分辨率與預(yù)定分辨率匹配。于是，將經(jīng)過分辨率調(diào)整的每個視圖的圖像數(shù)據(jù)發(fā)送給視頻疊加單元217和217-1到217-N。在這種情況下，在CPU201中，從視頻解碼器215獲取每個視圖的圖像數(shù)據(jù)的分辨
率信息。隨后，在CPU201中，根據(jù)每個視圖的分辨率信息，進行定標器224和224_1到224-N的濾波設(shè)置處理，以便每個視圖的圖像數(shù)據(jù)的輸出分辨率可以與目標分辨率匹配。因此，在定標器224和224-1到224-N中，當輸入圖像數(shù)據(jù)的分辨率不同于目標分辨率時，為分辨率轉(zhuǎn)換進行內(nèi)插處理，以便獲得具有目標分辨率的輸出圖像數(shù)據(jù)。在CPU201中，根據(jù)包含在流聯(lián)系信息中的“resolution_master_flag”和“indication_of_other_resolution_master”的標志設(shè)置目標分辨率。在這種情況下，將通過這些標志確定為標準分辨率的包含在基本流中的圖像數(shù)據(jù)的分辨率設(shè)置成目標分辨率。在圖形解碼器218中，對包含在多路分用器214提取的圖形基本流中的編碼圖形數(shù)據(jù)進行解碼處理，以便獲取解碼圖形數(shù)據(jù)(包括字幕數(shù)據(jù))。此外，在視差信息解碼器220中，對包含在多路分用器214提取的視差信息基本流中的編碼視差信息進行解碼處理，以便獲取解碼視差信息。視差信息是指示基本視圖與每個非基本視圖之間的視差的視差矢量，或深度數(shù)據(jù)?？梢酝ㄟ^預(yù)定轉(zhuǎn)換與視差矢量一樣地對待深度數(shù)據(jù)。在圖形生成單元219中，根據(jù)圖形解碼器218獲得的圖形數(shù)據(jù)，生成要疊加在圖像上的圖形信息的數(shù)據(jù)。在圖形生成單元219中，當從視頻解碼器215只輸出二維圖像數(shù)據(jù)(第一圖像數(shù)據(jù))時，生成要疊加在二維圖像數(shù)據(jù)上的圖形信息的數(shù)據(jù)。另外，在圖形生成單元219中，當從視頻解碼器215輸出構(gòu)成立體(3D)圖像數(shù)據(jù)的每個視圖的圖像數(shù)據(jù)時，生成要疊加在每個視圖的圖像數(shù)據(jù)上的圖形信息的數(shù)據(jù)。在圖形緩沖器221中，累積要疊加在第一圖像數(shù)據(jù)上、圖形生成單元219生成的圖形信息的數(shù)據(jù)。第一圖像數(shù)據(jù)是構(gòu)成二維圖像數(shù)據(jù)或立體圖像數(shù)據(jù)的基本視圖的圖像數(shù)據(jù)。另外，在圖形緩沖器221-1到221-N中，累積要疊加在N個非基本視圖的圖像數(shù)據(jù)上、圖形生成單元219生成的圖形信息的數(shù)據(jù)。在視頻疊加單元(顯示緩沖器)217中，將累積在圖形緩沖器221中的圖形信息的數(shù)據(jù)疊加在經(jīng)過定標器224分辨率調(diào)整的第一圖像數(shù)據(jù)上。然后，從視頻疊加單元217輸出已經(jīng)疊加了圖形信息的第一圖像數(shù)據(jù)。第一圖像數(shù)據(jù)是構(gòu)成二維圖像數(shù)據(jù)SV或立體圖像數(shù)據(jù)的基本視圖的圖像數(shù)據(jù)BN。另外，在視頻疊加單元217-1到217-N中，將累積在圖形緩沖器221-1到221-N中的圖形信息的數(shù)據(jù)分別疊加在經(jīng)過定標器224-1到224-N分辨率調(diào)整的基本視圖的圖像數(shù)據(jù)上。然后，從視頻疊加單元217-1到217-N輸出已經(jīng)疊加了圖形信息的N個非基本視圖的圖像數(shù)據(jù)NB-1到NB-N。在音頻解碼器222中，對包含在多路分用器214提取的音頻基本流中的編碼語音數(shù)據(jù)進行解碼處理，以便獲得解碼語音數(shù)據(jù)。在頻道處理單元223中，處理音頻解碼器222獲得的語音數(shù)據(jù)，以便生成和輸出實現(xiàn)，例如，5.1ch環(huán)繞等的每個頻道的語音數(shù)據(jù)SA。如上所述，在例示在圖1中的圖像發(fā)送/接收系統(tǒng)10中，將示出每個基本流之間的聯(lián)系的流聯(lián)系信息插入包括在從廣播臺100發(fā)送到接收器200的傳輸流TS中的基本流中(參照圖12)。流聯(lián)系信息示出包含第一圖像數(shù)據(jù)(二維圖像數(shù)據(jù)或基本視圖的圖像數(shù)據(jù))的第一基本流與包含預(yù)定數(shù)目的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的第二基本流之間的聯(lián)系。因 此，在接收器200中，根據(jù)流聯(lián)系信息，可以正確地響應(yīng)基本流的配置中的動態(tài)變化，即，分配內(nèi)容中的動態(tài)變化，并進行正確流接收。圖18例示了在傳輸流TS中以連續(xù)方式包含“PID=01”和“Stream_Type=OxlB”的MVC的基本視圖的流ESl，和在傳輸流TS中以斷續(xù)方式包含“PID=11 ”和“Stream_Type=0X20”的MVC的非基本視圖的流ES2的例子。在這種情況下，將流聯(lián)系信息插入流ESl中。另外，假設(shè)流ESl的ES_id標識符是0，而流ES2的ES_id標識符是I。在tn-Ι和tn+Ι的時段期間流ES2和流ESl共存。因此，因為在流聯(lián)系信息中陳述了 “Stream_count_for_association=l”,所以可以明白存在一個與流ESl相聯(lián)系的流，以及該流的ES_id標識符是I。也就是說，在流聯(lián)系彳目息中，流ESl和流ES2是相互聯(lián)系的。因此，提取和解碼流ESl和ES2兩者，以便輸出基本視圖的圖像數(shù)據(jù)，例如，左眼的圖像數(shù)據(jù)、和非基本視圖的圖像數(shù)據(jù)，例如，右眼的圖像數(shù)據(jù)作為顯示圖像數(shù)據(jù)，并進行立體(3D)顯不O另外，在tn的時段期間只存在流ESI。因此，因為在流聯(lián)系信息中陳述了“Stream_count_for_association=0”，所以可以明白不存在與流ESl相聯(lián)系的流。因此，只提取和解碼流ES1，以便輸出它作為二維圖像數(shù)據(jù)，其結(jié)果是，進行二維(2D)顯示。圖19例示了在傳輸流TS中以連續(xù)方式包含“PID=01”和“Stream_Type=0x02”的MPEG2視頻流ESl，和在傳輸流TS中以斷續(xù)方式包含“PID=11”和“Stream_Type=0x20”的MPEG2視頻流ES2的例子。在這種情況下，將流聯(lián)系信息插入流ESl中。另外，假設(shè)流ESl的ES_id標識符是0，而流ES2的ES_id標識符是I。在tn-Ι和tn+Ι的時段期間流ES2和流ESl共存。因此，因為在流聯(lián)系信息中陳述了 “Stream_count_for_association=l”,所以可以明白存在一個與流ESl相聯(lián)系的流，以及該流的ES_id標識符是I。也就是說，在流聯(lián)系彳目息中，流ESl和流ES2是相互聯(lián)系的。因此，提取和解碼流ESl和ES2兩者，以便輸出第一圖像數(shù)據(jù)，例如，左眼的圖像數(shù)據(jù)、和第二圖像數(shù)據(jù)，例如，右眼的圖像數(shù)據(jù)作為顯示圖像數(shù)據(jù)，并進行立體(3D)顯示。另外，在tn的時段期間只存在流ESI。因此，因為在流聯(lián)系信息中陳述了“Stream_ count_for_association=0”，所以可以明白不存在與流ESl相聯(lián)系的流。于是，只提取和解碼流ES I，以便輸出二維圖像數(shù)據(jù)，并進行二維(2D )顯示。圖20例示了在傳輸流TS中以連續(xù)方式包含“PID=01”和“Stream_Type=0x02”的MPEG2視頻流ESl，和在傳輸流TS中以斷續(xù)方式包含“PID=11”和“Stream_Type=OxlB”的AVC的流ES2的例子。在這種情況下，將流聯(lián)系信息插入流ESl中。另外，假設(shè)流ESl的ES_id標識符是O,而流ES2的ES_id標識符是I。在tn-Ι和tn+Ι的時段期間流ES2和流ESl共存。因此，因為在流聯(lián)系信息中陳述了 “Stream_count_for_association=l”,所以可以明白存在一個與流ESl相聯(lián)系的流，以及該流的ES_id標識符是I。也就是說，在流聯(lián)系彳目息中，流ESl和流ES2是相互聯(lián)系的。因此，提取和解碼流ESl和ES2兩者，以便輸出第一圖像數(shù)據(jù)，例如，左眼的圖像數(shù)據(jù)、和第二圖像數(shù)據(jù)，例如，右眼的圖像數(shù)據(jù)作為顯示圖像數(shù)據(jù)，并進行立體(3D)顯示。另外，在tn的時段期間只存在流ESI。因此，因為在流聯(lián)系信息中陳述了“Stream_count_for_association=0”，所以可以明白不存在與流ESl相聯(lián)系的流。于是，只提取和解碼流ES I，以便輸出二維圖像數(shù)據(jù)，并進行二維(2D )顯示。此外，在例示在圖1中的圖像發(fā)送/接收系統(tǒng)10中，在插入基本流中的流聯(lián)系信息中包含規(guī)定是否有必要顯示預(yù)定數(shù)目的第二圖像數(shù)據(jù)的每一個的控制信息。也就是說，在流聯(lián)系信息中包含“indication_of_selected_stream_display” 和 “display—mandatory_flag”(參照圖12)。因此，在接收器200中，根據(jù)控制信息，可以知道有必要顯示預(yù)定數(shù)目的第二圖像數(shù)據(jù)的哪個數(shù)據(jù)，以及可以限制用戶對圖像顯示狀態(tài)的選擇。圖21例示了在傳輸流TS中以連續(xù)方式包含“PID=01”和“Stream_Type=OxlB”的MVC的基本視圖的流ES I，和在傳輸流TS中也以連續(xù)方式包含“ P ID=11”和“ Str eam_Type=0X20”的MVC的非基本視圖的流ES2的例子。在這種情況下，將流聯(lián)系信息插入流ESl中。另外，假設(shè)流ESl的ES_id標識符是0，而流ES2的ES_id標識符是I。在tn-Ι和tn+Ι的時段期間流ES2和流ESl共存。因此，因為在流聯(lián)系信息中陳述了 “Stream_count_for_association=l”,所以可以明白存在一個與流ESl相聯(lián)系的流，以及該流的ES_id標識符是I。也就是說，在流聯(lián)系彳目息中，流ESl和流ES2是相互聯(lián)系的。在這個時段中，參照流聯(lián)系信息中的“indication_of_selected_stream_display=l”，可以明白除了本身之外，還存在有必要顯示的另一個流。此外，在流的ES_id標識符被設(shè)置成I的流中，因為在流聯(lián)系信息中陳述了 “display_mandatory_flag=l”，所以可以明白有必要顯示流ES2。另外，在圖21中，“indication_of_selected_stream_display=l ” 被簡寫成 “Selected_display”。因此，在這個時段期間，提取和解碼流ESl和ES2兩者，以便輸出基本視圖的圖像數(shù)據(jù)，例如，左眼的圖像數(shù)據(jù)、和非基本視圖的圖像數(shù)據(jù)，例如，右眼的圖像數(shù)據(jù)作為顯示圖像數(shù)據(jù)，并進行立體(3D )顯示。另外，甚至在tn的時段期間，流ESl和流ES2也與tn_l的時段一樣共存。因此，因為在流聯(lián)系信息中陳述了 “Stream_count_for_association=l”,所以可以明白存在一個與流ESl相聯(lián)系的流，以及該流的ES_id標識符是I。也就是說，在流聯(lián)系信息中，流ESl和流ES2是相互聯(lián)系的。在這個時段中，參照流聯(lián)系信息中的“indication_of_selected_stream_display=0”，可以明白除了該流本身之外沒有其他有必要顯示的流。此外，在在流聯(lián)系信息中流的ES_id標識符被設(shè)置成I的流中，參照“display_mandatory_flag=0”可以明白未必顯示流ES2。因此，在這個時段期間提取和解碼流ESl和ES2兩者。在這種情況下，因為未必顯示流ES2，所以按照用戶的選擇操作，除了立體(3D)顯示之外，還允許二維(2D)顯示。在立體(3D)顯示的情況下，輸出基本視圖的圖像數(shù)據(jù)，例如，左眼的圖像數(shù)據(jù)、和非基本視圖的圖像數(shù)據(jù)，例如，右眼的圖像數(shù)據(jù)作為顯示圖像數(shù)據(jù)。另一方面，在二維(2D)顯示的情況下，只輸出基本視圖的圖像數(shù)據(jù)作為顯示圖像數(shù)據(jù)。在例示在圖1中的圖像發(fā)送/接收系統(tǒng)10中，在每個基本流之間的聯(lián)系實際發(fā)生變化之前告知將發(fā)生變化的提前通知信息被包括在插入基本流中的流聯(lián)系信息中。也就是說，在流聯(lián)系信息中包含了 “terminating_current_association_flag”(參照圖 12)。由于這個原因，在接收器200中，可以根據(jù)提前通知信息有效地、動態(tài)地改變讀取解碼器緩沖器的控制。圖22例示了在傳輸流TS中以連續(xù)方式包含“PID=01”和“Stream_Type=OxlB”的MVC的基本視圖的流ESl，和在傳輸流TS中以斷續(xù)方式包含“PID=11 ”和“Stream_Type=0X20”的MVC的非基本視圖的流ES2的例子。在這種情況下，將流聯(lián)系信息插入流ESl中。另外，假設(shè)流ESl的ES_id標識符是0，而流ES2的ES_id標識符是I。在tn-Ι的時段期間流ES2和流ESl共存。因此，因為在流聯(lián)系信息中陳述了“Stream_count_for_association=l”,所以可以明白存在一個與流ESl相聯(lián)系的流，以及該流的ES_id標識符是I。也就是說，在流聯(lián)系信息中，流ESl和流ES2是 相互聯(lián)系的。因此，提取和解碼流ESl和ES2兩者，以便輸出基本視圖的圖像數(shù)據(jù)，例如，左眼的圖像數(shù)據(jù)、和非基本視圖的圖像數(shù)據(jù)，例如，右眼的圖像數(shù)據(jù)作為顯示圖像數(shù)據(jù)，并進行立體(3D)顯
/Jn ο參照在安排在tn-Ι的時段內(nèi)的最后訪問單元中的流聯(lián)系信息中找到的“terminating—current—association—fIag=I”，可以明白從隨后訪問單元開始基本流的配置將發(fā)生變化。另外，在圖22中，“terminating—current—association—flag”被簡寫成“Terminating—fig，，。
另外，在接在tn-Ι的時段之后的tn的時段期間只存在流ESI。因此，因為在流聯(lián)系信息中陳述了 “Stream_count_for_association=0”,所以可以明白不存在與流ESl相聯(lián)系的流。因此，只提取和解碼流ES1，以便輸出它作為二維圖像數(shù)據(jù)，其結(jié)果是，進行二維(2D)顯不O參照在安排在tn的時段內(nèi)的最后訪問單元中的流聯(lián)系信息中找到的“terminating_current_association_f Iag=I ”,可以明白從隨后訪問單元開始基本流的配
置將發(fā)生變化。更進一步，在接在tn的時段之后的tn+Ι的時段期間，保持了與tn_l的時段相同的狀態(tài)。這個時段的流聯(lián)系信息的內(nèi)容 與tn-Ι的時段相同。因此，提取和解碼流ESl和ES2兩者，以便輸出基本視圖的圖像數(shù)據(jù)，例如，左眼的圖像數(shù)據(jù)、和非基本視圖的圖像數(shù)據(jù)，例如，右眼的圖像數(shù)據(jù)作為顯示圖像數(shù)據(jù)，并進行立體(3D)顯示。在例示在圖1中的圖像發(fā)送/接收系統(tǒng)10中，根據(jù)畫面或GOP將流聯(lián)系信息插入基本流中。由于這個原因，在接收器200中，可以根據(jù)畫面或GOP管理基本流的配置，例如，立體圖像數(shù)據(jù)的視圖數(shù)目的變化。另外，在例示在圖1中的圖像發(fā)送/接收系統(tǒng)10中，在從廣播臺100發(fā)送到接收器200的傳輸流TS中，插入了指示流聯(lián)系信息是否插入基本流中，或插入基本流中的流聯(lián)系信息是否發(fā)生了變化的描述符。也就是說，將ES_aSS0Ciati0n描述符插入傳輸流TS中。參照這個ES_aSS0Ciati0n描述符，可以提示參考插入基本流中的流聯(lián)系信息，并且可以在接收器200中進行穩(wěn)定的接收操作。此外，在例示在圖1中的圖像發(fā)送/接收系統(tǒng)10中，在插入基本流中的流聯(lián)系信息中包含了有關(guān)第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的輸出分辨率的控制信息。也就是說，在流聯(lián)系信息中包含了 “ indication_of_other_resolution_master” 和 “resolution_master_flag”。由于這個原因，在接收器200中，根據(jù)該控制信息，可以將第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的輸出分辨率調(diào)整成與顯示標準的分辨率匹配。另外，上面的描述是結(jié)合將流聯(lián)系信息只插入包含第一圖像數(shù)據(jù)(二維圖像數(shù)據(jù)或基本視圖的圖像數(shù)據(jù))的第一基本流中的例子作出的(參考圖18等)。但是，可以進一步考慮將流聯(lián)系信息也插入包含第二圖像數(shù)據(jù)(非基本視圖的圖像數(shù)據(jù))的第二基本流中的配置。圖23例示了在傳輸流TS中包含“PID=01”和“Stream_Type=OxlB”的MVC的基本視圖的流ES1，和在傳輸流TS中包含“PID=11”、“PID=21”和“Stream_Type=0x20”的MVC的非基本視圖的流ES2和ES3的例子。在這種情況下，將流聯(lián)系信息不僅插入流ESl中而且插入流ES2和ES3中。另外，假設(shè)流ESl的ES_id標識符是0，流ES2的ES_id標識符是1，和流ES3的ES_id標識符是2。因此，因為在插入流ESl中的流聯(lián)系信息中陳述了 “Stream_count_for_aSS0Ciati0n=2”，所以可以明白存在兩個與流ESl相聯(lián)系的流，以及該流的ES_id標識符是I和2。因為在插入流ES2中的流聯(lián)系信息中陳述了“Stream_count_for_association=l”，所以可以明白存在一個與流ES2相聯(lián)系的流，以及該流的ES_id標識符是O。另外，因為在插入流ES3中的流聯(lián)系信息中陳述了 “Stream_count_for_association=l”,所以可以明白存在一個與流ES3相聯(lián)系的流，以及該流的ES_id標識符是O。
因為在tn-Ι和tn+Ι的時段內(nèi)在插入流ESl中的流聯(lián)系信息中陳述了“indication_of_selected_stream_display=l”，所以可以明白除了本身之外還存在有必要顯示的另一個流。此外，在流的ES_id標識符是I和2的流中，因為陳述了 “display_mandatory_f Iag=I ”,所以可以明白有必要顯示流ES2和ES3兩者。另外，因為在tn的時段內(nèi)在插入流ESl中的流聯(lián)系信息中陳述了 “indication_of_selected_stream_display=0”,所以可以明白除了相應(yīng)流本身之外不存在有必要顯示的流。此外，在流的ES_id標識符是I和2的流中，因為陳述了 “display_mandatory_flag=0”，所以可以明白未必顯示流ES2和ES3兩者。與圖23 —樣，圖24例示了在傳輸流TS中包含“PID=01”和“Stream_Type=OxlB”的MVC的基本視圖的流ES1，和在傳輸流TS中包含“PID=11”、“PID=21”和“Stream_Type=0X20”的MVC的非基本視圖的流ES2和ES3的例子。在這種情況下，將流聯(lián)系信息不僅插入流ESl中而且插入流ES2和ES3中。另外，假設(shè)流ESl的ES_id標識符是0，流ES2的ES_id標識符是1，和流ES3的ES_id標識符是2。 因此，因為在插入流ESl中的流聯(lián)系信息中陳述了 “Stream_count_for_aSS0Ciati0n=2”，所以可以明白存在兩個與流ESl相聯(lián)系的流，以及該流的ES_id標識符是I和2。因為在插入流ES2中的流聯(lián)系信息中陳述了“Stream_count_for_association=2”，所以可以明白存在兩個與流ES2相聯(lián)系的流，以及該流的ES_id標識符是O和2。另外，因為在插入流ES3中的流聯(lián)系信息中陳述了 “Stream_count_for_association=2”,所以可以明白存在兩個與流ES3相聯(lián)系的流，以及該流的ES_id標識符是O和I。因為在tn-Ι和tn的時段內(nèi)在插入流ESl中的流聯(lián)系信息中陳述了“indication_of_selected_stream_display=l”,所以可以明白除了相應(yīng)流本身之外還存在有必要顯示的另一個流。此外，在流的ES_id標識符是I和2的流中，因為陳述了“display_mandatory_flag=l”，所以可以明白有必要顯示流ES2和ES3兩者。因為在tn-Ι和tn的時段內(nèi)在插入流ES2中的流聯(lián)系信息中陳述了“indication_of_selected_stream_display=l”,所以可以明白除了相應(yīng)流本身之外還存在有必要顯示的其他流。另外，在流的ES_id標識符是O和2的流中，因為陳述了 “display_mandatory_flag=l”，所以可以明白有必要顯示流ESl和ES3兩者。另外，因為在tn-Ι和tn的時段內(nèi)在插入流ES3中的流聯(lián)系信息中陳述了“indication_of_selected_stream_display=l”,所以可以明白除了相應(yīng)流本身之外還存在有必要顯示的其他流。另外，在流的ES_id標識符是O和I的流中，因為陳述了“displaymandatory_f Iag=I ”,所以可以明白有必要顯示流ESl和ES2兩者。另外，因為在tn的時段內(nèi)在插入流ESl中的流聯(lián)系信息中陳述了 “indication_of_selected_stream_display=0”,所以可以明白除了相應(yīng)流本身之外不存在有必要顯示的流。此外，在流的ES_id標識符是I和2的流中，因為陳述了 “display_mandatory_flag=0”，所以可以明白未必顯示流ES2和ES3兩者。另外，因為在tn的時段內(nèi)在插入流ES2和ES3中的流聯(lián)系信息中陳述了“indication_of_selected_stream_display=0”,所以可以明白除了相應(yīng)流本身之外不存在有必要顯示的其他流。但是，如上所述，因為在插入流ESl中的流聯(lián)系信息中陳述了“ indication_of_selected_stream_display=0”,所以可以明白除了相應(yīng)流本身之外不存在有必要顯示的其他流。因此，忽略插入流ES2和ES3中的流聯(lián)系信息中的信息“有必要顯示”。
<2.修改例 >在上述實施例中，作為圖像數(shù)據(jù)的編碼系統(tǒng)，展示了 MPEG4-AVC和MPEG2視頻的編碼。但是，要對圖像數(shù)據(jù)進行的編碼不局限于這些。另外，上述實施例展示了主要利用流聯(lián)系信息使基本視圖的流和非基本視圖的流相互聯(lián)系的例子。但是，可以考慮將，例如，與基本視圖的圖像數(shù)據(jù)相聯(lián)系的元數(shù)據(jù)與流聯(lián)系信息相聯(lián)系的情況。作為元數(shù)據(jù)，例如，可以考慮視差信息(視差矢量或深度數(shù)據(jù))等。圖25例示了在傳輸流TS中包含“PID=01”和“Stream_Type=OxlB”的MVC的基本視圖的流ES1，在傳輸流TS中包含“PID=11”和“Stream_Type=0X20”的MVC的非基本視圖的流ES2，以及進一步在傳輸流TS中包含“PID=21”和“Stream_Type=OxAB”的元數(shù)據(jù)流ES3的例子。另外，假設(shè)流ESl的ES_id標識符是0，流ES2的ES_id標識符是1，和流ES3的ES_id標識符是2。因此，因為在插入流ESl中的流聯(lián)系信息中陳述了 “Stream_count_for_aSS0Ciati0n=2”，所以可以明白存在兩個與流ESl相聯(lián)系的流，以及該流的ES_id標識符是I和2。在本例中，將流聯(lián)系信息插入流ES2和ES3中。因為在tn-Ι和tn+Ι的時段內(nèi)在插入流ESl中的流聯(lián)系信息中陳述了“ indication_of_selected_stream_display=l ”，所以可以明白除了本身之外還存在有必要顯示的另一個流。此外，在流的ES_id標識符是I的流中，因為陳述了 “display_mandatory_flag=l”,所以可以明白有必要顯示流ES2。另外，因為在tn的時段內(nèi)在插入流ESl 中的流聯(lián)系信息中陳述了 “ indication_of_selected_stream_display=0”,所以可以明白除了相應(yīng)流本身之外不存在有必要顯示的其他流。圖26示出了配有后處理單元的接收器200A的配置例子。在圖26中，與圖17相對應(yīng)的部分用相同標號表示，并不再重復(fù)它們的詳細描述。另外，在接收器200A中，未配備定標器224和224-1到224-N。接收器200A包括CPU210、閃速R0M202、DRAM203、內(nèi)部總線204、遙控接收單元205、和遙控發(fā)送器206。接收器200A進一步包括天線終端211、數(shù)字調(diào)諧器212、傳輸流緩沖器(TS緩沖器)213、和多路分用器214。接收器200A還進一步包括視頻解碼器215、視圖緩沖器216和216_1到216-N、視頻疊加單元217和217-1到217-N、元數(shù)據(jù)緩沖器225、和后處理單元226。接收器200A再進一步包括圖形解碼器218、圖形生成單元219、視差信息解碼器220、圖形緩沖器221和221-1到221-N、音頻解碼器222、和頻道處理單元223。元數(shù)據(jù)緩沖器225臨時累積視頻解碼器215獲取的每個像素(pixel)的視差信息。另外，當視差信息是基于像素(Pixel)的視差信息時，可以與像素數(shù)據(jù)一樣地對待視差信息。當視頻解碼器215獲取基于像素(pixel)的視差信息時，通過與圖像數(shù)據(jù)的編碼系統(tǒng)相同的模式進行視差息的編碼，以便生成視差息基本流。后處理單元226使用累積在元數(shù)據(jù)緩沖器225中的基于像素(pixel)的視差信息對從視圖緩沖器216和216-1到216-N輸出的每個視圖的圖像數(shù)據(jù)進行內(nèi)插處理(后處理)，以獲得預(yù)定數(shù)目的視圖的顯示數(shù)據(jù)Display View I到Display View P。盡管未詳細描述例示在圖26中的接收器200A中的其他元件，但其他部分以與例示在圖17中的接收器200相同的方式配置和操作。另外，上述實施例展示了通過流聯(lián)系信息將用于立體(3D)顯示的包含基本視圖和非基本視圖的圖像數(shù)據(jù)的多個基本流相互聯(lián)系的例子。但是，本技術(shù)也可應(yīng)用于SVC流。SVC流包含構(gòu)成可伸縮編碼圖像數(shù)據(jù)的最下層的編碼圖像數(shù)據(jù)的視頻基本流。此夕卜，SVC流進一步包含除了構(gòu)成可伸縮編碼圖像數(shù)據(jù)的最下層之外的預(yù)定數(shù)目的上層的編碼圖像數(shù)據(jù)的預(yù)定數(shù)目的視頻基本流。通過將像上述流聯(lián)系信息那樣的信息插入SVC流中，在接收方，可以正確地響應(yīng)SVC流的動態(tài)變化，即，分配內(nèi)容的動態(tài)變化，并進行正確流接收。盡管上述實施例展示了在廣播電波上攜帶傳輸流TS以便加以分配的例子，但本發(fā)明也可應(yīng)用于在像互聯(lián)網(wǎng)等那樣的網(wǎng)絡(luò)上分配傳輸流TS的情況。另一方面，理所當然，上述聯(lián)系數(shù)據(jù)的配置也可應(yīng)用于以非傳輸流TS的容器文件格式在互聯(lián)網(wǎng)上分配數(shù)據(jù)的情況。 本技術(shù)可以采取如下配置(I) 一種圖像數(shù)據(jù)發(fā)送設(shè)備，其包括編碼單元，用于生成包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)目的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)目的第二基本流；以及發(fā)送單元，用于發(fā)送包括通過將所述編碼單元生成的每個基本流分組化而獲得的每個分組的傳輸流，所述編碼單元將指示基本流之間的聯(lián)系的流聯(lián)系信息至少插入第一基本流中。(2)按照項目(I)所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中流聯(lián)系信息包含在實際發(fā)生變化之前通知每個基本流之間的聯(lián)系將發(fā)生變化的提前通知信息。(3)按照項目(I)或項目(2)所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述編碼單元根據(jù)像素或GOP將流聯(lián)系信息插入基本流中。(4)按照項目(I)到項目(3)的任何一項所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中流聯(lián)系信息使用標識各自基本流的標識符指示每個基本流之間的聯(lián)系。(5)按照項目(4)所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述發(fā)送單元將描述符插入傳輸流中，所述描述符指示每個基本流的標識符與每個基本流的分組標識符或成分標記之間的對應(yīng)。(6)按照項目(I)到項目(5)的任何一項所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述發(fā)送單元將描述符插入傳輸流中，所述描述符指示流聯(lián)系信息是否已經(jīng)插入基本流中，或插入基本流中的流聯(lián)系信息是否發(fā)生了變化。(7)按照項目(I)到項目(6)的任何一項所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中作為包含在第一基本流中的第一圖像數(shù)據(jù)的編碼系統(tǒng)、和包含在預(yù)定數(shù)目的第二基本流中的第二圖像數(shù)據(jù)的編碼系統(tǒng)，允許任意組合編碼系統(tǒng)。(8)按照項目(I)到項目(7)的任何一項所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中第一圖像數(shù)據(jù)是構(gòu)成立體圖像數(shù)據(jù)的基本視圖的圖像數(shù)據(jù)，和第二圖像數(shù)據(jù)是構(gòu)成立體圖像數(shù)據(jù)的除了基本視圖之外的視圖的圖像數(shù)據(jù)。(9)按照項目(8)所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中第一圖像數(shù)據(jù)是獲取立體圖像數(shù)據(jù)的左眼和右眼的任何一只的圖像數(shù)據(jù)，和第二圖像數(shù)據(jù)是獲取立體圖像數(shù)據(jù)的左眼和右眼的另一只的圖像數(shù)據(jù)。
(10)按照項目(8)或項目(9)的任何一項所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中元數(shù)據(jù)是與立體圖像數(shù)據(jù)相對應(yīng)的視差信息。(11)按照項目(8)到項目(10)的任何一項所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中流聯(lián)系信息包含指示在多視圖觀看下在立體顯示期間與包含在已經(jīng)插入流聯(lián)系信息的基本流中的圖像數(shù)據(jù)相對應(yīng)的視圖被顯示成哪個視圖的位置信息。( 12)按照項目(I)到項目(11)的任何一項所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中第一圖像數(shù)據(jù)是構(gòu)成可伸縮編碼圖像數(shù)據(jù)的最下層的編碼圖像數(shù)據(jù)，和第二圖像數(shù)據(jù)是除了構(gòu)成可伸縮編碼圖像數(shù)據(jù)的最下層之外的其他層的編碼圖像數(shù)據(jù)。(13)按照項目(I)到項目(12)的任何一項所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中流聯(lián)系信息進一步包含有關(guān)第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的輸出分辨率的控制信息。 (14)按照項目(I)到項目(13)的任何一項所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中流聯(lián)系信息進一步包含規(guī)定是否有必要顯示預(yù)定數(shù)目的第二圖像數(shù)據(jù)的每一個的控制信息。(15) —種圖像數(shù)據(jù)發(fā)送方法，其包括編碼步驟，用于生成包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)目的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)目的第二基本流；以及發(fā)送步驟，用于發(fā)送包括通過將在所述編碼步驟中生成的每個基本流分組化而獲得的每個分組的傳輸流，所述編碼步驟將指示各自基本流之間的聯(lián)系的流聯(lián)系信息至少插入第一基本流中。(16) 一種圖像數(shù)據(jù)接收設(shè)備，其包括接收單元，用于接收傳輸流，所述傳輸流包含將包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)目的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)目的第二基本流分組化而獲得的每個分組，至少第一基本流包含指示每個基本流之間的聯(lián)系的流聯(lián)系信息；以及數(shù)據(jù)獲取單元，用于根據(jù)流聯(lián)系信息，從所述接收單元接收的第一基本流中獲取第一圖像數(shù)據(jù)，和從所述接收單元接收的預(yù)定數(shù)目的第二基本流中獲取與第一圖像數(shù)據(jù)相聯(lián)系的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)。(17)按照項目(16)所述的圖像數(shù)據(jù)接收設(shè)備，進一步包括調(diào)整和輸出所述數(shù)據(jù)獲取單元獲取的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的分辨率的分辨率調(diào)整器，其中流聯(lián)系信息包含有關(guān)第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的輸出分辨率的控制信息，以及所述分辨率調(diào)整器根據(jù)有關(guān)輸出分辨率的控制信息調(diào)整第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的分辨率。(18)按照項目(16)或(17)所述的圖像數(shù)據(jù)接收設(shè)備，進一步包括根據(jù)所述數(shù)據(jù)獲取單元獲取的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)選擇圖像顯示狀態(tài)的圖像顯示狀態(tài)選擇單元，其中流聯(lián)系信息包含規(guī)定是否有必要顯示預(yù)定數(shù)目的第二圖像數(shù)據(jù)的每個數(shù)據(jù)的控制信息，以及所述圖像顯示狀態(tài)選擇單元根據(jù)控制信息限制圖像顯示狀態(tài)的選擇。(19)按照項目(16)到(18)的任何一項所述的圖像數(shù)據(jù)接收設(shè)備，其中所述數(shù)據(jù)獲取單元獲取的元數(shù)據(jù)是與立體圖像數(shù)據(jù)相對應(yīng)的視差數(shù)據(jù)，以及所述圖像數(shù)據(jù)接收設(shè)備進一步包括使用視差數(shù)據(jù)對所述數(shù)據(jù)獲取單元獲取的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)進行內(nèi)插處理以便獲得預(yù)定數(shù)目的視圖的顯示圖像數(shù)據(jù)的后處理單元。(20) 一種圖像數(shù)據(jù)接收方法，其包括接收步驟，用于接收傳輸流，所述傳輸流包含將包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)目的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)目的第二基本流分組化而獲得的每個分組，至少第一基本流包含指示每個基本流之間的聯(lián)系的流聯(lián)系信息；以及數(shù)據(jù)獲取步驟，用于根據(jù)流聯(lián)系信息，從在所述接收步驟中接收的第一基本流中獲取第一圖像數(shù)據(jù)，和從在所述接收步驟中接收的預(yù)定數(shù)目的第二基本流中獲取與第一圖像數(shù)據(jù)相聯(lián)系的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)。標號列表10 圖像發(fā)送和接收系統(tǒng)100廣播臺110發(fā)送數(shù)據(jù)生成單元111數(shù)據(jù)提取單元Illa數(shù)據(jù)記錄媒體112視頻編碼器113視差信息編碼器114音頻編碼器115圖形生成單元116圖形編碼器117多路復(fù)用器200、200A 接收器201 CPU
212數(shù)字調(diào)諧器213傳輸流緩沖器(TS緩沖器)214多路分用器215視頻解碼器216、216-1 到 216-N 視圖緩沖器217,217-1到217-N視頻疊加單元218圖形編碼器219圖形生成單元220視差信息編碼器221、221_1 到 221-N 圖形緩沖器222音頻解碼器223頻道處理單元224、224-1 到 224-N 定標器225元數(shù)據(jù)緩沖器226后處理單元
權(quán)利要求
1.一種圖像數(shù)據(jù)發(fā)送設(shè)備，其包含編碼單元，用于生成包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)量的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)量的第二基本流；以及發(fā)送單元，用于發(fā)送包括通過將所述編碼單元生成的每個基本流分組化而獲得的每個分組的傳輸流，其中所述編碼單元將指示基本流之間的聯(lián)系的流聯(lián)系信息至少插入第一基本流中。
2.按照權(quán)利要求1所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中流聯(lián)系信息包含在實際發(fā)生變化之前通知每個基本流之間的聯(lián)系將發(fā)生變化的提前通知信息。
3.按照權(quán)利要求1所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述編碼單元根據(jù)像素或GOP將流聯(lián)系信息插入基本流中。
4.按照權(quán)利要求1所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中流聯(lián)系信息使用標識各自基本流的標識符指示每個基本流之間的聯(lián)系。
5.按照權(quán)利要求4所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述發(fā)送單元將描述符插入傳輸流中，所述描述符指示每個基本流的標識符與每個基本流的分組標識符或成分標記之間的對應(yīng)。
6.按照權(quán)利要求1所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中所述發(fā)送單元將描述符插入傳輸流中，所述描述符指示流聯(lián)系信息是否已經(jīng)插入基本流中，或插入基本流中的流聯(lián)系信息是否發(fā)生了變化。
7.按照權(quán)利要求1所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中作為包含在第一基本流中的第一圖像數(shù)據(jù)的編碼系統(tǒng)、和包含在預(yù)定數(shù)量的第二基本流中的第二圖像數(shù)據(jù)的編碼系統(tǒng)，允許任意組合編碼系統(tǒng)。
8.按照權(quán)利要求1所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中第一圖像數(shù)據(jù)是構(gòu)成立體圖像數(shù)據(jù)的基本視圖的圖像數(shù)據(jù)，和第二圖像數(shù)據(jù)是構(gòu)成立體圖像數(shù)據(jù)的除了基本視圖之外的視圖的圖像數(shù)據(jù)。
9.按照權(quán)利要求8所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中第一圖像數(shù)據(jù)是獲取立體圖像數(shù)據(jù)的左眼和右眼的任何一只的圖像數(shù)據(jù)，和第二圖像數(shù)據(jù)是獲取立體圖像數(shù)據(jù)的左眼和右眼的另一只的圖像數(shù)據(jù)。
10.按照權(quán)利要求8所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中元數(shù)據(jù)是與立體圖像數(shù)據(jù)相對應(yīng)的視差信息。
11.按照權(quán)利要求8所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中流聯(lián)系信息包含指示在多視圖觀看下在立體顯示期間與包含在已經(jīng)插入流聯(lián)系信息的基本流中的圖像數(shù)據(jù)相對應(yīng)的視圖被顯示成哪個視圖的位置信息。
12.按照權(quán)利要求1所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中第一圖像數(shù)據(jù)是構(gòu)成可伸縮編碼圖像數(shù)據(jù)的最下層的編碼圖像數(shù)據(jù)，和第二圖像數(shù)據(jù)是除了構(gòu)成可伸縮編碼圖像數(shù)據(jù)的最下層之外的其他層的編碼圖像數(shù)據(jù)。
13.按照權(quán)利要求1所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中流聯(lián)系信息進一步包含有關(guān)第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的輸出分辨率的控制信息。
14.按照權(quán)利要求1所述的圖像數(shù)據(jù)發(fā)送設(shè)備，其中流聯(lián)系信息進一步包含規(guī)定是否有必要顯示預(yù)定數(shù)量的第二圖像數(shù)據(jù)的每一個的控制信息。
15.一種圖像數(shù)據(jù)發(fā)送方法，其包含編碼步驟，用于生成包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)量的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)量的第二基本流；以及發(fā)送步驟，用于發(fā)送包括通過將在所述編碼步驟中生成的每個基本流分組化而獲得的每個分組的傳輸流，其中所述編碼步驟將指示各自基本流之間的聯(lián)系的流聯(lián)系信息至少插入第一基本流中。
16.一種圖像數(shù)據(jù)接收設(shè)備，其包含接收單元，用于接收傳輸流，所述傳輸流包含將包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)量的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)量的第二基本流分組化而獲得的每個分組，至少第一基本流包含指示每個基本流之間的聯(lián)系的流聯(lián)系信息；以及數(shù)據(jù)獲取單元，用于根據(jù)流聯(lián)系信息，從所述接收單元接收的第一基本流中獲取第一圖像數(shù)據(jù)，和從所述接收單元接收的預(yù)定數(shù)量的第二基本流中獲取與第一圖像數(shù)據(jù)相聯(lián)系的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)。
17.按照權(quán)利要求16所述的圖像數(shù)據(jù)接收設(shè)備，進一步包含調(diào)整和輸出所述數(shù)據(jù)獲取單元獲取的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的分辨率的分辨率調(diào)整器，其中流聯(lián)系信息包含有關(guān)第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的輸出分辨率的控制信息，以及所述分辨率調(diào)整器根據(jù)有關(guān)輸出分辨率的控制信息調(diào)整第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的分辨率。
18.按照權(quán)利要求16所述的圖像數(shù)據(jù)接收設(shè)備，進一步包含根據(jù)所述數(shù)據(jù)獲取單元獲取的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)來選擇圖像顯示狀態(tài)的圖像顯示狀態(tài)選擇單元，其中流聯(lián)系信息包含規(guī)定是否有必要顯示預(yù)定數(shù)量的第二圖像數(shù)據(jù)的每一個的控制 目息，以及所述圖像顯示狀態(tài)選擇單元根據(jù)控制信息限制圖像顯示狀態(tài)的選擇。
19.按照權(quán)利要求16所述的圖像數(shù)據(jù)接收設(shè)備，其中所述數(shù)據(jù)獲取單元獲取的元數(shù)據(jù)是與立體圖像數(shù)據(jù)相對應(yīng)的視差數(shù)據(jù)，以及所述圖像數(shù)據(jù)接收設(shè)備進一步包含使用視差數(shù)據(jù)對所述數(shù)據(jù)獲取單元獲取的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)進行內(nèi)插處理以便獲得預(yù)定數(shù)量的視圖的顯示圖像數(shù)據(jù)的后處理單元。
20.一種圖像數(shù)據(jù)接收方法，其包含接收步驟，用于接收傳輸流，所述傳輸流包含將包含第一圖像數(shù)據(jù)的第一基本流、和分別包含與第一圖像數(shù)據(jù)相聯(lián)系的預(yù)定數(shù)量的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)量的第二基本流分組化而獲得的每個分組，至少第一基本流包含指示每個基本流之間的聯(lián)系的流聯(lián)系 目息；以及數(shù)據(jù)獲取步驟，用于根據(jù)流聯(lián)系信息，從在所述接收步驟中接收的第一基本流中獲取第一圖像數(shù)據(jù)，和從在所述接收步驟中接收的預(yù)定數(shù)量的第二基本流中獲取與第一圖像數(shù)據(jù)相聯(lián)系的第二圖 像數(shù)據(jù)和/或元數(shù)據(jù)。
全文摘要
使得接收方可以正確地處理基本流的配置變化。將包括在傳輸流(TS)中的各自基本流(ES)彼此聯(lián)系的流聯(lián)系信息插入ES中。流聯(lián)系信息表示包含第一圖像數(shù)據(jù)的第一ES與每個包含與第一圖像數(shù)據(jù)相聯(lián)系的第二圖像數(shù)據(jù)和/或元數(shù)據(jù)的預(yù)定數(shù)目的第二ES之間的聯(lián)系。流聯(lián)系信息使用標識各自ES的標識符表示各自ES之間的聯(lián)系。例如，將描述符插入TS中，其中該描述符表示各自ES的標識符與各自ES內(nèi)的分組標識符或成分標記之間的聯(lián)系，以便實現(xiàn)各自ES在TS層內(nèi)的登記狀態(tài)與流聯(lián)系信息之間的協(xié)調(diào)。
文檔編號H04N21/236GK103026725SQ201280002106
公開日2013年4月3日 申請日期2012年4月18日 優(yōu)先權(quán)日2011年4月28日
發(fā)明者塚越郁夫 申請人:索尼公司