專利名稱：產(chǎn)生用于調(diào)整3維附加視頻再現(xiàn)信息的深度的多媒體流的方法和設(shè)備，以及接收用于調(diào)整 ...的制作方法
技術(shù)領(lǐng)域：
方法和設(shè)備涉及對包括立體視頻的多媒體的編碼和解碼。
背景技術(shù)：
對具有逼真和立體效果的3維(3D)內(nèi)容的要求正在増加。另外，存在越來越大量的制作從而以3D再現(xiàn)的廣播內(nèi)容或節(jié)目。節(jié)目提供相互關(guān)聯(lián)的視頻信息和音頻信息，可與視頻圖像一起在屏幕上再現(xiàn)的視覺材料提供了對節(jié)目或頻道的附加描述或諸如日期和位置的附加信息。例如，雖然數(shù)字TV (DTV)的隱藏字幕在默認(rèn)情況下通常不顯示在TV屏幕上，但是隱藏字幕可根據(jù)用戶的選擇被顯示在TV屏幕上，其中，所述隱藏字幕是存在干TV節(jié)目流的特定區(qū)域中的字幕數(shù)據(jù)。為聽カ障礙者提供隱藏字幕，或者為另外的目的(諸如為教育目的)廣泛使用隱藏字幕。DTV的字幕可以以視覺材料的形式與視頻圖像一起被顯示在屏幕上，其中，視覺材料通過使用字符、諸如位圖、框、輪廓、陰影等的圖像來提供與文本有關(guān)的增強(qiáng)的視覺效果。由于DTV的電子節(jié)目指南(EPG)信息被顯示在TV屏幕上以提供頻道或節(jié)目信息，因此EPG信息可被觀看者用于改變頻道或檢查關(guān)于當(dāng)前頻道節(jié)目的附加信息。處理將與3D視頻圖像一起在屏幕上再現(xiàn)的附加視覺材料的方法已被開發(fā)。

發(fā)明內(nèi)容
技術(shù)問題與示例性實施例一致的方法和設(shè)備涉及對包括立體視頻的多媒體的編碼和解碼以將3D附加視覺材料與3D視頻一起在屏幕上穩(wěn)定地再現(xiàn)。技術(shù)方案根據(jù)示例性實施例的一方面，提供了一種用于附加再現(xiàn)信息的3維(3D)再現(xiàn)的多媒體流產(chǎn)生方法，所述方法包括產(chǎn)生視頻基本流(ES)、音頻ES、附加數(shù)據(jù)流和輔助信息流，其中，視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流分別包括視頻數(shù)據(jù)、與視頻數(shù)據(jù)相關(guān)的音頻數(shù)據(jù)、將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的附加再現(xiàn)信息的數(shù)據(jù)以及用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息的深度信息，其中，視頻數(shù)據(jù)包括2維(2D)視頻圖像和3D視頻圖像中的至少ー個；通過分別對視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流進(jìn)行打包來產(chǎn)生視頻打包基本流(PES)包、音頻PES包、數(shù)據(jù)PES包和輔助信息包；通過對視頻PES 包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包進(jìn)行復(fù)用來產(chǎn)生傳輸流(TS)。有益效果可向觀看者提供這樣的多媒體流通過使用各種通信方法(諸如基于現(xiàn)有的MPEGTS方法的DVB方法、ATSC方法和有線廣播方法等)允許再現(xiàn)3D視頻并且與之兼容地穩(wěn)定地再現(xiàn)3D再現(xiàn)信息。


圖I是根據(jù)示例性實施例的用于附加再現(xiàn)信息的3維(3D)再現(xiàn)的多媒體流產(chǎn)生設(shè)備的框圖2是根據(jù)示例性實施例的用于附加再現(xiàn)信息的3D再現(xiàn)的多媒體流接收設(shè)備的框圖；圖3示出3D視頻和3D附加再現(xiàn)信息同時再現(xiàn)的場景；圖4示出3D視頻和3D附加再現(xiàn)信息被顛倒并被再現(xiàn)的現(xiàn)象；圖5示出包括各種類型的附加再現(xiàn)信息的運(yùn)動圖像專家組(MPEG)傳輸流(TS)的結(jié)構(gòu)；圖6是根據(jù)第一示例性實施例的包括在圖2中示出的多媒體流接收設(shè)備中的隱藏字幕再現(xiàn)器的詳細(xì)框圖；圖7是根據(jù)第一示例性實施例的調(diào)整隱藏字幕的深度的屏幕的透視圖；圖8是根據(jù)第一示例性實施例的調(diào)整隱藏字幕的深度的屏幕的平面圖；圖9是根據(jù)第一示例性實施例的多媒體流接收設(shè)備使用隱藏字幕的3D字幕加強(qiáng)信息和偏移量信息的方法的流程圖；圖10是根據(jù)第一示例性實施例的多媒體流接收設(shè)備使用隱藏字幕的3D再現(xiàn)安全信息的方法的流程圖；圖11示出根據(jù)第一示例性實施例的當(dāng)基于隱藏字幕的3D再現(xiàn)安全信息不能保證安全時執(zhí)行的圖像后處理方法的示例；圖12和圖13示出根據(jù)第一示例性實施例的當(dāng)基于隱藏字幕的3D再現(xiàn)安全信息不能保證安全時執(zhí)行的圖像后處理方法的另ー示例；圖14和圖15示出根據(jù)第一示例性實施例的當(dāng)基于隱藏字幕的3D再現(xiàn)安全信息不能保證安全時執(zhí)行的圖像后處理方法的另ー示例；圖16是根據(jù)第二示例性實施例和第三示例性實施例的用于字幕的3D再現(xiàn)的多媒體流產(chǎn)生設(shè)備的框圖；圖17是按照數(shù)字視頻廣播(DVB)通信方法的字幕數(shù)據(jù)的分層結(jié)構(gòu)的示圖；圖18和圖19示出根據(jù)DVB通信方法的在指示字幕打包基本流(PES)包的節(jié)目映射表(PMT)內(nèi)表不字幕描述符的兩種方法；圖20是根據(jù)示例性實施例的包括按照DVB通信方法的字幕數(shù)據(jù)的數(shù)據(jù)流的結(jié)構(gòu)的示圖；圖21是根據(jù)示例性實施例的按照DVB通信方法的組合頁的結(jié)構(gòu)的示圖；圖22是示出按照DVB通信方法的字幕處理模型的流程圖；圖23、圖24和圖25是示出分別在編碼數(shù)據(jù)緩沖器、組合緩沖器和像素緩沖器中存儲的數(shù)據(jù)的示圖；圖26是用于描述根據(jù)第二示例性實施例的根據(jù)區(qū)域調(diào)整字幕的深度的示圖；圖27是用于描述根據(jù)第二示例性實施例的根據(jù)頁調(diào)整字幕的深度的示圖；圖28是示出按照有線廣播方法的字幕的位圖格式的組成部分的示圖29是按照有線廣播方法的用于字幕的3D再現(xiàn)的字幕處理模型的流程圖；圖30是用于描述通過按照圖29中示出的有線廣播方法的字幕處理模型將字幕從顯示隊列輸出到圖形平面的處理的示圖；圖31是根據(jù)第三示例性實施例的按照有線廣播方法的用于字幕的3D再現(xiàn)的字幕處理模型的流程圖；圖32是用于描述根據(jù)第三示例性實施例的按照有線廣播方法調(diào)整字幕的深度的示圖；圖33是用于描述根據(jù)第三示例性實施例的按照有線廣播方法調(diào)整字幕的深度的 示圖；圖34是用于描述根據(jù)第三示例性實施例的按照有線廣播方法調(diào)整字幕的深度的示圖；圖35是根據(jù)示例性實施例的發(fā)送EPG信息的數(shù)字通信系統(tǒng)的框圖；圖36示出根據(jù)先進(jìn)電視標(biāo)準(zhǔn)委員會(ATSC)通信方法的包括電子節(jié)目指南(EPG)信息的節(jié)目特定信息協(xié)議(PSIP)表；圖37示出根據(jù)DVB通信方法的包括EPG信息的服務(wù)信息(SI)表；圖38示出顯示EPG信息以及每個信息的源的屏幕；圖39是根據(jù)第四示例性實施例的TS解碼系統(tǒng)的框圖；圖40是根據(jù)第四示例性實施例的TS解碼系統(tǒng)的顯示處理單元的框圖；圖41是根據(jù)示例性實施例的用于附加再現(xiàn)信息的3D再現(xiàn)的多媒體流產(chǎn)生方法的流程圖；圖42是根據(jù)示例性實施例的用于附加再現(xiàn)信息的3D再現(xiàn)的多媒體流接收方法的流程圖。最佳實施方式根據(jù)示例性實施例的一方面，提供了一種用于附加再現(xiàn)信息的3維(3D)再現(xiàn)的多媒體流產(chǎn)生方法，所述方法包括產(chǎn)生視頻基本流(ES)、音頻ES、附加數(shù)據(jù)流和輔助信息流，其中，視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流分別包括視頻數(shù)據(jù)、與視頻數(shù)據(jù)有關(guān)的音頻數(shù)據(jù)、將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的附加再現(xiàn)信息的數(shù)據(jù)以及用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息的深度信息，其中，視頻數(shù)據(jù)包括2維(2D)視頻圖像和3D視頻圖像中的至少ー個；通過分別對視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流進(jìn)行打包來產(chǎn)生視頻打包的基本流(PES)包、音頻PES包、數(shù)據(jù)PES包和輔助信息包；通過對視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包進(jìn)行復(fù)用來產(chǎn)生傳輸流(TS)。用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息可包括關(guān)于3D附加再現(xiàn)信息的偏移量的信息，其中，3D附加再現(xiàn)信息的偏移量用于在視頻數(shù)據(jù)的3D再現(xiàn)期間調(diào)整3D附加再現(xiàn)信息的深度。附加再現(xiàn)信息的偏移量可表示從由以下信息組成的組中選擇的至少ー個指示3D附加再現(xiàn)信息的位移量的視差信息、3D附加再現(xiàn)信息的坐標(biāo)和3D附加再現(xiàn)信息的深度，其中，以從由以下信息組成的組選擇的一個為單位來表示所述視差3D附加再現(xiàn)信息的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息之間的深度差、視差和雙目視差。用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息還可包括關(guān)于在視頻數(shù)據(jù)的3D再現(xiàn)期間3D附加再現(xiàn)信息的偏移方向的信息。3D附加再現(xiàn)信息的偏移方向可針對從由以下信息組成的組中的ー個，被設(shè)置為正方向3D附加再現(xiàn)信息的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息，3D附加再現(xiàn)信息的偏移方向可針對從由以下信息組成的組中的另ー個，被設(shè)置為負(fù)方向3D附加再現(xiàn)信息的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息。關(guān)于偏移量的信息可表示3D附加再現(xiàn)信息的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息中的一個視圖附加再現(xiàn)信息相對于另一視圖附加再現(xiàn)信息的位置的移動量。關(guān)于偏移量的信息可表示關(guān)于當(dāng)前視頻圖像的深度、視差和雙目視差的3D附加再現(xiàn)信息的位移量。關(guān)于偏移量的信息可単獨(dú)地包括包括在3D附加再現(xiàn)信息中的第一視圖附加再現(xiàn)信息的偏移量信息、以及包括在3D附加再現(xiàn)信息中的第二視圖附加再現(xiàn)信息的偏移量信息。產(chǎn)生視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟可包括將與視頻數(shù)據(jù)一起在顯示屏幕上顯示的隱藏字幕數(shù)據(jù)插入視頻ES。產(chǎn)生視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟可包括將用于隱藏字幕的3D再現(xiàn)的隱藏字幕深度信息插入從由視頻ES、視頻ES的頭和附加數(shù)據(jù)流的附加數(shù)據(jù)組成的組中選擇的至少ー個。產(chǎn)生視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟可包括產(chǎn)生將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的字幕數(shù)據(jù)的數(shù)據(jù)流作為附加數(shù)據(jù)流。產(chǎn)生視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟還可包括將用于字幕數(shù)據(jù)的3D再現(xiàn)的字幕深度信息插入從由附加數(shù)據(jù)PES包和附加數(shù)據(jù)PES包的頭組成的組中選擇的至少ー個。產(chǎn)生視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟可包括將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的電子節(jié)目指南(EPG)信息以及用于EPG信息的3D再現(xiàn)的EPG信息深度信息插入輔助信息流?？蓪⒂糜贓PG信息的3D再現(xiàn)的EPG信息深度信息插入基于先進(jìn)電視標(biāo)準(zhǔn)委員會(ATSC)的節(jié)目特定信息協(xié)議(PSIP)表的描述符字段或者插入基于數(shù)字視頻廣播(DVB)的特定信息(SI)表的描述符字段。根據(jù)示例性實施例的另一方面，提供了一種用于附加再現(xiàn)信息的3D再現(xiàn)的多媒體流接收方法，所述方法包括通過接收并解復(fù)用多媒體流的TS來提取視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包；分別從視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包提取視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流，其中，視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流包括將與視頻數(shù)據(jù)一起再現(xiàn)的附加再現(xiàn)信息，以及用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息，其中，視頻數(shù)據(jù)包括2D視頻圖像和3D視頻圖像中的至少ー個；從視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流恢復(fù)視頻數(shù)據(jù)、音頻數(shù)據(jù)、附加數(shù)據(jù)和附加再現(xiàn)信息，并且提取用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息；基于用于附加再現(xiàn)信息的3D再現(xiàn)的信息，將附加再現(xiàn)信息與視頻數(shù)據(jù)一起以3D再現(xiàn)。 以3D再現(xiàn)附加再現(xiàn)信息的步驟可包括基于用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息中的3D附加再現(xiàn)信息的偏移量和3D附加再現(xiàn)信息的偏移方向，按照3D附加再現(xiàn)信息的偏移量在正方向或負(fù)方向上移動3D附加再現(xiàn)信息。以3D再現(xiàn)附加再現(xiàn)深度信息的步驟可包括基于3D附加再現(xiàn)信息的偏移量以及3D附加再現(xiàn)信息的偏移方向，針對深度在原始位置的零平面按照3D附加再現(xiàn)信息的偏移量在正方向上或在負(fù)方向上移動3D附加再現(xiàn)信息。以3D再現(xiàn)附加再現(xiàn)信息的步驟可包括按照對于將與3D附加再現(xiàn)信息一起再現(xiàn)的視頻數(shù)據(jù)的深度、視差或雙目視差的3D附加再現(xiàn)信息的偏移量，在正方向上或在負(fù)方向上移動附加再現(xiàn)信息。以3D再現(xiàn)附加再現(xiàn)信息的步驟可包括基于3D附加再現(xiàn)信息的偏移量以及3D附加再現(xiàn)信息的偏移方向，按照附加再現(xiàn)信息的偏移量，在正方向移動由3D附加再現(xiàn)信息的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息組成的組中的ー個，并且按照3D附加再現(xiàn)信息的偏移量，在負(fù)方向上移動另ー視圖附加再現(xiàn)信息。以3D再現(xiàn)附加再現(xiàn)信息的步驟可包括基于3D附加再現(xiàn)信息的偏移量以及3D附加再現(xiàn)信息的偏移方向，按照3D附加再現(xiàn)信息的偏移量將由3D附加再現(xiàn)信息的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息組成的組中的一個相對于另ー視圖附加再現(xiàn)信息的位置移動。以3D再現(xiàn)附加再現(xiàn)信息的 步驟可包括基于3D附加再現(xiàn)信息的偏移量以及3D附加再現(xiàn)信息的偏移方向，按照關(guān)于當(dāng)前視頻數(shù)據(jù)的深度、視差和雙目視差的3D附加再現(xiàn)信息的偏移量移動3D附加再現(xiàn)信息。以3D再現(xiàn)附加再現(xiàn)信息的步驟可包括根據(jù)3D附加再現(xiàn)信息的偏移量信息中的第一視圖附加再現(xiàn)信息的位置信息來顯示第一視圖附加再現(xiàn)信息，并根據(jù)3D附加再現(xiàn)信息的偏移量信息中的第二視圖附加再現(xiàn)信息的位置信息來顯示第二視圖附加再現(xiàn)信息。提取視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟可包括從視頻ES提取將與視頻數(shù)據(jù)一起在顯示屏幕上顯示的隱藏字幕數(shù)據(jù)。以3D再現(xiàn)附加再現(xiàn)信息的步驟可包括基于用于隱藏字幕的3D再現(xiàn)的隱藏字幕深度信息來以3D再現(xiàn)隱藏字幕數(shù)據(jù)。提取視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟可包括提取將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的字幕數(shù)據(jù)的字幕數(shù)據(jù)流，作為附加數(shù)據(jù)流。以3D再現(xiàn)附加再現(xiàn)信息的步驟可包括基于用于字幕的3D再現(xiàn)的字幕深度信息來以3D再現(xiàn)字幕數(shù)據(jù)。提取視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟可包括從輔助信息流提取將與視頻數(shù)據(jù)一起再現(xiàn)的EPG信息以及用于EPG信息的3D再現(xiàn)的EPG信息深度信息。以3D再現(xiàn)附加再現(xiàn)信息的步驟可包括基于用于EPG信息的3D再現(xiàn)的EPG信息深度信息來以3D再現(xiàn)EPG信息。根據(jù)示例性實施例的另一方面，提供了一種用于附加再現(xiàn)信息的3D再現(xiàn)的多媒體流產(chǎn)生設(shè)備，所述多媒體流產(chǎn)生設(shè)備包括節(jié)目編碼器，產(chǎn)生視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流，并通過分別對視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流進(jìn)行打包來產(chǎn)生視頻PES包、音頻PES包、數(shù)據(jù)PES包和輔助信息包，其中，視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流分別包括視頻數(shù)據(jù)、與視頻數(shù)據(jù)有關(guān)的音頻數(shù)據(jù)、將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的附加再現(xiàn)信息的數(shù)據(jù)以及用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息，其中，視頻數(shù)據(jù)包括2D視頻圖像和3D視頻圖像中的至少一個；TS產(chǎn)生器，通過對視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包進(jìn)行復(fù)用來產(chǎn)生TS。根據(jù)示例性實施例的另一方面，提供了一種用于附加再現(xiàn)信息的3D再現(xiàn)的多媒體流接收設(shè)備，所述多媒體流接收設(shè)備包括接收器，接收包括視頻數(shù)據(jù)的多媒體流的TS，其中，視頻數(shù)據(jù)包括2D視頻圖像和3D視頻圖像中的至少ー個；解復(fù)用器，對接收的TS進(jìn)行解復(fù)用以提取視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包，并從視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包提取視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流，其中，視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流包括將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的附加再現(xiàn)信息、以及用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息；解碼器，從視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流恢復(fù)視頻數(shù)據(jù)、音頻數(shù)據(jù)、附加數(shù)據(jù)和輔助再現(xiàn)信息，并提取用于附加再現(xiàn)信息的3D再現(xiàn)的信息；再現(xiàn)器，基于用于附加再現(xiàn)信息的3D再現(xiàn)的信息，將附加再現(xiàn)信息與視頻數(shù)據(jù)一起以3D再現(xiàn)。根據(jù)示例性實施例的另一方面，提供了一種計算機(jī)可讀記錄介質(zhì)，所述計算機(jī)可讀記錄介質(zhì)上實施有指令，當(dāng)由計算機(jī)執(zhí)行所述指令時，令計算機(jī)執(zhí)行多媒體流產(chǎn)生方法。根據(jù)示例性實施例的另一方面，提供了一種計算機(jī)可讀記錄介質(zhì)，所述計算機(jī)可讀記錄介質(zhì)上實施有指令，當(dāng)由計算機(jī)執(zhí)行所述指令時，令計算機(jī)執(zhí)行多媒體流接收方法。
具體實施例方式以下，將參照圖I至圖42更充分地描述根據(jù)示例性實施例的產(chǎn)生用于附加視頻再現(xiàn)信息的3維(3D)再現(xiàn)的多媒體流的方法和設(shè)備以及接收用于附加視頻再現(xiàn)信息的3維再現(xiàn)的多媒體流的方法和設(shè)備。當(dāng)諸如“···中的至少ー個”的表述在元件列表之后時，用于修飾整列元件，而不用于修飾該列的單個元件。稍后將描述的附加再現(xiàn)信息與節(jié)目關(guān)聯(lián)地與視頻圖像一起顯示在屏幕上，附加再現(xiàn)信息可包括隱藏字幕、字幕和電子節(jié)目指南(EPG)信息。多方面公開了以3D再現(xiàn)隱藏字幕、字幕和EPG信息的各種示例性實施例。具體地，將參照圖6至圖15描述涉及基于消費(fèi)電子協(xié)會(CEA)方法的隱藏字幕的示例性實施例，將參照圖16至圖34描述涉及字幕的示例性實施例，將參照圖35至圖40描述涉及EPG信息的示例性實施例。圖I是根據(jù)示例性實施例的用于附加再現(xiàn)信息的3D再現(xiàn)的多媒體流產(chǎn)生設(shè)備100的框圖。根據(jù)示例性實施例的用于附加再現(xiàn)信息的3D再現(xiàn)的多媒體流產(chǎn)生設(shè)備100 (以下，稱為根據(jù)示例性實施例的多媒體流產(chǎn)生設(shè)備100)包括節(jié)目編碼器110、傳輸流(TS)產(chǎn)生器120和發(fā)送器130。節(jié)目編碼器100接收附加再現(xiàn)信息的數(shù)據(jù)以及編碼的視頻數(shù)據(jù)和編碼的音頻數(shù)據(jù)。為了便于描述，作為附加再現(xiàn)信息的數(shù)據(jù)(諸如隱藏字幕、字幕或EPG信息)被插入流中并且與視頻圖像一起被顯示在屏幕上的數(shù)據(jù)將在下文中被稱為“附加再現(xiàn)數(shù)據(jù)”。由節(jié)目編碼器100產(chǎn)生的節(jié)目的視頻數(shù)據(jù)包括2D視頻數(shù)據(jù)和3D視頻數(shù)據(jù)中的至少ー個。根據(jù)示例性實施例的與節(jié)目有關(guān)的附加再現(xiàn)數(shù)據(jù)可包括與節(jié)目有關(guān)的隱藏字幕數(shù)據(jù)、字幕數(shù)據(jù)和EPG數(shù)據(jù)。可通過控制附加再現(xiàn)信息的深度來與3D視頻數(shù)據(jù)一起以3D再現(xiàn)根據(jù)示例性實施例的附加再現(xiàn)數(shù)據(jù)。為此，節(jié)目編碼器100可產(chǎn)生包括編碼的視頻數(shù)據(jù)、編碼的音頻數(shù)據(jù)、附加再現(xiàn)數(shù)據(jù)以及用于附加再現(xiàn)信息的3D再現(xiàn)的信息的視頻基本流(ES)、音頻ES、附加數(shù)據(jù)流和輔助信息流。被插入輔助信息流的附加數(shù)據(jù)可包括各種類型的數(shù)據(jù)，諸如除了視頻數(shù)據(jù)和音頻 數(shù)據(jù)之外的控制數(shù)據(jù)。輔助信息流可包括節(jié)目特定信息(PSI)(諸如節(jié)目映射表(PMT)或節(jié)目關(guān)聯(lián)表(PAT))或部分(section)信息(諸如先進(jìn)電視標(biāo)準(zhǔn)委員會節(jié)目特定信息協(xié)議(ATSC PSIP)信息或數(shù)字視頻廣播服務(wù)信息(DVB SI))。節(jié)目編碼器110通過對視頻ES、音頻ES和附加數(shù)據(jù)流進(jìn)行打包產(chǎn)生視頻打包基本流(PES)包、音頻PES包和附加數(shù)據(jù)PES包，還產(chǎn)生輔助信息包。
TS產(chǎn)生器120通過對從節(jié)目編碼器110輸出的視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包進(jìn)行復(fù)用來產(chǎn)生TS。發(fā)送器130經(jīng)由預(yù)定頻道發(fā)送從TS產(chǎn)生器120輸出的TS。通過節(jié)目編碼器110與節(jié)目一起被插入多媒體流并發(fā)送的用于附加再現(xiàn)信息的3D再現(xiàn)的信息包括用于調(diào)整附加再現(xiàn)信息的深度的信息，其中，在3D視頻圖像的再現(xiàn)期間以3D再現(xiàn)所述附加再現(xiàn)信息。用于調(diào)整附加再現(xiàn)信息的深度的信息的示例包括附加再現(xiàn)信息的偏移量信息，其中，所述偏移量信息包括視差(parallax)信息(諸如左視像的左視圖附加再現(xiàn)信息與右視像的右視圖附加再現(xiàn)信息之間的深度差、視差(disparity)和雙目視差)、每個視 圖的附加再現(xiàn)信息的坐標(biāo)信息或深度信息、以及其它信息。在以下示例性實施例中，即使當(dāng)示出了偏移量信息的不同元素中的偏移量信息的任何ー個元素(諸如視差、坐標(biāo)等)時，也可針對每個視圖的偏移量信息的其它元素來實現(xiàn)相同示例性實施例。附加再現(xiàn)信息的偏移量信息可指示3D視頻圖像的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息中的一個視圖的附加再現(xiàn)信息相對于另一視圖的附加再現(xiàn)信息的位置的位移量。附加再現(xiàn)信息的偏移量信息還可指示每個視圖的附加再現(xiàn)信息相對于當(dāng)前視頻圖像的深度、視差和雙目視差之一的位移量。附加再現(xiàn)信息的偏移量信息可包括基于零平面(零視差)的附加再現(xiàn)信息的絕對位置，而不包括作為相對值的附加再現(xiàn)信息的深度差、視差或雙目視差。附加再現(xiàn)信息的偏移量信息還可包括關(guān)于附加再現(xiàn)信息的偏移方向的信息。例如，附加再現(xiàn)信息的偏移方向可針對3D視頻圖像的第一視圖附加再現(xiàn)信息被設(shè)置為正方向，并可針對3D視頻圖像的第二視圖附加再現(xiàn)信息被設(shè)置為負(fù)方向。用于附加再現(xiàn)信息的3D再現(xiàn)的信息還可包括偏移量類型信息，所述偏移量類型信息指示附加再現(xiàn)信息的偏移量信息具有表示基于零平面的附加再現(xiàn)信息的絕對位置的第一偏移量類型還是具有表示每個視圖的附加再現(xiàn)信息的相對位移量的第二偏移量類型。用于附加再現(xiàn)信息的3D再現(xiàn)的信息還可包括從由以下信息組成的組中選擇的至少ー個附加再現(xiàn)信息的2D/3D區(qū)分信息、表示在以2D再現(xiàn)附加再現(xiàn)信息期間是否以2D再現(xiàn)視頻數(shù)據(jù)的2D視頻再現(xiàn)信息、標(biāo)識附加再現(xiàn)信息將被再現(xiàn)的區(qū)域的信息、與附加再現(xiàn)信息應(yīng)該被顯示的時間有關(guān)的信息以及附加再現(xiàn)信息的3D再現(xiàn)安全信息。當(dāng)由運(yùn)動圖像專家組-2 (MPEG-2)數(shù)據(jù)通信系統(tǒng)對多媒體流進(jìn)行編碼時，節(jié)目編碼器110可將從由3D視頻圖像的雙目視差信息、視差信息和深度信息組成的組中選擇的至少ー個插入從由隱藏字幕數(shù)據(jù)字段的視差信息擴(kuò)展字段、深度映射和保留字段組成的組中選擇的至少ー個。當(dāng)按照國際標(biāo)準(zhǔn)化組織(ISO)媒體文件格式產(chǎn)生多媒體流時，節(jié)目編碼器110可將從由3D視頻圖像的雙目視差信息、視差信息和深度信息組成的組中選擇的至少ー個插入基于ISO的媒體文件格式的立體相機(jī)和顯示器信息(S⑶I)區(qū)域，S⑶I區(qū)域包括關(guān)于立體相機(jī)和顯示器的信息。節(jié)目編碼器110的操作可根據(jù)附加再現(xiàn)信息是隱藏字幕、字幕還是EPG信息而改變。根據(jù)第一示例性實施例，節(jié)目編碼器110將基于CEA標(biāo)準(zhǔn)的隱藏字幕數(shù)據(jù)插入視頻ES。根據(jù)第一示例性實施例的節(jié)目編碼器110可將用于隱藏字幕的3D再現(xiàn)的信息(以下，稱為隱藏字幕3D再現(xiàn)信息)插入視頻ES、視頻ES的頭、或部分。根據(jù)第一示例性實施例的隱藏字幕3D再現(xiàn)信息不僅可包括用于附加再現(xiàn)信息的3D再現(xiàn)的上述信息，還可包括表示隱藏字幕數(shù)據(jù)是否將被3D隱藏字幕增強(qiáng)數(shù)據(jù)代替的3D字幕增強(qiáng)數(shù)據(jù)。根據(jù)第二示例性實施例，當(dāng)多媒體流產(chǎn)生設(shè)備100遵照美國國家標(biāo)準(zhǔn)協(xié)會/電纜電信工程師學(xué)會(ANSI/SCTE)方法時，節(jié)目編碼器110可通過產(chǎn)生包括字幕數(shù)據(jù)以及視頻ES和音頻ES的數(shù)據(jù)流來產(chǎn)生字幕PES包。這里，根據(jù)第二示例性實施例的節(jié)目編碼器110可將用于字幕的3D再現(xiàn)的信息(以下，稱為字幕3D再現(xiàn)信息)插入字幕PES包和字幕PES包的頭中的至少ー個。根據(jù)第二示例性實施例的包括在字幕3D再現(xiàn)信息中的字幕偏移量信息可以是關(guān)于字幕的位圖和框中的至少ー個的位移量的信息根據(jù)第二示例性實施例的節(jié)目編碼器110可將偏移量信息插入字幕數(shù)據(jù)中的字幕消息字段的保留字段，其中，偏移量信息被應(yīng)用到字幕的字符元素和框元素兩者。可選地，根據(jù)第二示例性實施例的節(jié)目編碼器110可將關(guān)于字幕的字符元素的偏移量信息和關(guān)于字幕的框元素的偏移量信息単獨(dú)地插入字幕數(shù)據(jù)。根據(jù)第二示例性實施例的節(jié)目編碼器110可基本包括作為字幕類型信息的關(guān)于基本視圖字幕的字幕類型信息。根據(jù)第二示例性實施例的節(jié)目編碼器110可將關(guān)于附加視圖字幕的字幕類型信息添加到字幕類型信息。因此，根據(jù)第二示例性實施例的節(jié)目編碼器110可另外將3D視頻圖像的附加視圖視頻的附加視圖字幕的坐標(biāo)信息插入字幕數(shù)據(jù)。根據(jù)第二示例性實施例的節(jié)目編碼器110可將字幕視差類型添加到字幕類型信息，并可另外將3D視頻圖像的附加視圖視頻的附加視圖字幕相對于3D視頻圖像的基本視圖視頻的基本視圖字幕的視差信息插入字幕數(shù)據(jù)。根據(jù)第三示例性實施例，當(dāng)根據(jù)第三示例性實施例的多媒體流產(chǎn)生設(shè)備100遵照數(shù)字視頻廣播(DVB)方法時，節(jié)目編碼器110可通過產(chǎn)生包括字幕數(shù)據(jù)的附加數(shù)據(jù)流以及視頻ES和音頻ES來產(chǎn)生字幕PES包。在這種情況下，根據(jù)第三示例性實施例的節(jié)目編碼器110可將字幕數(shù)據(jù)插入附加數(shù)據(jù)流，從而附加數(shù)據(jù)形成附加數(shù)據(jù)流中的字幕分段。根據(jù)第三示例性實施例的節(jié)目編碼器110可將字幕3D再現(xiàn)信息插入包括在頁組合分段中的保留字段。根據(jù)第三示例性實施例的節(jié)目編碼器110可另外將字幕的每頁的偏移量信息和字幕的當(dāng)前頁的每個區(qū)域的偏移量信息中的至少ー個插入頁組合分段。根據(jù)第四示例性實施例，節(jié)目編碼器110可將可與視頻數(shù)據(jù)一起被再現(xiàn)的EPG信息以及用于EPG信息的3D再現(xiàn)的信息(以下，稱為EPG 3D再現(xiàn)信息)插入部分(section)中。當(dāng)根據(jù)第四示例性實施例的多媒體流產(chǎn)生設(shè)備100遵照ATSC方法時，節(jié)目編碼器110可將EPG 3D再現(xiàn)信息插入ATSC的PSIP表的描述符字段。具體地，EPG 3D再現(xiàn)信息可被插入從由ATSC的PSIP表的以下部分組成的組中選擇的至少ー個的描述符字段地面虛擬頻道表(TVCT)部分、事件信息表(EIT)部分、擴(kuò)展文本表(ETT)部分、等級區(qū)域表(RRT)部分和系統(tǒng)時間表(STT)部分。當(dāng)根據(jù)第四示例性實施例的多媒體流產(chǎn)生設(shè)備100遵照DVB方法時，節(jié)目編碼器110可將EPG 3D再現(xiàn)信息插入DVB的SI表的描述符字段。具體地，EPG 3D再現(xiàn)信息可被插入從由SI表的以下部分組成的組中選擇的至少ー個的描述符字段網(wǎng)絡(luò)信息表(NIT)部分、服務(wù)描述表(SDT)部分和EIT部分。因此，為了以三維再現(xiàn)基于各種通信方法的各種的附加再現(xiàn)信息(諸如基于CEA方法的隱藏字幕、基于DVB方法或有線廣播方法的字幕以及基于ATSC或DVB方法的EPG信息)，根據(jù)示例性實施例的多媒體流產(chǎn)生設(shè)備100可將附加再現(xiàn)數(shù)據(jù)以及用于附加再現(xiàn)信息的3D再現(xiàn)的信息插入視頻ES數(shù)據(jù)、數(shù)據(jù)流或輔助流，從而將附加再現(xiàn)數(shù)據(jù)以及用于附加再現(xiàn)信息的3D再現(xiàn)的信息與多媒體數(shù)據(jù)一起發(fā)送。接收器(未示出)可使用附加再現(xiàn)信息的3D再現(xiàn)的信息來在視頻數(shù)據(jù)的3D再現(xiàn)期間穩(wěn)定地再現(xiàn)附加再現(xiàn)信息。多媒體流產(chǎn)生設(shè)備100保持與各種通信方法(諸如基于現(xiàn)有的MPEG TS方法的DVB方法、ATSC方法和有線廣播方法)的兼容性，并可向觀看者提供允許3D視頻被再現(xiàn)并且3D再現(xiàn)信息被穩(wěn)定再現(xiàn)的多媒體流。圖2是根據(jù)示例性實施例的用于附加再現(xiàn)信息的3D再現(xiàn)的多媒體流接收設(shè)備200的框圖。根據(jù)示例性實施例的多媒體流接收設(shè)備200包括接收器210、解復(fù)用器220、解碼器230和再現(xiàn)器240。接收器210接收包括視頻數(shù)據(jù)的多媒體流的TS，其中，視頻數(shù)據(jù)包括2D視頻圖像和3D視頻圖像中的至少ー個。多媒體流包括可與2D或3D視頻圖像一起在屏幕上再現(xiàn)的附加再現(xiàn)信息(諸如隱藏字幕、字幕、EPG信息等)的附加再現(xiàn)數(shù)據(jù)以及用于附加再現(xiàn)信息的3D再現(xiàn)的信息。解復(fù)用器220通過從接收器210接收TS并對TS進(jìn)行解復(fù)用來提取視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包。解復(fù)用器220從視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包提取視頻ES、音頻ES、附加數(shù)據(jù)流和節(jié)目相關(guān)信息。視頻ES、音頻ES、附加數(shù)據(jù)流和節(jié)目相關(guān)信息包括附加再現(xiàn)信息的附加再現(xiàn)數(shù)據(jù)和用于附加再現(xiàn)信息的3D再現(xiàn)的信息。解碼器230從解復(fù)用器220接收視頻ES、音頻ES、附加數(shù)據(jù)流和節(jié)目相關(guān)信息，分別從接收的視頻ES、音頻ES和附加數(shù)據(jù)流恢復(fù)視頻、音頻、附加數(shù)據(jù)和附加再現(xiàn)信息，并從接收的流或節(jié)目相關(guān)信息提取用于附加再現(xiàn)信息的3D再現(xiàn)的信息。再現(xiàn)器240再現(xiàn)由解碼器230恢復(fù)的視頻、音頻、附加數(shù)據(jù)和附加再現(xiàn)信息。此外，再現(xiàn)器240可基于用于附加再現(xiàn)信息的3D再現(xiàn)的信息來構(gòu)建3D附加再現(xiàn)信息。由根據(jù)示例性實施例的多媒體流接收設(shè)備200提取和使用的附加再現(xiàn)信息的附加再現(xiàn)數(shù)據(jù)和用于附加再現(xiàn)信息的3D再現(xiàn)的信息相應(yīng)于以上參照圖I的根據(jù)示例性實施例的多媒體流產(chǎn)生設(shè)備100所描述的附加再現(xiàn)信息的附加再現(xiàn)數(shù)據(jù)和用于附加再現(xiàn)信息的3D再現(xiàn)的信息。為了實現(xiàn)附加再現(xiàn)信息的3D再現(xiàn)，再現(xiàn)器240可基于用于附加再現(xiàn)信息的3D再現(xiàn)的信息中的附加再現(xiàn)信息的偏移量信息，在正方向上或負(fù)方向上偏離了附加再現(xiàn)信息的參考位置的位置，再現(xiàn)附加再現(xiàn)信息。以下，雖然為 了便于解釋而示出了視差信息、深度信息和坐標(biāo)信息中的任何ー個，但是用于附加再現(xiàn)信息的3D再現(xiàn)的信息中的附加再現(xiàn)信息的偏移量信息不限于此，這類似于圖I的示例性實施例。再現(xiàn)器240可以以這樣的方式來再現(xiàn)附加再現(xiàn)信息基于附加再現(xiàn)信息的偏移量信息和關(guān)于偏移方向的信息，在相對于零平面在正方向或負(fù)方向上移動了偏移量的位置，顯示附加再現(xiàn)信息?？蛇x地，再現(xiàn)器240可以以這樣的方式來再現(xiàn)附加再現(xiàn)信息基于由將與附加再現(xiàn)信息一起再現(xiàn)的視頻的深度、視差和雙目視差組成的組中選擇的ー個，在正方向或負(fù)方向上移動了偏移量的位置，顯示附加再現(xiàn)信息。再現(xiàn)器240可構(gòu)建3D附加再現(xiàn)信息并以這樣的方式以3D再現(xiàn)3D附加再現(xiàn)信息基于附加再現(xiàn)信息的偏移量信息和關(guān)于偏移方向的信息，在相對于零平面在正方向上移動了偏移量的位置顯示3D附加再現(xiàn)信息的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息中的ー個，在相對于零平面在負(fù)方向上移動了偏移量的位置顯示3D附加再現(xiàn)信息的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息中的另ー個。再現(xiàn)器240可構(gòu)建3D附加再現(xiàn)信息并以這樣的方式以3D再現(xiàn)3D附加再現(xiàn)信息基于附加再現(xiàn)信息的偏移量信息和關(guān)于偏移方向的信息，在相對于ー個視圖附加再現(xiàn)信息的位置移動了偏移量的位置，顯示另一視圖附加再現(xiàn)信息。再現(xiàn)器240可構(gòu)建3D附加再現(xiàn)信息并以這樣的方式以3D再現(xiàn)3D附加再現(xiàn)信息基于附加再現(xiàn)信息的偏移量信息和關(guān)于偏移方向的信息，在移動了基于當(dāng)前視頻的深度、視差和雙目視差之一的偏移量的位置，顯示當(dāng)前視頻的附加再現(xiàn)信息。再現(xiàn)器240可構(gòu)建3D附加再現(xiàn)信息并以這樣的方式以3D再現(xiàn)3D附加再現(xiàn)信息基于為每個視圖獨(dú)立設(shè)置的附加再現(xiàn)信息的位置信息，基于附加再現(xiàn)信息的偏移量信息中的第一視圖附加再現(xiàn)信息的位置信息顯示第一視圖附加再現(xiàn)信息，基于附加再現(xiàn)信息的偏移量信息中的第二視圖附加再現(xiàn)信息的位置信息顯示第二視圖附加再現(xiàn)信息。由解碼器230恢復(fù)的視頻數(shù)據(jù)中的3D視頻可具有并排(side by side)格式的3D組合格式。在這種情況下，再現(xiàn)器240可構(gòu)建3D附加再現(xiàn)信息并以這樣的方式來以3D再現(xiàn)3D附加再現(xiàn)信息當(dāng)從附加再現(xiàn)信息的偏移量信息獲得偏移量時，在移動了所述偏移量的一半的位置，顯示左視圖視頻的左視圖附加再現(xiàn)信息和右視圖視頻的右視圖附加再現(xiàn)信息中的每個，其中，左視圖視頻和右視圖視頻形成3D組合格式。當(dāng)以3D再現(xiàn)附加再現(xiàn)信息時，再現(xiàn)器240可基于包括在用于附加再現(xiàn)信息的3D再現(xiàn)的信息中的2D視頻再現(xiàn)信息，以2D再現(xiàn)與附加再現(xiàn)信息相應(yīng)的視頻數(shù)據(jù)。再現(xiàn)器240可通過基于與用于附加再現(xiàn)信息的3D再現(xiàn)的信息中的附加再現(xiàn)信息被顯示的時間有關(guān)的信息，將視頻與附加再現(xiàn)信息同步，來以3D再現(xiàn)視頻和附加再現(xiàn)信
ο再現(xiàn)器240可基于用于附加再現(xiàn)信息的3D再現(xiàn)的信息中的附加再現(xiàn)信息的3D再現(xiàn)安全信息，確定附加再現(xiàn)信息的3D再現(xiàn)是否安全，隨后可確定再現(xiàn)附加再現(xiàn)信息的方法。如果基于附加再現(xiàn)信息的3D再現(xiàn)安全信息確定附加再現(xiàn)信息的3D再現(xiàn)安全，則再現(xiàn)器240可以以3D再現(xiàn)附加再現(xiàn)信息。另ー方面，如果基于附加再現(xiàn)信息的3D再現(xiàn)安全信 息確定附加再現(xiàn)信息的3D再現(xiàn)不安全，則再現(xiàn)器240可不再現(xiàn)附加再現(xiàn)信息，或者可在執(zhí)行預(yù)定圖像后處理技術(shù)之后再現(xiàn)附加再現(xiàn)信息。例如，如果基于附加再現(xiàn)信息的3D再現(xiàn)安全信息確定附加再現(xiàn)信息的3D再現(xiàn)不安全，則再現(xiàn)器240可將相應(yīng)視頻的視差與附加再現(xiàn)信息的偏移量進(jìn)行比較。如果根據(jù)比較的結(jié)果確定附加再現(xiàn)信息的偏移量屬于相應(yīng)視頻的視差的安全部分，則再現(xiàn)器240可以以3D再現(xiàn)附加再現(xiàn)信息。另ー方面，如果根據(jù)比較的結(jié)果確定附加再現(xiàn)信息的偏移量不屬于相應(yīng)視頻的視差的安全部分，則再現(xiàn)器240可不再現(xiàn)附加再現(xiàn)信息。
可選地，如果根據(jù)比較的結(jié)果確定附加再現(xiàn)信息的偏移量不屬于相應(yīng)視頻的視差的安全部分，則再現(xiàn)器240可在執(zhí)行預(yù)定圖像后處理技術(shù)之后再現(xiàn)附加再現(xiàn)信息。在預(yù)定圖像后處理技術(shù)的示例中，再現(xiàn)器240可以以2D在相應(yīng)視頻的預(yù)定區(qū)域上再現(xiàn)附加再現(xiàn)信息。在預(yù)定圖像后處理技術(shù)的另一示例中，再現(xiàn)器240可通過移動附加再現(xiàn)信息來再現(xiàn)附加再現(xiàn)信息，從而附加再現(xiàn)信息相對于相應(yīng)視頻的對象向觀看者突出。在預(yù)定圖像后處理技術(shù)的另一示例中，再現(xiàn)器240可以以2D再現(xiàn)相應(yīng)視頻并可以以3D再現(xiàn)附加再現(xiàn)信息。再現(xiàn)器240可提取或重新測量相應(yīng)視頻的視差以將相應(yīng)視頻的視差與附加再現(xiàn)信息的偏移量進(jìn)行比較。當(dāng)多媒體流基于MPEG-2TS吋，再現(xiàn)器240可從由視頻ES的隱藏字幕數(shù)據(jù)字段的視差信息擴(kuò)展字段、深度映射和保留字段的組中選擇的至少ー個提取從包括3D視頻圖像的雙目視差信息、視差信息和深度信息組成的組中選擇的至少ー個，并將提取的信息與附加再現(xiàn)信息的偏移量信息進(jìn)行比較。例如，當(dāng)多媒體流具有基于ISO的媒體文件格式時，再現(xiàn)器240可從基于ISO的媒體文件格式的SCDI區(qū)域提取從由3D視頻圖像的雙目視差信息、視差信息和深度信息組成的組中選擇的至少ー個，并將提取的信息與附加再現(xiàn)信息的偏移量信息進(jìn)行比較，其中，基于ISO的媒體文件格式的SCDI區(qū)域包括關(guān)于立體相機(jī)和顯示器的信息。根據(jù)示例性實施例的多媒體流接收設(shè)備200的操作可根據(jù)附加再現(xiàn)信息是隱藏字幕、字幕還是EPG信息而改變。根據(jù)第一示例性實施例，解復(fù)用器220可從TS提取基于CEA標(biāo)準(zhǔn)的包括隱藏字幕數(shù)據(jù)的視頻ES。根據(jù)第一示例性實施例的解碼器230可從視頻ES恢復(fù)出視頻數(shù)據(jù)并從視頻數(shù)據(jù)提取隱藏字幕數(shù)據(jù)。根據(jù)第一示例性實施例的解碼器230可從視頻ES、視頻ES的頭或部分提取隱藏字幕3D再現(xiàn)信息。根據(jù)第一示例性實施例的再現(xiàn)器240可基于隱藏字幕3D再現(xiàn)信息，構(gòu)建包括左視圖隱藏字幕和右視圖隱藏字幕的3D隱藏字幕數(shù)據(jù)，并以3D再現(xiàn)3D隱藏字幕數(shù)據(jù)。根據(jù)第一示例性實施例的隱藏字幕數(shù)據(jù)和隱藏字幕3D再現(xiàn)信息的特性相應(yīng)于以上參照根據(jù)第一示例性實施例的多媒體流產(chǎn)生設(shè)備100描述的隱藏字幕數(shù)據(jù)和隱藏字幕3D再現(xiàn)信息的特性。根據(jù)第二示例性實施例，當(dāng)根據(jù)第二示例性實施例的多媒體流接收設(shè)備200遵照ANSI/SCTE方法時，解復(fù)用器220可從TS提取包括字幕數(shù)據(jù)的附加數(shù)據(jù)流以及視頻ES和音頻ES。因此，根據(jù)第二示例性實施例的解碼器230可從附加數(shù)據(jù)流提取字幕數(shù)據(jù)。根據(jù)第ニ示例性實施例的解復(fù)用器220或解碼器230可從字幕PES包和字幕PES包的頭中的至少一個提取字幕3D再現(xiàn)信息。
根據(jù)第二示例性實施例的字幕數(shù)據(jù)和字幕3D再現(xiàn)信息的特性相應(yīng)于以上參照根據(jù)第二示例性實施例的多媒體流產(chǎn)生設(shè)備100描述的字幕數(shù)據(jù)和字幕3D再現(xiàn)信息的特性。根據(jù)第二示例性實施例的解碼器230可從根據(jù)示例性實施例的字幕數(shù)據(jù)中的字幕消息字段的保留字段提取偏移量信息，所述偏移量信息應(yīng)用到字幕的字符元素和框元素兩者?？蛇x地，根據(jù)第二示例性實施例的解碼器230可另外從字幕數(shù)據(jù)單獨(dú)地提取關(guān)于字幕的字符兀素的偏移量信息和關(guān)于字幕的框兀素的偏移量信息。根據(jù)第二示例性實施例的解碼器230可檢查3D視頻數(shù)據(jù)中的第二視圖視頻數(shù)據(jù)的字幕類型，所述字幕類型作為字幕類型信息被包括在3D視頻數(shù)據(jù)中。因此，根據(jù)第二示例性實施例的解碼器230可另外從字幕數(shù)據(jù)提取關(guān)于第二視圖視頻數(shù)據(jù)的字幕的偏移量イ目息(諸如坐標(biāo)イ目息、深度信息和視差イM息)。當(dāng)從字幕類型信息檢查到當(dāng)前字幕類型是字幕視差類型時，根據(jù)第二示例性實施例的解碼器230可另外從字幕數(shù)據(jù)提取第二視圖字幕相對于第一視圖字幕的視差信息。根據(jù)第二示例性實施例的再現(xiàn)器240可基于字幕3D再現(xiàn)信息，構(gòu)建包括左視圖字.和右視圖子.的3D子.，并以3D再現(xiàn)3D子.。根據(jù)第三示例性實施例，當(dāng)根據(jù)示例性實施例的多媒體流接收設(shè)備200遵照DVB方法時，解碼器220可從TS接收包括字幕數(shù)據(jù)的附加數(shù)據(jù)流以及視頻ES和音頻ES。因此， 根據(jù)第三示例性實施例的解碼器230可從附加數(shù)據(jù)流提取字幕分段的字幕數(shù)據(jù)。根據(jù)第三示例性實施例的解碼器230可從包括在頁組合分段中的保留字段提取字幕3D再現(xiàn)信息。根據(jù)第三示例性實施例的解碼器230可另外從頁組合分段提取字幕的每頁的偏移量信息和字幕的當(dāng)前頁的每個區(qū)域的偏移量信息中的至少ー個。根據(jù)第三示例性實施例的再現(xiàn)器240可基于字幕3D再現(xiàn)信息，構(gòu)建包括左視圖字.和右視圖子.的3D子.，并以3D再現(xiàn)3D子.。根據(jù)第四示例性實施例，當(dāng)根據(jù)示例性實施例的多媒體流接收設(shè)備200遵照ATSC方法時，解碼器230可從ATSC的PSIP表的描述符字段提取EPG3D再現(xiàn)信息。具體地，可從由ATSC的PSIP表的TVCT部分、EIT部分、ETT部分、RRT部分和STT部分組成的組中選擇的至少ー個的描述符字段提取EPG 3D再現(xiàn)信息。當(dāng)根據(jù)第四示例性實施例的多媒體流接收設(shè)備200遵照DVB方法時，解碼器230可從DVB的SI表的描述符字段提取EPG 3D再現(xiàn)信息。具體地，可從由SI表的NIT部分、SDT部分和EIT部分組成的組中選擇的至少ー個的描述符字段提取EPG 3D再現(xiàn)信息。根據(jù)第四示例性實施例的再現(xiàn)器240可基于EPG 3D再現(xiàn)信息，構(gòu)建包括左視圖EPG信息和右視圖EPG信息的3D EPG信息，并以3D來再現(xiàn)3DEPG信息。因此，為了三維地再現(xiàn)基于各種通信方法的各種類型的附加再現(xiàn)信息(諸如，基于CEA方法的隱藏字幕、基于DVB方法或有線廣播方法的字幕和基于ATSC或DVB方法的EPG信息)，根據(jù)示例性實施例的多媒體流接收設(shè)備200可從接收的多媒體流提取附加再現(xiàn)數(shù)據(jù)以及用于附加再現(xiàn)信息的3D再現(xiàn)的信息。根據(jù)示例性實施例的多媒體流接收設(shè)備200可通過使用用于附加再現(xiàn)信息的3D再現(xiàn)的信息來在視頻數(shù)據(jù)的3D再現(xiàn)期間穩(wěn)定地再現(xiàn)附加再現(xiàn)信息。根據(jù)示例性實施例的多媒體流接收設(shè)備200保持與各種通信方法(諸如基于現(xiàn)有的MPEG TS方法的DVB方法、ATSC方法和有線廣播方法)的兼容性，并可向觀看者提供允許3D視頻被再現(xiàn)并且3D再現(xiàn)信息被穩(wěn)定地再現(xiàn)的多媒體流。圖3示出3D視頻和3D附加再現(xiàn)信息被同時再現(xiàn)的屏幕。根據(jù)通過3D顯示裝置的3D視頻再現(xiàn)，對象圖像310可被再現(xiàn)以從零平面300向觀看者突出。附加再現(xiàn)信息(諸如隱藏字幕、字幕和EPG信息)需要在文本屏幕320上被再現(xiàn)，以便相對于視頻圖像的所有對象向觀看者突出，從而觀看者穩(wěn)定地享受3D視頻圖像，而不會疲勞或不協(xié)調(diào)。圖4示出3D視頻和3D附加再現(xiàn)信息被顛倒并被再現(xiàn)的現(xiàn)象。如圖4所示，當(dāng)在附加再現(xiàn)信息的深度信息、視差信息或雙目視差信息中存在錯誤時，會發(fā)生文本屏幕320在比對象圖像310距離觀看者更遠(yuǎn)處被再現(xiàn)的顛倒現(xiàn)象。由于顛倒現(xiàn)象，對象圖像310覆蓋文本屏幕320。在這種情況下，觀看者在觀看3D視頻時會疲勞或感到不協(xié)調(diào)。圖5示出包括各種類型的附加再現(xiàn)信息的MPEG TS 500的結(jié)構(gòu)。MPEG TS 500包括構(gòu)成節(jié)目的內(nèi)容的流。具體地，MPEG TS 500包括音頻ES 510、視頻ES 520、控制數(shù)據(jù)530和PSIP表540，其中，PSIP表540是節(jié)目相關(guān)信息。由根據(jù)示例性實施例的多媒體流產(chǎn)生設(shè)備100和根據(jù)示例性實施例的多媒體流接收設(shè)備200處理的根據(jù)第一示例性實施例的隱藏字幕數(shù)據(jù)可以以“cc_data”格式被插入視頻ES 520的圖像用戶數(shù)據(jù)區(qū)域。在示例性實施例中，隱藏字幕數(shù)據(jù)可被插入通過對視頻ES 520進(jìn)行復(fù)用而構(gòu)建的視頻PES包的“cc_data”字段。根據(jù)第二示例性實施例和第三示例性實施例的字幕數(shù)據(jù)可被插入與音頻ES 510或視頻ES 520分離的附加數(shù)據(jù)流，并可被包括在MPEG TS 500中。特別地，字幕數(shù)據(jù)不僅可包括文本數(shù)據(jù)還可包括圖形數(shù)據(jù)。根據(jù)第四示例性實施例的EPG信息可被插入PSIP表540的預(yù)定表?，F(xiàn)在將參照表I至表12和圖6至圖15詳細(xì)描述根據(jù)第一示例性實施例的用于隱藏字幕的3D再現(xiàn)的多媒體流的產(chǎn)生和接收。根據(jù)第一示例性實施例的多媒體流產(chǎn)生設(shè)備100可將隱藏字幕與視頻數(shù)據(jù)一起 插入視頻流。根據(jù)第一示例性實施例的節(jié)目編碼器110可將隱藏字幕數(shù)據(jù)插入視頻PES包的“user_data”字段的“cc_data”字段。表I示出基于DVB方法的“cc_data”字段的語法，表2示出基于DVB方法的“cc_data”字段的語法。隱藏字幕數(shù)據(jù)可被插入“for”循環(huán)的 “cc_datal” 和 “cc_data_2” 字段。表I
權(quán)利要求
1.一種用于附加再現(xiàn)信息的3維3D再現(xiàn)的多媒體流接收方法，所述方法包括 通過接收并解復(fù)用多媒體流的傳輸流TS來提取視頻打包的基本流PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包； 分別從視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包提取視頻基本流ES、音頻ES、附加數(shù)據(jù)流和輔助信息流，其中，視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流包括將與視頻數(shù)據(jù)一起再現(xiàn)的附加再現(xiàn)信息，以及用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息，其中，視頻數(shù)據(jù)包括2D視頻圖像和3D視頻圖像中的至少ー個； 從視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流恢復(fù)視頻數(shù)據(jù)、音頻數(shù)據(jù)、附加數(shù)據(jù)和附加再現(xiàn)信息，并提取用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息； 基于用于附加再現(xiàn)信息的3D再現(xiàn)的信息，將附加再現(xiàn)信息與視頻數(shù)據(jù)一起以3D再現(xiàn)， 其中，用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息包括關(guān)于3D附加再現(xiàn)信息的偏移量的信息，其中，3D附加再現(xiàn)信息的偏移量用于在視頻數(shù)據(jù)的3D再現(xiàn)期間調(diào)整3D附加再現(xiàn)信息的深度。
2.如權(quán)利要求I所述的多媒體流接收方法，其中，附加再現(xiàn)信息的偏移量表示從指示3D附加再現(xiàn)信息的位移量的視差、3D附加再現(xiàn)信息的坐標(biāo)以及3D附加再現(xiàn)信息的深度的組中選擇的至少ー個， 其中，以3D再現(xiàn)附加再現(xiàn)信息的步驟包括基于用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息中的3D附加再現(xiàn)信息的偏移量和3D附加再現(xiàn)信息的偏移方向，按照3D附加再現(xiàn)信息的偏移量在正方向上或在負(fù)方向上移動3D附加再現(xiàn)信息， 偏移量表示以視頻數(shù)據(jù)的深度、視差或雙目視差為単位表示的3D附加再現(xiàn)信息的位移量。
3.如權(quán)利要求2所述的多媒體流接收方法，其中，以3D再現(xiàn)附加再現(xiàn)信息的步驟還包括以下步驟中的任何ー個(i)基于3D附加再現(xiàn)信息的偏移量和3D附加再現(xiàn)信息的偏移方向，按照針對深度在原始位置的零平面的3D附加再現(xiàn)信息的偏移量，在正方向上或在負(fù)方向上移動3D附加再現(xiàn)信息； (ii)基于3D附加再現(xiàn)信息的偏移量和3D附加再現(xiàn)信息的偏移方向，按照關(guān)于將與3D附加再現(xiàn)信息一起再現(xiàn)的視頻數(shù)據(jù)的深度、視差或雙目視差的3D附加再現(xiàn)信息的偏移量，在正方向上或在負(fù)方向上移動附加再現(xiàn)信息； (iii)基于3D附加再現(xiàn)信息的偏移量和3D附加再現(xiàn)信息的偏移方向，按照附加再現(xiàn)信息的偏移量，在正方向上移動3D附加再現(xiàn)信息的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息的組中的ー個，并且按照3D附加再現(xiàn)信息的偏移量，在負(fù)方向上移動另ー視圖附加再現(xiàn)信息； (iv)基于3D附加再現(xiàn)信息的偏移量和3D附加再現(xiàn)信息的偏移方向，按照3D附加再現(xiàn)信息的偏移量將3D附加再現(xiàn)信息的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息的組中的ー個相對于3D附加再現(xiàn)信息的第一視圖附加再現(xiàn)信息和第二視圖附加再現(xiàn)信息的組中的另ー個的位置移動。
4.如權(quán)利要求I所述的多媒體流接收方法，其中，提取視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟包括從視頻ES提取將與視頻數(shù)據(jù)一起在顯示屏幕上顯示的隱藏字幕數(shù)據(jù)；從視頻ES、視頻ES的頭和輔助信息流的組選擇的至少一個，提取用于隱藏字幕數(shù)據(jù)的3D再現(xiàn)的隱藏字幕深度信息。
5.如權(quán)利要求I所述的多媒體流接收方法，其中，提取視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟包括提取將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的字幕數(shù)據(jù)的字幕數(shù)據(jù)流作為附加數(shù)據(jù)流；從附加數(shù)據(jù)PES包和附加數(shù)據(jù)PES包的頭的組選擇的至少一個，提取用于字幕數(shù)據(jù)的3D再現(xiàn)的字幕深度信息。
6.如權(quán)利要求5所述的多媒體流接收方法，其中，當(dāng)由基于美國國家標(biāo)準(zhǔn)協(xié)會/電纜電信工程師學(xué)會ANSI/SCTE的有線通信系統(tǒng)接收多媒體流時，用于字幕數(shù)據(jù)的3D再現(xiàn)的字幕深度信息包括表示3D字幕的位圖和框中的至少一個的位移量的視差信息、表示從3D字幕的深度信息和3D字幕的坐標(biāo)信息的組選擇的至少一個的偏移量信息。
7.如權(quán)利要求5所述的多媒體流接收方法，其中，提取視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟還包括當(dāng)由數(shù)字視頻廣播DVB通信系統(tǒng)產(chǎn)生多媒體流時，從包括在數(shù)據(jù)流的頁組合分段中的保留字段提取字幕數(shù)據(jù)的當(dāng)前頁的每個區(qū)域的偏移量信息。
8.如權(quán)利要求I所述的多媒體流接收方法，其中，提取視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟包括從輔助信息流提取將與視頻數(shù)據(jù)一起再現(xiàn)的電子節(jié)目指南EPG信息以及用于EPG信息的3D再現(xiàn)的EPG信息深度信息。
9.如權(quán)利要求8所述的多媒體流接收方法，其中，在提取視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流中，當(dāng)由先進(jìn)電視標(biāo)準(zhǔn)委員會ATSC通信系統(tǒng)接收多媒體流時，從基于ATSC的節(jié)目特定信息協(xié)議PSIP表的描述符字段提取用于EPG信息的3D再現(xiàn)的EPG信息深度信息。
10.如權(quán)利要求10所述的多媒體流接收方法，其中，提取視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流的步驟還包括當(dāng)由數(shù)字視頻廣播DVB通信系統(tǒng)產(chǎn)生多媒體流時，從基于DVB的特定信息SI表的描述符字段提取用于EPG信息的3D再現(xiàn)的EPG信息深度信息。
11.一種用于附加再現(xiàn)信息的3維3D再現(xiàn)的多媒體流產(chǎn)生方法，所述方法包括 產(chǎn)生視頻基本流ES、音頻ES、附加數(shù)據(jù)流和輔助信息流，其中，視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流分別包括視頻數(shù)據(jù)、與視頻數(shù)據(jù)有關(guān)的音頻數(shù)據(jù)、將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的附加再現(xiàn)信息的數(shù)據(jù)以及用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息，其中，視頻數(shù)據(jù)包括2維2D視頻圖像和3D視頻圖像中的至少一個； 通過對視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流分別進(jìn)行打包來產(chǎn)生視頻打包的基本流PES包、音頻PES包、數(shù)據(jù)PES包和輔助信息包； 通過對視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包進(jìn)行復(fù)用來產(chǎn)生傳輸流TS, 其中，用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息包括關(guān)于3D附加再現(xiàn)信息的偏移量的信息，其中，3D附加再現(xiàn)信息的偏移量用于在視頻數(shù)據(jù)的3D再現(xiàn)期間調(diào)整3D附加再現(xiàn)信息的深度。
12.如權(quán)利要求3所述的多媒體流產(chǎn)生方法，其中，用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息還包括關(guān)于在視頻數(shù)據(jù)的3D再現(xiàn)期間3D附加再現(xiàn)信息的偏移方向的信息。
13.一種用于附加再現(xiàn)信息的3維3D再現(xiàn)的多媒體流接收設(shè)備，所述多媒體流接收設(shè)備包括接收器，接收包括視頻數(shù)據(jù)的多媒體流的傳輸流TS，其中，視頻數(shù)據(jù)包括2維2D視頻圖像和3D視頻圖像中的至少ー個； 解復(fù)用器，對接收的TS進(jìn)行解復(fù)用以提取視頻打包的基本流PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包，并從視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包提取視頻基本流ES、音頻ES、附加數(shù)據(jù)流和輔助信息流，其中，視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流包括將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的附加再現(xiàn)信息，以及用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息； 解碼器，從視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流恢復(fù)視頻數(shù)據(jù)、音頻數(shù)據(jù)、附加數(shù)據(jù)和輔助再現(xiàn)信息，并提取用于附加再現(xiàn)信息的3D再現(xiàn)的信息； 再現(xiàn)器，基于用于附加再現(xiàn)信息的3D再現(xiàn)的信息，將附加再現(xiàn)信息與視頻數(shù)據(jù)一起以3D再現(xiàn)。
14.一種用于附加再現(xiàn)信息的3維3D再現(xiàn)的多媒體流產(chǎn)生設(shè)備，所述多媒體流產(chǎn)生設(shè)備包括 節(jié)目編碼器，產(chǎn)生視頻基本流ES、音頻ES、附加數(shù)據(jù)流和輔助信息流，并通過分別對視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流進(jìn)行打包來產(chǎn)生視頻打包的基本流PES包、音頻PES包、數(shù)據(jù)PES包和輔助信息包，其中，視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流分別包括視頻數(shù)據(jù)、與視頻數(shù)據(jù)有關(guān)的音頻數(shù)據(jù)、將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的附加再現(xiàn)信息的數(shù)據(jù)以及用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息； TS產(chǎn)生器，通過對視頻PES包、音頻PES包、附加數(shù)據(jù)PES包和輔助信息包進(jìn)行復(fù)用來產(chǎn)生TS， 其中，視頻數(shù)據(jù)包括2維2D視頻圖像和3D視頻圖像中的至少ー個。
15.—種計算機(jī)可讀記錄介質(zhì),所述計算機(jī)可讀記錄介質(zhì)具有指令,當(dāng)所述指令被計算機(jī)執(zhí)行時，令計算機(jī)執(zhí)行如權(quán)利要求I至12中的任何一個所述的方法。
全文摘要
提供了一種用于附加再現(xiàn)信息的3維(3D)再現(xiàn)的多媒體流產(chǎn)生方法。所述方法包括產(chǎn)生視頻基本流(ES)、音頻ES、附加數(shù)據(jù)流和輔助信息流，其中，視頻ES、音頻ES、附加數(shù)據(jù)流和輔助信息流分別包括視頻數(shù)據(jù)、與視頻數(shù)據(jù)有關(guān)的音頻數(shù)據(jù)、將與視頻數(shù)據(jù)一起在顯示屏幕上再現(xiàn)的附加再現(xiàn)信息的數(shù)據(jù)以及用于附加再現(xiàn)信息的3D再現(xiàn)的附加再現(xiàn)信息深度信息，其中，視頻數(shù)據(jù)包括2D視頻圖像和3D視頻圖像中的至少一個。
文檔編號H04N13/00GK102640504SQ201080051535
公開日2012年8月15日 申請日期2010年11月15日 優(yōu)先權(quán)日2009年11月13日
發(fā)明者樸洪奭, 李大鐘, 趙鋒濟(jì), 鄭吉洙, 金容臺, 金載承 申請人:三星電子株式會社