處理和接收用于3維字幕的數(shù)字廣播信號的方法和裝置的制造方法
【專利說明】處理和接收用于3維字幕的數(shù)字廣播信號的方法和裝置
[0001]本申請是原案申請?zhí)枮?01180027085.7的發(fā)明專利申請(國際申請?zhí)?PCT/KR2011/003905，申請日:2011年5月27日，發(fā)明名稱:處理和接收用于3維字幕的數(shù)字廣播信號的方法和裝置)的分案申請。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及用于在網(wǎng)絡(luò)上傳輸三維(3D)圖像的方法以及用于處理包括3D圖像的廣播信號的廣播接收器，更具體而言，涉及用于向與3D圖像一同顯示的字幕提供3D效果的廣播信號處理方法以及用于接收使用該廣播信號處理方法處理的廣播信號的廣播接收器。
【背景技術(shù)】
[0003]—般而言，三維(3D)圖像(或立體圖像)使用立體感知原理為用戶眼睛提供立體效果。人通過彼此分離約65mm的雙眼間距導(dǎo)致的雙眼視差感覺近和遠(yuǎn)，所以3D圖像使得右眼和左眼分別觀看相關(guān)的平面圖像，導(dǎo)致立體效果和透視效果。
[0004]上述3D圖像顯示方法可以分類為立體方案、體積方案、全息方案等。在使用立體方案的情況中，3D圖像顯示方法提供通過左眼觀看的左視圖圖像和通過右眼觀看的右視圖圖像，使得通過偏振眼鏡或顯示設(shè)備，用戶的左眼觀看左視圖圖像且用戶的右眼觀看右視圖圖像，導(dǎo)致3D圖像效果的識別。

【發(fā)明內(nèi)容】

[0005]技術(shù)問題
[0006]本發(fā)明的目的被設(shè)計(jì)為解決與廣播信號的3D內(nèi)容一同顯示的3D字幕的有效傳輸中出現(xiàn)的問題。
[0007]本發(fā)明的目的被設(shè)計(jì)為，在廣播接收器在3D廣播環(huán)境中接收字幕數(shù)據(jù)的情形中，通過考慮3D視頻顯示設(shè)備的顯示條件和在制造過程中設(shè)置的內(nèi)容的3D效果來處理和顯示接收到的3D字幕數(shù)據(jù)，解決在向用戶提供有效和方便的廣播環(huán)境中存在的問題。
[0008]技術(shù)方案
[0009]為了實(shí)現(xiàn)這些和其他優(yōu)點(diǎn)，按照本發(fā)明的目的，作為具體和廣義的描述，提出了一種用于處理包括3維即3D內(nèi)容的數(shù)字廣播信號的方法。該方法包括以下步驟:對用于所述3D內(nèi)容的3D視頻數(shù)據(jù)進(jìn)行編碼，所述3D視頻數(shù)據(jù)包括用于3D圖像的左視圖的左畫面和用于右視圖的右畫面；生成包括字幕片段的信令數(shù)據(jù)，所述字幕片段具有用于以信號方式告知用于所述3D內(nèi)容的3D字幕的信息，其中，所述字幕片段包括子區(qū)域視差信息，所述子區(qū)域視差信息指示應(yīng)用于所述3D圖像的針對所述3D字幕的區(qū)域的至少一個(gè)子區(qū)域的視差的值，所述視差是在所述3D圖像的所述右視圖和所述左視圖中表達(dá)相同空間點(diǎn)的像素的水平位置之間的差異；以及發(fā)送包括編碼的3D視頻數(shù)據(jù)和生成的信令數(shù)據(jù)的數(shù)字廣播信號。
[0010]在本發(fā)明的另一方面中，此處提供一種用于接收包括3維即3D內(nèi)容的數(shù)字廣播信號的裝置，該裝置包括:接收單元，所述接收單元被構(gòu)造為接收包括用于所述3D內(nèi)容的3D視頻數(shù)據(jù)和信令數(shù)據(jù)的數(shù)字廣播信號；解復(fù)用器，所述解復(fù)用器被構(gòu)造為從接收到的所述數(shù)字廣播信號解復(fù)用所述3D視頻數(shù)據(jù)和所述信令數(shù)據(jù)，所述3D視頻數(shù)據(jù)包括用于3D圖像的左視圖的左畫面和右視圖的右畫面；提取單元，所述提取單元被構(gòu)造為從解復(fù)用的信令數(shù)據(jù)提取字幕片段，所述字幕片段具有用于以信號方式告知用于所述3D內(nèi)容的3D字幕的信息，其中，所述字幕片段包括子區(qū)域視差信息，所述子區(qū)域視差信息指示應(yīng)用于所述3D圖像的針對所述3D字幕的區(qū)域的至少一個(gè)子區(qū)域的視差的值，所述視差是在所述3D圖像的所述右視圖和所述左視圖中表達(dá)相同空間點(diǎn)的像素的水平位置之間的差異；以及控制單元，所述控制單元被構(gòu)造為基于提取的字幕片段控制用于所述3D內(nèi)容的所述3D字幕的顯不O
[0011]在本發(fā)明的另一方面中，所述視差的值被對稱地應(yīng)用到所述區(qū)域或子區(qū)域的每個(gè)視圖。
[0012]在本發(fā)明的另一方面中，所述字幕片段還包括指示在所述3D圖像的所述區(qū)域中的子區(qū)域的存在的信息，并且其中，當(dāng)所述信息指示在所述區(qū)域中不存在子區(qū)域時(shí)，由所述子區(qū)域視差信息指示的所述視差的值被應(yīng)用于所述區(qū)域。
[0013]在本發(fā)明的另一方面中，所述字幕片段還包括缺省視差信息，所述缺省視差信息指定當(dāng)數(shù)字廣播接收器不能向每個(gè)區(qū)域應(yīng)用各自的視差值時(shí)應(yīng)用于在所述3D圖像中的所有區(qū)域的缺省視差值。
[0014]在本發(fā)明的另一方面中，所述子區(qū)域視差信息包括指定所述視差的值的整部部分的整數(shù)部分信息和指定所述視差的值的小數(shù)部分的小數(shù)部分信息。
[0015]在本發(fā)明的另一方面中，所述字幕片段還包括指定所述至少一個(gè)子區(qū)域的水平位置的子區(qū)域水平信息和指定所述至少一個(gè)子區(qū)域的水平寬度的子區(qū)域?qū)挾刃畔ⅰ?br>[0016]在本發(fā)明的另一方面中，對于所述3D字幕，所述字幕片段還包括指定所述視差的值應(yīng)用于所述左視圖和所述右視圖中的哪個(gè)視圖的偏移類型信息。
[0017]發(fā)明的有利效果
[0018]根據(jù)本發(fā)明，可以有效地通過廣播信號連同3D內(nèi)容一起發(fā)送3D字幕。
[0019]另外，根據(jù)本發(fā)明，可以有效地在廣播接收器中處理3D字幕。
[0020]再者，根據(jù)本發(fā)明，可以根據(jù)廣播接收器的性能處理3D字幕。
[0021]另外，根據(jù)本發(fā)明的實(shí)施方式，3D字幕數(shù)據(jù)處理方法維持與2D遺留廣播接收器兼容，并且同時(shí)通過能夠顯示3D視頻數(shù)據(jù)的廣播接收器顯示具有3D效果的字幕數(shù)據(jù)。
【附圖說明】
[0022]附圖被包括在本說明書中以提供對本發(fā)明的進(jìn)一步理解，附圖示出了本發(fā)明的實(shí)施方式，且與說明書一起用于解釋本發(fā)明的原理。
[0023]圖1是示出根據(jù)本發(fā)明的實(shí)施方式的擴(kuò)展顯示定義片段的句法的圖示。
[0024]圖2是示出根據(jù)本發(fā)明的實(shí)施方式的擴(kuò)展頁面構(gòu)成片段的句法的圖示。
[0025]圖3是示出根據(jù)本發(fā)明的實(shí)施方式根據(jù)display_shift_type字段的字幕的顯示位置的圖示。
[0026]圖4是示出根據(jù)本發(fā)明的實(shí)施方式reg1n_shift_type的字幕的顯示位置的圖不O
[0027]圖5是示出根據(jù)本發(fā)明的實(shí)施方式的擴(kuò)展對象視差片段的句法的圖示。
[0028]圖6示出根據(jù)本發(fā)明的一個(gè)實(shí)施方式用作擴(kuò)展字幕顯示信息的擴(kuò)展顯示定義片段(DDS)的句法結(jié)構(gòu)。
[0029]圖7示出根據(jù)本發(fā)明的一個(gè)實(shí)施方式用作擴(kuò)展字幕顯示信息的擴(kuò)展頁面構(gòu)成片段(PCS)的句法結(jié)構(gòu)。
[0030]圖8是示出根據(jù)本發(fā)明的另一實(shí)施方式的擴(kuò)展對象定義片段的句法的圖示。
[0031]圖9是示出根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于接收和處理3D字幕數(shù)據(jù)的廣播接收器中的解碼塊的框圖。
[0032]圖10是示出根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于接收數(shù)字廣播信號的接收器的框圖。
[0033]圖11是例示根據(jù)本發(fā)明的一個(gè)實(shí)施方式的處理將要傳輸?shù)?D字幕的方法的流程圖。
【具體實(shí)施方式】
[0034]現(xiàn)在將詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施方式，在附圖中例示出了其示例。下面將參考附圖給出的詳細(xì)說明旨在解釋本發(fā)明的示例性實(shí)施方式，而不是示出可以根據(jù)本發(fā)明實(shí)施的僅有實(shí)施方式。
[0035]在描述本發(fā)明之前，應(yīng)當(dāng)注意，在本發(fā)明中公開的大多數(shù)術(shù)語考慮本發(fā)明的功能來被定義且對應(yīng)于本領(lǐng)域中公知的一般術(shù)語，且可以根據(jù)本領(lǐng)域技術(shù)人員的發(fā)明、通常實(shí)踐或新技術(shù)的引入被不同地確定。在一些情況中，少數(shù)術(shù)語在必要時(shí)被申請人選擇且此后在本發(fā)明的下文描述中公開。因此，優(yōu)選地，在本發(fā)明中基于其意義理解申請人定義的術(shù)語。
[0036]3D圖像顯示方法包括考慮兩個(gè)視點(diǎn)的立體成像方案和考慮三個(gè)或更多個(gè)視點(diǎn)的多視圖成像方案。對照地，現(xiàn)有技術(shù)中示出的單視圖成像方案可以被稱為單視場圖像方案。
[0037]立體成像方案被設(shè)計(jì)為使用在彼此分開預(yù)定距離的左側(cè)照相機(jī)和右側(cè)照相機(jī)捕獲相同目標(biāo)對象時(shí)獲取的一對右和左視圖圖像。多視圖成像方案使用分開預(yù)定距離或角度的三個(gè)或更多個(gè)照相機(jī)捕獲的三個(gè)或更多個(gè)圖像。盡管下面的描述使用立體成像方案作為示例來公開本發(fā)明的實(shí)施方式，但是本發(fā)明的發(fā)明思想也可以應(yīng)用于多視圖成像方案。
[0038]立體圖像和多視圖圖像可以根據(jù)包括移動圖像專家組(MPEG)方案的各種方法來壓縮和編碼，并且被傳輸?shù)侥康牡亍?br>[0039]例如，立體圖像或多視圖圖像可以根據(jù)H.264/高級視頻編碼(AVC)方案來壓縮和編碼并且被傳輸。在這種情形中，接收系統(tǒng)可以按照H.264/AVC編碼方案的相反順序?qū)邮盏膱D像進(jìn)行解碼，使得可以獲得3D圖像。
[0040]另外，立體圖像的左視圖圖像和右視圖圖像其中一個(gè)或者多視圖圖像其中之一可以分配給基本層的圖像，且剩余一個(gè)可以分配給擴(kuò)展層的圖像。基本層圖像可以使用與單視場成像方法相同的方法來編碼。與擴(kuò)展層圖像相關(guān)，僅基本層圖像和擴(kuò)展層圖像之間的關(guān)系的信息可以被編碼和傳輸。作為用于基本層圖像的示例性壓縮編碼方案，可以使用JPEG、MPEG-2、MPEG-4或H.264/AVC方案。為方便說明，H.264/AVC方案可以在本發(fā)明的一個(gè)實(shí)施方式中示例性地使用。在本發(fā)明的一個(gè)實(shí)施方式中，用于上層或較高層的圖像的壓縮編碼方案可以設(shè)置為H.264/多視圖視頻編碼(MVC)方案。
[0041]當(dāng)MVC方案另外地應(yīng)用于AVC方案或僅使用AVC方案編碼右/左圖像序列從而實(shí)施立體顯示時(shí)，在廣播相應(yīng)3D內(nèi)容數(shù)據(jù)時(shí)需要充分考慮的一點(diǎn)是與相關(guān)2D廣播接收器兼容。對于不能支持3D圖像顯示的相關(guān)廣播接收器，如果右和左視圖圖像其中之一根據(jù)后向兼容方法編碼和傳輸，則2D廣播接收器僅識別且輸出相應(yīng)的信號，使得用戶可以通過相關(guān)設(shè)備查看相應(yīng)內(nèi)容數(shù)據(jù)。在下文描述中，傳送用于遺留廣播接收器的內(nèi)容數(shù)據(jù)的時(shí)間點(diǎn)的基本層圖像可以被稱為基本視圖視頻數(shù)據(jù)(或基本視頻)，并且被傳送用于顯示3D圖像的擴(kuò)展層圖像可以被稱為擴(kuò)展視圖視頻數(shù)據(jù)(或擴(kuò)展視頻)。
[0042]在如上所述傳送基本視圖視頻數(shù)據(jù)和擴(kuò)展視圖視頻數(shù)據(jù)的情形中，遺留2D廣播接收器接收基本視頻數(shù)據(jù)，使得它可以顯示2D圖像，且3D廣播接收器接收基本視圖視頻數(shù)據(jù)和擴(kuò)展視圖視頻數(shù)據(jù)，使得它可以顯示3D圖像。
[0043]在顯示3D內(nèi)容的情況中，根據(jù)3D內(nèi)容的特征或字幕的用途可以在屏幕上顯示多個(gè)字幕。在這種情形中，多個(gè)字幕可以在廣播屏幕上具有相同的深度或可以具有不同的深度以有效地產(chǎn)生3D效果。
[0044]例如，在其中在3D內(nèi)容中多個(gè)演員出現(xiàn)且多個(gè)演員同時(shí)表演其角色的情形中，角色可以顯示為3D字幕，從而提供不同于2D環(huán)境的效果。S卩，可以根據(jù)演員在一個(gè)屏幕上的深度不同地設(shè)置表示演員角色的字幕的深度。
[0045]作為另一示例，盡管與表達(dá)3D效果的3D內(nèi)容的深度相比，諸如在廣播屏幕的右上方顯示的廣播站標(biāo)志這樣的字幕可以以更靠近觀看者的深度顯示，與3D內(nèi)容相關(guān)聯(lián)的字幕可以以相對遠(yuǎn)離觀察者的深度顯示。
[0046]在下文描述中，術(shù)語“字幕”不僅可以包括字幕，而且還包括另外地顯示到基本視頻數(shù)據(jù)的顯示圖像、文本數(shù)據(jù)、圖形圖像、標(biāo)志等。
[0047]廣播系統(tǒng)傳輸作為各種字幕信息的字幕數(shù)據(jù)。此時(shí)，字幕數(shù)據(jù)不僅可以包括字幕顯示信息(包括顯示字幕所需的配置、尺寸、位置等)，而且還包括字幕的顯示顏色的信息。字幕顯示信息包括與用于顯示字幕所需的顯示窗口結(jié)構(gòu)相關(guān)聯(lián)的顯示定義信息、頁面構(gòu)成信息、區(qū)域構(gòu)成信息、對象數(shù)據(jù)信息等。從數(shù)據(jù)傳輸?shù)木浞ńY(jié)構(gòu)的視點(diǎn)，顯示定義信息可以被稱為顯示定義片段，頁面構(gòu)成信息可以被稱為頁面構(gòu)成片段，區(qū)域構(gòu)成信息可以被稱為區(qū)域構(gòu)成片段，并且對象數(shù)據(jù)信息可以被稱為對象數(shù)據(jù)片段。
[0048]相關(guān)廣播信號僅提供基本字幕顯示信息。因此，當(dāng)3D廣播接收器希望顯示基本字幕顯示信息時(shí)，基本字幕顯示信息可以通過2D廣播信號表達(dá)或可以不顯示。因此，必須傳輸能夠允許甚至以3D格式顯示字幕顯示信息的信息，并且需要能夠使用上述信息以3D格式顯示字幕數(shù)據(jù)的廣播接收器及其數(shù)據(jù)處理方法。
[0049]在顯示立體圖像的情形中，左視圖視頻數(shù)據(jù)和右視圖視頻數(shù)據(jù)水平偏移預(yù)定距離從而實(shí)施3D效果，并且然后被顯示。此時(shí)，可以使用能夠指示3D效果的各種表達(dá)值(諸如偏移距離)。根據(jù)本發(fā)明的實(shí)施方式，此后視差值用作3D效果的這種表達(dá)值。
[0050]在視覺感知中可以從處理獲得3D效果，導(dǎo)