專利名稱:數(shù)字接收器以及在數(shù)字接收器中處理字幕數(shù)據(jù)的方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種數(shù)字接收器和在數(shù)字接收器中處理字幕數(shù)據(jù)的方法,并且更具體地,涉及一種提供三維(3D)字幕數(shù)據(jù)的數(shù)字接收器和在數(shù)字接收器中處理3D字幕數(shù)據(jù)的方法。
背景技術(shù):
三維(3D)圖像允許用戶使用立體視覺的原理體驗3D效果,該立體視覺的原理通過分離大約65mm的兩眼的不同視點(即,由于兩眼之間的距離導(dǎo)致的雙眼視差)提供立體感覺。3D圖像被提供為利用左眼和右眼觀看對應(yīng)的平面圖像,從而允許用戶體驗3D和立體效
果O 盡管數(shù)字廣播目前已經(jīng)相當(dāng)普遍,但是從模擬廣播時代到目前為止,現(xiàn)有的廣播服務(wù)還是二維(2D)服務(wù)。然而,從具體應(yīng)用領(lǐng)域開始,對于提供比平面的2D服務(wù)更真實且立體的3D (或立體)圖像的3D服務(wù)的興趣近來正在增加,并且因此,對于3D服務(wù)以及相關(guān)的服務(wù)的研究逐漸增加。對于能夠提供3D服務(wù)的數(shù)字接收器的興趣和研究也在增加。然而,傳統(tǒng)的數(shù)字接收器僅提供2D字幕數(shù)據(jù)并且即使當(dāng)內(nèi)容為3D時也將內(nèi)容的字幕數(shù)據(jù)作為2D字幕數(shù)據(jù)來處理,使得用戶不能夠滿意地觀看字幕,因此不能夠給用戶提供舒服的感覺。
發(fā)明內(nèi)容
本發(fā)明用于克服上述問題,并且本發(fā)明的目的在于提供一種能夠提供3D字幕數(shù)據(jù)同時保持與老式裝置的兼容性的數(shù)字接收器。本發(fā)明的另一目的在于當(dāng)提供多個3D字幕數(shù)據(jù)時適當(dāng)?shù)乜刂贫鄠€字幕數(shù)據(jù)中的全部或每一個。本發(fā)明的另一目的在于當(dāng)3D字幕數(shù)據(jù)的視差信息已經(jīng)改變時,防止用戶由于與3D字幕數(shù)據(jù)的改變相關(guān)的處理而感覺到眩暈。本發(fā)明提供了一種用于提供3D字幕數(shù)據(jù)的數(shù)字接收器及其處理方法。本發(fā)明的一個方面的一種用于發(fā)送用于三維3D服務(wù)的廣播信號的方法,包括編碼3D視頻基本碼流ES,該3D視頻基本碼流ES包括3D字幕服務(wù);生成用于信令包括編碼后的3D視頻ES的3D視頻服務(wù)的信令信息;以及發(fā)送包括3D視頻服務(wù)和信令信息的數(shù)字廣播信號,其中,3D字幕服務(wù)包括用于生成左字幕數(shù)據(jù)的第一命令代碼以及指示字幕窗口的視差值的第二命令代碼,并且基于第一命令代碼和第二命令代碼生成右字幕數(shù)據(jù)。第二命令代碼可以包括指示是否不管接收器中的窗口 ID而將同一視差值應(yīng)用于所有當(dāng)前解碼窗口的標(biāo)志。根據(jù)標(biāo)志的值,由第二命令代碼指示的視差值可以應(yīng)用于所有字幕窗口或者應(yīng)用于在第二命令代碼中指示的特定窗口 ID的字幕窗口??梢詮?D視頻ES的補充增強信息SEI消息或圖片頭中的一個提取3D字幕服務(wù)數(shù)據(jù)。根據(jù)本發(fā)明的另一方面的用于處理用于三維(3D)服務(wù)的廣播信號的方法包括接收包括編碼3D服務(wù)和用于編碼3D服務(wù)的信令信息的數(shù)字廣播信號;從3D服務(wù)提取3D視頻基本碼流ES ;從提取的3D視頻ES提取用于3D字幕服務(wù)的數(shù)據(jù);以及使用提取的3D字幕服務(wù)數(shù)據(jù)提供3D字幕服務(wù),其中,提取的3D字幕服務(wù)包括用于生成左字幕數(shù)據(jù)的第一命令代碼和指示字幕窗口的視差值的第二命令代碼,并且基于第一命令代碼和第二命令代碼生成右字幕數(shù)據(jù)。第二命令代碼可以包括指示是否不管接收器中的窗口 ID而將同一視差值應(yīng)用于所有當(dāng)前解碼窗口的標(biāo)志。
根據(jù)標(biāo)志的值,由第二命令代碼指示的視差值可以應(yīng)用于所有字幕窗口或者應(yīng)用于在第二命令代碼中指示的特定窗口 ID的字幕窗口??梢詮?D視頻ES的補充增強信息SEI消息或圖片頭中的一個提取3D字幕服務(wù)數(shù)據(jù)。3D字幕服務(wù)數(shù)據(jù)可以進一步包括第三命令代碼,該第三命令代碼用于執(zhí)行下述控制,該控制用于允許在已經(jīng)過去了對應(yīng)于幀計數(shù)的數(shù)目的幀之后將對應(yīng)的字幕窗口定位在對應(yīng)于不同視差的深度。對應(yīng)于第三命令代碼的值可以在每幀或者預(yù)定幀時段的間隔逐漸地改變視差。根據(jù)本發(fā)明的另一方面的用于處理用于三維(3D)服務(wù)的廣播信號的方法,包括接收數(shù)字廣播信號,該數(shù)字廣播信號包括編碼3D服務(wù)和用于編碼3D服務(wù)的信令信息;從3D服務(wù)提供3D視頻基本碼流ES ;從提取的3D視頻ES提取用于3D字幕服務(wù)的數(shù)據(jù);以及使用提取的3D字幕服務(wù)數(shù)據(jù)提供3D字幕服務(wù),其中,提取的3D字幕服務(wù)包括用于生成左字幕數(shù)據(jù)的第一命令代碼、指示字幕窗口的視差值的第二命令代碼以及用于執(zhí)行下述控制的第三命令代碼,該控制用于允許在已經(jīng)過去了對應(yīng)于幀計數(shù)的數(shù)目的幀之后將對應(yīng)的字幕窗口定位在對應(yīng)于不同視差的深度,并且基于第一命令代碼和第二命令代碼生成右字幕數(shù)據(jù)。根據(jù)本發(fā)明的另一方面的用于處理三維(3D)服務(wù)的廣播信號的方法,包括接收數(shù)字廣播信號,該數(shù)字廣播信號包括3D服務(wù)和用于編碼3D服務(wù)的信令信息;從3D服務(wù)提取3D視頻基本碼流ES ;從提取的3D視頻ES提取用于3D字幕服務(wù)的數(shù)據(jù);使用用于生成左字幕數(shù)據(jù)的第一命令代碼確定字幕窗口的坐標(biāo),該第一命令代碼包括在提取的3D字幕服務(wù)數(shù)據(jù)中;根據(jù)第二命令代碼確定字幕窗口的視差值,該第二命令代碼指示字幕窗口的視差值;使用視差和視頻ES的水平大小信息確定將疊加在右字幕數(shù)據(jù)上的對應(yīng)的字幕窗口的坐標(biāo);以圖像格式存儲字幕數(shù)據(jù);將左字幕數(shù)據(jù)和左視頻圖片以及右字幕數(shù)據(jù)和右視頻圖片混合;以及根據(jù)顯示格式對混合圖像進行交錯并且輸出交錯后的圖像。根據(jù)本發(fā)明的另一方面的用于處理三維(3D)服務(wù)的數(shù)字接收器,包括接收單元,該接收單元被構(gòu)造為接收數(shù)字廣播信號,該數(shù)字廣播信號包括3D服務(wù)和用于3D服務(wù)的信令信息;解復(fù)用器,該解復(fù)用器被構(gòu)造為將數(shù)字廣播信號解復(fù)用為3D服務(wù)和信令信息;解碼器,該解碼器被構(gòu)造為從3D服務(wù)提取并且解碼3D視頻基本碼流ES并且從提取的3D視頻ES提取并輸出3D字幕數(shù)據(jù);字幕數(shù)據(jù)處理器,該字幕數(shù)據(jù)處理器被構(gòu)造為對提取的3D字幕數(shù)據(jù)進行解碼;圖形處理器,該圖形處理器被構(gòu)造為基于解碼3D字幕數(shù)據(jù)對左視點圖像和右視點圖像進行處理和存儲;混合器,該混合器被構(gòu)造為將3D視頻數(shù)據(jù)和3D字幕數(shù)據(jù)進行混合;3D格式化器,該3D格式化器被構(gòu)造為根據(jù)顯示格式對混合數(shù)據(jù)進行交錯和輸出;以及顯示單元,該顯示單元被構(gòu)造為輸出交錯后的3D服務(wù)數(shù)據(jù)。3D字幕數(shù)據(jù)可以包括用于生成左字幕數(shù)據(jù)的第一命令代碼、指示字幕窗口的視差值的第二命令代碼和用于執(zhí)行下述控制的第三命令代碼,該控制用于允許在已經(jīng)過去了對應(yīng)于幀計數(shù)的數(shù)目的幀之后將字幕窗口定位在對應(yīng)于不同視差的深度,并且可以基于第一命令代碼和第二命令代碼生成右字幕數(shù)據(jù)。第二命令代碼可以包括指示是否不管窗口 ID而將同一視差值應(yīng)用于所有當(dāng)前解碼字幕窗口的標(biāo)志,并且數(shù)字接收器可以根據(jù)標(biāo)志的值將由第二命令代碼指示的視差值應(yīng)用于所有字幕窗口或者應(yīng)用于在第二命令代碼中指示的特定窗口 ID的字幕窗口。 本發(fā)明具有各種優(yōu)點。首先,能夠給數(shù)字接收器提供3D字幕數(shù)據(jù)同時保持與老式裝置的兼容性。其次,當(dāng)提供多個3D字幕數(shù)據(jù)時,能夠完全或個別地控制多個3D字幕數(shù)據(jù)。第三,即使當(dāng)3D字幕數(shù)據(jù)的視差信息快速地變化時,也能夠執(zhí)行處理以防止用戶感覺到眩暈。
圖I示出了根據(jù)本發(fā)明的示例性數(shù)字接收器;圖2和圖3示出了根據(jù)本發(fā)明的用于立體顯示的字幕;圖4示出了根據(jù)本發(fā)明的數(shù)字接收器中的3D字幕數(shù)據(jù)的示例性處理過程;圖5示出了根據(jù)本發(fā)明的用于視差編碼的示例性代碼集映射;圖6示出了根據(jù)本發(fā)明的用于視差編碼的示例性命令代碼;圖7示出了根據(jù)本發(fā)明的示例性使用場景;圖8示出了根據(jù)本發(fā)明的用于字幕窗口的深度的平滑改變的示例性代碼集映射;圖9和圖10示出了根據(jù)本發(fā)明的用于字幕窗口的深度的平滑改變的示例性命令代碼;以及圖11示出了根據(jù)本發(fā)明的數(shù)字接收器中的3D字幕數(shù)據(jù)的另一示例性處理過程。
具體實施例方式將在下面參考附圖詳細(xì)描述根據(jù)本發(fā)明的圖像處理設(shè)備和方法的各種實施方式。本發(fā)明涉及一種數(shù)字接收器和數(shù)字接收器的處理字幕數(shù)據(jù)的方法,并且更具體地,涉及一種提供三維(3D)字幕數(shù)據(jù)的數(shù)字接收器和在數(shù)字接收器中處理3D字幕數(shù)據(jù)的方法。本公開在下述方面描述了本發(fā)明的各種實施方式。首先,3D字幕數(shù)據(jù)被提供給數(shù)字接收器同時保持了與老式裝置的向后兼容性。其次,當(dāng)提供多個3D字幕數(shù)據(jù)時,適當(dāng)?shù)乜刂圃摱鄠€字幕數(shù)據(jù)的全部或每一個。第三,當(dāng)提供的3D字幕數(shù)據(jù)的視差信息改變時,執(zhí)行視差信息的處理使得用戶由于視差信息的處理而不會感覺到暈眩。具體地,如果在視差信息劇烈改變時立即應(yīng)用視差信息,則劇烈改變的視差會使得用戶感覺到不舒服,從而導(dǎo)致用戶在3D觀看期間感覺到不舒服。將在下面參考附圖順序地描述本發(fā)明的上述方面。為了本發(fā)明的更好的理解并且便于說明,數(shù)字接收器可以示例為包括用于3D服務(wù)處理的組件的數(shù)字電視接收器。數(shù)字電視接收器可以是接收設(shè)備,其包括用于3D服務(wù)處理的組件的機頂盒和用于輸出由機頂盒處理后的3D服務(wù)的數(shù)字單元。數(shù)字電視接收器還可以被提供為集成的處理模塊的形式。數(shù)字接收器也可以包括接收、處理和/或提供3D服務(wù)的任何裝置,例如個人數(shù)字助理(PDA)、移動電話或智能電話。數(shù)字接收器也可以是僅3D接收器和用于2D和3D的接收器中的一種。顯示3D圖像的方法包括考慮2個視點的立體圖像顯示方法和考慮3個或更多視點的多視點圖像顯示方法。傳統(tǒng)的單視點圖像顯示方法也被稱為單視場圖像顯示方法。立體圖像顯示方法使用通過使用兩個相機(即,左相機和右相機)捕獲同一對象獲取的一對圖像。多視點圖像顯示方法使用通過使用3個或更多具有預(yù)定距離或角度的相機·捕獲同一對象獲取的3個或更多圖像。雖然在下面參考立體圖像顯示方法作為示例來描述本發(fā)明,但是本發(fā)明的精神也可以根據(jù)相同或類似原理應(yīng)用于多視點圖像顯示方法。立體圖像的傳輸格式被分類為單視頻流格式和多視頻流格式。單視頻流格式包括并排、上下、交錯、幀順序、棋盤和立體影片格式并且多視頻流格式包括全左/右、全左/半右和2D視頻/深度格式。立體圖像或多視點圖像可以在通過各種圖像壓縮編碼方案(例如,活動圖像專家組(MPEG))進行壓縮和編碼之后進行發(fā)送。例如,并排、上下、交錯、幀順序或棋盤格式的立體圖像可以在通過H. 264/高級視頻編碼(AVC)方案進行壓縮和編碼之后進行發(fā)送。這里,接收系統(tǒng)可以通過以H. 264/AVC編碼方案的相反方式對立體圖像進行解碼來獲得3D圖像。全左/半右視點圖像中的左視點圖像或者多視點圖像中的一個圖像是基層圖像并且剩余的圖像被指派為增強層圖像。基層圖像可以在使用與單視場圖像相同的方案編碼之后進行發(fā)送。另一方面,增強層圖像可以在僅編碼基層與增強層圖像之間的相關(guān)信息之后進行發(fā)送。例如,可以使用JPEG、MPEG-1、MPEG-2、MPEG-4、H. 264/AVC等等作為基層圖像的壓縮編碼方案。H. 264/多視點視頻編碼(MVC)可以用作上層圖像的壓縮編碼方案。這里,雖然立體圖像被分配為基層圖像和增強層圖像,但是多視點圖像被分配為基層圖像和多個增強層圖像。用于將多視點圖像劃分為基層圖像和一個或多個增強層圖像的基準(zhǔn)可以根據(jù)相機的位置來確定或者根據(jù)相機的布置方案來確定。這樣的劃分基準(zhǔn)也可以在沒有特定標(biāo)準(zhǔn)或規(guī)則的情況下任意地確定。這樣的3D圖像顯示類型被寬泛地分類為立體類型、體型和全息型。例如,采用這樣的立體技術(shù)的3D圖像顯示裝置將深度信息添加到2D圖像并且允許用戶通過這樣的深度信息感覺3D生動性和真實性。3D圖像觀看類型被寬泛地分類為眼鏡類型和無眼鏡類型。眼鏡類型被分類為被動式和主動式。被動式使用偏振光濾光片以允許用戶分別地觀看左眼圖像和右眼圖像。被動式還包括允許用戶分別用兩個眼睛使用綠色和紅色眼鏡觀看3D圖像。另一方面,主動式使用隨時間順序地打開左眼鏡和右眼鏡來分離左眼圖像和右眼圖像的液晶快門分離左視點圖像和右視點圖像。在主動式中,按時間劃分的畫面以預(yù)定時間間隔重復(fù)并且與時段同步的電子快門安裝在用戶佩戴用于觀看3D圖像的眼鏡上。這樣的主動式也稱為時間分割式或快門眼鏡式。典型的無眼鏡類型包括其中其上垂直地布置柱狀透鏡陣列的柱狀透鏡板安裝在顯示面板的前方的柱狀透鏡類型和其中具有周期性狹縫的屏障層設(shè)置在顯示面板的頂部的視差屏障類型。然而,為了解釋的方便起見,下面參考眼鏡類型作為示例來描述本發(fā)明。圖I示出了根據(jù)本發(fā)明的示例性數(shù)字接收器。如圖I中所示,根據(jù)本發(fā)明的數(shù)字接收器包括接收單元110、解調(diào)器(或解調(diào)部)120、解復(fù)用器(解復(fù)用部)130、信令信息處理器(或SI處理部)140、音頻/視頻(A/V)解碼器150、字幕數(shù)據(jù)處理器160、圖形引擎170、屏上顯示(OSD)處理器180、混合器185、3D輸出格式化器190和控制器195。 下面描述數(shù)字接收器的組件的基本操作并且將在下面描述的每個實施方式中更詳細(xì)地描述本發(fā)明。接收單元110通過RF信道從內(nèi)容源接收包括3D圖像數(shù)據(jù)和用于3D圖像數(shù)據(jù)的
字幕數(shù)據(jù)的數(shù)字廣播信號。解調(diào)器120使用對應(yīng)于在發(fā)送側(cè)已經(jīng)應(yīng)用于數(shù)字廣播信號的調(diào)制方案的解調(diào)方案解調(diào)接收到的數(shù)字廣播信號。解復(fù)用器130將解調(diào)后的數(shù)字廣播信號解復(fù)用為音頻數(shù)據(jù)、視頻數(shù)據(jù)和信令信息。這里,解復(fù)用器130可以使用分組標(biāo)識符(PID)對解調(diào)后的數(shù)字廣播信號進行解復(fù)用以將解調(diào)后的數(shù)字廣播信號解復(fù)用為音頻數(shù)據(jù)、視頻數(shù)據(jù)和信令信息。解復(fù)用器130將解復(fù)用后的音頻和視頻信號輸出到A/V解碼器150并且將信令信息輸出到信令信息處理器140。信令信息處理器140對從解復(fù)用器130接收的信令信息進行處理并且將處理后的信令信息提供給要求處理后的信令信息的每個組件。這里,雖然信令信息可以包括諸如數(shù)字視頻廣播服務(wù)信息(DVB-SI )、節(jié)目專用信息(PSI)和節(jié)目和系統(tǒng)信息協(xié)議(PSIP)信息的系統(tǒng)信息(SI),但是為了說明的方便起見,參考PSI/PSIP信息作為示例來進行下面的描述。信令信息處理器140可以在內(nèi)部或外部包括數(shù)據(jù)庫(DB),其臨時地存儲處理后的信令信息。將在下面描述的每個實施方式中更詳細(xì)地描述信令信息。/[目令/[目息處理器140確定是否存在指不對應(yīng)的內(nèi)容是2D圖像還是3D圖像的/[目令 目息。在確定存在/[目令 目息的情況下,彳目令 目息處理器140讀取/[目令/[目息并且將/[目令/[目息發(fā)送給控制器195。信令信息處理器140解析用于3D字幕服務(wù)的節(jié)目映射表(PMT)和/或事件信息表(EIT)并且從解析的PMT和/或EIT提取用于字幕服務(wù)的描述符并且將提取的描述符傳遞給視頻解碼器(和/或控制器)使得在視頻解碼器(和/或控制器)處適當(dāng)?shù)靥幚碛糜?D服務(wù)的字幕服務(wù)。A/V解碼器150接收和解碼解復(fù)用后的音頻/視頻數(shù)據(jù)。這里,A/V解碼器150可以例如基于由信令信息處理器140處理的信令信息對數(shù)據(jù)進行解碼。在下面,省略音頻數(shù)據(jù)處理的描述,并且首先,將更詳細(xì)地描述與本發(fā)明相關(guān)的視頻數(shù)據(jù)處理。視頻信號(即,3D視頻ES)包括頭&擴展部分,其包括用于視頻數(shù)據(jù)處理的信息項目;以及包括實際視頻數(shù)據(jù)的部分。
與此相關(guān)地,根據(jù)本發(fā)明的視頻解碼器可以例如基于從PMT和/或EIT提取的字幕服務(wù)描述符識別并且處理通過對應(yīng)的字幕服務(wù)信道接收的字幕數(shù)據(jù)。A/V解碼器150包括處理頭&擴展部分的頭&擴展單元154和視頻數(shù)據(jù)處理器152。與本發(fā)明相關(guān)地,頭&擴展單元154提取字幕數(shù)據(jù)并且將提取的字幕數(shù)據(jù)提供給字幕數(shù)據(jù)處理器160。這里,根據(jù)本發(fā)明,字幕數(shù)據(jù)包括例如3D字幕數(shù)據(jù)。字幕數(shù)據(jù)處理器160對從頭&擴展單元154提取并且提供的字幕數(shù)據(jù)進行解碼。這里,字幕數(shù)據(jù)處理器160可以例如基于由信令信息處理器140處理的信令信息對字幕數(shù)據(jù)進行解碼。圖形引擎170以3D格式生成提供由字幕數(shù)據(jù)處理器160解碼的每個字幕數(shù)據(jù)項目所要求的處理等等的控制信號并且通過OSD處理器180生成根據(jù)本發(fā)明的包括3D字幕 數(shù)據(jù)的OSD數(shù)據(jù)。圖形引擎170和OSD處理器180生成用于左眼圖像和右眼圖像的全分辨率字幕圖像并且將生成的字幕圖像存儲在緩沖器或存儲器(未示出)中。視頻數(shù)據(jù)處理器152從3D視頻ES提取并解碼實際視頻數(shù)據(jù)。解碼后的3D視頻ES的每個數(shù)據(jù)項目經(jīng)由對應(yīng)的組件在混合器185處適當(dāng)?shù)鼗?br>
八
口 ο3D輸出格式化器190對在混合器185處混合的3D視頻信號和包括用于3D視頻信號的3D字幕數(shù)據(jù)的OSD數(shù)據(jù)格式化并且輸出為3D輸出格式。這里,3D輸出格式化器190可以僅在解碼后的圖像數(shù)據(jù)為3D圖像數(shù)據(jù)時才激活。即,當(dāng)解碼后的圖像數(shù)據(jù)為2D圖像數(shù)據(jù)時,3D輸出格式化器190被去激活,即,3D輸出格式化器190輸出輸入圖像數(shù)據(jù)而沒有進行任何特殊處理。即,這里,圖像數(shù)據(jù)可以繞過3D輸出格式化器190。3D輸出格式化器190例如在圖像數(shù)據(jù)的輸入過程中根據(jù)3D顯示的3D格式類型(例如,并排或上下)對輸入圖像數(shù)據(jù)進行調(diào)整大小等等。3D輸出格式化器190執(zhí)行從解碼后的輸入視頻格式轉(zhuǎn)換為輸出格式所要求的處理。與此相關(guān)地,可以在A/V解碼器150與3D輸出格式化器190之間執(zhí)行用于偽影消除、銳度增強、對比度增強、去交錯、幀率轉(zhuǎn)換和/或其它類型的質(zhì)量增強模塊的視頻處理模塊(3D輸出格式化器執(zhí)行從輸入(解碼)視頻格式轉(zhuǎn)換到原生3D顯示格式所要求的處理,可以在A/V解碼器150與3D輸出格式化器190之間存在例如偽影消除、銳度、對比度增強、去交錯、幀率轉(zhuǎn)換和其它類型的質(zhì)量增強模塊的視頻處理模塊)??刂破?95執(zhí)行數(shù)字接收器的整體控制并且還可以基于由信令信息處理器140處理的信令信息控制A/V解碼器150、控制器195、字幕數(shù)據(jù)處理器160、圖形引擎170、0SD處理器180和3D輸出格式化器190以允許3D字幕數(shù)據(jù)與3D服務(wù)一起適當(dāng)?shù)剡M行處理。將在下面更詳細(xì)地描述這樣的詳細(xì)控制。關(guān)于數(shù)字接收器中提供3D字幕數(shù)據(jù),本發(fā)明定義了用于使用左眼和右眼圖像的偏移的立體3DTV的字幕數(shù)據(jù)命令代碼同時保持了與老式數(shù)字接收器的字幕數(shù)據(jù)處理方法的向后兼容性并且還提出了與所定義的字幕數(shù)據(jù)命令代碼關(guān)聯(lián)的處理方法。特別地,在本發(fā)明中,當(dāng)同一深度應(yīng)用于同一畫面中的多個窗口時,能夠使用單個命令指定所有窗口的深度。
在下面的描述中,為了說明的方便起見,將通過主要描述用于3D服務(wù)的3D字幕數(shù)據(jù)的處理和提供來描述本發(fā)明。即,將省略對于與本發(fā)明關(guān)聯(lián)的3D服務(wù)的內(nèi)容的詳細(xì)描述,即3D服務(wù)的識別、處理等等的詳細(xì)描述,并且將僅描述必要的描述。圖2和圖3示出了根據(jù)本發(fā)明的用于立體顯示的字幕。圖2和圖3的示例示出了具有3D定位特征的2D字幕。具體地,圖2 Ca)和圖2
(b)示出了如何定位2D字幕以創(chuàng)建3D字幕并且更三維地示出了 3D字幕。圖2 (a)和圖2 (b)還分別示出了左視頻面(主面)和右視頻面(副面)。當(dāng)字幕文本定位在作為主面的左視頻面上(如圖2 (a)中所示)時,字幕文本被定位在作為副面的右視頻面上的對應(yīng)于用于字幕窗口的視差值的位置,如圖2 (b)中所示。最終,圖2 Ca)和圖2 (b)的面被組合以提供3D字幕。 參考圖3,屏幕面310位于χ-y面上,該χ-y面具有對應(yīng)于零視差的z軸值0(z=0),并且視頻對象#1 (320)和視頻對象#2 (330)分別具有負(fù)視差和正視差。還存在具有比視頻對象#1更負(fù)的負(fù)視差的字幕窗口 340。字幕窗口 340的負(fù)視差具有從下面描述的視差參數(shù)獲得的深度值。下面描述根據(jù)本發(fā)明的數(shù)字接收器中的3D字幕數(shù)據(jù)的示例性處理過程。圖4示出了根據(jù)本發(fā)明的數(shù)字接收器中的3D字幕數(shù)據(jù)的示例性處理過程。視頻解碼器接收3D視頻基本碼流(ES) (S402)。這里,假設(shè)3D視頻ES已經(jīng)被解碼為例如上下格式。在該情況下,左視點圖像數(shù)據(jù)可以位于下并且右視點圖像數(shù)據(jù)可以位于上。視頻解碼器檢測3D視頻ES的圖片頭(或者補充增強信息(SEI)消息)中包括的字幕數(shù)據(jù)并且將檢測到的字幕數(shù)據(jù)提供給字幕數(shù)據(jù)處理器并且字幕數(shù)據(jù)處理器然后對接收到的字幕數(shù)據(jù)進行解碼(S404 )。圖形引擎和/或OSD處理器使用DefineWindow命令確定字幕窗口的χ-y坐標(biāo)(S406)。這里,確定的x-y坐標(biāo)可以與例如左視點圖像數(shù)據(jù)關(guān)聯(lián)。圖形引擎和/或OSD處理器通過SetD^thPos命令確定用于對應(yīng)的字幕窗口的視差值(S408)。這可以稱為起始視差。圖形引擎和/或OSD處理器提取aw_flag并且如果提取的aw_flg為1,則不管視窗ID字段如何而將同一視差值應(yīng)用于所有當(dāng)前檢測到的窗口。另一方面,圖形引擎和/或OSD處理器提取aw_flag并且如果提取的aw_flag為0,則將視差值僅應(yīng)用于由窗口 ID字段指定的字幕窗口(S410)。圖形引擎和/或OSD處理器使用視差和視頻ES的水平大小確定將疊加在右視點圖像數(shù)據(jù)上的對應(yīng)的字幕窗口的χ-y坐標(biāo)(S412)。這里,將更詳細(xì)地描述如何確定坐標(biāo)。圖形引擎和/或OSD處理器將通過解碼諸如筆命令和文本命令的其它命令獲取的字幕數(shù)據(jù)存儲為圖像格式(S414)。這里,同一圖像用于左視頻圖片和右視頻圖片。然而,左視頻圖片和右視頻圖片的坐標(biāo)可以由于視差而不同。數(shù)字接收器通過混合器混合左字幕和左視頻圖片。在該過程中,當(dāng)3D視頻ES的左視點圖像數(shù)據(jù)是半分辨率圖像數(shù)據(jù)時,對左字幕執(zhí)行垂直大小調(diào)整(S416)。通過這樣的混合獲得的圖像在下面稱為左輸出圖像。數(shù)字接收器通過混合器混合右字幕和右視頻圖片(S418)。在該過程中,由于3D視頻ES的右視點圖像為半分辨率,因此以與左字幕相同的方式對右字幕執(zhí)行垂直大小調(diào)整。通過這樣的混合獲得的圖像在下面被稱為右輸出圖像。在立體視頻顯示輸出過程中,3D輸出格式化器根據(jù)顯示類型適當(dāng)?shù)亟诲e左輸出圖像和右輸出圖像并且輸出獲得的圖像(S420)。例如,當(dāng)顯示類型是要求被動眼鏡的水平線交錯類型時,3D輸出格式化器在屏幕上逐行地交替地輸出左輸出圖像和右輸出圖像。與上述實施方式相關(guān)地,在下面詳細(xì)地定義并描述用于3D服務(wù)和用于3D服務(wù)的3D字幕數(shù)據(jù)的處理的元數(shù)據(jù)(例如,與左視點圖像和右視點圖像之間的視差關(guān)聯(lián)的元數(shù)據(jù))。可以根據(jù)在相關(guān)標(biāo)準(zhǔn)中描述的典型方法來對文本(字符)數(shù)據(jù)進行編碼??梢允褂弥T如基于錨位置的方法的典型方法來對用于左視點圖像的3DTV隱藏字幕的X-Y坐標(biāo)進行編碼?!?br>
接收器可以使用典型方法顯示左視點圖像的隱藏字幕數(shù)據(jù)。接收器可以然后沿著深度軸在畫面面的前側(cè)或后側(cè)(S卩,前面或后面)顯示右視點圖像的字幕。根據(jù)所提出的方法,使用給出的視差(偏移)值確定右視點圖像上的隱藏字幕的位置。編碼方案用于發(fā)送視差信息。這里,視差信息可以與現(xiàn)有的2D隱藏字幕編碼方案的擴展相關(guān)聯(lián)。這里描述的視差可以應(yīng)用于由視差命令代碼中的窗口 ID指定的字幕窗口中顯示的任何隱藏字幕數(shù)據(jù)。當(dāng)對于具有預(yù)定視差值的窗口接收到新的視差值時,字幕窗口僅沿著深度軸移動。下面描述根據(jù)圖像的顯示分辨率(1920像素寬)確定的視差值。當(dāng)接收器根據(jù)顯示分辨率在更窄或更寬的區(qū)域中顯示圖像時,根據(jù)適當(dāng)?shù)闹祵τ糜陲@示字幕的像素偏移進行縮放。例如,當(dāng)將要顯示的圖像的分辨率為640像素寬時,應(yīng)用于右圖像字幕的偏移為DX640/1920,其中D是在隱藏字幕數(shù)據(jù)串中接收的視差。將在下面描述根據(jù)本發(fā)明定義的元數(shù)據(jù)。圖5示出了根據(jù)本發(fā)明的用于視差編碼的示例性代碼集映射,并且圖6示出了根據(jù)本發(fā)明的用于視差編碼的示例性命令代碼。為了更好地理解本發(fā)明并且為了說明的方便起見,例如可以使用在圖5中所示的相關(guān)標(biāo)準(zhǔn)的CO集(3字節(jié)控制代碼)中的未使用的代碼中的一個來將根據(jù)本發(fā)明定義的元數(shù)據(jù)(即,命令代碼)定義為新代碼。然而,本發(fā)明不限于該示例。下面將參考圖6更詳細(xì)地描述根據(jù)本發(fā)明的用于視差編碼的命令代碼。用于視差編碼的命令代碼總共為3字節(jié)。S卩,圖6的命令代碼定義了例如描述字幕窗口的深度位置的SetD^thPos (0x19)和相關(guān)數(shù)據(jù)(數(shù)據(jù)I和數(shù)據(jù)2)。這里,命令類型可以是窗口并且格式可以是深度代碼的格式。另外,深度代碼包括窗口 ID和視差參數(shù)。如圖6中所示,數(shù)據(jù)I的最高有效字節(jié)(MSB)可以是aw_flag字段。這里,當(dāng)aw_flag字段具有值I時,aw_flag字段表示由下面描述的dp_sign和dp指定的視差參數(shù)被應(yīng)用于所有字幕窗口,并且當(dāng)aw_flag字段具有值O時,aw_flag字段表示視差參數(shù)僅應(yīng)用于由窗口 ID指定的窗口。窗口 ID表不唯一窗口標(biāo)識符。每個畫面可以存在最多8個窗口并且窗口 ID的值可以表示O至7中的一個。
視差參數(shù)(dp_sign,dp)按像素指定左圖像和右圖像中的隱藏字幕窗口之間的視差(偏移)值??梢葬槍?920像素寬的顯示圖像分辨率來指定(描述)視差參數(shù)。SetD印thPos指定窗口的深度位置和深度位置所應(yīng)用于的窗口 ID (SetDepthPos指定窗口的深度位置和該深度位置應(yīng)用于的窗口 ID)。窗口 ID需要指示(或定位)已經(jīng)由Defineffindow命令創(chuàng)建的窗口(窗口 ID需要定位已經(jīng)由DefineWindow命令創(chuàng)建的窗口)。深度位置由與左圖像和右圖像上的字幕窗口之間的移位關(guān)聯(lián)的視差參數(shù)來確定(深度位置由作為左圖像和右圖像之間上的字幕窗口之間的移位的視差參數(shù)來確定)。SetDepthPos是3字節(jié)命令代碼以攜帶視差/[目息(SetDepthPos是3字節(jié)命令代碼以攜帶視差/[目息)。代碼0x19 (用于SetDepthPos的代碼)表示接下來的指定字幕窗口的視差的兩個字節(jié)(代碼0x19(用于SetDepthPos的代碼)表示接下來的指定字幕窗口的視差的兩個字節(jié))。老式裝置將SetDepthPos命令處理為未定義的3字節(jié)代碼。因此,老式裝置將忽略SetDepthPos命令與接下來的兩個字節(jié)。圖7示出了根據(jù)本發(fā)明的示例性使用場景。圖7的表主要分為根據(jù)本發(fā)明的使用場景的3D字幕數(shù)據(jù)的編碼值和在顯示系統(tǒng)(即,在數(shù)字接收器)中顯示的值。編碼值包括兩種類型的值,即編碼視差值(N)和錨水平位置(A)。在數(shù)字接收器中顯示的值包括顯示的視頻寬度(W)、用于顯示字幕的描述(偏移)值、左圖像中的字幕窗口的水平位置和右圖像中的對應(yīng)的字幕窗口的水平位置。在使用場景中,例如假設(shè)左圖像是主視點圖像并且右圖像是副視點圖像。表中的所有數(shù)字可以表示例如像素。根據(jù)相關(guān)標(biāo)準(zhǔn),水平位置表示字幕窗口的最左像素。字幕窗口的水平位置和顯示的偏移可以基于顯示的左圖像和右圖像的分辨率而不是空間壓縮分辨率來獲得。下面描述根據(jù)本發(fā)明的字幕深度的平滑變化的處理方法。上面和下面的描述與支持提供有幀的數(shù)目、結(jié)束視差和初始視差的字幕窗口的深度軸的變化的機制相關(guān)。初始視差值可以由上述SetD印thPos命令來指定。這里,ChangeD印thPos指定在字幕深度發(fā)生平滑變化過程中的結(jié)束視差值和幀的數(shù)目(ChangeD印thPos將指定發(fā)生字幕深度的平滑變化的過程中的結(jié)束視差值和幀計數(shù)的數(shù)目)。圖8示出了根據(jù)本發(fā)明的用于字幕窗口的深度的平滑改變的示例性代碼集映射。雖然圖8的代碼集映射與圖5中所示的視差編碼的代碼集映射在某些方面類似,但是二者存在不同。如下面所描述的,在圖8的示例中,至少兩個命令代碼SetD印thPos和ChangeD印thPos用于根據(jù)本發(fā)明的字幕窗口的深度的平滑變化,并且兩個命令代碼的不同之處在于第一個命令代碼SetDepthPos在“CO”中使用并且第二個命令代碼ChangeDepthPos 在 “C2” 中使用。在該方面,下面描述代碼空間、命令代碼等等。圖9和圖10示出了根據(jù)本發(fā)明的用于字幕窗口的深度的平滑改變的示例性命令代碼?;旧?,ChangeD印thPos命令代碼指定了字幕窗口的深度位置。這里,命令類型可以是窗口并且格式可以是ChangeD印thPos (窗口 ID、結(jié)束視差值和幀的數(shù)目)的格式。下面是參數(shù)的詳細(xì)描述。ChangeDepthPos命令代碼可以包括總共4個字節(jié)。命令代碼(或命令編碼)可以包括 EXTl+ChangeDepthPos+〈datal>+〈data2>+〈data3>。這里,在圖 10 的不例中,ChangeDepthPos被定義為0x19,而在圖9的不例中,ChangeDepthPos被定義為0x18。兩個命令代碼之間的差異與是否與本發(fā)明關(guān)聯(lián)地使用aw_flag相關(guān)。 由于aw_flag和窗口 ID與前面的圖中所示的類似,因此省略圖9中的aw_flag和窗口 ID的詳細(xì)描述。參考圖9和圖10,結(jié)束視差值(dp_sign, dp)按像素指定在由巾貞計數(shù)指定的數(shù)目的幀之后的左圖像和右圖像中的隱藏字幕窗口之間的最終視差(偏移)值。針對1920像素寬的顯示圖像分辨率指定(或描述)該視差參數(shù)。幀計數(shù)(fc)可以表示在視差從窗口的初始視差值平滑變化到結(jié)束視差值的過程中的幀的數(shù)目(幀計數(shù)(fc)可以表示在視差從窗口的初始視差值平滑變化到結(jié)束視差值的過程中的幀的數(shù)目)。下面描述用于上述過程中的字幕窗口的平滑(或逐漸)變化的ChangeD印thPos命令代碼。ChangeDepthPos通過指定變化持續(xù)時間和目標(biāo)視差值來指定窗口的深度位置的平滑變化(ChangeD印thPos通過指定變化持續(xù)時間和目標(biāo)視差值來指定窗口的深度位置的平滑變化)。ChangeD印thPos還指定這樣的平滑變化所應(yīng)用到的窗口的窗口 ID。窗口 ID表示已經(jīng)由DefineWindow命令創(chuàng)建的窗口(窗口 ID需要定位已經(jīng)由DefineWindow命令創(chuàng)建的窗口)。窗口的初始深度位置由在SetDepthPos命令中指定的視差值來確定(窗口的初始深度位置由在SetDepthPos命令中指定的視差值來確定)。窗口將使用結(jié)束視差值和幀計數(shù)沿著z軸移動(窗口將使用結(jié)束視差值和幀計數(shù)沿著z軸移動)。接收器將調(diào)整由幀計數(shù)指定的數(shù)目的幀之后的窗口 ID的視差使得窗口的最終視差為結(jié)束視差值(接收器將調(diào)整窗口 ID的視差使得在由幀計數(shù)指定的數(shù)目的幀之后,窗口的最終視差為結(jié)束視差值)。老式裝置將4字節(jié)ChangeD印thPos命令處理為未定義的4字節(jié)代碼。因此,老式裝置將忽略ChangeD印thPos命令與下面的三個字節(jié)。這里,注意的是,ChangeDepthPos能夠指定針對最多255個巾貞的深度的變化。如果需要在超過255個幀的持續(xù)時間中進行深度變化,則這可以使用多對SetDepthPos和ChangeDepthPos命令來信令(注意的是,ChangeDepthPos能夠指定針對最多255個巾貞的深度的變化。如果深度變化要求超過255個幀的持續(xù)時間,則這可以使用多對SetDepthPos和ChangeDepthPos命令來信令)。當(dāng)數(shù)字接收器不能夠平滑地改變深度時,數(shù)字接收器可以忽略例如SetDepthPos命令。
字幕的編寫者(或作者)將需要將第二 SetDepthPos命令插入在幀數(shù)目(fc)之后以便于通知接收器窗口的最終深度的有限能力。下面描述上述實施方式的使用場景。例如,用于具有有限能力的接收器的簡單的彈出字幕的命令序列如下。a)移除除了一個顯示窗口之外的所有窗口的DeleteWindow命令。b)定義隱藏窗口的DefineWindow命令。c)定制隱藏窗口的 SetWindowAttributes 命令。d) Pen Commands&Caption Text 命令。e)清除顯示的窗口的ClearWindows命令。f)定義隱藏窗口的深度位置的SetD印thPos命令。g)定義隱藏窗口與顯示窗口之間的切換的ToggleWindows命令。h) SetDepthPos 命令i) Pen Commands&Capt ion Text 命令j ) SetDepthPos 命令k) Pen Commands&Caption Text 命令可以順序地使用這些和其它命令。下面是根據(jù)本發(fā)明的具有用于字幕窗口的深度的平滑變化的命令的簡單的彈出字幕的命令序列。該命令序列可以用于具有改進的性能的接收器。a) DeleteWindow 命令b ) Def ineWindow 命令c) SetWindowAttributes 命令d) Pen Commands&Caption Text 命令e) ClearWindows 命令f) SetDepthPos命令(如果aw—flag值為I則將深度值應(yīng)用于所有窗口)g)定義深度位置的平滑變化的ChangeD印thPos命令(如果aw—flag值為I則將深度值應(yīng)用于所有窗口)h) ToggleWindows 命令i ) SetDepthPos 命令j ) Pen Commands&Capt ion Text 命令k) ChangeDepthPos 命令I(lǐng)) SetDepthPos 命令m) Pen Commands&Caption Text 命令n) ChangeDepthPos 命令可以順序地使用這些和其它命令圖11示出了根據(jù)本發(fā)明的數(shù)字接收器中的3D字幕數(shù)據(jù)的另一示例性處理過程。圖11的過程可以是上述圖4接下來的過程。因此,對于之前的過程的細(xì)節(jié),可以參考上面關(guān)于圖4的描述,并且這里將省略詳細(xì)的描述。當(dāng)圖形引擎和/或OSD處理器已經(jīng)接收到ChangeDepthPos命令時,起始視差值用作對應(yīng)于初始顯示對應(yīng)的3D字幕時的時間點的視差值(S1102)。這里,3D字幕可以使用窗口 ID使得可以根據(jù)aw_f lag應(yīng)用不同的窗口。圖形引擎和/或OSD處理器允許字幕窗口定位在對應(yīng)于已經(jīng)過去了對應(yīng)于幀計數(shù)的數(shù)目的幀之后的結(jié)束視差的深度(S1104 )。當(dāng)在步驟S1104的實施過程中在顯示中發(fā)生幀率轉(zhuǎn)換時,圖形引擎和/或OSD處理器考慮原始幀率和最終的輸出幀率適當(dāng)?shù)匦U龓嫈?shù)值。即,如果在顯示過程中,原始幀率為30并且輸出幀率為240,則在顯示過程中在對應(yīng)于8 X (幀計數(shù))的數(shù)目的幀之后應(yīng)用結(jié)束視差(SI 106)。如果在步驟S1104的實施過程中,初始顯示字幕窗口的時間點為“A”,則圖形引擎和/或OSD處理器允許“A+(fram_count)/original_frame_rate”之后的字幕窗口的視差具有結(jié)束視差值。這里,在“A”與“A+(fram_count) /original_flame_rate”之間的時間間隔中,接收器執(zhí)行用于字幕窗口視差的平滑過渡的處理以防止字幕窗口中的快速變化(S1108)。 當(dāng)在步驟SI 108的實施過程中,圖形引擎和/或OSD處理器在每幀改變視差時,在每中貞發(fā)生與(end_disparity_start_disparity)/(frame_count)相同的改變量。因此,當(dāng)這樣的實施是接收器的性能的負(fù)擔(dān)時,圖形引擎和/或OSD處理器按t幀逐漸地改變視差。在上述過程中,如果aw_flag值為I,則不管窗口 ID字段如何都將該過程應(yīng)用于在當(dāng)前服務(wù)中定義的所有窗口。如果aw_flag值為0,則僅對由窗口 ID字段指定的字幕窗口執(zhí)行上述過程。下面描述根據(jù)本發(fā)明的數(shù)字接收器的性能相關(guān)的上述實施方式。當(dāng)解碼器為理想的解碼器時,解碼器可以將SDP命令解釋為與用于右眼圖像的DFn命令相關(guān)的偏移。如果視差值劣化或不正確,則偏移可以限于實際屏幕顯示空間(該解碼器將SDP命令解釋為與用于右眼圖像的DFn命令相關(guān)的偏移。如果視差值劣化或不正確,則偏移將限于實際屏幕顯示空間)。該解碼器可以通過針對由該命令定義的數(shù)目的幀中的每一個將右圖像移動當(dāng)前窗口視差值和結(jié)束視差值之間的差的分段來解釋CDP命令。如果結(jié)束視差值劣化或不正確,最終的偏移可以限于實際屏幕顯示空間(該解碼器可以通過針對由該命令定義的數(shù)目的幀中的每一個將右圖像移動當(dāng)前窗口視差值和結(jié)束視差值之間的差的分?jǐn)?shù)來解釋CDP命令。如果結(jié)束視差值劣化或不正確,最終的偏移可以限于實際屏幕顯示空間)。上述命令的窗口 ID應(yīng)用于深度命令并且不重置用于其它命令的當(dāng)前窗口值(上述命令的窗口 ID應(yīng)用于深度命令并且不重置用于其它命令的當(dāng)前窗口值)。⑶P命令的運動將開始顯示或者切換窗口命令以使得窗口可見。如果窗口已經(jīng)可見,則該動作將立即開始(CDP命令的運動將開始顯示或者切換窗口命令以使得窗口可見。如果窗口已經(jīng)可見,則該動作將立即開始)。如果在之前的CDP命令完成之前發(fā)出了新的CDP命令,則解碼器將僅計算朝向修改后的結(jié)束視差值的新的分段移動(如果在之前的CDP命令完成之前發(fā)出了新的CDP命令,則解碼器將僅計算朝向修改后的結(jié)束視差值的新的分段移動)。清除窗口命令對于字幕窗口的位置或移動沒有影響。刪除或隱藏窗口命令將移動相對于結(jié)束視差值的偏移(清除窗口命令對于字幕窗口的位置或移動沒有影響。刪除或隱藏窗口命令將移動對于結(jié)束視差值的偏移)。
下面描述靜態(tài)字幕窗口。該字幕解碼器沒有動態(tài)地移動字幕窗口。SDP命令無效并且利用理想的解碼器來處理(該字幕解碼器不能夠動態(tài)地移動字幕窗口。SDP命令無效并且在理想解碼器中進行處理)。解碼器沒有連續(xù)地移動字幕窗口并且因此,略微不同地處理⑶P命令(由于解碼器沒有連續(xù)地移動字幕窗口,因此略微不同地處理CDP命令)。解碼器可以在“幀數(shù)目”的時段中執(zhí)行延遲動作(解碼 器將在“幀數(shù)目”的時段中執(zhí)行延遲動作)。之后,對應(yīng)的字幕窗口將改變到結(jié)束視差值(之后,對應(yīng)的字幕窗口將移動到結(jié)束視差值)。如上所述,結(jié)束視差值受到顯示空間的限制(如上,結(jié)束視差值受到顯示空間的限制)。另一方面,僅2D解碼器不能夠處理SDP或⑶P命令。即,解碼器僅能夠處理與字幕相關(guān)的2D圖像和簡單的命令。因此,SDP和⑶P命令被忽略(該解碼器不能夠處理SDP或⑶P命令。在該情況下,解碼器僅處理標(biāo)準(zhǔn)命令,如同圖像是標(biāo)準(zhǔn)2D圖像一樣。SDP和⑶P命令被忽略)。已經(jīng)在上面描述了用于實施本發(fā)明的各種實施方式。如上述描述中顯而易見地,根據(jù)本發(fā)明的數(shù)字接收器能夠提供3D字幕數(shù)據(jù)同時保持與老式裝置的兼容性。此外,當(dāng)提供多個3D字幕數(shù)據(jù)時,數(shù)字接收器能夠完全或個別地控制該多個3D字幕數(shù)據(jù)。即使當(dāng)3D字幕數(shù)據(jù)的視差信息快速地變化時,數(shù)字接收器也能夠執(zhí)行處理以防止用戶感覺到眩暈。涉及提供3D服務(wù)的數(shù)字廣播系統(tǒng)的本發(fā)明能夠完全或部分地應(yīng)用于數(shù)字廣播系統(tǒng)。
權(quán)利要求
1.一種用于發(fā)送用于三維3D服務(wù)的廣播信號的方法,所述方法包括 編碼3D視頻基本碼流ES,所述3D視頻ES包括3D字幕服務(wù); 生成用于信令傳送包括編碼后的3D視頻ES的3D視頻服務(wù)的信令信息;以及 發(fā)送包括所述3D視頻服務(wù)和所述信令信息的數(shù)字廣播信號, 其中,所述3D字幕服務(wù)包括用于生成左字幕數(shù)據(jù)的第一命令代碼以及指示字幕窗口的視差值的第二命令代碼,并且基于所述第一命令代碼和所述第二命令代碼生成右字幕數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的方法,其中,所述第二命令代碼包括指示是否不管接收器中的窗口 ID而將同一視差值應(yīng)用于所有當(dāng)前解碼窗口的標(biāo)志。
3.根據(jù)權(quán)利要求2所述的方法,其中,根據(jù)所述標(biāo)志的值,將由所述第二命令代碼指示的所述視差值應(yīng)用于所有字幕窗口或者應(yīng)用于在所述第二命令代碼中指示的特定窗口 ID的子眷窗口。
4.根據(jù)權(quán)利要求3所述的方法,其中,從所述3D視頻ES的補充增強信息SEI消息或圖片頭中的一個提取所述3D字幕服務(wù)數(shù)據(jù)。
5.一種用于處理用于三維3D服務(wù)的廣播信號的方法,所述方法包括 接收包括編碼后的3D服務(wù)和用于所述編碼后的3D服務(wù)的信令信息的數(shù)字廣播信號; 從3D服務(wù)提取3D視頻基本碼流ES ; 從提取的3D視頻ES提取用于3D字幕服務(wù)的數(shù)據(jù);以及 使用提取的3D字幕服務(wù)數(shù)據(jù)提供3D字幕服務(wù), 其中,所述提取的3D字幕服務(wù)包括用于生成左字幕數(shù)據(jù)的第一命令代碼和指示字幕窗口的視差值的第二命令代碼,并且基于所述第一命令代碼和所述第二命令代碼生成右字眷數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述的方法,其中,所述第二命令代碼包括指示是否不管窗口ID而將同一視差值應(yīng)用于所有當(dāng)前解碼字幕窗口的標(biāo)志。
7.根據(jù)權(quán)利要求6所述的方法,其中,根據(jù)所述標(biāo)志的值,將由所述第二命令代碼指示的所述視差值應(yīng)用于所有字幕窗口或者應(yīng)用于在所述第二命令代碼中指示的特定窗口 ID的子眷窗口。
8.根據(jù)權(quán)利要求7所述的方法,其中,從所述3D視頻ES的補充增強信息SEI消息或圖片頭中的一個提取所述3D字幕服務(wù)數(shù)據(jù)。
9.根據(jù)權(quán)利要求8所述的方法,其中,所述3D字幕服務(wù)數(shù)據(jù)進一步包括第三命令代碼,所述第三命令代碼用于執(zhí)行下述控制,所述控制用于允許在已經(jīng)過去了對應(yīng)于幀計數(shù)的數(shù)量個幀之后將對應(yīng)的字幕窗口定位在對應(yīng)于不同視差的深度。
10.根據(jù)權(quán)利要求9所述的方法,其中,對應(yīng)于所述第三命令代碼的值按每幀或者預(yù)定幀時段逐漸地改變視差。
11.一種用于處理用于三維3D服務(wù)的廣播信號的方法,所述方法包括 接收數(shù)字廣播信號,所述數(shù)字廣播信號包括編碼后的3D服務(wù)和用于所述編碼后的3D服務(wù)的信令信息; 從3D服務(wù)提取3D視頻基本碼流ES ; 從提取的3D視頻ES提取用于3D字幕服務(wù)的數(shù)據(jù);以及使用提取的3D字幕服務(wù)數(shù)據(jù)提供3D字幕服務(wù), 其中,提取的3D字幕服務(wù)包括用于生成左字幕數(shù)據(jù)的第一命令代碼、指示字幕窗口的視差值的第二命令代碼以及用于執(zhí)行下述控制的第三命令代碼,所述控制用于允許在已經(jīng)過去了對應(yīng)于幀計數(shù)的數(shù)量個幀之后將對應(yīng)的字幕窗口定位在對應(yīng)于不同視差的深度,并且基于所述第一命令代碼和所述第二命令代碼生成右字幕數(shù)據(jù)。
12.一種用于處理用于三維3D服務(wù)的廣播信號的方法,所述方法包括 接收數(shù)字廣播信號,所述數(shù)字廣播信號包括3D服務(wù)和用于編碼后的3D服務(wù)的信令信息; 從3D服務(wù)提取3D視頻基本碼流ES ; 從提取的3D視頻ES提取用于3D字幕服務(wù)的數(shù)據(jù); 使用用于生成左字幕數(shù)據(jù)的第一命令代碼確定字幕窗口的坐標(biāo),所述第一命令代碼包括在提取的3D字幕服務(wù)數(shù)據(jù)中; 根據(jù)第二命令代碼確定字幕窗口的視差值,所述第二命令代碼指示所述字幕窗口的視差值; 使用視差和視頻ES的水平大小信息確定將疊加在右字幕數(shù)據(jù)上的對應(yīng)的字幕窗口的坐標(biāo); 以圖像格式存儲字幕數(shù)據(jù); 將左字幕數(shù)據(jù)和左視頻圖片以及右字幕數(shù)據(jù)和右視頻圖片混合;以及 根據(jù)顯示格式對混合圖像進行交錯并且輸出交錯后的圖像。
13.一種用于處理三維3D服務(wù)的數(shù)字接收器,所述數(shù)字接收器包括 接收單元,所述接收單元被構(gòu)造為接收數(shù)字廣播信號,所述數(shù)字廣播信號包括所述3D服務(wù)和用于所述3D服務(wù)的信令信息; 解復(fù)用器,所述解復(fù)用器被構(gòu)造為將所述數(shù)字廣播信號解復(fù)用為所述3D服務(wù)和所述信令信息; 解碼器,所述解碼器被構(gòu)造為從所述3D服務(wù)提取并且解碼3D視頻基本碼流ES并且從提取的3D視頻ES提取并輸出3D字幕數(shù)據(jù); 字幕數(shù)據(jù)處理器,所述字幕數(shù)據(jù)處理器被構(gòu)造為對提取的3D字幕數(shù)據(jù)進行解碼; 圖形處理器,所述圖形處理器被構(gòu)造為基于解碼后的3D字幕數(shù)據(jù)對左視點圖像和右視點圖像的字幕圖像進行處理和存儲; 混合器,所述混合器被構(gòu)造為將3D視頻數(shù)據(jù)和3D字幕數(shù)據(jù)進行混合; 3D格式化器,所述3D格式化器被構(gòu)造為根據(jù)顯示格式對混合數(shù)據(jù)進行交錯和輸出;以及 顯示單元,所述顯示單元被構(gòu)造為輸出交錯后的3D服務(wù)數(shù)據(jù)。
14.根據(jù)權(quán)利要求13所述的數(shù)字接收器,其中,所述3D字幕數(shù)據(jù)包括 用于生成左字幕數(shù)據(jù)的第一命令代碼; 指示字幕窗口的視差值的第二命令代碼;以及 用于執(zhí)行下述控制的第三命令代碼,所述控制用于允許在已經(jīng)過去了對應(yīng)于幀計數(shù)的數(shù)量個幀之后將所述字幕窗口定位在對應(yīng)于不同視差的深度,并且 其中,基于所述第一命令代碼和所述第二命令代碼生成右字幕數(shù)據(jù)。
15.根據(jù)權(quán)利要求14所述的數(shù)字接收器,其中,所述第二命令代碼包括指示是否不管窗口 ID而將同一視差值應(yīng)用于所有當(dāng)前解碼字幕窗口的標(biāo)志,并且所述數(shù)字接收器根據(jù)所述標(biāo)志的值將由所述第二命令代碼指示的視差值應(yīng)用于所有字幕窗口或者應(yīng)用于在所述第二命令代碼中指示的特定窗口 ID的字幕窗口。
全文摘要
本發(fā)明提供了一種提供3D字幕數(shù)據(jù)的數(shù)字接收器和用于在本發(fā)明的數(shù)字接收器中處理3D字幕數(shù)據(jù)的方法。根據(jù)本發(fā)明的一個方面的用于發(fā)送用于3D服務(wù)的廣播信號的方法包括下述步驟編碼包括3D字幕服務(wù)的3D視頻ES;生成用于信令包括編碼后的3D視頻ES的3D視頻服務(wù)的信令信息;以及發(fā)送包括3D視頻服務(wù)和信令信息的數(shù)字廣播信號,其中,所述3D字幕服務(wù)包括用于生成左字幕數(shù)據(jù)的第一命令代碼以及指示字幕窗口的視差值的第二命令代碼,并且基于第一命令代碼和第二命令代碼生成右字幕數(shù)據(jù)。
文檔編號H04N13/00GK102959952SQ201180031454
公開日2013年3月6日 申請日期2011年6月27日 優(yōu)先權(quán)日2010年6月27日
發(fā)明者徐琮烈, N·楠哈庫馬爾, T·勞德 申請人:Lg電子株式會社