專利名稱:通過蓋寫視頻數(shù)據(jù)進行視頻傳遞和控制的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及用于傳遞視頻數(shù)據(jù)和/或控制視頻數(shù)據(jù)的顯示的系統(tǒng)、裝置和方法。一些實施例提供了用于在視頻數(shù)據(jù)的流中傳遞其它數(shù)據(jù)的系統(tǒng)、裝置和方法。一些實施例提供了用于生成、傳遞、處理并且顯示視頻數(shù)據(jù)以保持視頻創(chuàng)作者的創(chuàng)作意圖的系統(tǒng)、裝置和方法。
背景技術(shù):
圖I是示出從視頻捕獲到視頻內(nèi)容顯示的各個級的常規(guī)視頻傳遞管道(pipeline) 100的流程圖。在塊102,捕獲視頻幀101的序列。視頻幀101可以(例如通過數(shù)碼照相機)被數(shù)字化地捕獲或(例如使用計算機動畫技術(shù))通過計算機生成,以提供視頻數(shù)據(jù)103的流。可替代地,可以通過膠片照相機在膠片上捕獲視頻幀101。膠片被轉(zhuǎn)換為數(shù)字格式以提供視頻數(shù)據(jù)103的流。視頻數(shù)據(jù)103在塊104處被提供給處理器以進行后期制作編輯(post-productionediting)。塊104的后期制作編輯可以包括根據(jù)視頻創(chuàng)作者的創(chuàng)作意圖調(diào)整或修改圖像的特定區(qū)域中的顏色或亮度以增強圖像質(zhì)量或?qū)崿F(xiàn)圖像的特定表現(xiàn)(apparance)。在塊104,可以執(zhí)行其它編輯(例如場景選擇和排序、圖像裁剪、添加計算機生成的視覺特效等)。在塊104的后期制作編輯期間,在基準顯示器上觀看視頻圖像。在后期制作之后,視頻數(shù)據(jù)103在塊106被傳遞到顯示子系統(tǒng)。如圖IA可見,塊106的傳遞包括編碼器級107A,用于驅(qū)動視頻數(shù)據(jù)103通過視頻分配介質(zhì)105 (例如衛(wèi)星、電纜、DVD等)的廣播或發(fā)送。解碼器級107B位于塊106的顯示端,以對通過介質(zhì)105發(fā)送的視頻數(shù)據(jù)103進行解碼。顯示子系統(tǒng)可以包括視頻處理器和顯示器。在塊108處,視頻數(shù)據(jù)103被提供給視頻處理器以進行處理和/或解碼。視頻數(shù)據(jù)103被輸出到在塊110處的顯示器,以將圖像的序列顯示給觀看者。為了改進顯示的圖像的質(zhì)量,視頻數(shù)據(jù)103可被以相對高的比特率驅(qū)動通過視頻傳遞管道100,從而有助于用于定義RGB或每個色度(顏色)通道的色度值(chroma value)的增加的比特深度。例如,視頻數(shù)據(jù)103的流可以包括用于像素的每個色度通道的8、10或12比特的數(shù)據(jù)。在其它實施例中,視頻數(shù)據(jù)102的流可以包括用于像素的每個色度通道的多于12比特的數(shù)據(jù)。盡管對于每個色度通道使用高的比特深度,但是顯示特性(例如亮度范圍、色域等)的變化可影響在顯示器上呈現(xiàn)的圖像的表現(xiàn),從而所呈現(xiàn)的圖像不匹配視頻創(chuàng)作者的創(chuàng)作意圖。特別地,特定顯示子系統(tǒng)上呈現(xiàn)的圖像的被感知的顏色或亮度可能不同于在塊104的后期制作編輯期間在基準顯示器上被觀看的圖像的顏色或亮度。
此外,在常規(guī)視頻傳遞管道的處理或顯示級(例如視頻傳遞管道100的塊104、108和110 (圖I)所代表的這些級)處應(yīng)用的方法典型地以預(yù)先配置的方式來執(zhí)行,而沒有考慮可能已經(jīng)在視頻傳遞管道100的其它級處發(fā)生的處理。例如,用于顯示視頻數(shù)據(jù)103的塊110的方法可能在不知曉視頻傳遞管道100中的先前處理步驟(例如塊104的后期制作編輯)如何執(zhí)行的情況下被執(zhí)行。塊110顯示方法可能不適合于以保持如塊104后期制作編輯所確定的視頻創(chuàng)作者的創(chuàng)作意圖的方式在顯示器上呈現(xiàn)圖像。存在對于用于生成、傳遞、處理并且顯示視頻數(shù)據(jù)以保持視頻創(chuàng)作者的創(chuàng)作意圖的系統(tǒng)、裝置和方法的普遍期望。存在對于用于提供可被用于指導(dǎo)視頻數(shù)據(jù)的下游處理和/或顯示的系統(tǒng)、裝置和方法的普遍期望。
發(fā)明內(nèi)容
提供了用于將包括元數(shù)據(jù)的視頻數(shù)據(jù)提供給顯示子系統(tǒng)的系統(tǒng)、裝置和方法??梢允褂眠m合于內(nèi)容傳遞的類型(例如通過衛(wèi)星、電纜或高清晰網(wǎng)絡(luò)的電視廣播;通過IP或無線網(wǎng)絡(luò)流送多媒體 ’從DVD或其它存儲介質(zhì)重放等)的系統(tǒng)、裝置和方法來將視頻數(shù)據(jù)發(fā)送或提供給顯示子系統(tǒng)。在特定實施例中,在視頻傳遞管道的一個或多個級處,元數(shù)據(jù)被生成并且被寫入視頻數(shù)據(jù)中。元數(shù)據(jù)可以提供與以下有關(guān)的信息用于編輯視頻數(shù)據(jù)的基準顯示器的特性、基準顯示器位于其中的環(huán)境的特性、經(jīng)編輯的圖像的特性(例如亮度和色域)、顯示子系統(tǒng)的顯示位于其中的觀看環(huán)境的特性等。元數(shù)據(jù)隨視頻數(shù)據(jù)一起被傳遞到下游裝置(例如顯示子系統(tǒng))。元數(shù)據(jù)可以在對于其將要應(yīng)用嵌入的元數(shù)據(jù)的視頻幀之前被傳遞并且被下游裝置接收。元數(shù)據(jù)可以在顯示子系統(tǒng)處被提取并且解碼并且應(yīng)用于配置顯示子系統(tǒng)的顯示和/或處理視頻數(shù)據(jù)以調(diào)整用于顯示的視頻數(shù)據(jù)(例如匹配創(chuàng)作者的藝術(shù)意圖)??梢酝ㄟ^以元數(shù)據(jù)蓋寫色度數(shù)據(jù)在視頻數(shù)據(jù)中插入元數(shù)據(jù)。元數(shù)據(jù)可以寫入視頻數(shù)據(jù)的色度部分中,以用于黑色視頻巾貞、框住(frame)圖像的黑色襯邊(matte)或條線(bar)、或亮度值是零或低于閾值的像素的其它低亮度圖像區(qū)域??梢允褂蒙鲜龇椒ㄔ谝曨l數(shù)據(jù)的色度部分中寫入其它類型的數(shù)據(jù)。提供對元數(shù)據(jù)進行編碼的方法,從而避免保留的視頻字(例如保留像素值)和/或保留的元數(shù)據(jù)字(例如幀頭的開始或結(jié)束)的非故意的通信。除了以上描述的示例性的方面和實施例之外,其它的方面和實施例將通過參照附圖并且研究以下詳細描述而變得清楚。
在附圖中示出示例性實施例。目的是在此公開的實施例和附圖被看作說明性而不是限制性的。圖I是示出常規(guī)視頻傳遞管道的級的流程圖。圖IA是示出可以在圖I的視頻傳遞管道中執(zhí)行的視頻數(shù)據(jù)的傳遞的級的流程圖。圖2A示出根據(jù)特定實施例的視頻幀的序列的傳遞,一些視頻幀可以用于承載元數(shù)據(jù)。圖2B、圖2C、圖2D和圖2E示出根據(jù)特定實施例的包含可以用于承載元數(shù)據(jù)的視頻數(shù)據(jù)所表示的區(qū)域的視頻幀。圖3A示出根據(jù)特定實施例的包含可以被元數(shù)據(jù)蓋寫的色度數(shù)據(jù)的視覺動態(tài)范圍(VDR)格式的視頻數(shù)據(jù)的幀。圖3B示出根據(jù)特定實施例的包含可以被元數(shù)據(jù)蓋寫的色度數(shù)據(jù)的非VDR格式的視頻數(shù)據(jù)的幀。圖4是示出通過視頻傳遞管道的視頻數(shù)據(jù)的流以及根據(jù)ー個實施例的生成、傳遞、處理并且顯示視頻數(shù)據(jù)以保持視頻創(chuàng)作者的創(chuàng)作意圖的方法的流程圖。圖4A是示出可以在圖4視頻傳遞管道中執(zhí)行的視頻數(shù)據(jù)的傳遞的級的流程圖。圖5A、圖5B和圖5C是示出根據(jù)特定實施例的在視頻數(shù)據(jù)中編碼元數(shù)據(jù)的方法的流程圖。 圖6是示出對已使用圖5A、圖5B或圖5C的方法被編碼在視頻數(shù)據(jù)中的元數(shù)據(jù)進行解碼的根據(jù)ー個實施例的方法的流程圖。圖7示出根據(jù)ー個實施例的元數(shù)據(jù)分組。圖7A示出可以用于框住圖7的元數(shù)據(jù)分組的頭。圖8示出包括用于特定場景的元數(shù)據(jù)的視頻幀的序列的傳遞以及示出視頻幀何時相對于元數(shù)據(jù)的傳遞被處理的時間線。圖9示意性地描述可以用于實現(xiàn)在此描述的方法中的ー個或多個的根據(jù)ー個實施例的系統(tǒng)。圖IOA示意性描述可以用于在視頻數(shù)據(jù)中編碼元數(shù)據(jù)的根據(jù)ー個實施例的子系統(tǒng)。圖IOB示意性描述可以用于從視頻數(shù)據(jù)提取元數(shù)據(jù)的根據(jù)ー個實施例的子系統(tǒng)。圖11示出包含在兩個連續(xù)視頻幀上發(fā)送的不同類型的元數(shù)據(jù)的元數(shù)據(jù)分組的序列。
具體實施例方式在整個以下的描述中,闡述了具體細節(jié)以對于本領(lǐng)域技術(shù)人員提供更透徹的理解。然而,可以不詳細示出或描述公知元件,以免不必要地使得本發(fā)明模糊。相應(yīng)地,描述和附圖應(yīng)被看作是說明性的而不是限制性的。示例實施例提供了視頻傳遞管道中可用的系統(tǒng)、裝置和方法。元數(shù)據(jù)被寫入視頻數(shù)據(jù)中并且隨視頻數(shù)據(jù)一起被發(fā)送通過視頻傳遞管道。元數(shù)據(jù)例如可用于指導(dǎo)下游設(shè)備處理視頻數(shù)據(jù)和/或指導(dǎo)在顯示器上的視頻重放。顯示器可以是例如可以在電視、計算機監(jiān)視器、膝上設(shè)備、蜂窩電話或手持移動設(shè)備等中設(shè)置的平板顯示器(例如IXD、LED、0LED、高動態(tài)范圍或等離子體顯示器)、或能夠顯示視頻數(shù)據(jù)的任何其它顯示器??梢栽诎ㄒ曨l捕獲、后期制作編輯和預(yù)顯示處理的視頻傳遞管道之中的各個級處在視頻數(shù)據(jù)流中動態(tài)地生成并且寫入元數(shù)據(jù)。元數(shù)據(jù)可以定義參數(shù),該參數(shù)包括例如在后期制作編輯中使用的基準顯示器的色域和其它特性、圖像中的光源的位置、不應(yīng)改變的圖像的受保護的顔色等。這些元數(shù)據(jù)可以由解碼器和/或顯示器解碼并且處理,并且用于視頻數(shù)據(jù)的處理和/或顯示管理和配置,以控制并且增強顯示器上的視頻重放。元數(shù)據(jù)可以用于控制顯示器(和/或處理用于顯示的視頻數(shù)據(jù))以便以保持視頻創(chuàng)作者的創(chuàng)作意圖的方式來顯示視頻。在一些視頻格式中,視頻數(shù)據(jù)包括與亮度數(shù)據(jù)分離地表示的色度數(shù)據(jù)(chrominance data)。根據(jù)在此描述的實施例,可以通過元數(shù)據(jù)來蓋寫用于特定的視頻中貞或視頻幀的區(qū)域的色度數(shù)據(jù)。對于亮度水平是零或低于閾值的像素(或表示黑色像素水平的像素值),可以在基本上不影響顯示的圖像的表現(xiàn)的情況下以元數(shù)據(jù)225的比特蓋寫色度數(shù)據(jù)。可以在可以包括字段、值、比特等的視頻數(shù)據(jù)的色度通道或色度部分中寫入元數(shù)據(jù)。圖3A示出可以由元數(shù)據(jù)225蓋寫的VDR格式的數(shù)據(jù)幀10的色度部分13。圖3B示出可以由元數(shù)據(jù)225蓋寫的YCbCr格式的數(shù)據(jù)幀10的色度部分(Cr、Cb)13。VDR格式是在共有PCT 申請No.PCT/US2010/022700“EXTENDED DYNAMIC RANGE AND EXTENDED DIMENSIONALITYIMAGE SIGNAL CONVERSION AND/OR DELIVERY VIA LEGACY VIDEO INTERFACES”中描述的視頻格式,其通過引用被合并到此??梢允褂靡韵路椒ㄖ械囊粋€或多個在視頻數(shù)據(jù)中承載元數(shù)據(jù),例如 可以由與即將到來的場景、節(jié)目或其它幀序列有關(guān)的元數(shù)據(jù)蓋寫用于黑色視頻幀的視頻數(shù)據(jù)。圖2A示出顯示場景I和2的幀90的序列。如圖2A可見,在場景I的視頻幀92與場景2的視頻幀96之間的過渡時段中顯示一個或多個黑色視頻幀94。可以在后期制作編輯期間在視頻數(shù)據(jù)中已經(jīng)插入黑色視頻幀94以分離場景I和2??梢栽诒硎竞谏曨l幀94的視頻數(shù)據(jù)的色度部分中承載用于場景2的元數(shù)據(jù)225。在一些實施例中,在視頻傳遞管道中的一個或多個級處,可以在場景之間的或在場景的中間的視頻數(shù)據(jù)中插入黑色視頻幀(例如圖2A的幀94),目的是承載元數(shù)據(jù)。 表示視頻幀的襯邊或黑色條線的視頻數(shù)據(jù)可以由用于即將到來的視頻幀或視頻幀序列(例如場景、節(jié)目等)的元數(shù)據(jù)蓋寫。例如,在某些實施例中,可以在表示襯底或黑色條線80的視頻數(shù)據(jù)的色度部分中寫入元數(shù)據(jù),該襯邊或黑色條線80在包括例如郵筒格式(圖2B)、信箱格式(圖2C)和窗檻花箱格式(圖2D)的特定視頻格式的圖像84的側(cè)邊和/或之上和/或之下出現(xiàn)。 表示其它低亮度圖像區(qū)域的視頻數(shù)據(jù)可以由用于即將到來的視頻幀或視頻幀序列(例如場景、節(jié)目等)的元數(shù)據(jù)蓋寫。例如,可以在表示其像素的亮度值是零或低于閾值的圖像區(qū)域的視頻數(shù)據(jù)的色度部分中寫入元數(shù)據(jù)。在其它實施例中,可以在具有恒定色相(hue)或色度的任何區(qū)域(例如,藍色屏幕或區(qū)域)的色度部分中寫入元數(shù)據(jù)。在還其它實施例中,可以在用于特定視頻幀或圖像區(qū)域的所有視頻數(shù)據(jù)(例如亮度和色度數(shù)據(jù))中寫入元數(shù)據(jù)??梢酝ㄟ^預(yù)定方式在視頻幀中(例如比如在視頻數(shù)據(jù)的色度部分中)寫入元數(shù)據(jù)頭。元數(shù)據(jù)頭定義了包含元數(shù)據(jù)和其中對元數(shù)據(jù)進行編碼的數(shù)據(jù)的部分(例如,僅在色度部分中或在亮度和色度部分兩者中)的后續(xù)像素的數(shù)量。下游裝置對元數(shù)據(jù)頭進行解碼,并且使用頭信息對元數(shù)據(jù)進行解碼或從視頻數(shù)據(jù)中提取元數(shù)據(jù)。在對元數(shù)據(jù)頭進行解碼時,下游裝置可以跳過包含元數(shù)據(jù)的視頻幀的重放。顯示器可以在從視頻幀提取和/或處理元數(shù)據(jù)的同時重復(fù)前面視頻幀的重放。在某些實施例中,元數(shù)據(jù)頭可以定義在其處提取元數(shù)據(jù)的像素的像素值,其用于驅(qū)動顯示重放。圖4是示出根據(jù)特定實施例的通過視頻傳遞管道200的數(shù)據(jù)的流的流程圖。除了在圖4的視頻傳遞管道200中,標號開始于“2”而不是“I”之外,視頻傳遞管道200包括與圖I的視頻傳遞管道100中描述的那些級相似的級,并且因此相似的標號用于標識相似的級。在視頻傳遞管道200的一個或多個級處,可以生成元數(shù)據(jù)225并將其嵌入視頻數(shù)據(jù)203的流中以便在下游級處使用。元數(shù)據(jù)225連同視頻數(shù)據(jù)203 —起被發(fā)送通過視頻傳遞管道200,以指導(dǎo)下游設(shè)備處理視頻數(shù)據(jù)和/或指導(dǎo)在塊210處的顯示子系統(tǒng)的視頻重放??梢允褂眠m合于視頻內(nèi)容傳遞的類型(例如通過衛(wèi)星、電纜或高清晰網(wǎng)絡(luò)的電視廣播;通過IP或無線網(wǎng)絡(luò)的流送多 媒體;從DVD或其它存儲介質(zhì)重放等)的系統(tǒng)、裝置和方法在塊206處將包括嵌入的元數(shù)據(jù)225的視頻數(shù)據(jù)203傳遞到顯示子系統(tǒng)。在圖4的實施例中,在塊202處,生成照相機元數(shù)據(jù)225A并且將其嵌入在視頻數(shù)據(jù)203中。可以基于照相機設(shè)置和視頻幀捕獲環(huán)境生成照相機元數(shù)據(jù)225A。照相機元數(shù)據(jù)225A可以包括例如在視頻幀捕獲期間提供照相機設(shè)置的快照的照相機參數(shù)。這些照相機參數(shù)可以包括孔徑(光圈值(f-stop))、透鏡、快門速度、靈敏度(ISO等級)等。這些照相機參數(shù)可以用于指導(dǎo)視頻傳遞管道200中的后續(xù)步驟,例如在塊204處在后期制作編輯期間的顏色調(diào)整(例如顏色定時(color timing))或在塊210處的顯示配置。在塊204,生成后期制作元數(shù)據(jù)225B并且將其嵌入視頻數(shù)據(jù)203中。后期制作元數(shù)據(jù)225B可以包括基準顯示器和環(huán)境元數(shù)據(jù)225Bi以及源視頻內(nèi)容特征化元數(shù)據(jù)225B2。后期制作元數(shù)據(jù)225B可以用于指導(dǎo)視頻傳遞管道200中的后續(xù)步驟,例如在塊210處的顯示配置?;鶞曙@示器和環(huán)境元數(shù)據(jù)225Bi可以描述塊204的后期制作編輯中使用的基準顯示器配置和工作室或觀看環(huán)境。例如,對于用于在塊204的后期制作編輯期間顯示視頻數(shù)據(jù)203的基準顯示器,基準顯示器和環(huán)境元數(shù)據(jù)225Bi可以包括例如以下參數(shù) 以細節(jié)化分辨率描述基準顯示器的色調(diào)(tone)和色域邊界的3D顏色色域映射;籲定義基準顯示器的色調(diào)和色域邊界的參數(shù)的減少的集合(可以用于估計3D顏色色域映射); 描述用于每個色度通道的基準顯示器的色調(diào)響應(yīng)的系統(tǒng)色調(diào)響應(yīng)參數(shù);籲等等?;鶞曙@示器和環(huán)境元數(shù)據(jù)225Bi也可以包括描述工作室環(huán)境的參數(shù),在該工作室環(huán)境中,在塊204后期制作編輯期間在基準顯示器上對視頻內(nèi)容進行顏色定時或編輯。這些參數(shù)可以包括周圍亮度和周圍顏色溫度。源視頻內(nèi)容特征化元數(shù)據(jù)225B2可以描述包括信息的經(jīng)后期制作編輯的視頻內(nèi)容,該信息可以表示或提供 圖像中的光源或圖像中的反射性或放射性對象的位置圖; 視頻源內(nèi)容的色域; 有意地在基準顯示器的色域之外經(jīng)顏色定時的圖像的區(qū)域; 在由視頻處理器進行的預(yù)先顯示處理期間或在顯示配置期間不應(yīng)改變的受保護顏色; 在亮度或色域方面特征化圖像的圖像直方圖(例如,該信息可以由下游設(shè)備用于確定平均亮度以細化色調(diào)和色域映射); 場景改變或重置標記,用于警告下游設(shè)備來自先前視頻幀的任何統(tǒng)計或滯后不再有效; 特征化視頻內(nèi)容以識別運動中的對象的運動圖,其可以由下游設(shè)備結(jié)合光源位置圖使用以指導(dǎo)色調(diào)和色域映射; 經(jīng)顏色定時的內(nèi)容的源的指示(例如直接來自照相機,或來自后期制作編輯); 導(dǎo)演的創(chuàng)作意圖設(shè)置,其可以用于控制下游設(shè)備(例如解碼器/電視或其它顯示器)。例如,這些設(shè)置可以包括提供用于控制顯示器以特定模式(例如逼真、影院、標準、專業(yè)等)操作的能力的顯示模式控制;可以用于確定適當(dāng)?shù)纳蚧蛏{(diào)映射等的內(nèi)容類型(例如動畫、戲劇、體育、游戲等);色調(diào)映射(例如可以用于指導(dǎo)在顯示器處的色調(diào)擴展的經(jīng)定制的色調(diào)映射參數(shù)或曲線);以及色域映射(例如可以用于指導(dǎo)在顯示器處的色域擴展的經(jīng)定制的色域映射參數(shù)); 等等。
在塊206,視頻數(shù)據(jù)203傳遞到顯示子系統(tǒng)。如圖4A可見,塊206傳遞可以包括編碼器級207A,用于驅(qū)動通過視頻分配介質(zhì)205 (例如衛(wèi)星、電纜或高清晰度網(wǎng)絡(luò);IP或無線網(wǎng)絡(luò);或DVD或其它存儲介質(zhì)等)的視頻數(shù)據(jù)203的分配、廣播或發(fā)送??梢栽趬K206的顯示端處提供解碼器級207B,以對通過介質(zhì)205分配的視頻數(shù)據(jù)203進行解碼。可以通過例如機頂盒或通過顯示子系統(tǒng)內(nèi)的解碼器來實現(xiàn)解碼器級207B。在塊206和/或208,觀看環(huán)境元數(shù)據(jù)225C和/或其它元數(shù)據(jù)225可以嵌入在視頻數(shù)據(jù)203中。觀看環(huán)境元數(shù)據(jù)225C可以包括例如 高級視頻編碼(AVC) VDR編碼器數(shù)據(jù),提供基準監(jiān)視器色調(diào)映射或色域曲線或基準環(huán)境的周圍亮度??梢栽诮獯a器級207B處(或由視頻處理器)利用顯示子系統(tǒng)的環(huán)境和(例如通過讀取顯示器的擴展顯示識別數(shù)據(jù)(EDID)得到的)顯示特性的知識來確定該信息中的至少一些。在一些實施例中,該信息中的至少一些可以在視頻數(shù)據(jù)的后期制作處理期間在工作室被確定。 描述顯示子系統(tǒng)的顯示器位于其中的環(huán)境的參數(shù)。這些參數(shù)可以包括例如周圍亮度和/或色調(diào)或顏色溫度。觀看環(huán)境元數(shù)據(jù)225C可以用于指導(dǎo)在塊208的視頻數(shù)據(jù)的處理和/或在塊210的顯示配置。顯示子系統(tǒng)包括用于在塊208處理到來視頻數(shù)據(jù)203的視頻處理器。顯示子系統(tǒng)的視頻處理器可以基于從視頻數(shù)據(jù)203提取的元數(shù)據(jù)225 (例如元數(shù)據(jù)225A)和/或與顯示子系統(tǒng)的顯示器關(guān)聯(lián)的已知顯示特性而對視頻數(shù)據(jù)203執(zhí)行信號處理??梢愿鶕?jù)顯示特征化參數(shù)226和/或元數(shù)據(jù)225處理并且調(diào)整視頻數(shù)據(jù)203以便顯示。可以在塊206和/或208或在視頻傳遞管道200的其它級處被嵌入在視頻數(shù)據(jù)203中的其它元數(shù)據(jù)225包括輔助(houseke印ing)元數(shù)據(jù)22 (用于管理分配權(quán)限等),例如比如 指示對視頻內(nèi)容進行生成、分配、修改等的地方的數(shù)據(jù)的水印數(shù)據(jù); 出于搜索或索引目的的提供視頻內(nèi)容的描述的指紋數(shù)據(jù)等; 指示誰擁有視頻內(nèi)容和/或誰可以對其訪問的保護數(shù)據(jù); 等等??梢灾辽俨糠值鼗谂c顯示子系統(tǒng)的顯示關(guān)聯(lián)的顯示特征化參數(shù)206而生成觀看環(huán)境元數(shù)據(jù)225C。在一些實施例中,可以通過在解碼器級207A、解碼器級207B處的視頻數(shù)據(jù)103的分析和/或通過在塊208處的視頻處理器,來創(chuàng)建或提供觀看環(huán)境元數(shù)據(jù)225C、源視頻內(nèi)容特征化元數(shù)據(jù)225B2和/或輔助元數(shù)據(jù)22 。在塊210,可以對顯示子系統(tǒng)的顯示器執(zhí)行顯示配置??梢曰陲@示特征化參數(shù)226和/或元數(shù)據(jù)225 (例如照相機元數(shù)據(jù)225A、后期制作元數(shù)據(jù)225B (包括基準顯示器和環(huán)境元數(shù)據(jù)225Bi以及源視頻內(nèi)容特征化元數(shù)據(jù)225B2)以及觀看環(huán)境元數(shù)據(jù)225C)而確定用于顯示配置的適當(dāng)參數(shù)。根據(jù)這些參數(shù)來配置顯示器。視頻數(shù)據(jù)203被輸出到顯示器。用于在塊208處的視頻數(shù)據(jù)203的處理和在塊210處的顯示配置的元數(shù)據(jù)225在視頻數(shù)據(jù)流中被傳遞,從而元數(shù)據(jù)225在其應(yīng)用之前在顯示子系統(tǒng)(包括視頻處理器和顯示器)處被接收到。在一些實施例中,傳遞元數(shù)據(jù)225,使得元數(shù)據(jù)255比在其處將應(yīng)用元數(shù)據(jù)225的幀提前至少ー個視頻幀被顯示子系統(tǒng)接收到。在特定實施例中,元數(shù)據(jù)225提前ー個視頻幀被傳遞,并且在塊208和/或210處的元數(shù)據(jù)225的應(yīng)用可以在到來的視頻流中的新視頻幀被檢測到時被觸發(fā)。
在特定實施例中,視頻傳遞管道200的系統(tǒng)和/或裝置符合定義元數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)協(xié)議。圖7示出可以例如在圖4的視頻傳遞管道200的塊202、204、206或208中的任ー個處生成并且在管道中向下游傳遞的根據(jù)特定實施例的元數(shù)據(jù)225的分組250或元數(shù)據(jù)結(jié)構(gòu)。由頭(header)對分組250進行組巾貞(frame with)。在圖7的所示實施例中,分組250包括以下字段 巾貞開始(start of frame, S0F)頭252,以巾貞開始比特集合定義頭; 分組類型254,定義有效載荷中的元數(shù)據(jù)的類型(例如色域參數(shù)、場景改變標記、圖像直方圖等)以及后續(xù)元數(shù)據(jù)的格式或圖案; CFG比特256,定義組巾貞結(jié)構(gòu)(framing structure)的可配置部分(例如,CFG比特256可以定義對于分組是否啟用時間戳,以及如何應(yīng)用時間戳); 元數(shù)據(jù)有效載荷258,其長度可以變化; 幀結(jié)束(EOF)頭260,以幀結(jié)束比特集合定義頭; 時間戳262 (可選),指示何時應(yīng)用元數(shù)據(jù)有效載荷258中的數(shù)據(jù)(例如,元數(shù)據(jù)分組250被接收之后特定數(shù)量的視頻幀或場景,或者在一些其它延遲之后);以及 校驗和(例如CRC (循環(huán)冗余校驗)值264),用于使能元數(shù)據(jù)分組250的驗證。圖7A示出可以用于定義如圖7所示的元數(shù)據(jù)分組250的開始(S卩SOF頭252)或結(jié)束(即EOF頭260)的頭270。在所示實施例中,頭270以處于預(yù)定圖案272的多個比特開始。頭270以有效載荷結(jié)束(EOP)標記或比特266以及S0F/E0F標記或比特268 (例如0/1)結(jié)束。S0F/E0F標記268確定頭270是SOF頭252還是EOF頭260。只有當(dāng)EOF標記268被設(shè)置時,EOP標記266才可以是有效的。設(shè)置EOP標記266指示元數(shù)據(jù)分組250包含元數(shù)據(jù)有效載荷的最后部分。EOP標記266使得能夠在可以跨視頻幀被劃分的若干元數(shù)據(jù)分組250之中劃分元數(shù)據(jù)有效載荷。EOP標記266使得能夠在多個視頻幀上傳遞承載不同類型的元數(shù)據(jù)的分組,如圖11可見。頭中的分組類型254可以指示分組中承載的元數(shù)據(jù)的類型(見圖7)。在所示示例中,在視頻幀I的視頻數(shù)據(jù)中嵌入承載類型A元數(shù)據(jù)的第一分組380。在視頻數(shù)據(jù)流中嵌入類型A元數(shù)據(jù)期間,接收具有比元數(shù)據(jù)類型A更高的優(yōu)先級的類型B元數(shù)據(jù)。為了中斷類型A元數(shù)據(jù)的發(fā)送以有利于類型B元數(shù)據(jù),EOF標記被設(shè)置以結(jié)束第一分組380 (然而,由于仍剩余待發(fā)送的類型A元數(shù)據(jù),因此不設(shè)置EOP標記)。然后可以在視頻幀I的視頻數(shù)據(jù)中嵌入承載類型B元數(shù)據(jù)的第二分組382。在所示示例中,視頻幀I不具有足夠傳遞所有類型B元數(shù)據(jù)的色度部分。因此,快到視頻幀I的結(jié)束處,EOF標記被設(shè)置以指示第二分組382的結(jié)束(然而,由于存在剩余的待發(fā)送的類型B元數(shù)據(jù),因此不設(shè)置EOP標記)??梢栽谝曨l幀2的視頻數(shù)據(jù)中嵌入承載剩余的類型B元數(shù)據(jù)的第三分組384??梢酝ㄟ^EOF標記和EOP標記來終止第三分組384,以指示分組的結(jié)束和用于類型B元數(shù)據(jù)的元數(shù)據(jù)有效載荷的結(jié)束。類型A元數(shù)據(jù)的傳遞可以然后繼續(xù)。在所示示例中,所有剩余的類型A元數(shù)據(jù)(在元數(shù)據(jù)類型B的嵌入期間已經(jīng)被保存)被檢索并被承載于視頻幀2的視頻數(shù)據(jù)中嵌入的元數(shù)據(jù)的第四分組386中。可以通過EOF標記和EOP標記來終止第四分組386以指示分組的結(jié)束和用于類型A元數(shù)據(jù)的元數(shù)據(jù)有效載荷的結(jié)束。在視頻傳遞管道200的塊202、204、206或208中的一個或多個處,元數(shù)據(jù)225可
以被生成并且寫入在視頻數(shù)據(jù)中。元數(shù)據(jù)與視頻數(shù)據(jù)一起被傳遞通過管道。下游裝置(例如顯示子系統(tǒng))可以應(yīng)用元數(shù)據(jù)以對于視頻幀序列的視頻重放來處理視頻數(shù)據(jù)和/或配置 顯示器。元數(shù)據(jù)在特定視頻幀或幀序列之前被傳遞到視頻傳遞管道中的下游裝置,在該特定視頻幀或幀序列將由該下游裝置應(yīng)用元數(shù)據(jù)。在特定實施例中,用于即將到來的場景或節(jié)目的元數(shù)據(jù)在這樣的場景或節(jié)目之前一個或多個視頻幀被傳遞。在一些實施例中,元數(shù)據(jù)可與時間戳一起被傳遞,該時間戳指示下游裝置(例如視頻解碼器、處理器或顯示器)何時應(yīng)用元數(shù)據(jù)以處理視頻數(shù)據(jù)或管理或配置顯示器。可以用幀延遲來定義時間戳,該幀延遲指示將在已經(jīng)接收到元數(shù)據(jù)之后的特定數(shù)量的視頻幀處應(yīng)用元數(shù)據(jù)。在其它實施例中,可以用時間延遲、幀序列號、相對于視頻的開始的時間等來定義時間戳。圖8示出元數(shù)據(jù)225,該元數(shù)據(jù)225在元數(shù)據(jù)被處理并且應(yīng)用時之前被傳送通過視頻傳遞管道并且被下游設(shè)備(例如視頻處理器、解碼器和/或顯示器)接收到。在所示示例中,視頻中的新的場景在視頻幀#5處開始,視頻幀#3和#4承載可以應(yīng)用于該場景的元數(shù)據(jù)。故此,到下游設(shè)備接收并且開始處理在視頻幀#5處開始的新的場景的視頻數(shù)據(jù)時,下游設(shè)備已經(jīng)接收到應(yīng)用于該場景的(視頻幀#3和#4內(nèi)承載的)元數(shù)據(jù)??梢栽谝曨l幀#5處檢測到新的場景的開始時觸發(fā)元數(shù)據(jù)的應(yīng)用。視頻幀#3和#4可以是具有亮度值被驅(qū)動為零的像素的黑色過渡幀。可以用元數(shù)據(jù)蓋寫視頻幀#3和#4中的色度數(shù)據(jù),而基本上不影響在視頻重放期間黑色視頻幀的表現(xiàn)。圖5A、圖5B和圖5C中所示的方法中的一個或多個可以用于在視頻數(shù)據(jù)中編碼元數(shù)據(jù)。圖5A、圖5B和圖5C的方法可以應(yīng)用于將元數(shù)據(jù)寫入被以如下視頻格式編碼的視頻數(shù)據(jù)的色度部分,對于該視頻格式,色度數(shù)據(jù)與亮度數(shù)據(jù)被分離地表示。根據(jù)以下色彩空間編碼的視頻數(shù)據(jù)具有分離的色度分量,例如LUV、YCbCr, YUV、YCC、HLS、HSV、CIELAB等。圖5A、圖5B和圖5C的方法可以用于傳遞這樣的元數(shù)據(jù),該元數(shù)據(jù)隨后被視頻傳遞管道中的下游設(shè)備應(yīng)用以對于特定場景或幀的序列處理視頻數(shù)據(jù)和/或配置顯示器。圖所示的方法可以用于從視頻數(shù)據(jù)提取已經(jīng)使用圖5A、圖5B或圖5C的方法中的一個被編碼的元數(shù)據(jù)。圖5A示出在黑色視頻幀中編碼元數(shù)據(jù)的方法300。方法300開始于在塊302接收用于待顯示的下ー場景(或幀的其它序列)的元數(shù)據(jù)。方法300通過定位下一場景之前的黑色視頻幀而前進到塊304。如果在塊306確定黑色視頻幀對于承載塊302元數(shù)據(jù)可用,則在塊308,在黒色視頻幀中寫入該元數(shù)據(jù)。元數(shù)據(jù)可以被寫入表示這些視頻幀的視頻數(shù)據(jù)的色度部分(例如,見圖3A和圖3B,示出具有被元數(shù)據(jù)225蓋寫的色度部分13的數(shù)據(jù)幀10)。否則,如果黑色視頻幀不可用,則方法300通過在塊310應(yīng)用對元數(shù)據(jù)進行編碼的另一方法而繼續(xù)。方法300的塊310可以應(yīng)用圖5B或圖5C中所示的方法中的ー個、或另一方法(例如,在表示以特定視頻格式出現(xiàn)的襯邊或黑色條線80的視頻數(shù)據(jù)的色度部分中編碼元數(shù)據(jù)的方法)。例如,在電視廣播期間,可以按郵筒(Pillar box)或信箱(letter box)格式來顯示廣告;因此,廣告廣播之后的場景的元數(shù)據(jù)可以插入在廣播的廣告部分的郵筒/信箱黑色圖像區(qū)域的色度部分中。元數(shù)據(jù)可以包括表示何時應(yīng)用元數(shù)據(jù)的時間戳。圖5B示出了根據(jù)另ー實施例的對元數(shù)據(jù)進行編碼的方法320。如果在方法300的塊306確定下一場景之前的黒色視頻幀不可用于承載元數(shù)據(jù),則可以在方法300的塊310應(yīng)用方法320。方法320開始于在塊302接收用于下ー場景或幀的其它序列的元數(shù)據(jù)。方 法320通過定位當(dāng)前場景與下ー場景之間的邊界前進到塊322。在塊324,一個或多個黑色視頻幀被插入在該場景邊界處的視頻數(shù)據(jù)中(即,黒色視頻幀被插入在當(dāng)前場景的最后ー幀與下一場景的第一幀之間)。為了承載用于下一場景的元數(shù)據(jù),可以插入黑色視頻幀。在塊326,元數(shù)據(jù)可被寫入插入的黒色視頻幀。元數(shù)據(jù)可被寫入表示這些視頻幀的視頻數(shù)據(jù)的色度部分(見圖3A和圖3B,例如示出具有被元數(shù)據(jù)225蓋寫的色度部分13的數(shù)據(jù)幀10)。圖5C示出根據(jù)又ー實施例的對元數(shù)據(jù)進行編碼的方法340。如果在方法300的塊306確定下一場景之前的黒色視頻幀在視頻數(shù)據(jù)中不可用于承載元數(shù)據(jù),則可以在方法300的塊310應(yīng)用方法340。方法340開始于在塊302接收用于下ー場景或幀的其它序列的元數(shù)據(jù)。在塊342,在下一場景之前的幀中識別低亮度圖像區(qū)域。如果圖像區(qū)域的像素的亮度水平被驅(qū)動為零或低于特定閾值,則該圖像區(qū)域可以被看作低亮度圖像區(qū)域。如果在塊344確定可用的低亮度圖像區(qū)域在視頻數(shù)據(jù)的色度部分中提供了足夠的帶寬以承載塊302元數(shù)據(jù),則在塊346元數(shù)據(jù)被寫入表示這些圖像區(qū)域的視頻數(shù)據(jù)的色度部分。然而,如果任何低亮度圖像區(qū)域中可用的帶寬不足(或如果不可得到低亮度圖像區(qū)域),則方法340通過在塊348應(yīng)用對元數(shù)據(jù)進行編碼的另一方法而繼續(xù)。例如,可以在方法340的塊348處應(yīng)用圖5B所示的方法320以在為了承載元數(shù)據(jù)在場景邊界處插入的黑色幀中編碼元數(shù)據(jù)。圖示出從視頻數(shù)據(jù)提取元數(shù)據(jù)并且隨后應(yīng)用元數(shù)據(jù)的方法360,其中,已經(jīng)使用圖5A、圖5B或圖5C中的方法中的一個對元數(shù)據(jù)進行編碼。方法360開始于在塊362接收視頻數(shù)據(jù)的流。在塊364,方法360監(jiān)控用于其亮度水平被驅(qū)動為零或低于閾值的像素(低亮度像素)的色度部分,以檢測SOF頭252或定義元數(shù)據(jù)分組的開始的其它保留元數(shù)據(jù)字。在塊364處已經(jīng)檢測到元數(shù)據(jù)分組的開始之后,方法360通過定位視頻數(shù)據(jù)流中的下一低亮度像素而進入塊366。在塊368,從用于低亮度像素的像素數(shù)據(jù)的色度部分提取元數(shù)據(jù)。如果尚未到達元數(shù)據(jù)有效載荷的結(jié)束(塊370),則方法360重復(fù)在塊366、368和370的步驟(即,定位視頻數(shù)據(jù)流中的下一低亮度像素,并且從像素數(shù)據(jù)的色度部分提取元數(shù)據(jù)),直到到達元數(shù)據(jù)有效載荷的結(jié)束。在塊372,元數(shù)據(jù)可以被應(yīng)用以處理視頻數(shù)據(jù)和/或配置顯示器以用于視頻重放。在一些實施例中,第一元數(shù)據(jù)分組可以位于經(jīng)編碼的元數(shù)據(jù)之前??梢愿鶕?jù)對元數(shù)據(jù)進行編碼或解碼的每個下游裝置已知的預(yù)先選擇的方法而在視頻數(shù)據(jù)中對第一元數(shù)據(jù)分組進行編碼。第一元數(shù)據(jù)分組包含關(guān)于如何對后續(xù)元數(shù)據(jù)進行編碼的信息(例如使用哪種編碼方法)。信息可以指示視頻幀的剩余部正承載視頻數(shù)據(jù)的色度部分中的元數(shù)據(jù),例如這可以是用于黑色視頻幀的情況。信息可以指示僅視頻幀的一部分正承載視頻數(shù)據(jù)的色度部分中的元數(shù)據(jù),例如這可以是用于具有黑色襯邊或低亮度圖像區(qū)域的視頻幀的情況。信息可以指示該元數(shù)據(jù)定位在視頻幀中的何處。下游裝置可以使用第一元數(shù)據(jù)分組中的信息來指導(dǎo)來自視頻數(shù)據(jù)的元數(shù)據(jù)的解碼或提取。下游裝置可以使用第一元數(shù)據(jù)分組中的信息來指導(dǎo)在視頻數(shù)據(jù)流中插入或編碼附加元數(shù)據(jù)。在一些實施例中,為了承載元數(shù)據(jù),可以在場景內(nèi)插入黑色視頻幀。元數(shù)據(jù)可以被寫入用于黑色視頻幀的視頻數(shù)據(jù)的色度部分。在顯示端(圖4的塊210),視頻重放可以包括重復(fù)黑色視頻幀之前的視頻幀的重放。之前的視頻幀的重復(fù)確保場景的亮度保持恒定,這可以減少閃爍。根據(jù)特定實施例,通過避免不經(jīng)意地傳送保留的或保護的字或比特的序列(其長度可以是任何比特數(shù))的方式在視頻數(shù)據(jù)中對元數(shù)據(jù)進行編碼??梢源嬖趦煞N類型的保留 字可以由元數(shù)據(jù)傳送的保留的元數(shù)據(jù)字和可以由視頻數(shù)據(jù)流傳送的保留的視頻字??梢詫υ獢?shù)據(jù)進行編碼,使得元數(shù)據(jù)避免匹配保留的元數(shù)據(jù)字,例如分組的幀開始(SOF)頭252或幀結(jié)束(EOF)頭260 (圖7)??梢詫υ獢?shù)據(jù)進行編碼,使得元數(shù)據(jù)避免匹配保留視頻字(例如保留像素值)。保留像素值可以包括例如0、255和其它保留值中的一個或多個。可以用于避免保留的元數(shù)據(jù)字和/或保留的視頻字的非故意通信的編碼方法可以包括例如 6b/8b編碼(其中,連續(xù)相同比特的最長允許行程(run)是6比特長)。
8b/10b編碼(其中,連續(xù)相同比特的最長允許行程是5比特長)。 定義連續(xù)相同比特的固定圖案以表示保留的元數(shù)據(jù)字(例如SOF頭252或EOF頭260),并且避免在視頻數(shù)據(jù)中嵌入元數(shù)據(jù)有效載荷期間對固定圖案進行編碼。例如,如果固定圖案是六比特長的圖案000000和111111,則每當(dāng)在元數(shù)據(jù)有效載荷中出現(xiàn)五比特長的圖案00000或11111時,嵌入I或0保護比特作為視頻數(shù)據(jù)流中的下一比特(例如000001或111110)。在從視頻數(shù)據(jù)流提取元數(shù)據(jù)期間,該保護比特不被看作有效并且被丟棄。例如通過蓋寫該視頻數(shù)據(jù)的色度分量,(除了元數(shù)據(jù)之外的)其它種類的數(shù)據(jù)可以被寫入視頻數(shù)據(jù)。在此描述的方法可以與在其它數(shù)據(jù)通道中嵌入元數(shù)據(jù)(例如在保護比特或最低有效比特中編碼元數(shù)據(jù))的方法結(jié)合使用。在題為“SYSTEMS,APPARATUS AND METHODSFOR VIDEO DELIVERY AND CONTROLLING VIDEO DISPLAY USING EMBEDDED METADATA”的共有共同未決申請中描述了在保護比特或最低有效比特中編碼元數(shù)據(jù),其通過引用合并到此。視頻處理可以包括視頻數(shù)據(jù)的空間和/或時間濾波。執(zhí)行該濾波的下游裝置可以被配置為忽略色度部分(或視頻數(shù)據(jù)的其它元數(shù)據(jù)承載部分)中的數(shù)據(jù),或從色度部分提取元數(shù)據(jù)并且以周圍色度值來代替色度部分中的數(shù)據(jù)。在其中在非黑色圖像區(qū)域(例如,具有低亮度值的圖像區(qū)域)中承載元數(shù)據(jù)的實施例中,可以在視頻圖像的邊緣周圍的定義的邊界中插入元數(shù)據(jù),其中,以元數(shù)據(jù)蓋寫色度數(shù)據(jù)更不可能對圖像的顯示產(chǎn)生可感知的影響。為了確保有損視頻數(shù)據(jù)壓縮不導(dǎo)致視頻數(shù)據(jù)的色度部分中承載的元數(shù)據(jù)損失,可以將用于對應(yīng)亮度部分的值設(shè)置為預(yù)定值以標記色度部分中的元數(shù)據(jù)的存在并且防止視頻數(shù)據(jù)損失。下游裝置可以被配置為從色度部分提取元數(shù)據(jù),并且以用于視頻重放的黒色亮度值替代設(shè)置的亮度值。在其它實施例中,為了避免通過有損視頻數(shù)據(jù)壓縮導(dǎo)致元數(shù)據(jù)損失,元數(shù)據(jù)不被寫入色度通道的最低有效比特(例如,兩個或三個最低有效比特不用于承載元數(shù)據(jù)),從而即使這些最低有效比特通過壓縮而損失,元數(shù)據(jù)也不損失。圖9示出根據(jù)ー個實施例的可以被配置為執(zhí)行在此描述的方法中的ー個或多個的系統(tǒng)600。系統(tǒng)600的組件可以實現(xiàn)為軟件、硬件和/或其組合。系統(tǒng)600包括視頻捕獲子系統(tǒng)602、后期制作子系統(tǒng)603和顯示子系統(tǒng)604。視頻數(shù)據(jù)203的流由視頻捕獲子系統(tǒng)602生成并且傳遞到后期制作子系統(tǒng)603以進行處理和編輯。在編輯視頻數(shù)據(jù)203的過程中,視頻圖像可以在后期制作子系統(tǒng)603的基準顯示器111上被顯示并且觀看。經(jīng)編輯的視頻數(shù)據(jù)203 (經(jīng)由編碼器207A和解碼器207B通過分配介質(zhì)205)傳遞到顯示子系 統(tǒng)604,以便進行進ー步處理和顯示。子系統(tǒng)602、603和604 (以及編碼器207A)中的每ー個可以被配置為在視頻數(shù)據(jù)203中編碼元數(shù)據(jù)225。下游子系統(tǒng)可以被配置為從上游設(shè)備接收視頻數(shù)據(jù)203并且對已經(jīng)嵌入其中的元數(shù)據(jù)225進行解碼。下游子系統(tǒng)(例如子系統(tǒng)603和604)可以使用元數(shù)據(jù)225來指導(dǎo)視頻數(shù)據(jù)203的處理和/或顯示。元數(shù)據(jù)225可以連同顯示特征化參數(shù)620 —起被顯示子系統(tǒng)604使用以控制和/或指導(dǎo)在顯示子系統(tǒng)604的顯示器618上的視頻重放。如圖9可見,子系統(tǒng)602、603和604可以分別包括處理器606、608和616以及各個處理器可訪問的程序存儲器607、609和617。每個處理器可以包括中央處理單元(CPU)、ー個或多個微處理器、一個或多個現(xiàn)場可編程門陣列(FPGA)、或其任何組合、或包括能夠如在此描述的那樣運作的硬件和/或軟件的任何其它合適的處理單元。在每個子系統(tǒng)中,處理器執(zhí)行程序存儲器中存儲的軟件提供的指令。軟件可以包括用于執(zhí)行在此描述的元數(shù)據(jù)生成、編碼、解碼和處理步驟的例程,例如如下這樣的例程 生成元數(shù)據(jù)225或接收用于元數(shù)據(jù)225的參數(shù)(例如,可以在后期制作級處由顏色定時器(color timer)或顔色分級器設(shè)置這些參數(shù);元數(shù)據(jù)225可以定義如參照圖4在此描述的某些參數(shù)); 在將視頻數(shù)據(jù)203傳送到下游設(shè)備之前,在視頻數(shù)據(jù)203中編碼元數(shù)據(jù)225 ; 從自上游設(shè)備接收的視頻數(shù)據(jù)203解碼元數(shù)據(jù)225 ; 處理并且應(yīng)用元數(shù)據(jù)225以指導(dǎo)視頻數(shù)據(jù)的處理和/或顯示; 基于圖像和/或視頻數(shù)據(jù)203而選擇用于對元數(shù)據(jù)225進行編碼的方法(例如,可以基于黑色幀、黒色條線或襯邊和/或低亮度圖像區(qū)域的可用性而選擇對元數(shù)據(jù)225進行編碼的方法); 定位視頻數(shù)據(jù)中的黒色視頻幀,或定位視頻幀中的黒色或低亮度像素; 等等。系統(tǒng)600可以包括子系統(tǒng)602、603和604可訪問的儲存器(r印ository)610。儲存器610可以包括元數(shù)據(jù)定義庫612(例如,其告知元數(shù)據(jù)編碼器和解碼器如何生成和/或讀取元數(shù)據(jù))以及保留字列表614(例如,受保護的像素值或保留的元數(shù)據(jù)字)。子系統(tǒng)602、603和604可以在生成、編碼和/或處理元數(shù)據(jù)時訪問元數(shù)據(jù)定義庫612。在對元數(shù)據(jù)225進行編碼或解碼時,保留字614可被與經(jīng)編碼/解碼的元數(shù)據(jù)比特進行比較,以識別要插入(或已經(jīng)插入)元數(shù)據(jù)流中的用于防止保留字的傳送的保護比特序列。
雖然在圖9的所示實施例中示出共享的儲存器610,但在其它實施例中,子系統(tǒng)602、603和604中的每一個可以包括該子系統(tǒng)可訪問的存儲介質(zhì)中存儲的本地儲存器610。圖IOA示出根據(jù)示例實施例的可以用于在視頻數(shù)據(jù)的流中編碼元數(shù)據(jù)的子系統(tǒng)280。子系統(tǒng)280可以用于使用例如圖5A、圖5B或圖5C中所示的方法中的一個或在此描述的另一方法來對與即將到來的場景或其它幀序列有關(guān)的元數(shù)據(jù)225進行編碼。子系統(tǒng)280可以從視頻數(shù)據(jù)的源接收輸入的視頻數(shù)據(jù)203。在一些實施例中,子系統(tǒng)280可以從緩沖器或其它存儲介質(zhì)檢索輸入的視頻數(shù)據(jù)203。在其它實施例中,子系統(tǒng)280可以從視頻信號輸入接收流送的視頻數(shù)據(jù)203??梢杂眠m合于視頻內(nèi)容傳遞的類型(例如通過衛(wèi)星的電視廣播、或高清晰度網(wǎng)絡(luò)的電視廣播;通過IP或無線網(wǎng)絡(luò)流送多媒體;或讀取DVD或其它存儲介質(zhì)等)的格式來提供視頻數(shù)據(jù)203。輸入視頻數(shù)據(jù)203可以包括通過上游裝置添加到視頻數(shù)據(jù)的嵌入的元數(shù)據(jù)。根據(jù) 一些實施例,輸入的視頻數(shù)據(jù)203可以包括亮度和色度信息。在特定實施例中,通過解碼器282對視頻數(shù)據(jù)203進行解碼。解碼器282可以分離視頻信號中的亮度和色度分量。用于即將到來的場景或幀序列的視頻數(shù)據(jù)203可以被推送到由軟件和/或硬件實現(xiàn)的一個或多個數(shù)據(jù)緩沖器283中。隨著視頻數(shù)據(jù)203被接收,視頻數(shù)據(jù)203的一個或多個幀(或視頻數(shù)據(jù)203的其它部分)可以被接連推送到緩沖器283中。亮度讀取器284可以訪問緩沖器283中存儲的視頻數(shù)據(jù)203,并且讀取亮度數(shù)據(jù)以估計用于視頻數(shù)據(jù)中的視頻幀、圖像區(qū)域或像素的亮度水平。亮度讀取器284可以將亮度水平與閾值進行比較。亮度讀取器284可以識別其亮度水平為零或低于閾值的視頻幀、圖像區(qū)域或像素(例如,在圖5A的塊304定位的黑色視頻幀,或在圖5C的塊342定位的低亮度圖像區(qū)域)。亮度讀取器284可以通過例如以下的多個方式中的一個來描繪視頻幀的亮度水平,或確定視頻數(shù)據(jù)是否表示黑色視頻幀或黑色圖像區(qū)域估計視頻幀中的每個像素的亮度水平,估計視頻幀的選擇區(qū)域中的像素的亮度水平;估計采樣像素或區(qū)域的亮度水平;等。對于識別的視頻幀、圖像區(qū)域或像素,亮度讀取器284可以將色度部分中的數(shù)據(jù)與保留的元數(shù)據(jù)字(例如幀開始頭)進行比較,以識別元數(shù)據(jù)是否已經(jīng)被寫入這些色度部分。亮度讀取器284可以從元數(shù)據(jù)定義存儲器285訪問元數(shù)據(jù)字,并且將這些元數(shù)據(jù)字與色度部分中的數(shù)據(jù)進行比較以檢測元數(shù)據(jù)的存在。如果亮度水平為零或低于閾值并且元數(shù)據(jù)并未已經(jīng)嵌入色度數(shù)據(jù),則亮度讀取器284將信號287發(fā)送到數(shù)據(jù)寫入器286,以表明元數(shù)據(jù)225 (或其它數(shù)據(jù))可以被寫入用于識別的視頻幀、圖像區(qū)域或像素的色度部分(例如,如圖5A的塊308或圖5C的346討論的那樣)。亮度讀取器284可以繼續(xù)訪問并且讀取緩沖器283中的視頻數(shù)據(jù)203,直到其定位具有不包含元數(shù)據(jù)的色度部分的黑色(或低亮度)視頻幀、圖像區(qū)域或像素。當(dāng)數(shù)據(jù)寫入器286接收信號287時,數(shù)據(jù)寫入器286檢索與即將到來的場景有關(guān)的元數(shù)據(jù)225,并且將元數(shù)據(jù)225寫入亮度讀取器284所確定的適合于承載元數(shù)據(jù)的視頻幀、圖像區(qū)域或像素的色度部分。數(shù)據(jù)寫入器286可以從包含元數(shù)據(jù)的存儲或緩沖器檢索元數(shù)據(jù)225。在數(shù)據(jù)寫入器286已經(jīng)以元數(shù)據(jù)225蓋寫視頻數(shù)據(jù)203的色度數(shù)據(jù)之后,子系統(tǒng)280輸出包括插入的元數(shù)據(jù)225的視頻數(shù)據(jù)203(例如,可以從緩沖器283推送出視頻數(shù)據(jù)203,并且視頻數(shù)據(jù)203的新到來的幀被推送入緩沖器283)。輸出的視頻數(shù)據(jù)203可以被傳遞到下游裝置(例如顯示子系統(tǒng)),以便進行處理和/或視頻重放。
如果亮度讀取器284沒有識別到任何用于承載元數(shù)據(jù)的合適的視頻幀、圖像區(qū)域或像素,則為了承載元數(shù)據(jù)225,亮度讀取器284可以將信號288傳送到數(shù)據(jù)寫入器286,以使得數(shù)據(jù)寫入器286將黑色視頻幀插入視頻數(shù)據(jù)203 (例如,如參照圖5B的塊322和324所討論的那樣)。亮度讀取器284可以用信號告知數(shù)據(jù)寫入器286何時或在何處插入黒色視頻幀。例如,如對于圖5B的塊326討論的那樣,可以在場景邊界處插入在色度部分中包含元數(shù)據(jù)的黑色視頻幀。圖IOB示出根據(jù)示例實施例的可以用于從視頻數(shù)據(jù)的流解碼元數(shù)據(jù)的子系統(tǒng)290。子系統(tǒng)290可以用于使用在此描述的方法中的ー個(例如,圖的方法360)來提取用于即將到來的場景的元數(shù)據(jù)225。子系統(tǒng)290與子系統(tǒng)280在ー些方面相似。例如,子系統(tǒng)290接收輸入的視頻數(shù)據(jù)203,并且可以在解碼器292處對輸入的視頻數(shù)據(jù)203進行解碼(與子系統(tǒng)280如何接收并且解碼輸入的視頻數(shù)據(jù)203相似)。輸入的視頻數(shù)據(jù)203可以被緩存在緩沖器293。亮度讀取器294訪問緩沖器293中存儲的視頻數(shù)據(jù)203,并且讀取亮度數(shù)據(jù)以估計視頻數(shù)據(jù)中的視頻幀、圖像區(qū)域或像素的亮度水平。亮度讀取器294可以將亮度水平與閾值進行比較。亮度讀取器294可以識別其亮度水平為零或低于閾值的視頻幀、 圖像區(qū)域或像素。對于被識別的視頻幀、圖像區(qū)域或像素,亮度讀取器294可以將色度部分中的數(shù)據(jù)與保留的元數(shù)據(jù)字(例如幀開始頭)進行比較,以識別元數(shù)據(jù)是否已經(jīng)寫入這些色度部分。亮度讀取器294可以從元數(shù)據(jù)定義存儲器295訪問元數(shù)據(jù)字,并且將這些元數(shù)據(jù)字與色度部分中的數(shù)據(jù)進行比較,以檢測元數(shù)據(jù)的存在。如果元數(shù)據(jù)已經(jīng)寫入視頻幀、圖像區(qū)域或像素的色度部分,則亮度讀取器294可以將信號297發(fā)送到元數(shù)據(jù)讀取器296,以使得元數(shù)據(jù)讀取器296訪問緩沖器293中的視頻數(shù)據(jù)203并且從色度部分讀取元數(shù)據(jù)225 (或其它數(shù)據(jù))(例如,如在圖的塊368執(zhí)行的那樣)。元數(shù)據(jù)225可以存儲在元數(shù)據(jù)存儲器296中,以用于后續(xù)檢索和應(yīng)用。在其它實施例中,亮度讀取器284、294可以不讀取亮度數(shù)據(jù)來確定是否寫入或提取元數(shù)據(jù)以及在何處寫入或提取元數(shù)據(jù)。當(dāng)元數(shù)據(jù)被寫入視頻數(shù)據(jù)時,元數(shù)據(jù)分組可以由元數(shù)據(jù)寫入器生成并且插入視頻數(shù)據(jù)流中,以向下游裝置指示在何處定位視頻數(shù)據(jù)中(例如在特定視頻幀中、或在視頻幀中的特定像素處開始、或在特定圖像區(qū)域中等)的已有元數(shù)據(jù)。該元數(shù)據(jù)分組可以由子系統(tǒng)280使用以指導(dǎo)視頻數(shù)據(jù)中的附加元數(shù)據(jù)的寫入,并且由子系統(tǒng)290使用以指導(dǎo)從視頻數(shù)據(jù)提取元數(shù)據(jù)。亮度讀取器284、294可由數(shù)據(jù)處理器、CPU、微處理器、FPGA或其任何組合、或能夠讀取視頻數(shù)據(jù)以確定亮度水平并且將這些亮度水平與閾值進行比較的任何其它合適的處理單元實現(xiàn)。數(shù)據(jù)寫入器286和元數(shù)據(jù)讀取器296可由數(shù)據(jù)處理器、CPU、微處理器、FPGA或其任何組合、或能夠從視頻數(shù)據(jù)源訪問視頻數(shù)據(jù)203并且寫入或讀取視頻數(shù)據(jù)203的比特的任何其它合適的處理單元實現(xiàn)。在如上地引用組件(例如處理器、解碼器、編碼器、設(shè)備、顯示器、緩沖器、電路等)的情況下,除非另外指示,對該組件的引用(包括對“手段”的引用)應(yīng)理解為作為該組件的等同物包括執(zhí)行所描述的組件的功能的任何組件(即,功能等同),包括結(jié)構(gòu)上不等同于所公開的執(zhí)行本發(fā)明所示示例性實施例的功能的結(jié)構(gòu)的組件。特定實施例可被以程序產(chǎn)品的形式提供。程序產(chǎn)品可以包括承載包括指令的計算機可讀信號的集合的任何介質(zhì),所述指令當(dāng)由數(shù)據(jù)處理器執(zhí)行時使得數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法。根據(jù)本發(fā)明的程序產(chǎn)品可以是多種形式中任一種。程序產(chǎn)品可以包括例如物理介質(zhì),諸如包括軟盤、硬盤驅(qū)動器的磁數(shù)據(jù)存儲介質(zhì)、包括CD ROM的光數(shù)據(jù)存儲介質(zhì)、包括ROM、閃速RAM的電子數(shù)據(jù)存儲介質(zhì)等。可以可選地壓縮或加密程序產(chǎn)品上的計算機可讀信號。雖然以上已經(jīng)討論了大量示例性方法和實施例,但本領(lǐng)域技術(shù)人員應(yīng)認識到其的特定修改、變換、添加和子組合。例如 在此描述的示例實施例提供在視頻傳遞管道中可用的系統(tǒng)、裝置和方法。這些系統(tǒng)、裝置和方法可對于其它類型的數(shù)據(jù)的傳遞是有用的。 在示例實施例中,元數(shù)據(jù)被寫入視頻數(shù)據(jù)中并且隨視頻數(shù)據(jù)一起被發(fā)送通過視頻傳遞管道。在其它實施例中,其它種類的數(shù)據(jù)可被寫入視頻數(shù)據(jù)中并且隨視頻數(shù)據(jù)一起被發(fā)送通過視頻傳遞管道。例如,可以發(fā)送的附加的視頻數(shù)據(jù)可以包括附加視頻源內(nèi)容(例如不同分辨率的視頻數(shù)據(jù)(例如,更高或更低分辨率視頻數(shù)據(jù)));屏上顯示信息;和/或 啟用IP的TV或機頂盒可以檢索到的用于識別附加視頻數(shù)據(jù)源的位置的URL或IP地址;等。 根據(jù)在此描述的實施例的寫入視頻數(shù)據(jù)中的元數(shù)據(jù)可用于指導(dǎo)其它裝置(例如,視頻存檔器、記錄器(例如個人視頻記錄器或PVR、或具有記錄能力的數(shù)字調(diào)諧器)等)的配置、控制和/或操作。例如,記錄器可以預(yù)處理視頻數(shù)據(jù)以移除插入的包含元數(shù)據(jù)的幀,以減少存儲的視頻數(shù)據(jù)的量。因此,目的在于后面的所附權(quán)利要求以及之后引入的權(quán)利要求被解釋為在它們的真實精神和范圍內(nèi)原樣包括所有這些修改、變換、添加和部分組合。因此,本發(fā)明可以合適地包括、包含或基本上由在此描述的、當(dāng)前現(xiàn)有的和/或隨后開發(fā)的本發(fā)明的要素(各個部分或特征及其等同物)構(gòu)成。此外,在此示意性地公開的本發(fā)明可以在缺少任何要素的情況下實現(xiàn),無論是否在此具體地公開。顯然,根據(jù)以上教導(dǎo),本發(fā)明的大量的修改和變化是可能的。因此,應(yīng)理解,在所附權(quán)利要求的范圍內(nèi),可以除了在此具體描述的方式之外的方式實現(xiàn)本發(fā)明。相應(yīng)地,可以通過在此描述的任何形式實施本發(fā)明,包括但不限于描述本發(fā)明一些部分的結(jié)構(gòu)、特征和功能的以下的列舉示例實施例(EEE)EEE1、一種將視頻數(shù)據(jù)提供給顯示子系統(tǒng)的方法,包括(a)捕獲視頻巾貞的序列以提供視頻數(shù)據(jù);(b)在基準顯示器上編輯所述視頻數(shù)據(jù)提供的圖像;(c)生成標識所述基準顯示器的配置參數(shù)和經(jīng)編輯的圖像的特性的元數(shù)據(jù);(d)將所述元數(shù)據(jù)嵌入在所述視頻數(shù)據(jù)的一個或多個色度部分中;(e)將包括嵌入的元數(shù)據(jù)的視頻數(shù)據(jù)傳遞到所述顯示子系統(tǒng);(f)在所述顯示子系統(tǒng)處提取所述元數(shù)據(jù);以及(g)至少部分地基于所述元數(shù)據(jù)而配置所述顯示子系統(tǒng)或針對所述顯示子系統(tǒng)處理視頻數(shù)據(jù)。EEE2、如EEEl所述的方法,其中,將所述元數(shù)據(jù)嵌入色度部分中包括將所述元數(shù)據(jù)嵌入亮度值低于閾值的像素的色度部分中。EEE3、如EEE2所述的方法,其中,將所述元數(shù)據(jù)嵌入色度部分中包括(a)定位所述視頻數(shù)據(jù)中的黑色視頻幀;以及
(b)將所述元數(shù)據(jù)嵌入在所述黑色視頻幀中的像素的色度部分中。EEE4、如EEE3所述的方法,其中,所述元數(shù)據(jù)與新的場景對應(yīng),并且定位所述視頻數(shù)據(jù)中的黑色視頻幀包括定位在所述新的場景之前的黑色視頻幀。EEE5、如EEE2所述的方法,其中,將所述元數(shù)據(jù)嵌入色度部分中包括(a)定位所述視頻數(shù)據(jù)中的框住圖像的黑色襯邊;以及(b)將所述元數(shù)據(jù)嵌入在所述黑色襯邊中的像素的色度部分中。EEE6、如EEE2所述的方法,其中,將所述元數(shù)據(jù)嵌入色度部分中包括(a)定位具有亮度值低于所述閾值的圖像區(qū)域的視頻數(shù)據(jù)中的視頻幀;以及(b)將所述元數(shù)據(jù)嵌入在所述圖像區(qū)域中的像素的色度部分中。
EEE7、如EEEl所述的方法,其中,所述元數(shù)據(jù)與新的場景對應(yīng),并且所述方法包括(a)在所述視頻數(shù)據(jù)中定位所述新的場景與先前的場景之間的邊界;(b)在所述邊界處插入一個或多個黑色視頻幀;以及(c)將所述元數(shù)據(jù)嵌入在所述黑色視頻幀中的像素的色度部分中。EEE8、如EEEl至7中的任一項所述的方法,其中,傳遞所述視頻數(shù)據(jù)包括在對于其將應(yīng)用嵌入的元數(shù)據(jù)的視頻幀之前傳遞具有所述嵌入的元數(shù)據(jù)的視頻數(shù)據(jù)。EEE9、如EEEl至8中的任一項所述的方法,其中,傳遞所述視頻數(shù)據(jù)包括通過以下傳輸介質(zhì)中的一個進行傳遞DVD、Blu-ray、衛(wèi)星、電纜或互聯(lián)網(wǎng)。EEElO JnEEEl至9中的任一項所述的方法,其中,按以下格式中的一個對所述元數(shù)據(jù)進行編碼(a) 6b/8b 編碼;以及(b)8b/10b 編碼。EEEllJn EEEl至10中的任一項所述的方法,其中,對所述元數(shù)據(jù)進行編碼,使得元數(shù)據(jù)中的幀開始頭由連續(xù)相同比特的第一固定圖案表示,元數(shù)據(jù)中的幀結(jié)束頭由連續(xù)相同比特的第二固定圖案表示。EEE12、一種系統(tǒng),包括(a)視頻捕獲子系統(tǒng),用于生成視頻數(shù)據(jù);(b)后期制作子系統(tǒng),具有基準顯示器和處理器,被配置為接收并且編輯所述視頻捕獲子系統(tǒng)生成的視頻數(shù)據(jù)并且將所述視頻數(shù)據(jù)顯示在所述基準顯示器上;以及(C)顯示子系統(tǒng),具有顯示器和視頻處理器,被配置為接收經(jīng)所述后期制作子系統(tǒng)編輯的視頻數(shù)據(jù)并且將所述視頻數(shù)據(jù)顯示在所述顯示器上;其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少一個被配置為通過將元數(shù)據(jù)嵌入在所述視頻數(shù)據(jù)的一個或多個色度部分中來在所述視頻數(shù)據(jù)中編碼元數(shù)據(jù),所述顯示子系統(tǒng)被配置為應(yīng)用所述元數(shù)據(jù)以用于指導(dǎo)所述視頻數(shù)據(jù)的處理或顯
/Jn oEEE13、如EEE12所述的系統(tǒng),其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少一個被配置為通過將所述元數(shù)據(jù)嵌入在亮度值低于閾值的像素的色度部分中來在所述視頻數(shù)據(jù)中編碼元數(shù)據(jù)。EEE14、如EEE13所述的系統(tǒng),其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少ー個被配置為(a)定位所述視頻數(shù)據(jù)中的黑色視頻幀;以及(b)將所述元數(shù)據(jù)嵌入在所述黑色視頻幀中的像素的色度部分中。EEE15、如EEE13所述的系統(tǒng),其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少ー個被配置為(a)定位所述視頻數(shù)據(jù)中的框住圖像的黒色襯邊;以及(b)將所述元數(shù)據(jù)嵌入在所述黑色襯邊中的像素的色度部分中。EEE16jn EEE13所述的系統(tǒng),其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少ー個被配置為
(a)定位具有亮度值低于所述閾值的圖像區(qū)域的視頻數(shù)據(jù)中的視頻幀;以及(b)將所述元數(shù)據(jù)嵌入在所述圖像區(qū)域中的像素的色度部分中。EEE17、如EEE13所述的系統(tǒng),其中,所述元數(shù)據(jù)與新的場景對應(yīng),所述后期制作子系統(tǒng)被配置為(a)在所述視頻數(shù)據(jù)中定位所述新的場景與先前場景之間的邊界;(b)在所述邊界處插入ー個或多個黑色視頻幀;以及(c)將所述元數(shù)據(jù)嵌入在所述黑色視頻幀中的像素的色度部分中。EEElSJn EEE12所述的系統(tǒng),其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少ー個被配置為按以下格式中的一個對元數(shù)據(jù)進行編碼(a) 6b/8b 編碼;以及(b)8b/10b 編碼。EEE19、如EEE12所述的系統(tǒng),其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少ー個被配置為對所述元數(shù)據(jù)進行編碼,使得元數(shù)據(jù)中的幀開始頭由連續(xù)相同比特的第一固定圖案表示,元數(shù)據(jù)中的幀結(jié)束頭由連續(xù)相同比特的第二固定圖案表示。EEE20、如EEE12所述的系統(tǒng),其中,所述后期制作子系統(tǒng)的處理器被配置為在視頻數(shù)據(jù)中編碼標識以下中的至少ー個的元數(shù)據(jù)所述基準顯示器的配置參數(shù);以及所述視頻數(shù)據(jù)提供的圖像的色彩和發(fā)光特性。EEE21、如EEE20所述的系統(tǒng),其中,所述顯示子系統(tǒng)的視頻處理器被配置為對所述視頻數(shù)據(jù)中的元數(shù)據(jù)進行解碼,并且應(yīng)用所解碼的元數(shù)據(jù)以配置所述顯示子系統(tǒng)的顯示器或處理所述視頻數(shù)據(jù)以針對所述顯示子系統(tǒng)的顯示器的特性進行調(diào)整。EEE22、如EEE21所述的系統(tǒng),其中,所述顯示子系統(tǒng)的視頻處理器被配置為讀取所述顯示子系統(tǒng)的顯示器的擴展顯示識別數(shù)據(jù)以處理所述視頻數(shù)據(jù),以針對所述顯示子系統(tǒng)的顯示器的特性進行調(diào)整。EEE23、如EEE12至22中的任一項所述的系統(tǒng),其中,所述顯示子系統(tǒng)被配置為通過以下傳輸介質(zhì)中的至少ー個來接收視頻數(shù)據(jù)DVD、Blu-ray、衛(wèi)星、電纜或互聯(lián)網(wǎng)。EEE24、一種在視頻數(shù)據(jù)中編碼元數(shù)據(jù)的方法,所述方法包括(a)檢索待在所述視頻數(shù)據(jù)中被承載的元數(shù)據(jù);(b)定位在所述視頻數(shù)據(jù)中具有低于閾值的亮度值的像素;以及(d)以所述元數(shù)據(jù)蓋寫所述像素的色度數(shù)據(jù)。
EEE25、如EEE24所述的方法,包括(a)定位所述視頻數(shù)據(jù)中的黑色視頻幀;以及(b)以所述元數(shù)據(jù)蓋寫所述黑色視頻幀的色度數(shù)據(jù)。EEE26、如EEE24所述的方法,包括(a)定位所述視頻數(shù)據(jù)中的框住圖像的黑色襯邊;以及(b)以所述元數(shù)據(jù)蓋寫用于所述黑色襯邊的色度數(shù)據(jù)。EEE27、如EEE24所述的方法,其中,所述元數(shù)據(jù)與新的場景對應(yīng),所述方法包括(a)在所述視頻數(shù)據(jù)中定位所述新的場景與先前場景之間的邊界;
(b)在所述邊界處插入一個或多個黑色視頻幀;以及(c)以所述元數(shù)據(jù)蓋寫用于所述黑色視頻幀的色度數(shù)據(jù)。EEE28、如EEE24至27中的任一項所述的方法,其中,按以下格式中的一個對所述元數(shù)據(jù)進行編碼(a) 6b/8b 編碼;以及(b)8b/10b 編碼。EEE29、如EEE24至28中的任一項所述的方法,其中,對所述元數(shù)據(jù)進行編碼,使得元數(shù)據(jù)中的幀開始頭由連續(xù)相同比特的第一固定圖案表示,元數(shù)據(jù)中的幀結(jié)束頭由連續(xù)相同比特的第二固定圖案表示。EEE30、一種從視頻數(shù)據(jù)提取元數(shù)據(jù)的方法,包括(a)在所述視頻數(shù)據(jù)中識別具有低于閾值的亮度值的像素;(b)監(jiān)控用于元數(shù)據(jù)分組的開始的所述像素的色度部分;以及(c)在定位元數(shù)據(jù)分組的開始之后從所述色度部分提取元數(shù)據(jù)。EEE31、一種包括在此描述的任何新的和本發(fā)明的動作、步驟、動作和/或步驟的組合以及動作和/或步驟的部分組合的方法。EEE32、一種包括在此描述的任何新的和本發(fā)明的特征、特征的組合或特征的部分
組合的裝置。
權(quán)利要求
1.一種將視頻數(shù)據(jù)提供給顯示子系統(tǒng)的方法,包括 Ca)捕獲視頻幀的序列以提供視頻數(shù)據(jù); (b)在基準顯示器上編輯所述視頻數(shù)據(jù)提供的圖像; (c)生成標識所述基準顯示器的配置參數(shù)和被編輯的圖像的特性的元數(shù)據(jù); Cd)將所述元數(shù)據(jù)嵌入在所述視頻數(shù)據(jù)的一個或多個色度部分中; Ce)將包括嵌入的元數(shù)據(jù)的視頻數(shù)據(jù)傳遞到所述顯示子系統(tǒng); Cf)在所述顯示子系統(tǒng)處提取所述元數(shù)據(jù);以及 (g)至少部分地基于所述元數(shù)據(jù)配置所述顯示子系統(tǒng)或針對所述顯示子系統(tǒng)處理視頻數(shù)據(jù)。
2.如權(quán)利要求I所述的方法,其中,將所述元數(shù)據(jù)嵌入色度部分中包括將所述元數(shù)據(jù)嵌入在亮度值低于閾值的像素的色度部分中。
3.如權(quán)利要求2所述的方法,其中,將所述元數(shù)據(jù)嵌入色度部分中包括 Ca)定位所述視頻數(shù)據(jù)中的黑色視頻幀;以及 (b)將所述元數(shù)據(jù)嵌入在所述黑色視頻幀中的像素的色度部分中。
4.如權(quán)利要求3所述的方法,其中,所述元數(shù)據(jù)與新的場景對應(yīng),并且定位所述視頻數(shù)據(jù)中的黑色視頻幀包括定位在所述新的場景之前的黑色視頻幀。
5.如權(quán)利要求2所述的方法,其中,將所述元數(shù)據(jù)嵌入色度部分中包括 Ca)定位所述視頻數(shù)據(jù)中的框住圖像的黑色襯邊;以及 (b)將所述元數(shù)據(jù)嵌入在所述黑色襯邊中的像素的色度部分中。
6.如權(quán)利要求2所述的方法,其中,將所述元數(shù)據(jù)嵌入色度部分中包括 Ca)定位視頻數(shù)據(jù)中的具有亮度值低于所述閾值的圖像區(qū)域的視頻幀;以及 (b)將所述元數(shù)據(jù)嵌入在所述圖像區(qū)域中的像素的色度部分中。
7.如權(quán)利要求I所述的方法,其中,所述元數(shù)據(jù)與新的場景對應(yīng),并且所述方法包括 Ca)在所述視頻數(shù)據(jù)中定位所述新的場景與先前場景之間的邊界; (b)在所述邊界處插入一個或多個黑色視頻幀;以及 (c)將所述元數(shù)據(jù)嵌入在所述黑色視頻幀中的像素的色度部分中。
8.如權(quán)利要求I至7中的任一項所述的方法,其中,傳遞所述視頻數(shù)據(jù)包括在對于其將應(yīng)用嵌入的元數(shù)據(jù)的視頻幀之前傳遞具有所述嵌入的元數(shù)據(jù)的視頻數(shù)據(jù)。
9.如權(quán)利要求I至8中的任一項所述的方法,其中,傳遞所述視頻數(shù)據(jù)包括通過以下發(fā)送介質(zhì)中的一個進行傳遞DVD、Blu-ray、衛(wèi)星、電纜或互聯(lián)網(wǎng)。
10.如權(quán)利要求I至9中的任一項所述的方法,其中,按以下格式中的一個對所述元數(shù)據(jù)進行編碼 (a)6b/8b編碼;以及 (b)8b/10b編碼。
11.一種系統(tǒng),包括 (a)視頻捕獲子系統(tǒng),用于生成視頻數(shù)據(jù); (b)后期制作子系統(tǒng),具有基準顯示器和處理器,被配置為接收并且編輯所述視頻捕獲子系統(tǒng)所生成的視頻數(shù)據(jù)并且在所述基準顯示器上顯示所述視頻數(shù)據(jù);以及 (C)顯示子系統(tǒng),具有顯示器和視頻處理器,被配置為接收經(jīng)所述后期制作子系統(tǒng)編輯的視頻數(shù)據(jù)并且在所述顯示器上顯示所述視頻數(shù)據(jù); 其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少一個被配置為通過將元數(shù)據(jù)嵌入在所述視頻數(shù)據(jù)的一個或多個色度部分中來將元數(shù)據(jù)編碼在所述視頻數(shù)據(jù)中,所述顯示子系統(tǒng)被配置為應(yīng)用所述元數(shù)據(jù)以用于指導(dǎo)所述視頻數(shù)據(jù)的處理或顯示。
12.如權(quán)利要求11所述的系統(tǒng),其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少一個被配置為通過將元數(shù)據(jù)嵌入在亮度值低于閾值的像素的色度部分中來將元數(shù)據(jù)編碼在所述視頻數(shù)據(jù)中。
13.如權(quán)利要求12所述的系統(tǒng),其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少一個被配置為 Ca)定位所述視頻數(shù)據(jù)中的黑色視頻幀;以及 (b)將所述元數(shù)據(jù)嵌入在所述黑色視頻幀中的像素的色度部分中。
14.如權(quán)利要求12所述的系統(tǒng),其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少一個被配置為 Ca)定位所述視頻數(shù)據(jù)中的框住圖像的黑色襯邊;以及 (b)將所述元數(shù)據(jù)嵌入在所述黑色襯邊中的像素的色度部分中。
15.如權(quán)利要求12所述的系統(tǒng),其中,所述視頻捕獲子系統(tǒng)、后期制作子系統(tǒng)和顯示子系統(tǒng)中的至少一個被配置為 Ca)定位視頻數(shù)據(jù)中的具有亮度值低于所述閾值的圖像區(qū)域的視頻幀;以及 (b)將所述元數(shù)據(jù)嵌入在所述圖像區(qū)域中的像素的色度部分中。
16.如權(quán)利要求12所述的系統(tǒng),其中,所述元數(shù)據(jù)與新的場景對應(yīng),所述后期制作子系統(tǒng)被配置為 Ca)在所述視頻數(shù)據(jù)中定位所述新的場景與先前的場景之間的邊界; (b)在所述邊界處插入一個或多個黑色視頻幀;以及 (c)將所述元數(shù)據(jù)嵌入在所述黑色視頻幀中的像素的色度部分中。
全文摘要
提供了用于生成、傳遞、處理并且顯示視頻數(shù)據(jù)以保持視頻創(chuàng)作者的創(chuàng)作意圖的系統(tǒng)、裝置和方法。在整個視頻傳遞管道中,可以用于指導(dǎo)視頻數(shù)據(jù)的處理和顯示的元數(shù)據(jù)被動態(tài)地生成并且嵌入在視頻數(shù)據(jù)中。元數(shù)據(jù)可以寫入用于黑色視頻幀、框住圖像的黑色襯邊或條線、和/或亮度值是零或低于閾值的其它圖像區(qū)域中的色度數(shù)據(jù)。
文檔編號H04N9/64GK102771109SQ201180010444
公開日2012年11月7日 申請日期2011年2月15日 優(yōu)先權(quán)日2010年2月22日
發(fā)明者L·約翰遜, N·W·麥斯莫爾 申請人:杜比實驗室特許公司