專利名稱：3d圖像數(shù)據的傳輸?shù)闹谱鞣椒?br> 技術領域：
本發(fā)明涉及一種傳輸三維(3D)圖像數(shù)據的方法，該方法包括在3D源設備處，處理源圖像數(shù)據以產生3D顯示信號，該3D顯示信號包含依照3D視頻傳輸格式構成3D圖像數(shù)據的幀，在所述格式中，所述幀包括至少兩種不同幀類型，并且輸出該3D顯示信號；并且該方法包括在3D顯示設備處，將3D圖像數(shù)據顯示在3D顯示器上，接收3D顯示信號，并且檢測接收的3D顯示信號中的不同幀類型，并且基于這些不同幀類型產生用于在3D顯示器上再現(xiàn)3D圖像數(shù)據的顯示控制信號。本發(fā)明還涉及上面提到的3D源設備、3D顯示信號和3D顯示設備。本發(fā)明涉及經由高速數(shù)字接口(例如HDMI)傳輸三維圖像數(shù)據(例如3D視頻)以便在3D顯示設備上顯示的領域。
背景技術：
用于提供(source) 2D視頻數(shù)據的設備是已知的，例如像DVD播放器那樣的視頻播放器或者提供數(shù)字視頻信號的機頂盒。源設備要耦合到像電視機或監(jiān)視器那樣的顯示設備。圖像數(shù)據經由適當?shù)慕涌冢瑑?yōu)選地經由像HDMI那樣的高速數(shù)字接口從源設備傳輸。目前，正提出用于提供三維(3D)圖像數(shù)據的3D增強設備。類似地，正提出用于顯示3D圖像數(shù)據的設備。為了將3D視頻信號從源設備傳輸?shù)斤@示設備，正在開發(fā)新的高數(shù)據率數(shù)字接口標準，其例如基于現(xiàn)有的HDMI標準且與該標準兼容。將2D數(shù)字圖像信號傳輸?shù)斤@示設備通常涉及逐幀發(fā)送視頻像素數(shù)據，所述幀要順序地顯示。這樣的幀可以代表逐行掃描視頻信號的視頻幀(全幀)或者可以代表隔行掃描視頻信號的視頻幀(基于公知的線隔行掃描， 提供奇數(shù)行的幀與提高偶數(shù)行的下一幀被順序地顯示)。文獻US4979033描述了具有隔行掃描格式的傳統(tǒng)視頻信號的一個實例。傳統(tǒng)的信號包括用于在傳統(tǒng)的電視上顯示奇數(shù)和偶數(shù)幀的行和幀的水平和垂直同步信號。立體視頻系統(tǒng)和方法被提出，其允許立體視頻與使用快門眼鏡的顯示器的同步。奇數(shù)和偶數(shù)幀用來傳輸立體視頻信號的對應的左右圖像。所提出的3D顯示設備包括檢測傳統(tǒng)的奇數(shù)/偶數(shù)幀的傳統(tǒng)包絡檢測器，但是改為產生用于左右LCD顯示單元的顯示信號。特別地，對垂直消隱間隔期間出現(xiàn)的對于傳統(tǒng)隔行掃描模擬視頻信號中的奇數(shù)幀和偶數(shù)幀而言不同的均衡脈沖計數(shù)以標識對應的左邊或右邊場。該系統(tǒng)使用該信息以使一副快門眼鏡同步，從而快門眼鏡與立體視頻同步地交替打開和關閉。

發(fā)明內容
文獻US4979033提供了其中基于傳統(tǒng)模擬視頻信號中的現(xiàn)有水平線同步脈沖檢測兩種3D幀類型(左/右)的顯示設備的一個實例。然而，尤其是對于隔行掃描視頻信號而言，不存在操作水平線同步脈沖的選項。如上面提到的當前系統(tǒng)出現(xiàn)的一個問題在于，不存在左右視頻幀與快門眼鏡的絕對同步。同步是相對的。這在實踐中意味著，左右圖像經常交換，使得左眼看見預期用于右眼的圖像，反之亦然。通常情況下，這不成問題，因為3D CAD設計者、專業(yè)用戶將很快注意到這點并且在通常為PC的源設備中左右交換。我們已經發(fā)現(xiàn)，如現(xiàn)有技術中描述的立體3D系統(tǒng)的沒有經驗的用戶不會正確認識到左右圖像何時被交換。這可能非常成問題，因為這可能導致嚴重的眼睛疲勞，甚至是惡心。如果現(xiàn)在廣泛采用了這種系統(tǒng)，那么它將在消費者之間造成疑惑并且嚴重地阻礙該技術的采納。因此，已知的3D顯示信號不能用于傳輸各種不同的數(shù)字3D圖像信號以供消費者使用。本發(fā)明的目的是提供一種更靈活且可靠的用于將3D視頻信號傳輸?shù)斤@示設備的系統(tǒng)。為此目的，依照本發(fā)明的第一方面，在如開篇段落中所描述的方法中，每幀具有用于表示數(shù)字圖像像素數(shù)據序列的數(shù)據結構，并且每種幀類型代表部分3D數(shù)據結構，該方法包括在3D源設備處，在3D顯示信號中包含至少一個幀類型同步指示符；并且所述檢測包括從3D顯示信號中獲取幀類型同步指示符，所述產生顯示控制信號基于根據幀類型同步指示符使部分3D數(shù)據結構同步。為此目的，依照本發(fā)明的第二方面，如開篇段落中所描述的用于將3D圖像數(shù)據傳輸?shù)?D顯示設備的3D源設備包括用于處理源圖像數(shù)據以產生3D顯示信號的生成裝置， 該3D顯示信號包含依照3D視頻傳輸格式構成3D圖像數(shù)據的幀，在所述格式中，所述幀包括至少兩種不同幀類型；以及用于輸出3D顯示信號的輸出接口裝置，其中每幀具有用于表示數(shù)字圖像像素數(shù)據序列的數(shù)據結構，并且每種幀類型代表部分3D數(shù)據結構，所述設備包括傳送同步裝置，該傳送同步裝置用于在3D顯示信號中包含至少一個幀類型同步指示符以便在顯示設備處基于根據該幀類型同步指示符使部分3D數(shù)據結構同步而產生顯示控制信號。為此目的，依照本發(fā)明的另一方面，如開篇段落中所描述的3D顯示設備數(shù)據包括用于顯示3D圖像數(shù)據的3D顯示器；用于接收3D顯示信號的輸入接口裝置，該3D顯示信號包含依照3D視頻傳輸格式構成3D圖像數(shù)據的幀，在所述格式中，所述幀包括至少兩種不同幀類型；以及用于檢測接收的3D顯示信號中的不同幀類型的檢測裝置；以及用于基于所述不同幀類型產生用于在3D顯示器上再現(xiàn)3D圖像數(shù)據的顯示控制信號的處理裝置，其中每幀具有用于表示數(shù)字圖像像素數(shù)據序列的數(shù)據結構，每種幀類型代表部分3D數(shù)據結構，并且檢測裝置被設置用于從3D顯示信號中獲取幀類型同步指示符，處理裝置被設置用于基于根據該幀類型同步指示符使部分3D數(shù)據結構同步而產生顯示控制信號。為此目的，依照本發(fā)明的另一方面，如開篇段落中所描述的用于將3D圖像數(shù)據傳輸?shù)?D顯示設備的3D顯示信號包含依照3D視頻傳輸格式構成3D圖像數(shù)據的幀，在所述格式中，所述幀包括至少兩種不同幀類型，其中每幀具有用于表示數(shù)字圖像像素數(shù)據序列的數(shù)據結構，每種幀類型代表部分3D數(shù)據結構，并且該3D顯示信號包括至少一個幀類型同步指示符，其用于基于根據該幀類型同步指示符使部分3D數(shù)據結構同步而產生顯示控制信號。這些措施具有以下效果3D顯示信號被結構化為幀序列，而各幀具有如幀類型同步指示符所指示的不同類型。有利的是，該顯示信號維持2D顯示信號的基本結構，同時允許傳輸一系列不同的幀類型，每種幀類型體現(xiàn)部分3D數(shù)據結構，這些部分3D數(shù)據結構在接收3D顯示設備中基于幀類型同步指示符所指示的幀功能和時序被組合以產生顯示控制信號。幀類型同步指示符不執(zhí)行相對同步，而是改為實現(xiàn)絕對同步。這避免了用戶必須確定左右圖像是否被交換。本發(fā)明也基于以下認識。所有的傳統(tǒng)模擬和數(shù)字顯示接口信號內在地被設計用于直接產生顯示控制信號，比如上面描述的水平線同步脈沖和幀序列。因此，信號本身指示顯示控制信號的時序和生成，而每個后續(xù)幀的功能由其在信號中的位置暗示。傳統(tǒng)的顯示單元并不處理圖像數(shù)據，而是嚴格地遵循顯示接口信號。本發(fā)明人發(fā)現(xiàn)，對于3D顯示信號而言，存在在顯示設備自身中構成最終的3D顯示控制信號的需要，因為如果3D圖像數(shù)據的分量由源設備在接口信號中以預定義的固定方式組合，那么不能最佳地實現(xiàn)各種不同的顯示類型信號以及觀看者條件和設置。因此，在新的3D顯示信號中，在不同幀類型的幀中分開地傳輸各種不同的分量。后來，本發(fā)明人發(fā)現(xiàn)，當按照不同幀類型傳輸部分3D數(shù)據結構時， 顯示設備中發(fā)生的檢測這些不同幀類型的過程以及組合這些部分數(shù)據結構的過程仍然要由傳送器源設備控制。此外，本發(fā)明人提供了現(xiàn)在包含在3D顯示信號中的幀類型同步指示符。在所述系統(tǒng)的一個實施例中，3D視頻傳輸格式的不同幀類型包括以下類型中的至少一個左幀類型；右?guī)愋停欢S[2D]幀類型；深度幀類型；透明度幀類型；遮擋幀類型； 指示所述幀類型子幀的組合的組合幀類型；并且所述幀類型同步指示符包括與所述幀類型相應的幀類型指示符以便使來自用于產生3D顯示控制信號的3D視頻傳輸格式的對應幀類型的每個3D部分數(shù)據結構在時間上同步。應當指出的是，上面提到的2D幀類型可以是中心幀類型，并且左右?guī)愋鸵彩强梢耘c例如深度幀或遮擋幀類型組合使用的2D幀類型，并且可以有效地采用上述幀類型的許多其他組合以便傳輸3D圖像數(shù)據。效果在于，從用于立體圖像的左右?guī)愋偷幕窘M合到具有左幀、右?guī)?、深度幀、遮擋幀和透明度幀的組合的復雜3D格式的各種不同的3D視頻格式通過對應的幀類型同步指示符而同步。在所述系統(tǒng)的一個實施例中，3D視頻傳輸格式包括主視頻以及通過對應幀類型而傳輸?shù)闹辽僖粋€附加視頻層，并且?guī)愋屯街甘痉ㄖ鲙愋椭甘痉透郊訉訋愋椭甘痉械闹辽僖粋€。效果在于，可以在顯示設備中以任何方便的方式組合各層，同時組合的圖像由于幀類型同步指示符的原因而仍然維持各層間正確的時序關系。有利的是，附加層可以包括源設備中產生的字幕或圖形信息，比如菜單或屏幕顯示(0SD)，其可以依照顯示設備的性能與主視頻信息組合。在所述系統(tǒng)的一個實施例中，幀類型同步指示符包括指示3D顯示信號的后續(xù)部分中的3D視頻傳輸格式的3D視頻格式指示符。有利的是，這樣的通用3D格式指示符允許顯示設備立即跟隨源設備中的像跳變或模式變化那樣的視頻流突變。在所述系統(tǒng)的一個實施例中，幀類型同步指示符包括指示至少一種幀類型的頻率和/或不同幀類型的順序的幀序列指示符。效果在于，不同的幀類型可以在不同的幀頻率下和/或以預定義的順序復用，同時對應的順序或序列可以在顯示設備中檢測到。因此，顯示設備將知道要被傳輸?shù)膸蛄胁⑶铱梢韵鄳卣{節(jié)處理資源。所附權利要求書中給出了依照本發(fā)明的方法、3D設備和信號的另外的優(yōu)選實施例，其公開內容通過引用合并于此。


本發(fā)明的這些和其他方面根據以下說明中通過實例且參照附圖描述的實施例將是清楚明白的，并且將進一步結合這些實施例進行闡述，在附圖中
圖1示出了用于傳輸三維(3D)圖像數(shù)據的系統(tǒng)， 圖2示出了 3D圖像數(shù)據的實例， 圖3示出了回放設備和顯示設備組合， 圖4示出了利用幀類型同步指示符擴展的AVI信息幀的表格， 圖5示出了 3D視頻格式的表格， 圖6示出了幀同步信號，以及圖7示出了用于附加視頻層的值。在附圖中，與已經描述的元件相應的元件具有相同的附圖標記。
具體實施例方式圖1示出了用于傳輸三維(3D)圖像數(shù)據的系統(tǒng)，所述三維圖像數(shù)據例如視頻、圖形或其他可視信息。3D源設備10耦合到3D顯示設備13以便傳輸3D顯示信號56。3D源設備具有用于接收圖像信息的輸入單元51。例如，該輸入單元設備可以包括用于從像DVD 或藍光光盤那樣的光學記錄載體M獲取各種不同類型的圖像信息的光盤單元58?？商鎿Q地，輸入單元可以包括用于耦合到網絡陽(例如互聯(lián)網或廣播網)的網絡接口單元59，這樣的設備通常稱為機頂盒。圖像數(shù)據可以從遠程媒體服務器57獲取。源設備也可以是衛(wèi)星接收器或者直接提供顯示信號的媒體服務器，即輸出直接耦合到顯示單元的3D顯示信號的任何適當?shù)脑O備。3D源設備具有耦合到輸入單元51的處理單元52，其用于處理圖像信息以便產生經由輸出接口單元12傳輸?shù)斤@示設備的3D顯示信號56。處理單元52被設置用于產生包含在3D顯示信號56中的圖像數(shù)據以便在顯示設備13上顯示。源設備設有用戶控制元件 15，用于控制圖像數(shù)據的顯示參數(shù)，例如對比度或顏色參數(shù)。像這樣的用戶控制元件是眾所周知的，并且可以包括遠程控制單元，該遠程控制單元具有控制3D源設備的各種功能(例如回放和記錄功能)以及用于例如通過圖形用戶界面和/或菜單設置所述顯示參數(shù)的各種不同的按鈕和/或光標控制功能。源設備具有用于在3D顯示信號中提供至少一個幀類型同步指示符的傳送同步單元11，所述指示符在輸出接口單元12中包含在3D顯示信號中，該輸出接口單元進一步被設置用于將具有圖像數(shù)據和幀類型同步指示符的3D顯示信號作為3D顯示信號56從源設備傳輸?shù)斤@示設備。3D顯示信號包含依照3D視頻傳輸格式構成3D圖像數(shù)據的幀序列，在所述格式中，所述幀包括至少兩種不同幀類型。每幀具有用于表示數(shù)字圖像像素數(shù)據序列的數(shù)據結構，該序列通常依照預定分辨率設置為若干像素的水平行序列。每種幀類型代表部分3D數(shù)據結構。例如，3D視頻傳輸格式的幀類型中的3D部分數(shù)據結構可以是左右圖像或者2D圖像和附加的深度和/或另外的3D數(shù)據(例如下面討論的遮擋或透明度信息)。應當指出的是，幀類型也可以是指示上述幀類型的子幀的組合的組合幀類型，這些子幀例如位于單個全分辨率幀中的具有較低分辨率的4個子幀。此外，可以將若干多視像編碼到要同時顯示的幀視頻流中。3D顯示設備13用于顯示3D圖像數(shù)據。該設備具有輸入接口單元14，該輸入接口單元用于接收從源設備10傳輸?shù)脑趲邪?D圖像數(shù)據且包含幀類型同步指示符的3D 顯示信號56。每幀具有用于表示數(shù)字圖像像素數(shù)據序列的數(shù)據結構，并且每種幀類型代表部分3D數(shù)據結構。顯示設備設有另外的用戶控制元件16，用于設置顯示器的顯示參數(shù)，例如對比度、顏色或深度參數(shù)。傳輸?shù)膱D像數(shù)據在處理單元18中依照來自用戶控制元件的設置命令進行處理并且基于不同幀類型產生用于在3D顯示器上再現(xiàn)3D圖像數(shù)據的顯示控制信號。該設備具有接收顯示控制信號以便顯示處理的圖像數(shù)據的3D顯示器17，例如雙IXD。 顯示設備13是立體顯示器，也稱為3D顯示器，具有由箭頭44指示的顯示深度范圍。3D圖像數(shù)據的顯示根據不同的幀而執(zhí)行，每幀提供對應的部分3D圖像數(shù)據結構。顯示設備進一步包括耦合到處理單元18的檢測單元19，該檢測單元用于從3D顯示信號中獲取幀類型同步指示符并且用于檢測接收的3D顯示信號中的不同幀類型。處理單元18被設置用于基于如各3D視頻格式(例如2D圖像和深度幀)的部分3D數(shù)據結構限定的各種不同類型的圖像數(shù)據產生顯示控制信號。各幀被識別且在時間上同步，如對應幀類型同步指示符所指示的。幀類型同步指示符允許檢測必須組合哪些幀以便同時顯示，并且也指示幀類型， 從而可以獲取和處理對應的部分3D數(shù)據。3D顯示信號可以通過諸如公知的HDMI接口(例如參見"High Definition Multimedia Interface Specification Version 1. 3a of Nov 10 2006)之類的適當高速數(shù)字視頻接口傳輸。圖1進一步示出了作為3D圖像數(shù)據的載體的記錄載體M。該記錄載體為盤狀并且具有軌道和中心孔。由一系列物理上可檢測的標記構成的軌道依照螺旋或同心模式的匝設置，這些匝在信息層上構成基本上平行的軌道。記錄載體可以是光學上可讀的，稱為光盤，例如⑶、DVD或BD (藍光光盤)。信息在信息層上通過沿著軌道的光學可檢測標記(例如凹坑和凸臺)表示。軌道結構也包含位置信息，例如頭部和地址，用于指示通常稱為信息塊的信息單元的位置。記錄載體M攜帶代表像視頻那樣的數(shù)字編碼圖像數(shù)據的信息，該數(shù)字編碼圖像數(shù)據例如依照MPEG2或MPEG4編碼系統(tǒng)以像DVD或BD格式那樣的預定義記錄格式編碼。應當指出的是，播放器可以支持播放各種不同的格式，但是不能將視頻格式轉碼， 并且顯示設備可能能夠播放有限的視頻格式集合。這意味著對于什么可以播放存在公共的劃分器。應當指出的是，根據所述盤或內容，格式可以在系統(tǒng)的回放/操作期間改變。格式的實時同步有必要發(fā)生，并且格式的實時切換由幀類型同步指示符提供。下面的部分提供了對于三維顯示和人的深度感知的綜述。3D顯示在以下意義上不同于2D顯示它們可以提供更生動的深度感知。實現(xiàn)這一點，是因為它們提供比2D顯示更多的深度線索，所述2D顯示只能示出單眼深度線索以及基于運動的線索。單眼(或靜態(tài))深度線索可以通過使用單只眼睛從靜態(tài)圖像中獲得。畫家經常使用單眼線索以便在他們的繪畫中創(chuàng)建深度的感覺。這些線索包括相對大小、相對于水平的高度、遮擋、透視、紋理梯度和照明/陰影。眼球運動線索是從觀看者眼睛的肌肉的張力導出的深度線索。眼睛具有用于旋轉眼睛以及用于拉伸眼睛晶狀體的肌肉。眼睛晶狀體的拉伸和松弛稱為適應并且在聚焦到圖像上時完成。晶狀體肌肉的拉伸或松弛的量提供了目標多遠或多近的線索。眼睛旋轉，使得雙眼聚焦到相同的目標上，這稱為會聚。最后，運動視差是靠近觀看者的目標看起來比遠離的目標移動得更快的效應。
雙眼視差是從我們的雙眼看見稍微不同的圖像這一事實導出的深度線索。雙眼深度線索可以是且用于任何2D視覺顯示類型。為了在顯示器中重新創(chuàng)建雙眼視差，要求顯示器可以為左右眼分割視圖，使得每只眼睛在顯示器上看見稍微不同的圖像。可以重新創(chuàng)建雙眼視差的顯示器是我們將稱為3D或立體顯示器的特殊顯示器。3D顯示器能夠沿著人眼實際感知的深度維顯示圖像，在本文中稱為具有顯示深度范圍的3D顯示器。因此，3D顯示器向左右眼提供不同的視圖?？梢蕴峁﹥蓚€不同視圖的3D顯示器已經存在了很長的時間。大多數(shù)這些3D顯示器基于使用眼鏡分離左右眼視圖?，F(xiàn)在，隨著顯示技術的進步，新的顯示器已經進入市場， 其可以在不使用眼鏡的情況下提供立體視圖。這些顯示器稱為自動立體顯示器。第一種方法基于允許用戶在沒有眼鏡的情況下看見立體視頻的IXD顯示器。這些顯示器基于兩種技術，即柱透鏡屏幕和屏障顯示器中任一種。對于柱透鏡顯示器而言，LCD 由柱透鏡片覆蓋。這些透鏡衍射來自顯示器的光，使得左右眼接收到來自不同像素的光。這允許顯示兩幅不同的圖像，一幅圖像用于左眼視圖，一幅圖像用于右眼視圖。柱透鏡屏幕的可替換方案是屏障顯示器，其使用LCD之后且在背光之前的視差屏障以分離來自LCD中的像素的光。屏障使得從屏幕之前的設定位置來看，左眼看見不同于右眼的像素。屏障也可以位于LCD與人類觀看者之間，使得顯示器的行中的像素交替地對于左右眼可見。屏障顯示器的一個問題是亮度和分辨率的損失，而且具有非常窄的觀看角。 這使得它與柱透鏡屏幕相比作為起居室電視不那么吸引人，所述柱透鏡屏幕例如具有9個視圖以及多個觀看區(qū)。另一方法仍然基于與可以以高刷新率(例如120Hz)顯示幀的高分辨率射束器結合使用快門眼鏡。高刷新率是需要的，因為對于快門眼鏡方法，左右眼視圖交替地顯示。對于戴著眼鏡的觀看者感知60Hz的立體視頻?？扉T眼鏡方法允許實現(xiàn)高質量的視頻以及強烈的深度水平。自動立體顯示器和快門眼鏡方法的確都存在適應-會聚失配的不足。這的確限制可以使用這些設備舒適地觀看的深度量和時間。存在諸如全息和體積顯示器之類的其他顯示技術，這些顯示技術不存在這個問題。應當指出的是，本發(fā)明可以用于具有深度范圍的任何類型的3D顯示器。假定用于3D顯示器的圖像數(shù)據作為電子數(shù)據(通常為數(shù)字數(shù)據)是可用的。本發(fā)明涉及這樣的圖像數(shù)據并且在數(shù)字域操作該圖像數(shù)據。圖像數(shù)據在傳輸自某個源時可能已經例如通過使用雙照相機而包含3D信息，或者專用預處理系統(tǒng)可以被包含以便從2D圖像 (重新)創(chuàng)建3D信息。圖像數(shù)據可以是靜態(tài)的，比如幻燈片，或者可以包括運動視頻，比如電影。通常稱為圖形數(shù)據的其他圖像數(shù)據可以作為存儲的目標而可用，或者如應用所需要的即時產生。例如，可以向其他圖像數(shù)據添加像菜單、導航項目或文字和幫助注釋那樣的用戶控制信息。存在其中可以對立體圖像格式化(稱為3D圖像格式)的許多不同方式。一些格式基于使用2D通道以便也攜帶立體信息。例如，左右視圖可以交織或者可以并排地和上下地放置。這些方法犧牲分辨率以攜帶立體信息。另一個選項是犧牲顏色，該方法稱為補色立體。補色立體使用光譜復用，其基于以互補色顯示兩幅分開的覆蓋的圖像。通過使用具有濾色片的眼鏡，每只眼睛僅僅看見具有與該眼睛前面的濾色片相同顏色的圖像。因此，例如
9右眼僅僅看見紅色圖像并且左眼僅僅看見綠色圖像。一種不同的3D格式基于兩個視圖，使用2D圖像和附加的深度圖像(所謂的深度圖)，該深度圖像傳遞關于2D圖像中的目標的深度的信息。稱為圖像+深度的該格式的不同之處在于，它是2D圖像與所謂的“深度”或視差圖的組合。這是灰度圖像，其中像素的灰度值指示關聯(lián)2D圖像中相應像素的視差量(或者在深度圖的情況下為深度)。顯示設備將 2D圖像作為輸入，使用視差、深度或者視差圖以計算附加的視圖。這可以以各種不同的方式完成，在最簡單的形式下，其近似于根據與像素關聯(lián)的視差值將這些像素移向左邊或右邊。 Christoph Fen 的題為"Depth image based rendering, compression and transmission for a new approach on 3D TV”的論文給出了該技術的很好的綜述(參見http://iphome. hhi. de/fehn/Publications/fehn_EI2004. pdf)。圖2示出了 3D圖像數(shù)據的實例。該圖像數(shù)據的左邊部分是通常為彩色的2D圖像 21，并且該圖像數(shù)據的右邊部分為深度圖22。2D圖像信息可以以任何適當?shù)膱D像格式表示。深度圖信息可以是具有每個像素的深度值的附加數(shù)據流，其與2D圖像相比分辨率可能降低。在深度圖中，灰度值指示2D圖像中的關聯(lián)像素的深度。白色指示靠近觀看者，并且黑色指示遠離觀看者的大的深度。3D顯示器可以通過使用來自深度圖的深度值并且通過計算所需的像素變換而計算立體所需的附加視圖。遮擋可以通過使用估計技術或者孔填充技術來解決。附加的幀可以包含于數(shù)據流中，例如進一步添加到圖像和深度圖格式，比如遮擋圖、視差圖和/或在背景前面運動的透明目標的透明度圖。當視頻從諸如藍光光盤播放器之類的播放設備發(fā)送到立體顯示器時，將立體添加到視頻中也影響視頻的格式。在2D情況下，只發(fā)送2D視頻流(解碼的畫面數(shù)據)。利用立體視頻，這被增大，因為現(xiàn)在必須發(fā)送包含第二視圖(用于立體)或深度圖的第二流。這可能加倍電氣接口上所需的比特率。一種不同的方法是犧牲分辨率并且將該流格式化，使得第二視圖或深度圖與2D視頻交織或者與2D視頻并排放置。圖2示出了 2D數(shù)據和深度圖的一個實例。深度顯示參數(shù)被發(fā)送到顯示器以便允許顯示器正確地解釋深度信息。ISO標準23002-3 "Representation of auxiliary video and supplemental information”(例如參見 2007 年 7 月的 IS0/IEC JTC1/SC29/WG11 N8259)中描述了在視頻中包含附加信息的實例。取決于輔助流的類型，附加的圖像數(shù)據包含4個參數(shù)或2個參數(shù)。幀類型同步指示符可以包括指示3D顯示信號后續(xù)部分中的對應 3D視頻傳輸格式的3D視頻格式指示符。這允許指示或改變3D視頻傳輸格式，或者重置傳輸序列或者設置或重置另外的同步參數(shù)。在一個實施例中，幀類型同步指示符包括指示至少一種幀類型的頻率的幀序列指示符。應當指出的是，一些幀類型允許對感知的3D圖像沒有明顯惡化的較低的傳送頻率， 例如遮擋數(shù)據。此外，可以將不同幀類型的順序指示為要重復的不同幀類型序列。在一個實施例中，幀類型同步指示符包括幀序列號。也可以向各幀提供幀序列號。 例如當發(fā)送了構成單幅3D圖像的所有幀并且接下來的幀屬于下一幅3D圖像時，序列號規(guī)則地增加。因此，序列號對于每個同步循環(huán)是不同的，或者可能僅對于較大的部分改變。因此，當執(zhí)行跳變時，必須在可以恢復圖像顯示之前傳輸具有相同對應序列號的幀集合。顯示設備將檢測偏離的幀序列號并且將僅組合完整的幀集合。這防止了在跳變到新位置之后使用錯誤的幀組合。
當在視頻上添加圖形時，可以在顯示單元中使用另外的單獨的數(shù)據流覆蓋附加層。這樣的層數(shù)據包含在不同的幀類型中，這些幀類型通過如下面所詳細討論的在3D顯示信號中添加對應的幀類型同步指示符而單獨地標記?，F(xiàn)在，3D視頻傳輸格式包括主視頻以及通過對應幀類型而傳輸?shù)闹辽僖粋€附加視頻層，并且?guī)愋屯街甘痉ㄖ鲙愋椭甘痉透郊訉訋愋椭甘痉械闹辽僖粋€。所述附加視頻層可以例如是字幕或其他圖形信息，比如菜單或任何其他屏上數(shù)據(0SD)。幀類型同步指示符可以針對所述附加視頻層包括層信令參數(shù)。所述參數(shù)可以指示以下至少一個
-附加層的類型和/或格式； -附加層顯示相對于主視頻顯示的位置； -附加層顯示的大小；
-附加層顯示的出現(xiàn)、消失時間和或持續(xù)時間； -附加3D顯示設置或3D顯示參數(shù)。下文中討論了另外的詳細實例。圖3示出了回放設備和顯示設備組合。播放器10讀取顯示器13的性能并且調節(jié)視頻的格式和時序參數(shù)以便發(fā)送顯示器可以處理的空間以及時間上的最高分辨率視頻。在實踐中，使用了稱為EDID的標準。擴展顯示標識數(shù)據(EDID)是一種由顯示設備提供以向圖像源(例如圖形卡)描述其性能的數(shù)據結構。它使得現(xiàn)代個人計算機能夠知道連接了什么種類的監(jiān)視器。EDID由視頻電子標準協(xié)會(VESA)公布的標準定義。進一步的詳情請參閱可通過http://www. vesa. org/而獲得的 VESA DisplayPort Standard Version 1, Revision la, January 11, 2008。EDID包括制造商名稱、產品類型、磷光體或濾光器類型、顯示器支持的時序、顯示大小、亮度數(shù)據和(僅僅對于數(shù)字顯示器而言)像素映射數(shù)據。用于將EDID從顯示器傳送到圖形卡的通道通常是所謂的1 總線。EDID和I2C的組合稱為顯示數(shù)據通道第2版或者 DDC2。版本2有別于VESA的原始DDC，該原始DDC使用不同的串行格式。EDID經常存儲在監(jiān)視器中的存儲設備中，該存儲設備稱為串行PROM (可編程只讀存儲器)或EEPROM (電可擦除PR0M)，其與I2C總線兼容?；胤旁O備通過DDC2通道向顯示器發(fā)送E-EDID請求。顯示器通過發(fā)送E-EDID信息而做出響應。播放器確定最佳的格式并且開始通過視頻通道傳送。在更舊的顯示器類型中，顯示器連續(xù)地在DDC通道上發(fā)送E-EDID信息。沒有請求被發(fā)送。為了進一步限定接口上使用的視頻格式，另一組織(消費電子協(xié)會；CEA)定義了 E-EDID的若干附加限制和擴展以使其更適合與電視類型的顯示器一起使用。除了特定E-EDID要求之外的HDMI標準(上文曾提及)支持用于許多不同視頻格式的標識碼和相關時序信息。例如，接口標準HDMI中采用了 CEA 861-D標準。HDMI定義了物理鏈接并且它支持CEA 861-D和VESA E-EDID標準處理更高級別的信令。VESA E-EDID標準允許顯示器指示它是否支持立體視頻傳送以及以什么格式傳送。應當指出的是，這樣的關于顯示器的性能的信息向后傳播到源設備。已知的VESA標準沒有定義控制顯示器中的3D處理的任何前向3D信息。在一個實施例中，3D顯示信號中的幀類型同步指示符在標識與其相關的對應幀的同時例如作為數(shù)據流中的單獨的分組而異步地傳輸。該分組可以包括用于幀與視頻精確地同步的另外的數(shù)據，并且可以在適當?shù)臅r間插入到連續(xù)視頻幀之間的消隱間隔中。在一個實際的實施例中，將幀類型同步指示符插入到HDMI數(shù)據島內的分組中。在音視頻數(shù)據(AV)流中的如HDMI中所定義的輔助視頻信息(AVI)中包含幀同步指示符的一個實例如下。AVI在AV流中作為信息幀從源設備攜帶到數(shù)字電視(DTV)監(jiān)視器。 如果源設備支持傳送輔助視頻信息(AVI)并且如果它確定DTV監(jiān)視器能夠接收該信息，那么它應當每VSYNC周期向DTV監(jiān)視器發(fā)送AVI —次。該數(shù)據適用于下一個全幀視頻數(shù)據。提出了使用AVI信息幀中的黑條信息以適應幀類型同步指示符(例如對于左右信令)以及附加信息以便在顯示器中正確地再現(xiàn)3D視頻。AVI信息幀是至少每兩場發(fā)送的數(shù)據塊。由于這個原因，只有該信息幀才可以在幀的基礎上傳送信令，這在其要用于立體視頻信號的同步的情況下是一個要求。與依賴于相對信令或者依賴于供應商特定信息幀的其他解決方案相比該解決方案的優(yōu)點在于，它與用于HDMI的當前芯片組兼容并且它提供了幀精確同步和用于信令的足夠的空間(8字節(jié))。在一個可替換的實施例中，提出了使用如HDMI中定義的前置位以發(fā)信號表示跟隨的視頻數(shù)據是左或右視頻幀。HDMI 5. 2. 1. 1章定義了前同步碼緊靠每個視頻數(shù)據周期或數(shù)據島周期之前。這是指示即將到來的數(shù)據周期是視頻數(shù)據周期還是數(shù)據島的8個相同控制字符的序列。CTL0、CTL1、CTL2和CTL3的值指示跟隨的數(shù)據周期類型。其余的控制信號HSYNC和VSYNC可以在該序列期間變化。前同步碼目前是4位，即CTLO、CTLl、CTL3和 CTL4。此時，僅僅使用1000和1010作為值。例如，現(xiàn)在可以定義值1100或1001以指示視頻數(shù)據包含左或右視頻幀，或者可替換地包含圖像和/或深度信息的幀。此外，前置位可以僅僅指示序列的3D幀類型或者第一個3D幀，而另外的幀類型辨別可以依照另一數(shù)據幀限定的幀類型同步序列。此外，HSYNC和VSYNC信令可以適于傳遞至少部分的幀類型同步，例如幀是否為左視頻幀還是右視頻幀。HSYNC被設置成先于左幀的視頻數(shù)據并且VSYNC被設置成先于右視頻信息幀。相同的原理可以適用于其他的幀類型，比如2D圖像和深度信息。圖4示出了利用幀類型同步指示符擴展的AVI信息幀的表格。AVI信息幀由CEA 定義并且被HDMI和其他視頻傳送標準采用以提供對于顏色和色度采樣、過掃描和欠掃描以及縱橫比的幀信令。為體現(xiàn)幀類型同步指示符而添加了附加信息如下。數(shù)據字節(jié)1的最后位、F17以及數(shù)據字節(jié)4的最后位、F47在標準AVI信息幀中被保留。在幀類型同步指示符的一個實施例中，這些位用來指示黑條信息中的立體信令的存在性。黑條信息通常包含在數(shù)據字節(jié)6-13中。字節(jié)14-27通常在HDMI中被保留并且因而利用當前的硬件可能不被正確地傳送。因此，這些場用來提供不那么關鍵的OSD位置信息。 表格的句法如下。如果F17被設置(=1)，那么直到13的數(shù)據字節(jié)包含3D參數(shù)信息。缺省情況是在F17未被設置(=0)的時候，這意味著不存在3D參數(shù)信息。數(shù)據字節(jié)12-19指示OSD/字幕覆蓋的位置。附加層可以小于主視頻層，并且基于字節(jié)12-19的位置數(shù)據而定位。這使得3D顯示器能夠在幀類型同步指示符指示的屏幕區(qū)域上執(zhí)行特定的再現(xiàn)。幀類型同步指示符可以進一步包括用于指示例如在圖4中稱為再現(xiàn)參數(shù)的數(shù)據字節(jié)20-27中何時必須出現(xiàn)和/或消失字幕/OSD信息的同步時序信息。圖5示出了 3D視頻格式的表格。左欄中的值每個指示具有對應不同幀類型的特定視頻格式。選擇的值包含于幀同步指示符，例如圖4的表格中的數(shù)據字節(jié)7。數(shù)據字節(jié)7 描述了源(播放器)傳送的立體視頻格式。圖5的表格列出了一些可能的值。值0指示關聯(lián)的幀是2D的，這在3D標題期間傳送2D視頻段時是有用的。顯示設備(3D電視)可以使其內部圖像處理適于3D視頻格式的這種變化，例如在幀序列格式的情況下關閉時間上轉換。圖6示出了幀同步信號。該同步信號可以包含于幀同步指示符中，例如圖4中的數(shù)據字節(jié)8。數(shù)據字節(jié)8攜帶立體同步信號，而圖6示出了該同步信號的格式。該同步信號與視頻格式一起指示視頻幀的內容。圖4中的數(shù)據字節(jié)9和10的值取決于視頻格式。例如，對于(自動)立體視頻而言，它們指示視頻內容的最大和最小視差?？商鎿Q地，它們可以指示“深度”信息的偏移和縮放因數(shù)。在更高位精度要求(即10位深度)的情況下，附加的寄存器可以用來存儲較低的位。圖7示出了用于附加視頻層的值?？梢酝ㄟ^允許在3D視頻信號中單獨地包括用于像字幕或菜單(屏幕數(shù)據0SD)那樣的附加層的幀來擴展視頻格式。在圖4中，數(shù)據字節(jié) 11可以指示字幕或OSD覆蓋的存在性。圖7示出了若干用于指示附加層的視頻格式參數(shù)值。圖4中的其余字節(jié)20-27可以用來提供指示用于與3D顯示器相關的縮放深度和遮擋信息的信息的特定參數(shù)。應當指出的是，本發(fā)明可以通過使用可編程部件在硬件和/或軟件中實現(xiàn)。用于實現(xiàn)本發(fā)明的方法具有與參照圖1闡述的傳輸3D圖像數(shù)據相應的處理步驟。盡管主要通過使用光學記錄載體或互聯(lián)網的實施例解釋了本發(fā)明，但是本發(fā)明也適合于任何圖像接口環(huán)境，比如3D個人計算機[PC]顯示接口或者耦合到無線3D顯示設備的3D媒體中心PC。應當指出的是，在本文中，措詞“包括/包含”并沒有排除存在未列出的其他元件或步驟，并且元件之前的措詞“一”或“一個”并沒有排除存在多個這樣的元件，任何附圖標記并沒有限制權利要求的范圍，本發(fā)明可以借助于硬件和軟件二者來實現(xiàn)，并且若干“裝置”或“單元”可以由相同硬件或軟件項表示，并且處理器可以實現(xiàn)一個或多個單元的功能， 可能是與硬件元件協(xié)作。此外，本發(fā)明并不限于所述實施例，而是存在于每一個新穎的特征或者上面描述的特征的每一種組合之中。
1權利要求
1.傳輸三維(3D)圖像數(shù)據的方法，該方法包括在3D源設備處，-處理源圖像數(shù)據以產生3D顯示信號，該3D顯示信號包含依照3D視頻傳輸格式構成 3D圖像數(shù)據的幀，在所述格式中，所述幀包括至少兩種不同幀類型，并且 -輸出該3D顯示信號；以及，在3D顯示設備處， -接收3D顯示信號，并且-檢測接收的3D顯示信號中的不同幀類型，并且基于這些不同幀類型產生用于在3D 顯示器上再現(xiàn)3D圖像數(shù)據的顯示控制信號， 其中-每幀具有用于表示數(shù)字圖像像素數(shù)據序列的數(shù)據結構，并且每種幀類型代表部分3D 數(shù)據結構，該方法包括，在3D源設備處，-在3D顯示信號中包含至少一個幀類型同步指示符；并且-所述檢測包括從3D顯示信號中獲取幀類型同步指示符，并且-所述產生顯示控制信號基于根據幀類型同步指示符使部分3D數(shù)據結構同步。
2.如權利要求1所述的方法，其中3D視頻傳輸格式的不同幀類型包括以下至少一個 -左幀類型；-右?guī)愋停?-二維(2D)幀類型； -深度幀類型； -透明度幀類型； -遮擋幀類型；-指示所述幀類型子幀的組合的組合幀類型；并且所述幀類型同步指示符包括與所述幀類型相應的幀類型指示符以便使來自用于產生3D顯示控制信號的3D視頻傳輸格式的對應幀類型的每個3D部分數(shù)據結構在時間上同步。
3.如權利要求1所述的方法，其中3D視頻傳輸格式包括主視頻以及通過對應幀類型而傳輸?shù)闹辽僖粋€附加視頻層，并且?guī)愋屯街甘痉ㄖ鲙愋椭甘痉透郊訉訋愋椭甘痉械闹辽僖粋€。
4.如權利要求3所述的方法，其中附加視頻層包括圖形信息或字幕。
5.如權利要求3所述的方法，其中幀類型同步指示符針對所述附加視頻層包括層信令參數(shù)，所述參數(shù)指示以下至少一個-附加層的類型和/或格式； -附加層顯示相對于主視頻顯示的位置； -附加層顯示的大小；-附加層顯示的出現(xiàn)、消失時間和或持續(xù)時間； -附加3D顯示設置或3D顯示參數(shù)。
6.如權利要求1所述的方法，其中幀類型同步指示符包括指示3D顯示信號的后續(xù)部分中的3D視頻傳輸格式的3D視頻格式指示符。
7.如權利要求1所述的方法，其中幀類型同步指示符包括指示至少一種幀類型的頻率和/或不同幀類型的順序的幀序列指示符。
8.如權利要求1所述的方法，其中幀類型同步指示符包括幀序列號。
9.用于將三維(3D)圖像數(shù)據傳輸?shù)?D顯示設備的3D源設備，該設備包括-用于處理源圖像數(shù)據以產生3D顯示信號(56 )的生成裝置(52 )，該3D顯示信號包含依照3D視頻傳輸格式構成3D圖像數(shù)據的幀，在所述格式中，所述幀包括至少兩種不同幀類型，以及-用于輸出3D顯示信號的輸出接口裝置(12)，其中-每幀具有用于表示數(shù)字圖像像素數(shù)據序列的數(shù)據結構，并且每種幀類型代表部分3D 數(shù)據結構，所述設備包括-傳送同步裝置(11)，該傳送同步裝置用于在3D顯示信號中包含至少一個幀類型同步指示符以便在顯示設備處基于根據該幀類型同步指示符使部分3D數(shù)據結構同步而產生顯示控制信號。
10.3D顯示設備，包括-用于顯示3D圖像數(shù)據的3D顯示器(17)，-用于接收3D顯示信號的輸入接口裝置(14 )，該3D顯示信號包含依照3D視頻傳輸格式構成3D圖像數(shù)據的幀，在所述格式中，所述幀包括至少兩種不同幀類型，以及用于檢測接收的3D顯示信號中的不同幀類型的檢測裝置(19)，以及-用于基于所述不同幀類型產生用于在3D顯示器上再現(xiàn)3D圖像數(shù)據的顯示控制信號的處理裝置(18)，其中-每幀具有用于表示數(shù)字圖像像素數(shù)據序列的數(shù)據結構，每種幀類型代表部分3D數(shù)據結構，并且-檢測裝置(19)被設置用于從3D顯示信號中獲取幀類型同步指示符，并且-處理裝置(18)被設置用于基于根據該幀類型同步指示符使部分3D數(shù)據結構同步而產生顯示控制信號。
11.如權利要求10所述的3D顯示設備，其中3D視頻傳輸格式包括主視頻以及通過對應幀類型而傳輸?shù)闹辽僖粋€附加視頻層，并且?guī)愋屯街甘痉ㄖ鲙愋椭甘痉透郊訉訋愋椭甘痉械闹辽僖粋€，并且處理裝置(18)被設置用于根據該幀類型同步指示符組合3D部分數(shù)據結構所表示的不同層。
12.用于將三維(3D)圖像數(shù)據傳輸?shù)?D顯示設備的3D顯示信號，該3D顯示信號包含依照3D視頻傳輸格式構成3D圖像數(shù)據的幀，在所述格式中，所述幀包括至少兩種不同幀類型，其中-每幀具有用于表示數(shù)字圖像像素數(shù)據序列的數(shù)據結構，每種幀類型代表部分3D數(shù)據結構，并且該3D顯示信號包括-至少一個幀類型同步指示符，其用于基于根據該幀類型同步指示符使部分3D數(shù)據結構同步而產生顯示控制信號。
全文摘要
描述了一種用于傳輸三維(3D)圖像數(shù)據的系統(tǒng)。3D源設備(10)通過像HDMI那樣的高速數(shù)字接口提供用于顯示器(13)的3D顯示信號(56)。3D顯示信號具有依照3D視頻傳輸格式構成3D圖像數(shù)據的幀，在所述格式中，所述幀包括至少兩種不同幀類型。每幀具有用于表示數(shù)字圖像像素數(shù)據序列的數(shù)據結構，并且代表部分3D數(shù)據結構。3D源設備在3D顯示信號中包含幀類型同步指示符。顯示器檢測幀類型同步指示符和幀類型，并且基于根據幀類型同步指示符使部分3D數(shù)據結構同步而產生顯示控制信號。
文檔編號H04N13/00GK102292995SQ201080004996
公開日2011年12月21日 申請日期2010年1月13日 優(yōu)先權日2009年1月20日
發(fā)明者W. T. 范 德 海登 G., S. 牛頓 P. 申請人:皇家飛利浦電子股份有限公司