深度輔助數(shù)據(jù)的制作方法
【專利摘要】描述了用于朝向各種類型的3D顯示器傳輸3D數(shù)據(jù)的混合傳輸/自動轉換3D格式和方案。在解碼器（20）中，立體-深度轉換器（24）生成深度圖。在3D視頻信號中，被稱為深度輔助數(shù)據(jù)（DH-bitstr）的附加深度信息在時間上（時間上的部分深度）和/或空間上（幀內的部分深度）被稀疏地傳輸。深度開關（25）基于顯式或隱式機制來選擇部分深度，該顯式或隱式機制用于指示這些深度何時將被使用或者這些深度何時必須在本地被自動地生成。有利地，由于所述立體-深度轉換器而產(chǎn)生的干擾深度差錯被深度輔助數(shù)據(jù)減小。
【專利說明】深度輔助數(shù)據(jù)

【技術領域】
[0001]本發(fā)明涉及用于提供三維[3D]視頻信號以傳送到3D目的地設備的3D源設備。3D視頻信號包括表示3D顯示器上的左眼視圖的第一視頻信息和表示3D顯示器上的右眼視圖的第二視頻信息。3D目的地設備包括用于接收3D視頻信號的接收機和用于基于第一和第二視頻信息來生成第一生成深度圖的立體-深度轉換器。3D源設備包括用于生成3D視頻信號，并用于將3D視頻信號傳送到3D目的地設備的輸出單元。
[0002]本發(fā)明還涉及一種提供3D視頻信號以傳送到3D目的地設備的方法。
[0003]本發(fā)明涉及在源設備(例如，廣播方、互聯(lián)網(wǎng)網(wǎng)站服務器、授權系統(tǒng)、藍光盤制造商，等等)處生成3D視頻信號并將3D視頻信號傳送到需要深度圖以呈現(xiàn)多個視圖的3D目的地設備(例如，藍光盤播放器、3D電視機、3D顯示器、移動計算設備，等等)的領域。

【背景技術】
[0004]文檔“關于用于納入深度圖的MVC擴展的工作草案-1S0/IEC/JTC1/SC29/WG11/N12351，2011 年 12 月，Teruhiko Suzuki,Miska M.Hannuksela,Ying Chen” 是對于 ITU-TRec.H.264 | IS0/IEC 14496-10的新修訂的提案，用于將3D視頻技術增加到MPEG編碼視頻傳送信號(進一步被稱為ISO提案)。該ISO提案描述對于音頻-視頻對象的編碼，尤其是對于所述ISO標準第10部分(先進視頻編碼)的修訂，該修訂關于用于將深度圖納入視頻格式中的多視點編碼(MVC)擴展。根據(jù)該修訂，描述了用于納入深度圖視頻編碼的MVC擴展，允許構建表示具有相關的多個補充視圖(即深度圖視圖)的多個視圖的比特流。類似于多視點視頻編碼，表示多個補充視圖的比特流也可以包含遵循所提議的規(guī)范的另外的子比特流。
[0005]根據(jù)該ISO提案，深度圖可以被增加到3D視頻數(shù)據(jù)流，該3D視頻數(shù)據(jù)流具有表示3D顯示器上的左眼視圖的第一視頻信息和表示3D顯示器上的右眼視圖的第二視頻信息。在解碼器側的深度圖使得能夠生成例如用于自動立體感顯示器的、該左右視圖之外的另外的視圖。


【發(fā)明內容】

[0006]該ISO提案要求視頻材料被提供有深度圖，這要求附加的數(shù)據(jù)傳輸容量。此外，有許多現(xiàn)有3D視頻材料沒有深度圖數(shù)據(jù)。對于這樣的材料，目的地設備可以具有用于基于該第一和第二視頻信息來生成被生成深度圖的立體-深度轉換器。
[0007]本發(fā)明的目的是提供用于提供深度信息并傳送該深度信息的系統(tǒng)，該系統(tǒng)對于增強3D視頻呈現(xiàn)更為靈活。
[0008]為此目的，根據(jù)本發(fā)明的第一方面，如開頭段落中描述的源設備被布置用于提供與視頻信息相關的源深度圖，并且該3D源設備包括:源立體-深度轉換器，用于基于該第一和第二視頻信息來生成第二生成深度圖；以及源深度處理器，被布置用于僅當源深度圖和第二生成深度圖之間的差異超過預定閾值時才提供深度輔助數(shù)據(jù)，該深度輔助數(shù)據(jù)表示源深度圖，并且輸出單元被布置用于將深度輔助數(shù)據(jù)包括在3D視頻信號中。
[0009]3D視頻信號包括深度輔助數(shù)據(jù)。
[0010]3D目的地設備包括深度處理器，該深度處理器用于當3D視頻信號中無深度輔助數(shù)據(jù)可用時基于第一生成深度圖，并且當3D視頻信號中深度輔助數(shù)據(jù)可用時基于該深度輔助數(shù)據(jù)，來生成目的地深度圖。
[0011]這些措施具有這樣的效果:使得目的地設備能夠基于從表示左右視圖的第一和第二視頻信息而在本地生成的深度圖來生成目的地深度圖，并且，在可用之時和可用之處，應用深度輔助數(shù)據(jù)以增強所述在本地生成的深度圖。有利地，僅當在本地生成的深度圖與源深度圖具有實質性差異時才傳送深度輔助數(shù)據(jù)。因此，減小了由于不正確地生成的深度圖所引起的視覺干擾差錯。
[0012]本發(fā)明還基于以下認識。發(fā)明人已經(jīng)看到，當基于左右視圖時，本地深度圖生成通常提供非常合意的結果。然而，在某些時刻或位置，可能會發(fā)生干擾差錯。通過在源處預測這樣的差錯的發(fā)生，并且僅針對這樣的時刻或時期而增加所述輔助數(shù)據(jù)，限制了必須傳送的附加深度數(shù)據(jù)的量。此外，通過基于源深度圖來傳送輔助數(shù)據(jù)，并且在目的地側選擇該輔助數(shù)據(jù)而不是使用錯誤的、在本地生成的深度數(shù)據(jù)，實現(xiàn)了對于多個視圖進行基于深度的呈現(xiàn)的顯著改進。
[0013]可選地，在3D源設備中，輸出單元被布置用于僅針對校正時段而將深度輔助數(shù)據(jù)包括在3D視頻信號中，在該校正時期內時，所述差異超過所述閾值。效果是，僅僅在發(fā)生實質性深度差錯的時期才傳輸輔助數(shù)據(jù)，該時期實際上少于10%的時間。有利地，減少了要傳送的數(shù)據(jù)的量。
[0014]可選地，在3D源設備中，輸出單元被布置用于僅針對小于3D顯示器的該校正區(qū)域而將深度輔助數(shù)據(jù)包括在3D視頻信號中，在該校正區(qū)域中時，所述差異超過所述閾值。效果是，僅僅針對發(fā)生實質性深度差錯的位置才傳輸輔助數(shù)據(jù)，該位置實際上少于發(fā)生這樣的差錯的幀的50%。有利地，減少了要傳送的數(shù)據(jù)的量。
[0015]可選地，在3D源設備中，深度處理器被布置用于針對校正區(qū)域生成深度輔助數(shù)據(jù)，以使所述校正區(qū)域對齊于3D視頻信號中的至少一個宏塊，該宏塊表示壓縮視頻數(shù)據(jù)的預定塊，該宏塊對齊的校正區(qū)域包括針對所述源深度圖與所述第二生成深度圖之間的差異不超過預定閾值的位置的另外的深度數(shù)據(jù)。效果是，校正區(qū)域將被普通編碼處理器高效地編碼，因為編碼按照宏塊來組織。相反地，對于僅包括針對錯誤的深度值的校正的任意形狀進行編碼，將需要許多編碼努力并且導致低壓縮率。這樣的校正區(qū)域還包含像素，對于這些像素，第二生成深度圖和源深度圖的深度值小且低于閾值。另外的深度數(shù)據(jù)可以基于第二生成深度圖以避免在該宏塊對齊的校正區(qū)域的外部邊界處的深度跳躍。有利地，使得另外的深度校正值等于所生成的值，將在解碼器側避免跨宏塊的深度差異變得可見。
[0016]可選地，在3D源設備中，輸出單元被布置用于將信令輔助數(shù)據(jù)包括在3D視頻信號中，該信令輔助數(shù)據(jù)指示深度輔助數(shù)據(jù)的可用性。有利地，使得解碼器能夠基于該信令輔助數(shù)據(jù)而容易地檢測深度輔助數(shù)據(jù)的存在或不存在。信令輔助數(shù)據(jù)可以例如包括以下各項中的至少一個:
-標志信號，指示深度輔助數(shù)據(jù)的存在；
-深度圖中預定義的無深度值，指示對于對應位置不存在深度輔助數(shù)據(jù)； -輔助長度數(shù)據(jù)，指示數(shù)據(jù)結構中深度輔助數(shù)據(jù)的量；
-視圖指示符數(shù)據(jù)，指示深度輔助數(shù)據(jù)可用的多個視圖和/或視圖的類型；
-輔助類型數(shù)據(jù)，指示用于深度輔助數(shù)據(jù)的數(shù)據(jù)結構；
-輔助分辨率數(shù)據(jù)，指示深度輔助數(shù)據(jù)的分辨率；
-輔助位置數(shù)據(jù)，指示深度輔助數(shù)據(jù)的位置。
[0017]有利地，這樣的信令輔助數(shù)據(jù)指示深度輔助數(shù)據(jù)的存在和/或量。
[0018]可選地，在3D源設備中，輸出單元被布置用于將對應于3D顯示器上的顯示區(qū)域的深度圖包括在3D視頻信號中，該深度圖包括針對校正區(qū)域和/或校正時期的深度輔助數(shù)據(jù)，以及，作為信令輔助數(shù)據(jù)的預定義的無深度值，指示針對其他區(qū)域和/或時期對于對應位置不存在深度輔助數(shù)據(jù)。深度圖可以被包括在用于具有任意深度輔助數(shù)據(jù)的幀的信號中，即隱含地，深度圖的存在指示存在深度輔助數(shù)據(jù)?？商鎿Q地，對于所有幀都可以包括深度圖。發(fā)明人已經(jīng)注意到，當前的壓縮方案非常高效地壓縮在大部分甚至整個顯示表面上具有單個值的深度圖，尤其是當指示本地不存在輔助數(shù)據(jù)的無深度值被選擇為O或255時。有利地，在解碼器側自動地處理深度圖，僅當深度值偏離所述無深度值時使用任意校正值。
[0019]可選地，深度圖包括以下各項中的至少一個:對應于左視圖的深度數(shù)據(jù)、對應于右視圖的深度數(shù)據(jù)、對應于中央視圖的深度數(shù)據(jù)、具有低于第一視頻信息或第二視頻信息的分辨率的深度數(shù)據(jù)。有利地，通過提供根據(jù)所述準則的一個或多個深度圖，解碼器可以根據(jù)需要使用合適的深度圖。
[0020]在所附的權利要求中給出了根據(jù)本發(fā)明的設備和方法的另外的優(yōu)選實施例，其公開內容通過引用合并于此。

【專利附圖】

【附圖說明】
[0021]通過進一步參考在下面的描述中作為示例而被描述的實施例并且參考附圖，本發(fā)明的這些和其他方面將顯而易見并被闡明。
[0022]在附圖中:
圖1示出用于處理3D視頻數(shù)據(jù)并顯示該3D視頻數(shù)據(jù)的系統(tǒng)；
圖2示出使用深度輔助數(shù)據(jù)的3D解碼器；
圖3示出提供深度輔助數(shù)據(jù)的3D編碼器；
圖4示出自動立體顯示設備和生成多個視圖；
圖5示出雙視圖立體顯示設備和生成增強的視圖；以及圖6示出3D視頻信號中深度輔助數(shù)據(jù)的存在。
[0023]這些附圖純粹是圖解式的并且未按比例繪制。在這些附圖中，與已經(jīng)描述的元件對應的元件可以具有相同的參考數(shù)字。

【具體實施方式】
[0024]注意，本發(fā)明可以被用于任何類型的3D圖像數(shù)據(jù)，無論靜止圖片還是運動視頻。假定3D圖像數(shù)據(jù)作為電子的、被數(shù)字地編碼的數(shù)據(jù)而可用。本發(fā)明涉及這樣的圖像數(shù)據(jù)并且在數(shù)字域中操作該圖像數(shù)據(jù)。
[0025]根據(jù)所謂的3D視頻格式，有許多不同方式可以格式化和傳送3D視頻信號。一些格式是基于使用2D信道來另外承載立體信息。在3D視頻信號中，圖像由圖像值以二維像素陣列表示。舉例來說，左、右視圖可以被交錯或者可以被并排或上下放置。還可以傳送深度圖，并且可能傳送比如遮擋(occlus1n)或透明度數(shù)據(jù)的另外的3D數(shù)據(jù)。在本文中，視差圖也被認為是一種深度圖。該深度圖具有同樣處于對應于該圖像的二維陣列中的深度值，盡管該深度圖可以具有不同的分辨率。3D視頻數(shù)據(jù)可以根據(jù)本身已知的壓縮方法(例如MPEG)而被壓縮。任何3D視頻系統(tǒng)(諸如，互聯(lián)網(wǎng)或藍光盤(BD))可以從所提議的增強
-M-*.、/.犾碰。
[0026]3D顯示器可以是相對小的單元(例如移動電話)、需要快門眼鏡的大的立體顯示器(STD)、任何立體感顯示器(STD)、考慮可變基線的先進STD、基于頭部跟蹤而將L和R視圖瞄準觀眾眼睛的主動STD，或自動立體感多視點顯示器(ASD)，等等。
[0027]傳統(tǒng)上，用于驅動各種類型的3D顯示器所需的所有分量都被傳輸，這通常需要對多于一個視圖(攝像機信號)及其對應的深度進行壓縮和傳輸，例如如“征集關于3D視頻編碼技術的提案”(MPEG文檔N12036，2011年3月，日內瓦，瑞士)中所討論的。這樣的系統(tǒng)具有的問題是深度信號的可用性(創(chuàng)建起來困難且昂貴)、用于驅動ASD和針對可變基線的先進STD的有限的初始內容可用性，以及傳輸深度信號所需的額外的比特率。已知在解碼器中由其自身進行自動轉換(從立體自動導出的深度)，例如從“對于蘇黎世迪斯尼研究所和弗勞恩霍費爾HHI提出的3D視頻編碼技術提案的描述”(MPEG文檔M22668，2011年11月，日內瓦，瑞士)。然而，不能保證整體質量并且在某些“困難”場景(例如5%的場景)中質量將受到限制。作為在立體視頻解碼器之后使用的自動轉換的替換選擇，立體-深度轉換器也可以放置在編碼器側，其中能夠應用更多處理能力。然而，這不會減少要傳送的數(shù)據(jù)量并且仍然遭受一些困難場景，在這些場景中合成的深度圖并不可靠。
[0028]圖1示出用于處理3D視頻數(shù)據(jù)和顯示3D視頻數(shù)據(jù)的系統(tǒng)。被稱為3D源設備40的第一 3D視頻設備提供3D視頻信號41并將其傳送到被稱為3D目的地設備50的另外的3D圖像處理設備，該3D目的地設備50被耦合到3D顯示設備60，用于傳送3D顯示信號56。視頻信號可以例如是3D電視廣播信號，諸如使用1/2 HD幀兼容的標準立體傳輸、多視點編碼(MVC)的或幀兼容的全分辨率(例如如Dolby提議的FCFR)。建立在幀兼容的基本層之上，Dolby開發(fā)了增強層以重新創(chuàng)建全分辨率3D圖像。該技術已經(jīng)被提議到MPEG以標準化并且僅要求增加約10%的比特率。如下面所闡明的，傳統(tǒng)的3D視頻信號被深度輔助數(shù)據(jù)增強。
[0029]圖1還示出作為3D視頻信號的載體的記錄載體54。該記錄載體為圓盤形狀并且具有軌道和中央孔。軌道由物理可檢測標記的圖案構成，被按照螺旋形或同心圖案的卷線(turn)而布置，這些卷線在一個或多個信息層上構成基本上平行的軌道。記錄載體可以是光學可讀的，被稱為光盤，例如DVD或BD (藍光盤)。信息由沿著軌道的光學可檢測的標記(例如凹陷和平臺(land))體現(xiàn)在信息層上。軌道結構還包括位置信息，例如頭部和地址，用于指示通常被稱為信息塊的信息單元的位置。記錄載體54承載表示被數(shù)字地編碼的3D圖像數(shù)據(jù)(比如例如按照MPEG2或MPEG4編碼系統(tǒng)而被編碼、預定義記錄格式(比如DVD或BD格式)的視頻)的信息。
[0030]3D源設備具有用于處理經(jīng)由輸入單元47接收的3D視頻數(shù)據(jù)的源深度處理器42。輸入3D視頻數(shù)據(jù)43可以從存儲系統(tǒng)、記錄演播室，從3D攝像機等等而可獲得。源系統(tǒng)處理為3D圖像數(shù)據(jù)提供的深度圖，該深度圖可以是在系統(tǒng)的輸入處原始存在的，或者可以是由如下描述的高質量處理系統(tǒng)例如從立體(L+R)視頻信號中的左/右?guī)驈?D視頻自動生成的，并且可能被進一步處理或校正以提供源深度圖，該源深度圖準確地表示對應于附隨的2D圖像數(shù)據(jù)或左/右?guī)纳疃戎怠?br> [0031]源深度處理器42生成包括3D視頻數(shù)據(jù)的3D視頻信號41。3D視頻信號具有表示3D顯示器上的左眼視圖的第一視頻信息和表示3D顯示器上的右眼視圖的第二視頻信息。源設備可以被布置用于將3D視頻信號經(jīng)由輸出單元46從視頻處理器傳送到另外的3D視頻設備，或者用于提供3D視頻信號以用于分發(fā)(例如通過記錄載體)。3D視頻信號基于對輸入3D視頻數(shù)據(jù)43的處理，例如通過按照預定義格式對3D視頻數(shù)據(jù)進行編碼和格式化。
[0032]3D源設備具有用于基于第一和第二視頻信息來生成源生成深度圖的源立體-深度轉換器48和用于提供深度輔助數(shù)據(jù)的源深度處理器42。
[0033]在運行時，用于生成深度圖的立體-深度轉換器接收具有左幀L和右?guī)琑的時間序列的立體3D信號(也被稱為左-右視頻信號)，該左幀L和右?guī)琑表示為觀眾的相應眼睛而顯不以生成3D效果的左視圖和右視圖。該單兀通過對左視圖和右視圖進彳丁視差估計而產(chǎn)生所生成的深度圖，并且可以基于左視圖和/或右視圖而進一步提供2D圖像。視差估計可以基于用于比較L和R幀的運動估計算法。依賴于對象的L和R視圖之間的大的差異的方向，該差異被轉換成在顯示屏幕之前方或之后的深度值。生成器單元的輸出為所生成的深度圖。隨后，在檢測到深度差錯之處(即僅當源深度圖與所生成的深度圖之間的差異超過預定閾值時)生成深度輔助數(shù)據(jù)。舉例來說，預定的深度差異可以構成所述閾值。還可以使得該閾值依賴于影響深度差錯的可視性的另外的圖像屬性，例如局部圖像亮度或對比度，或紋理。該閾值還可以通過檢測所生成的深度圖的質量水平來確定，如下所述。所生成的深度圖被用于扭曲(warp)具有對應于給定的不同視圖的取向的視圖。舉例來說，R’視圖是基于原始的L圖像數(shù)據(jù)和所生成的深度圖。隨后計算R’視圖與原始R視圖之間的差異，例如通過公知的PSNR函數(shù)(峰值信噪比)。PSNR是信號的最大可能功率與影響其表示的保真度的損壞噪聲的功率之比。因為許多信號具有非常寬的動態(tài)范圍，所以PSNR通常以對數(shù)分貝刻度表示。PSNR現(xiàn)在可以被用作對于所生成的深度圖的質量的測度。在這種情況下信號是原始數(shù)據(jù)R，并且噪聲是通過基于所生成的深度圖來扭曲R’而引入的差錯。此外，還可以基于另外的可視性準則，或者由編輯者創(chuàng)作或審閱基于所生成的深度圖的結果并且控制3D視頻的哪些部分和/或時期需要由深度輔助數(shù)據(jù)擴充，來判斷該閾值。
[0034]深度輔助數(shù)據(jù)表示源深度圖，例如在所述深度差錯的位置處的源深度圖的深度值。可替換地，深度差異或深度校正因子可以被包括在深度輔助數(shù)據(jù)中以指示目的地設備如何得出源深度圖的深度值。輸出單元46被布置用于將深度輔助數(shù)據(jù)包括在3D視頻信號中。深度處理器42、立體-深度轉換器48和輸出單元46的功能的處理器可以被稱為3D編碼器。
[0035]3D源可以是服務器、廣播方、記錄設備，或用于制造比如藍光盤的光學記錄載體的創(chuàng)作和/或生產(chǎn)系統(tǒng)。藍光盤提供用于為內容創(chuàng)作者分發(fā)視頻的交互平臺。關于藍光盤格式的信息從藍光盤聯(lián)盟的網(wǎng)站在關于音視頻應用格式的論文(例如http://WWW.blu-raydisc.com/Assets/DownloadabIefiIe/2b_bdrom_aud1visual_
-applicat1n_0305-12955-15269.pdf)中可獲得。光學記錄載體的生產(chǎn)過程還包括以下步驟:在軌道中提供標記的物理圖案，該圖案體現(xiàn)包括深度輔助數(shù)據(jù)的3D視頻信號，并且隨后按照該圖案使記錄載體的材料成形以在至少一個存儲層上提供標記的軌道。
[0036]3D目的地設備50具有用于接收3D視頻信號41的輸入單元51。舉例來說，該設備可以包括光盤單元58，該光盤單元58被耦合到輸入單元以用于從光學記錄載體54(比如DVD或藍光盤)恢復3D視頻信息。可替換地(或附加地)，該設備可以包括網(wǎng)絡接口單元59以用于耦合到網(wǎng)絡45，例如互聯(lián)網(wǎng)或廣播網(wǎng)絡，這樣的設備為機頂盒或移動計算設備(比如移動電話或平板電腦)。3D視頻信號可以從遠程網(wǎng)站或媒體服務器(例如3D源設備40)來恢復。3D圖像處理設備可以是將圖像輸入信號轉換成具有所要求的深度信息的圖像輸出信號的轉換器。這樣的轉換器可以被用于將針對具體類型的3D顯示器的不同輸入3D視頻信號(例如標準3D內容)轉換成適合特定類型或供應商的自動立體感顯示器的視頻信號。實際上，該設備可以是3D光盤播放器，或衛(wèi)星接收機或機頂盒，或任何類型的媒體播放器。
[0037]3D目的地設備具有深度處理器52，該深度處理器52被耦合到輸入單元51用于處理3D信息以生成要經(jīng)由輸出接口單元55而被傳送到顯示設備的3D顯示信號56，例如根據(jù)HDMI標準的顯示信號，參見“高清晰度多媒體接口 ；2010年3月4日的說明書版本1.4a”，其3D 部分在供公開下載的 http://hdm1.0rg/manufacturer/specificat1n, aspx 可以獲得。
[0038]3D目的地設備具有用于基于第一和第二視頻信息而生成目的地生成的深度圖的立體-深度轉換器53。該立體-深度轉換器的操作與前面描述的源設備中的立體-深度轉換器等同。當兩個轉換器相等同時，將發(fā)生相同的深度差錯，該差錯通過深度輔助數(shù)據(jù)可校正。如果目的地立體-深度轉換器被進一步改進，即至少與源立體-深度轉換器一樣良好工作，則當無輔助數(shù)據(jù)可用時最終的目的地深度圖將受益。具有目的地深度處理器52、立體-深度轉換器53和輸出單元55的功能的單元可以被稱為3D解碼器。
[0039]目的地深度處理器52被布置用于生成3D顯示信號56中包括的圖像數(shù)據(jù)以用于在顯示設備60上顯示。深度處理器被布置為當3D視頻信號中沒有深度輔助數(shù)據(jù)可用時基于目的地生成的深度圖，并且當3D視頻信號中有深度輔助數(shù)據(jù)可用時基于該深度輔助數(shù)據(jù)，來生成目的地深度圖。舉例來說，深度開關可以用深度輔助數(shù)據(jù)提供的深度值(在可用的情況下)取代目的地生成的深度圖的深度值。下面進一步闡明深度輔助數(shù)據(jù)的處理。
[0040]3D顯示設備60用于顯示3D圖像數(shù)據(jù)。該設備具有輸入接口單元61，該輸入接口單元61用于接收從3D目的地設備50傳送的、包括3D視頻數(shù)據(jù)和目的地深度圖的3D顯示信號56。該設備具有用于依賴于目的地深度圖基于第一和第二視頻信息來生成3D視頻數(shù)據(jù)的多個視圖的視圖處理器62，和用于顯示該3D視頻數(shù)據(jù)的該多個視圖的3D顯示器63。所傳送的3D視頻數(shù)據(jù)在處理單元62中被處理以用于在3D顯示器63 (例如多視點IXD)上顯示。顯示設備60可以是任何類型的立體感顯示器(也被稱為3D顯示器)。
[0041]3D顯示設備60中的視頻處理器62被布置用于處理3D視頻數(shù)據(jù)以生成用于呈現(xiàn)多個視圖的顯示控制信號。使用目的地深度圖而從3D圖像數(shù)據(jù)生成這些視圖?？商鎿Q地，3D播放器設備中的視頻處理器52可以被布置成施行所述深度圖處理?？梢岳?D圖像信號而朝向所述3D顯示器傳送為指定3D顯示器生成的多個視圖。
[0042]在另外的實施例中，目的地設備和顯示設備被合并成單個設備。深度處理器52和處理單元62的功能，以及輸出單元55和輸入單元61的剩余功能，可以由單個視頻處理器單元施行。
[0043]圖2示出使用深度輔助數(shù)據(jù)的3D解碼器。3D解碼器20被示意性地顯示為具有用于被標記為BS3 (基本信號3D)的3D視頻信號的輸入。輸入解復用器21 (DEMUX)恢復來自左和右視圖的比特流(LR-bitstr)和來自深度輔助數(shù)據(jù)的比特流(DH-bitstr)。第一解碼器22 (DEC)解碼左和右視圖到輸出L和R，其還被耦合到消費者類型的立體-深度轉換器(CE-S2D)，該轉換器生成被稱為目的地生成的深度圖的左深度圖LDl和右深度圖RDl。第二解碼器23解碼DH-bitstr并在深度輔助數(shù)據(jù)可用的情況下提供左輔助深度圖LD2和右輔助深度圖RD2。深度開關DEPTH-SW 25例如基于指示深度輔助數(shù)據(jù)的存在的標志而選擇目的地生成的深度圖(LD1/RD1)或者左輔助深度圖LD2和右輔助深度圖RD2。
[0044]3D解碼器可以是在消費者側的機頂盒(STB)的一部分，其接收符合深度輔助系統(tǒng)(BS3)的比特流，該比特流被解復用成2個流:一個具有L和R視圖的視頻流，和一個具有深度輔助(DH)數(shù)據(jù)的深度流，這兩個流隨后都被發(fā)送到相應的解碼器(例如MVC/H264)。本地標志被導出并用于在所解碼的DH深度(LD2/RD2)和(由CE-S2D)本地生成的深度值(LDl/RDl)之間切換。取決于顯示器的類型，3D解碼器的最終輸出(LD3/RD3)隨后被傳送到如隨著圖4或5討論的視圖扭曲塊。
[0045]圖3示出提供深度輔助數(shù)據(jù)的3D編碼器。3D編碼器30被示意性地示為具有用于接收3D視頻信號的輸入(L，R)。立體-深度轉換器(例如高質量專業(yè)類型HQ-S2D)生成被稱為源生成的深度圖的左深度圖LD4和右深度圖RD4。另外的輸入接收源深度圖(被標記為LD-man，RD_man)，其可以被離線地提供(例如手動編輯或改進)，或者可以隨著輸入3D視頻信號而可獲得。深度開關單元32接收源生成的深度圖LD4、RD4和源深度圖LD_man和RD-man兩者，并確定源深度圖與所生成的深度圖之間的差異是否超過預定閾值。如果是，則深度開關生成深度輔助數(shù)據(jù)LD5、RD5。深度開關可以選擇深度圖中的一個。該選擇還可以基于指示這樣的差異的外部信號(被標記的標志)，該信號可以由輸出多路復用器35 (MUX)包括在輸出信號中作為輔助信令數(shù)據(jù)。該多路復用器還從第一編碼器33接收被編碼的視頻數(shù)據(jù)(BSl)并從第二編碼器34接收被編碼的深度輔助數(shù)據(jù)(BS2)，并且生成被標記為BS3的3D視頻信號。
[0046]在3D編碼器中，輸出單元可以被布置用于僅針對校正時段而將深度輔助數(shù)據(jù)包括在3D視頻信號中，在該校正時期內時，所述差異超過所述閾值。此外，輸出單元可以被布置用于僅針對小于3D顯示器的校正區(qū)域而將深度輔助數(shù)據(jù)包括在3D視頻信號中，在該校正區(qū)域中時所述差異超過所述閾值。舉例來說，提供深度輔助數(shù)據(jù)的深度圖為:(i)完整幀；(ii)部分存在；或(iii)不存在。深度圖也可以僅存在于某些幀或GOP中。另外，也可以包括完整幀深度圖，只不過分配特定的亮度值(例如0x00或OxFF)以意味著“無深度輔助信息”。這樣的圖可以以后向兼容的方式被編碼。另外，深度輔助數(shù)據(jù)及其幀位置可以被存儲在表或其他數(shù)據(jù)結構中，在用戶數(shù)據(jù)或一些其他流中傳輸。
[0047]編碼器具有以下效果。被稱為深度輔助數(shù)據(jù)的深度信息在時間上(時間上的部分深度)和/或空間上(幀內的部分深度)被部分地傳輸。包括有顯式或隱式的機制用于指示這些部分深度何時要被使用或者這些深度何時必須在本地被自動地生成。顯式機制可以是通過將標志插入比特流中，而隱式機制可以是通過慣例:不存在深度輔助數(shù)據(jù)本身指示必須生成本地深度。
[0048]在實施例中，在深度圖中可以給一定的深度水平LEV(例如黑色水平O或白色水平255)分配無DH深度被傳輸?shù)暮x。這樣的無深度值物理地存在于深度值的位置處，這具有一些實際的優(yōu)點，例如保持視頻和深度同步。
[0049]另外，這樣的信令允許對深度輔助數(shù)據(jù)進行“空間”指示，因而不僅時間上部分而且空間上也部分(即在幀內只有部分)。舉例來說，深度差錯可以存在于特定鏡頭的幀內的本地生成的深度圖的一些部分中。在那種情況下，除了本地生成的深度不足的像素之外，深度輔助數(shù)據(jù)可以被設置位于無深度水平LEV。
[0050]可能發(fā)生深度差錯的示例是內容中一直存在并且越過鏡頭邊界的logo。通常視差到深度的映射對于每個鏡頭是不同的，而通常logo的視差是恒定的。本地生成的深度可能是錯誤的，從而使得logo的深度越過鏡頭而隨時間變化。由于ASD的本性，這還可能甚至導致某種程度的變化的模糊效果，人眼對此非常敏感。然而，僅對于與logo對應的那些深度像素可用(即在非LEV值處)的深度輔助數(shù)據(jù)使得能夠將logo深度設置成固定且合適的水平。因此，克服了這樣的質量問題。深度圖的值為非LEV將被解釋為標志并且對于那些像素，深度輸出(LD3/RD3)將從本地生成的深度LD1/RD1切換到深度輔助數(shù)據(jù)LD2/RD2。
[0051]立體-深度轉換器模塊S2D (CE-S2D或HQ-S2D)將標準的可用立體信號轉換成一個或兩個對應的深度信號，其行為是已知的(并且是固定的)。有利地，特別選擇具體的立體-深度轉換器作為標準3D格式的一部分。因此，就可以使得在解碼器側的立體-深度轉換器與在編碼器側的立體-深度轉換器相等同。這允許在編碼器側對解碼器中的S2D模塊CE-S2D進行質量控制。如果最終證明例如對于給定鏡頭(新場景或“一次性拍攝鏡頭(take)”的開頭)，在ASD上呈現(xiàn)之后的質量不足(這通常是僅僅偶爾發(fā)生的事情，比方說5%的鏡頭)，則深度輔助數(shù)據(jù)僅針對那些鏡頭而被創(chuàng)建并傳輸。這不僅確保了整體質量，而且限制了創(chuàng)建內容的成本，同時節(jié)省了要傳輸?shù)谋忍亍?br> [0052]注意，深度輔助數(shù)據(jù)的原理可以應用于每個3D視頻傳送步驟，例如在演播室或作者與廣播方之間，該廣播方對當前增強的深度圖進行編碼以傳輸?shù)较M者。另外，可以在連續(xù)的傳送上執(zhí)行深度輔助數(shù)據(jù)系統(tǒng)，例如通過包括基于進一步改進的源深度圖的第二深度輔助數(shù)據(jù)，可以在初始版本上創(chuàng)建進一步改進的版本。這在3D顯示器上可達到的質量、傳輸深度信息所需要的比特率或用于創(chuàng)建3D內容的成本方面提供了很好的靈活性。
[0053]在實施例中，深度輔助數(shù)據(jù)可以采用以下形式。3D視頻信號包括對應于3D顯示器上的顯示區(qū)域的深度圖。所述深度圖具有針對校正區(qū)域和/或校正時期的深度輔助數(shù)據(jù)。此外，預定義的無深度值指示針對其他區(qū)域和/或時期對于對應位置不存在深度輔助數(shù)據(jù)。
[0054]在實施例中，深度圖可以包括對應于左視圖的深度數(shù)據(jù)、對應于右視圖的深度數(shù)據(jù)，和/或對應于中央視圖的深度數(shù)據(jù)中的至少一個。另外，深度數(shù)據(jù)可以具有低于第一視頻信息或第二視頻信息的分辨率。
[0055]深度處理器可以被布置用于生成針對校正區(qū)域的深度輔助數(shù)據(jù)從而使得所述校正區(qū)域對齊于3D視頻信號中的至少一個宏塊。該宏塊表示壓縮視頻數(shù)據(jù)(例如在MPEG編碼視頻信號中)的預定塊。
[0056]該宏塊對齊的校正區(qū)域可以包括針對源深度圖與第二生成深度圖之間的差異不超過預定閾值的位置的另外的深度數(shù)據(jù)。這樣的校正區(qū)域還包含像素，對于這些像素，第二生成深度圖和源深度圖的深度值小且低于該閾值。另外的深度數(shù)據(jù)可以基于第二生成深度圖以避免在該宏塊對齊的校正區(qū)域的外部邊界處的深度跳躍。使得該另外的深度校正值等于所生成的值，將在解碼器側避免跨宏塊的深度差異變得可見。
[0057]在實施例中，3D視頻信號包含信令輔助數(shù)據(jù)。該信令輔助數(shù)據(jù)指示深度輔助數(shù)據(jù)的可用性。信令輔助數(shù)據(jù)可以采用以下各項中的至少一個的形式。標志信號可以指示深度輔助數(shù)據(jù)的存在。深度圖中預定義的無深度值可以指示對于對應位置不存在深度輔助數(shù)據(jù)。輔助長度數(shù)據(jù)可以指示數(shù)據(jù)結構中深度輔助數(shù)據(jù)的量。視圖指示符數(shù)據(jù)可以指示深度輔助數(shù)據(jù)可用的多個視圖和/或視圖的類型。輔助類型數(shù)據(jù)可以指示用于深度輔助數(shù)據(jù)的數(shù)據(jù)結構或數(shù)據(jù)格式。輔助分辨率數(shù)據(jù)可以指示深度輔助數(shù)據(jù)的分辨率。輔助位置數(shù)據(jù)可以指示深度輔助數(shù)據(jù)的位置。
[0058]注意，深度輔助數(shù)據(jù)意圖幫助/校正自動生成的深度圖中在呈現(xiàn)之后可能在輸出中引起差錯的那些區(qū)域。深度圖的未使用區(qū)域可以由單個亮度值指示。這個值我們稱為NoDH。
[0059]其他信令參數(shù)可以針對深度輔助數(shù)據(jù)而被傳送(一個或多個，包括各種組合)，它們是:
1.深度數(shù)據(jù)解釋
a.Zfar, znear (最接近和最遠的深度值)，
b.znear_sign (指示如何解釋znear值,O為正，I為負)，
c.znear_exponent (用于擴展成深度值的更高保真度)
d.num_of_views (存在深度信息的視圖的數(shù)目)。
[0060]2.用于輔助呈現(xiàn)以從深度輔助數(shù)據(jù)得到最佳結果的具體處理信令。該信令將由與所定義的表中使用的信令相一致的數(shù)字組成。
a.DH數(shù)據(jù)中使用的分級(scaling)類型、用于分級的算法種類，雙線性、雙三次等等。
b.深度信息中的邊緣類型。這將由指示一定類型的邊緣以通過從深度輔助數(shù)據(jù)得到最大結果而輔助呈現(xiàn)的表組成。例如Sharp、Fuzzy、Soft等等
c.用于生成深度輔助數(shù)據(jù)的算法。呈現(xiàn)系統(tǒng)將能夠解釋這個值并且從其推斷如何呈現(xiàn)深度輔助數(shù)據(jù)。
手動、來自聚焦的深度、來自視角的深度、來自運動的深度、方式的組合，等等，等等。
除了前面列出的表條目值之外，如下的附加實值:
d.在深度數(shù)據(jù)中的對象的邊界處使用的膨脹(dilat1n)的量，從O到128
e.包含無深度輔助數(shù)據(jù)的深度圖像數(shù)據(jù)中的亮度值。NoDH為O到255之間的值。為了最小化邊緣處的比特率，在例如8x8或16x16處必須塊對齊，對應于深度視頻流的宏塊尺寸。
[0061]在視頻基本流中，優(yōu)選地傳輸深度數(shù)據(jù)解釋(I)和用于呈現(xiàn)的具體處理信令(2)兩者以使它們被包含在視頻信號中。對于深度數(shù)據(jù)解釋的傳輸，已經(jīng)提議為此定義被稱為深度范圍更新(depth range update)的新的nal單元類型。
[0062]對于具體處理信令，當解釋深度輔助數(shù)據(jù)時也需要使用數(shù)據(jù)，我們提議在NAL單元中承載該信令，該NAL單元形成承載深度輔助數(shù)據(jù)的視頻流的一部分。為此我們可以利用我們定義為Rendering_Depth_Helper數(shù)據(jù)的表來擴展depth_range_update nal單元。
[0063]可替換地，就像視頻基本流中也承載的那些表一樣，下面的表可以被承載在SEI消息中。
[0064]下面是示出具有所示數(shù)據(jù)的nal單元的一部分的示例的表。
[0065]表1:呈現(xiàn)深度，助數(shù)據(jù)_

【權利要求】
1.用于提供三維[3D]視頻信號(41)以傳送到3D目的地設備(50)的3D源設備(40)， 所述3D視頻信號包括: -第一視頻信息，表示3D顯示器上的左眼視圖； -第二視頻信息，表示所述3D顯示器上的右眼視圖； 所述3D目的地設備包括: -接收機(51，58，59 )，用于接收所述3D視頻信號； -立體-深度轉換器(53)，用于基于所述第一和第二視頻信息來生成第一生成深度圖， 所述3D源設備包括: -輸出單元(46 )，用于生成3D視頻信號，并且用于將所述3D視頻信號傳送到所述3D目的地設備， 其中， 所述3D源設備被布置用于: -提供與所述視頻信息相關的源深度圖，并且 所述3D源設備包括: -源立體-深度轉換器(48)，用于基于所述第一和第二視頻信息來生成第二生成深度圖，以及 -源深度圖處理器(42)，被布置用于僅當所述源深度圖與所述第二生成深度圖之間的差異超過預定閾值時才提供深度輔助數(shù)據(jù)，所述深度輔助數(shù)據(jù)表示所述源深度圖，并且所述輸出單元被布置用于將所述深度輔助數(shù)據(jù)包括在所述3D視頻信號中，并且所述3D目的地設備包括深度處理器(52)，用于: -當所述3D視頻信號中無深度輔助數(shù)據(jù)可用時基于所述第一生成深度圖，并且當所述3D視頻信號中深度輔助數(shù)據(jù)可用時基于所述深度輔助數(shù)據(jù)，來生成目的地深度圖。
2.如權利要求1中要求保護的3D源設備，其中所述輸出單元被布置用于僅針對校正時段而將所述深度輔助數(shù)據(jù)包括在所述3D視頻信號中，在該校正時期內時，所述差異超過所述閾值。
3.如權利要求1中要求保護的3D源設備，其中所述輸出單元被布置用于僅針對小于所述3D顯示器的校正區(qū)域而將所述深度輔助數(shù)據(jù)包括在所述3D視頻信號中，在該校正區(qū)域中時，所述差異超過所述閾值。
4.如權利要求3中要求保護的3D源設備，其中所述深度處理器被布置用于針對所述校正區(qū)域來生成所述深度輔助數(shù)據(jù)，以使所述校正區(qū)域對齊于所述3D視頻信號中的至少一個宏塊，該宏塊表示壓縮視頻數(shù)據(jù)的預定塊，該宏塊對齊的校正區(qū)域包括針對所述源深度圖與所述第二生成深度圖之間的差異不超過預定閾值的位置的另外的深度數(shù)據(jù)。
5.如權利要求4中要求保護的3D源設備，其中所述另外的深度數(shù)據(jù)基于所述第二生成深度圖以避免在所述宏塊對齊的校正區(qū)域的外部邊界處的深度跳躍。
6.如權利要求1，2，3或4中要求保護的3D源設備，其中所述輸出單元被布置用于將信令輔助數(shù)據(jù)包括在所述3D視頻信號中，該信令輔助數(shù)據(jù)指示所述深度輔助數(shù)據(jù)的可用性。
7.如權利要求6中要求保護的3D源設備，其中所述信令輔助數(shù)據(jù)包括以下各項中的至少一個: -標志信號，指示所述深度輔助數(shù)據(jù)的存在； -深度圖中預定義的無深度值，指示對于對應位置不存在深度輔助數(shù)據(jù)； -輔助長度數(shù)據(jù)，指示數(shù)據(jù)結構中深度輔助數(shù)據(jù)的量； -視圖指示符數(shù)據(jù)，指示深度輔助數(shù)據(jù)可用的多個視圖和/或視圖的類型； -輔助類型數(shù)據(jù)，指示用于所述深度輔助數(shù)據(jù)的數(shù)據(jù)結構； -輔助分辨率數(shù)據(jù)，指示所述深度輔助數(shù)據(jù)的分辨率； -輔助位置數(shù)據(jù)，指示所述深度輔助數(shù)據(jù)的位置。
8.如權利要求6中要求保護的3D源設備，其中所述輸出單元被布置用于將對應于所述3D顯示器上的顯示區(qū)域的深度圖包括在所述3D視頻信號中，該深度圖包括針對所述校正區(qū)域和/或所述校正時期的所述深度輔助數(shù)據(jù)，并且，作為所述信令輔助數(shù)據(jù)，預定義的無深度值指示針對其他區(qū)域和/或時期對于對應位置不存在深度輔助數(shù)據(jù)。
9.如權利要求8中要求保護的3D源設備，其中所述深度圖包括以下各項中的至少一個: -對應于所述左視圖的深度數(shù)據(jù)； -對應于所述右視圖的深度數(shù)據(jù)； -對應于中央視圖的深度數(shù)據(jù)； -具有低于所述第一視頻信息或所述第二視頻信息的分辨率的深度數(shù)據(jù)。
10.用于從3D源設備接收三維[3D]視頻信號的3D目的地設備(50)， 所述3D視頻信號包括: -第一視頻信息，表示3D顯示器上的左眼視圖； -第二視頻信息，表示所述3D顯示器上的右眼視圖； 所述3D目的地設備包括: -接收機，用于接收所述3D視頻信號； -立體-深度轉換器，用于基于所述第一和第二視頻信息來生成第一生成深度圖， 其中， 所述3D源設備被布置用于: -提供與所述視頻信息相關的源深度圖，并且 所述3D源設備包括: -源立體-深度轉換器，用于基于所述第一和第二視頻信息來生成第二生成深度圖，以及 -源深度圖處理器，被布置用于僅當所述源深度圖與所述第二生成深度圖之間的差異超過預定閾值時才提供深度輔助數(shù)據(jù)，所述深度輔助數(shù)據(jù)表示所述源深度圖，并且所述輸出單元被布置用于將所述深度輔助數(shù)據(jù)包括在所述3D視頻信號中，以及所述3D目的地設備包括深度處理器，用于: -當所述3D視頻信號中無深度輔助數(shù)據(jù)可用時基于所述第一生成深度圖，并且當所述3D視頻信號中深度輔助數(shù)據(jù)可用時基于所述深度輔助數(shù)據(jù)，來生成目的地深度圖。
11.如權利要求10中要求保護的目的地設備，其中所述接收機包括用于讀取記錄載體以接收所述3D視頻信號的讀取單元(58)。
12.如權利要求10中要求保護的目的地設備，其中所述設備包括: -視圖處理器，用于依賴于所述目的地深度圖基于所述第一和第二視頻信息來生成所述3D視頻數(shù)據(jù)的多個視圖； -3D顯示器(63)，用于顯示所述3D視頻數(shù)據(jù)的所述多個視圖。
13.提供三維[3D]視頻信號以傳送到3D目的地設備的方法， 所述3D視頻信號包括: -第一視頻信息，表示3D顯示器上的左眼視圖； -第二視頻信息，表示所述3D顯示器上的右眼視圖； 所述3D目的地設備包括: -接收機，用于接收所述3D視頻信號； -立體-深度轉換器，用于基于所述第一和第二視頻信息來生成第一生成深度圖， 所述方法包括: -生成所述3D視頻信號，并且將所述3D視頻信號傳送到所述3D目的地設備， 其中所述方法包括: -提供與所述視頻信息相關的源深度圖， -基于所述第一和第二視頻信息來生成第二生成深度圖，以及-僅當所述源深度圖與所述第二生成深度圖之間的差異超過預定閾值時才提供深度輔助數(shù)據(jù)，所述深度輔助數(shù)據(jù)表示所述源深度圖，并且 將所述深度輔助數(shù)據(jù)包括在所述3D視頻信號中，并且 所述3D目的地設備包括深度處理器，用于: -當所述3D視頻信號中無深度輔助數(shù)據(jù)可用時基于所述第一生成深度圖，并且當所述3D視頻信號中深度輔助數(shù)據(jù)可用時基于所述深度輔助數(shù)據(jù)，來生成目的地深度圖。
14.如權利要求13中要求保護的方法，其中所述方法包括制造記錄載體的步驟，所述記錄載體被提供有表示所述3D視頻信號的標記的軌道。
15.用于將3D視頻數(shù)據(jù)從3D源設備傳送到3D目的地設備的三維[3D]視頻信號，所述3D視頻信號包括: -第一視頻信息，表示3D顯示器上的左眼視圖； -第二視頻信息，表示所述3D顯示器上的右眼視圖； 所述3D目的地設備包括: -接收機，用于接收所述3D視頻信號； -立體-深度轉換器，用于基于所述第一和第二視頻信息來生成第一生成深度圖， 所述3D源設備包括: -輸出單元，用于生成所述3D視頻信號，并且用于將所述3D視頻信號傳送到所述3D目的地設備， 其中， 所述3D源設備被布置用于: -提供與所述視頻信息相關的源深度圖，并且 所述3D源設備包括: -源立體-深度轉換器，用于基于所述第一和第二視頻信息來生成第二生成深度圖，以及 -源深度圖處理器，被布置用于僅當所述源深度圖與所述第二生成深度圖之間的差異超過預定閾值時才提供深度輔助數(shù)據(jù)，所述深度輔助數(shù)據(jù)表示所述源深度圖，并且 所述3D視頻信號包括所述深度輔助數(shù)據(jù)，并且 所述3D目的地設備包括深度處理器，用于: -當所述3D視頻信號中無深度輔助數(shù)據(jù)可用時基于所述第一生成深度圖，并且當所述3D視頻信號中深度輔助數(shù)據(jù)可用時基于所述深度輔助數(shù)據(jù)，來生成目的地深度圖。
16.記錄載體(54)，包括如權利要求15中要求保護的所述三維[3D]視頻信號。
17.用于提供三維[3D]視頻信號以傳送到3D目的地設備的計算機程序產(chǎn)品，該程序被操作以使得處理器施行如權利要求13中要求保護的所述方法的相應步驟。
【文檔編號】H04N13/00GK104205821SQ201380018746
【公開日】2014年12月10日 申請日期:2013年4月5日 優(yōu)先權日:2012年4月5日
【發(fā)明者】W.H.A.魯斯, P.S.紐頓, J.C.塔斯特拉, W.德哈安 申請人:皇家飛利浦有限公司