用于產(chǎn)生、傳送和接收立體圖像的方法及有關(guān)設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及立體視頻流(亦即，當(dāng)在可視化設(shè)備中被適當(dāng)?shù)靥幚頃r(shí)生成被觀看者感知為是三維的圖像序列的視頻流)的產(chǎn)生、存儲(chǔ)、傳送、接收和再現(xiàn)。
【背景技術(shù)】
[0002]眾所周知，可以通過(guò)再現(xiàn)兩個(gè)圖像(一個(gè)針對(duì)觀看者的右眼，并且另一個(gè)針對(duì)觀看者的左眼)來(lái)獲得對(duì)三維的感知。
[0003]因此，立體視頻流傳輸關(guān)于與對(duì)象或場(chǎng)景的右透視和左透視對(duì)應(yīng)的兩個(gè)圖像序列的信息。這樣的流還可以傳輸補(bǔ)充信息。
[0004]于2011年6月30日作為W02011/077343A1公布的國(guó)際專利申請(qǐng)PCT/IB2010/055918描述了一種左/右圖像復(fù)用方法及解復(fù)用方法(以及有關(guān)設(shè)備)，該方法允許保留水平分辨率和垂直分辨率之間的平衡，從而相對(duì)于諸如“并排(side by side) ”和“上下(top and bottom) ”的已知技術(shù)提供了優(yōu)點(diǎn)。
[0005]根據(jù)所述復(fù)用方法，將第一圖像(例如左圖像)的像素不變地加入到合成圖像中，而將第二圖像劃分成區(qū)域，其像素被布置在合成圖像的空閑區(qū)中，如圖1所示，其示出將兩個(gè)所謂的720P圖像加入到容器幀1080P中的情況。
[0006]在接收時(shí)，重構(gòu)被劃分成區(qū)域的圖像，然后發(fā)送給顯示器。例如，已知根據(jù)所謂的“幀交替”原理進(jìn)行操作(亦即，在時(shí)間上相繼地示出兩個(gè)圖像L和R)的顯示器。為了立體視覺，需要佩戴所謂的“主動(dòng)式(active)”眼鏡，亦即如下眼鏡:該眼鏡與圖像L和R的相繼同步地遮蔽一個(gè)透鏡并且保持另一個(gè)眼睛的透鏡打開、使得每個(gè)眼睛只能夠看見想要給它的圖像。
[0007]已知對(duì)于某些觀看者而言，通過(guò)這樣的顯示器得到的立體視覺可以被證實(shí)是令人討厭的，期望對(duì)他們提供變化(減小)圖像的深度的可能性，以便使其適合于他們的主觀偏好和屏幕的大小。為此，需要在顯示器內(nèi)在正在被傳送的那些圖像之間提供中間圖像的合成，其然后將被顯示在實(shí)際傳送的圖像的地方。如果可以得到與所傳送的圖像關(guān)聯(lián)的一個(gè)或多個(gè)深度圖，則可以通過(guò)使用已知的技術(shù)完成這樣的重構(gòu)。
[0008]另外，所謂的自立體(self-stereoscopic)顯示器最近開始出現(xiàn)在市場(chǎng)上，其不需要使用眼鏡。這樣的顯示器還執(zhí)行未傳送圖像的合成，因此需要提供這樣的合成所需的信息的至少一個(gè)深度圖。
[0009]從而，已經(jīng)需要引入一種用于產(chǎn)生、傳輸和重構(gòu)立體流的新格式，該格式可以用于傳統(tǒng)的2D接收和再現(xiàn)設(shè)備、當(dāng)前的雙視圖(two-view)立體3D接收和再現(xiàn)設(shè)備(具有或不具有深度調(diào)節(jié))以及使用多于兩個(gè)視圖的未來(lái)的自立體設(shè)備，同時(shí)保留與當(dāng)前使用的視頻流生成和分發(fā)基礎(chǔ)設(shè)施及設(shè)備的格式的最大兼容性。

【發(fā)明內(nèi)容】

[0010]因此，本發(fā)明的目的是針對(duì)滿足上述需求，提出一種用于產(chǎn)生、傳送和接收立體圖像的方法以及有關(guān)設(shè)備。
[0011]本發(fā)明涉及一種用于在單個(gè)合成幀內(nèi)復(fù)用與右透視和左透視有關(guān)的兩個(gè)圖像(以下稱為右圖像和左圖像)以及一個(gè)或多個(gè)深度圖的方法和設(shè)備。
[0012]本發(fā)明還涉及一種用于解復(fù)用所述合成圖像(亦即，用于從中提取通過(guò)復(fù)用設(shè)備加入的右圖像和左圖像以及深度圖)的方法和設(shè)備。
[0013]在圖1a中可見，關(guān)于上述國(guó)際專利申請(qǐng)(所謂的“瓦片格式”)，在合成圖像中存在尺寸在水平和垂直方向上均為兩個(gè)圖像L和R的尺寸的一半的未用區(qū)域(C5)。根據(jù)本發(fā)明的一個(gè)可能的實(shí)施例，如圖1b所示，可以將至少一個(gè)深度圖(DM)加入到所述未用區(qū)域中。
[0014]將與圖像X有關(guān)的深度圖理解為灰度圖像，其中每個(gè)像素具有與像素本身的深度(亦即，坐標(biāo)“z”)成比例的亮度值，其中按照慣例假設(shè)值z(mì) = O與屏幕上的位置對(duì)應(yīng)，z的正值與位于屏幕后面的像素對(duì)應(yīng)，而負(fù)值與位于屏幕的前面的像素對(duì)應(yīng)。因?yàn)楹铣蓤D像的未用區(qū)域具有水平和垂直尺寸(其是圖像L和R的尺寸的一半)，所以在本發(fā)明的一個(gè)實(shí)施例中，可以將具有等于對(duì)應(yīng)的圖像的一半的水平和垂直分辨率的深度圖(與兩個(gè)圖像L和R之一有關(guān))加入到這樣的區(qū)域中。已經(jīng)觀察到分辨率的這種損失不是有害的，因?yàn)橥ǔ？梢栽诓痪_的情況下計(jì)算或測(cè)量深度圖，優(yōu)選對(duì)全分辨率圖通過(guò)在像素值之間進(jìn)行插值來(lái)進(jìn)行欠采樣操作，因?yàn)檫@樣的操作可以減少噪聲分量，從而得到更高質(zhì)量的重構(gòu)圖像。
[0015]根據(jù)本發(fā)明的其他實(shí)施例，可以將兩個(gè)深度圖加入到所述未用區(qū)域(C5)中。
[0016]上述國(guó)際專利申請(qǐng)還描述了立體圖像L和R的復(fù)用和解復(fù)用的其他形式，雖然因?yàn)榭捎糜诩尤肷疃葓D的剩下的空間更小而不那么有效，但是也可以對(duì)其應(yīng)用本發(fā)明的方法。因此，將存在所述圖的分辨率的進(jìn)一步的降低。雖然仍然落入本發(fā)明的一般原理之內(nèi)，但是在本文中將不描述這樣的替代的實(shí)施方式。
[0017]本發(fā)明的具體目標(biāo)是提供一種如作為本描述的組成部分的所附權(quán)利要求中所述的用于產(chǎn)生、傳送和接收立體圖像的方法以及有關(guān)設(shè)備。
【附圖說(shuō)明】
[0018]本發(fā)明的進(jìn)一步的目的和優(yōu)點(diǎn)將根據(jù)下面的對(duì)其若干實(shí)施例的描述變得明顯，參考附圖通過(guò)非限制性的示例提供該描述，其中:
[0019]圖1a示出現(xiàn)有技術(shù)格式(瓦片格式)中的合成幀；
[0020]圖1b示出根據(jù)本發(fā)明的合成幀的一個(gè)示例；
[0021]圖2示出用于將右圖像、左圖像和深度圖復(fù)用到合成圖像中的設(shè)備的框圖；
[0022]圖3是由圖2的設(shè)備執(zhí)行的方法的流程圖；
[0023]圖4示出要加入到合成圖像中的圖像的拆卸的一種可能形式；
[0024]圖5示出用于從合成幀中提取左圖像、右圖像和深度圖的設(shè)備的框圖；
[0025]圖6是由圖5的設(shè)備執(zhí)行的方法的流程圖。
【具體實(shí)施方式】
[0026]圖2示出根據(jù)本發(fā)明的變型的用于產(chǎn)生具有至少一個(gè)深度圖的立體視頻流101的設(shè)備100的框圖。
[0027]在圖2中，設(shè)備100接收兩個(gè)圖像序列102和103 (例如，分別用于左眼(L)和右眼(R)的兩個(gè)視頻流)以及與和立體視頻流關(guān)聯(lián)的三維內(nèi)容有關(guān)的深度圖序列106。
[0028]序列106的深度圖可以與分別屬于序列102和103的兩個(gè)右圖像和左圖像之一關(guān)聯(lián)，或者可以被創(chuàng)建為右圖像和左圖像的深度圖之間的插值，亦即，與場(chǎng)景的中間視點(diǎn)有關(guān)。
[0029]在將在下面描述的這個(gè)第一實(shí)施例中，通過(guò)現(xiàn)有技術(shù)中已知的算法中的任何一個(gè)來(lái)產(chǎn)生深度圖，例如，基于右圖像和左圖像之間的比較，并且返回大小等于兩個(gè)比較圖像之一的像素并且元素具有與所述圖像的每個(gè)像素的深度成比例的值的矩陣(亦即，深度圖)。另一種深度圖產(chǎn)生技術(shù)基于測(cè)量場(chǎng)景中的對(duì)象與拍攝場(chǎng)景的攝像機(jī)對(duì)的距離:可以通過(guò)激光容易地測(cè)量該距離。在利用電子計(jì)算機(jī)的幫助產(chǎn)生偽視頻流的情況下，攝像機(jī)是虛擬攝像機(jī)，因?yàn)樗鼈冇捎?jì)算機(jī)仿造的某個(gè)場(chǎng)景的兩個(gè)視點(diǎn)組成。在這樣的情況下，深度圖由計(jì)算機(jī)產(chǎn)生，并且非常精確。
[0030]作為圖2的示例的替代，可以在設(shè)備100內(nèi)產(chǎn)生序列106的深度圖。在該情況下，設(shè)備100包含被輸入序列102和103的圖像L和R、然后計(jì)算對(duì)應(yīng)的深度圖的適當(dāng)?shù)哪K(未在圖中示出)，而不是從外部接收深度圖序列。
[0031]設(shè)備100允許實(shí)現(xiàn)用于復(fù)用兩個(gè)序列102和103的兩個(gè)圖像以及序列106的深度圖的方法。
[0032]為了實(shí)現(xiàn)用于復(fù)用右圖像和左圖像以及深度圖的方法，設(shè)備100包含:拆卸器模塊104，用于將輸入圖像(圖1b的示例中的右圖像)分解成多個(gè)子圖像，每個(gè)子圖像與所接收的圖像的一個(gè)區(qū)域?qū)?yīng)；欠采樣和濾波模塊107，用于處理深度圖；以及組裝器模塊105，能夠?qū)⑺邮盏膱D像(包括深度圖)的像素加入到單個(gè)合成圖像中以在其輸出處提供。如果不需要對(duì)序列106進(jìn)行處理，則可以省略模塊107。例如，這可以是當(dāng)深度圖是激光產(chǎn)生的并且從一開始就具有比圖像L和R的分辨率低的分辨率時(shí)的情況。
[0033]現(xiàn)在將參考圖3來(lái)描述由設(shè)備100實(shí)現(xiàn)的復(fù)用方法的一個(gè)示例。
[0034]該方法開始于步驟200。隨后(步驟201)，如圖4所示，兩個(gè)輸入圖像之一(右或左)被分解為多個(gè)區(qū)域。在圖4的示例中，所拆卸的圖像是720p視頻流的幀R，亦即具有1280x720個(gè)像素的分辨率的漸進(jìn)(progressive)格式。
[0035]圖4的幀R來(lái)自攜帶用于右眼的圖像的視頻流103，并且被拆卸成優(yōu)選地在形狀上為矩形的三個(gè)區(qū)域Rl、R2和R3。
[0036]圖像R的拆卸通過(guò)將其劃分成相同大小的兩個(gè)部分并且隨后將這些部分中的一個(gè)細(xì)分成相同大小的兩個(gè)部分來(lái)獲得。
[0037]區(qū)域Rl具有640x720個(gè)像素的大小，并且通過(guò)取得各行的所有前640個(gè)像素來(lái)獲得。區(qū)域R2具有640x360個(gè)像素的大小，并