用于獲取、表示、比較和傳輸三維數(shù)據(jù)的方法和系統(tǒng)的制作方法
【專利摘要】用于獲取三維編碼光數(shù)據(jù)的方法，包括：通過照相機(jī)接收編碼光數(shù)據(jù)；以及將所述接收到的編碼光數(shù)據(jù)轉(zhuǎn)換為表示數(shù)據(jù)，與所述接收到的編碼光數(shù)據(jù)相比，所述表示數(shù)據(jù)的數(shù)量減少，其中所述接收到的編碼光數(shù)據(jù)能夠根據(jù)所述表示數(shù)據(jù)重構(gòu)。
【專利說明】用于獲取、表示、比較和傳輸三維數(shù)據(jù)的方法和系統(tǒng)
【背景技術(shù)】
[0001]現(xiàn)有技術(shù)中已知有多種方法利用結(jié)構(gòu)光，或者更具體地編碼光來執(zhí)行有源三角形法。
[0002]一般來說，編碼光方法旨在通過投射一系列光模式(pattern)來獲取興趣對象的三維幾何結(jié)構(gòu)。典型的系統(tǒng)的特征在于具有非共線光軸的照相機(jī)和投影機(jī)，其中投影機(jī)能夠捕獲以這些模式照亮的對象的圖像，如【背景技術(shù)】圖1所示且如以下詳細(xì)描述的。所述模式被設(shè)計為形成在投影機(jī)系統(tǒng)坐標(biāo)中對對象上照亮的點(diǎn)的位置進(jìn)行編碼的代碼。在照相機(jī)所看到的每個像素中，投影機(jī)坐標(biāo)因而也是可用的，這允許通過三角法重構(gòu)點(diǎn)的三維位置。三角法假設(shè)已知照相機(jī)和投影機(jī)系統(tǒng)的坐標(biāo)之間的幾何關(guān)系，其是通過校準(zhǔn)恢復(fù)的。重構(gòu)為照相機(jī)圖像的每個像素產(chǎn)生X，1，z世界坐標(biāo)，其可以以三個矩陣的形式表示(稱作幾何圖像)。典型地，8-12種模式用于準(zhǔn)確的幾何重構(gòu)(雖然較少模式可以用于各種應(yīng)用，如單模式幾何重構(gòu)裝置)。為了捕獲視頻速率(每秒30幀)，用于幾何獲取的照相機(jī)必須能夠捕獲每秒至少240-360幀。在一些應(yīng)用中，希望投射的模式不被人類看見，這能夠通過使用不可見(例如，紅外)頻譜投影機(jī)和具有對該頻譜敏感的傳感器的照相機(jī)而實現(xiàn)。 [0003]如果人們希望也獲取對象的光度屬性(紋理)，則可以投射被照相機(jī)捕獲的完全黑暗和完全明亮的模式。紋理圖像的分辨率與用于幾何獲取的照相機(jī)的分辨率相同。
[0004]通過重復(fù)地在移動對象上投射光模式，捕獲各個圖像，并執(zhí)行重構(gòu)，人們能夠獲得對象的三維視頻。該視頻能夠被壓縮、傳輸和存儲。

【發(fā)明內(nèi)容】

[0005]【背景技術(shù)】沒有教導(dǎo)或建議用于獲取、表示、比較、傳輸和存儲三維數(shù)據(jù)的系統(tǒng)和方法，其非常高效且允許廣泛壓縮數(shù)據(jù)。
[0006]通過提供獲取三維數(shù)據(jù)且允許高效和廣泛壓縮的系統(tǒng)和方法，本發(fā)明克服了【背景技術(shù)】的上述缺點(diǎn)。
[0007]根據(jù)至少一些實施例，提供用于獲取三維數(shù)據(jù)的系統(tǒng)和方法，包括:投射一系列編碼光模式；通過照相機(jī)接收照亮場景的圖像；處理它們以獲得二進(jìn)制數(shù)據(jù)，包括II，…，Ib ；執(zhí)行場景的三維結(jié)構(gòu)的重構(gòu)，產(chǎn)生3D坐標(biāo)x，y，z ;以及將所述3D坐標(biāo)轉(zhuǎn)換為表示數(shù)據(jù)，所述表示數(shù)據(jù)被更好地架構(gòu)以用于標(biāo)準(zhǔn)壓縮算法并因此能更好地壓縮。
[0008]根據(jù)至少一些實施例，重構(gòu)產(chǎn)生表示為幾何圖像的原始數(shù)據(jù)，其中在圖像的每個像素中，存儲在空間中像素的三維坐標(biāo)。因此，幾何圖像能夠被認(rèn)為是x(i，j)，y(i，j)和z(i, j)形式的三個數(shù)組，其中i，j是像素指數(shù)，X, y，z是三維坐標(biāo)。
[0009]可替換地，幾何圖像能夠被轉(zhuǎn)換成與每個像素的定位和從照相機(jī)原點(diǎn)(xO，yO, z0)到對象的距離r有關(guān)一組數(shù)據(jù)。在簡單的轉(zhuǎn)換過程中，該轉(zhuǎn)換根據(jù)以下公式進(jìn)行
[0010]r (i, j) =sqrt {(x(i, j)_x0) '2+(y (i, j)-y0) ~2+(z(i, j)_z0) '2}。
[0011]紋理信息(灰度或顏色)可以由單獨(dú)的照相機(jī)捕獲，其可能具有與用于三維數(shù)據(jù)獲取的照相機(jī)不同的分辨率。相對于用于三維數(shù)據(jù)獲取的照相機(jī)校準(zhǔn)紋理照相機(jī)，這種校準(zhǔn)提供從三維空間坐標(biāo)X，y, z到紋理照相機(jī)二維坐標(biāo)系(u，v)的映射。結(jié)果，對于范圍圖像中的每個像素i，j，可以獲得紋理圖像T(u，v)中對應(yīng)的像素i’，j’，其能用于紋理映射。紋理映射可以可選地根據(jù)以下簡單過程執(zhí)行:對于每個范圍圖像像素i，j，計算紋理坐標(biāo)u (i, j)，V (i, j)。這些坐標(biāo)可以處于子像素精度，并且通過從T的附近像素對點(diǎn)u(i, j), v(i, j)處的T的值插值來計算紋理。這樣，創(chuàng)建在范圍圖像坐標(biāo)中的紋理圖像T’ (i, j)=T(u(i, j),v(i, j))，并且在范圍像素及其紋理之間存在一對一的對應(yīng)關(guān)系。
[0012]如果紋理照相機(jī)有顏色，則顏色紋理數(shù)據(jù)可以可選地表達(dá)為RGB (U，v)，并根據(jù)這種映射插值為 RGB’ (i, j) =RGB (u (i, j)，v (i, j))。
[0013]上述映射允許更少的數(shù)據(jù)用于幾何圖像數(shù)據(jù)和紋理數(shù)據(jù)(或者紋理/顏色數(shù)據(jù))，例如且并不限于傳輸、存儲等，而不要求使用壓縮的損耗方法。此外，這種數(shù)據(jù)可以可選地以適于由已知的數(shù)據(jù)壓縮方法壓縮的格式(例如一系列視頻幀)提供。例如，可以可選地以r(i, j)矩陣為特征構(gòu)造視頻幀，從而視頻數(shù)據(jù)可以可選地提供為一系列具有該幀結(jié)構(gòu)的圖像。這種幀結(jié)構(gòu)使得已知的視頻壓縮方法(例如，H.264 (示例性而非限制性))能夠壓縮視頻數(shù)據(jù)。各種壓縮方法在以下將會進(jìn)行詳細(xì)描述。
[0014]并不希望受限于封閉列表，3D數(shù)據(jù)壓縮的一個挑戰(zhàn)在于使用現(xiàn)有的壓縮算法(稱作編碼解碼器或編碼器/解碼器，例如用于視頻壓縮的MPEG或H.264標(biāo)準(zhǔn))結(jié)合數(shù)據(jù)的特殊表示以使其更可壓縮。在使用紋理信息的情況下，這種表示必須允許幾何和紋理信息的組合表示。
[0015]本發(fā)明至少在一些實施例中提供了各種方法用于利用標(biāo)準(zhǔn)視頻編碼解碼器來壓縮3D數(shù)據(jù)的幾何和紋理信息。根據(jù)本發(fā)明的各個實施例的系統(tǒng)能夠以各種方式配置，產(chǎn)生不對稱的編碼解碼器，其中可以改變編碼器側(cè)和解碼器側(cè)復(fù)雜性之間的折中。例如，在照相機(jī)側(cè)實現(xiàn)于具有計算限制和/或能量約束的平臺上的系統(tǒng)中，為了降低照相機(jī)側(cè)上的計算復(fù)雜性，可以對原始二進(jìn)制圖像進(jìn)行編碼，并在解碼之后在客戶端側(cè)執(zhí)行重構(gòu)和紋理映射?？商鎿Q地，在相反的情況下，在編碼之前于照相機(jī)位置處執(zhí)行所有的重構(gòu)和紋理映射計算。
【專利附圖】

【附圖說明】
[0016]【背景技術(shù)】圖1示出了典型的編碼光三維獲取系統(tǒng)；
[0017]圖2示出了根據(jù)依照本發(fā)明的至少一些實施例的示例的說明性系統(tǒng)；
[0018]圖3示出了由圖2的系統(tǒng)產(chǎn)生的示例的說明性視頻幀；
[0019]圖4示出了可替換的示例的說明性視頻幀，其中第二照相機(jī)(圖2的照相機(jī)2202)的紋理圖像數(shù)據(jù)被可選地預(yù)先翹曲(warp)為范圍圖像坐標(biāo)系i，j ；
[0020]圖5示出了用于無需壓縮形成3D數(shù)據(jù)的本發(fā)明的可選實施例；
[0021]圖6和圖7示出了用于壓縮以上獲得的數(shù)據(jù)的本發(fā)明的可選實施例。
【具體實施方式】
[0022]現(xiàn)在關(guān)于并不意圖以任何方式進(jìn)行限制的以下圖示和隨附說明來描述本發(fā)明的至少一些實施例。
[0023]現(xiàn)在參照附圖，如前所述，【背景技術(shù)】圖1示出了典型的編碼光三維獲取系統(tǒng)100，特征在于用于接收編碼光的照相機(jī)102、用于投射編碼光的投影機(jī)104、以及對象106。對象106上的線表示由投影機(jī)104投射的編碼光的模式。照相機(jī)102接收從對象106反射的編碼光。照相機(jī)102可以被認(rèn)為是等價于幾何成像器，其是用于從編碼光數(shù)據(jù)提供三維圖像所需的基本成像設(shè)備。因此，【背景技術(shù)】的系統(tǒng)100能夠根據(jù)編碼光數(shù)據(jù)提供基本的三維圖像數(shù)據(jù)。
[0024]圖2示出了根據(jù)依照本發(fā)明的至少一些實施例的示例的說明性系統(tǒng)。如圖所示，系統(tǒng)200包括多個照相機(jī)，僅出于圖示的目的而并不意圖進(jìn)行限制，示出了兩個照相機(jī)202—照相機(jī)1202和照相機(jī)2202。照相機(jī)1202是幾何成像器或范圍照相機(jī)(rangecamera)，類似于圖1中照相機(jī)102的角色。照相機(jī)2202是紋理/顏色數(shù)據(jù)成像器，其獲取紋理和/或顏色圖像數(shù)據(jù)。
[0025]并不要求照相機(jī)1202相對于照相機(jī)2202的特定示出的定向；但是，對于最大化幾何數(shù)據(jù)與紋理和/或數(shù)據(jù)之間的重疊優(yōu)選的是，放置紋理成像器(照相機(jī)2202)使得其盡可能與幾何成像器(照相機(jī)1202)對準(zhǔn)。依據(jù)焦點(diǎn)在空間中的定位以及焦距能更好地確定這種對準(zhǔn)。
[0026]系統(tǒng)200的特征還在于用于將編碼光投射到對象206上的投影機(jī)204。
[0027]數(shù)據(jù)處理器208重構(gòu)在照相機(jī)I和2202所獲取的每個像素處距照相機(jī)坐標(biāo)系的原點(diǎn)O (照相機(jī)的光心)的距離r。照相機(jī)1202作為幾何成像器獲取從對象206反射的編碼光。數(shù)據(jù)處理器208不重構(gòu)x，y，z (笛卡爾)世界坐標(biāo)，因此所獲取的數(shù)據(jù)量減少?？蛇x地，系統(tǒng)200并不將數(shù)據(jù)處理器208作為單獨(dú)的實體，相反照相機(jī)1202執(zhí)行計算。
[0028]具有像素定位和距離r,人們能夠明確地在連接原點(diǎn)O和像素定位的長度為r的線上的位置處恢復(fù)X，1，z坐標(biāo)。這種表示的優(yōu)點(diǎn)是代替數(shù)據(jù)的三個矩陣x，y, z，只有數(shù)據(jù)的一個矩陣r(i，j)，從中可以容易地在任何位置離線地計算出x，y，z的值。矩陣r(i，j)能夠在任何位置和/或時間被存儲、傳輸和再轉(zhuǎn)換成X，1，z的值，提供系統(tǒng)的校準(zhǔn)參數(shù)。
[0029]出于以下描述的目的，紋理數(shù)據(jù)可以可選地描述為數(shù)據(jù)的矩陣T (U，v)。如果照相機(jī)2202也能夠提供顏色數(shù)據(jù)，則組合的紋理/顏色數(shù)據(jù)可以可選地描述為RGB (u，v)。
[0030]優(yōu)選地，以照相機(jī)1202來校準(zhǔn)照相機(jī)2202 ;更優(yōu)選地，照相機(jī)2202具有更高的分辨率和/或提供更高質(zhì)量的圖像數(shù)據(jù)。例如，但并不希望限制，照相機(jī)2202可選地且優(yōu)選地是高分辨率RGB (紅/綠/藍(lán))照相機(jī)，并且還可以可選地用于獲得顏色數(shù)據(jù)?？蛇x地，照相機(jī)2202不必以與照相機(jī)1202相同的速度進(jìn)行操作，照相機(jī)1202用于幾何重構(gòu)，即，獲得用于重構(gòu)對象206的三維結(jié)構(gòu)的反射編碼光。使用兩個照相機(jī)202，一個以高的空間分辨率用于紋理，但以低的幀速率用于顏色數(shù)據(jù)；以及一個以高的幀速率用于幾何重構(gòu)，以合理的成本提供優(yōu)良的性能。
[0031]根據(jù)照相機(jī)1202和照相機(jī)2202之間的校準(zhǔn)，對于照相機(jī)1202中每個像素，能夠確定照相機(jī)2202中對應(yīng)的像素。因此，在這種校準(zhǔn)之后，給定如上所述計算出的重構(gòu)幾何r(i, j)數(shù)據(jù)，可以將照相機(jī)2202捕獲的紋理T(u，v)數(shù)據(jù)映射到幾何圖像數(shù)據(jù)上。也就是，可以經(jīng)由紋理映射過程將每個紋理點(diǎn)T(u，v)(或者如果照相機(jī)2202還能夠提供顏色數(shù)據(jù)，則為RGB(u，v))映射為幾何圖像的(i，j)坐標(biāo)。因此，幾何圖像的坐標(biāo)(i，j)實際上可用作紋理映射坐標(biāo)，進(jìn)一步減少用于存儲、傳送等所需的數(shù)據(jù)量。
[0032]可選地，照相機(jī)2202可以具有顯著更高的分辨率和質(zhì)量，并以比照相機(jī)1202的捕獲速率更低的速率捕獲圖像。照相機(jī)2202的空間分辨率可選地可以根據(jù)視頻顯示方法的要求而被確定。例如，可選地，空間分辨率可以足夠高以根據(jù)HD (高清晰度)顯示的標(biāo)準(zhǔn)以及HD交錯或逐行掃描是合格的，對于所述HD顯示以及HD交錯或逐行掃描而言，一個重要的參數(shù)是顏色。然而，作為幾何照相機(jī)成像器的照相機(jī)1202并不需要顏色。照相機(jī)2202可以可選地以可見光譜收集數(shù)據(jù)，而照相機(jī)1202因為與投影機(jī)204同步而可以可選地以IR(紅外)操作。
[0033]通過如前所述提供這種系統(tǒng)200并且收集數(shù)據(jù)，諸如MPEG的標(biāo)準(zhǔn)的視頻壓縮標(biāo)準(zhǔn)可以可選地用于壓縮數(shù)據(jù)，包括幾何數(shù)據(jù)和顏色/紋理數(shù)據(jù)。為此，如圖3所示，表示幾何和紋理映射坐標(biāo)u(i, j)、v(i, j)的r(i, j)矩陣被組合到單個視頻幀中?？蛇x地,可以通過沿著兩個參數(shù)化映射u和V的行進(jìn)行封裝或可替換地沿著其列進(jìn)行封裝而執(zhí)行在幀中對數(shù)據(jù)的堆疊。[0034]圖3也示出了當(dāng)映射到幾何成像器坐標(biāo)(即，圖2的照相機(jī)1202的坐標(biāo))時紋理/顏色坐標(biāo)U、V的變換，紋理/顏色坐標(biāo)U、V也能夠組合到單個視頻幀(未示出，在以下進(jìn)行更詳細(xì)地描述)中。在該實施例中，紋理圖像序列被單獨(dú)地壓縮和傳輸，并且在解碼之后在接收側(cè)執(zhí)行紋理映射:紋理映射坐標(biāo)用于對紋理圖像進(jìn)行插值，提供用于三維場景的紋理信息。
[0035]例如，壓縮標(biāo)準(zhǔn)H.264是一種用于壓縮圖像序列并且在本領(lǐng)域公知的方法。通常通過及時開發(fā)信息冗余來操作該算法以便達(dá)到高壓縮率。圖3中示出的單個視頻幀可以可選地被設(shè)置為一系列幀，并且隨后可以根據(jù)該一系列幀可選地重構(gòu)視頻數(shù)據(jù)。
[0036]可選地，為了支持顏色數(shù)據(jù)的映射和提供，描述為范圍(距離)函數(shù)r (i, j, t)的幾何數(shù)據(jù)(以及因此幾何圖像)可以被提供為視頻序列，從而r(i，j)在該情況下可以是單幀。
[0037]可替換地，代替使用紋理映射坐標(biāo)，第二照相機(jī)(圖2的照相機(jī)2202)的紋理圖像數(shù)據(jù)可以可選地預(yù)先翹曲為如圖4所示的系統(tǒng)的深度圖像坐標(biāo)i，j。如圖所示，如前所述，單幀包括r(i，j)、翹曲的紋理圖像數(shù)據(jù)T’(i，j)或者RGB’(i，j)。
[0038]實際上，顏色(紋理)圖像數(shù)據(jù)能夠被虛擬地投射到幾何重構(gòu)的結(jié)構(gòu)上，將顏色數(shù)據(jù)從其圖像坐標(biāo)轉(zhuǎn)化為范圍坐標(biāo)，就像圖像數(shù)據(jù)實際上已經(jīng)從低分辨率、高幀速率幾何成像器(圖2的照相機(jī)1202)獲得，或者反之亦然。這種轉(zhuǎn)化因此允許顏色圖像RGB(u，V)變換為 RGB(i，j)。
[0039]另一非限制的示例性實施例涉及將幾何位平面嵌入為單個圖像的一部分。也就是，對于每像素16位的深度分辨率，人們能夠提供呈兩部分的單個圖像，一部分表示最高有效字節(jié)，而另一部分表示最低有效字節(jié)。這種方法可以允許根據(jù)現(xiàn)有的視頻-圖像壓縮技術(shù)將捕獲到的幾何數(shù)據(jù)與高深度分辨率組合。
[0040]圖5示出了用于無需壓縮形成3D數(shù)據(jù)的本發(fā)明的可選實施例，而圖6和圖7示出了用于壓縮以上獲得的數(shù)據(jù)的本發(fā)明的可選實施例。
[0041]圖5示出了用于形成3D數(shù)據(jù)(表示為紋理點(diǎn)云)的非限制的示例性方法，其具有多個階段作為特征。
[0042]如圖所示，最初在階段1，范圍照相機(jī)捕獲一系列b個編碼圖像II，…，Ib，其描述了如上所述由投影機(jī)照亮的對象。這些圖像是根據(jù)已經(jīng)轉(zhuǎn)換為二進(jìn)制值的數(shù)據(jù)產(chǎn)生的位平面，從而每個像素包含I或0數(shù)字值。接下來，在階段2，執(zhí)行在二進(jìn)制圖像的每個像素中獲得代碼的過程，產(chǎn)生階段3中的代碼圖像C。例如，如本領(lǐng)域已知的，格雷解碼器(Graydecoder )算法可以可選地應(yīng)用到編碼圖像。在每個像素處的格雷代碼對應(yīng)于編碼光的投影機(jī)對空間進(jìn)行編碼的具體方式。格雷解碼器的應(yīng)用形成與投影機(jī)的具體編碼相關(guān)的格雷代碼圖像。如下所述，代碼、照相機(jī)上的像素定位、以及校準(zhǔn)參數(shù)被用于重構(gòu)觀察場景的幾何結(jié)構(gòu)。
[0043]根據(jù)至少一些實施例，可選地，上述原始數(shù)據(jù)表現(xiàn)為幾何圖像，其中在圖像的每個像素中，存儲空間中像素的三維坐標(biāo)。因此，幾何圖像能夠被認(rèn)為是x(i，j)，y(i，j)和z(i, j)形式的三個數(shù)組，其中i，j是像素指數(shù)，x, y，z是三維坐標(biāo)。
[0044]可替換地，幾何圖像能夠被轉(zhuǎn)換成與每個像素的定位和從照相機(jī)原點(diǎn)(xO，yO, z0)到對象的距離r有關(guān)一組數(shù)據(jù)。在簡單的轉(zhuǎn)換過程中，該轉(zhuǎn)換根據(jù)以下公式進(jìn)行
[0045]r (i, j) =sqrt {(x(i, j)_x0) '2+(y (i, j)-y0) '2+(z (i, j)_z0) '2}
[0046]給定在階段4中從校準(zhǔn)過程獲得的校準(zhǔn)參數(shù)，再次如上所述，在階段5執(zhí)行在每個像素中重構(gòu)3D坐標(biāo)x，y, z加紋理映射坐標(biāo)u，V的過程。紋理映射坐標(biāo)是通過先前校準(zhǔn)獲得的，再次如上所述，可選地在過程開始之前執(zhí)行至少一次。如果紋理圖像被捕獲，則需要紋理映射坐標(biāo)，如下描述并行但是可選的過程。相對于用于三維數(shù)據(jù)獲取的范圍照相機(jī)校準(zhǔn)紋理照相機(jī)，這種校準(zhǔn)提供了從三維空間坐標(biāo)x，y, z到紋理照相機(jī)二維坐標(biāo)系(u，v)的映射。結(jié)果，對于范圍圖像中的每個像素i，j，可以獲得紋理圖像T(u，v)中對應(yīng)的像素i’，j’，其可以用于紋理映射。
[0047]可選地，在并行過程中，在階段6，紋理圖像T (在顏色照相機(jī)的情況下為RGB)被紋理照相機(jī)所捕獲，其可選地具有不同于范圍照相機(jī)(其是用于三維數(shù)據(jù)獲取的照相機(jī))的分辨率。紋理圖像也可以可選地是灰度圖。
[0048]在階段7，u，v坐標(biāo)用于在范圍圖像上映射紋理，在階段8產(chǎn)生新的“翹曲的”紋理圖像T’(或者可選的RGB’)，表示每像素的灰度或顏色，再次如前所述。翹曲的紋理圖像T’是表示數(shù)據(jù)的非限制性示例，所述表示數(shù)據(jù)可選地可以根據(jù)兩個照相機(jī)之間的對應(yīng)關(guān)系從對象的三維坐標(biāo)、紋理圖像和編碼光圖像生成。然后，組合圖像(如前所述，可選且優(yōu)選地封裝到單幀中)可選地傳輸和/或顯示在本領(lǐng)域公知的任意適當(dāng)類型的顯示器上。
[0049]紋理映射可以可選地根據(jù)以下簡單過程執(zhí)行:對于每個范圍圖像像素i，j (來自范圍照相機(jī))，計算紋理坐標(biāo)u (i, j)，V (i, j)。這些坐標(biāo)可以處于子像素精度，并且通過從T的附近像素對點(diǎn)u(i，j)，v(i, j)處的T的值插值來計算紋理。這樣，創(chuàng)建范圍圖像坐標(biāo)中的紋理圖像T’(i，j) =T (u (i，j)，V (i，j))，并且在范圍像素及其紋理之間存在一對一的對應(yīng)關(guān)系。
[0050]如果紋理照相機(jī)有顏色，則顏色紋理數(shù)據(jù)可以可選地表達(dá)為RGB (u，v)，并根據(jù)這種映射插值為 RGB’ (i, j) =RGB (u (i, j)，v (i, j))。
[0051]雖然如上所述上述過程導(dǎo)致以紋理/顏色為特征的圖像，但是其特征并不在于壓縮。壓縮可以可選地以多種不同方式執(zhí)行，其中在以下的圖6和圖7中描述了兩個非限制性示例。在以下描述的兩個非限制性可選示例中，一個示例(圖7)涉及“編碼器重”過程，其中在編碼器處執(zhí)行大量計算處理，而另一示例(圖6)涉及“解碼器重”過程，其中在解碼器處執(zhí)行大量計算處理。
[0052]在圖5的上述過程中，編碼器和解碼器可以可選地插入各點(diǎn)處。壓縮算法(編碼器)可以可選地在上述過程的各個階段應(yīng)用到數(shù)據(jù)，在一些預(yù)處理之后進(jìn)行，所述預(yù)處理目的在于以通過壓縮算法更可壓縮的方式表示數(shù)據(jù)，在接收側(cè)的解壓縮算法(解碼器)之后跟隨一些后處理。
[0053]根據(jù)設(shè)計和應(yīng)用需求，通過改變管線中編碼器/解碼器的位置，以及正確地選擇預(yù)處理和后處理方法，可以達(dá)到編碼和解碼的復(fù)雜性與數(shù)據(jù)的壓縮率之間的折中。
[0054]圖6和圖7涉及視頻數(shù)據(jù)和壓縮。雖然以下描述經(jīng)常特指視頻壓縮，但是應(yīng)該理解的是，單幀的壓縮能夠被認(rèn)為是其特殊情況。視頻壓縮算法試圖利用空間和時間的數(shù)據(jù)冗余減少視頻數(shù)據(jù)大小。例如，MPEG類型的壓縮算法試圖從時間上靠近的一個或多個參考幀(典型地，先前幀)預(yù)測當(dāng)前幀，以以下方式:將當(dāng)前幀分割成小塊(典型地，16x16或8x8像素，雖然在一些壓縮算法中適應(yīng)性地改變大小)。在編碼過程期間，所述算法試圖以用該方式翹曲的幀(稱作運(yùn)動補(bǔ)償幀)盡可能與參考幀靠近的方式(從某些誤差準(zhǔn)則的意義上，例如方差和)，根據(jù)一些運(yùn)動矢量場取代塊(即，每個塊從另一個塊移動不同量)。結(jié)果誤差圖像(運(yùn)動補(bǔ)償和參考幀之間的差)通常是稀疏的，且包含比原始幀少的信息。以這種方式編碼的幀被稱作是MPEG標(biāo)準(zhǔn)中的P幀(預(yù)測幀)。
[0055]利用JPEG類型的壓縮，誤差幀被編碼為獨(dú)立的圖像。為此，將誤差圖像分割成固定大小的塊；在每個塊中，應(yīng)用二維離散余弦變換(DCT)。DCT變換系數(shù)從最低到最高空間頻率按曲線掃描排序，被以可控量進(jìn)行量化，并通常利用某類算術(shù)代碼進(jìn)行編碼。
[0056]在視頻序列中的一些幀(通常以固定間隔)被利用JPEG類型的壓縮編碼為獨(dú)立的圖像，而沒有運(yùn)動補(bǔ)償。這種幀被稱作MPEG標(biāo)準(zhǔn)中的I幀。
[0057]編碼流包括用于I幀的編碼變換系數(shù)、以及用于P幀的編碼變換系數(shù)+運(yùn)動矢量。
[0058]在解碼處，首先 通過JPEG類型的解碼器對第一 I幀進(jìn)行解碼:算術(shù)代碼被解碼，產(chǎn)生每個圖像塊中的量變轉(zhuǎn)換系數(shù)；所述系數(shù)被排列回空間頻率；施加逆DCT變換。由于使用量化，重構(gòu)的圖像可以不同于原始圖像，導(dǎo)致壓縮噪聲。P幀解碼涉及施加運(yùn)動矢量到參考幀，之后跟隨解碼和添加誤差幀。
[0059]MPEG標(biāo)準(zhǔn)兼容編碼和解碼算法的各種示例在本領(lǐng)域中是公知的，例如那些在1993年7月27日公布的Gonzales等人的美國專利號5，231，484中描述的(作為示例并不用于限制)，其被通過引用并入如同在本文中全面闡述一樣。
[0060]圖6示出了根據(jù)本發(fā)明的至少一些實施例的可選的示例性方法，用于提供以“解碼器重”配置的壓縮，其中編碼器在階段I獲取模式圖像之后(優(yōu)選為緊接獲取模式圖像之后)的過程中操作。為此，在階段2，將二進(jìn)制圖像II，…，Ib布置為在階段3產(chǎn)生單個圖像B (8或16位精度，取決于圖像b的數(shù)量)。單個圖像B (圖6中表示為3)用作視頻流中的幀，并在階段4由壓縮算法進(jìn)行編碼，所述壓縮算法例如可選地包括任意類型的適當(dāng)編碼算法，如標(biāo)準(zhǔn)MPEG兼容編碼算法。在階段6，編碼流形成范圍視頻流，并被傳輸?shù)娇蛻舳藗?cè)。在客戶端側(cè)，在階段7通過適當(dāng)?shù)慕鈮嚎s算法對流進(jìn)行解碼，所述解壓縮算法例如是任意適當(dāng)?shù)腗PEG標(biāo)準(zhǔn)解碼算法(稱作MPEG標(biāo)準(zhǔn)兼容解碼算法)，產(chǎn)生一系列幀，每個幀包含圖像B7 (可能被壓縮噪聲損壞)。圖像B在階段8被再次處理，以便在階段9分裂成位平面II，…，Ib。在階段10，位平面經(jīng)受如上所述的解碼，以在階段11產(chǎn)生編碼圖像，也如前所述。在階段12描述執(zhí)行重構(gòu)，以產(chǎn)生3D坐標(biāo)x，y，z和紋理映射坐標(biāo)U，V。
[0061]在并行過程中，如先前所述在階段13獲得紋理圖像T。在階段14，該圖像也被利用適當(dāng)?shù)木幋a方法進(jìn)行編碼，如MPEG標(biāo)準(zhǔn)編碼算法(稱作MPEG標(biāo)準(zhǔn)兼容編碼算法)，以在階段15產(chǎn)生紋理視頻流。在階段16，紋理視頻流被傳輸?shù)娇蛻舳?，在階段17被解碼用于圖像B，然后在階段18如前所述被映射。映射數(shù)據(jù)是如前所述表示數(shù)據(jù)的另一示例。
[0062]用于3D數(shù)據(jù)和用于紋理數(shù)據(jù)的兩個視頻流需要如本領(lǐng)域所公知地被同步。例如，可以可選地根據(jù)標(biāo)準(zhǔn)編碼解碼器的內(nèi)部機(jī)制(編碼器/解碼器算法)執(zhí)行同步，例如那些用于同步聲音和圖像的編碼解碼器?？蛇x且優(yōu)選地，標(biāo)準(zhǔn)編碼解碼器應(yīng)用于這些數(shù)據(jù)流上；還優(yōu)選地，為了更便于同步，相同或至少類似的編碼解碼器用于兩個數(shù)據(jù)流。
[0063]然后組合階段12和18的結(jié)果以獲得完全解壓縮的視頻流。
[0064]圖7提供了不同的實施例，解碼和編碼均執(zhí)行了部分必要計算。在該非限制性方法中，重構(gòu)x，y，z和u，V發(fā)生在編碼器側(cè)，并且編碼應(yīng)用于重構(gòu)的3D坐標(biāo)和紋理映射坐標(biāo)。為了減小數(shù)據(jù)大小，X, y，z被表示為距原點(diǎn)的距離r，并與u，V堆疊在一起，如圖3所示，以形成“r形式”數(shù)據(jù)，其是表示數(shù)據(jù)的另一示例。如前所述，紋理圖像T被壓縮并被單獨(dú)作為紋理視頻流發(fā)送。
[0065]簡言之，再在階段I中，從范圍照相機(jī)準(zhǔn)備位平面圖像，然后在階段2對位平面圖像進(jìn)行解碼，如先前在圖5所述，以形成階段3中的編碼圖像。在階段4，再次根據(jù)先前描述的校準(zhǔn)過程，獲得校準(zhǔn)參數(shù)。在階段5，再次如前所述，執(zhí)行在每個像素中重構(gòu)3D坐標(biāo)x，y，z加紋理映射坐標(biāo)u，v。紋理映射坐標(biāo)被直接提供給堆棧以供階段8所用。在階段6，x，y，z坐標(biāo)優(yōu)選用于將圖像數(shù)據(jù)轉(zhuǎn)換為范圍圖像R，由此在階段7形成先前描述的與每個像素的定位和從照相機(jī)原點(diǎn)(xO，yO, z0)到對象的距離r有關(guān)的一組數(shù)據(jù)。在階段8，如前所述執(zhí)行堆疊，其將范圍圖像與u，V參數(shù)化映射封裝在一起，其隨后被輸送到MPEG編碼器。
[0066]在階段8，r形式(范圍圖像R)數(shù)據(jù)以及U，v坐標(biāo)被映射以支持紋理映射，由此形成該坐標(biāo)形式的數(shù)據(jù)流。在階段9，對數(shù)據(jù)流進(jìn)行編碼，例如根據(jù)MPEG標(biāo)準(zhǔn)算法，以形成階段10的范圍視頻流，其隨后在階段11被傳輸?shù)娇蛻舳藗?cè)。然后在階段12根據(jù)MPEG標(biāo)準(zhǔn)解碼算法對數(shù)據(jù)進(jìn)行解碼，r形式數(shù)據(jù)和u，V坐標(biāo)被分裂。在階段13，r形式數(shù)據(jù)被轉(zhuǎn)換回X, y, z坐標(biāo)。
[0067]再次如前所述，在階段14，從紋理圖像開始，獲得并行紋理視頻流，如前所述其與3D數(shù)據(jù)流同步。在階段15，根據(jù)適當(dāng)?shù)腗PEG標(biāo)準(zhǔn)算法對紋理圖像進(jìn)行編碼，以在階段16形成為紋理視頻流。在階段17也將紋理視頻流傳輸?shù)娇蛻舳藗?cè)，并在階段18通過適當(dāng)?shù)腗PEG標(biāo)準(zhǔn)解碼器進(jìn)行解碼。
[0068]在階段19，u，v坐標(biāo)用于映射紋理數(shù)據(jù)，從而在階段20，如前所述將紋理數(shù)據(jù)與范圍照相機(jī)數(shù)據(jù)組合。
[0069]在圖7描繪的實施例的變型中，可選地將紋理圖像額外翹曲到范圍圖像坐標(biāo)，在編碼器側(cè)產(chǎn)生T’ (i, j)。如圖4所示，將表示為r (i，j)的幾何信息與T’ (i, j)堆疊在一起并進(jìn)行編碼。因此，可以在單個視頻流中可選地表示范圍和紋理信息。
[0070]并不希望被封閉的列表所限制，任意這些可選實施例具有通過可選地實施為不失真方法的壓縮方法獲取、存儲、傳輸減少量的數(shù)據(jù)等的優(yōu)點(diǎn)。如上所述，所述方法適用于各種類型的照相機(jī)配置，并能可選地甚至以高質(zhì)量數(shù)據(jù)實施和/或確保高標(biāo)準(zhǔn)的數(shù)據(jù)顯示，如上所述。本發(fā)明的這些實施例與這種三維數(shù)據(jù)格式和諸如MPEG上的3D的方法(其僅僅是MPEG的擴(kuò)展)形成對比，雖然這些實施例可以可選地采用標(biāo)準(zhǔn)MPEG算法作為如上所述的工具。此外，本發(fā)明的這些實施例適用于以多種不同類型的視頻壓縮方法實施，并不局限于與單個方法一起使用。
[0071]另外，本發(fā)明的這些實施例有效地對準(zhǔn)視頻圖像數(shù)據(jù)和深度相關(guān)數(shù)據(jù)(S卩，使得圖像顯示為三維的數(shù)據(jù))，由此使得“真正的”三維圖像能夠被顯示。
[0072]期望的是，為清楚起見在單獨(dú)實施例的上下文中描述的本發(fā)明的某些特征也可以以單獨(dú)實施例組合而提供。相反地，為了簡潔起見在單獨(dú)實施例的上下文中描述的本發(fā)明的各個特征也可以單獨(dú)地或以任意適當(dāng)?shù)淖咏M合提供。
[0073]雖然本發(fā)明已經(jīng)結(jié)合其特定實施例進(jìn)行了描述，但對于本領(lǐng)域的技術(shù)人員而言顯然多種替換、修改和變型是顯而易見的。因此，意圖涵蓋所有這種落入隨附權(quán)利要求的精神和廣泛范圍內(nèi)的替換、修改和變型。在該說明書中提及的所有公開、專利和專利申請通過引用被全部并入該說明書中，達(dá)到每個單獨(dú)的公開、專利或?qū)＠暾埍痪唧w且單獨(dú)表示為通過引用并入本文的程度。另外，在改說明書中的任意參考的引用或識別不應(yīng)被解釋為承認(rèn)這種參考是本發(fā)明可獲得的現(xiàn)有技術(shù)。
【權(quán)利要求】
1.一種用于獲取三維數(shù)據(jù)的方法，包括:通過投影機(jī)在對象上投射多個時分復(fù)用編碼光模式；通過第一照相機(jī)接收編碼光圖像；從所述編碼光圖像獲得代碼；根據(jù)所述代碼重構(gòu)所述對象的三維坐標(biāo)，其中所述重構(gòu)所述三維坐標(biāo)包括在接收所述編碼光圖像之前為所述第一照相機(jī)確定一個或多個校準(zhǔn)參數(shù)；從第二照相機(jī)接收紋理圖像；確定所述第一照相機(jī)和所述第二照相機(jī)的坐標(biāo)之間的對應(yīng)關(guān)系；以及根據(jù)所述對應(yīng)關(guān)系，通過將所述紋理圖像映射到所述編碼光圖像，從所述對象的三維坐標(biāo)、所述紋理圖像和所述編碼光圖像生成表示數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述生成表示數(shù)據(jù)進(jìn)一步包括:根據(jù)所述三維坐標(biāo)將所述編碼光圖像轉(zhuǎn)換為范圍數(shù)據(jù)，根據(jù)所述對應(yīng)關(guān)系將所述紋理圖像轉(zhuǎn)換為紋理圖像數(shù)據(jù)，以及將所述紋理圖像數(shù)據(jù)和所述范圍數(shù)據(jù)封裝到單個圖像中。
3.根據(jù)權(quán)利要求1或2所述的方法，進(jìn)一步包括將所述單幀作為圖像顯示在顯示器上。
4.根據(jù)權(quán)利要求1-3中任一項所述的方法，為多個圖像執(zhí)行，其進(jìn)一步包括:形成編碼圖像的視頻流和紋理圖像的視頻流，以及在所述視頻流之間進(jìn)行同步。
5.根據(jù)權(quán)利要求4所述的方法，進(jìn)一步包括:對所述視頻流進(jìn)行編碼以及傳輸編碼視頻流。
6.根據(jù)權(quán)利要求5所述的方法，進(jìn)一步包括:接收所述視頻流、對所述視頻流進(jìn)行解碼、以及顯示所述視頻流。
7.根據(jù)權(quán)利要求6所述的方法，其中，所述形成編碼圖像的所述視頻流還包括:獲得多個編碼光圖像；將所述編碼光圖像作為二進(jìn)制數(shù)據(jù)封裝入單個視頻幀；對所述視頻幀進(jìn)行編碼；以及傳輸所述視頻幀。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述形成編碼圖像的所述視頻流還包括:獲得多個編碼光圖像；將所述多個編碼光圖像轉(zhuǎn)換為r形式數(shù)據(jù)；以及對所述r形式數(shù)據(jù)進(jìn)行編碼。
9.根據(jù)權(quán)利要求8所述的方法，進(jìn)一步包括:傳輸所述編碼后的r形式數(shù)據(jù)；接收所述編碼后的r形式數(shù)據(jù)；對所述編碼后的r形式數(shù)據(jù)進(jìn)行解碼以獲得r形式數(shù)據(jù)；以及將所述r形式數(shù)據(jù)轉(zhuǎn)換為三維坐標(biāo)圖像數(shù)據(jù)。
10.根據(jù)權(quán)利要求5-9中任一項所述的方法，其中，所述編碼包括壓縮所述數(shù)據(jù)。
11.根據(jù)權(quán)利要求1所述的方法，其中，所述生成表示數(shù)據(jù)還包括:將所述對象的重構(gòu)后的三維坐標(biāo)轉(zhuǎn)換為在所述范圍圖像的每個像素處距原點(diǎn)的距離r。
12.根據(jù)權(quán)利要求11所述的方法，其中，所述生成表示數(shù)據(jù)包括:將由所述第二照相機(jī)捕獲的紋理圖像翹曲為所述第一照相機(jī)的坐標(biāo)系。
13.根據(jù)權(quán)利要求12所述的方法，其中，所述生成表示數(shù)據(jù)包括:將范圍數(shù)據(jù)和紋理數(shù)據(jù)堆疊到單個圖像中。
14.根據(jù)權(quán)利要求13所述的方法，其中，所述堆疊包括:確定在所述范圍圖像的每個像素處距原點(diǎn)的距離r以及紋理映射坐標(biāo)。
15.一種用于在視頻流中獲取三維數(shù)據(jù)的方法，包括:通過投影機(jī)在對象上投射多個時分復(fù)用編碼光模式；通過第一照相機(jī)接收多個編碼光圖像；從所述編碼光圖像獲得代碼；根據(jù)所述代碼重構(gòu)所述對象的三維坐標(biāo)，其中所述重構(gòu)所述三維坐標(biāo)包括在接收所述編碼光圖像之前為所述第一照相機(jī)確定一個或多個校準(zhǔn)參數(shù)；從第二照相機(jī)接收多個紋理圖像；確定所述第一照相機(jī)和所述第二照相機(jī)的坐標(biāo)之間的對應(yīng)關(guān)系；根據(jù)所述對應(yīng)關(guān)系，從所述對象的三維坐標(biāo)、所述紋理圖像和所述編碼光圖像生成表示數(shù)據(jù)；以及對所述表示數(shù)據(jù)進(jìn)行編碼以形成編碼視頻流。
16.根據(jù)權(quán)利要求15所述的方法，進(jìn)一步包括:對所述編碼視頻流進(jìn)行解碼以形成解碼視頻流；以及顯示所述解碼視頻流。
17.根據(jù)權(quán)利要求15或16所述的方法，其中，所述生成所述表示數(shù)據(jù)包括:根據(jù)所述對應(yīng)關(guān)系將所述紋理圖像映射到所述編碼光圖像。
18.根據(jù)權(quán)利要求15-17中任一項所述的方法，其中，所述生成所述表示數(shù)據(jù)包括:生成單獨(dú)的但是同步的紋理圖像的視頻流和編碼光圖像的視頻流；以及單獨(dú)地對每個視頻流進(jìn)行編碼。
19.根據(jù)權(quán)利要求18所述的方法，其中，根據(jù)所述對應(yīng)關(guān)系將所述紋理圖像映射到所述編碼光圖像是在對每個編碼視頻流進(jìn)行解碼之后執(zhí)行的。
20.一種用于在視頻流中獲取三維數(shù)據(jù)的方法，包括:通過投影機(jī)在對象上投射多個時分復(fù)用編碼光模式；通過第一照相機(jī)接收多個編碼光圖像；從第二照相機(jī)接收多個紋理圖像；確定所述第一照相機(jī)和所述第二照相機(jī)的坐標(biāo)之間的對應(yīng)關(guān)系；生成單獨(dú)的但是同步的所述紋理圖像的視頻流和所述編碼光圖像的視頻流；以及對所述視頻流進(jìn)行編碼以形成編碼視頻流。
21.根據(jù)權(quán)利要求20所述的方法，進(jìn)一步包括:對所述編碼視頻流進(jìn)行解碼以形成解碼視頻流；將編碼光圖像 的視頻流分解成多個編碼光圖像；將紋理圖像的視頻流分解成多個紋理圖像；從所述編碼光圖像獲得代碼；根據(jù)所述代碼重構(gòu)所述對象的三維坐標(biāo)，其中所述重構(gòu)所述三維坐標(biāo)包括在接收所述編碼光圖像之前為所述第一照相機(jī)確定一個或多個校準(zhǔn)參數(shù)；以及根據(jù)所述對應(yīng)關(guān)系，通過將所述紋理圖像映射到所述編碼光圖像，從所述對象的三維坐標(biāo)、所述紋理圖像和所述編碼光圖像生成表示數(shù)據(jù)。
22.根據(jù)上述任一權(quán)利要求所述的方法，其中，所述編碼是以與MPEG標(biāo)準(zhǔn)兼容的算法執(zhí)行的，并且其中，所述解碼是以與MPEG標(biāo)準(zhǔn)兼容的算法執(zhí)行的。
【文檔編號】G06T1/00GK103748612SQ201280014345
【公開日】2014年4月23日 申請日期:2012年1月24日 優(yōu)先權(quán)日:2011年1月24日
【發(fā)明者】M·布龍斯坦, R·基梅爾, S·本摩西 申請人:英特爾公司