本發(fā)明涉及三維顯示技術(shù)領(lǐng)域,特別是涉及三維圖像的獲得方法、裝置及系統(tǒng)。
背景技術(shù):
人類雙眼由于位置不同在對具有一定距離的物體進(jìn)行觀看時(shí)會產(chǎn)生視覺差異,正是這種視差讓人們有了三維的感觀效果。三維顯示技術(shù)根據(jù)這一原理,通過將同時(shí)獲取的雙眼圖像分別被對應(yīng)的眼睛接收,從而產(chǎn)生三維效果。由于這一技術(shù)給人們帶來了全新的立體觀看體驗(yàn),近年來人們對三維圖像資源的需求也日漸增加。
目前獲得三維圖像的方法之一是將二維圖像通過圖像處理技術(shù)轉(zhuǎn)化為三維圖像。具體為運(yùn)用圖像處理技術(shù)計(jì)算得到已有二維圖像的場景深度信息,進(jìn)而繪制出虛擬的其他視點(diǎn)圖像,利用已有二維圖像和虛擬的其他視點(diǎn)圖像形成三維圖像。
由于該其他視點(diǎn)圖像是由已有視點(diǎn)的二維圖像進(jìn)行圖像處理得到虛擬圖像,這一過程會導(dǎo)致圖像細(xì)節(jié)信息的流失,影響三維顯示的效果。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明主要解決的技術(shù)問題是提供三維圖像的獲得方法、裝置及系統(tǒng),能夠提高基于二維圖像生成的三維顯示效果。
為解決上述技術(shù)問題,本發(fā)明采用的一個(gè)技術(shù)方案是:提供一種三維圖像的獲得方法,包括:
分別獲取以第一視點(diǎn)對目標(biāo)進(jìn)行采集得到的第一深度圖像和以第二視點(diǎn)對所述目標(biāo)進(jìn)行采集得到的第一彩色圖像;
利用所述第一深度圖像和所述第一彩色圖像得到所述目標(biāo)在第一視點(diǎn)的第二彩色圖像;
由所述第一彩色圖像和第二彩色圖像形成三維圖像。
其中,所述第一深度圖像由設(shè)置在所述第一視點(diǎn)的深度相機(jī)對所述目標(biāo)進(jìn)行采集得到,所述第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)對所述目標(biāo)進(jìn)行采集得到。
其中,所述利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像,包括:
利用下面公式1計(jì)算得到所述第一深度圖像的第一像素坐標(biāo)(uD,vD)與所述第一彩色圖像的第二像素坐標(biāo)(uR,vR)之間的對應(yīng)關(guān)系,
其中,所述ZD為所述第一深度圖像中的深度信息,表示所述目標(biāo)距離所述深度相機(jī)的深度值;ZR表示所述目標(biāo)距離所述彩色相機(jī)的深度值;為所述彩色相機(jī)的圖像坐標(biāo)系上的像素齊次坐標(biāo);為所述深度相機(jī)的圖像坐標(biāo)系上的像素齊次坐標(biāo);MR為所述彩色相機(jī)的內(nèi)參矩陣,MD為所述深度相機(jī)的內(nèi)參矩陣;R為深度相機(jī)相對于彩色相機(jī)的外參矩陣中的旋轉(zhuǎn)矩陣,T為深度相機(jī)相對于彩色相機(jī)的外參矩陣中的平移矩陣;
將所述第一深度圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對應(yīng)關(guān)系的第二像素坐標(biāo)的像素值,以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像。
其中,所述平移矩陣T=[t,0,0]-1,其中,所述t為設(shè)定值。
其中,還包括:
當(dāng)判斷所述目標(biāo)與所述深度相機(jī)和所述彩色相機(jī)的距離均大于第一距離值時(shí),將所述設(shè)定值t調(diào)大;
當(dāng)判斷所述目標(biāo)與所述深度相機(jī)和所述彩色相機(jī)的距離均小于第二距離值時(shí),將所述設(shè)定值t調(diào)小,其中,所述第一距離值大于或等于所述第二距離值。
其中,所述第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系。
其中,所述彩色相機(jī)和所述深度相機(jī)的圖像采集靶面大小相等、分辨率相同以及焦距相同;或
所述彩色相機(jī)和所述深度相機(jī)的圖像采集靶面大小、分辨率以及焦距中的至少一個(gè)不相同,在所述利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像之后,所述方法還包括:
對所述第一彩色圖像和/或所述第二彩色圖像進(jìn)行插值、分割處理,使得所述第一彩色圖像和所述第二彩色圖像的圖像大小和分辨率相同。
其中,所述第一深度圖像和所述第一彩色圖像為照片或者視頻,當(dāng)所述第一深度圖像和所述第一彩色圖像為視頻時(shí),所述深度相機(jī)和彩色相機(jī)的采集頻率同步,或者若深度相機(jī)和彩色相機(jī)的采集頻率不同步,則通過圖像插值的方式獲得頻率一致的視頻圖像。
為解決上述技術(shù)問題,本發(fā)明采用的另一種技術(shù)方案是:提供一種三維圖像獲得裝置,包括:
獲取模塊,用于分別獲取以第一視點(diǎn)對目標(biāo)進(jìn)行采集得到的第一深度圖像和以第二視點(diǎn)對所述目標(biāo)進(jìn)行采集得到的目標(biāo)的第一彩色圖像;
計(jì)算模塊,用于利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像;
形成模塊,用于由所述第一彩色圖像和第二彩色圖像形成三維圖像。
為解決上述技術(shù)問題,本發(fā)明采用的再一種技術(shù)方案是:一種三維圖像獲得系統(tǒng),包括深度相機(jī)、彩色相機(jī)、與所述深度相機(jī)和彩色相機(jī)連接的圖像處理設(shè)備;
所述圖像處理設(shè)備用于:
分別獲取所述深度相機(jī)以第一視點(diǎn)對目標(biāo)進(jìn)行采集得到的第一深度圖像和所述彩色相機(jī)以第二視點(diǎn)對所述目標(biāo)進(jìn)行采集得到的目標(biāo)的第一彩色圖像;
利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像;
由所述第一彩色圖像和第二彩色圖像形成三維圖像。
本發(fā)明的有益效果是:利用采集得到的第一視點(diǎn)的第一深度圖像和第二視點(diǎn)的第一彩色圖像得到第一視點(diǎn)的第二彩色圖像,進(jìn)而由第一彩色圖像和第二彩色圖像形成三維圖像,由于該第一視點(diǎn)的第二彩色圖像基于該第一視點(diǎn)的第一深度圖像形成,而非單純依靠其他不同視點(diǎn)的圖像處理得到,因此減少了圖像細(xì)節(jié)信息的流失,以更準(zhǔn)確獲得兩個(gè)視點(diǎn)的彩色圖像,進(jìn)而減少了合成的三維圖像的失真度,提高了基于二維圖像生成的三維顯示效果。
附圖說明
圖1是本發(fā)明三維圖像的獲得方法一實(shí)施例的流程圖;
圖2是本發(fā)明三維圖像的獲得方法一應(yīng)用場景的示意圖;
圖3是本發(fā)明三維圖像的獲得方法另一實(shí)施例的部分流程圖;
圖4是本發(fā)明三維圖像的獲得方法再一實(shí)施例的部分流程圖;
圖5是本發(fā)明三維圖像獲得裝置一實(shí)施例的結(jié)構(gòu)示意圖;
圖6是本發(fā)明三維圖像獲得系統(tǒng)一實(shí)施例的結(jié)構(gòu)示意圖;
圖7是本發(fā)明三維圖像獲得系統(tǒng)另一實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了更好的理解本發(fā)明的技術(shù)方案,下面結(jié)合附圖對本發(fā)明實(shí)施例進(jìn)行詳細(xì)描述。
在本發(fā)明實(shí)施例中使用的術(shù)語是僅僅出于描述特定實(shí)施例的目的,而非旨在限制本發(fā)明。在本發(fā)明實(shí)施例和所附權(quán)利要求書中所使用的單數(shù)形式的“一種”、“所述”和“該”也旨在包括多數(shù)形式,除非上下文清楚地表示其他含義。還應(yīng)當(dāng)理解,本文中使用的術(shù)語“和/或”是指并包含一個(gè)或多個(gè)相關(guān)聯(lián)的列出項(xiàng)目的任何或所有可能組合。
請參閱圖1,圖1是本發(fā)明三維圖像的獲得方法一實(shí)施例的流程圖。本實(shí)施例中,該方法可由三維圖像獲得裝置執(zhí)行,包括以下步驟:
S11:分別獲取以第一視點(diǎn)對目標(biāo)進(jìn)行采集得到的第一深度圖像和以第二視點(diǎn)對所述目標(biāo)進(jìn)行采集得到的第一彩色圖像。
值得注意的是,本發(fā)明所述的深度圖像和彩色圖像均為二維圖像。
其中,該第一視點(diǎn)和第二視點(diǎn)位于目標(biāo)的不同位置,以獲得該目標(biāo)的兩個(gè)視點(diǎn)處的圖像。通常,由于三維感觀是由雙眼觀看到的不同圖像疊加形成,故該第一視點(diǎn)和第二視點(diǎn)用于作為人體雙眼的兩個(gè)視點(diǎn),即第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系。例如,常規(guī)人體雙眼的距離為t,則將第一視點(diǎn)和第二視點(diǎn)之間的距離設(shè)置為t,該t具體如為6.5cm。而且,為保證第一視點(diǎn)和第二視點(diǎn)的圖像深度相同或者類似,將第一視點(diǎn)和第二視點(diǎn)設(shè)置為與該目標(biāo)的距離相同或者距離相差不超過設(shè)定閾值,在具體應(yīng)用中,該設(shè)定閾值可設(shè)置為不大于10cm或20cm的值。
在一具體應(yīng)用中,如圖2所示,該第一深度圖像由設(shè)置在所述第一視點(diǎn)的深度相機(jī)21對目標(biāo)23進(jìn)行采集得到,該第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)22對目標(biāo)23進(jìn)行采集得到。深度相機(jī)21和彩色相機(jī)將其采集得到的圖像傳輸至三維圖像獲得裝置24,以進(jìn)行下述三維圖像的獲取。由于彩色相機(jī)與深度相機(jī)的位置不同,故該第一彩色圖像與第一深度圖像中的相同像素坐標(biāo)上所對應(yīng)的空間三維點(diǎn)并不相同。
具體地,該深度相機(jī)21可以是基于結(jié)構(gòu)光或TOF等其它原理的相機(jī),這一類的深度相機(jī)可由一個(gè)投影鏡頭及采集鏡頭組成,比如結(jié)構(gòu)光深度相機(jī)由投影模組及圖像采集鏡頭組成,其中投影模組用于向目標(biāo)區(qū)域投射特定圖案的結(jié)構(gòu)光,圖像采集鏡頭用于采集目標(biāo)區(qū)域帶結(jié)構(gòu)光圖案并進(jìn)一步經(jīng)計(jì)算可得到目標(biāo)的第一深度圖像。
進(jìn)一步地,由于利用深度相機(jī)獲取的深度圖像可能存在一些數(shù)據(jù)壞點(diǎn)或區(qū)域,在后面步驟中進(jìn)一步處理時(shí)會將這些數(shù)據(jù)進(jìn)行放大,進(jìn)而嚴(yán)重影響三維顯示效果,為避免深度圖像的壞點(diǎn)或區(qū)域數(shù)據(jù)對三維顯示的影響,該S11還包括:對該第一深度圖像進(jìn)行去噪、平滑處理,再利用處理后的該第一深度圖像進(jìn)行下述步驟S12。
S12:利用所述第一深度圖像和所述第一彩色圖像得到所述目標(biāo)在第一視點(diǎn)的第二彩色圖像。
例如,根據(jù)三維圖像轉(zhuǎn)換(3D Image Wrapping)理論——空間任一三維坐標(biāo)點(diǎn)與圖像采集平面上的二維坐標(biāo)點(diǎn)可通過透射變換理論對應(yīng)起來,故由此理論可將第一視點(diǎn)和第二視點(diǎn)的圖像的像素坐標(biāo)對應(yīng)起來,并根據(jù)該對應(yīng)關(guān)系和第二視點(diǎn)的第一彩色圖像的像素值,為第一視點(diǎn)的圖像像素坐標(biāo)設(shè)置第二視點(diǎn)的第一彩色圖像中對應(yīng)像素坐標(biāo)的像素值。
請結(jié)合參閱圖3,在另一實(shí)施例中,該第一深度圖像由設(shè)置在所述第一視點(diǎn)的深度相機(jī)對目標(biāo)進(jìn)行采集得到,該第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)對目標(biāo)進(jìn)行采集得到,該S12包括以下子步驟:
S121:利用下面公式11計(jì)算得到所述第一深度圖像的第一像素坐標(biāo)(uD,vD)與所述第一彩色圖像的第二像素坐標(biāo)(uR,vR)之間的對應(yīng)關(guān)系,
其中,所述ZD為所述第一深度圖像中的深度信息,表示所述目標(biāo)距離所述深度相機(jī)的深度值;ZR表示所述目標(biāo)距離所述彩色相機(jī)的深度值;為所述彩色相機(jī)的圖像坐標(biāo)系上的像素齊次坐標(biāo);為所述深度相機(jī)的圖像坐標(biāo)系上的像素齊次坐標(biāo);MR為所述彩色相機(jī)的內(nèi)參矩陣,MD為所述深度相機(jī)的內(nèi)參矩陣;R為深度相機(jī)相對于彩色相機(jī)的外參矩陣中的旋轉(zhuǎn)矩陣,T為深度相機(jī)相對于彩色相機(jī)的外參矩陣中的平移矩陣。
上述相機(jī)的內(nèi)參矩陣和外參矩陣可預(yù)先設(shè)定的,具體該內(nèi)參矩陣可根據(jù)相機(jī)的設(shè)置參數(shù)計(jì)算得到,該外參矩陣可由深度相機(jī)與彩色相機(jī)之間的位置關(guān)系確定。在一具體實(shí)施例中,由相機(jī)的圖像采集鏡頭的像素焦距以及圖像采集靶面的中心位置坐標(biāo)構(gòu)成的內(nèi)部參數(shù)矩陣。由于第一視點(diǎn)和第二視點(diǎn)的位置關(guān)系設(shè)置為人眼雙眼的位置關(guān)系,人體雙眼之間沒有任何的相對旋轉(zhuǎn)而僅有設(shè)定值t的距離,因此彩色相機(jī)相對于深度相機(jī)的旋轉(zhuǎn)矩陣R為單位矩陣,平移矩陣T=[t,0,0]-1。
進(jìn)一步地,該設(shè)定值t可根據(jù)深度相機(jī)和彩色相機(jī)與目標(biāo)的距離進(jìn)行調(diào)整。在再一實(shí)施例中,在上述S11之前還包括以下步驟:獲取目標(biāo)與深度相機(jī)和彩色相機(jī)的距離;當(dāng)判斷所述目標(biāo)與所述深度相機(jī)和所述彩色相機(jī)的距離均大于第一距離值時(shí),將所述設(shè)定值t調(diào)大;當(dāng)判斷所述目標(biāo)與所述深度相機(jī)和所述彩色相機(jī)的距離均小于第二距離值時(shí),將所述設(shè)定值t調(diào)小。
其中,所述第一距離值大于或等于所述第二距離值。例如,當(dāng)目標(biāo)與深度相機(jī)的距離為100cm,目標(biāo)與彩色相機(jī)的距離也為100cm,由于100cm小于第二距離值200cm,則將設(shè)定值調(diào)小一個(gè)步長值,或者按照當(dāng)前目標(biāo)與深度相機(jī)和彩色相機(jī)的距離計(jì)算得到調(diào)小值后進(jìn)行調(diào)整。當(dāng)目標(biāo)與深度相機(jī)和彩色相機(jī)的距離均為300cm,由于300cm大于第二距離值200且小于第一距離值500cm,則不將該設(shè)定值進(jìn)行調(diào)整。
S122:將所述第一深度圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對應(yīng)關(guān)系的第二像素坐標(biāo)的像素值,以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像。
例如,將第一視點(diǎn)的第一深度圖像的深度信息ZD代入上述公式11后,可求得公式11左邊的第二視點(diǎn)的深度信息也即第一彩色圖像的深度信息ZR,以及第一彩色圖像的圖像坐標(biāo)系上的像素齊次坐標(biāo)在本實(shí)施例中,深度相機(jī)和彩色相機(jī)與目標(biāo)的距離相同,即求得的ZD與ZR是相等的。由像素齊次坐標(biāo)可得到與該第一深度圖像的第一像素坐標(biāo)(uD,vD)一一對應(yīng)的第一彩色圖像的第二像素坐標(biāo)(uR,vR),例如其對應(yīng)關(guān)系為(uR,vR)=(uD+d,vD)。然后,根據(jù)對應(yīng)關(guān)系,將第一彩色圖像的像素值(也可稱為RGB值)賦值于第一深度圖像,以生成第二彩色圖像。以圖像的其中一個(gè)像素坐標(biāo)舉例,若d為1,則第一深度圖像的像素坐標(biāo)(1,1)與第一彩色圖像的像素坐標(biāo)(2,1)對應(yīng)。然后,將第一深度圖像的像素坐標(biāo)(1,1)的像素值設(shè)置為第一彩色圖像中像素坐標(biāo)(2,1)的像素值(r,g,b)。
S13:由所述第一彩色圖像和第二彩色圖像形成三維圖像。
例如,將第一彩色圖像和第二彩色圖像分別作為人體雙眼圖像,以合成三維圖像,具體地可以是上下格式、左右格式或者紅藍(lán)格式的用于3D顯示的三維圖像。進(jìn)一步地,在合成三維圖像后,還可將該三維圖像進(jìn)行顯示,或者輸出至連接的外部顯示裝置進(jìn)行顯示。
本實(shí)施例中,利用采集得到的第一視點(diǎn)的第一深度圖像和第二視點(diǎn)的第一彩色圖像得到第一視點(diǎn)的第二彩色圖像,進(jìn)而由第一彩色圖像和第二彩色圖像形成三維圖像,由于該第一視點(diǎn)的第二彩色圖像基于該第一視點(diǎn)的第一深度圖像形成,而非單純依靠其他不同視點(diǎn)的圖像處理得到,因此減少了圖像細(xì)節(jié)信息的流失,以更準(zhǔn)確獲得兩個(gè)視點(diǎn)的彩色圖像,進(jìn)而減少了合成的三維圖像的失真度,提高了基于二維圖像生成的三維顯示效果。
請參閱圖4,在再一實(shí)施例中,三維圖像獲得裝置不根據(jù)上述第一視點(diǎn)和第二視點(diǎn)的彩色圖像合成三維圖像,而是根據(jù)該上述其中一個(gè)視點(diǎn)以及不同于上述兩個(gè)視點(diǎn)的第三視點(diǎn)的彩色圖像合成三維圖像。故,在上述13包括以下子步驟:
S131:根據(jù)所述第一視點(diǎn)的第一深度圖像與第二彩色圖像得到第三視點(diǎn)的第三彩色圖像;
S132:由所述第三彩色圖像與所述第一彩色圖像或第二彩色圖像形成三維圖像。
在S131中,可根據(jù)深度圖像繪制(depth-image-based rendering,DIBR)技術(shù)繪制得到第三視點(diǎn)的第三彩色圖像。例如,
a.將所述第一視點(diǎn)作為參考視點(diǎn);
b.利用下述公式12得到第三視點(diǎn)的第三彩色圖像與所述參考視點(diǎn)的彩色圖像之間的圖像視差值d,
其中,B為第三視點(diǎn)與參考視點(diǎn)的間距,Z為所述參考視點(diǎn)的深度圖像的深度信息,表示所述目標(biāo)距離所述第三視點(diǎn)和所述參考視點(diǎn)的深度值;所述f為所述參考視點(diǎn)所設(shè)置的相機(jī)的焦距;
c.按照所述圖像視差值移動所述參考視點(diǎn)的彩色圖像中的像素坐標(biāo),得到所述第三彩色圖像。
例如,將與該參考視點(diǎn)的彩色圖像的像素坐標(biāo)(u1,v1)均移動圖像視差值d,得到第三彩色圖像的像素坐標(biāo)(u2,v2)=(u1+d,v1),并將像素坐標(biāo)(u1,v1)的像素值對應(yīng)賦值給得到第三彩色圖像的像素坐標(biāo)(u2,v2),得到第三彩色圖像每個(gè)像素坐標(biāo)的像素值。
值的注意的是,上述第三視點(diǎn)的第三彩色圖像可以第二視點(diǎn)作為參考視點(diǎn),由第二視點(diǎn)的第一彩色圖像和第二深度圖像獲得,具體獲得方式可參考上述a-c。而該第二視點(diǎn)的第二深度圖像可根據(jù)上述S121得到第一深度圖像與第一彩色圖像之間的像素坐標(biāo)的對應(yīng)關(guān)系后,將所述第一彩色圖像的第二像素坐標(biāo)的深度值設(shè)置為所述第一深度圖像中與所述第二像素坐標(biāo)具有對應(yīng)關(guān)系的第一像素坐標(biāo)的深度值,以形成得到。
由于本實(shí)施方式可利用第一視點(diǎn)和第二視點(diǎn)的圖像繪制出第三視點(diǎn)的彩色圖像,進(jìn)而利用第三視點(diǎn)的彩色圖像和第一視點(diǎn)或第二視點(diǎn)的彩色圖像作為人體雙眼圖像合成三維圖像,故根據(jù)實(shí)際觀看者雙眼兩個(gè)視點(diǎn)距離進(jìn)行實(shí)時(shí)調(diào)整選擇與之匹配的兩個(gè)視點(diǎn)的彩色圖像合成三維圖像,以保證三維顯示效果,例如當(dāng)觀看者雙眼距離為9cm,則可繪制出與該第一視點(diǎn)距離9cm的第三視點(diǎn)的彩色圖像,由該第三視點(diǎn)和第一時(shí)點(diǎn)的彩色圖像形成三維顯示。而且,由于該第一視點(diǎn)和第二視點(diǎn)的深度值可由采集得到的第一深度圖像直接得到,而無需經(jīng)過圖像處理轉(zhuǎn)換得到,因此減少了圖像細(xì)節(jié)信息的流失。另外,由于本實(shí)施例可繪制出任意視點(diǎn)的真實(shí)彩色圖像,故無需對第一視點(diǎn)和第二視點(diǎn)的位置關(guān)系做出限定,即第一視點(diǎn)和第二視點(diǎn)的距離可設(shè)置為任意值,簡化了操作流程,降低了圖像采集難度。
可以理解的是,上述實(shí)施例中,可設(shè)置該深度相機(jī)和彩色相機(jī)的圖像采集靶面大小相等、分辨率相同以及焦距相同。或者,彩色相機(jī)和所述深度相機(jī)的圖像采集靶面大小、分辨率以及焦距中的至少一個(gè)不相同,例如彩色相機(jī)的靶面大小以及分辨率都比深度相機(jī)大,此時(shí),上述S12之后,該獲得方法還包括:對所述第一彩色圖像和/或所述第二彩色圖像進(jìn)行插值、分割處理,使得所述第一彩色圖像和所述第二彩色圖像對應(yīng)的目標(biāo)區(qū)域相同,且圖像大小與分辨率也相同。由于彩色相機(jī)與深度相機(jī)在裝配時(shí)存在誤差,故上述該深度相機(jī)和彩色相機(jī)的圖像采集靶面大小相等、分辨率相同以及焦距相同應(yīng)理解為:該深度相機(jī)和彩色相機(jī)的圖像采集靶面大小、分辨力和焦距為在允許誤差的范圍內(nèi)的相同。
而且,上述圖像包括照片或者視頻,當(dāng)上述圖像為視頻時(shí),所述深度相機(jī)和彩色相機(jī)的采集頻率同步,或者若深度相機(jī)和彩色相機(jī)的采集頻率不同步,則通過圖像插值的方式獲得頻率一致的視頻圖像。
請參閱圖5,圖5是本發(fā)明三維圖像獲得裝置一實(shí)施例的結(jié)構(gòu)示意圖。本實(shí)施例中,該獲得裝置50包括獲取模塊51、計(jì)算模塊52和形成模塊53。其中,
獲取模塊51用于分別獲取以第一視點(diǎn)對目標(biāo)進(jìn)行采集得到的第一深度圖像和以第二視點(diǎn)對所述目標(biāo)進(jìn)行采集得到的目標(biāo)的第一彩色圖像;
計(jì)算模塊52用于利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像;
形成模塊53用于由所述第一彩色圖像和第二彩色圖像形成三維圖像。
可選地,所述第一深度圖像由設(shè)置在所述第一視點(diǎn)的深度相機(jī)對所述目標(biāo)進(jìn)行采集得到,所述第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)對所述目標(biāo)進(jìn)行采集得到。
可選地,計(jì)算模塊52具體用于利用上述公式11計(jì)算得到所述第一深度圖像的第一像素坐標(biāo)(uD,vD)與所述第一彩色圖像的第二像素坐標(biāo)(uR,vR)之間的對應(yīng)關(guān)系;將所述第一深度圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對應(yīng)關(guān)系的第二像素坐標(biāo)的像素值,以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像。
進(jìn)一步可選地,所述平移矩陣T=[t,0,0]-1,其中,所述t為設(shè)定值。
更進(jìn)一步地,計(jì)算模塊52還可用于:當(dāng)判斷所述目標(biāo)與所述深度相機(jī)和所述彩色相機(jī)的距離均大于第一距離值時(shí),將所述設(shè)定值t調(diào)大;當(dāng)判斷所述目標(biāo)與所述深度相機(jī)和所述彩色相機(jī)的距離均小于第二距離值時(shí),將所述設(shè)定值t調(diào)小,其中,所述第一距離值大于或等于所述第二距離值。
可選地,所述第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系。
可選地,所述彩色相機(jī)和所述深度相機(jī)的圖像采集靶面大小相等、分辨率相同以及焦距相同;或所述彩色相機(jī)和所述深度相機(jī)的圖像采集靶面大小、分辨率以及焦距中的至少一個(gè)不相同,該計(jì)算模塊52還可用于:對所述第一彩色圖像和/或所述第二彩色圖像進(jìn)行插值、分割處理,使得所述第一彩色圖像和所述第二彩色圖像的圖像大小和分辨率相同。
可選地,所述第一深度圖像和所述第一彩色圖像為照片或者視頻,當(dāng)所述第一深度圖像和所述第一彩色圖像為視頻時(shí),所述深度相機(jī)和彩色相機(jī)的采集頻率同步,或者若深度相機(jī)和彩色相機(jī)的采集頻率不同步,則通過圖像插值的方式獲得頻率一致的視頻圖像。
其中,該獲得裝置的上述模塊分別用于執(zhí)行上述方法實(shí)施例中的相應(yīng)步驟,具體執(zhí)行過程如上方法實(shí)施例說明,在此不作贅述。
請參閱圖6,圖6是本發(fā)明三維圖像獲得系統(tǒng)一實(shí)施例方式的結(jié)構(gòu)示意圖。本實(shí)施例中,該系統(tǒng)60包括深度相機(jī)61、彩色相機(jī)62、與所述深度相機(jī)61和彩色相機(jī)62連接的圖像處理設(shè)備63。該圖像處理設(shè)備63包括輸入接口631、處理器632、存儲器633。
該輸入接口631用于獲得深度相機(jī)61和彩色相機(jī)62采集得到的圖像。
存儲器633用于存儲計(jì)算機(jī)程序,并向處理器632提供所述計(jì)算機(jī)程序,且可存儲處理器632處理時(shí)所采用的數(shù)據(jù)如深度相機(jī)61和彩色相機(jī)62的內(nèi)參矩陣和外參矩陣等,以及輸入接口631獲得的圖像。
處理器632用于:
通過輸入接口631分別獲取所述深度相機(jī)61以第一視點(diǎn)對目標(biāo)進(jìn)行采集得到的第一深度圖像和所述彩色相機(jī)62以第二視點(diǎn)對所述目標(biāo)進(jìn)行采集得到的目標(biāo)的第一彩色圖像;
利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像;
由所述第一彩色圖像和第二彩色圖像形成三維圖像。
本實(shí)施例中,圖像處理設(shè)備63還可包括顯示屏634,該顯示屏634用于顯示該三維圖像,以實(shí)現(xiàn)三維顯示。當(dāng)然,在另一實(shí)施例中,圖像處理設(shè)備63不用于顯示該三維圖像,如圖7所示,該三維圖像獲得系統(tǒng)60還包括與圖像處理設(shè)備63連接的顯示設(shè)備64,顯示設(shè)備64用于接收圖像處理設(shè)備63輸出的三維圖像,并顯示該三維圖像。
可選地,處理器632具體用于利用上述公式11計(jì)算得到所述第一深度圖像的第一像素坐標(biāo)(uD,vD)與所述第一彩色圖像的第二像素坐標(biāo)(uR,vR)之間的對應(yīng)關(guān)系;將所述第一深度圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對應(yīng)關(guān)系的第二像素坐標(biāo)的像素值,以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像。
進(jìn)一步可選地,所述平移矩陣T=[t,0,0]-1,其中,所述t為設(shè)定值。
更進(jìn)一步地,處理器632還可用于:當(dāng)判斷所述目標(biāo)與所述深度相機(jī)61和所述彩色相機(jī)62的距離均大于第一距離值時(shí),將所述設(shè)定值t調(diào)大;當(dāng)判斷所述目標(biāo)與所述深度相機(jī)61和所述彩色相機(jī)62的距離均小于第二距離值時(shí),將所述設(shè)定值t調(diào)小,其中,所述第一距離值大于或等于所述第二距離值。
可選地,所述第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系。
可選地,所述彩色相機(jī)62和所述深度相機(jī)61的圖像采集靶面大小相等、分辨率相同以及焦距相同;或所述彩色相機(jī)62和所述深度相機(jī)61的圖像采集靶面大小、分辨率以及焦距中的至少一個(gè)不相同,該處理器632還可用于:對所述第一彩色圖像和/或所述第二彩色圖像進(jìn)行插值、分割處理,使得所述第一彩色圖像和所述第二彩色圖像的圖像大小和分辨率相同。
可選地,所述第一深度圖像和所述第一彩色圖像為照片或者視頻,當(dāng)所述第一深度圖像和所述第一彩色圖像為視頻時(shí),所述深度相機(jī)和彩色相機(jī)的采集頻率同步,或者若深度相機(jī)和彩色相機(jī)的采集頻率不同步,則通過圖像插值的方式獲得頻率一致的視頻圖像。
該圖像處理設(shè)備63可作為上述三維圖像獲得裝置,用于執(zhí)行上述實(shí)施例所述方法。例如,上述本發(fā)明實(shí)施方式揭示的方法也可以應(yīng)用于處理器632中,或者由處理器632實(shí)現(xiàn)。處理器632可能是一種集成電路芯片,具有信號的處理能力。在實(shí)現(xiàn)過程中,上述方法的各步驟可以通過處理器632中的硬件的集成邏輯電路或者軟件形式的指令完成。上述的處理器632可以是通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)成可編程門陣列(FPGA)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件??梢詫?shí)現(xiàn)或者執(zhí)行本發(fā)明實(shí)施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。結(jié)合本發(fā)明實(shí)施例所公開的方法的步驟可以直接體現(xiàn)為硬件譯碼處理器執(zhí)行完成,或者用譯碼處理器中的硬件及軟件模塊組合執(zhí)行完成。軟件模塊可以位于隨機(jī)存儲器,閃存、只讀存儲器,可編程只讀存儲器或者電可擦寫可編程存儲器、寄存器等本領(lǐng)域成熟的存儲介質(zhì)中。該存儲介質(zhì)位于存儲器633,處理器632讀取相應(yīng)存儲器中的信息,結(jié)合其硬件完成上述方法的步驟。
上述方案中,利用采集得到的第一視點(diǎn)的第一深度圖像和第二視點(diǎn)的第一彩色圖像得到第一視點(diǎn)的第二彩色圖像,進(jìn)而由第一彩色圖像和第二彩色圖像形成三維圖像,由于該第一視點(diǎn)的第二彩色圖像基于該第一視點(diǎn)的第一深度圖像形成,而非單純依靠其他不同視點(diǎn)的圖像處理得到,因此減少了圖像細(xì)節(jié)信息的流失,以更準(zhǔn)確獲得兩個(gè)視點(diǎn)的彩色圖像,進(jìn)而減少了合成的三維圖像的失真度,提高了基于二維圖像生成的三維顯示效果。
以上所述僅為本發(fā)明的實(shí)施方式,并非因此限制本發(fā)明的專利范圍,凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換,或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域,均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。