本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及視點(diǎn)圖像的獲得方法、裝置及系統(tǒng)。

背景技術(shù)：

人類雙眼由于位置不同在對(duì)具有一定距離的物體進(jìn)行觀看時(shí)會(huì)產(chǎn)生視覺(jué)差異，正是這種視差讓人們有了三維的感觀效果。三維顯示技術(shù)根據(jù)這一原理，通過(guò)將同時(shí)獲取的雙眼圖像分別被對(duì)應(yīng)的眼睛接收，從而產(chǎn)生三維效果。由于這一技術(shù)給人們帶來(lái)了全新的立體觀看體驗(yàn)，近年來(lái)人們對(duì)三維圖像資源的需求也日漸增加。

目前獲得三維圖像的方法之一是將二維圖像通過(guò)圖像處理技術(shù)轉(zhuǎn)化為三維圖像。具體為運(yùn)用圖像處理技術(shù)計(jì)算得到已有二維彩色圖像的場(chǎng)景深度信息，進(jìn)而利用該深度信息和二維彩色圖像得到其他視點(diǎn)的圖像，以實(shí)現(xiàn)三維顯示。

由于現(xiàn)有的用于繪制其他視點(diǎn)圖像的深度信息是由已有彩色圖像進(jìn)行圖像處理得到，需要經(jīng)過(guò)一些圖像的變換及處理技術(shù)，這一過(guò)程會(huì)導(dǎo)致圖像細(xì)節(jié)信息的流失，導(dǎo)致繪制得到的其他視點(diǎn)的圖像失真度較大。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明主要解決的技術(shù)問(wèn)題是提供視點(diǎn)圖像的獲得方法、裝置及系統(tǒng)，能夠獲得準(zhǔn)確的視點(diǎn)圖像，減少視點(diǎn)圖像的失真度。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種視點(diǎn)圖像的獲得方法，包括：

分別獲取以第一視點(diǎn)對(duì)目標(biāo)進(jìn)行采集得到的第一深度圖像和以第二視點(diǎn)對(duì)所述目標(biāo)進(jìn)行采集得到的第一彩色圖像；

利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像和/或所述目標(biāo)在所述第二視點(diǎn)的第二深度圖像；

根據(jù)所述第一視點(diǎn)的第一深度圖像與第二彩色圖像和/或所述第二視點(diǎn)的第一彩色圖像與第二深度圖像得到第三視點(diǎn)的第三彩色圖像。

其中，所述第一深度圖像由設(shè)置在所述第一視點(diǎn)的深度相機(jī)對(duì)所述目標(biāo)進(jìn)行采集得到，所述第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)對(duì)所述目標(biāo)進(jìn)行采集得到。

其中，所述根據(jù)所述第一視點(diǎn)的第一深度圖像與第二彩色圖像和/或所述第二視點(diǎn)的第一彩色圖像與第二深度圖像得到第三視點(diǎn)的第三彩色圖像，包括：利用深度圖像繪制DIBR技術(shù)，由所述第一視點(diǎn)的第一深度圖像與第二彩色圖像和/或所述第二視點(diǎn)的第一彩色圖像與第二深度圖像繪制得到第三視點(diǎn)的第三彩色圖像。

其中，所述利用DIBR技術(shù)，由所述第一視點(diǎn)的第一深度圖像與第二彩色圖像或所述第二視點(diǎn)的第一彩色圖像與第二深度圖像繪制得到第三視點(diǎn)的第三彩色圖像，包括：

將所述第一視點(diǎn)或第二視點(diǎn)作為參考視點(diǎn)；

利用下述公式1得到第三視點(diǎn)的第三彩色圖像與所述參考視點(diǎn)的彩色圖像之間的圖像視差值d，

$d=\frac{Bf}{Z}---\left(1\right)$

其中，B為第三視點(diǎn)與參考視點(diǎn)的間距，Z為所述參考視點(diǎn)的深度圖像的深度信息，表示所述目標(biāo)距離所述第三視點(diǎn)和所述參考視點(diǎn)的深度值；所述f為所述參考視點(diǎn)所設(shè)置的相機(jī)的焦距；

按照所述圖像視差值移動(dòng)所述參考視點(diǎn)的彩色圖像中的像素坐標(biāo)，得到所述第三彩色圖像。

其中，所述利用DIBR技術(shù)，由所述第一視點(diǎn)的第一深度圖像和第二彩色圖像和所述第二視點(diǎn)的第一彩色圖像與第二深度圖像繪制得到第三視點(diǎn)的第三彩色圖像，包括：

將所述第一視點(diǎn)和第二視點(diǎn)分別作為參考視點(diǎn)；

利用下述公式2分別得到第三視點(diǎn)的第三彩色圖像與所述兩個(gè)參考視點(diǎn)的彩色圖像之間的兩個(gè)圖像視差值d，

$d=\frac{Bf}{Z}---\left(2\right)$

其中，B為第三視點(diǎn)與參考視點(diǎn)的間距，Z為所述參考視點(diǎn)的深度圖像的深度信息，表示所述目標(biāo)距離所述第三視點(diǎn)和所述參考視點(diǎn)的深度值；所述f為所述參考視點(diǎn)所設(shè)置的相機(jī)的焦距；

按照所述兩個(gè)圖像視差值分別移動(dòng)對(duì)應(yīng)的參考視點(diǎn)的彩色圖像中的像素坐標(biāo)，得到兩個(gè)彩色圖像；

將所述兩個(gè)彩色圖像中對(duì)應(yīng)的像素坐標(biāo)的像素值進(jìn)行平均或者加權(quán)平均，得到所述第三視點(diǎn)的第三彩色圖像。

其中，所述利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像和/或所述目標(biāo)在所述第二視點(diǎn)的第二深度圖像，包括：

利用下面公式3計(jì)算得到所述第一深度圖像和第二彩色圖像的第一像素坐標(biāo)(u_D,v_D)與所述第一彩色圖像和第二深度圖像的第二像素坐標(biāo)(u_R,v_R)之間的對(duì)應(yīng)關(guān)系，

$Z_R\stackrel{\‾}{U_R}=Z_D{M}_{R}R\·M_D^{-1}\stackrel{\‾}{U_D}+M_{R}T---\left(3\right)$

其中，所述Z_D為所述第一深度圖像中的深度信息，表示所述目標(biāo)距離所述深度相機(jī)的深度值；Z_R表示所述目標(biāo)距離所述彩色相機(jī)的深度值；為所述彩色相機(jī)的圖像坐標(biāo)系上的像素齊次坐標(biāo)；為所述深度相機(jī)的圖像坐標(biāo)系上的像素齊次坐標(biāo)；M_R為所述彩色相機(jī)的內(nèi)參矩陣，M_D為所述深度相機(jī)的內(nèi)參矩陣；R為深度相機(jī)相對(duì)于彩色相機(jī)的外參矩陣中的旋轉(zhuǎn)矩陣，T為深度相機(jī)相對(duì)于彩色相機(jī)的外參矩陣中的平移矩陣；

將所述第一深度圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對(duì)應(yīng)關(guān)系的第二像素坐標(biāo)的像素值，以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像，和/或

將所述第一彩色圖像的第二像素坐標(biāo)的深度值設(shè)置為所述第一深度圖像中與所述第二像素坐標(biāo)具有對(duì)應(yīng)關(guān)系的第一像素坐標(biāo)的深度值，以形成所述目標(biāo)在所述第二視點(diǎn)的第二深度圖像。

其中，所述第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系；所述彩色相機(jī)和所述深度相機(jī)的圖像采集靶面大小相等、分辨率相同以及焦距相同。

其中，還包括：由所述第三彩色圖像與所述第一彩色圖像或第二彩色圖像形成三維圖像。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用另一種技術(shù)方法為：提供一種視點(diǎn)圖像獲得裝置，包括：

獲取模塊，用于分別獲取以第一視點(diǎn)對(duì)目標(biāo)進(jìn)行采集得到的第一深度圖像和以第二視點(diǎn)對(duì)所述目標(biāo)進(jìn)行采集得到的第一彩色圖像；

計(jì)算模塊，用于利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像和/或所述目標(biāo)在所述第二視點(diǎn)的第二深度圖像；

得到模塊，用于根據(jù)所述第一視點(diǎn)的第一深度圖像與第二彩色圖像和/或所述第二視點(diǎn)的第一彩色圖像與第二深度圖像得到第三視點(diǎn)的第三彩色圖像。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用再一種技術(shù)方法為：提供一種視點(diǎn)圖像獲得系統(tǒng)，包括深度相機(jī)、彩色相機(jī)、與所述深度相機(jī)和彩色相機(jī)連接的圖像處理設(shè)備；所述視點(diǎn)圖像獲得設(shè)備用于：

分別獲取以第一視點(diǎn)對(duì)目標(biāo)進(jìn)行采集得到的第一深度圖像和以第二視點(diǎn)對(duì)所述目標(biāo)進(jìn)行采集得到的第一彩色圖像；

利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像和/或所述目標(biāo)在所述第二視點(diǎn)的第二深度圖像；

根據(jù)所述第一視點(diǎn)的第一深度圖像與第二彩色圖像和/或所述第二視點(diǎn)的第一彩色圖像與第二深度圖像得到第三視點(diǎn)的第三彩色圖像。

本發(fā)明的有益效果是：利用采集得到的第一視點(diǎn)的第一深度圖像和第二視點(diǎn)的第一彩色圖像得到第一視點(diǎn)的第二彩色圖像或第二視點(diǎn)的第二深度圖像，進(jìn)而由第一視點(diǎn)和/或第二視點(diǎn)的彩色圖像和深度圖像得到第三視點(diǎn)的第三彩色圖像，由于第一視點(diǎn)的深度圖像直接采集得到，且第二視點(diǎn)的深度圖像依賴第一視點(diǎn)的深度圖像得到，而無(wú)需單純依靠彩色圖像計(jì)算得到，因此減少了圖像細(xì)節(jié)信息的流失，以更準(zhǔn)確獲得第三視點(diǎn)的彩色圖像，減少了第三視點(diǎn)的彩色圖像的失真度。

附圖說(shuō)明

圖1是本發(fā)明視點(diǎn)圖像的獲得方法一實(shí)施例的流程圖；

圖2是本發(fā)明視點(diǎn)圖像的獲得方法一應(yīng)用場(chǎng)景的示意圖；

圖3是本發(fā)明視點(diǎn)圖像的獲得方法另一實(shí)施例的部分流程圖；

圖4是本發(fā)明視點(diǎn)圖像的獲得方法再一實(shí)施例的部分流程圖；

圖5是本發(fā)明視點(diǎn)圖像獲得裝置一實(shí)施例的結(jié)構(gòu)示意圖；

圖6是本發(fā)明視點(diǎn)圖像獲得系統(tǒng)一實(shí)施例的結(jié)構(gòu)示意圖；

圖7是本發(fā)明視點(diǎn)圖像獲得系統(tǒng)另一實(shí)施例的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了更好的理解本發(fā)明的技術(shù)方案，下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例進(jìn)行詳細(xì)描述。

在本發(fā)明實(shí)施例中使用的術(shù)語(yǔ)是僅僅出于描述特定實(shí)施例的目的，而非旨在限制本發(fā)明。在本發(fā)明實(shí)施例和所附權(quán)利要求書(shū)中所使用的單數(shù)形式的“一種”、“所述”和“該”也旨在包括多數(shù)形式，除非上下文清楚地表示其他含義。還應(yīng)當(dāng)理解，本文中使用的術(shù)語(yǔ)“和/或”是指并包含一個(gè)或多個(gè)相關(guān)聯(lián)的列出項(xiàng)目的任何或所有可能組合。

請(qǐng)參閱圖1，圖1是本發(fā)明視點(diǎn)圖像的獲得方法一實(shí)施例的流程圖。本實(shí)施例中，該方法可由視點(diǎn)圖像獲得裝置執(zhí)行，包括以下步驟：

S11：分別獲取以第一視點(diǎn)對(duì)目標(biāo)進(jìn)行采集得到的第一深度圖像和以第二視點(diǎn)對(duì)所述目標(biāo)進(jìn)行采集得到的第一彩色圖像。

值得注意的是，本發(fā)明所述的深度圖像和彩色圖像均為二維圖像。

其中，該第一視點(diǎn)和第二視點(diǎn)位于目標(biāo)的不同位置，以獲得該目標(biāo)的兩個(gè)視點(diǎn)處的圖像。該第一視點(diǎn)和第二視點(diǎn)可以為人體雙眼的兩個(gè)視點(diǎn)，即第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系。例如，常規(guī)人體雙眼的距離為t，則將第一視點(diǎn)和第二視點(diǎn)之間的距離設(shè)置為t，該t具體如為6.5cm。當(dāng)然，該第一視點(diǎn)和第二視點(diǎn)不限定為雙眼的兩個(gè)視點(diǎn)，該第一視點(diǎn)和第二視點(diǎn)可以為相距任意距離的兩個(gè)視點(diǎn)。而且，為保證第一視點(diǎn)和第二視點(diǎn)的圖像深度相同或者類似，將第一視點(diǎn)和第二視點(diǎn)設(shè)置為與該目標(biāo)的距離相同或者距離相差不超過(guò)設(shè)定閾值，在具體應(yīng)用中，該設(shè)定閾值可設(shè)置為不大于10cm或20cm的值。

在一具體應(yīng)用中，如圖2所示，該第一深度圖像由設(shè)置在所述第一視點(diǎn)的深度相機(jī)21對(duì)目標(biāo)23進(jìn)行采集得到，該第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)22對(duì)目標(biāo)23進(jìn)行采集得到。深度相機(jī)21和彩色相機(jī)將其采集得到的圖像傳輸至視點(diǎn)圖像獲得裝置24，以進(jìn)行下述視點(diǎn)圖像的獲取。由于彩色相機(jī)與深度相機(jī)的位置不同，故該第一彩色圖像與第一深度圖像中的相同像素坐標(biāo)上所對(duì)應(yīng)的空間三維點(diǎn)并不相同。

具體地，該深度相機(jī)21可以是基于結(jié)構(gòu)光或TOF等其它原理的相機(jī)，這一類的深度相機(jī)可由一個(gè)投影鏡頭及采集鏡頭組成，比如結(jié)構(gòu)光深度相機(jī)由投影模組及圖像采集鏡頭組成，其中投影模組用于向目標(biāo)區(qū)域投射特定圖案的結(jié)構(gòu)光，圖像采集鏡頭用于采集目標(biāo)區(qū)域帶結(jié)構(gòu)光圖案的并進(jìn)一步經(jīng)計(jì)算可得到目標(biāo)的第一深度圖像。

進(jìn)一步地，由于利用深度相機(jī)獲取的深度圖像可能存在一些數(shù)據(jù)壞點(diǎn)或區(qū)域，在后面步驟中進(jìn)一步處理時(shí)會(huì)將這些數(shù)據(jù)進(jìn)行放大，進(jìn)而嚴(yán)重影響三維顯示效果，為避免深度圖像的壞點(diǎn)或區(qū)域數(shù)據(jù)對(duì)三維顯示的影響，該S11還包括：對(duì)該第一深度圖像進(jìn)行去噪、平滑處理，再利用處理后的該第一深度圖像進(jìn)行下述步驟S12。

S12：利用所述第一深度圖像和所述第一彩色圖像得到所述目標(biāo)在第一視點(diǎn)的第二彩色圖像和/或所述目標(biāo)在所述第二視點(diǎn)的第二深度圖像。

例如，根據(jù)三維圖像轉(zhuǎn)換(3D Image Wrapping)理論——空間任一三維坐標(biāo)點(diǎn)與圖像采集平面上的二維坐標(biāo)點(diǎn)可通過(guò)透射變換理論對(duì)應(yīng)起來(lái)，故由此理論可將第一視點(diǎn)和第二視點(diǎn)的圖像的像素坐標(biāo)對(duì)應(yīng)起來(lái)，并根據(jù)該對(duì)應(yīng)關(guān)系，為第一視點(diǎn)的圖像像素坐標(biāo)設(shè)置第二視點(diǎn)的第一彩色圖像中對(duì)應(yīng)像素坐標(biāo)的像素值；也可根據(jù)該對(duì)應(yīng)關(guān)系，為第二視點(diǎn)的圖像像素坐標(biāo)設(shè)置第一視點(diǎn)的第一深度圖像中對(duì)應(yīng)像素坐標(biāo)的深度值。

S13：根據(jù)所述第一視點(diǎn)的第一深度圖像與第二彩色圖像和/或所述第二視點(diǎn)的第一彩色圖像與第二深度圖像得到第三視點(diǎn)的第三彩色圖像。

例如，當(dāng)S12具體為利用所述第一深度圖像和所述第一彩色圖像得到所述目標(biāo)在第一視點(diǎn)的第二彩色圖像時(shí)，則S13具體為根據(jù)第一視點(diǎn)的第一深度圖像與第二彩色圖像得到第三視點(diǎn)的第三彩色圖像；當(dāng)S12具體為利用所述第一深度圖像和所述第一彩色圖像得到所述目標(biāo)在所述第二視點(diǎn)的第二深度圖像時(shí)，則S13具體為根據(jù)第二視點(diǎn)的第一彩色圖像與第二深度圖像得到第三視點(diǎn)的第三彩色圖像；當(dāng)S12具體為利用所述第一深度圖像和所述第一彩色圖像得到所述目標(biāo)在第一視點(diǎn)的第二彩色圖像和第二視點(diǎn)的第二深度圖像時(shí)，則S13具體為根據(jù)第一視點(diǎn)的第一深度圖像與第二彩色圖像得到第三視點(diǎn)的一彩色圖像，并根據(jù)第二視點(diǎn)的第一彩色圖像與第二深度圖像得到第三視點(diǎn)的另一彩色圖像，將該兩個(gè)第三視點(diǎn)的彩色圖像對(duì)應(yīng)的像素坐標(biāo)的像素值進(jìn)行平均或者加權(quán)平均或進(jìn)行其他處理，作為第三視點(diǎn)的第三彩色圖像對(duì)應(yīng)的像素坐標(biāo)的像素值。彩色圖像中的一像素坐標(biāo)舉例，第三視點(diǎn)的兩個(gè)彩色圖像中的像素坐標(biāo)(Ur,Vr)的像素值分別為(r1,g1,b1)和(r2,g2,b2),則將第三彩色圖像中的像素坐標(biāo)(Ur,Vr)的像素值設(shè)置為

上述步驟中，具體可利用深度圖像繪制(depth-image-based rendering，DIBR)技術(shù)，由所述第一視點(diǎn)的深度圖像與彩色圖像繪制得到第三視點(diǎn)的彩色圖像，或由所述第二視點(diǎn)的深度圖像與彩色圖像繪制得到第三視點(diǎn)的彩色圖像。其中，該第三視點(diǎn)和第一視點(diǎn)或第二視點(diǎn)之間的視差可由系統(tǒng)設(shè)定或者由用戶設(shè)定。

本實(shí)施例中，利用采集得到的第一視點(diǎn)的第一深度圖像和第二視點(diǎn)的第一彩色圖像得到第一視點(diǎn)的第二彩色圖像或第二視點(diǎn)的第二深度圖像，進(jìn)而由第一視點(diǎn)和/或第二視點(diǎn)的彩色圖像和深度圖像得到第三視點(diǎn)的第三彩色圖像，由于第一視點(diǎn)的深度圖像直接采集得到，且第二視點(diǎn)的深度圖像依賴第一視點(diǎn)的深度圖像得到，而無(wú)需單純依靠彩色圖像計(jì)算得到，因此減少了圖像細(xì)節(jié)信息的流失，以更準(zhǔn)確獲得第三視點(diǎn)的彩色圖像，減少了第三視點(diǎn)的彩色圖像的失真度。

在又一實(shí)施例中，獲得裝置在執(zhí)行上述S11-S13后，還執(zhí)行：由所述第三彩色圖像與所述第一彩色圖像或第二彩色圖像形成三維圖像。

例如，將第一彩色圖像和第三彩色圖像分別作為人體雙眼圖像，以合成三維圖像，或者，將第二彩色圖像和第三彩色圖像分別作為人體雙眼圖像，以合成三維圖像。進(jìn)一步地，在合成三維圖像后，還可將該三維圖像進(jìn)行顯示，或者輸出至連接的外部顯示裝置進(jìn)行顯示。

其中，上述S13中的第三視點(diǎn)可為根據(jù)用戶的輸入如用戶目標(biāo)觀看視角而確定，進(jìn)而獲得用戶目標(biāo)觀看視角對(duì)應(yīng)的第三視點(diǎn)(第三視點(diǎn)和第一視點(diǎn)或第二視點(diǎn)構(gòu)成該觀看視角)，獲得裝置根據(jù)該第三視點(diǎn)以及第一視點(diǎn)或第二視點(diǎn)得到匹配用戶目標(biāo)觀看視角的三維圖像，實(shí)現(xiàn)面向用戶目標(biāo)觀看視角的三維顯示。

本實(shí)施例可實(shí)現(xiàn)三維顯示，由于第三視點(diǎn)的彩色圖像失真度低，故可減少了合成的三維圖像的失真度，提高了基于二維圖像生成的三維顯示效果。另外，由于本實(shí)施例可繪制出任意第三視點(diǎn)的真實(shí)彩色圖像，可獲得任意視角的三維圖像，故可實(shí)現(xiàn)任何視角的三維顯示，且該第三視點(diǎn)可由用戶輸入信息確定，故可實(shí)現(xiàn)基于用戶需求的任意視角的三維顯示。

請(qǐng)參閱圖3，在另一實(shí)施例中，該第一深度圖像由設(shè)置在所述第一視點(diǎn)的深度相機(jī)對(duì)目標(biāo)進(jìn)行采集得到，該第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)對(duì)目標(biāo)進(jìn)行采集得到，本實(shí)施例與上述實(shí)施例的區(qū)別在于，上述S12包括以下子步驟：

S121：利用下面公式11計(jì)算得到所述第一深度圖像的第一像素坐標(biāo)(u_D,v_D)與所述第一彩色圖像的第二像素坐標(biāo)(u_R,v_R)之間的對(duì)應(yīng)關(guān)系，

$Z_R\stackrel{\‾}{U_R}=Z_D{M}_{R}R\·M_D^{-1}\stackrel{\‾}{U_D}+M_{R}T---\left(11\right)$

其中，所述Z_D為所述第一深度圖像中的深度信息，表示所述目標(biāo)距離所述深度相機(jī)的深度值；Z_R表示所述目標(biāo)距離所述彩色相機(jī)的深度值；為所述彩色相機(jī)的圖像坐標(biāo)系上的像素齊次坐標(biāo)；為所述深度相機(jī)的圖像坐標(biāo)系上的像素齊次坐標(biāo)；M_R為所述彩色相機(jī)的內(nèi)參矩陣，M_D為所述深度相機(jī)的內(nèi)參矩陣；R為深度相機(jī)相對(duì)于彩色相機(jī)的外參矩陣中的旋轉(zhuǎn)矩陣，T為深度相機(jī)相對(duì)于彩色相機(jī)的外參矩陣中的平移矩陣。

上述相機(jī)的內(nèi)參矩陣和外參矩陣可預(yù)先設(shè)定的，具體該內(nèi)參矩陣可根據(jù)相機(jī)的設(shè)置參數(shù)計(jì)算得到，該外參矩陣可由深度相機(jī)與彩色相機(jī)之間的位置關(guān)系確定。在一具體實(shí)施例中，由相機(jī)的圖像采集鏡頭的像素焦距以及圖像采集靶面的中心位置坐標(biāo)構(gòu)成的內(nèi)部參數(shù)矩陣。由于第一視點(diǎn)和第二視點(diǎn)的位置關(guān)系設(shè)置為人眼雙眼的位置關(guān)系，人體雙眼之間沒(méi)有任何的相對(duì)旋轉(zhuǎn)而僅有設(shè)定值t的距離，因此彩色相機(jī)相對(duì)于深度相機(jī)的旋轉(zhuǎn)矩陣R為單位矩陣，平移矩陣T＝[t,0,0]^-1。

進(jìn)一步地，該設(shè)定值t可根據(jù)深度相機(jī)和彩色相機(jī)與目標(biāo)的距離進(jìn)行調(diào)整。在再一實(shí)施例中，上述S11之前還包括以下步驟：獲取目標(biāo)與深度相機(jī)和彩色相機(jī)的距離；當(dāng)判斷所述目標(biāo)與所述深度相機(jī)和所述彩色相機(jī)的距離均大于第一距離值時(shí)，將所述設(shè)定值t調(diào)大；當(dāng)判斷所述目標(biāo)與所述深度相機(jī)和所述彩色相機(jī)的距離均小于第二距離值時(shí)，將所述設(shè)定值t調(diào)小。

其中，所述第一距離值大于或等于所述第二距離值。例如，當(dāng)目標(biāo)與深度相機(jī)的距離為100cm，目標(biāo)與彩色相機(jī)的距離也為100cm，由于100cm小于第二距離值200cm，則將設(shè)定值調(diào)小一個(gè)步長(zhǎng)值，或者按照當(dāng)前目標(biāo)與深度相機(jī)和彩色相機(jī)的距離計(jì)算得到調(diào)小值后進(jìn)行調(diào)整。當(dāng)目標(biāo)與深度相機(jī)和彩色相機(jī)的距離均為300cm，由于300cm大于第二距離值200且小于第一距離值500cm，則不將該設(shè)定值進(jìn)行調(diào)整。

S122：將所述第一深度圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對(duì)應(yīng)關(guān)系的第二像素坐標(biāo)的像素值，以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像，和/或，將所述第一彩色圖像的第二像素坐標(biāo)的深度值設(shè)置為所述第一深度圖像中與所述第二像素坐標(biāo)具有對(duì)應(yīng)關(guān)系的第一像素坐標(biāo)的深度值，以形成所述目標(biāo)在所述第二視點(diǎn)的第二深度圖像。

例如，將第一視點(diǎn)的第一深度圖像的深度信息Z_D代入上述公式11后，可求得公式11左邊的第二視點(diǎn)的深度信息也即第一彩色圖像的深度信息Z_R，以及第一彩色圖像的圖像坐標(biāo)系上的像素齊次坐標(biāo)在本實(shí)施例中，深度相機(jī)和彩色相機(jī)與目標(biāo)的距離相同，即求得的Z_R與Z_D是相等的。由像素齊次坐標(biāo)可得到與該第一深度圖像的第一像素坐標(biāo)(u_D,v_D)一一對(duì)應(yīng)的第一彩色圖像的第二像素坐標(biāo)(u_R,v_R)，例如其對(duì)應(yīng)關(guān)系為(u_R,v_R)＝(u_D+d,v_D)。

根據(jù)對(duì)應(yīng)關(guān)系，可將第一彩色圖像的像素值(也可稱為RGB值)賦值于第一深度圖像，以生成第二彩色圖像。以圖像的其中一個(gè)像素坐標(biāo)舉例，若d為1，則第一深度圖像的像素坐標(biāo)(1,1)與第一彩色圖像的像素坐標(biāo)(2,1)對(duì)應(yīng)。然后，將第一深度圖像的像素坐標(biāo)(1,1)的像素值設(shè)置為第一彩色圖像中像素坐標(biāo)(2,1)的像素值(r，g，b)。

根據(jù)對(duì)應(yīng)關(guān)系，可將第一深度圖像的深度值賦值于第一彩色圖像，以生成第二深度圖像。以圖像的其中一個(gè)像素坐標(biāo)舉例，若d為1，則第一深度圖像的像素坐標(biāo)(1,1)與第一彩色圖像的像素坐標(biāo)(2,1)對(duì)應(yīng)。然后，將第一彩色圖像的像素坐標(biāo)(2,1)的深度值設(shè)置為第一深度圖像中像素坐標(biāo)(1,1)的深度值10cm。

請(qǐng)參閱圖4，在再一實(shí)施例中，其與上述實(shí)施例的區(qū)別在于，上述13中利用DIBR技術(shù)，由所述第一視點(diǎn)或第二視點(diǎn)的深度圖像與彩色圖像繪制得到第三視點(diǎn)的彩色圖像具體包括以下子步驟：

S131：將所述第一視點(diǎn)或第二視點(diǎn)作為參考視點(diǎn)；

S132：利用下述公式12得到第三視點(diǎn)的第三彩色圖像與所述參考視點(diǎn)的彩色圖像之間的圖像視差值d，

$d=\frac{Bf}{Z}---\left(12\right)$

其中，B為第三視點(diǎn)與參考視點(diǎn)的間距，Z為所述參考視點(diǎn)的深度圖像的深度信息，表示所述目標(biāo)距離所述第三視點(diǎn)和所述參考視點(diǎn)的深度值；所述f為所述參考視點(diǎn)所設(shè)置的相機(jī)的焦距；

S133：按照所述圖像視差值移動(dòng)所述參考視點(diǎn)的彩色圖像中的像素坐標(biāo)，得到所述第三彩色圖像。

例如，將與該參考視點(diǎn)的彩色圖像的像素坐標(biāo)(u₁,v₁)均移動(dòng)圖像視差值d，得到第三彩色圖像的像素坐標(biāo)(u₂,v₂)＝(u₁+d,v₁)，并將像素坐標(biāo)(u₁,v₁)的像素值對(duì)應(yīng)賦值給得到第三彩色圖像的像素坐標(biāo)(u₂,v₂)，得到第三彩色圖像每個(gè)像素坐標(biāo)的像素值。

可以理解的是，當(dāng)S13具體為利用DIBR技術(shù)，由所述第一視點(diǎn)的第一深度圖像和第二彩色圖像和所述第二視點(diǎn)的第一彩色圖像與第二深度圖像繪制得到第三視點(diǎn)的第三彩色圖像時(shí)，上述S131則將第一視點(diǎn)和第二視點(diǎn)均作為參考點(diǎn)，并執(zhí)行S132和S133得到以第一視點(diǎn)作為參考視點(diǎn)得到的第三視點(diǎn)的彩色圖像和以第二視點(diǎn)作為參考視點(diǎn)得到的第三視點(diǎn)的彩色圖像，并將所述兩個(gè)第三視點(diǎn)的彩色圖像中對(duì)應(yīng)的像素坐標(biāo)的像素值進(jìn)行平均或者加權(quán)平均，得到所述第三視點(diǎn)的第三彩色圖像。

可以理解的是，上述實(shí)施例中，可設(shè)置該深度相機(jī)和彩色相機(jī)的圖像采集靶面大小相等、分辨率相同以及焦距相同?；蛘撸噬鄼C(jī)和所述深度相機(jī)的圖像采集靶面大小、分辨率以及焦距中的至少一個(gè)不相同，例如彩色相機(jī)的靶面大小以及分辨率都比深度相機(jī)大，此時(shí)，上述S12之后，該獲得方法還包括：對(duì)所述第一彩色圖像和/或所述第二彩色圖像進(jìn)行插值、分割處理，使得所述第一彩色圖像和所述第二彩色圖像對(duì)應(yīng)的目標(biāo)區(qū)域相同，且圖像大小與分辨率也相同。S12得到的第一深度圖像和第二深度圖像也可進(jìn)行類似處理。由于彩色相機(jī)與深度相機(jī)在裝配時(shí)存在誤差，故上述該深度相機(jī)和彩色相機(jī)的圖像采集靶面大小相等、分辨率相同以及焦距相同應(yīng)理解為：該深度相機(jī)和彩色相機(jī)的圖像采集靶面大小、分辨力和焦距為在允許誤差的范圍內(nèi)的相同。

而且，上述圖像包括照片或者視頻，當(dāng)上述圖像為視頻時(shí)，所述深度相機(jī)和彩色相機(jī)的采集頻率同步，或者若深度相機(jī)和彩色相機(jī)的采集頻率不同步，則通過(guò)圖像插值的方式獲得頻率一致的視頻圖像。

請(qǐng)參閱圖5，圖5是本發(fā)明視點(diǎn)圖像獲得裝置一實(shí)施例的結(jié)構(gòu)示意圖。本實(shí)施例中，該獲得裝置50包括獲取模塊51、計(jì)算模塊52和得到模塊53。其中，

獲取模塊51用于分別獲取以第一視點(diǎn)對(duì)目標(biāo)進(jìn)行采集得到的第一深度圖像和以第二視點(diǎn)對(duì)所述目標(biāo)進(jìn)行采集得到的目標(biāo)的第一彩色圖像；

計(jì)算模塊52用于利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像和/或所述目標(biāo)在所述第二視點(diǎn)的第二深度圖像；

得到模塊53用于根據(jù)所述第一視點(diǎn)的第一深度圖像與第二彩色圖像和/或所述第二視點(diǎn)的第一彩色圖像與第二深度圖像得到第三視點(diǎn)的第三彩色圖像。

可選地，所述第一深度圖像由設(shè)置在所述第一視點(diǎn)的深度相機(jī)對(duì)所述目標(biāo)進(jìn)行采集得到，所述第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)對(duì)所述目標(biāo)進(jìn)行采集得到。

可選地，得到模塊53具體用于利用DIBR技術(shù)，由所述第一視點(diǎn)的第一深度圖像與第二彩色圖像和/或所述第二視點(diǎn)的第一彩色圖像與第二深度圖像繪制得到第三視點(diǎn)的第三彩色圖像。

例如，得到模塊53具體用于將所述第一視點(diǎn)或第二視點(diǎn)作為參考視點(diǎn)；利用上述公式12得到第三視點(diǎn)的第三彩色圖像與所述參考視點(diǎn)的彩色圖像之間的圖像視差值；按照所述圖像視差值將所述參考視點(diǎn)的彩色圖像中的像素值進(jìn)行移動(dòng)，得到所述第三彩色圖像。

又例如，得到模塊53具體用于將所述第一視點(diǎn)和第二視點(diǎn)分別作為參考視點(diǎn)；利用上述公式12分別得到第三視點(diǎn)的第三彩色圖像與所述兩個(gè)參考視點(diǎn)的彩色圖像之間的兩個(gè)圖像視差值；按照所述兩個(gè)圖像視差值分別將對(duì)應(yīng)的參考視點(diǎn)的彩色圖像中的像素值進(jìn)行移動(dòng)，得到兩個(gè)彩色圖像；將所述兩個(gè)彩色圖像中對(duì)應(yīng)的像素坐標(biāo)的像素值進(jìn)行平均或者加權(quán)平均，得到所述第三視點(diǎn)的第三彩色圖像。

可選地，計(jì)算模塊52具體用于利用上述公式11計(jì)算得到所述第一深度圖像的第一像素坐標(biāo)(u_D,v_D)與所述第一彩色圖像的第二像素坐標(biāo)(u_R,v_R)之間的對(duì)應(yīng)關(guān)系；將所述第一深度圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對(duì)應(yīng)關(guān)系的第二像素坐標(biāo)的像素值，以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像；和/或，將所述第一彩色圖像的第二像素坐標(biāo)的深度值設(shè)置為所述第一深度圖像中與所述第二像素坐標(biāo)具有對(duì)應(yīng)關(guān)系的第一像素坐標(biāo)的深度值，以形成所述目標(biāo)在所述第二視點(diǎn)的第二深度圖像。

進(jìn)一步可選地，所述平移矩陣T＝[t,0,0]^-1，其中，所述t為設(shè)定值。

更進(jìn)一步地，計(jì)算模塊52還可用于:當(dāng)判斷所述目標(biāo)與所述深度相機(jī)和所述彩色相機(jī)的距離均大于第一距離值時(shí)，將所述設(shè)定值t調(diào)大；當(dāng)判斷所述目標(biāo)與所述深度相機(jī)和所述彩色相機(jī)的距離均小于第二距離值時(shí)，將所述設(shè)定值t調(diào)小，其中，所述第一距離值大于或等于所述第二距離值。

可選地，上述獲得裝置50還可包括形成模塊54，用于由所述第三彩色圖像與所述第一彩色圖像或第二彩色圖像形成三維圖像。

可選地，所述第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系。

可選地，所述彩色相機(jī)和所述深度相機(jī)的圖像采集靶面大小相等、分辨率相同以及焦距相同；或所述彩色相機(jī)和所述深度相機(jī)的圖像采集靶面大小、分辨率以及焦距中的至少一個(gè)不相同，該計(jì)算模塊52還可用于：對(duì)所述第一彩色圖像和/或所述第二彩色圖像進(jìn)行插值、分割處理，使得所述第一彩色圖像和所述第二彩色圖像的圖像大小和分辨率相同。

可選地，所述第一深度圖像和所述第一彩色圖像為照片或者視頻，當(dāng)所述第一深度圖像和所述第一彩色圖像為視頻時(shí)，所述深度相機(jī)和彩色相機(jī)的采集頻率同步，或者若深度相機(jī)和彩色相機(jī)的采集頻率不同步，則通過(guò)圖像插值的方式獲得頻率一致的視頻圖像。

其中，該獲得裝置的上述模塊分別用于執(zhí)行上述方法實(shí)施例中的相應(yīng)步驟，具體執(zhí)行過(guò)程如上方法實(shí)施例說(shuō)明，在此不作贅述。

請(qǐng)參閱圖6，圖6是本發(fā)明視點(diǎn)圖像獲得系統(tǒng)一實(shí)施例方式的結(jié)構(gòu)示意圖。本實(shí)施例中，該系統(tǒng)60包括深度相機(jī)61、彩色相機(jī)62、與所述深度相機(jī)61和彩色相機(jī)62連接的圖像處理設(shè)備63。該圖像處理設(shè)備63包括輸入接口631、處理器632、存儲(chǔ)器633。

該輸入接口631用于獲得深度相機(jī)61和彩色相機(jī)62采集得到的圖像。

存儲(chǔ)器633用于存儲(chǔ)計(jì)算機(jī)程序，并向處理器632提供所述計(jì)算機(jī)程序，且可存儲(chǔ)處理器632處理時(shí)所采用的數(shù)據(jù)如深度相機(jī)61和彩色相機(jī)62的內(nèi)參矩陣和外參矩陣等，以及輸入接口631獲得的圖像。

處理器632用于：

通過(guò)輸入接口631分別獲取以第一視點(diǎn)的深度相機(jī)61對(duì)目標(biāo)進(jìn)行采集得到的第一深度圖像和以第二視點(diǎn)的彩色相機(jī)62對(duì)所述目標(biāo)進(jìn)行采集得到的第一彩色圖像；

利用所述第一深度圖像和所述第一彩色圖像獲得所述目標(biāo)在第一視點(diǎn)的第二彩色圖像和/或所述目標(biāo)在所述第二視點(diǎn)的第二深度圖像；

根據(jù)所述第一視點(diǎn)的第一深度圖像與第二彩色圖像和/或所述第二視點(diǎn)的第一彩色圖像與第二深度圖像得到第三視點(diǎn)的第三彩色圖像。

本實(shí)施例中，處理器632還可用于由所述第三彩色圖像與所述第一彩色圖像或第二彩色圖像形成三維圖像；圖像處理設(shè)備63還可包括顯示屏634，該顯示屏634用于顯示該三維圖像，以實(shí)現(xiàn)三維顯示。當(dāng)然，在另一實(shí)施例中，圖像處理設(shè)備63不用于顯示該三維圖像，如圖7所示，該三維圖像獲得系統(tǒng)60還包括與圖像處理設(shè)備63連接的顯示設(shè)備64，顯示設(shè)備64用于接收?qǐng)D像處理設(shè)備63輸出的三維圖像，并顯示該三維圖像。

可選地，處理器632具體用于利用DIBR技術(shù)，由所述第一視點(diǎn)的第一深度圖像與第二彩色圖像和/或所述第二視點(diǎn)的第一彩色圖像與第二深度圖像繪制得到第三視點(diǎn)的第三彩色圖像。

例如，處理器632具體用于將所述第一視點(diǎn)或第二視點(diǎn)作為參考視點(diǎn)；利用上述公式12得到第三視點(diǎn)的第三彩色圖像與所述參考視點(diǎn)的彩色圖像之間的圖像視差值；按照所述圖像視差值將所述參考視點(diǎn)的彩色圖像中的像素值進(jìn)行移動(dòng)，得到所述第三彩色圖像。

又例如，處理器632具體用于將所述第一視點(diǎn)和第二視點(diǎn)分別作為參考視點(diǎn)；利用上述公式12分別得到第三視點(diǎn)的第三彩色圖像與所述兩個(gè)參考視點(diǎn)的彩色圖像之間的兩個(gè)圖像視差值；按照所述兩個(gè)圖像視差值分別將對(duì)應(yīng)的參考視點(diǎn)的彩色圖像中的像素值進(jìn)行移動(dòng)，得到兩個(gè)彩色圖像；將所述兩個(gè)彩色圖像中對(duì)應(yīng)的像素坐標(biāo)的像素值進(jìn)行平均或者加權(quán)平均，得到所述第三視點(diǎn)的第三彩色圖像。

可選地，處理器632具體用于利用上述公式11計(jì)算得到所述第一深度圖像的第一像素坐標(biāo)(u_D,v_D)與所述第一彩色圖像的第二像素坐標(biāo)(u_R,v_R)之間的對(duì)應(yīng)關(guān)系；將所述第一深度圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對(duì)應(yīng)關(guān)系的第二像素坐標(biāo)的像素值，以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像。

進(jìn)一步可選地，所述平移矩陣T＝[t,0,0]^-1，其中，所述t為設(shè)定值。

更進(jìn)一步地，處理器632還可用于:當(dāng)判斷所述目標(biāo)與所述深度相機(jī)61和所述彩色相機(jī)62的距離均大于第一距離值時(shí)，將所述設(shè)定值t調(diào)大；當(dāng)判斷所述目標(biāo)與所述深度相機(jī)61和所述彩色相機(jī)62的距離均小于第二距離值時(shí)，將所述設(shè)定值t調(diào)小，其中，所述第一距離值大于或等于所述第二距離值。

可選地，所述第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系。

可選地，所述彩色相機(jī)62和所述深度相機(jī)61的圖像采集靶面大小相等、分辨率相同以及焦距相同；或所述彩色相機(jī)62和所述深度相機(jī)61的圖像采集靶面大小、分辨率以及焦距中的至少一個(gè)不相同，該處理器632還可用于：對(duì)所述第一彩色圖像和/或所述第二彩色圖像進(jìn)行插值、分割處理，使得所述第一彩色圖像和所述第二彩色圖像的圖像大小和分辨率相同。

可選地，所述第一深度圖像和所述第一彩色圖像為照片或者視頻，當(dāng)所述第一深度圖像和所述第一彩色圖像為視頻時(shí)，所述深度相機(jī)和彩色相機(jī)的采集頻率同步，或者若深度相機(jī)和彩色相機(jī)的采集頻率不同步，則通過(guò)圖像插值的方式獲得頻率一致的視頻圖像。

該圖像處理設(shè)備63可作為上述視點(diǎn)圖像獲得裝置，用于執(zhí)行上述實(shí)施例所述方法。例如，上述本發(fā)明實(shí)施方式揭示的方法也可以應(yīng)用于處理器632中，或者由處理器632實(shí)現(xiàn)。處理器632可能是一種集成電路芯片，具有信號(hào)的處理能力。在實(shí)現(xiàn)過(guò)程中，上述方法的各步驟可以通過(guò)處理器632中的硬件的集成邏輯電路或者軟件形式的指令完成。上述的處理器632可以是通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)成可編程門陣列(FPGA)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件?？梢詫?shí)現(xiàn)或者執(zhí)行本發(fā)明實(shí)施例中的公開(kāi)的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。結(jié)合本發(fā)明實(shí)施例所公開(kāi)的方法的步驟可以直接體現(xiàn)為硬件譯碼處理器執(zhí)行完成，或者用譯碼處理器中的硬件及軟件模塊組合執(zhí)行完成。軟件模塊可以位于隨機(jī)存儲(chǔ)器，閃存、只讀存儲(chǔ)器，可編程只讀存儲(chǔ)器或者電可擦寫可編程存儲(chǔ)器、寄存器等本領(lǐng)域成熟的存儲(chǔ)介質(zhì)中。該存儲(chǔ)介質(zhì)位于存儲(chǔ)器633，處理器632讀取相應(yīng)存儲(chǔ)器中的信息，結(jié)合其硬件完成上述方法的步驟。

上述方案中，利用采集得到的第一視點(diǎn)的第一深度圖像和第二視點(diǎn)的第一彩色圖像得到第一視點(diǎn)的第二彩色圖像或第二視點(diǎn)的第二深度圖像，進(jìn)而由第一視點(diǎn)和/或第二視點(diǎn)的彩色圖像和深度圖像得到第三視點(diǎn)的第三彩色圖像，由于第一視點(diǎn)的深度圖像直接采集得到，且第二視點(diǎn)的深度圖像依賴第一視點(diǎn)的深度圖像得到，而無(wú)需單純依靠彩色圖像計(jì)算得到，因此減少了圖像細(xì)節(jié)信息的流失，以更準(zhǔn)確獲得第三視點(diǎn)的彩色圖像，減少了第三視點(diǎn)的彩色圖像的失真度。

以上所述僅為本發(fā)明的實(shí)施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。