本發(fā)明屬于融合多深度信息的復(fù)雜場(chǎng)景采樣與重建領(lǐng)域，特別涉及多光編碼深度相機(jī)間的干擾消除與深度提取。

背景技術(shù)：

近年來，隨著數(shù)字電視技術(shù)和顯示技術(shù)的不斷發(fā)展，從多角度身臨其境地觀看場(chǎng)景的立體視頻正逐漸成為人們的迫切需求。傳統(tǒng)的2d視頻由于缺少景物的深度信息，剝奪了觀察者的視覺立體感受；而且人們不能根據(jù)自身的喜好編輯、操作視聽對(duì)象，使用戶失去了交互操作的權(quán)利。為了讓觀察者能夠感知立體視覺效果，基于多視點(diǎn)的3d視頻應(yīng)運(yùn)而生。本質(zhì)上，2d與3d視頻的區(qū)別就在于深度信息。由于3d視頻蘊(yùn)含豐富的深度信息，使其在自然場(chǎng)景的表征上更具立體感，進(jìn)而增強(qiáng)了用戶的自然感知能力。

由于深度圖獲取的難度大、精度差、價(jià)格高，傳統(tǒng)的多視點(diǎn)數(shù)據(jù)采集系統(tǒng)大都是基于紋理相機(jī)的。2008年以前沒有深度相機(jī)，人們通過立體匹配等估計(jì)方法間接地獲取場(chǎng)景深度。這些方法不僅計(jì)算復(fù)雜度高難以實(shí)時(shí)，而且復(fù)雜場(chǎng)景下對(duì)于遮擋、紋理重復(fù)等區(qū)域的匹配結(jié)果不準(zhǔn)確。2011年微軟推出的光編碼深度相機(jī)kinect打破了這一格局。它給出了一種實(shí)時(shí)的場(chǎng)景深度圖像提取方法；并且以低廉的價(jià)格和可開發(fā)性吸引著越來越多的計(jì)算機(jī)視覺研發(fā)人員。隨著kinect深度相機(jī)的廣泛推廣，使基于多深度的多視點(diǎn)視頻研究和應(yīng)用成為可能，并將具有巨大的發(fā)展和應(yīng)用前景。

然而當(dāng)多臺(tái)kinect同時(shí)工作在同一場(chǎng)景下時(shí)，由于不同紅外投影機(jī)發(fā)射的散斑在空間內(nèi)疊加，使每臺(tái)kinect在匹配時(shí)受到來自其它深度相機(jī)信號(hào)的干擾，無法區(qū)分自身的投影散斑，導(dǎo)致深度計(jì)算出現(xiàn)錯(cuò)誤，從而嚴(yán)重地影響了深度圖的進(jìn)一步應(yīng)用。這也是目前正在使用的光編碼深度相機(jī)面臨的致命問題。

研究人員在多光編碼深度相機(jī)的干擾消除上嘗試了許多方法。理論上，時(shí)分復(fù)用與頻分復(fù)用都可以用來解決信號(hào)間干擾，但對(duì)于多光編碼深度相機(jī)并不適用。時(shí)分復(fù)用需要嚴(yán)格的同步機(jī)制，很難被應(yīng)用在大規(guī)模的采集系統(tǒng)中，而且對(duì)于運(yùn)動(dòng)場(chǎng)景的捕捉具有很大的困難；頻分復(fù)用需要對(duì)不同的深度相機(jī)進(jìn)行不同的頻率定制，這很難在有限的紅外頻段下實(shí)現(xiàn)?；诮Y(jié)構(gòu)光及多視點(diǎn)立體的平面掃描方法可以有效地減小多光編碼深度相機(jī)間的干擾。通過考慮投影機(jī)與相機(jī)及相機(jī)與相機(jī)間的光強(qiáng)度相關(guān)性，該方法可以恢復(fù)任意視點(diǎn)下散斑重疊區(qū)域的深度信息，獲得無干擾的深度圖。但是由于相機(jī)約束條件的限制，在某些遮擋情況下被重建物體的形狀會(huì)產(chǎn)生畸變。被遮擋處的物體深度與背景深度混淆，導(dǎo)致深度提取出現(xiàn)錯(cuò)誤?；谝陨戏治觯F(xiàn)有方法或多或少都存在一些不足。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)的不足，提出一種基于獨(dú)立相機(jī)視角下空間采樣的多光編碼相機(jī)的深度提取方法，目的在于消除多個(gè)光編碼深度相機(jī)間的干擾，同時(shí)避免因相機(jī)約束條件所導(dǎo)致的被遮擋物體深度與背景深度混淆的問題，可以在多深度相機(jī)同時(shí)工作的情況下，獲得準(zhǔn)確的場(chǎng)景深度信息。

一種基于獨(dú)立相機(jī)視角下空間采樣的多光編碼相機(jī)的深度提取方法，包括如下步驟：

(1)將某獨(dú)立相機(jī)視角下的拍攝空間劃分為若干深度測(cè)試平面；

(2)在某一確定的測(cè)試平面下，將該相機(jī)成像平面中的某一待測(cè)像素點(diǎn)重投影到各投影機(jī)的視點(diǎn)下；

(3)分別在各重投影像素點(diǎn)周圍取鄰域，估算這些鄰域的線性組合與相機(jī)成像平面中待測(cè)像素點(diǎn)鄰域相等時(shí)的線性權(quán)值；

(4)利用已求出的線性權(quán)值，計(jì)算重投影像素點(diǎn)鄰域的線性組合與待測(cè)像素點(diǎn)鄰域的相似度；

(5)為抵消干擾的影響，遍歷所有測(cè)試平面，以具有最高相似度的深度為當(dāng)前待測(cè)像素點(diǎn)的深度；

(6)遍歷整個(gè)相機(jī)的成像平面，獲得該深度相機(jī)視角下的無干擾的深度圖。

優(yōu)選地，所述步驟1)中，深度測(cè)試平面與該獨(dú)立相機(jī)的成像平面平行。

優(yōu)選地，所述步驟2)中，各投影機(jī)與相機(jī)事先已標(biāo)定完成。

優(yōu)選地，所述步驟3)中，利用最小二乘擬合的方法計(jì)算各線性權(quán)值系數(shù)。

優(yōu)選地，所述步驟4)中，利用去均值互相關(guān)準(zhǔn)則計(jì)算二者的鄰域相似性。

本發(fā)明的優(yōu)點(diǎn)在于：

(1)本方法實(shí)現(xiàn)的基于獨(dú)立深度相機(jī)視角下空間采樣的深度估計(jì)，可以正常提取場(chǎng)景的深度信息；

(2)本方法可以去除相機(jī)約束條件，避免因被遮擋物體深度與背景深度混淆而產(chǎn)生的深度計(jì)算錯(cuò)誤；

(3)本方法可利用多組投影散斑獲得高質(zhì)量、高精度的場(chǎng)景深度圖像，適用于精確的三維場(chǎng)景重建技術(shù)；

(4)本方法中多光編碼深度相機(jī)間無需通信，降低了計(jì)算成本。

附圖說明

圖1是本發(fā)明的一種基于獨(dú)立相機(jī)視角下空間采樣的多光編碼相機(jī)的深度提取方法的原理示意圖；

圖2是本發(fā)明的一種實(shí)施例的一種基于獨(dú)立相機(jī)視角下空間采樣的多光編碼相機(jī)的深度提取方法中左相機(jī)拍攝到的場(chǎng)景圖像；

圖3是本發(fā)明的一種實(shí)施例的一種基于獨(dú)立相機(jī)視角下空間采樣的多光編碼相機(jī)的深度提取方法中某待測(cè)像素點(diǎn)在所有深度測(cè)試平面下的相似度曲線；

圖4是本發(fā)明的一種實(shí)施例的一種基于獨(dú)立相機(jī)視角下空間采樣的多光編碼相機(jī)的深度提取方法中左相機(jī)生成的無干擾的深度圖。

具體實(shí)施方式

下面將結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。

本發(fā)明是一種基于獨(dú)立相機(jī)視角下空間采樣的多光編碼相機(jī)的深度提取方法：首先將某獨(dú)立相機(jī)視角下的拍攝空間劃分為與深度成像平面平行的若干測(cè)試平面；其次，依據(jù)已知測(cè)試平面，將相機(jī)中待測(cè)像素點(diǎn)重投影到各投影機(jī)視點(diǎn)下。通過比較待測(cè)像素點(diǎn)鄰域與各重投影像素點(diǎn)鄰域線性組合的相似度，估計(jì)出待測(cè)像素點(diǎn)的深度值。其中，以具有最高相似度的深度作為當(dāng)前待測(cè)像素點(diǎn)的深度值，而相似度的計(jì)算則采用去均值互相關(guān)的方式進(jìn)行。最后，遍歷相機(jī)成像平面的所有像素，獲得該獨(dú)立相機(jī)視角下的無干擾的深度圖。具體實(shí)現(xiàn)步驟如下：

步驟一，對(duì)拍攝空間進(jìn)行采樣：

假設(shè)場(chǎng)景中包含m個(gè)紅外投影機(jī)p1p2…pm及n個(gè)相機(jī)c1c2…cn。以某獨(dú)立相機(jī)ci為例，i∈{1,2,…,n}，將該視角下的拍攝空間劃分為與其深度成像平面平行的若干測(cè)試平面z1z2…zl，其中z1距離相機(jī)位置最近，zl距離相機(jī)位置最遠(yuǎn)，并且這l個(gè)深度測(cè)試平面按等間隔的順序排列，如圖1所示。

步驟二，依據(jù)某一確定的測(cè)試平面，將待測(cè)像素點(diǎn)重投影到各個(gè)投影機(jī)視角：

取深度值為zh的測(cè)試平面并給定相機(jī)ci成像平面上的待測(cè)像素點(diǎn)x，h∈{1,2,…,l}。由于各投影機(jī)和相機(jī)事先已標(biāo)定完成，它們各自的投影矩陣已知。記第j臺(tái)投影機(jī)的投影矩陣為第i臺(tái)相機(jī)的投影矩陣為利用這些已知的投影矩陣，可以將像素點(diǎn)x分別重投影到投影機(jī)p1p2…pm視角下。具體的重投影過程分為如下兩步：

(1)將x重投影到深度測(cè)試平面zh

假設(shè)x是待測(cè)像素點(diǎn)x重投影到深度測(cè)試平面zh上的空間點(diǎn)的行向量坐標(biāo)。由相機(jī)空間與場(chǎng)景空間的幾何投影關(guān)系，可以得到空間點(diǎn)x與待測(cè)像素點(diǎn)x坐標(biāo)間的關(guān)系(x同樣以行向量坐標(biāo)表示)：

其中：t表示對(duì)當(dāng)前坐標(biāo)向量進(jìn)行轉(zhuǎn)置，表示對(duì)矩陣取逆，通過此公式可以計(jì)算出空間點(diǎn)x的坐標(biāo)。

(2)將深度測(cè)試平面zh上的點(diǎn)投影到各投影機(jī)視角

根據(jù)已知的投影機(jī)投影矩陣，可以將步驟二(1)中獲得的空間點(diǎn)x投影到各個(gè)投影機(jī)視角下。假設(shè)是x映射到第j臺(tái)投影機(jī)視角的投影點(diǎn)，可以得到：

通過上述公式，可以獲得在測(cè)試平面zh下，深度相機(jī)中待測(cè)點(diǎn)x重投影到各投影機(jī)視角下的像素點(diǎn)的具體位置。

步驟三，取像素點(diǎn)周圍鄰域，估算各投影機(jī)內(nèi)重投影點(diǎn)的線性加權(quán)系數(shù)：

取待測(cè)點(diǎn)x及重投影點(diǎn)周圍的鄰域，分別記為及由于本方法不需要考慮相機(jī)約束條件，通過相機(jī)直接拍攝到的鄰域可以利用各重投影像素點(diǎn)鄰域的線性組合估計(jì)得到，即

其中，是對(duì)的估計(jì)，αj表示第j臺(tái)投影機(jī)內(nèi)重投影像素點(diǎn)鄰域的加權(quán)系數(shù)，其值依賴于當(dāng)前所選定的深度測(cè)試平面及待測(cè)物體表面取向等因素。注意到對(duì)于只被某些投影機(jī)所投影的區(qū)域來說，該公式同樣適用。通過這種方式，可以很好地避免前景物體亮度與背景亮度混淆的問題，消除相機(jī)約束條件所帶來的歧義性。

實(shí)際上，由于αj未知，使得對(duì)的估計(jì)變得十分復(fù)雜。這里，采用最小二乘擬合的方法計(jì)算αj的取值：

其中，表示對(duì)αj取值的估計(jì)。該擬合問題可以通過求廣義逆的方式解決。

步驟四，計(jì)算重投影像素點(diǎn)鄰域的線性組合與待測(cè)像素點(diǎn)鄰域的相似度：

依據(jù)步驟三，首先借助得到在深度測(cè)試平面zh下，各重投影像素點(diǎn)鄰域的最佳線性組合即

其次，利用去均值互相關(guān)準(zhǔn)則(themean-removedcrosscorrelation(mrcc))計(jì)算與之間的相似程度，計(jì)算方式如下：

其中，與分別代表鄰域與的平均亮度，將l(zh)作為判斷zh是否為待測(cè)像素點(diǎn)x真實(shí)深度的依據(jù)。

步驟五，逐個(gè)掃描所有測(cè)試平面，獲得深度相機(jī)內(nèi)待測(cè)像素點(diǎn)的深度值：

為了消除干擾的影響，遍歷所有的測(cè)試平面，以具有最高相似度的深度作為相機(jī)ci中待測(cè)像素點(diǎn)x的深度值，即：

zd＝argmaxh∈l{l(zh)}

步驟六，遍歷整個(gè)相機(jī)的成像平面，獲得該相機(jī)視角下的深度圖：

為了獲得相機(jī)ci視角下的深度圖，需要遍歷整個(gè)相機(jī)成像平面上的像素點(diǎn)，對(duì)每一個(gè)待測(cè)像素點(diǎn)依次重復(fù)步驟二到步驟五的操作并將所估算出的深度結(jié)果存儲(chǔ)起來。最后，通過線性變換將求得的深度值轉(zhuǎn)換為灰度值并生成相機(jī)ci的深度圖。

實(shí)施例

以下將結(jié)合附圖，對(duì)本發(fā)明的一個(gè)實(shí)施例進(jìn)行進(jìn)一步詳細(xì)說明。該實(shí)施例中，利用pov-ray仿真軟件在合成場(chǎng)景前擺放兩臺(tái)投影機(jī)與兩臺(tái)相機(jī)，它們的圖像分辨率均為640*480。每臺(tái)投影機(jī)均被放置在其所屬相機(jī)左側(cè)7.2cm處，這樣的一組投影機(jī)相機(jī)組合構(gòu)成一個(gè)光編碼深度相機(jī)。為了簡(jiǎn)便，將兩臺(tái)光編碼深度相機(jī)放置在同一水平線上并使它們平行地拍攝場(chǎng)景物體，同時(shí)設(shè)置這兩臺(tái)光編碼深度相機(jī)之間的基線距離為25cm。

步驟一，對(duì)拍攝空間進(jìn)行采樣：

在具體實(shí)施過程中，兩臺(tái)投影機(jī)向場(chǎng)景中投射隨機(jī)、時(shí)不變的散斑模板，而兩臺(tái)相機(jī)則同時(shí)接收被干擾散斑覆蓋的場(chǎng)景物體。以左光編碼深度相機(jī)為例，其相機(jī)拍攝到的場(chǎng)景如圖2所示。將該相機(jī)視角下的拍攝空間劃分為與其深度成像平面平行的250個(gè)測(cè)試平面z1z2…z250，其中z1距離相機(jī)為30cm，z250距離相機(jī)位置為55cm，并且這250個(gè)深度測(cè)試平面按0.1cm精度等間隔的排列。

步驟二，依據(jù)某一確定的測(cè)試平面，將待測(cè)像素點(diǎn)重投影到各個(gè)投影機(jī)視角：

由于兩臺(tái)光編碼深度相機(jī)事先已通過軟件標(biāo)定完成，它們各自包含的投影機(jī)及相機(jī)的投影矩陣已知。在軟件中，規(guī)定仿真投影機(jī)與相機(jī)的測(cè)量單位為unit(1unit＝5cm)，并且它們的焦距均被設(shè)置為0.2units(即1cm)。此外，為了對(duì)像素坐標(biāo)進(jìn)行轉(zhuǎn)換，規(guī)定1unit＝3200pixels。

給定左相機(jī)成像平面上的某一待測(cè)像素點(diǎn)(250,90)(以像素為單位)并選取深度值為z1的測(cè)試平面。首先通過重投影公式將待測(cè)像素點(diǎn)重投影到該深度測(cè)試平面下，得到重投影點(diǎn)的3d坐標(biāo)為(-6.89，7.11，30.22)(以u(píng)nit為單位)。其次，將該3d坐標(biāo)分別映射到兩臺(tái)投影機(jī)的視角下，得到左投影機(jī)的投影點(diǎn)坐標(biāo)為(280，90)(以像素為單位)，右投影機(jī)的投影點(diǎn)坐標(biāo)為(153，90)(以像素為單位)。這樣便得到在測(cè)試平面z1下，左相機(jī)中待測(cè)像素點(diǎn)(250,90)重投影到兩臺(tái)投影機(jī)視角下的重投影像素點(diǎn)的具體位置。

步驟三，取像素點(diǎn)周圍鄰域，估算各投影機(jī)內(nèi)重投影點(diǎn)的線性加權(quán)系數(shù)：

分別提取左相機(jī)中待測(cè)像素點(diǎn)及其兩個(gè)重投影像素點(diǎn)周圍的鄰域(分別記為ic、)，鄰域大小設(shè)置為11*11。根據(jù)待測(cè)點(diǎn)鄰域與重投影點(diǎn)鄰域線性組合的關(guān)系，有利用最小二乘擬合的方法，可以進(jìn)一步估算出α1與α2的取值，分別記為和

步驟四，計(jì)算重投影像素點(diǎn)鄰域的線性組合與待測(cè)像素點(diǎn)鄰域的相似度：

依據(jù)步驟三中求得的與的值，得到在深度測(cè)試平面z1下，兩重投影像素點(diǎn)鄰域的最佳線性組合利用去均值互相關(guān)準(zhǔn)則(mrcc)計(jì)算與ic之間的相似程度，將結(jié)果記為l(z1)并存儲(chǔ)在內(nèi)存中。l(z1)的取值將作為判斷z1是否為待測(cè)像素點(diǎn)(250,90)真實(shí)深度的依據(jù)。

步驟五，逐個(gè)掃描所有測(cè)試平面，獲得深度相機(jī)內(nèi)待測(cè)像素點(diǎn)的深度值：

遍歷所有250個(gè)深度測(cè)試平面，以具有最高mrcc相似度的深度作為待測(cè)像素點(diǎn)(250,90)的深度值。圖3給出了在該待測(cè)點(diǎn)下，所有250個(gè)深度測(cè)試平面的相似度曲線?？梢钥闯觯疃绕矫鎧2具有最高相似度值，故選取z2作為像素點(diǎn)(250,90)的最終深度值。

步驟六，遍歷整個(gè)相機(jī)的成像平面，獲得該相機(jī)視角下的深度圖：

對(duì)左相機(jī)圖像平面內(nèi)每一個(gè)待測(cè)像素點(diǎn)依次重復(fù)步驟二到步驟五的操作并將所估算出的深度結(jié)果存儲(chǔ)起來。通過線性變換將求得的深度值轉(zhuǎn)換為灰度值并生成無干擾的深度圖，如圖4所示。