本發(fā)明屬于到計(jì)算機(jī)視覺技術(shù)領(lǐng)域，涉及一種可適應(yīng)復(fù)雜場(chǎng)景的無畸變集成成像三維顯示方法。

背景技術(shù)：

集成成像技術(shù)作為下一代真三維立體顯示技術(shù)的研究熱點(diǎn)，擁有連續(xù)視角、全視差、無視覺疲勞且成像結(jié)構(gòu)簡(jiǎn)單等優(yōu)點(diǎn)。三維集成成像顯示主要包括采集和重構(gòu)兩個(gè)過程。采集過程利用一組微透鏡陣列對(duì)三維場(chǎng)景進(jìn)行記錄，微透鏡陣列中每個(gè)微透鏡從不同視角捕捉三維場(chǎng)景中的視差信息，生成一幅具有多視差信息的基元圖像陣列。重構(gòu)過程利用與采集時(shí)相同參數(shù)的微透鏡陣列，根據(jù)光的可逆原理，將從基元圖像陣列中透射出來的光線重新聚集，獲得三維場(chǎng)景的重構(gòu)圖像。然而在傳統(tǒng)光學(xué)采集過程中，因微透鏡陣列的物理局限性，每個(gè)微透鏡的低空間采樣率和其微小尺寸也會(huì)產(chǎn)生一系列光學(xué)畸變，導(dǎo)致三維重構(gòu)圖像分辨率低，局部紋理信息失真等問題。

微軟Kinect設(shè)備是近年來比較熱門的一種有源深度傳感器，其通過紅外光源將光圖像投射到三維空間中，利用紅外攝像機(jī)接收反射光，經(jīng)過內(nèi)部處理后提取物體表面的幾何變化計(jì)算深度信息。然而，基于Kinect獲取的深度圖像上存在著黑洞區(qū)域，這些區(qū)域的產(chǎn)生主要由于前景物體遮擋光路或者存在表面光滑或吸光材質(zhì)的物體引起紅外相機(jī)無法獲取散斑圖案所產(chǎn)生的。此外，還需克服深度圖像還存在與彩色圖像的邊界不一致以及深度值連續(xù)的因素。

自Kinect問世以來，許多學(xué)者都對(duì)Kinect深度圖像的修復(fù)技術(shù)進(jìn)行了研究，2011年Matyunin等人利用幀間運(yùn)動(dòng)補(bǔ)償和中值濾波對(duì)深度圖像進(jìn)行黑洞填充，但是沒有考慮邊界對(duì)齊并且當(dāng)遇到大面積的黑洞區(qū)域時(shí)就會(huì)出現(xiàn)深度值修復(fù)錯(cuò)誤的現(xiàn)象；2012年Loghman等人為了修正深度圖像的邊界對(duì)齊問題，將圖像濾波與各向異性擴(kuò)散上采樣過程相結(jié)合，然而在上采樣的過程中卻沒有能夠克服深度值溢出邊界的情況；同年Junyi Liu改善了Telea的快速行進(jìn)算法，利用彩色圖像作為引導(dǎo)信息進(jìn)行黑洞填充，即將黑洞點(diǎn)周圍的有效深度值插入黑洞點(diǎn)，但是該方法同樣無法消除邊界周圍的干擾深度值，且修復(fù)后物體邊緣存在偽影效應(yīng)；Camplan在2012年利用高斯混合建模生成深度圖像模型，然后利用自適應(yīng)權(quán)重的聯(lián)合雙邊濾波器交替迭代的修復(fù)深度圖和更新深度圖模型來獲取降噪后的深度圖像，但是對(duì)于大面積的黑洞區(qū)域無法完全修復(fù)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明采用Kinect獲取高分辨率彩色圖像和深度圖像，利用光場(chǎng)數(shù)學(xué)模型合成復(fù)雜場(chǎng)景的基元圖像陣列，最終實(shí)現(xiàn)無畸變集成成像的三維顯示。

本發(fā)明采用的技術(shù)方案如下：

一種適用于復(fù)雜場(chǎng)景下無畸變集成成像三維顯示方法，包括以下幾個(gè)步驟：

步驟一，基于Kinect設(shè)備的深度圖像和彩色圖像的校準(zhǔn)及裁剪。通過Kinect同步獲取三維場(chǎng)景的深度圖像和彩色圖像，并同時(shí)使用紅外補(bǔ)光照射標(biāo)定板對(duì)Kinect進(jìn)行標(biāo)定，結(jié)合標(biāo)定結(jié)果通過坐標(biāo)變換，對(duì)深度圖像與彩色圖像進(jìn)行對(duì)齊和裁剪。

步驟二，針對(duì)深度圖像與彩色圖像邊界的干擾消除。通過對(duì)彩色圖像和深度圖像同時(shí)進(jìn)行canny邊緣檢測(cè)，將兩幅圖像邊緣之間非對(duì)齊的深度像素點(diǎn)全部置為黑洞(即將該點(diǎn)的灰度值設(shè)置為0)，得到一幅消除掉干擾后的深度圖像。

步驟三，針對(duì)大面積黑洞區(qū)域的填充消除處理。在充分考慮了彩色圖像中的空域信息，顏色信息以及結(jié)構(gòu)相似度(SSIM)信息的基礎(chǔ)上，提出了一個(gè)迭代聯(lián)合三邊濾波器。通過用這個(gè)濾波器對(duì)黑洞區(qū)域進(jìn)行黑洞填充，來得到高質(zhì)量的深度圖像。

步驟四，針對(duì)黑洞填充后的深度圖像中存在的偽影消除。將聯(lián)合三邊濾波器中的值域?yàn)V波器進(jìn)行自適應(yīng)處理，然后通過對(duì)深度圖像進(jìn)行濾波處理來消除偽影，得到具有連續(xù)深度變化且邊緣平滑的深度圖像。

步驟五，基于光場(chǎng)數(shù)學(xué)模型生成基元圖像陣列。根據(jù)步驟一的彩色圖像和步驟四得到的深度圖像建立光場(chǎng)數(shù)學(xué)模型，并生成大景深復(fù)雜場(chǎng)景的基元圖像陣列，此時(shí)的基本圖像陣列因不受微透鏡尺寸和采樣率低的影響，其圖像品質(zhì)遠(yuǎn)優(yōu)于實(shí)際通過微透鏡陣列獲得的基元圖像陣列。

步驟六，根據(jù)逆光路原理，進(jìn)行集成成像光學(xué)顯示。將步驟五得到的基本圖像陣列顯示在高分辨率的顯示屏中，透過前置微透鏡陣列便可以呈現(xiàn)出具有連續(xù)視差的無畸變?nèi)S圖像。

本發(fā)明不僅可以有效克服記錄復(fù)雜場(chǎng)景時(shí)微透鏡陣列的物理局限性，而且可以實(shí)現(xiàn)對(duì)復(fù)雜場(chǎng)景的無畸變?nèi)S集成成像顯示。

附圖說明

圖1為本發(fā)明的整體流程示意圖。

圖2(a)為Kinect獲得的原始彩色圖像；(b)為Kinect獲得的原始深度圖像；

圖3為干擾消除后的深度圖像。

圖4為黑洞填充后的深度圖像。

圖5為偽影消除后的深度圖像。

圖6為生成元素圖像陣列的像素投影算法原理圖。

圖7為本發(fā)明方法生成的元素圖像陣列。

圖8為本發(fā)明方法生成的三維光學(xué)顯示圖像。

具體實(shí)施方式

以下結(jié)合本發(fā)明的技術(shù)方案與附圖對(duì)本發(fā)明包含的6個(gè)步驟分別進(jìn)行詳細(xì)完整的描述。

步驟一，基于Kinect設(shè)備的深度圖像和彩色圖像的校準(zhǔn)及裁剪。

通過Kinect同步獲取目標(biāo)場(chǎng)景的深度圖像和彩色圖像，并同時(shí)使用紅外補(bǔ)光照射標(biāo)定板對(duì)Kinect進(jìn)行標(biāo)定，結(jié)合標(biāo)定結(jié)果通過坐標(biāo)變換，對(duì)深度圖像與彩色圖像進(jìn)行對(duì)齊和裁剪，如圖2所示。

步驟二，針對(duì)深度圖像與彩色圖像邊界像素漂移的干擾消除。

首先用canny檢測(cè)算子分別對(duì)深度圖像和彩色圖像進(jìn)行邊緣檢測(cè)，本發(fā)明設(shè)定深度圖像中檢測(cè)出的邊緣附近一定存在著物體的真實(shí)的輪廓，而溢出物體輪廓的深度值即為本發(fā)明要消除的干擾深度值。在獲得兩幅圖像的邊緣檢測(cè)圖像后，首先在深度圖像的邊緣檢測(cè)圖像中從左上角至右下角進(jìn)行逐像素遍歷，判斷該坐標(biāo)點(diǎn)的像素是否大于0，如果大于0，說明該點(diǎn)是深度圖像的邊緣所在點(diǎn)，根據(jù)之前所述，該點(diǎn)的附近一定存在彩色圖像中物體的真實(shí)的輪廓，然后在彩色圖像的邊緣檢測(cè)圖像中將之前遍歷得到的深度圖像邊緣點(diǎn)坐標(biāo)作為起始點(diǎn)，向該起始點(diǎn)的上下左右等八個(gè)方向逐像素遞進(jìn)一定的像素個(gè)數(shù)進(jìn)行遍歷，本發(fā)明中遍歷的像素個(gè)數(shù)為8，如果遍歷的過程中遇到了像素值大于0的點(diǎn)，則說明該點(diǎn)可能為彩色圖像中物體的輪廓，而在深度圖像中該點(diǎn)與起始點(diǎn)之間遍歷過的像素值有可能是邊界不對(duì)齊所產(chǎn)生的干擾深度值，則在深度圖像中將這些遍歷過的像素值均置為0。將整幅圖像遍歷之后，兩幅圖像的邊緣之間的深度值都會(huì)變成黑洞點(diǎn)，干擾消除后的深度圖像即為接下來將要進(jìn)行黑洞填充修復(fù)的圖像如圖3所示。

步驟三，針對(duì)大面積黑洞區(qū)域的填充消除處理。

由原始深度圖像可以看出，Kinect產(chǎn)生的深度圖像中黑洞區(qū)域往往是大面積出現(xiàn)的，而本發(fā)明的干擾消除方法會(huì)使得這個(gè)問題更加明顯，因此用傳統(tǒng)的聯(lián)合雙邊濾波器對(duì)深度圖像進(jìn)行黑洞填充很容易在黑洞區(qū)域插入錯(cuò)誤的深度值，針對(duì)這種情況，本發(fā)明結(jié)合迭代的思想，將Kinect產(chǎn)生的彩色圖像作為引導(dǎo)圖像，設(shè)計(jì)了一個(gè)改進(jìn)了的聯(lián)合雙三濾波器對(duì)圖像進(jìn)行黑洞填充。

本發(fā)明聯(lián)合三邊濾波器的公式如下：

其中k_p為歸一化因子：

k_p＝f(||p-q||)g(||I_P-I_q||)t(S_p,S_q) (2)

(1)式中J_p是要通過濾波器進(jìn)行加權(quán)平均后得到的插入黑洞點(diǎn)p處的深度值，Ω是p的鄰域，q是Ω內(nèi)的像素，I_q是深度圖像中q點(diǎn)處的灰度值，f是空域?yàn)V波器，g是值域?yàn)V波器，t(S_p,S_q)是本發(fā)明新加入的權(quán)重因子，下文會(huì)詳細(xì)介紹。本發(fā)明黑洞填充的中心思想就是通過對(duì)黑洞點(diǎn)鄰域處的像素的深度值進(jìn)行加權(quán)平均后插入到黑洞點(diǎn)處。

在本發(fā)明中，將空域?yàn)V波器設(shè)計(jì)為高斯函數(shù)：

式中p_x、p_y、q_x、q_y為p，q兩像素在深度圖像中的坐標(biāo)值，鄰域點(diǎn)距離中心點(diǎn)的距離決定了該點(diǎn)的空間權(quán)重，由(3)式可知該權(quán)重會(huì)隨著p與q之間的歐氏距離的增加以指數(shù)方式衰減，標(biāo)準(zhǔn)差σ_d設(shè)為2。

(1)式的后兩項(xiàng)權(quán)重因子以及迭代條件如(4)式所示，

(4)式中值域?yàn)V波器T(I_p-I_q)為

(5)式是一個(gè)梯度倒數(shù)加權(quán)平均濾波器。其原理是在一幅離散圖像中，圖像在一個(gè)區(qū)域內(nèi)像素值的變化要比在區(qū)域之間的變化小，則在邊緣兩側(cè)的梯度絕對(duì)值要比區(qū)域內(nèi)部的梯度絕對(duì)值要高。對(duì)于一個(gè)梯度倒數(shù)加權(quán)平均濾波器，它把中心像素點(diǎn)與其濾波模板內(nèi)的其他鄰域像素之間的梯度絕對(duì)值的倒數(shù)定義為各鄰域像素點(diǎn)的加權(quán)值，則在區(qū)域內(nèi)部的鄰域點(diǎn)加權(quán)值大，而邊緣兩側(cè)的像素之間的加權(quán)值小。本發(fā)明為正確對(duì)黑洞區(qū)域插入深度值，充分考慮彩色圖像中的顏色信息，將彩色圖像的三個(gè)通道的像素信息都加入到計(jì)算中。

(4)式中SSIM(p,q)即結(jié)構(gòu)相似度評(píng)價(jià)標(biāo)準(zhǔn)是聯(lián)合三邊濾波器的第三個(gè)權(quán)重因子，具體公式如下：

在(6)式中，u_p，u_q分別是以p和q為中心的圖像塊的像素均值，σ_p，σ_q分別是為以p和q為中心的圖像塊的標(biāo)準(zhǔn)差，σ_pq是以p和q為中心點(diǎn)圖像塊的協(xié)方差。為解決黑洞附近前景與背景顏色相似的問題，本發(fā)明引入結(jié)構(gòu)相似度評(píng)價(jià)標(biāo)準(zhǔn)作為權(quán)重因子，并對(duì)其進(jìn)行了改寫，使其由原來對(duì)于兩幅圖像的結(jié)構(gòu)相似度進(jìn)行評(píng)價(jià)變?yōu)閷?duì)一幅圖像中的不同的兩個(gè)塊進(jìn)行結(jié)構(gòu)相似度評(píng)價(jià)，并將這兩個(gè)塊的相似度的評(píng)價(jià)結(jié)果作為兩個(gè)塊中心點(diǎn)的相似度，由于本發(fā)明是對(duì)彩色圖像中的三個(gè)通道都進(jìn)行了結(jié)構(gòu)相似度系數(shù)的計(jì)算，因此計(jì)算后要對(duì)三個(gè)通道的結(jié)構(gòu)相似度系數(shù)的和求均值。

本發(fā)明選用5×5的模板來計(jì)算模板中心像素的相似度，已知每個(gè)圖像塊中心點(diǎn)的像素值以及待測(cè)塊與參考?jí)K之間的圖像結(jié)構(gòu)相似度系數(shù)，針對(duì)它們之間的像素顏色值相似，但結(jié)構(gòu)相似度系數(shù)有較大差異的時(shí)候，將該系數(shù)作為權(quán)重因子就可以降低與模板中心點(diǎn)顏色相近但結(jié)構(gòu)相似度低的像素的權(quán)重，更加真實(shí)的還原出深度圖像。

在(4)式中后兩項(xiàng)為迭代條件，分別確保濾波模板內(nèi)有足夠數(shù)量的有效深度值以及在有效深度值中存在和黑洞點(diǎn)處于同一區(qū)域的像素，只有當(dāng)這兩個(gè)條件都滿足的時(shí)候，該點(diǎn)的濾波插值才會(huì)進(jìn)行。其中Count代表濾波模板內(nèi)據(jù)有非零深度值的像素的個(gè)數(shù)，C為閾值，只有當(dāng)有效像素的個(gè)數(shù)大于C的時(shí)候，本次濾波插值才可能會(huì)進(jìn)行，否則跳過當(dāng)前濾波過程繼續(xù)對(duì)圖像進(jìn)行遍歷。本發(fā)明使用的是濾波模板為5×5的模版，C設(shè)置為5。H(SSIM(p,q),Th)是另外一個(gè)迭代條件。針對(duì)顏色相似的像素值在不同的區(qū)域存在比較小的結(jié)構(gòu)相似度系數(shù)，本發(fā)明設(shè)定一個(gè)閾值Th，當(dāng)不確定濾波模板中各個(gè)有效值像素是否與模板中心的黑洞點(diǎn)同處于同一區(qū)域時(shí)，則對(duì)它們進(jìn)行判定，只有當(dāng)所有的有效值像素中存在至少一個(gè)與模板中心像素的結(jié)構(gòu)相似度系數(shù)大于Th的像素時(shí)，才會(huì)進(jìn)行本次濾波。因此H(SSIM(p,q),Th)的意義為，在p的鄰域像素中，存在像素q使得以q和p為中心圖像塊之間的結(jié)構(gòu)相似度系數(shù)大于等于Th。經(jīng)多次實(shí)驗(yàn)證明，當(dāng)兩個(gè)相鄰的像素處在同一物體表面時(shí)，以它們?yōu)橹行牡膱D像塊的結(jié)構(gòu)相似度系數(shù)均大于0.9，因此本發(fā)明中將Th設(shè)為0.9，最后得到黑洞填充后的深度圖像如圖4所示。

步驟四，針對(duì)黑洞填充后的深度圖像中存在的偽影消除。

在進(jìn)行步驟三黑洞填充處理的時(shí)候，在少數(shù)邊緣區(qū)域產(chǎn)生偽影效應(yīng)。為了在消除偽影的同時(shí)保留深度圖像中的邊緣，本發(fā)明對(duì)聯(lián)合三邊濾波器中的值域?yàn)V波器進(jìn)行了自適應(yīng)處理：

由(7)式得知，值域?yàn)V波器的權(quán)重由R，G，B三個(gè)通道的高斯權(quán)重組成，每個(gè)通道的權(quán)重都會(huì)隨著兩點(diǎn)像素值I的差異的增加而指數(shù)衰減。為在通過濾波消除偽影后盡量不使圖像模糊，本文對(duì)值域?yàn)V波器的衰減因數(shù)做了自適應(yīng)處理。

當(dāng)像素不處于過暗區(qū)域或過亮區(qū)域時(shí)，像素之間的像素值差異越大，權(quán)重應(yīng)該衰減得越快，保證在該區(qū)域中只有與濾波模板中心像素值很接近的像素才會(huì)對(duì)濾波過程做出貢獻(xiàn)。即當(dāng)像素值從極限值0或255向中間值變化的時(shí)候，衰減因數(shù)σ應(yīng)該越來越小，σ越小，權(quán)重衰減越快，這樣才能更好的避免圖像濾波后出現(xiàn)過平滑現(xiàn)象。根據(jù)這個(gè)原理，本文對(duì)彩色圖像三個(gè)通道中顏色的不同范圍取不同的衰減系數(shù)如公式(8)所示：

σ＝1,I∈[75,175]

σ＝2,I∈[50,75]or[175,200] (8)

σ＝3,I∈[25,50]or[200,225]

σ＝4,I∈[0,25]or[225,255]

最后得到偽影消除后的深度修復(fù)圖像如圖5所示。

步驟五，基于光場(chǎng)信息的基本元素圖像陣列生成。

具體實(shí)施方案包含以下兩個(gè)步驟：

(1)子圖像的獲取

子圖像是指所有元素圖像中同一位置的像素的集合，所以，可以根據(jù)子圖像得到元素圖像陣列。根據(jù)投影幾何原理，子圖像可以表示為：

I_θ(x,y)＝I(x+Vq_x,y+Vq_y) (9)

其中，I(x,y)是彩色圖像在(x,y)點(diǎn)處的像素值，Vq_x和Vq_y是沿x軸和y軸方向的像素偏移值Δq，Δq依賴于深度信息和投影角度，可以根據(jù)式(10)計(jì)算得到：

Δq＝(z(x,y)-d_c)×tanθ (10)

其中，z(x,y)是修復(fù)的深度圖像中點(diǎn)(x,y)的深度值，d_c是中心深度平面和零平面(z＝0)的距離，θ是投影角度，可以由式(11)求得：

其中，δ是元素圖像中每個(gè)像素的大小，g是微透鏡陣列與元素圖像之間的距離。像素索引值i,j＝floor(-p/2δ)-1,floor(-p/2δ),...,floor(p/2δ)+1，floor(*)代表下取整運(yùn)算。

(2)元素圖像陣列的生成

根據(jù)生成元素圖像陣列的像素投影算法原理圖如圖6所示，元素圖像陣列可以通過公示(12)得到：

其中，s是微透鏡的間隔，m和n代表第m行和第n列的微透鏡的索引。結(jié)果如圖7所示。

步驟六，根據(jù)光路可逆原理，進(jìn)行集成成像光學(xué)顯示。

將微透鏡陣列緊貼在高分辨率顯示屏上，根據(jù)顯示屏以及微透鏡陣列參數(shù)重新調(diào)整元素圖像陣列并輸如顯示屏進(jìn)行光學(xué)顯示，通過記錄相機(jī)或者人眼便可以觀看具有連續(xù)視差的無畸變?nèi)S圖像，如圖8所示。