專利名稱：一種適于3d電視虛擬視點(diǎn)生成的優(yōu)化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種適于3D電視虛擬視點(diǎn)生成的優(yōu)化方法。
背景技術(shù)：
相較于普通的ニ維電視，三維電視(3DTV)由于其提供了場(chǎng)景的深度信息而能夠給用戶帶來身臨其境的感受，同時(shí)由于其多角度的立體視覺使用戶與電視場(chǎng)景信息更具交互性，被認(rèn)為是繼高清平板電視之后又ー個(gè)新的電視發(fā)展方向。3D電視多角度立體效果的實(shí)現(xiàn)需要多個(gè)視點(diǎn)的視頻圖像流，基于深度圖的虛擬視點(diǎn)繪制(DIBR)技術(shù)作為3D電視產(chǎn)生虛擬視點(diǎn)圖像實(shí)現(xiàn)多視角立體感受的ー項(xiàng)關(guān)鍵技術(shù)，其能夠利用ニ維彩色圖像和對(duì)應(yīng)的深度圖像完成對(duì)任意虛擬視點(diǎn)彩色圖像的繪制。但是利用DIBR技術(shù)生成的虛擬視點(diǎn)圖像質(zhì)量不高，主要存在的問題有重疊、重采樣和空洞問題。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服上述現(xiàn)有技術(shù)的不足，提供一種優(yōu)化的虛擬視點(diǎn)生成方法，解決DIBR技術(shù)過程中出現(xiàn)的重疊、重采樣和空洞問題，提高生成的虛擬視點(diǎn)圖像質(zhì)量，保證后期的立體視覺效果。為實(shí)現(xiàn)上述目的，本發(fā)明采用下述技術(shù)方案一種適于3D電視虛擬視點(diǎn)生成的優(yōu)化方法，該方法的優(yōu)化步驟如下步驟I :利用攝像系統(tǒng)首先獲取參考視點(diǎn)圖像及其深度圖，同時(shí)獲取輔助參考視點(diǎn)圖像；步驟2 :利用閉運(yùn)算對(duì)參考視點(diǎn)圖像的深度圖進(jìn)行預(yù)處理；步驟3 :對(duì)參考視點(diǎn)圖像和經(jīng)過閉運(yùn)算處理后的深度圖，進(jìn)行三維圖像變換，得到虛擬視點(diǎn)圖像；步驟4 :對(duì)生成的虛擬視點(diǎn)圖像利用基于歐式距離和深度值的像素分配算法解決虛擬視點(diǎn)圖像中的重疊和細(xì)紋空洞問題,處理過程如下(a)設(shè)虛擬視點(diǎn)圖像中的目標(biāo)整像素點(diǎn)為0(i，j)，首先判斷投影在0(i，j)上的像素點(diǎn)的個(gè)數(shù)，如果為1，則不進(jìn)行任何處理；如果大于1，則比較對(duì)應(yīng)的深度值，取深度值最大也就是最靠前的像素進(jìn)行賦值；如果為0，則檢測(cè)以0(i，j)為中心的2X2像素格內(nèi)的非整像素點(diǎn)的個(gè)數(shù)；(b)如果在2X2這個(gè)范圍內(nèi)的非整像素點(diǎn)的個(gè)數(shù)為零，那么判定0(i，j)為空洞點(diǎn)，不進(jìn)行賦值；如果在2X2這個(gè)范圍內(nèi)非整像素點(diǎn)的個(gè)數(shù)不為零，則比較這些非整像素點(diǎn)的深度值，求出深度值最大的像素點(diǎn)；(c)判斷深度值最大的像素點(diǎn)是否唯一，如果深度值最大的像素點(diǎn)唯一，將此點(diǎn)的像素值賦給目標(biāo)整像素點(diǎn)，并轉(zhuǎn)入步驟(d)繼續(xù)執(zhí)行；如果深度值最大的像素點(diǎn)不唯一，就分別計(jì)算剩余非整數(shù)像素點(diǎn)到目標(biāo)整像素點(diǎn)的歐氏距離，這些歐氏距離中，與目標(biāo)整像素點(diǎn)距離最小的非整數(shù)像素點(diǎn)即為最佳匹配點(diǎn)，將該非整數(shù)像素點(diǎn)的值賦給目標(biāo)整像素點(diǎn)，并轉(zhuǎn)入步驟(d)繼續(xù)執(zhí)行；如果歐氏距離仍存在相等的情況，那么就將剩余非整數(shù)像素點(diǎn)的平均值賦給目標(biāo)整像素點(diǎn)，并轉(zhuǎn)入步驟(d)繼續(xù)執(zhí)行；無(wú)論以上哪種情況，都是將深度值最大的非整像素點(diǎn)賦值，這保證了虛擬視點(diǎn)觀看者看到的是前景物體，不會(huì)出現(xiàn)重疊問題；(d)繼續(xù)尋找下ー個(gè)目標(biāo)整像素點(diǎn)，重復(fù)步驟(a)-(c)，直至整個(gè)目標(biāo)整像素點(diǎn)處理完畢；步驟5 :經(jīng)過步驟4的處理，虛擬視點(diǎn)圖像的細(xì)紋空洞已經(jīng)處理完畢，但仍存在由于遮擋造成的空洞，通過對(duì)生成的虛擬視點(diǎn)圖像進(jìn)行逆三維圖像變換來填補(bǔ)大面積空洞，得到了高質(zhì)量的虛擬視點(diǎn)圖像。所述步驟3中三維圖像變換的過程如下(A)將參考視點(diǎn)圖像上所有的像素點(diǎn)的深度圖信息，投影到它們對(duì)應(yīng)的三維空間中；(B)將三維空間上的點(diǎn)，根據(jù)目標(biāo)虛擬視點(diǎn)與參考視點(diǎn)之間的角度，投影到目標(biāo)圖像上，以上為ー個(gè)ニ維轉(zhuǎn)換為三維再重新轉(zhuǎn)換為ニ維的過程；其中，三維圖像變換公式為Z J3、= Z1k2Ek^1P1 +k2t其中，P為空間任意一個(gè)三維點(diǎn)め=(u1； V1,1)T、P2 = (u2, ν2,1)τ為P點(diǎn)在兩個(gè)視點(diǎn)圖像上的投影；R為ー個(gè)3X3的旋轉(zhuǎn)矩陣，t為ー個(gè)3X I的平移矩陣丸和k2分別表示第一個(gè)和第二個(gè)攝像機(jī)的內(nèi)參數(shù)矩陣(Lx和Z2分別表示兩個(gè)攝像機(jī)坐標(biāo)系的場(chǎng)景深度。所述步驟5中，所述的逆三維圖像變換包含如下步驟(A)利用三維圖像變換公式Z2ち=ZJc2MT1P1 進(jìn)行變換，不同的是，這次是結(jié)合深度信息將生成的目標(biāo)虛擬視點(diǎn)圖像的空洞像素投影至輔助參考視點(diǎn)的圖像平面，并且標(biāo)記這些空洞像素的位置信息，然后與已知的輔助參考視點(diǎn)圖像像素位置進(jìn)行對(duì)照；(B)利用相對(duì)位置的輔助參考視點(diǎn)圖像像素信息對(duì)空洞進(jìn)行填充。所述歐氏距離的計(jì)算公式為
權(quán)利要求
1.一種適于3D電視虛擬視點(diǎn)生成的優(yōu)化方法，其特征是，該方法的優(yōu)化步驟如下 步驟I :利用攝像系統(tǒng)首先獲取參考視點(diǎn)圖像及其深度圖，同時(shí)獲取輔助參考視點(diǎn)圖像； 步驟2 :利用閉運(yùn)算對(duì)參考視點(diǎn)圖像的深度圖進(jìn)行預(yù)處理； 步驟3 :對(duì)參考視點(diǎn)圖像和經(jīng)過閉運(yùn)算處理后的深度圖，進(jìn)行三維圖像變換，得到虛擬視點(diǎn)圖像； 步驟4 :對(duì)生成的虛擬視點(diǎn)圖像利用基于歐式距離和深度值的像素分配算法解決虛擬視點(diǎn)圖像中的重疊和細(xì)紋空洞問題，處理過程如下 (a)設(shè)虛擬視點(diǎn)圖像中的目標(biāo)整像素點(diǎn)為0(i，j)，首先判斷投影在0(i，j)上的像素點(diǎn)的個(gè)數(shù)，如果為1，則不進(jìn)行任何處理；如果大于1，則比較對(duì)應(yīng)的深度值，取深度值最大也就是最靠前的像素進(jìn)行賦值；如果為O，則檢測(cè)以0(i，j)為中心的2X2像素格內(nèi)的非整像素點(diǎn)的個(gè)數(shù)； (b)如果在2X2這個(gè)范圍內(nèi)的非整像素點(diǎn)的個(gè)數(shù)為零，那么判定0(i，j)為空洞點(diǎn)，不進(jìn)行賦值；如果在2X2這個(gè)范圍內(nèi)非整像素點(diǎn)的個(gè)數(shù)不為零，則比較這些非整像素點(diǎn)的深度值，求出深度值最大的像素點(diǎn)； (c)判斷深度值最大的像素點(diǎn)是否唯一，如果深度值最大的像素點(diǎn)唯一，將此點(diǎn)的像素值賦給目標(biāo)整像素點(diǎn)，并轉(zhuǎn)入步驟(d)繼續(xù)執(zhí)行；如果深度值最大的像素點(diǎn)不唯一，就分別計(jì)算剩余非整數(shù)像素點(diǎn)到目標(biāo)整像素點(diǎn)的歐氏距離，這些歐氏距離中，與目標(biāo)整像素點(diǎn)距離最小的非整數(shù)像素點(diǎn)即為最佳匹配點(diǎn)，將該非整數(shù)像素點(diǎn)的值賦給目標(biāo)整像素點(diǎn)，并轉(zhuǎn)入步驟(d)繼續(xù)執(zhí)行；如果歐氏距離仍存在相等的情況，那么就將剩余非整數(shù)像素點(diǎn)的平均值賦給目標(biāo)整像素點(diǎn)，并轉(zhuǎn)入步驟(d)繼續(xù)執(zhí)行；無(wú)論以上哪種情況，都是將深度值最大的非整像素點(diǎn)賦值，這保證了虛擬視點(diǎn)觀看者看到的是前景物體，不會(huì)出現(xiàn)重疊問題； (d)繼續(xù)尋找下一個(gè)目標(biāo)整像素點(diǎn)，重復(fù)步驟(a)-(c)，直至整個(gè)目標(biāo)整像素點(diǎn)處理完畢； 步驟5 :經(jīng)過步驟4的處理，虛擬視點(diǎn)圖像的細(xì)紋空洞已經(jīng)處理完畢，但仍存在由于遮擋造成的空洞，通過對(duì)生成的虛擬視點(diǎn)圖像進(jìn)行逆三維圖像變換來填補(bǔ)大面積空洞，得到了高質(zhì)量的虛擬視點(diǎn)圖像。
2.如權(quán)利要求I所述的一種適于3D電視虛擬視點(diǎn)生成的優(yōu)化方法，其特征是，所述步驟3中三維圖像變換的過程如下 (A)將參考視點(diǎn)圖像上所有的像素點(diǎn)的深度圖信息，投影到它們對(duì)應(yīng)的三維空間中； (B)將三維空間上的點(diǎn)，根據(jù)目標(biāo)虛擬視點(diǎn)與參考視點(diǎn)之間的角度，投影到目標(biāo)圖像上，以上為一個(gè)二維轉(zhuǎn)換為三維再重新轉(zhuǎn)換為二維的過程；其中，三維圖像變換公式為 Z2^P2 = Z^2Rk;1 P1 +k2t 其中，P為空間任意一個(gè)三維點(diǎn)；Pi = (U1, V1,1)T、P2 = (u2，V2,1)T為P點(diǎn)在兩個(gè)視點(diǎn)圖像上的投影；R為一個(gè)3X3的旋轉(zhuǎn)矩陣，t為一個(gè)3X I的平移矩陣丸和k2分別表示第一個(gè)和第二個(gè)攝像機(jī)的內(nèi)參數(shù)矩陣(Lx和Z2分別表示兩個(gè)攝像機(jī)坐標(biāo)系的場(chǎng)景深度。
3.如權(quán)利要求I所述的一種適于3D電視虛擬視點(diǎn)生成的優(yōu)化方法，其特征是，所述步驟5中，所述的逆三維圖像變換包含如下步驟 (A)利用三維圖像變換公式之2盡=Z1A2M1-1P1+AJ進(jìn)行變換，不同的是，這次是結(jié)合深度信息將生成的目標(biāo)虛擬視點(diǎn)圖像的空洞像素投影至輔助參考視點(diǎn)的圖像平面，并且標(biāo)記這些空洞像素的位置信息，然后與已知的輔助參考視點(diǎn)圖像像素位置進(jìn)行對(duì)照； (B)利用相對(duì)位置的輔助參考視點(diǎn)圖像像素信息對(duì)空洞進(jìn)行填充。
4.如權(quán)利要求I所述的一種適于3D電視虛擬視點(diǎn)生成的優(yōu)化方法，其特征是，所述歐氏距離的計(jì)算公式為
全文摘要
本發(fā)明公開了一種適于3D電視虛擬視點(diǎn)生成的優(yōu)化方法；它包括預(yù)處理深度圖、三維圖像變換、基于歐式距離和深度值的像素分配算法和逆三維圖像變換四部分，步驟如下首先獲取參考視點(diǎn)圖像及其深度圖和獲取輔助參考視點(diǎn)圖像，對(duì)深度圖進(jìn)行閉運(yùn)算預(yù)處理；對(duì)參考視點(diǎn)圖像進(jìn)行三維圖像變換獲取虛擬視點(diǎn)圖像；利用基于歐式距離和深度值的像素分配算法解決虛擬視點(diǎn)圖像中的遮擋和細(xì)紋空洞問題；利用逆三維圖像變換解決虛擬視點(diǎn)圖像大面積空洞問題。本發(fā)明與原有的DIBR技術(shù)相比，生成的虛擬視點(diǎn)圖像質(zhì)量明顯提高。
文檔編號(hào)H04N13/00GK102625127SQ201210080739
公開日2012年8月1日 申請(qǐng)日期2012年3月24日 優(yōu)先權(quán)日2012年3月24日
發(fā)明者孟顯奎, 宋剛, 張巍巍, 曹洪劍, 薛金寶 申請(qǐng)人:山東大學(xué)