專利名稱：一種虛擬視點(diǎn)圖像合成方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種虛擬視點(diǎn)圖像合成方法及裝置。
背景技術(shù)：
由于能夠?yàn)槭褂谜咛峁?qiáng)烈的視覺(jué)沖擊效果和身臨其境的感覺(jué)，立體電視技術(shù)成為多媒體技術(shù)領(lǐng)域一個(gè)新的研究熱點(diǎn)。立體電視利用人的立體生理視覺(jué)原理，使電視觀看者的左右眼睛看到的圖像存在一個(gè)視差，從而感受到立體效果。自由視點(diǎn)電視是在立體電視的基礎(chǔ)上進(jìn)一步發(fā)展的，不但讓使用者感受到立體效果，同時(shí)還可以根據(jù)使用者與電視之間相對(duì)位置的不同提供不同的視點(diǎn)，并且隨著使用者位置的變化進(jìn)行視點(diǎn)的自由轉(zhuǎn)換， 使得使用者達(dá)到身臨其境的感覺(jué)。自由視點(diǎn)視頻由于在播放端需要播放多個(gè)視點(diǎn)視頻，所以信息采集量巨大，實(shí)現(xiàn)全部視點(diǎn)視頻的采集成本較高，所以實(shí)際應(yīng)用中不現(xiàn)實(shí)。虛擬視點(diǎn)合成技術(shù)解決了自由視點(diǎn)視頻的這種局限性，視頻采集端只需要采集若干特定位置的視點(diǎn)視頻，將這些視頻傳輸?shù)揭曨l播放端，經(jīng)過(guò)虛擬視點(diǎn)合成技術(shù)，生成相應(yīng)視點(diǎn)圖像，從而大大降低了傳輸數(shù)據(jù)量， 節(jié)省帶寬?；谏疃葓D渲染技術(shù)的虛擬視點(diǎn)合成方法利用已知真實(shí)視點(diǎn)的視頻幀，根據(jù)相應(yīng)深度圖像，合成虛擬視點(diǎn)圖像，為自由視點(diǎn)電視提供相應(yīng)視點(diǎn)圖像，因而具有重要的應(yīng)用和研究?jī)r(jià)值。但是，現(xiàn)有的視點(diǎn)合成技術(shù)中，由于深度圖預(yù)處理、虛擬視點(diǎn)圖像修復(fù)算法復(fù)雜， 計(jì)算量大，造成虛擬視點(diǎn)圖像合成時(shí)間長(zhǎng)，并且生成的虛擬視點(diǎn)圖像存在明顯的偽影，影響視覺(jué)效果。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供了一種虛擬視點(diǎn)圖像合成方法及裝置，用以提高虛擬視點(diǎn)圖像的合成效率及質(zhì)量。本發(fā)明實(shí)施例提供的一種虛擬視點(diǎn)圖像合成方法包括步驟一將主要參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成主要虛擬視點(diǎn)圖像，以及將輔助參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成輔助虛擬視點(diǎn)圖像；步驟二 利用主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)，以及利用輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)；步驟三利用輔助虛擬視點(diǎn)圖像對(duì)主要虛擬視點(diǎn)圖像的空洞區(qū)域進(jìn)行填充。本發(fā)明實(shí)施例提供的一種虛擬視點(diǎn)圖像合成裝置包括圖像變換單元，用于將主要參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成主要虛擬視點(diǎn)圖像，以及將輔助參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成輔助虛擬視點(diǎn)圖像；
圖像優(yōu)化單元，用于利用主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征， 消除主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)，以及利用輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)；補(bǔ)洞單元，用于利用輔助虛擬視點(diǎn)圖像對(duì)主要虛擬視點(diǎn)圖像的空洞區(qū)域進(jìn)行填充。本發(fā)明實(shí)施例，將主要參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成主要虛擬視點(diǎn)圖像，以及將輔助參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置， 生成輔助虛擬視點(diǎn)圖像；利用主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)，以及利用輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)；利用輔助虛擬視點(diǎn)圖像對(duì)主要虛擬視點(diǎn)圖像的空洞區(qū)域進(jìn)行填充，填充后的主要虛擬視點(diǎn)圖像即最終合成的虛擬視點(diǎn)圖像，從而由于無(wú)需對(duì)深度圖像進(jìn)行預(yù)處理，提高了虛擬視點(diǎn)圖像的合成效率，并且由于對(duì)虛擬視點(diǎn)圖像的空洞區(qū)域進(jìn)行填充，還提高了虛擬視點(diǎn)圖像的質(zhì)量。


圖1為本發(fā)明實(shí)施例提供的虛擬視點(diǎn)圖像合成方法的原理示意圖；圖2為本發(fā)明實(shí)施例提供的一種虛擬視點(diǎn)圖像合成方法的流程示意圖；圖3為本發(fā)明實(shí)施例提供的圖像變換所得到的虛擬視點(diǎn)的彩色圖像示意圖；圖4為本發(fā)明實(shí)施例提供的圖像變換所得到的虛擬視點(diǎn)的深度圖像示意圖；圖5為本發(fā)明實(shí)施例提供的對(duì)圖像變換所得到的虛擬視點(diǎn)彩色圖像進(jìn)行圖像裂紋處理的結(jié)果示意圖；圖6為本發(fā)明實(shí)施例提供的對(duì)圖像變換所得的虛擬視點(diǎn)深度圖像進(jìn)行圖像裂紋處理的結(jié)果示意圖；圖7為本發(fā)明實(shí)施例提供的對(duì)圖像變換所得的虛擬視點(diǎn)圖像的錯(cuò)誤投影點(diǎn)的示意圖；圖8為本發(fā)明實(shí)施例提供的對(duì)圖像變換所得的虛擬視點(diǎn)圖像的錯(cuò)誤投影點(diǎn)的進(jìn)行處理后的結(jié)果示意圖；圖9為本發(fā)明實(shí)施例提供的由主要參考視點(diǎn)得到的虛擬視點(diǎn)圖像的示意圖；圖10為本發(fā)明實(shí)施例提供的由輔助參考視點(diǎn)得到的虛擬視點(diǎn)圖像的示意圖；圖11為本發(fā)明實(shí)施例提供的利用輔助參考視點(diǎn)圖像投影得到的虛擬視點(diǎn)圖像填充利用主要參考試點(diǎn)圖像得到的虛擬視點(diǎn)圖像中的非遮擋區(qū)域所得結(jié)果示意圖；圖12為本發(fā)明實(shí)施例提供的利用基于深度圖的非對(duì)稱腐蝕圖像修復(fù)技術(shù)對(duì)剩余空洞區(qū)域進(jìn)行填充后所得到虛擬視點(diǎn)圖像的結(jié)果示意圖；圖13為本發(fā)明實(shí)施例提供的一種虛擬視點(diǎn)圖像合成裝置的結(jié)構(gòu)示意圖。
具體實(shí)施例方式本發(fā)明實(shí)施例提供了一種虛擬視點(diǎn)圖像合成方法及裝置，用以提高虛擬視點(diǎn)圖像的合成效率及質(zhì)量。針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明實(shí)施例提出了一種基于深度圖渲染技術(shù)的虛擬視點(diǎn)圖像合成方案，為自由視點(diǎn)電視提供高質(zhì)量的虛擬視點(diǎn)圖像。本發(fā)明實(shí)施例不需要對(duì)深度圖進(jìn)行預(yù)處理，因此節(jié)省了運(yùn)行時(shí)間，適于虛擬視點(diǎn)圖像的實(shí)時(shí)合成；并且，利用基于深度圖的非對(duì)稱腐蝕圖像修復(fù)技術(shù)對(duì)虛擬視點(diǎn)圖像的非遮擋區(qū)域進(jìn)行填充，提高了虛擬視點(diǎn)圖像的質(zhì)量。如圖1所示，本發(fā)明實(shí)施例提出的虛擬視點(diǎn)圖像合成的主要過(guò)程包括圖像變換、 虛擬視點(diǎn)圖像優(yōu)化處理，以及非遮擋區(qū)域的填充等。圖像變換根據(jù)攝像機(jī)投影原理，將參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成虛擬視點(diǎn)圖像。其中包括將主要參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成主要虛擬視點(diǎn)圖像，以及將輔助參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成輔助虛擬視點(diǎn)圖像。其中，虛擬視點(diǎn)圖像即所要生成的視點(diǎn)圖像；主要參考視點(diǎn)和輔助參考視點(diǎn)根據(jù)虛擬視點(diǎn)到兩側(cè)真實(shí)視點(diǎn)的距離確定，距離較近的為主要參考視點(diǎn)，距離較遠(yuǎn)的為輔助參考視點(diǎn)；若虛擬視點(diǎn)到兩參考視點(diǎn)距離相同，設(shè)定左側(cè)真實(shí)視點(diǎn)為主要參考視點(diǎn)，另一側(cè)真實(shí)視點(diǎn)為輔助參考視點(diǎn)。虛擬視點(diǎn)圖像優(yōu)化處理(即圖像優(yōu)化)檢測(cè)虛擬視點(diǎn)圖像上裂紋和錯(cuò)誤投影點(diǎn)的寬度，若其為單像素寬度，則根據(jù)虛擬視點(diǎn)深度圖像周圍8鄰域深度特征，對(duì)虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)進(jìn)行去除，即利用主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)，以及利用輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)；在HSV顏色空間，通過(guò)對(duì)亮度分量的處理，對(duì)兩幅虛擬視點(diǎn)圖像的亮度進(jìn)行調(diào)整，以提升虛擬視點(diǎn)圖像的質(zhì)量。非遮擋區(qū)域填充(即補(bǔ)洞)根據(jù)由輔助參考視點(diǎn)得到的虛擬視點(diǎn)圖像對(duì)由主要參考視點(diǎn)得到的虛擬視點(diǎn)圖像的空洞區(qū)域進(jìn)行初步填充；并根據(jù)填充后的主要參考視點(diǎn)深度圖像，通過(guò)基于深度圖的非對(duì)稱腐蝕圖像修復(fù)技術(shù)對(duì)剩余的空洞區(qū)域進(jìn)行進(jìn)一步填充； 該技術(shù)見(jiàn)步驟S103。參見(jiàn)圖2、本發(fā)明實(shí)施例提供的一種虛擬視點(diǎn)圖像合成方法，包括步驟SlOl 將主要參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成主要虛擬視點(diǎn)圖像，以及將輔助參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成輔助虛擬視點(diǎn)圖像；S102:利用主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)，以及利用輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)；S103:利用輔助虛擬視點(diǎn)圖像對(duì)主要虛擬視點(diǎn)圖像的空洞區(qū)域進(jìn)行填充。由于光照條件、攝像機(jī)參數(shù)設(shè)置和感光元件靈敏度的不同，主要虛擬視點(diǎn)圖像和輔助虛擬視點(diǎn)圖像存在亮度不統(tǒng)一，因此，較佳地，在步驟S102和步驟S103之間，該方法還包括對(duì)主要虛擬視點(diǎn)圖像和輔助虛擬視點(diǎn)圖像進(jìn)行亮度調(diào)整。較佳地，所述對(duì)主要虛擬視點(diǎn)圖像和輔助虛擬視點(diǎn)圖像進(jìn)行亮度調(diào)整，包括在HSV顏色空間，根據(jù)主要虛擬視點(diǎn)圖像，調(diào)整輔助虛擬視點(diǎn)圖像的亮度。步驟S103中，利用輔助虛擬視點(diǎn)圖像填充主要虛擬視點(diǎn)圖像中的非遮擋區(qū)域，即空洞區(qū)域，大部分非遮擋區(qū)域被修復(fù)，圖像中仍然存在部分非遮擋區(qū)域，因此，較佳地，在步驟S103之后，該方法還包括利用基于深度圖的非對(duì)稱腐蝕圖像修復(fù)技術(shù)，對(duì)主要虛擬視點(diǎn)圖像上的剩余空洞區(qū)域進(jìn)行填充，從而提高虛擬視點(diǎn)圖像質(zhì)量。較佳地，步驟SlOl包括根據(jù)主要參考視點(diǎn)的深度圖像，將主要參考視點(diǎn)圖像中的像素點(diǎn)坐標(biāo)投影到空間坐標(biāo)中，將空間坐標(biāo)中的點(diǎn)，投影到虛擬視點(diǎn)圖像坐標(biāo)中，生成主要虛擬視點(diǎn)圖像；根據(jù)輔助參考視點(diǎn)的深度圖像，將輔助參考視點(diǎn)圖像中的像素點(diǎn)坐標(biāo)投影到空間坐標(biāo)中，將空間坐標(biāo)中的點(diǎn)，投影到虛擬視點(diǎn)圖像坐標(biāo)中，生成輔助虛擬視點(diǎn)圖像。較佳地，步驟S102包括利用主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，以及主要虛擬視點(diǎn)圖像的深度圖像，消除主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)；利用輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，以及輔助虛擬視點(diǎn)圖像的深度圖像，消除輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)。由此可見(jiàn)，本發(fā)明實(shí)施例提出了一種面向自由視點(diǎn)電視的虛擬視點(diǎn)合成方法，通過(guò)基于深度圖的渲染技術(shù)，根據(jù)主要參考視點(diǎn)和輔助參考視點(diǎn)的彩色圖像和深度圖像合成虛擬視點(diǎn)圖像。例如，本發(fā)明實(shí)施例可以采集一個(gè)場(chǎng)景的8個(gè)視點(diǎn)的視頻，并提供相應(yīng)的深度信息、各攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)，實(shí)驗(yàn)中可以設(shè)定其中的兩個(gè)視點(diǎn)，例如視點(diǎn)a和視點(diǎn)b分別為主要參考視點(diǎn)和輔助參考視點(diǎn)，視點(diǎn)c為虛擬視點(diǎn)，通過(guò)基于深度圖的渲染技術(shù)，根據(jù)視點(diǎn)a和視點(diǎn)b合成視點(diǎn)c的圖像，并將合成的虛擬視點(diǎn)圖像與真實(shí)視點(diǎn)圖像進(jìn)行 PSNR和SSIM的比較。PSNR即峰值信噪比，一種評(píng)價(jià)圖像的客觀標(biāo)準(zhǔn)，值越大說(shuō)明圖像質(zhì)量越好，SSIM即圖像結(jié)構(gòu)相似度索引，其值越接近于1，說(shuō)明圖像質(zhì)量越好。下面結(jié)合公式給出本發(fā)明實(shí)施例提供的技術(shù)方案的說(shuō)明。首先，關(guān)于步驟SlOl 根據(jù)攝像機(jī)投影原理，將參考視點(diǎn)圖像投影到立體空間，然后再由立體空間投影到虛擬視點(diǎn)圖像。假設(shè)參考視點(diǎn)的攝像機(jī)內(nèi)部矩陣和外部矩陣分別為K和R[I ；-t]，其中I 為3*3的單位矩陣，t為攝像機(jī)位移向量，則參考視點(diǎn)的攝像機(jī)投影矩陣P = KR[I ；-t]，可得到參考視點(diǎn)圖像上像素點(diǎn)坐標(biāo)和立體空間中對(duì)應(yīng)點(diǎn)的關(guān)系為sm = PM 公式(一)你=P+m公式(二)其中，s為一標(biāo)量，是根據(jù)公式(一)計(jì)算得到的，即[l，m，n]T = PM，[l，m，n]T = n[l/n,m/n,l] = sm，u為像素點(diǎn)在圖像上的水平坐標(biāo)，ν為像素點(diǎn)在圖像上的垂直坐標(biāo)，則 m = [u, ν, 1]τ為圖像像素點(diǎn)在圖像坐標(biāo)系下的齊次坐標(biāo)；設(shè)X為空間點(diǎn)在空間坐標(biāo)系中得水平坐標(biāo)，Y為空間點(diǎn)在空間坐標(biāo)系中的縱坐標(biāo)，Z為空間點(diǎn)在空間坐標(biāo)系中的豎坐標(biāo)，則M =[X，Y，z，1]τ為相應(yīng)空間點(diǎn)在世界坐標(biāo)系下的齊次坐標(biāo)；P+ = Pt(PPt)-1為投影矩陣P的偽逆，本發(fā)明實(shí)施例可以根據(jù)由公式(二)直接計(jì)算得到的結(jié)果#=[x,_y,z,lf和各像素點(diǎn)對(duì)應(yīng)的實(shí)際深度值Z，就可以計(jì)算出各個(gè)像素點(diǎn)對(duì)應(yīng)的空間坐標(biāo)M = [X，Y，Ζ，1]τ ；然后，根據(jù)下面的公式(三)計(jì)算出該空間點(diǎn)在虛擬視點(diǎn)圖像坐標(biāo)系中的位置，實(shí)現(xiàn)參考視點(diǎn)圖像到虛擬視點(diǎn)圖像之間的變換，如圖3所示，為主要參考視點(diǎn)圖像變換到虛擬視點(diǎn)圖像的彩
7色圖像示意圖，圖4所示為相應(yīng)的深度圖像的示意圖。
權(quán)利要求
1.一種虛擬視點(diǎn)圖像合成方法，其特征在于，該方法包括步驟一將主要參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成主要虛擬視點(diǎn)圖像，以及將輔助參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成輔助虛擬視點(diǎn)圖像；步驟二 利用主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)，以及利用輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)；步驟三利用輔助虛擬視點(diǎn)圖像對(duì)主要虛擬視點(diǎn)圖像的空洞區(qū)域進(jìn)行填充。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在步驟二和步驟三之間，該方法還包括對(duì)主要虛擬視點(diǎn)圖像和輔助虛擬視點(diǎn)圖像進(jìn)行亮度調(diào)整。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)主要虛擬視點(diǎn)圖像和輔助虛擬視點(diǎn)圖像進(jìn)行亮度調(diào)整，包括在HSV顏色空間，根據(jù)主要虛擬視點(diǎn)圖像，調(diào)整輔助虛擬視點(diǎn)圖像的亮度。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在步驟三之后，該方法還包括利用基于深度圖的非對(duì)稱腐蝕圖像修復(fù)技術(shù)，對(duì)主要虛擬視點(diǎn)圖像上的剩余空洞區(qū)域進(jìn)行填充。
5.根據(jù)權(quán)利要求1、2、3或4所述的方法，其特征在于，步驟一包括根據(jù)主要參考視點(diǎn)的深度圖像，將主要參考視點(diǎn)圖像中的像素點(diǎn)坐標(biāo)投影到空間坐標(biāo)中，將空間坐標(biāo)中的點(diǎn)，投影到虛擬視點(diǎn)圖像坐標(biāo)中，生成主要虛擬視點(diǎn)圖像；根據(jù)輔助參考視點(diǎn)的深度圖像，將輔助參考視點(diǎn)圖像中的像素點(diǎn)坐標(biāo)投影到空間坐標(biāo)中，將空間坐標(biāo)中的點(diǎn)，投影到虛擬視點(diǎn)圖像坐標(biāo)中，生成輔助虛擬視點(diǎn)圖像。
6.根據(jù)權(quán)利要求1、2、3或4所述的方法，其特征在于，步驟二包括利用主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，以及主要虛擬視點(diǎn)圖像的深度圖像，消除主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)；利用輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，以及輔助虛擬視點(diǎn)圖像的深度圖像，消除輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)。
7.—種虛擬視點(diǎn)圖像合成裝置，其特征在于，該裝置包括圖像變換單元，用于將主要參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成主要虛擬視點(diǎn)圖像，以及將輔助參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置， 生成輔助虛擬視點(diǎn)圖像；圖像優(yōu)化單元，用于利用主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)，以及利用輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)；補(bǔ)洞單元，用于利用輔助虛擬視點(diǎn)圖像對(duì)主要虛擬視點(diǎn)圖像的空洞區(qū)域進(jìn)行填充。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述圖像優(yōu)化單元，還用于對(duì)主要虛擬視點(diǎn)圖像和輔助虛擬視點(diǎn)圖像進(jìn)行亮度調(diào)整。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述圖像優(yōu)化單元，在HSV顏色空間，根據(jù)主要虛擬視點(diǎn)圖像，調(diào)整輔助虛擬視點(diǎn)圖像的亮度。
10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述補(bǔ)洞單元，還用于利用基于深度圖的非對(duì)稱腐蝕圖像修復(fù)技術(shù)，對(duì)主要虛擬視點(diǎn)圖像上的剩余空洞區(qū)域進(jìn)行填充。
11.根據(jù)權(quán)利要求7、8、9或10所述的裝置，其特征在于，所述圖像變換單元，根據(jù)主要參考視點(diǎn)的深度圖像，將主要參考視點(diǎn)圖像中的像素點(diǎn)坐標(biāo)投影到空間坐標(biāo)中，將空間坐標(biāo)中的點(diǎn)，投影到虛擬視點(diǎn)圖像坐標(biāo)中，生成主要虛擬視點(diǎn)圖像；以及，根據(jù)輔助參考視點(diǎn)的深度圖像，將輔助參考視點(diǎn)圖像中的像素點(diǎn)坐標(biāo)投影到空間坐標(biāo)中，將空間坐標(biāo)中的點(diǎn)， 投影到虛擬視點(diǎn)圖像坐標(biāo)中，生成輔助虛擬視點(diǎn)圖像。
12.根據(jù)權(quán)利要求7、8、9或10所述的裝置，其特征在于，所述圖像優(yōu)化單元，利用主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，以及主要虛擬視點(diǎn)圖像的深度圖像，消除主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)；利用輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，以及輔助虛擬視點(diǎn)圖像的深度圖像，消除輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)。
全文摘要
本發(fā)明公開(kāi)了一種虛擬視點(diǎn)圖像合成方法及裝置，用以提高虛擬視點(diǎn)圖像的合成效率及質(zhì)量。本發(fā)明提供的一種虛擬視點(diǎn)圖像合成方法包括將主要參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成主要虛擬視點(diǎn)圖像，以及將輔助參考視點(diǎn)的彩色圖像和深度圖像投影到虛擬視點(diǎn)位置，生成輔助虛擬視點(diǎn)圖像；利用主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除主要虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)，以及利用輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)的形態(tài)特征，消除輔助虛擬視點(diǎn)圖像上的裂紋和錯(cuò)誤投影點(diǎn)；利用輔助虛擬視點(diǎn)圖像對(duì)主要虛擬視點(diǎn)圖像的空洞區(qū)域進(jìn)行填充。
文檔編號(hào)H04N13/00GK102447925SQ20111026781
公開(kāi)日2012年5月9日 申請(qǐng)日期2011年9月9日 優(yōu)先權(quán)日2011年9月9日
發(fā)明者劉微, 劉琚, 孫建德, 楊曉暉 申請(qǐng)人:青島海信數(shù)字多媒體技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室有限公司