專利名稱：一種合成虛擬視點(diǎn)圖像的新方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于立體圖像和對(duì)應(yīng)的視差圖進(jìn)行虛擬視點(diǎn)圖像合成的新方法，具體來(lái)說(shuō)，涉及一種能夠在視差圖不準(zhǔn)確的情況下，依然得到高質(zhì)量虛擬視點(diǎn)圖像的新方法。
背景技術(shù)：
虛擬視點(diǎn)圖像的合成方法是立體顯示中的關(guān)鍵技術(shù)之一，是指通過(guò)兩個(gè)或者兩個(gè)以上同一場(chǎng)景的立體圖像，來(lái)合成其他視角的虛擬視點(diǎn)圖像的方法。隨著三維立體顯示技術(shù)突飛猛進(jìn)地發(fā)展，越來(lái)越多的3D元素融入到了日常生活之中。與以往2D平面顯示方式相·t匕，立體顯示技術(shù)往往能給觀看者帶來(lái)身臨其境的視覺(jué)感受和體驗(yàn)，因而也備受人們喜愛(ài)。·傳統(tǒng)的立體顯示系統(tǒng)中一般有兩個(gè)視圖，分別稱為左視圖和右視圖，通過(guò)特定的顯示方式，如佩戴立體眼鏡，使觀眾的左右眼分別觀看到不同視角的二幅圖像，就能在大腦中融合并產(chǎn)生立體感。然而，為了適應(yīng)不同尺寸的屏幕以及對(duì)視差調(diào)整以滿足舒適感要求等原因，往往需要對(duì)輸入的左右視圖進(jìn)行處理，生成新的虛擬視點(diǎn)圖像進(jìn)行顯示。此外，自由視角電視技術(shù)中，虛擬視點(diǎn)合成也是一項(xiàng)關(guān)鍵技術(shù)，它允許觀眾自由地選取三維場(chǎng)景中的任意視點(diǎn)進(jìn)行觀看。通常地，視點(diǎn)合成方法可以歸結(jié)為三類不依靠幾何結(jié)構(gòu)的繪制、依靠部分幾何結(jié)構(gòu)的繪制和完全依靠幾何結(jié)構(gòu)的繪制。由于第三種方法能夠?qū)⒖家晥D縮減為最少(為左視圖和右視圖)，因此具有較廣的適用性。在進(jìn)行視點(diǎn)合成時(shí)，視差圖的質(zhì)量十分關(guān)鍵，盡管目前已經(jīng)提出了許多立體匹配方法，但精確地估計(jì)出立體圖像的視差圖依然是一項(xiàng)十分困難的任務(wù)，視差圖中的錯(cuò)誤點(diǎn)會(huì)導(dǎo)致合成的虛擬視點(diǎn)圖像中包含許多錯(cuò)誤區(qū)域，如錯(cuò)誤的邊緣、色塊和空洞點(diǎn)等。另一方面，由于視點(diǎn)的變換也會(huì)使得原先在左右視圖中被遮擋的區(qū)域變得可見(jiàn)，如果不正確地對(duì)這些只在新視點(diǎn)圖像中可見(jiàn)的區(qū)域進(jìn)行可靠填充，將會(huì)影響合成的虛擬視點(diǎn)圖像的質(zhì)量。常用的處理方法是對(duì)視差圖進(jìn)行預(yù)處理，如用平滑濾波來(lái)減小虛擬視點(diǎn)圖像上的瑕疵和空洞區(qū)域，然后采用圖像修復(fù)、插值等方法來(lái)填補(bǔ)剩余空洞。但這樣的方法很難得到滿意的結(jié)果，常常造成新視點(diǎn)圖像中物體的幾何失真。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供了一種合成虛擬視點(diǎn)圖像的新方法，通過(guò)本發(fā)明所述的新方法，在視差圖質(zhì)量較差的情況下仍舊能夠合成高質(zhì)量的虛擬視點(diǎn)圖像。本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的一種合成虛擬視點(diǎn)圖像的新方法，該方法包括以下步驟(I)生成初始虛擬視點(diǎn)圖像輸入立體圖像的左右視圖和左右視差圖，按照視角調(diào)整的要求，通過(guò)雙向投影方法生成初始虛擬視點(diǎn)圖像；
(2)瑕疵檢測(cè)對(duì)初始虛擬視點(diǎn)圖像進(jìn)行瑕疵檢測(cè)，檢測(cè)出其中的錯(cuò)誤區(qū)域和空洞區(qū)域，統(tǒng)一標(biāo)記為待填充區(qū)域；(3)分層次空洞填補(bǔ)對(duì)標(biāo)記出的待填充區(qū)域進(jìn)行分層次空洞填補(bǔ)，得到高質(zhì)量的虛擬視點(diǎn)圖像。本發(fā)明的有益效果是傳統(tǒng)的虛擬視點(diǎn)合成方法對(duì)輸入的視差圖的精度有較高的要求，如果視差圖不準(zhǔn)確，則生成的虛擬視點(diǎn)圖像會(huì)包含很多瑕疵區(qū)域。本發(fā)明通過(guò)初始虛擬視點(diǎn)圖像生成、瑕疵檢測(cè)和分層次空洞填補(bǔ)三個(gè)主要步驟，即使在輸入視差圖包含許多錯(cuò)誤的情況下仍舊能夠得到高質(zhì)量的虛擬視點(diǎn)圖像，從而有效降低虛擬視點(diǎn)合成方法對(duì)高精度視差圖的依賴性。


圖I為本發(fā)明方法的流程圖；
圖2為本發(fā)明方法中生成初始虛擬視點(diǎn)圖像的雙向投影方法示意圖；圖3為本發(fā)明方法中修復(fù)P點(diǎn)時(shí)所構(gòu)成的9個(gè)搜索塊示意圖。
具體實(shí)施例方式下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述，本發(fā)明的目的和效果將變得更加明顯。圖I給出了依照本發(fā)明進(jìn)行虛擬視點(diǎn)合成的方法流程圖。本發(fā)明所述的虛擬視點(diǎn)合成方法是針對(duì)立體圖像進(jìn)行，且所處理立體圖像應(yīng)是已經(jīng)經(jīng)過(guò)了外極線校正的，這樣外極線與圖像的行掃描線重合，即對(duì)于立體圖像左右視圖的匹配像素而言，它們的縱坐標(biāo)是相同的，或者說(shuō)匹配像素點(diǎn)位于左右視圖的同一行。輸入立體圖像的左右視圖以及對(duì)應(yīng)的左右視差圖，按照視點(diǎn)調(diào)整的要求，通過(guò)本發(fā)明所述方法可以得到在新視角下的虛擬視點(diǎn)圖像，也可以將本方法用于立體視頻的每一幀，得到在新視角下的虛擬視點(diǎn)立體視頻。如圖I所示，在步驟101中，輸入立體圖像的左右視圖和左右視差圖，按照視點(diǎn)調(diào)整的要求，通過(guò)雙向投影方法生成初始虛擬視點(diǎn)圖像。如圖2所示，在輸入的立體圖像的左視圖中有一點(diǎn)Py該點(diǎn)的橫坐標(biāo)為Xy由左視差圖得到該點(diǎn)的視差值為4。根據(jù)視差的計(jì)算關(guān)系，可知&點(diǎn)在右視圖中的匹配點(diǎn)Pk的橫坐標(biāo)為=相對(duì)應(yīng)的，對(duì)于在右視圖中的ρκ點(diǎn)而言，它在左視圖中的匹配點(diǎn)也為點(diǎn)Pu它的視差值dK也應(yīng)等于4。對(duì)于合成的虛擬視點(diǎn)圖像中的像素點(diǎn)PintOT，它的橫坐標(biāo)為xintCT，可由左視圖中的某點(diǎn)九根據(jù)某種視差變換關(guān)系投影而來(lái)，即表示為dinte=f⑷，其中dinte為Pinto點(diǎn)的視差值，f(*)為視差變換函數(shù)。不失一般性，f(*)函數(shù)可以線性變換來(lái)表示，如c^intea=SXdddtjffsrt,其中s為一個(gè)比例因子,(Itxffsrt則是一個(gè)固定的偏差。由于左右視圖的對(duì)應(yīng)點(diǎn)通過(guò)視差圖互相聯(lián)系，因此像素點(diǎn)PintCT同樣可以由右視圖中的某點(diǎn)Pk根據(jù)某種視差變換關(guān)系投影而來(lái)，表示為dinte=f’(dK)，式中f’(·)為與f(·)相對(duì)應(yīng)的另一視差變換函數(shù)當(dāng)給定視差變換函數(shù)的具體形式后，我們可以確定合成的虛擬視點(diǎn)圖像中的像素和輸入的左右視圖像素之間的對(duì)應(yīng)關(guān)系，就可以通過(guò)投影得到在新視角下的初始虛擬視點(diǎn)圖像。為了生成初始虛擬視點(diǎn)圖像，本發(fā)明采用雙向投影方法，包含以下步驟( I)生成一幅空白的初始虛擬視點(diǎn)圖像。( 2 )對(duì)初始虛擬視點(diǎn)圖像進(jìn)行按行遍歷，逐點(diǎn)進(jìn)行賦值初始虛擬視點(diǎn)圖像中的像素點(diǎn)Pinto，其橫坐標(biāo)記為Xinte。為了確定該點(diǎn)的像素值，分別對(duì)輸入的左視圖和右視圖中與Pinte位于同一行，且距離Pinte在最大視差范圍內(nèi)進(jìn)行搜索，尋找所有可能投影到Pinte的像素點(diǎn)，其中最大視差指的是左右視差圖中最大的視差。如果左視圖上的搜索點(diǎn)滿足
IXinter-(xL_f (dL)) I〈thre 及右視圖上的搜索點(diǎn)滿足| Xinter-(xE+f' (dE)) |〈thre 時(shí)，將這些點(diǎn)標(biāo)記為候選的投影點(diǎn)，從而形成候選投影點(diǎn)集合。上述公式中，thre為預(yù)設(shè)的閾值。 (3)在所有的候選投影點(diǎn)集合中選擇對(duì)應(yīng)的視差值最大的點(diǎn)作為最佳的投影點(diǎn)，因?yàn)閾碛凶畲笠暡钪档狞c(diǎn)是前景點(diǎn)，前景點(diǎn)將遮擋背景點(diǎn)；(4)當(dāng)最佳投影點(diǎn)的坐標(biāo)為非整數(shù)像素時(shí)，則將線性插值后得到的像素值賦給初始虛擬視點(diǎn)圖像中的像素點(diǎn)PintOT。由于立體匹配的困難性，輸入的左右視差圖中通常會(huì)包含很多錯(cuò)誤的視差值，使用這些錯(cuò)誤視差值得到的初始虛擬視點(diǎn)圖像中會(huì)包含很多錯(cuò)誤區(qū)域。另一方面，當(dāng)視角變化后，有些原本在左右視圖中不可見(jiàn)的遮擋區(qū)域在合成的虛擬視點(diǎn)圖像中會(huì)變得可見(jiàn)，從而形成了空洞區(qū)域。為了將這些錯(cuò)誤的投影點(diǎn)檢測(cè)出來(lái)，如圖I所示，在步驟102中，對(duì)初始虛擬視點(diǎn)圖像進(jìn)行瑕疵檢測(cè)，檢測(cè)出錯(cuò)誤區(qū)域和空洞區(qū)域，統(tǒng)一標(biāo)記為待填充區(qū)域。本發(fā)明的瑕疵檢測(cè)方法可參考文獻(xiàn)Andrew, J. , Woods, NicolasS. , Holliman, Neil A. ,Dodgson. !Adapting stereoscopic movies to the viewingconditions usingdepth-preserving and artifact-free novel view synthesis.In:Stereoscopic Displaysand Applications. San Francisco，California(2011)。如圖I所示，在步驟103中，對(duì)初始虛擬視點(diǎn)圖像中標(biāo)記出的待填充區(qū)域進(jìn)行分層次空洞填補(bǔ)，得到高質(zhì)量的虛擬視點(diǎn)圖像，具體包括以下步驟(I)對(duì)初始虛擬視點(diǎn)圖像、左視圖和右視圖分別進(jìn)行降采樣，建立各圖像的N層降采樣圖像金字塔{MN，MN_i，…，M2, MJ，N為自然數(shù)，Mi (i = 1,2,…N-1，N)表示圖像金字塔中第i層的圖像，其中最底層^,層)與原圖具有同樣的尺寸，Mp1層圖像從％層通過(guò)降采樣得到。通過(guò)降采樣，初始虛擬視點(diǎn)圖像所對(duì)應(yīng)的圖像金字塔中的待填充區(qū)域?qū)⒉粩鄿p小，圖像金字塔的層數(shù)確定以最頂層金字塔圖像中的待填充區(qū)域變得足夠小為準(zhǔn)。(2)自頂向下(M1) M2—…)開(kāi)始對(duì)初始虛擬視點(diǎn)圖像中標(biāo)記出的待填充區(qū)域逐點(diǎn)做基于塊搜索的空洞修復(fù)處理，填充修復(fù)后將此點(diǎn)標(biāo)記為已知點(diǎn)。(3)向低一層金字塔圖像傳遞修補(bǔ)結(jié)果；(4)重復(fù)步驟(2)、(3)直至處理完Mn得到完整修復(fù)后的虛擬視點(diǎn)圖像。在修補(bǔ)每一層金字塔圖像時(shí)，對(duì)待填充區(qū)域中的每個(gè)空洞點(diǎn)P，以像素點(diǎn)P和其八鄰域像素中第i個(gè)鄰域像素為中心的窗口為一個(gè)搜索塊，由此可以構(gòu)成共9個(gè)搜索塊，如圖3所示。對(duì)于每個(gè)搜索塊，在左右視圖的同一層金字塔圖像的同一行上搜索與巧的最佳匹配塊，標(biāo)記為g，即<=爭(zhēng)^1{咐,;)};
Vp^上式中，Φ表示左右視圖的同一層金字塔圖像中在最大視差搜索范圍內(nèi)所有的搜索窗口集合。表示搜索窗口G和丨％之間的非相似性度量，可以取傳統(tǒng)的SSD或者SAD度量。·在計(jì)算非相似性度量時(shí)如果％包含待填充像素，則不能將這些像素計(jì)算在內(nèi)，并統(tǒng)計(jì)窗口^中待填充像素所占的比例，記為Dit5若巧包含的待填充像素所占的比例Di> η(η為某一預(yù)設(shè)的閾值)，則放棄此窗口的搜索，并將此亍 為無(wú)效。通過(guò)圖像金字塔的降采樣過(guò)程必然會(huì)使待填充區(qū)域逐漸變小，因此必定可以在某個(gè)尺度下讓P點(diǎn)有足夠的搜索 窗P。為確定待填充區(qū)域中的點(diǎn)P的像素值C，我們可以將所有有效的巧所對(duì)應(yīng)的最佳匹配塊G中的對(duì)應(yīng)位置的像素值Ci取出，通過(guò)加權(quán)平均得到
Y Wi-ClC = ^-.
Σ,μ ’上式中，Wi表示某一有效搜索塊^所對(duì)應(yīng)的權(quán)值，它由下式確定Wi=(I-Di) · Si ；其中，Si用來(lái)評(píng)仏與其最佳匹配塊》Z間的相似程度，可用下式計(jì)算
d(V；K)\ 2 '
Si =e 2(7 ；其中，σ為某一預(yù)設(shè)參數(shù)，表示最佳匹配塊<和％之間的非相似性度量，可以取傳統(tǒng)的SSD或者SAD度量。上述實(shí)施例用來(lái)解釋說(shuō)明本發(fā)明，而不是對(duì)本發(fā)明進(jìn)行限制，在本發(fā)明的精神和權(quán)利要求的保護(hù)范圍內(nèi)，對(duì)本發(fā)明作出的任何修改和改變，都落入本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種合成虛擬視點(diǎn)圖像的新方法，其特征在于，該方法包括以下步驟 (1)生成初始虛擬視點(diǎn)圖像輸入立體圖像的左右視圖和左右視差圖，按照視角調(diào)整的要求，通過(guò)雙向投影方法生成初始虛擬視點(diǎn)圖像； (2)瑕疵檢測(cè)對(duì)初始虛擬視點(diǎn)圖像進(jìn)行瑕疵檢測(cè)，檢測(cè)出其中的錯(cuò)誤區(qū)域和空洞區(qū)域，統(tǒng)一標(biāo)記為待填充區(qū)域； (3)分層次空洞填補(bǔ)對(duì)標(biāo)記出的待填充區(qū)域進(jìn)行分層次空洞填補(bǔ)，得到高質(zhì)量的虛擬視點(diǎn)圖像。
2.根據(jù)權(quán)利要求I所述的一種合成虛擬視點(diǎn)圖像的新方法，其特征在于，所述的步驟I中，所述通過(guò)雙向投影方法生成初始虛擬視點(diǎn)圖像具體包括以下子步驟 (I. O生成一幅空白的初始虛擬視點(diǎn)圖像； (I. 2)對(duì)初始虛擬視點(diǎn)圖像進(jìn)行按行遍歷，逐點(diǎn)進(jìn)行賦值對(duì)初始虛擬視點(diǎn)圖像中任一像素點(diǎn)Pinto，其橫坐標(biāo)記為xintOT ;為了確定該點(diǎn)的像素值，分別對(duì)輸入的左視圖和右視圖中與Pinte位于同一行，且距離Pinter在最大視差范圍內(nèi)進(jìn)行搜索，尋找所有可能投影到Pinte的像素點(diǎn)，其中最大視差指的是左右視差圖中最大的視差值；如果左視圖上的搜索點(diǎn)滿足Xinter- (xL_f (dL)) I〈thre 且右視圖上的搜索點(diǎn)滿足 I Xinter- (xE+f' (dE)) I〈thre 時(shí),將這些點(diǎn)標(biāo)記為候選的投影點(diǎn)，從而形成候選投影點(diǎn)集合；上述公式中，thre為預(yù)設(shè)的閾值，xL為左視圖上某點(diǎn)的橫坐標(biāo)，dL為該點(diǎn)對(duì)應(yīng)的視差值，xK與dK同理，函數(shù)f ( ·)與f’( ·)為視差變換函數(shù)； (I. 3)在所有的候選投影點(diǎn)集合中選擇對(duì)應(yīng)的視差值最大的點(diǎn)作為最佳的投影點(diǎn)，因?yàn)閾碛凶畲笠暡钪档狞c(diǎn)是前景點(diǎn)，前景點(diǎn)將遮擋背景點(diǎn)； (I. 4)當(dāng)最佳投影點(diǎn)的坐標(biāo)為非整數(shù)像素時(shí)，則將線性插值后得到的像素值賦給初始虛擬視點(diǎn)圖像中的像素點(diǎn)PintOT。
3.根據(jù)權(quán)利要求I所述的一種合成虛擬視點(diǎn)圖像的新方法，其特征在于，所述步驟3具體包括以下步驟 (3. I)對(duì)初始虛擬視點(diǎn)圖像、左視圖和右視圖分別進(jìn)行降采樣，建立各圖像的N層降采樣圖像金字塔{MN，MN_i，…，M2, MJ，N為自然數(shù)，Mi (i = 1,2,…N-1，N)表示圖像金字塔中第i層的圖像，其中最底層(Mn層)與原圖具有同樣的尺寸，Mp1層圖像從Mi層通過(guò)降采樣得到；通過(guò)降采樣，初始虛擬視點(diǎn)圖像所對(duì)應(yīng)的圖像金字塔中的待填充區(qū)域?qū)⒉粩鄿p小，圖像金字塔的層數(shù)確定以最頂層金字塔圖像中的待填充區(qū)域變得足夠小為準(zhǔn)； (3.2)自頂向下(M1) M2—…)開(kāi)始對(duì)初始虛擬視點(diǎn)圖像中標(biāo)記出的待填充區(qū)域逐點(diǎn)做基于塊搜索的空洞修復(fù)處理，填充修復(fù)后將此點(diǎn)標(biāo)記為已知點(diǎn)； (3. 3)向低一層金字塔圖像傳遞修補(bǔ)結(jié)果； (3. 4)重復(fù)步驟(3. 2)、(3. 3)直至處理完Mn得到完整修復(fù)后的虛擬視點(diǎn)圖像。
4.根據(jù)權(quán)利要求3所述的一種合成虛擬視點(diǎn)圖像的新方法，其特征在于，所述步驟(3. 2)的基于塊搜索的空洞修復(fù)處理，具體方法如下 (3. 2. I)對(duì)于待修復(fù)“待填充區(qū)域”中的每個(gè)待填充像素點(diǎn)P，以像素點(diǎn)P和其八鄰域像素中第i個(gè)鄰域像素為中心的窗口％為一個(gè)搜索塊，由此可以構(gòu)成共9個(gè)搜索塊。
(3. 2. 2)對(duì)于每個(gè)搜索塊，在同一層圖像金字塔的左右視圖的同一行上搜索與巧的最佳匹配塊，標(biāo)記為G。
( 3. 2. 3)將搜索得到的所有有效％的最佳匹配塊中對(duì)應(yīng)位置像素進(jìn)行加權(quán)平均，得到待修復(fù)空洞像素點(diǎn)的像素值。
全文摘要
本發(fā)明公開(kāi)了一種合成虛擬視點(diǎn)圖像的新方法，該方法首先通過(guò)雙向投影生成初始虛擬視點(diǎn)圖像，然后檢測(cè)初始虛擬視點(diǎn)圖像上的瑕疵區(qū)域，將這些區(qū)域統(tǒng)一標(biāo)記成待填充區(qū)域；對(duì)于待填充區(qū)域，通過(guò)基于塊搜索的分層次空洞填補(bǔ)算法進(jìn)行填充，最終獲得高質(zhì)量的虛擬視點(diǎn)圖像；本發(fā)明在視差圖質(zhì)量較差的情況下仍能夠得到高質(zhì)量的虛擬視點(diǎn)圖像，從而有效降低虛擬視點(diǎn)合成方法對(duì)視差圖精度的依賴性。
文檔編號(hào)H04N13/04GK102892021SQ20121038976
公開(kāi)日2013年1月23日 申請(qǐng)日期2012年10月15日 優(yōu)先權(quán)日2012年10月15日
發(fā)明者杜歆, 葉剛, 朱云芳 申請(qǐng)人:浙江大學(xué)