一種基于視點(diǎn)合成的立體圖像垂直視差消除方法
【專利摘要】本發(fā)明公開了一種基于視點(diǎn)合成的消除立體圖像垂直視差的方法。本發(fā)明按順序可以分為四個步驟：（1）對原始立體圖像進(jìn)行傳統(tǒng)方式的外極線校正，得到初始校正后的立體圖像；（2）對初始校正后的立體圖像進(jìn)行立體匹配，得到對應(yīng)的水平視差圖；（3）根據(jù)投影關(guān)系，計算得到對應(yīng)于原始立體圖像的水平視差圖和垂直視差圖；（4）基于原始立體圖像的水平視差圖和垂直視差圖，進(jìn)行視點(diǎn)合成，得到校正后的立體圖像。本發(fā)明的主要特點(diǎn)是引入視點(diǎn)合成技術(shù)，在消除立體圖像的垂直視差的同時，減小校正過程帶來的投影失真。
【專利說明】一種基于視點(diǎn)合成的立體圖像垂直視差消除方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于視點(diǎn)合成的立體圖像垂直視差消除方法。
【背景技術(shù)】
[0002]3D電影近年來得到了快速發(fā)展。一般而言，3D電影可通過計算機(jī)動畫合成、2D轉(zhuǎn)3D技術(shù)以及立體相機(jī)拍攝三種方式獲得，其中通過立體相機(jī)拍攝是未來3D電影發(fā)展的主流。立體相機(jī)通常由左右兩個相機(jī)構(gòu)成，它們被設(shè)計成光軸平行配置的形式。然而，由于機(jī)械對齊的精度問題，拍攝得到的立體圖像或視頻無法做到完全對齊。當(dāng)立體攝像機(jī)鏡頭需要拉伸時，左右兩個相機(jī)之間的動作不同步使得對齊問題變得更加復(fù)雜。這些都造成了最終得到的立體圖像或視頻左右視圖之間或多或少存在垂直視差。Mayhew曾對7部商業(yè)3D影片中的70個立體視頻幀進(jìn)行過評估，發(fā)現(xiàn)只有6個(占8.5% )視頻幀是不需要進(jìn)行校正的。垂直視差的存在是造成觀看者頭暈、眼脹等視覺疲勞現(xiàn)象的主要原因之一，因而探尋通過對3D電影進(jìn)行后期校正來消除垂直視差的理論和方法具有重要意義。
[0003]消除垂直視差的過程在計算機(jī)視覺中被稱為“外極線校正”，通常是指對兩幅圖像各進(jìn)行一次投影變換，使得變換后的兩幅圖像所對應(yīng)的對極線位于圖像的同一條掃描線上。立體圖像的外極線校正方法可分為相機(jī)已標(biāo)定情況下的校正和未標(biāo)定情況下的校正兩種。對于相機(jī)已標(biāo)定情況而言，左右兩個相機(jī)的內(nèi)外參數(shù)已知，可以通過構(gòu)造變換矩陣的方法來實(shí)現(xiàn)外極線校正。但是運(yùn)用這種方法的前提是在3D影片拍攝前必須對立體相機(jī)進(jìn)行標(biāo)定，否則該方法就失效了。對于現(xiàn)實(shí)中大多數(shù)3D影片而言，相機(jī)參數(shù)是無法獲取的，在這種情況下，只能運(yùn)用未標(biāo)定情況的方法。
[0004]對于未標(biāo)定情況下的外極線校正，目前已存在多種方法，這些方法大多是針對計算機(jī)視覺應(yīng)用而提出的，即使校正結(jié)果存在變形，也不會對三維重構(gòu)產(chǎn)生較大的影像。然而，對于3D電影而言，我們必須考慮校正后的影片呈現(xiàn)給觀眾的視覺效果，也就必須使校正后的圖像幀不能產(chǎn)生太大的畸變。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，提供一種基于視點(diǎn)合成的立體圖像垂直視差消除方法。
[0006]本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的:一種基于視點(diǎn)合成的立體圖像垂直視差消除方法，包括以下步驟:
[0007](I)采集原始立體圖像的左視圖1l和右視圖1k ;
[0008](2)輸入原始立體圖像的左視圖k和右視圖1k，對其進(jìn)行傳統(tǒng)方式的外極線校正，得到經(jīng)過初始校正后的立體圖像左視圖1i和右視圖1?，并記錄下分別施加在左視圖和右視圖上變換矩陣I；和Tk ；
[0009](3)對經(jīng)過初始校正后的立體圖像左視圖1i和右視圖1tk進(jìn)行立體匹配，得到對應(yīng)的水平視差圖Di和Dtk ；[0010](4)根據(jù)投影關(guān)系，計算得到對應(yīng)于左視圖k的水平視差圖Dm和垂直視差圖Dm以及對應(yīng)于右視圖1k的水平視差圖Dhk以及垂直視差圖Dvk，通過以下步驟實(shí)現(xiàn):
[0011](4.1)對左視圖中的任意一點(diǎn)九，經(jīng)過變換IY得到經(jīng)過初始校正后的左視圖1TL中的對應(yīng)點(diǎn)Pu = Tl.Pp點(diǎn)Pu的坐標(biāo)值一般為非整數(shù)，通過做雙線性插值，在視差圖DTl中得到對應(yīng)于Pu位置的視差值(T1 ◎
[0012](4.2)記k中的點(diǎn)Pu的齊次坐標(biāo)為Pu = [xTU yTL, 1]τ，則它在相對應(yīng)的右視圖1te 中的對應(yīng)點(diǎn) P? 為:ftR =[xTL.Jtl*1]1 °
[0013](4.3)將點(diǎn)ρτκ經(jīng)過對應(yīng)于Tk的逆變換Tr1投影回右視圖1k得到點(diǎn)Ps =V./%，
從而建立起了左視圖L中的點(diǎn)1?和右視圖1k中的點(diǎn)Pk之間的對應(yīng)關(guān)系，即和Pk是一對匹配點(diǎn)。
[0014](4.4)記Pl和Pk的坐標(biāo)值分別為[Χ?，Κ]1Π [知，yK]T，可以根據(jù)下式計算得到對應(yīng)于Plj的水平視差值dHI；和垂直視差值dVIj:
[0015]dHL = xl_xEj dVL = yL~yE
[0016](4.5)對左視圖L中的每一點(diǎn)施加上述過程，可以得到對應(yīng)于左視圖L的水平視差圖Dh1j和垂直視差圖Dvij。
[0017](4.6)同理，對右視圖1k施加上述過程，可以計算得到對應(yīng)于右視圖1k的水平視
差圖Dhr以及垂直視差圖Dvr。
[0018](5)基于原立體圖像的左右視圖1l和In，以及相應(yīng)的水平和垂直視差圖DHl、Dvl>DHK、Dvk，進(jìn)行視點(diǎn)合成，得到新的右視圖20%包括以下步驟:
[0019](5.1)采用反向映射的機(jī)制，即對于新的右視圖《上的每一個點(diǎn)Ρ，記它的坐
標(biāo)值為[Ο?+Ι ,根據(jù)由IL和IR的水平及垂直視差圖Dm、Dvl, Dhe, Dvk所確定的投影關(guān)系，分別L和Ik上尋找各自的對應(yīng)點(diǎn)P ^ L&P\,包括以下步驟:
[0020](a)設(shè)Ρ'點(diǎn)在左視圖込中的對應(yīng)點(diǎn)為口\，為了達(dá)到消除垂直視差的目的，需要
以滿足水平視差約束為條件，在k中進(jìn)行搜索。記P’ L的坐標(biāo)值為，要求其X軸坐標(biāo)值須滿足下面的關(guān)系式:
【權(quán)利要求】
1.一種基于視點(diǎn)合成的立體圖像垂直視差消除方法，其特征在于，該方法包括以下步驟: (1)采集原始立體圖像的左視圖k和右視圖1k； (2)輸入原始立體圖像的左視圖k和右視圖1k，對其進(jìn)行傳統(tǒng)方式的外極線校正，得到經(jīng)過初始校正后的立體圖像左視圖1i和右視圖1?，并記錄下分別施加在左視圖和右視圖上變換矩陣I；和Tk ； (3)對經(jīng)過初始校正后的立體圖像左視圖\和右視圖1tk進(jìn)行立體匹配，得到對應(yīng)的水平視差圖Dix和Dtr ； (4)根據(jù)投影關(guān)系，計算得到對應(yīng)于左視圖k的水平視差圖Dm和垂直視差圖DVy以及對應(yīng)于右視圖1k的水平視差圖Dhk以及垂直視差圖Dvk ； (5)基于原立體圖像的左右視圖1l和Ικ，以及相應(yīng)的水平和垂直視差圖DHL、DVL、DHK、DVK，進(jìn)行視點(diǎn)合成，得到新的右視圖1『，原始立體圖像的左視圖L和新的右視圖ΙT*已經(jīng)消除了垂直視差，構(gòu)成了新的立體圖像。
2.根據(jù)權(quán)利要求1所述的一種基于視點(diǎn)合成的立體圖像垂直視差消除方法，其特征在于，所述的步驟(4)中計算得到對應(yīng)于左視圖k的水平視差圖Dm和垂直視差圖DVy以及對應(yīng)于右視圖1k的水平視差圖Dhk以及垂直視差圖Dvk，通過以下步驟來實(shí)現(xiàn): (4.1)對左視圖L中的任意一點(diǎn)九，經(jīng)過變換IY得到經(jīng)過初始校正后的左視圖L中的對應(yīng)點(diǎn)Pu = Tl.pL ;點(diǎn)pTL的坐標(biāo)值一般為非整數(shù)，通過做雙線性插值，在視差圖De中得到對應(yīng)于Ptl位置的視差值A(chǔ)ft ο (4.2)記K中的點(diǎn)Pu的齊次坐標(biāo)為Pu = [xTL, yTL, 1]τ，則它在相對應(yīng)的右視圖1tk中的對應(yīng)點(diǎn) Ptr 為:Pm — _? (4.3)將點(diǎn)ρτκ經(jīng)過對應(yīng)于Tk的逆變換!；1投影回右視圖1k得到點(diǎn)=Tr'-/;TR *從而建立起了左視圖L中的點(diǎn)1?和右視圖1k中的點(diǎn)Pk之間的對應(yīng)關(guān)系，即和Pk是一對匹配占.(4.4)記九和巧的坐標(biāo)值分別為[^，1]7和[xK，yJT，可以根據(jù)下式計算得到對應(yīng)于Pl的水平視差值dHI；和垂直視差值dVIj:
cW — xl_xr，dVL — Yl-Yr ; (4.5)對左視圖L中的每一點(diǎn)施加上述過程，可以得到對應(yīng)于左視圖L的水平視差圖Dhl和垂直視差圖Dvii ； (4.6)同理，對右視圖1k施加上述過程，可以計算得到對應(yīng)于右視圖1k的水平視差圖Dhe以及垂直視差圖Dvr。
3.根據(jù)權(quán)利要求1所述的一種基于視點(diǎn)合成的立體圖像垂直視差消除方法，其特征在于，所述的步驟(5)中視點(diǎn)合成的方法，包括以下步驟: (5.1)采用反向映射的機(jī)制，即對于新的右視圖?*上的每一個點(diǎn)/?T，記它的坐標(biāo)值為|>；r，J；r]T，根據(jù)由和Ik的水平及垂直視差圖Dm、Dvl, Dhe, Dvk所確定的投影關(guān)系，分別込和Ik上尋找各自的對應(yīng)點(diǎn)P\及P’ κ ;(5.2)在找到了新的右視圖上的點(diǎn)PnewR在左右視圖上各自的對應(yīng)點(diǎn)Ρ'L, Ρ’R后，比較這二點(diǎn)的水平視差值，將視差值大的點(diǎn)投影得到PnewR ； (5.3)對合成新右視圖ΙnewR中空白點(diǎn)進(jìn)行修補(bǔ)。
4.根據(jù)權(quán)利要求3所述的視點(diǎn)合成方法，其特征在于，所述的步驟(5.1)在IL和IR上尋找各自的對應(yīng)點(diǎn)p'L及P’ R,包括以下步驟: (5.1.1)設(shè)JC點(diǎn)在左視圖1l中的對應(yīng)點(diǎn)為P’,為了達(dá)到消除垂直視差的目的,需要以滿足水平視差約束為條件，在込中進(jìn)行搜索，記P’ L的坐標(biāo)值為
【文檔編號】H04N13/00GK103945207SQ201410166939
【公開日】2014年7月23日 申請日期:2014年4月24日 優(yōu)先權(quán)日:2014年4月24日
【發(fā)明者】杜歆, 鄒瀧, 朱云芳 申請人:浙江大學(xué)