本發(fā)明屬立體視頻舒適度增強(qiáng)和3D圖像處理技術(shù)領(lǐng)域，具體涉及一種垂直視差消減方法。

背景技術(shù)：
近年來，隨著3D技術(shù)的迅速發(fā)展，人們已經(jīng)不滿足于從二維圖像中獲得有限的信息，逐漸習(xí)慣于享受三維視覺帶來的沉浸感。雙眼視差是立體顯示技術(shù)的理論基礎(chǔ)，水平視差在三維重建的過程中起著關(guān)鍵的作用，水平視差的變化使得人們對(duì)于畫面所呈現(xiàn)的事物有了立體的感知，然而垂直視差則會(huì)使人感覺疲勞。理想條件下，在拍攝的過程中所有攝相機(jī)都應(yīng)在同一條水平線上，同時(shí)要求所有攝像機(jī)的光軸平行，并且所拍攝出圖像或視頻的極線嚴(yán)格要求水平。但實(shí)際上，由于支架的形變，攝像機(jī)內(nèi)部感光元件的不一致性等工藝問題往往會(huì)造成不同程度的垂直視差，結(jié)果不僅影響了立體圖像的合成質(zhì)量，還會(huì)引起視覺疲勞。因此為了提高觀視者的舒適度，對(duì)于垂直視差消減方法的研究成為了越來越多的科研者研究的重點(diǎn)。國(guó)內(nèi)外對(duì)垂直視差消減技術(shù)的研究較少，并且這些方法中很多都是在處理的過程中需要較多的圖像信息或者攝像機(jī)參數(shù)。韓國(guó)的Yun-SukKang和CheonLee等人提出了針對(duì)平行相機(jī)陣列的擬合公共基線解決辦法和針對(duì)弧形相機(jī)陣列的幾何補(bǔ)償校正算法。但是，這個(gè)方法需要多視點(diǎn)相機(jī)的標(biāo)定參數(shù)，無法提供脫離相機(jī)參數(shù)的獨(dú)立應(yīng)用。在無攝像機(jī)標(biāo)定情況下Loop提出了基于基本矩陣的圖像校正方法，將校正過程分解為射影變換和仿射變換兩個(gè)部分。該方法依賴于基本矩陣的精確求解，而由對(duì)應(yīng)點(diǎn)計(jì)算基本矩陣還沒有較為穩(wěn)定的算法。上海大學(xué)的劉利亮和安平等人提出了一種基于公共點(diǎn)提取的多視圖像校正的方法，該方法有效的降低了垂直視差，但是這個(gè)方法在校正垂直視差的過程中使得水平視差也發(fā)生了較大改變。

技術(shù)實(shí)現(xiàn)要素：
本發(fā)明要解決的技術(shù)問題在于提供一種基于Levenberg-Marquardt算法(簡(jiǎn)稱L-M算法)的垂直視差消減方法，通過本發(fā)明可以在不需要攝像機(jī)標(biāo)定參數(shù)的情況下，通過對(duì)變換矩陣的精確求解進(jìn)一步消減垂直視差，同時(shí)降低對(duì)水平視差的影響，有效地增強(qiáng)觀看立體視頻的舒適度。本發(fā)明的一種垂直視差消減方法，包括下列步驟：1.1對(duì)雙目圖像中的左右視圖分別用SIFT算法進(jìn)行特征點(diǎn)提取，并根據(jù)最近鄰和次近鄰距離比值進(jìn)行匹配；1.2由垂直視差消減原理計(jì)算出匹配點(diǎn)的坐標(biāo)，再用L-M算法進(jìn)行可消減垂直視差的變換矩陣計(jì)算，包括下列步驟：1.2.1將SIFT算法提取出的特征點(diǎn)整理成齊次坐標(biāo)形式，左視圖-基準(zhǔn)圖的特征點(diǎn)坐標(biāo)為[xi,yi,1]T，右視圖的特征點(diǎn)坐標(biāo)為其中：i＝1,…,N；N表示特征點(diǎn)的個(gè)數(shù)；1.2.2計(jì)算二維射影變換矩陣M2D，使右視圖中的特征點(diǎn)[xi',yi',1]T經(jīng)校正矩陣后與左視圖中的特征點(diǎn)之間僅存在水平視差，不存在垂直視差，校正后的右視圖中特征點(diǎn)的坐標(biāo)為[xi',yi,1]；1.2.3將用線性算法計(jì)算出的二維射影變換矩陣M2D作為L(zhǎng)-M算法的初值，M2D形式為：其中：m2表示水平方向位移量；m5表示垂直方向位移量；m0、m1、m3、m4表示尺度和旋轉(zhuǎn)量；m6、m7表示水平和垂直方向的形變量；1.2.4用L-M算法迭代優(yōu)化計(jì)算出可消減垂直視差的變換矩陣，包括下列步驟：1.2.4.1給出誤差的允許值ε，常數(shù)β、μ以及初始化向量Mk；其中：μ是一個(gè)試探性參數(shù)，如果能使誤差指標(biāo)函數(shù)E(M)降低，則μ降低，反之，則μ增加；Mk為第k次迭代時(shí)的M值，其中M為列向量(m0,m1,…,m7)T；1.2.4.2利用變換矩陣Mk計(jì)算目標(biāo)圖像的新坐標(biāo)，并計(jì)算誤差指標(biāo)函數(shù)E(Mk)其中：E(Mk)表示第k次迭代時(shí)的E(M)值，E(M)值的計(jì)算公式為：1.2.4.3利用下式計(jì)算誤差ei(M)的Jacobian矩陣J(M)：其中：誤差ei(M)的計(jì)算公式為：1.2.4.4根據(jù)公式ΔM＝-[JT(M)J(M)+μI]-1JT(M)e(M)計(jì)算變換矩陣增量ΔM；1.2.4.5若E(Mk)＜ε，則結(jié)束；否則計(jì)算Mk+1，并計(jì)算誤差指標(biāo)函數(shù)E(Mk+1)其中：Mk+1＝Mk+ΔM；1.2.4.6若E(Mk+1)＜E(Mk)，則令k＝k+1，μ＝μ/β，轉(zhuǎn)到步驟1.2.4.2；否則不更新變換矩陣M，Mk+1＝Mk，μ＝μβ，轉(zhuǎn)到步驟1.2.4.4；1.3將原右視圖的每一個(gè)像素點(diǎn)依次與校正變換矩陣M2D相乘，得到新的右視圖即校正后視圖；1.4用后處理方法去除部分圖像中由校正變換引起的噪聲，后處理方法為對(duì)沒有像素生成的坐標(biāo)位置，將該坐標(biāo)位置點(diǎn)周圍8個(gè)點(diǎn)的像素值的均值作為該坐標(biāo)位置點(diǎn)像素值，得到最終改進(jìn)后的右視圖，垂直視差得到消減。本發(fā)明的垂直視差消減方法與現(xiàn)有的垂直視差消減方法相比，在不需要攝像機(jī)標(biāo)定參數(shù)的情況下，通過對(duì)變換矩陣的精確求解能進(jìn)一步消減垂直視差、降低對(duì)水平視差的影響，從而能有效地增強(qiáng)觀看立體視頻的舒適度。附圖說明圖1為垂直視差消減方法的流程圖圖2為breakdancer第1幀的1、2視點(diǎn)實(shí)驗(yàn)效果圖圖3為ballet第7幀的3、4視點(diǎn)實(shí)驗(yàn)效果圖圖2和圖3中：(a)表示左視圖，(b)表示右視圖，(c)表示利用參考文獻(xiàn)算法處理后的右視圖，(d)表示利用本發(fā)明方法處理后的右視圖具體實(shí)施方式本發(fā)明的核心內(nèi)容在于：通過使用L-M算法實(shí)現(xiàn)對(duì)可消減垂直視差變換矩陣的精確求解，將通過該方法求得的最優(yōu)化的變換矩陣作用于右視圖，生成校正后的右視圖，該方法在進(jìn)一步消減垂直視差的同時(shí)，能降低對(duì)水平視差的影響。為使本發(fā)明的目的，技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖及實(shí)例做進(jìn)一步的詳細(xì)敘述：本發(fā)明的一種垂直視差消減方法，包括下列步驟：1.1對(duì)雙目圖像中的左右視圖分別用SIFT算法進(jìn)行特征點(diǎn)提取，并根據(jù)最近鄰和次近鄰距離比值進(jìn)行匹配；1.2由垂直視差消減原理計(jì)算出匹配點(diǎn)的坐標(biāo)，再用L-M算法進(jìn)行可消減垂直視差的變換矩陣計(jì)算，包括下列步驟：1.2.1將SIFT算法提取出的特征點(diǎn)整理成齊次坐標(biāo)形式，左視圖-基準(zhǔn)圖的特征點(diǎn)坐標(biāo)為[xi,yi,1]T，右視圖的特征點(diǎn)坐標(biāo)為其中：i＝1,…,N；N表示特征點(diǎn)的個(gè)數(shù)；1.2.2計(jì)算二維射影變換矩陣M2D，使右視圖中的特征點(diǎn)[xi',yi',1]T經(jīng)校正矩陣后與左視圖中的特征點(diǎn)之間僅存在水平視差，不存在垂直視差，校正后的右視圖中特征點(diǎn)的坐標(biāo)為[xi',yi,1]；1.2.3將用線性算法計(jì)算出的二維射影變換矩陣M2D作為L(zhǎng)-M算法的初值，M2D形式為：其中：m2表示水平方向位移量；m5表示垂直方向位移量；m0、m1、m3、m4表示尺度和旋轉(zhuǎn)量；m6、m7表示水平和垂直方向的形變量；1.2.4用L-M算法迭代優(yōu)化計(jì)算出可消減垂直視差的變換矩陣，包括下列步驟：1.2.4.1給出誤差的允許值ε，常數(shù)β、μ以及初始化向量Mk；其中：μ是一個(gè)試探性參數(shù)，如果能使誤差指標(biāo)函數(shù)E(M)降低，則μ降低，反之，則μ增加；Mk為第k次迭代時(shí)的M值，其中M為列向量(m0,m1,…,m7)T；1.2.4.2利用變換矩陣Mk計(jì)算目標(biāo)圖像的新坐標(biāo)，并計(jì)算誤差指標(biāo)函數(shù)E(Mk)其中：E(Mk)表示第k次迭代時(shí)的E(M)值，E(M)值的計(jì)算公式為：1.2.4.3利用下式計(jì)算誤差ei(M)的Jacobian矩陣J(M)：其中：誤差ei(M)的計(jì)算公式為：1.2.4.4根據(jù)公式ΔM＝-[JT(M)J(M)+μI]-1JT(M)e(M)計(jì)算變換矩陣增量ΔM；1.2.4.5若E(Mk)＜ε，則結(jié)束；否則計(jì)算Mk+1，并計(jì)算誤差指標(biāo)函數(shù)E(Mk+1)其中：Mk+1＝Mk+ΔM；1.2.4.6若E(Mk+1)＜E(Mk)，則令k＝k+1，μ＝μ/β，轉(zhuǎn)到步驟1.2.4.2；否則不更新變換矩陣M，Mk+1＝Mk，μ＝μβ，轉(zhuǎn)到步驟1.2.4.4；1.3將原右視圖的每一個(gè)像素點(diǎn)依次與校正變換矩陣M2D相乘，得到新的右視圖即校正后視圖；1.4用后處理方法去除部分圖像中由校正變換引起的噪聲，后處理方法為對(duì)沒有像素生成的坐標(biāo)位置，將該坐標(biāo)位置點(diǎn)周圍8個(gè)點(diǎn)的像素值的均值作為該坐標(biāo)位置點(diǎn)像素值，得到最終改進(jìn)后的右視圖，垂直視差得到消減。下面以具體的測(cè)試來驗(yàn)證本發(fā)明提供的一種基于Levenberg-Marquardt算法的垂直視差消減方法的可行性。將本發(fā)明的方法與上海大學(xué)劉利亮、安平等人利用線性算法求解二維射影變換矩陣的垂直視差消減方法在垂直視差消減和對(duì)水平視差影響這兩個(gè)方面展開對(duì)比分析(測(cè)試樣本來自微軟提供的立體視頻測(cè)試序列)。1.工作條件：本發(fā)明的實(shí)驗(yàn)平臺(tái)采用Intel(R)Core(TM)i3-2100CPU@3.10GHz3.10GHz，內(nèi)存為2GB，運(yùn)行WindowsXP的PC機(jī)，編程語言為MATLAB語言。2.實(shí)驗(yàn)內(nèi)容與結(jié)果分析：為了檢驗(yàn)垂直視差消減的效果和對(duì)水平視差的影響，用檢測(cè)出匹配點(diǎn)對(duì)的垂直視差的平均值eval和水平視差的平均值hori作為校正前后的評(píng)價(jià)標(biāo)準(zhǔn)：圖2是對(duì)breakdancer立體視頻序列第七幀的3、4視點(diǎn)進(jìn)行垂直視差消減的實(shí)驗(yàn)效果圖。其中：(c)是上海大學(xué)劉利亮、安平等人的方法處理后的結(jié)果圖；(d)是本發(fā)明的方法處理后的結(jié)果圖。表1是在不同參數(shù)設(shè)置情況下進(jìn)行垂直視差消減前后的評(píng)價(jià)標(biāo)準(zhǔn)，eval是檢測(cè)出匹配點(diǎn)對(duì)的垂直視差的平均值，單位為像素，用它來評(píng)價(jià)垂直視差消減的效果；hori表示檢測(cè)出匹配點(diǎn)對(duì)的水平視差的平均值，單位同樣為像素。在表1中，沒有進(jìn)行垂直視差消減的原始圖像對(duì)在不同參數(shù)下的eval平均值是2.6583個(gè)像素、hori平均值是5.9582個(gè)像素。使用本發(fā)明方法的垂直視差消減后的eval平均值為1.4689，參考文獻(xiàn)中使用二維單應(yīng)性矩陣方法的垂直視差消減后的eval平均值為1.4398，可見本發(fā)明的方法的結(jié)果比參考文獻(xiàn)中使用二維單應(yīng)性矩陣方法的結(jié)果提高了0.0291個(gè)像素，比原始圖像對(duì)提高了1.2185個(gè)像素；使用本發(fā)明方法的垂直視差消減后的hori平均值為5.2255參考文獻(xiàn)中使用二維單應(yīng)性矩陣方法的垂直視差消減后的hori平均值為5.3442，可見本發(fā)明的方法的結(jié)果對(duì)水平視差的影響比參考文獻(xiàn)中降低了0.1187個(gè)像素。表1不同參數(shù)下breakdancer垂直視差消減前后性能評(píng)價(jià)(單位：像素)圖3是對(duì)ballet立體視頻序列的第一幀的1、2視點(diǎn)進(jìn)行垂直視差消減的實(shí)驗(yàn)效果圖。在表2中，沒有進(jìn)行垂直視差消減的原始圖像對(duì)在不同參數(shù)下的eval平均值是7.7509個(gè)像素，hori平均值是32.2780個(gè)像素。使用本發(fā)明方法的垂直視差消減后的eval平均值為1.9107，參考文獻(xiàn)中使用二維單應(yīng)性矩陣方法的垂直視差消減后的eval平均值為1.5875，使用本發(fā)明方法的結(jié)果比參考文獻(xiàn)中使用二維單應(yīng)性矩陣方法提高了0.3232個(gè)像素，比原始圖像對(duì)提高了6.1634個(gè)像素；使用本發(fā)明方法的垂直視差消減后的hori平均值為29.1627，參考文獻(xiàn)中使用二維單應(yīng)性矩陣方法的垂直視差消減后的hori平均值為30.3018，使用本發(fā)明方法改進(jìn)后的結(jié)果對(duì)水平視差的影響比參考文獻(xiàn)中降低了1.1391個(gè)像素。ballet圖像序列的旋轉(zhuǎn)現(xiàn)象比較嚴(yán)重，使用本發(fā)明方法改進(jìn)后的結(jié)果比參考文獻(xiàn)中使用二維單應(yīng)性矩陣方法提高的效果優(yōu)于對(duì)breakdancer這類旋轉(zhuǎn)程度不大的圖像序列。雖然在圖2和圖3的(c)和(d)中看不出明顯的差別，但是從表1和表2中可以清晰地看出：通常情況下，選取不同參數(shù)時(shí)，在垂直視差消減和水平視差校正兩個(gè)方面使用本發(fā)明算法改進(jìn)后的結(jié)果比參考文獻(xiàn)中使用二維單應(yīng)性矩陣方法的效果均有所提高。而且圖像的旋轉(zhuǎn)程度越大，本發(fā)明使用的方法對(duì)視差的調(diào)節(jié)越明顯。表2不同參數(shù)下ballet垂直視差消減前后性能評(píng)價(jià)(單位：像素)本發(fā)明通過在二維變換矩陣的計(jì)算中引入Levenberg-Marquardt算法，從而實(shí)現(xiàn)了變換矩陣的精確求解。在垂直視差消減方面，本發(fā)明提出的算法與參考文獻(xiàn)中使用二維射影變換的方法相比有了明顯的提高。同時(shí)，在對(duì)水平視差影響方面，本發(fā)明的方法與參考文獻(xiàn)相比，更接近于原始圖像對(duì)的水平視差。本發(fā)明的方法在垂直視差消減上比參考文獻(xiàn)中使用二維射影變換的方法提高了約0.0291～0.3232個(gè)像素，對(duì)水平視差的影響比參考文獻(xiàn)中使用二維射影變換的方法降低了約0.1187～1.1391個(gè)像素。對(duì)于旋轉(zhuǎn)變換較大的圖像，本發(fā)明的方法改進(jìn)更為明顯。因此改進(jìn)后的算法有利于在不影響水平視差的情況下對(duì)垂直視差的消減。