本發(fā)明屬于圖像立體匹配領(lǐng)域，涉及立體匹配算法的改進(jìn)優(yōu)化。具體講,涉及基于相似性測(cè)度函數(shù)改進(jìn)的局部立體匹配方法。
背景技術(shù)：
：：立體視覺是一種根據(jù)立體成像原理，借助計(jì)算機(jī)二維圖像處理技術(shù)從二維圖像中恢復(fù)出三維場(chǎng)景中的空間信息的技術(shù)，關(guān)于這項(xiàng)技術(shù)的研究起源于19世紀(jì)60年代robert等人[1]進(jìn)行的計(jì)算機(jī)視覺系統(tǒng)模擬實(shí)驗(yàn)，他們利用多個(gè)不同形狀的多面體，通過對(duì)多面體點(diǎn)、線、面的位置和相對(duì)距離的識(shí)別研究計(jì)算機(jī)系統(tǒng)對(duì)真實(shí)場(chǎng)景物體的識(shí)別和定位能力。這是空間信息技術(shù)首從二維圖像處理領(lǐng)域轉(zhuǎn)換為三維空間場(chǎng)景的分析。目前，立體視覺技術(shù)已經(jīng)廣泛應(yīng)用于人類社會(huì)的各個(gè)領(lǐng)域。作為視覺導(dǎo)航、遙感成像等領(lǐng)域的關(guān)鍵技術(shù)，立體視覺已經(jīng)成為有線電視網(wǎng)、互聯(lián)網(wǎng)和電信網(wǎng)三網(wǎng)融合環(huán)境下的發(fā)展主題。此外，立體視覺在衛(wèi)星、機(jī)器人、醫(yī)療、航空航天等領(lǐng)域都有較大的應(yīng)用前景。尤其是在醫(yī)療領(lǐng)域，成熟的ct技術(shù)通過三維圖像顯示病灶區(qū)域，并引導(dǎo)治療，為數(shù)字化醫(yī)療打開了一扇新世界的大門。雙目立體成像系統(tǒng)是由兩個(gè)單目攝像機(jī)經(jīng)過調(diào)整校正組合而成，由位于不同位置的攝像機(jī)從不同的視角采集三維場(chǎng)景的圖像，對(duì)于靜態(tài)的場(chǎng)景也可以由一個(gè)攝像機(jī)先后從不同的角度拍攝，來實(shí)現(xiàn)雙目立體系統(tǒng)的圖像采集。立體視覺系統(tǒng)可以大體分為以下四個(gè)組成部分：攝像機(jī)標(biāo)定、圖像獲取、立體匹配和三維重建。在下一章中會(huì)對(duì)各模塊進(jìn)行詳細(xì)的介紹。本文主要研究的是立體匹配這部分的內(nèi)容。立體匹配是立體視覺系統(tǒng)中的核心問題，立體匹配算法的性能，直接影響三維信息的恢復(fù)精度。立體匹配是計(jì)算機(jī)視覺中的一個(gè)經(jīng)典問題，也是一個(gè)病態(tài)問題，其基本思想是將在一個(gè)視點(diǎn)下拍攝的圖像作為參考圖像，將在另外一個(gè)視點(diǎn)下拍攝的圖像作為目標(biāo)圖像，并在目標(biāo)圖像中尋找與參考圖像的像素點(diǎn)相對(duì)應(yīng)的點(diǎn)，根據(jù)這兩點(diǎn)的坐標(biāo)關(guān)系求出該像素點(diǎn)的視差值。1977年，marr教授提出了marr視覺理論[2]，該理論把三維場(chǎng)景的重建工作分成三個(gè)階段。第一個(gè)階段是早期視覺二維圖的獲取；第二個(gè)階段是將二維圖轉(zhuǎn)到2.5維圖；第三個(gè)階段是利用前兩個(gè)階段提取到的信息還原成三維場(chǎng)景。立體匹配在marr視覺理論框架中屬于第一階段和第二階段，很多立體匹配算法的思想來源于marr視覺理論。d.scharstein和r.szdiski[3]將立體匹配算法分為兩類：局部的立體匹配算法(local-basedalgorithms)和全局的立體匹配算法(global-basedalgorithms)。下面對(duì)這兩類立體匹配算法作一個(gè)簡單介紹。局部立體匹配算法是利用興趣點(diǎn)周圍的局部信息來計(jì)算視差，由于該類算法涉及的信息量較少，相應(yīng)的計(jì)算復(fù)雜度就較低，但該類算法對(duì)噪聲較敏感，對(duì)無紋理區(qū)域、視差不連續(xù)區(qū)域和遮擋區(qū)域匹配效果不理想。局部的立體匹配算法分為三類：區(qū)域匹配算法、特征匹配算法和相位匹配算法。區(qū)域匹配算法是基于光度測(cè)量不變性原理的，該類算法以鄰域窗的灰度為匹配基元，以相關(guān)程度作為判別依據(jù)，最終得到稠密的視差圖?；趨^(qū)域的匹配算法有一個(gè)明顯的缺點(diǎn)，在無紋理區(qū)域的匹配，由于相關(guān)函數(shù)變化的銳度不夠以及深度不連續(xù)特性難以完整的保留，因此不能取得精確的匹配結(jié)果。不過目前出現(xiàn)了一些效果較好的區(qū)域算法，如自適應(yīng)窗口(adaptivewindow)[3]、滑動(dòng)窗口(shiftablewindow)[4]、自適應(yīng)權(quán)重算法(adaptive-weight)窗口算法等。特征匹配算法是基于幾何不變性原理的，該類匹配算法克服了區(qū)域匹配算法對(duì)深度不連續(xù)和無紋理區(qū)域敏感的缺點(diǎn)，通過提取圖像特征，對(duì)其進(jìn)行匹配。匹配基元可分為全局特征和局部特征兩大類。全局特征包括多邊形和圖像結(jié)構(gòu)等，多與全局算法混合使用；局部特征包括點(diǎn)、邊緣、線段、小區(qū)域或局部能量等圖像信息。該類算法對(duì)噪聲不敏感，可以得到較精確的匹配。但特征匹配算法最終得到的是稀疏視差圖，要得到稠密視差需附加插值過程。另外特征匹配結(jié)果的性能緊密依賴于所提取的特征精度。相位匹配算法是基于傅立葉平移定理的，對(duì)帶通濾波后的時(shí)/空2頻域定位性的基元信號(hào)相位信息進(jìn)行處理從而得到像對(duì)間的視差。為了解決局部立體匹配算法在低紋理區(qū)域、視差不連續(xù)區(qū)域以及遮擋區(qū)域的誤匹配問題，引入了全局立體匹配算法[5]。全局匹配算法需要構(gòu)造能量函數(shù)，同時(shí)計(jì)算圖像中所有像素點(diǎn)的視差，將視差變量引入能量函數(shù)，利用掃描線或整個(gè)圖像數(shù)據(jù)信息進(jìn)行計(jì)算，將立體匹配轉(zhuǎn)化為求解全局最優(yōu)解的問題。這類算法的核心環(huán)節(jié)包括：1)能量函數(shù)構(gòu)造方法；2)能量函數(shù)優(yōu)化求解策略。常用的全局立體匹配算法包括置信度傳播(bp)[6]、動(dòng)態(tài)規(guī)劃(dp)[7]、圖割(gc)[8]等。全局立體匹配算法相比局部算法，得到的視差圖更精確，能夠有效解決局部算法遇到的問題，但全局算法具有較高的計(jì)算復(fù)雜度，計(jì)算時(shí)間長，而且需要大量人為設(shè)定參數(shù)，不適用于實(shí)時(shí)性要求較高的應(yīng)用。技術(shù)實(shí)現(xiàn)要素：為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在針對(duì)目前局部立體匹配算法中存在的缺點(diǎn)，提出一種新的局部立體匹配框架，以達(dá)到快速準(zhǔn)確的獲取立體圖像視差圖的目的。本發(fā)明采用的技術(shù)方案是，基于相似性測(cè)度函數(shù)改進(jìn)的局部立體匹配方法，步驟是：根據(jù)待匹配圖像的顏色、梯度、像素間的空間距離信息，結(jié)合census變換方法，構(gòu)建新的相似性測(cè)度函數(shù)，計(jì)算出每個(gè)像素的匹配代價(jià)；計(jì)算每個(gè)點(diǎn)匹配代價(jià)的和，即代價(jià)聚合，在代價(jià)聚合過程中，采用基于十字框架的自適應(yīng)窗口，通過引導(dǎo)圖濾波的方法得到初始視差圖；之后，利用均值漂移算法對(duì)初始視差圖進(jìn)行圖像分割，結(jié)合圖像的可信度分布圖，通過表面插值方法，對(duì)視差圖中的誤匹配點(diǎn)進(jìn)行優(yōu)化，得到最終的視差結(jié)果。構(gòu)建的計(jì)算每個(gè)像素的匹配代價(jià)中的代價(jià)函數(shù)為，其中dcen(ic(pi),ic(pc))為基于census變換的相似性測(cè)度函數(shù)，dc(ic(pi),ic(pc))表示左視圖中像素pi，pc在cie顏色空間中的顏色距離，dp(pi,pc)表示pi，pc之間的空間距離，常數(shù)γc,γp為自適應(yīng)權(quán)值立體匹配算法的兩個(gè)參數(shù),γcen為census變換的參數(shù)?；谑挚蚣艿淖赃m應(yīng)窗口方法具體步驟是，以像素p作為中心建立十字框架支持窗口，其中p的坐標(biāo)為(xp,yp)，已知窗口的主要框架為互相垂直的兩部分，它們的交點(diǎn)即為中心像素p，通過自適應(yīng)的改變兩條互相垂直的像素集合的長度，改變支持窗口的大小和形狀；使用圖像中像素的顏色相似性作為度量準(zhǔn)則，計(jì)算出的參數(shù)值。計(jì)算步驟為：首先，根據(jù)相關(guān)性約束建立顏色相似性度量函數(shù)，用大小為3×3的濾波器對(duì)目標(biāo)圖像i進(jìn)行濾波，以減少立體圖像中由于朗博原理而產(chǎn)生的噪聲，以目標(biāo)像素p的水平左方向的窗口尺寸參數(shù)為例，介紹說明十字窗口框架的獲得方法，該方法的最終目的是通過逐一檢測(cè)目標(biāo)像素一方向上相鄰像素的顏色相似性，得到與目標(biāo)像素具有相似顏色的最遠(yuǎn)像素與目標(biāo)像素p的距離，并以此距離作為水平負(fù)向臂長相似像素集合長度最大值表示為ε*，計(jì)算公式如下(9)(10)所示：其中，pi為水平方向上相鄰待測(cè)像素，以水平負(fù)方向?yàn)槔?，p＝(x,y)為中心像素，pi＝(x-i,y)；為表示像素間顏色相似性的指示函數(shù)，計(jì)算方法為，將兩個(gè)像素在顏色空間中所有顏色分量的最大絕對(duì)誤差與設(shè)定的顏色相似性閾值τ進(jìn)行比較，范圍內(nèi)的像素即視為顏色相似像素，即值取1，通過調(diào)整τ的值，可以調(diào)整窗口顏色一致性，將計(jì)算結(jié)果帶入公式(9)，能夠得到包含相似像素的最遠(yuǎn)距離，即十字框架窗口沿其中某一方向的臂長，為避免計(jì)算得到的窗口過小，應(yīng)使窗口臂長最小為1，因此以為例，且均滿足該條件，則所得支持窗口至少為3×3的矩形窗口；根據(jù)計(jì)算得到的確定像素p(xp,yp)的兩個(gè)正交十字框架的水平部分h(p)和垂直部分v(p)，如公式(11)：為了更加精確的獲取像素支持特征，以水平部分的為參考，以垂直部分為軸，將得到的水平分量疊加，得到完整的自適應(yīng)支持區(qū)域，具體的操作方法為，以v(p)上與p相鄰的上下半軸上的像素q為中心，按照計(jì)算的方法，得到該位置上的水平臂長h(p)，重復(fù)上述步驟，將得到的疊加形成區(qū)域u(p)，疊加過程如公式(12)同樣，以水平部分為軸，計(jì)算垂直分量的疊加得到支持區(qū)域。使用導(dǎo)濾波算法計(jì)算初始匹配代價(jià)具體步驟是：已知局部算法匹配代價(jià)為c(pc,qc)，設(shè)c'p為引導(dǎo)濾波函數(shù)，其計(jì)算公式如(13)～(16)：通過歸一化加權(quán)聚合的方法得到代價(jià)聚合函數(shù)，其中，cq為對(duì)應(yīng)點(diǎn)q的代價(jià)函數(shù)，ak和bk為濾波器模型的待定系數(shù)和常數(shù)參量，為局部窗口內(nèi)的平均匹配代價(jià)，iq為待測(cè)圖像的顏色分量，這里采用cielab顏色空間進(jìn)行計(jì)算，γk和uk為由iq中顏色分量構(gòu)成的均值協(xié)方差矩陣，s為支持區(qū)域，ns為局部支持區(qū)域的像素總數(shù)。本發(fā)明的特點(diǎn)及有益效果是：實(shí)驗(yàn)結(jié)果與middlebury數(shù)據(jù)庫中相類似的雙目稠密視差圖生成方法所得的結(jié)果進(jìn)行比較。實(shí)驗(yàn)采用middlebury數(shù)據(jù)庫中的tsukuba、cones、venus、teddy圖像對(duì)作為該算法的測(cè)試樣本。經(jīng)過自適應(yīng)窗口和引導(dǎo)濾波得到的結(jié)果在弱紋理區(qū)域、遮擋區(qū)域、顏色邊緣等前述方法出現(xiàn)較大面積誤匹配像素的區(qū)域，其誤匹配現(xiàn)象明顯減少了，尤其在teddy中圖像邊緣的遮擋區(qū)域，以及teddy、cones中局部的負(fù)時(shí)差區(qū)域，venus中大面積的弱紋理區(qū)域等。實(shí)驗(yàn)證明，基于十字框架的自適應(yīng)支持窗口獲取方法和引導(dǎo)濾波算法能夠有效的提高算法準(zhǔn)確度。本發(fā)明算法在圖像顏色邊緣區(qū)域的準(zhǔn)確度有了明顯的提高，此外在計(jì)算速度上也有了明顯改進(jìn)。此外，該算法還可應(yīng)用于立體圖像的舒適度檢測(cè)領(lǐng)域。附圖說明：圖1teddy、cones的左右圖像以及以左圖像的標(biāo)準(zhǔn)視差圖，圖中：(a)teddy左圖像(b)teddy右圖像(c)teddy標(biāo)準(zhǔn)視差圖(d)cones左圖像(e)cones右圖像(f)cones標(biāo)準(zhǔn)視差圖圖2算法結(jié)構(gòu)框圖。圖3自適應(yīng)框架示意圖。圖中，(a)窗口框架模型(b)原始圖像(c)在圖像中檢測(cè)到的窗口。圖4局部立體匹配算法中間結(jié)果、最終結(jié)果以及傳統(tǒng)算法的對(duì)比。圖中：(a)原始測(cè)試圖像(b)改進(jìn)相似性測(cè)度的局部立體匹配算法結(jié)果(c)經(jīng)過自適應(yīng)窗口和引導(dǎo)濾波得到的結(jié)果。圖5算法結(jié)果對(duì)比圖，圖中：(a)傳統(tǒng)自適應(yīng)權(quán)值算法(b)改進(jìn)算法(c)真實(shí)視差圖。圖6局部立體匹配算法實(shí)驗(yàn)結(jié)果對(duì)比，圖中：(a)真實(shí)視差圖(b)自適應(yīng)算法視差圖(c)圖像分割算法視差圖(d)改進(jìn)局部算法視差圖圖7teddy和cones的nonocc、all、和disc計(jì)算區(qū)域，圖中：(a)teddy非遮擋區(qū)域(b)teddy整幅圖像(c)teddy視差不連續(xù)區(qū)域(d)cones非遮擋區(qū)域(e)cones整幅圖像(f)cones視差不連續(xù)區(qū)域。具體實(shí)施方式本發(fā)明屬于圖像立體匹配領(lǐng)域，涉及立體匹配算法的改進(jìn)優(yōu)化。根據(jù)待匹配圖像的顏色、梯度、像素間的空間距離等信息，結(jié)合一種非參量變換方法，構(gòu)建新的相似性度量函數(shù)。在代價(jià)聚合過程中，采用基于十字框架的自適應(yīng)窗口，通過引導(dǎo)圖濾波的方法得到初始視差圖。本發(fā)明提出一種具有較強(qiáng)魯棒性的代價(jià)函數(shù)模型，在自適應(yīng)權(quán)值局部立體匹配算法的基礎(chǔ)上加強(qiáng)了函數(shù)對(duì)圖像邊緣的敏感性，同時(shí)采用非參量變換相似性測(cè)度，加強(qiáng)圖像的抗噪性。針對(duì)上述算法中固定支持窗口計(jì)算復(fù)雜度的問題采用自適應(yīng)支持窗口降低代價(jià)聚合復(fù)雜度，提高算法效率。具體流程如圖2所示。yoon和kweon在中提出的自適應(yīng)權(quán)值算法是目前最好的局部立體匹配算法[38]，他們的算法強(qiáng)調(diào)了局部立體匹配算法的缺點(diǎn)，例如在缺乏全局能量函數(shù)某些參數(shù)的條件下難以對(duì)弱紋理和重復(fù)紋理的區(qū)域進(jìn)行有效地識(shí)別和匹配，假設(shè)在一定圖像區(qū)域內(nèi)具有相同強(qiáng)度的像素都來自于同一視差平面，那么通過對(duì)固定窗口內(nèi)像素的顏色和空間距離信息的加權(quán)即匹配代價(jià)的計(jì)算，就能夠得到較為準(zhǔn)確的立體匹配代價(jià)和匹配結(jié)果。然而，僅根據(jù)顏色相似性進(jìn)行視差估計(jì)是遠(yuǎn)遠(yuǎn)不夠的。本發(fā)明在他們工作的基礎(chǔ)上，主要從準(zhǔn)確度和計(jì)算復(fù)雜度兩個(gè)方面對(duì)局部立體匹配算法進(jìn)行了改進(jìn)。主要從三個(gè)角度提出了改進(jìn)措施，分別為代價(jià)函數(shù)的構(gòu)建、代價(jià)聚合方法優(yōu)化、濾波方式的優(yōu)化。下面分別從算法角度對(duì)三個(gè)方向進(jìn)行說明：1、代價(jià)函數(shù)構(gòu)建在進(jìn)行局部立體匹配算法時(shí)，首先應(yīng)該構(gòu)建用來衡量左右圖像對(duì)應(yīng)像素相似性的相似性測(cè)度函數(shù)，即立體匹配的代價(jià)函數(shù)。在傳統(tǒng)的自適應(yīng)權(quán)值立體匹配算法中，代價(jià)函數(shù)的計(jì)算方法為，首先為固定形狀的矩形支持窗口內(nèi)的每個(gè)像素賦予權(quán)值，權(quán)值大小取決于目標(biāo)像素與窗口中心像素的空間距離和cielab顏色空間中的顏色距離相關(guān)。像素的原始匹配代價(jià)可以通過截?cái)嘟^對(duì)誤差(tad)進(jìn)行計(jì)算。對(duì)應(yīng)參考圖像像素點(diǎn)p在目標(biāo)圖像中的點(diǎn)p'c(i,j-d+d')的代價(jià)和為窗口所有像素的加權(quán)代價(jià)和再對(duì)權(quán)值總和進(jìn)行歸一化，計(jì)算公式如(1)所示：其中c(pc,qc)是對(duì)應(yīng)(pc,qc)的總代價(jià)。pc,qc分別為左右視圖的對(duì)應(yīng)像素，w1,wr分別為以pc,qc為中心的支持窗口。pi,qi分別為落在ωl,ωr中的像素。ωl(pi,pc)和ωr(pi,pc)分別為pi,qi的加權(quán)系數(shù)。e0(pi,pc)為pi,qi的初始匹配代價(jià)。在(2)中ic表示c的顏色強(qiáng)度，t決定初始匹配代價(jià)的上限值。在(3)中dc(ic(pi),ic(pc))表示左視圖中像素pi,qi在cie顏色空間中的顏色距離，dp(pi,pc)表示pi,qi之間的空間距離。常數(shù)γc,γp為該算法的兩個(gè)參數(shù)。計(jì)算代價(jià)聚合之后，使用wta(winner-take-all)方法選擇像素的視差：其中d表示pc,qc對(duì)應(yīng)的視差候選，sd＝dmin......dmax為所有可能的視差值的集合。傳統(tǒng)的自適應(yīng)支持權(quán)值立體匹配算法在遮擋區(qū)域和圖像邊緣區(qū)域存在較多誤差，而且對(duì)圖像噪聲的抵抗能力較弱，而且當(dāng)左右視點(diǎn)圖像光照強(qiáng)度不平衡或出現(xiàn)輻射度失真時(shí)，基于圖像顏色和幾何空間距離的相似性測(cè)度函數(shù)無法準(zhǔn)確提供像素將的相似性信息。lee等人[9]提出的基于census變換的代價(jià)計(jì)算方法能夠在一定程度上提高算法的魯棒性和邊緣的頻譜精度，但該算法對(duì)中心像素的信息具有較強(qiáng)的依賴性，對(duì)噪聲比較敏感。本發(fā)明將census變換提取的圖像特征與自適應(yīng)權(quán)值的代價(jià)計(jì)算方法相結(jié)合，提出一種改進(jìn)的代價(jià)函數(shù)聚合方法。census變換的基本原理是以固定的矩形窗口對(duì)圖像進(jìn)行濾波，以窗口中心像素的灰度值作為參考，將矩形窗口中個(gè)像素點(diǎn)的值與參考值進(jìn)行比較，并用0和1來表示其大小關(guān)系，然后將比較得到的結(jié)果串接起來得到一個(gè)二進(jìn)制碼流，以此來表示中心像素與窗口內(nèi)鄰域像素之間的大小關(guān)系。該過程的數(shù)學(xué)表達(dá)式如公式(5)所示：其中np為目標(biāo)窗口內(nèi)除中心像素p之外的像素集合，i(p),i(q)分別為像素p、q對(duì)應(yīng)的灰度值，ξ[i(p),i(q)]滿足公式(6)：由census變換定義表示圖像對(duì)應(yīng)像素之間的代價(jià)可以通過計(jì)算經(jīng)過census變換得到的二進(jìn)制碼流之間的hamming距離得到，計(jì)算方法如公式(7)：加入該相似性測(cè)度函數(shù)之后的代價(jià)函數(shù)可以表示為公式(8)：其中dcen(ic(pi),ic(pc))為基于census變換的相似性測(cè)度函數(shù)。2、基于十字框架自適應(yīng)窗口的選取方法大部分的局部立體匹配算法采用的是固定大小和形狀的匹配窗口，固定窗口面臨的問題是無法完整的包含同一深度平面的全部信息。窗口的大小決定了匹配信息的復(fù)雜程度，一方面決定了匹配算法的計(jì)算復(fù)雜度，另一方面也會(huì)對(duì)最終結(jié)果的精確度產(chǎn)生影響。過小的窗口雖然匹配速度快，但是由于所包含信息量的限制，在弱紋理區(qū)域會(huì)產(chǎn)生較大的誤差；過大的窗口會(huì)導(dǎo)致計(jì)算速度下降，影響匹配的實(shí)時(shí)性，而且在深度不連續(xù)的區(qū)域會(huì)產(chǎn)生較大誤差。yoon的自適應(yīng)權(quán)值算法通過計(jì)算像素的加權(quán)代價(jià)的方法，在一定程度上解決了上述問題，然而卻大量增加了計(jì)算復(fù)雜度，導(dǎo)致算法運(yùn)行時(shí)間過長，缺乏實(shí)時(shí)性。實(shí)現(xiàn)局部立體匹配準(zhǔn)確性的關(guān)鍵問題是能夠自適應(yīng)的為每個(gè)像素選取合適的支持窗口。原則上，該選定區(qū)域內(nèi)的所有像素都應(yīng)具有相同的深度。然而，通常待匹配圖像不預(yù)先提供任何深度信息。大多數(shù)研究利用約束條件來確定同一深度像素覆蓋的區(qū)域，假設(shè)在符合一定約束條件的區(qū)域內(nèi)所有像素具有相同的深度。本發(fā)明采用基于十字框架的自適應(yīng)支持窗口獲取方法，該方法能為輸入圖像中的每個(gè)像素自適應(yīng)的生成一種正交十字框架的支持窗口。如圖3所示，窗口的確定方法關(guān)鍵在于組成十字框架的相互垂直線段的臂長如何確定。如圖3(a)所示，以像素p作為中心建立十字框架支持窗口。其中p的坐標(biāo)為(xp,yp).已知窗口的主要框架為互相垂直的兩部分，它們的交點(diǎn)即為中心像素p，通過自適應(yīng)的改變兩條互相垂直的像素集合的長度，改變支持窗口的大小和形狀。因此首先要計(jì)算的是從交點(diǎn)p分別向四個(gè)方向延伸的長度集合其中分別代表水平方向上左右兩個(gè)方向的長度，分別代表垂直方向上上下兩個(gè)方向的長度。在立體視覺領(lǐng)域用于計(jì)算支持窗口尺寸的方法有很多，由于本發(fā)明提出的改進(jìn)點(diǎn)之一是基于圖像顏色的改進(jìn)，因此這里使用圖像中像素的顏色相似性作為相似性度量，計(jì)算的參數(shù)值。首先，根據(jù)相關(guān)性約束建立顏色相似性度量函數(shù)。用大小為3x3的濾波器對(duì)目標(biāo)圖像i進(jìn)行濾波，以減少立體圖像中由于朗博原理而產(chǎn)生的噪聲。然后，以目標(biāo)像素p的水平左方向的窗口尺寸參數(shù)為例，說明十字窗口框架的獲得方法。該方法的最終目的是通過逐一檢測(cè)目標(biāo)像素一方向上相鄰像素的顏色相似性，得到與目標(biāo)像素具有相似顏色的最遠(yuǎn)像素與目標(biāo)像素p的距離，并以此距離作為水平負(fù)向臂長相似像素集合長度最大值可以表示為ε*，計(jì)算公式如下(9)(10)所示：其中，pi為水平方向上相鄰待測(cè)像素，以水平負(fù)方向?yàn)槔?，p＝(x,y)為中心像素，pi＝(x-i,y)；為表示像素間顏色相似性的指示函數(shù)，計(jì)算方法為，將兩個(gè)像素在顏色空間中所有顏色分量的最大絕對(duì)誤差與設(shè)定的顏色相似性閾值τ進(jìn)行比較，范圍內(nèi)的像素即視為顏色相似像素，即值取1。通過調(diào)整τ的值，可以調(diào)整窗口顏色一致性，根據(jù)實(shí)驗(yàn)，使不同圖像得到最佳結(jié)果的τ值也不同。將計(jì)算結(jié)果帶入公式(9)，能夠得到包含相似像素的最遠(yuǎn)距離，即十字框架窗口沿其中某一方向的臂長。為避免計(jì)算得到的窗口過小，應(yīng)使窗口臂長最小為1，因此以為例，且均滿足該條件，則所得支持窗口至少為3x3的矩形窗口。根據(jù)計(jì)算得到的可以確定像素p(xp,xp)的兩個(gè)正交十字框架的水平部分h(p)和垂直部分v(p)。如公式(11)：該方法與yoon的固定支持窗口算法的主要區(qū)別在于，對(duì)于每個(gè)像素的支持窗口只需要記錄四個(gè)方向的臂長就能夠確定該位置的像素支持特征，節(jié)省了大量的存儲(chǔ)空間，進(jìn)而優(yōu)化了計(jì)算速度。為了更加精確的獲取像素支持特征，以水平部分的為參考，以垂直部分為軸，將得到的水平分量疊加，得到完整的自適應(yīng)支持區(qū)域。具體的操作方法為，以v(p)上與p相鄰的上下半軸上的像素q為中心，按照計(jì)算的方法，得到該位置上的水平臂長h(p)。重復(fù)上述步驟，將得到的疊加形成如圖3(a)所示區(qū)域u(p)。疊加過程如公式(12)同樣，還可以以水平部分為軸，計(jì)算垂直分量的疊加得到支持區(qū)域。通過實(shí)驗(yàn)證明了這兩種方法所得到的結(jié)果僅存在微小差異，可以忽略不計(jì)。因此這里以水平疊加的方法為例進(jìn)行說明。圖3(c)展示了該方法在樣本圖像上應(yīng)用的結(jié)果。由該方法生成的支持區(qū)域邊緣與圖像顏色等特征邊緣十分吻合。3、基于引導(dǎo)圖濾波的代價(jià)聚合方法引導(dǎo)濾波算法是一種基于局部線性模型的算法，能夠?qū)崿F(xiàn)雙邊濾波的保邊去噪效果，并且在邊緣平滑方面有更好的表現(xiàn)。引導(dǎo)圖像可以是輸入圖像本身或另外一幅圖像。由于它與laplacian算子具有一定的理論聯(lián)系，因此可以很容易地將它的概念延伸到圖像平滑之外的領(lǐng)域。此外引導(dǎo)濾波具有非線性時(shí)間特性，其計(jì)算復(fù)雜度與濾波窗口大小無關(guān)。本發(fā)明使用導(dǎo)濾波算法計(jì)算初始匹配代價(jià)，并通過實(shí)驗(yàn)證明相比自適應(yīng)權(quán)值算法以及一些其他算法，它在不損失匹配準(zhǔn)確度的前提下具有更低的計(jì)算復(fù)雜度以及更短的運(yùn)行時(shí)間。已知局部算法匹配代價(jià)為c(pc,qc)，設(shè)c'p為引導(dǎo)濾波函數(shù)，其計(jì)算公式如(13)～(16)：通過歸一化加權(quán)聚合的方法得到代價(jià)聚合函數(shù)，其中，cq為對(duì)應(yīng)點(diǎn)q的代價(jià)函數(shù)，ak和bk為濾波器模型的待定系數(shù)和常數(shù)參量，為局部窗口內(nèi)的平均匹配代價(jià)，ip為待測(cè)圖像的顏色分量，這里采用cielab顏色空間進(jìn)行計(jì)算。γk和uk為由iq中顏色分量構(gòu)成的均值協(xié)方差矩陣。s為支持區(qū)域，ns為局部支持區(qū)域的像素總數(shù)。通過引導(dǎo)濾波能夠得到局部立體匹配初始視差圖的最終結(jié)果。實(shí)驗(yàn)結(jié)果與middlebury數(shù)據(jù)庫中相類似的雙目稠密視差圖生成方法所得的結(jié)果進(jìn)行比較。實(shí)驗(yàn)采用middlebury數(shù)據(jù)庫中的tsukuba、cones、venus、teddy圖像對(duì)作為該算法的測(cè)試樣本。經(jīng)過自適應(yīng)窗口和引導(dǎo)濾波得到的結(jié)果在弱紋理區(qū)域、遮擋區(qū)域、顏色邊緣等前述方法出現(xiàn)較大面積誤匹配像素的區(qū)域，其誤匹配現(xiàn)象明顯減少了，尤其在teddy中圖像邊緣的遮擋區(qū)域，以及teddy、cones中局部的負(fù)時(shí)差區(qū)域，venus中大面積的弱紋理區(qū)域等。實(shí)驗(yàn)證明，基于十字框架的自適應(yīng)支持窗口獲取方法和引導(dǎo)濾波算法能夠有效的提高算法準(zhǔn)確度。本發(fā)明算法在圖像顏色邊緣區(qū)域的準(zhǔn)確度有了明顯的提高，此外在計(jì)算速度上也有了明顯改進(jìn)。此外，該算法還可應(yīng)用于立體圖像的舒適度檢測(cè)領(lǐng)域。圖4(a)分別為四幅標(biāo)準(zhǔn)測(cè)試圖像對(duì)的左視圖tsukuba，venus，teddy,cones。(b)為改進(jìn)相似性測(cè)度之后的局部視差圖；(c)為使用自適應(yīng)窗口以及引導(dǎo)圖濾波得到局部立體匹配視差圖。圖5對(duì)傳統(tǒng)算法中誤差較大的區(qū)域進(jìn)行了標(biāo)記，可以看到兩種算法所得結(jié)果在這些區(qū)域存在明顯差異，(b)中改進(jìn)算法的視差圖中類似邊緣區(qū)域毛刺和邊緣育肥的現(xiàn)象明顯減少，看上去更接近(c)中的真實(shí)視差圖。圖6中從(a)到(d)分別為四組測(cè)試圖像的真實(shí)視差圖(groundtruth)、經(jīng)典自適應(yīng)支持權(quán)值算法的實(shí)驗(yàn)結(jié)果、經(jīng)典基于圖像分割算法的實(shí)驗(yàn)結(jié)果、本發(fā)明提出的改進(jìn)局部立體匹配算法的實(shí)驗(yàn)結(jié)果。表1局部立體匹配算法參數(shù)實(shí)驗(yàn)采用middlebury數(shù)據(jù)庫中的tsukuba、cones、venus、teddy圖像對(duì)作為該算法的測(cè)試樣本。表2局部算法實(shí)驗(yàn)結(jié)果測(cè)試數(shù)據(jù)目前大部分雙目立體匹配算法采用middlebury提供的雙目立體視覺評(píng)價(jià)平臺(tái)進(jìn)行測(cè)試，該平臺(tái)提供了大量的立體圖像作為測(cè)試樣本，并可以上傳數(shù)據(jù)，與真實(shí)視差圖進(jìn)行對(duì)比得到相應(yīng)的實(shí)驗(yàn)數(shù)據(jù)。平臺(tái)還對(duì)所有提交的算法根據(jù)性能進(jìn)行了排名，可供所有訪問者查閱。該網(wǎng)站很大程度上促進(jìn)了立體匹配算法研究的進(jìn)展。本設(shè)計(jì)中所選取的立體圖像均來自middlebury測(cè)試網(wǎng)站。本設(shè)計(jì)共選取4幅源立體圖像樣本(tsukuba，venus，teddy，cones)，每一樣本圖像分辨率為375×450。scharstein等人在文獻(xiàn)[3]中首次提出一種衡量指標(biāo)，即誤差像素百分比和均方根誤差，如公式(1)(2)所示。其中b為誤匹配像素比例，n為圖像全部像素?cái)?shù)，dc、dt分別為像素的計(jì)算視差和真實(shí)視差，x,y為像素坐標(biāo)，δd為錯(cuò)誤判別門限，一般情況下取值為1。r為誤匹配均方根誤差值，表示數(shù)據(jù)分布的集中性。圖1是teddy和cones的左右圖像以及以左圖像的標(biāo)準(zhǔn)視差圖。圖7分別列出了cones和teddy的非遮擋區(qū)域、整幅圖像和視差不連續(xù)區(qū)域。在計(jì)算非遮擋區(qū)域錯(cuò)誤百分比、整幅圖像錯(cuò)誤百分比、視差不連續(xù)區(qū)域錯(cuò)誤百分比時(shí)，將所得視差圖分別與圖7所示的白色區(qū)域的標(biāo)準(zhǔn)視差使用公式(1)計(jì)算出不同區(qū)域的錯(cuò)誤百分比。圖中黑色區(qū)域均不參與計(jì)算，(c)和(f)中灰色區(qū)域也不參與計(jì)算。一般將立體匹配過程分成四個(gè)步驟[3]：計(jì)算每個(gè)像素的匹配代價(jià)；計(jì)算每個(gè)點(diǎn)匹配代價(jià)的和，即代價(jià)聚合；根據(jù)聚合的匹配代價(jià)選擇最佳視差；視差圖的改善優(yōu)化。本發(fā)明提出了一種新的局部立體匹配框架，利用非參量變換方法優(yōu)化匹配代價(jià)的相似性測(cè)度計(jì)算方式，實(shí)現(xiàn)更精確的匹配。從代價(jià)聚合框架和方法上對(duì)計(jì)算速度進(jìn)行優(yōu)化，采用基于十字框架的自適應(yīng)窗口方法獲得優(yōu)化后的支持區(qū)域，用引導(dǎo)圖濾波算法代替雙邊濾波算法，得到最終的匹配視差圖。參考文獻(xiàn)[1]robertslg.machineperceptionofthree-dimensionalsolids[j].1963,20(1):31–39。[2]scharstein,d.,szeliski,r.:ataxonomyandevaluationofdensetwoframestereocorrespondencealgorithms.int.j.comput.vis.47(1c3),7c42(2002)。[3]yoon,k.j.,kweon,i.s.:adaptivesupport-weightapproachforcorres-pondencesearch.ieeetrans.patternanal.mach.intell.28(4),650c656(2006)。[4]tanimotom.,overviewoffreeviewpointtelevision,signalprocessing:imagecommunication,2006,21(6):454-461。[5]kim,j.,kolmogorov,v.,zabih,r.:visualcorrespondenceusingenergyminimizationandmutualinformation.in:proceedingsofninthieeeinternationalconferenceoncomputervision,2003,pp.1033c1040.ieee(2003)。[6]gudmundssonsa,aanaesh,larsenr.fusionofstereovisionandtime-of-flightimagingforimproved3destimation[j].int.j.intell.syst.technol.appl”2008,5(3-4):425-433。[7]zhuj,wangl,yangr,davisj.fusionoftime-of-flightdepthandstereoforhighaccuracydepthmaps[j].ieeeconferenceoncvpr,2008,1-8。[8]gandhiyvineet,cechjan,horaudradu.high-resolutiondepthmapsbasedontof-stereofusion[j].ieeeinternationalconferenceonroboticsandautomation,2012,4742-4749。[9]leez,juangj,nguyentq.localdisparityestimationwiththree-modedcrosscensusandadvancedsupportweight[j].ieeetransactionsonmultimedia,2013,15(8):1855-1864。當(dāng)前第1頁12當(dāng)前第1頁12