一種基于混合匹配代價(jià)和自適應(yīng)窗口的立體匹配方法
【專利摘要】本發(fā)明提出了一種基于混合匹配代價(jià)和自適應(yīng)窗口的立體匹配方法。首先對傳統(tǒng)梯度匹配代價(jià)進(jìn)行了改進(jìn)，引入梯度相位信息。為進(jìn)一步提高算法的魯棒性，本發(fā)明結(jié)合灰度絕對差和(SAD)代價(jià)，并用指數(shù)函數(shù)對它們進(jìn)行歸一化，提出一種新的混合匹配代價(jià)；然后采用一種基于十字交叉自適應(yīng)窗口生成方法，可以根據(jù)相鄰像素的色彩和空間位置關(guān)系構(gòu)建自適應(yīng)窗口。在低紋理區(qū)域，提供較大的窗口以提高匹配精度；而在高紋理區(qū)域則產(chǎn)生較小的窗口，以保護(hù)物體邊緣等細(xì)節(jié)信息。對聚合后的代價(jià)，采用“勝者為王”(Winner-Takes-All(WTA))策略選擇使總代價(jià)最小對應(yīng)的視差值作為初始匹配結(jié)果；最后，提出一種局部視差直方圖的視差精化方法，獲得了高精度的視差圖。實(shí)驗(yàn)結(jié)果表明，所提方法匹配精度高，且對幅度失真條件具有較高的魯棒性。
【專利說明】—種基于混合匹配代價(jià)和自適應(yīng)窗口的立體匹配方法
【技術(shù)領(lǐng)域】:
[0001]本發(fā)明涉及一種雙目圖像立體匹配獲取深度圖方法，特別涉及一種基于混合匹配代價(jià)和自適應(yīng)窗口的立體匹配方法，本發(fā)明所獲得的深度圖結(jié)果可進(jìn)一步應(yīng)用于視覺測量、三維重構(gòu)、虛擬視點(diǎn)圖像繪制等領(lǐng)域。
【背景技術(shù)】:
[0002]立體匹配是計(jì)算機(jī)視覺中的一個(gè)經(jīng)典問題，一直是研究的熱點(diǎn)。多年來，研究者們提出了大量的算法試圖解決這個(gè)問題，但由于問題本身的病態(tài)性，目前還沒有比較完美的角軍決方案° Scharstein(參見 Daniel Scharstein, Richard Szelisk1.A taxonomyand evaluation of dense two-frame stereo correspondence algorithms[J].1nternational Journal of Computer Vision, 2002, 47 (I):7-42.)等深入研究了 一些典型的立體匹配算法，對各種主要方法進(jìn)行了較全面的綜述。他們把立體匹配過程概括為匹配代價(jià)計(jì)算、匹配代價(jià)聚合、初始視差計(jì)算和視差精化四步，并根據(jù)代價(jià)聚合方式把立體匹配算法劃分為局部方法和全局方法。全局方法一般有較高的匹配精度，但是效率較低；局部方法運(yùn)行速度快，易于實(shí)現(xiàn)，但是如何選擇合適的支持窗口和像素的匹配代價(jià)計(jì)算方法是個(gè)難題(參見Yang Qing-xiong.A non-local cost aggregationmethod for stereo matching[C].IEEE Conference on Computer Vision and PatternRecognition, 2012:1402-1409.)。
[0003]大多數(shù)立體匹配算法的相似性測度都是基于像素的灰度值，即兩幅圖像中的同一特征點(diǎn)在理想光照條件下應(yīng)該具有相同的灰度值(參見王軍政，朱華建，李靜.一種基于Census變換的可變權(quán)值立體匹配算法[J].北京理工大學(xué)學(xué)報(bào)，2013，33(7):704-710.)。例如灰度差絕對值和(AD)、灰度差平方和(SD)、Adapt Weight (參見Yoon K, Kweon S.Locallyadaptive support weight approch for visual correspondence search[J].1EEETransactions on Pattern Analysis and Machine Intelligence, 2006, 28(4):924-931.)>Segment Support (參見 Tombari F, Mattoccia S.Segmentation based adaptive supportfor accurate stereo correspondence[C].1EEE Pacific Rim Symposium on Video andTechnology, 2007:427-438.)等對于理想圖像能夠獲得較高精度的匹配結(jié)果,但是這些方法對于由光照變化、曝光差異、相機(jī)暗角等因素引起的圖像幅度失真非常敏感，因此難以用于真實(shí)場景圖像的匹配。對幅度失真不敏感的匹配代價(jià)主要有歸一化互相關(guān)(NCC)、梯度(Gradient)(參見 Daniel Scharstein.View synthesis using stereo vision.Phdthesis, 1997，23 (5): 98-109.)、Rank 和 Census 變換(參見 Ramin Zabih, John Woodf ill.Non-parametric local transforms for computing visual correspondence[C].Proceedings of European Conference on Computer Vision, 1994:151-158.)等。
[0004]傳統(tǒng)的固定窗口存在變換窗口大小的選擇問題:若窗口太小，貝1J匹配代價(jià)區(qū)分度過低，在低紋理區(qū)域容易出現(xiàn)誤匹配；若窗口過大，又會(huì)在深度不連續(xù)區(qū)域出現(xiàn)誤匹配(參見周龍，徐貴力，李開宇等.基于Census變換和改進(jìn)自適應(yīng)窗口的立體匹配算法[J].航空學(xué)報(bào)，2012，33(5):886-892.)。Fusiello 和 Roberto (參見 Fusiello A, RobertoV.Efficient stereo with multiple windowing[C].IEEE Computer Society Conferenceon Computer vision and Pattern Recognition, 1997:858-863.)提出在預(yù)先給定的多個(gè)窗口中選擇最優(yōu)窗口作為支持窗口 ；Veksler (參見Veksler 0.Fast variable window forstereo correspondence using integral image[C].1EEE Computer Society Conferenceon Computer vision and Pattern Recognition, 2003:556-561.)提出逐點(diǎn)自適應(yīng)選取支持窗口的形狀和大?。籞hang (參見 Zhang K.Cross-based local stereo matching usingorthogonal integral images[J].1EEE Transactions on Circuits and systems forVideo Technology, 2009, 19(7): 1073-1079.)根據(jù)相鄰像素的色彩關(guān)系自適應(yīng)選擇任意形狀和大小的支持窗口，取得較好的視差結(jié)果。

【發(fā)明內(nèi)容】
:
[0005]針對上述匹配代價(jià)和窗口選擇問題，本發(fā)明提出了一種基于混合匹配代價(jià)和自適應(yīng)窗口的立體匹配方法。首先對傳統(tǒng)梯度匹配代價(jià)進(jìn)行了改進(jìn)，引入梯度相位信息，并結(jié)合SAD代價(jià)提出一種新的混合匹配代價(jià)；然后利用圖像結(jié)構(gòu)和色彩信息構(gòu)建自適應(yīng)窗口進(jìn)行代價(jià)聚合及“勝者為王”(Winner-Takes-All(WTA))策略進(jìn)行視差選擇；最后，提出一種局部視差直方圖的視差精化方法，獲得了高精度的視差圖。
[0006]本發(fā)明要解決的技術(shù)問題是:
[0007]1.傳統(tǒng)局部匹配方法對圖像幅度失真魯棒性較低，在光照失真條件下匹配精度迅速降低的問題。
[0008]2.固定窗口的代價(jià)聚合方法難以在圖像低紋理和深度不連續(xù)區(qū)域同時(shí)獲得較高匹配精度的問題。
[0009]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案:基于混合匹配代價(jià)和自適應(yīng)窗口的匹配方法，其特征在于包括以下步驟:
[0010]步驟一:匹配代價(jià)計(jì)算:匹配代價(jià)是左右圖像之間對應(yīng)點(diǎn)相似度的度量，利用梯度向量在圖像X、y方向的兩個(gè)分量，定義梯度向量的模m和相角Φ，然后采用模和相角的線性結(jié)合及SAD作為匹配代價(jià)函數(shù)，并將其歸一化到O?I之間。
[0011]步驟二:自適應(yīng)窗口構(gòu)造:對待匹配圖像的每個(gè)像素構(gòu)造一個(gè)自適應(yīng)大小的聚合窗口，窗口的大小將直接決定參與聚合的鄰域像素多少。本發(fā)明采用一種改進(jìn)的十字交叉自適應(yīng)窗口生成方法，可以根據(jù)相鄰像素的色彩和空間位置關(guān)系構(gòu)建自適應(yīng)窗口。在低紋理區(qū)域，提供較大的窗口以提高匹配精度；而在高紋理區(qū)域則產(chǎn)生較小的窗口，以保護(hù)物體邊緣等細(xì)節(jié)信息。
[0012]步驟三:代價(jià)聚合:確定每個(gè)像素的自適應(yīng)窗口之后，需對窗口內(nèi)每個(gè)單像素的原始匹配代價(jià)進(jìn)行聚合獲得總代價(jià)，最后選擇使總代價(jià)最小對應(yīng)的視差值作為初始匹配結(jié)果O
[0013]步驟四:視差精化:通過上述步驟得到的初始視差與真實(shí)視差還存在一些誤匹配點(diǎn)和不可信值，需要進(jìn)行視差精化處理。本發(fā)明提出一種基于局部視差直方圖的視差精化方法對初始視差圖進(jìn)行進(jìn)一步處理。然后，采用左右一致性檢驗(yàn)檢測仍然存在的誤匹配點(diǎn)，利用相鄰有效點(diǎn)中視差較小的值對誤匹配點(diǎn)進(jìn)行賦值?！緦＠綀D】

【附圖說明】:
[0014]圖1為本發(fā)明方法的流程圖。
[0015]圖2為自適應(yīng)窗口構(gòu)造過程示意圖。
[0016]圖3(a)為Tsukuba圖像對的實(shí)驗(yàn)結(jié)果。
[0017]圖3(b)為Venus圖像對的實(shí)驗(yàn)結(jié)果。
[0018]圖3(c)為Teddy圖像對的實(shí)驗(yàn)結(jié)果。
[0019]圖3(d)為Cones圖像對的實(shí)驗(yàn)結(jié)果。
[0020]圖4(a)為相同光照和曝光條件下的實(shí)驗(yàn)結(jié)果。
[0021]圖4(b)為不同光照條件下的實(shí)驗(yàn)結(jié)果。
[0022]圖4(c)為不同曝光條件下的實(shí)驗(yàn)結(jié)果。
[0023]圖4(d)為不同光照和曝光條件下的實(shí)驗(yàn)結(jié)果。
【具體實(shí)施方式】:
[0024]下面結(jié)合附圖及【具體實(shí)施方式】進(jìn)一步詳細(xì)介紹本發(fā)明。
[0025]本發(fā)明提出了一種基于混合匹配代價(jià)和自適應(yīng)窗口的立體匹配方法，主要有四個(gè)步驟。
[0026]步驟一:匹配代價(jià)計(jì)算。具體實(shí)現(xiàn)方法如下:
[0027]圖像梯度定義為圖像沿X和y方向的一階偏導(dǎo)數(shù):
【權(quán)利要求】
1.一種基于混合匹配代價(jià)和自適應(yīng)窗口的立體匹配方法，其特征在于:該方法在傳統(tǒng)梯度匹配代價(jià)僅包含幅值信息的基礎(chǔ)上，引入梯度相位信息，并結(jié)合灰度SAD(Sum OfAbsolute Difference)提出一種新的混合匹配代價(jià)；然后利用圖像結(jié)構(gòu)和色彩信息構(gòu)建自適應(yīng)窗口進(jìn)行代價(jià)聚合及“勝者為王”(Winner-Takes-All(WTA))策略進(jìn)行視差選擇?’最后，提出一種基于局部視差直方圖的視差精化方法，獲得了高精度的視差圖。方法具體步驟如下: 步驟一:匹配代價(jià)計(jì)算:匹配代價(jià)是左右圖像之間對應(yīng)點(diǎn)相似度的度量，利用梯度向量在圖像x、y方向的兩個(gè)分量，定義梯度向量的模m和相角V，然后采用模和相角的線性結(jié)合及SAD作為匹配代價(jià)函數(shù)，并將其歸一化到O~I之間。 步驟二:自適應(yīng)窗口構(gòu)造:對待匹配圖像的每個(gè)像素構(gòu)造一個(gè)自適應(yīng)大小的聚合窗口，窗口的大小將直接決定參與聚合的鄰域像素多少。本發(fā)明采用一種改進(jìn)的十字交叉自適應(yīng)窗口生成方法，可以根據(jù)相鄰像素的色彩和空間位置關(guān)系構(gòu)建自適應(yīng)窗口。在低紋理區(qū)域，提供較大的窗口以提高匹配精度；而在高紋理區(qū)域則產(chǎn)生較小的窗口，以保護(hù)物體邊緣等細(xì)節(jié)信息。 步驟三:代價(jià)聚合:確定每個(gè)像素的自適應(yīng)窗口之后，需對窗口內(nèi)每個(gè)單像素的原始匹配代價(jià)進(jìn)行聚合獲得總代價(jià)，最后選擇使總代價(jià)最小對應(yīng)的視差值作為初始匹配結(jié)果。 步驟四:視差精化:通過上述步驟得到的初始視差與真實(shí)視差還存在一些誤匹配點(diǎn)和不可信值，需要進(jìn)行視差精化處理。本發(fā)明提出一種基于局部視差直方圖的視差精化方法對初始視差圖進(jìn)行進(jìn)一步處理。然后，采用左右一致性檢驗(yàn)檢測仍然存在的誤匹配點(diǎn)，利用相鄰有效點(diǎn)中視差較小的值對誤匹配點(diǎn)進(jìn)行賦值。
2.根據(jù)權(quán)利要求1中所 述的一種基于混合匹配代價(jià)和自適應(yīng)窗口的立體匹配方法，其特征在于:所述步驟一的匹配代價(jià)應(yīng)用混合匹配代價(jià)，具體計(jì)算過程如下: 圖像梯度定義為圖像沿X和I方向的一階偏導(dǎo)數(shù):
(SI Λ
(G Λ ^ Cr- Λ — KJ —一 _ ^G olV y J — 其中I為圖像灰度，實(shí)際應(yīng)用中，可以通過水平方向和豎直方向的模板計(jì)算梯度向量。這樣就可以得到左、右圖像的梯度圖q= (GLx, GLy)T,GE= (GKx，GKy)T;考慮校正后的圖像，設(shè)p(x, y)為左圖像上一點(diǎn)，則右圖像上對應(yīng)視差d的匹配點(diǎn)為pd(x-d，y)。 利用梯度向量在X、I方向的兩個(gè)分量，定義梯度向量的模和相角: ^ = P；+G1y

+ (Gv)

φ = arctan — 梯度的模m表征灰度變化率，相角Φ表征灰度變化率最大時(shí)的方向，它們提供了像素鄰域的不同信息，并且對光照失真有不同的不變性。輸入圖像對增益失真會(huì)影響梯度模，而相角則不會(huì)變化，但是它們都不會(huì)受到偏置失真影響。因而，將梯度的模和相角分開考慮更有利于控制算法對噪聲的敏感性。本發(fā)明采用模和相角的線性結(jié)合作為匹配代價(jià)函數(shù)，以便最大限度利用梯度信息。表達(dá)如下:
3.根據(jù)權(quán)利要求1中所述的一種基于混合匹配代價(jià)和自適應(yīng)窗口的立體匹配方法，其特征在于:所述步驟二和步驟三應(yīng)用改進(jìn)的十字交叉自適應(yīng)窗口生成方法，具體過程如下: 首先，根據(jù)圖像結(jié)構(gòu)和色彩信息確定當(dāng)前待匹配像素P的一個(gè)十字交叉區(qū)域，該十字交叉區(qū)域包含水平和垂直方向，分別用H(P)和V(P)表示，區(qū)域的大小由4個(gè)方向的臂長{hpXp,v；,v；}確定，并可根據(jù)圖像的結(jié)構(gòu)和色彩信息自適應(yīng)地改變。以h;為例，臂長的判別準(zhǔn)則如下: LDdpX ^和 Dc(PilPjaO)XT1 ;
2.Ds (Pi, PXL1 ；
3.Dc (Pi, P)〈 τ 2，L2^Ds (P” P) (L1 ο其中，Ds (Pi, p)為像素Pi和P的空間距離差^(Pi, P)是色彩差，定義為
4.根據(jù)權(quán)利要求1中所述的一種基于混合匹配代價(jià)和自適應(yīng)窗口的立體匹配方法，其特征在于:所述步驟四提出了基于局部視差直方圖的視差精化方法，具體計(jì)算過程如下: 對于視差圖中某個(gè)像素P，以其為中心，在它的鄰域范圍內(nèi)構(gòu)造一個(gè)局部視差直方圖% P)，統(tǒng)計(jì)領(lǐng)域內(nèi)每個(gè)視差值出現(xiàn)的次數(shù)。在直方圖中將出現(xiàn)一個(gè)峰值，表示視差出現(xiàn)的最大次數(shù)。該峰值對應(yīng)的視差值是統(tǒng)計(jì)意義上的最優(yōu)視差值,，本發(fā)明采用這一最優(yōu)值代替像素P的初始視差"
【文檔編號(hào)】G06T7/00GK103996202SQ201410259310
【公開日】2014年8月20日 申請日期:2014年6月11日 優(yōu)先權(quán)日:2014年6月11日
【發(fā)明者】祝世平, 李政 申請人:北京航空航天大學(xué)