雙目視覺(jué)立體匹配方法
【專利摘要】雙目視覺(jué)立體匹配方法，首先對(duì)視圖組中待匹配點(diǎn)進(jìn)行基于稠密特征描述方法的視差先驗(yàn)估計(jì)，而后使用漢明間距方法計(jì)算視圖組中候選匹配點(diǎn)之間的匹配代價(jià)，然后使用基于自適應(yīng)窗口代價(jià)聚集方法求取候選匹配點(diǎn)的代價(jià)聚集值，然后再使用基于最大后驗(yàn)概率模型的視差估計(jì)方法計(jì)算視圖組中每個(gè)像素點(diǎn)的視差值，最后對(duì)立體匹配結(jié)果進(jìn)行求精處理。本發(fā)明可以有效抑制左右視圖光照不同或曝光時(shí)間不同對(duì)立體匹配的影響，獲得了較高的立體匹配精度，算法快速、穩(wěn)定、可靠。
【專利說(shuō)明】雙目視覺(jué)立體匹配方法所屬【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種雙目視覺(jué)數(shù)字圖像的處理方法，特別是雙目視覺(jué)立體匹配方法?！颈尘凹夹g(shù)】
[0002]立體匹配是由二維圖像信息獲得三維物體信息的主要技術(shù)手段，在三維場(chǎng)景重構(gòu)、自動(dòng)駕駛、虛擬現(xiàn)實(shí)等許多雙目視覺(jué)應(yīng)用中，立體匹配一直是一個(gè)極具挑戰(zhàn)性的核心問(wèn)題。立體匹配一般假設(shè)匹配像素之間具有相似的亮度或者顏色信息，并基于這些信息進(jìn)行視差估計(jì)。然而，實(shí)際應(yīng)用場(chǎng)景中由于左右視圖存在輻射變化導(dǎo)致這種假設(shè)并不成立。光照變化和攝像機(jī)的曝光時(shí)間變化是影響立體匹配主要的輻射變化因素，大多數(shù)立體匹配方法面臨這些變化時(shí)其表現(xiàn)都會(huì)明顯下降。調(diào)試好的立體匹配方法只能在輸入圖像輻射不變的條件下使用，否則會(huì)產(chǎn)生很大的匹配誤差。
[0003]目前立體匹配方法主要分為局部匹配方法和全局匹配方法兩種。局部匹配方法通過(guò)固定尺寸窗口進(jìn)行代價(jià)聚集，運(yùn)算速度快，但在低紋理和深度不連續(xù)區(qū)域匹配效果差；全局匹配方法雖然能夠通過(guò)構(gòu)建復(fù)雜的能量函數(shù)模型得到高精度的匹配結(jié)果，但計(jì)算速度慢，并且對(duì)計(jì)算機(jī)的內(nèi)存需求較大。此外，上述兩種方法大都沒(méi)有考慮左右視圖輻射變化這一因素，其理想的匹配效果獲取的前提條件是參與匹配的左右視圖是在同一條件下得到的，即左右視圖的輻射變化一致。然而，雙目視覺(jué)在實(shí)際應(yīng)用中經(jīng)常會(huì)面臨光照變化或者攝像機(jī)曝光時(shí)間變化等輻射因素帶來(lái)的挑戰(zhàn)，上述兩種立體匹配方法的性能往往會(huì)隨著輻射變化的增強(qiáng)而急劇下降，導(dǎo)致雙目視覺(jué)無(wú)法正常使用。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的技術(shù)解決問(wèn)題:為了解決現(xiàn)有立體匹配方法對(duì)左右視圖的光照變化或曝光時(shí)間變化敏感、匹配精度低、運(yùn)算速度慢等缺點(diǎn)，本發(fā)明提供一種雙目視覺(jué)立體匹配方法，用于在左右視圖輻射變化較大、圖像成像質(zhì)量較差的情況下采用。該方法不僅匹配速度快、對(duì)左右視圖輻射變化魯棒，而且可以獲得較好的匹配精度和抗噪聲能力。
`[0005]本發(fā)明的技術(shù)方案是:雙目視覺(jué)立體匹配方法，其特征在于:首先對(duì)視圖組中待匹配點(diǎn)進(jìn)行基于稠密特征描述方法的視差先驗(yàn)估計(jì)，而后使用漢明間距方法計(jì)算視圖組中候選匹配點(diǎn)之間的匹配代價(jià)，然后使用基于自適應(yīng)窗口代價(jià)聚集方法求取候選匹配點(diǎn)的代價(jià)聚集值，然后再使用基于最大后驗(yàn)概率模型的視差估計(jì)方法計(jì)算視圖組中每個(gè)像素點(diǎn)的視差值，最后對(duì)立體匹配結(jié)果進(jìn)行求精處理。
[0006]上述的基于稠密特征描述方法的視差先驗(yàn)估計(jì)實(shí)現(xiàn)步驟:首先對(duì)視圖組中的左右視圖進(jìn)行Canny邊緣檢測(cè)和固定步長(zhǎng)網(wǎng)格抽樣，得到一組抽樣待匹配點(diǎn)。而后對(duì)左右視圖分別進(jìn)行Census變換和DAISY特征描述，并基于特征描述對(duì)得到的抽樣待匹配點(diǎn)進(jìn)行特征匹配，獲得一組魯棒匹配點(diǎn)的視差。最后根據(jù)這些魯棒點(diǎn)的視差對(duì)視差空間進(jìn)行三角化，得到待匹配點(diǎn)的視差先驗(yàn)估計(jì)值。
[0007]上述的自適應(yīng)窗口代價(jià)聚集方法實(shí)現(xiàn)步驟:首先設(shè)置初始代價(jià)聚集窗口的尺寸，而后求取聚集窗口內(nèi)像素的灰度均值，然后根據(jù)灰度均值計(jì)算聚集窗口內(nèi)每個(gè)像素點(diǎn)的二值權(quán)重，最后根據(jù)權(quán)重設(shè)計(jì)自適應(yīng)代價(jià)聚集函數(shù)，并求取候選匹配點(diǎn)之間的代價(jià)聚集值。
[0008]上述的基于最大后驗(yàn)概率模型的視差估計(jì)方法實(shí)現(xiàn)步驟:首先將視差的求解表示為求解最大條件概率的形式，而后將條件概率分解為先驗(yàn)概率與釋然概率之積，并建立各自的函數(shù)模型，然后根據(jù)求解的條件概率函數(shù)模型構(gòu)建視差能量函數(shù)，最后通過(guò)最小化能量函數(shù)求解視圖組中每個(gè)像素點(diǎn)的視差值。
[0009]本發(fā)明主要有兩大創(chuàng)新:(I)為提高匹配效率并實(shí)現(xiàn)對(duì)輻射變化魯棒，本發(fā)明將DAISY和Census變換結(jié)合計(jì)算一組魯棒匹配點(diǎn)的視差，通過(guò)對(duì)視差空間三角化為剩余待匹配點(diǎn)的視差估計(jì)提供先驗(yàn)信息；(2)為同時(shí)在深度不連續(xù)區(qū)域和低紋理區(qū)域獲得正確的視差估計(jì)，本發(fā)明提出一種簡(jiǎn)單高效的基于Census變換的自適應(yīng)窗口代價(jià)聚集方法。
[0010]本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于:本發(fā)明可以有效抑制左右視圖光照不同或曝光時(shí)間不同對(duì)立體匹配的影響，獲得了較高的立體匹配精度，算法快速、穩(wěn)定、可靠。
【專利附圖】

【附圖說(shuō)明】
[0011]圖1為本發(fā)明的流程圖；
[0012]圖2為視圖組I中的左視圖；
[0013]圖3為視圖組I中的右視圖1 ;
[0014]圖4為視圖組I中的右視圖2 ;
[0015]圖5為視圖組I的理想立體匹配結(jié)果；
[0016]圖6為現(xiàn)有技術(shù)中的視圖組I中的左視圖與右視圖1立體匹配結(jié)果；
[0017]圖7為現(xiàn)有技術(shù)中的視圖組I中的左視圖與右視圖2立體匹配結(jié)果；
[0018]圖8為本發(fā)明中的視圖組I中的左視圖Canny邊緣檢測(cè)結(jié)果；
[0019]圖9為本發(fā)明中的視圖組I中的左視圖Census變換結(jié)果；
[0020]圖10為本發(fā)明中的視圖組I中的魯棒匹配點(diǎn)檢測(cè)結(jié)果；
[0021]圖11為本發(fā)明中的視圖組I中的左視圖與右視圖1立體匹配結(jié)果；
[0022]圖12為本發(fā)明中的視圖組I中的左視圖與右視圖2立體匹配結(jié)果；
[0023]圖13為視圖組2中的左視圖；
[0024]圖14為視圖組2中的右視圖1 ;
[0025]圖15為視圖組2中的右視圖2 ；
[0026]圖16為視圖組2的真實(shí)視差圖；
[0027]圖17為現(xiàn)有技術(shù)中的視圖組2中的左視圖與右視圖1立體匹配結(jié)果；
[0028]圖18為本發(fā)明中視圖組2中的左視圖與右視圖1立體匹配結(jié)果；
[0029]圖19為現(xiàn)有技術(shù)中的視圖2中的左視圖與右視圖2立體匹配結(jié)果；
[0030]圖20為本發(fā)明中視圖組2中的左視圖與右視圖2立體匹配結(jié)果。
【具體實(shí)施方式】
[0031]如圖1所示，本發(fā)明的方法過(guò)程是，首先對(duì)視圖組中待匹配點(diǎn)進(jìn)行基于稠密特征描述方法的視差先驗(yàn)估計(jì)，而后使用基于漢明間距方法計(jì)算視圖組中候選匹配點(diǎn)之間的匹配代價(jià)，然后使用基于自適應(yīng)窗口代價(jià)聚集方法求取候選匹配點(diǎn)的代價(jià)聚集值，然后再使用基于最大后驗(yàn)概率模型的視差估計(jì)方法計(jì)算視圖組中每個(gè)像素點(diǎn)的視差值，最后對(duì)立體匹配結(jié)果進(jìn)行求精處理。
[0032]圖2和圖3分別為視圖組I中的左視圖和右視圖1，這兩幅視圖的拍攝條件相同。圖4是視圖組I中的右視圖2，該視圖與右視圖1相比，只有光照差異，其他完全一致。從圖中可以看出，場(chǎng)景中的同一個(gè)物體在圖2和圖3中的亮度基本一致，而在圖4中亮度明顯偏聞。
[0033]圖5是視圖組I中的左視圖與右視圖1 (或右視圖2)立體匹配的理想結(jié)果。從圖中可以看出，越靠近攝像機(jī)的物體，在圖中的亮度越高，反之越低。通過(guò)亮度能夠有效探知場(chǎng)景中物體的實(shí)際深度，這是雙目立體視覺(jué)最為重要的功能。
[0034]圖6是現(xiàn)有技術(shù)中的視圖組I中的左視圖與右視圖1立體匹配結(jié)果。將該圖與圖5進(jìn)行對(duì)比可以看出，當(dāng)左視圖與右視圖的光照條件一致時(shí)，現(xiàn)有技術(shù)能夠計(jì)算出的立體匹配結(jié)果與理想匹配結(jié)果接近，結(jié)果比較令人滿意。
[0035]圖7為現(xiàn)有技術(shù)中的視圖組I中的左視圖與右視圖2立體匹配結(jié)果。將該圖與圖5進(jìn)行對(duì)比可以看出，一旦左視圖與右視圖的光照條件不一致，現(xiàn)有技術(shù)計(jì)算出的立體匹配結(jié)果與理想匹配結(jié)果相差較大，一些局部區(qū)域的匹配誤差過(guò)大，難以滿足雙目視覺(jué)的應(yīng)用要求。
[0036]本發(fā)明主要分為視差先驗(yàn)估計(jì)、匹配代價(jià)計(jì)算、代價(jià)聚集、視差估計(jì)和視差求精五部分，并將視圖組中的左右視圖分別稱為參考圖像和目標(biāo)圖像。本發(fā)明假設(shè)參考圖像與目標(biāo)圖像經(jīng)過(guò)了立體校正，即消除了圖像畸變并實(shí)現(xiàn)了行對(duì)準(zhǔn)。
[0037]視差先驗(yàn)估計(jì)是指在參考圖像中找到一組能夠魯棒匹配點(diǎn)，并根據(jù)這些點(diǎn)的視差構(gòu)建分段線性視差平面，為剩余點(diǎn)的匹配提供一個(gè)先驗(yàn)估計(jì)值。圖8是視圖組I中的左視圖Canny邊緣檢測(cè)結(jié)果。從圖中可以看出，圖像邊緣包含了圖像的大部分關(guān)鍵信息。這些邊緣對(duì)輻射變化不敏感，可以找到對(duì)應(yīng)的魯棒匹配點(diǎn)。實(shí)際上除了邊緣點(diǎn)之外，圖像中仍有許多點(diǎn)能夠魯棒匹配?；谶@一圖像特點(diǎn)，本發(fā)明提出基于稠密特征描述方法的視差先驗(yàn)估計(jì)方法，具體實(shí)現(xiàn)步驟如下:首先對(duì)視圖組中的左右視圖進(jìn)行Canny邊緣檢測(cè)，并將檢測(cè)到的邊緣點(diǎn)作為第一組抽樣點(diǎn)。而后進(jìn)行固定步長(zhǎng)網(wǎng)格采樣，獲得第二組覆蓋圖像大部分區(qū)域的抽樣點(diǎn)。本發(fā)明將得到的上述兩組抽樣點(diǎn)稱為候選魯棒匹配點(diǎn)。為實(shí)現(xiàn)對(duì)輻射變化魯棒，本發(fā)明對(duì)視圖進(jìn)行Census變換，如圖9所示，而后采用稠密特征描述子DAISY對(duì)變換后的圖像進(jìn)行特征描述，最后基于特征描述對(duì)候選魯棒匹配點(diǎn)進(jìn)行嚴(yán)格的特征匹配。
[0038]設(shè)視差搜索范圍為Dp lRCensus IlCensus分別表示經(jīng)過(guò)CeilSUS變換后的參考圖像和目標(biāo)圖像，DAISY (U，V)表示1 3中像素點(diǎn)P (U，V)的描述子，d表示其視差值。由于圖像為校正后的圖像，那么該點(diǎn)在ITCmsus中的匹配點(diǎn)可以表示為V (u-d, V)，對(duì)應(yīng)的特征描述子可以表示為DAISY(u-d，v)。本發(fā)明將p(u，v)具有視差值d的概率表示為:
【權(quán)利要求】
1.雙目視覺(jué)立體匹配方法，其特征在于:首先對(duì)視圖組中待匹配點(diǎn)進(jìn)行基于稠密特征描述方法的視差先驗(yàn)估計(jì)，而后使用漢明間距方法計(jì)算視圖組中候選匹配點(diǎn)之間的匹配代價(jià)，然后使用基于自適應(yīng)窗口代價(jià)聚集方法求取候選匹配點(diǎn)的代價(jià)聚集值，然后再使用基于最大后驗(yàn)概率模型的視差估計(jì)方法計(jì)算視圖組中每個(gè)像素點(diǎn)的視差值，最后對(duì)立體匹配結(jié)果進(jìn)行求精處理。
2.根據(jù)權(quán)利要求1所述的雙目視覺(jué)立體匹配方法，其特征在于:所述的基于稠密特征描述方法的視差先驗(yàn)估計(jì)實(shí)現(xiàn)步驟:首先對(duì)視圖組中的左右視圖進(jìn)行Canny邊緣檢測(cè)和固定步長(zhǎng)網(wǎng)格抽樣，得到一組抽樣待匹配點(diǎn)。而后對(duì)左右視圖分別進(jìn)行Census變換和DAISY特征描述，并基于特征描述對(duì)得到的抽樣待匹配點(diǎn)進(jìn)行特征匹配，獲得一組魯棒匹配點(diǎn)的視差。最后根據(jù)這些視差對(duì)視差空間三角化，得到待匹配點(diǎn)的視差先驗(yàn)估計(jì)值。
3.根據(jù)權(quán)利要求1所述的雙目視覺(jué)立體匹配方法，其特征在于:所述的自適應(yīng)窗口代價(jià)聚集方法實(shí)現(xiàn)步驟:首先設(shè)置初始代價(jià)聚集窗口的尺寸，而后求取聚集窗口內(nèi)像素的灰度均值，然后根據(jù)灰度均值計(jì)算聚集窗口內(nèi)每個(gè)像素點(diǎn)的二值權(quán)重，最后根據(jù)權(quán)重設(shè)計(jì)自適應(yīng)代價(jià)聚集函數(shù)，并求取候選匹配點(diǎn)之間的代價(jià)聚集值。
4.根據(jù)權(quán)利要求1所述的雙目視覺(jué)立體匹配方法，其特征在于:所述的基于最大后驗(yàn)概率模型的視差估計(jì)方法實(shí)現(xiàn)步驟:首先將視差的求解表示為求解最大條件概率的形式，而后將條件概率分解為先驗(yàn)概率與釋然概率之積，并建立各自的函數(shù)模型，然后根據(jù)求解的條件概率函數(shù)模型構(gòu)建視差能量函數(shù)，最后通過(guò)最小化能量函數(shù)求解視圖組中每個(gè)像素點(diǎn)的視差值。
【文檔編號(hào)】G06T5/00GK103440653SQ201310378696
【公開(kāi)日】2013年12月11日 申請(qǐng)日期:2013年8月27日 優(yōu)先權(quán)日:2013年8月27日
【發(fā)明者】屈玉福, 姜吉祥, 姜楠, 楊民 申請(qǐng)人:北京航空航天大學(xué)