專利名稱：基于圖像分割的大面積低紋理區(qū)立體匹配算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺、數(shù)字圖像處理和圖像分割領(lǐng)域，特別是涉及一種基于圖像分割的大面積低紋理區(qū)立體匹配算法。
背景技術(shù)：
立體視覺在實(shí)質(zhì)上是從左右圖片恢復(fù)被拍照物體三維信息的過程。立體視覺中的立體匹配環(huán)節(jié)，一直是制約立體視覺發(fā)展的瓶頸，也是立體視覺中研究領(lǐng)域的熱點(diǎn)問題。近年來，隨著計(jì)算機(jī)科學(xué)、人工智能、以及機(jī)器人技術(shù)等其它相關(guān)領(lǐng)域?qū)W科的發(fā)展，隨著攝像機(jī)和計(jì)算芯片性能的提高，立體視覺技術(shù)正在更加廣泛地應(yīng)用于各個(gè)方面。立體視覺在車輛導(dǎo)航，工業(yè)檢測，地圖繪制，物體三維重構(gòu)等多方面有十分廣闊的應(yīng)用。多尺度分析是正確認(rèn)識(shí)事物和現(xiàn)象的重要方法之一。研究者們在劃分圖像的邊緣和紋理時(shí)，發(fā)現(xiàn)圖像的邊緣和紋理的識(shí)別依賴于圖像分析的尺度，于是產(chǎn)生了在不同的尺 度下檢測圖像特征的方法。目前，很多文獻(xiàn)提到采用多尺度的圖像處理方法，其核心內(nèi)容是建立圖像金字塔，把圖像信息分層次的表現(xiàn)出來隨著采樣尺度的大小不同，得到的圖像分辨率也不同。這種方法的優(yōu)勢非常明顯，在某種分辨率下不能注意到的圖像特征在另一種分辨率下就可以很容易的發(fā)現(xiàn)了。需要從較小的尺度來觀察圖像的細(xì)節(jié)信息，從較大尺度來觀察圖像的整體特征。利用低通濾波構(gòu)建多分辨率金字塔的方法實(shí)現(xiàn)簡單，時(shí)空復(fù)雜度較低。通過這種方式，把立體匹配過程嵌入到“由粗到精”的離散尺度空間當(dāng)中，粗分辨率下的匹配結(jié)果作為進(jìn)一步精匹配的指導(dǎo)。這種方法在一定程度上能提高匹配精度，加快匹配速度。圖像分割把一幅圖像中具有相似特性的不同區(qū)域分別劃分出來。而正確、有效的圖像分割能夠?yàn)檫M(jìn)一步目標(biāo)識(shí)別和圖像分析奠定良好的基礎(chǔ)。Mean Shift的最初含義就是偏移的均值向量，但隨著Mean Shift理論的發(fā)展,一般情況下提到Mean Shift算法,是指一個(gè)迭代至收斂的過程。Comaniciu等人把Mean Shift理論引入數(shù)字圖像處理領(lǐng)域,在解決圖像平滑和圖像分割很有效。算法的過程就是先找出當(dāng)前點(diǎn)的偏移均值，然后把該點(diǎn)移動(dòng)到其偏移均值，再把這個(gè)結(jié)果作為新的起始點(diǎn)，迭代計(jì)算并移動(dòng)直到滿足約束條件的過程。而利用Mean Shift算法進(jìn)行圖像分割，就是把收斂到相同點(diǎn)的像素都?xì)w類，然后把不同類別記錄下來，區(qū)分標(biāo)示。在實(shí)際工作中，為了獲得更好的圖像分割結(jié)果，有時(shí)還需要把含較少象素點(diǎn)的類歸并。目前的匹配算法有全局匹配和局部匹配兩大類，全局匹配有動(dòng)態(tài)規(guī)劃、圖切、模擬退火和置信傳播等算法，這類算法通過在全局中計(jì)算最優(yōu)解來求取視差圖，得到的視差圖在整體上有很好的效果，但是匹配速度非常慢，基于全局的立體匹配算法，會(huì)把待匹配點(diǎn)的周圍信息盡可能多的引入，起到擴(kuò)大鄰域的作用，此時(shí)可以在某種程度上解決非紋理區(qū)匹配的問題。這類方法盡管時(shí)空復(fù)雜度都高一些，但是獲得的視差圖更加準(zhǔn)確。然而，對(duì)于大片非紋理區(qū)，全局算法并不能獲得完美的效果，它只能是把靠近紋理區(qū)的視差計(jì)算出來。而傳統(tǒng)的基于圖像灰度的局部立體匹配方法，對(duì)于紋理區(qū)的匹配效果都比較好，而對(duì)于非紋理區(qū)匹配效果往往不盡人意。尤其是對(duì)于大片的非紋理區(qū)域，按照局部匹配算法計(jì)算的視差基本失效。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種克服常規(guī)算法不能處理低紋理區(qū)匹配的不足的基于圖像分割的大面積低紋理區(qū)立體匹配算法。本發(fā)明的目的是這樣實(shí)現(xiàn)的基于圖像分割的大面積低紋理區(qū)立體匹配算法包括下列步驟步驟一根據(jù)實(shí)際需求對(duì)立體像對(duì)進(jìn)行預(yù)處理；步驟二 把經(jīng)過預(yù)處理的立體像對(duì)按照三個(gè)方向進(jìn)行處理，分三個(gè)支路支路I: 利用mean shift算法對(duì)基準(zhǔn)圖進(jìn)行圖像分割，積累窗口的形狀為圖像后每個(gè)聚類的形狀，生成視差圖disp_seg ；支路2:利用多窗口算法,在多尺度空間內(nèi)計(jì)算視差圖disp_Mutiscales ；支路3:在基準(zhǔn)圖像劃分紋理區(qū)及非紋理區(qū)表示結(jié)果為Texture_Picture ；步驟三根據(jù)步驟二中3個(gè)支路產(chǎn)生的結(jié)果，合成視差圖；支路3生成的Texture_Picture圖像標(biāo)明了圖像紋理區(qū)和非紋理區(qū)；支路2所生成的視差圖disp_Mutiscales在紋理區(qū)是準(zhǔn)確的，而在大片的非紋理區(qū)中，支路I生成的視差圖disp_seg在劃分好聚類的區(qū)域是準(zhǔn)確的；因此能按Texture_Picture的標(biāo)記,綜合disp_Mutiscales、disp_seg 的結(jié)果，合成準(zhǔn)確的視差圖為Texture_compose ；步驟四對(duì)生成的視差圖進(jìn)行后期處理。本發(fā)明的方法的主要特點(diǎn)如下I、本發(fā)明嵌入多尺度的匹配方法，利用上層視差的結(jié)果指導(dǎo)下層計(jì)算，有助于提高匹配速度和準(zhǔn)確程度。2、本發(fā)明在多尺度空間的每一層中都使用多窗口算法進(jìn)行立體匹配，保證了最大限度的引入了紋理區(qū)信息，使得紋理區(qū)以及非紋理區(qū)中靠近邊界的區(qū)域匹配結(jié)果準(zhǔn)確。3、本發(fā)明利用了 mean shift的聚類功能，把非紋理區(qū)待匹配的像素最大化地和周圍聯(lián)系起來，把圖像分割的結(jié)果作為積累窗口的形態(tài)，這一針對(duì)大面積非紋理區(qū)的立體匹配方法有很好的效果。4、本發(fā)明根據(jù)對(duì)紋理區(qū)和非紋理區(qū)的劃分結(jié)果，綜合兩種視差圖生成最終結(jié)果，保證了最終視差圖的準(zhǔn)確性和稠密性的要求。


圖I為視差圖求解流程圖；圖2為建立多尺度圖像金字塔示意圖；圖3a_i為多窗口的匹配窗口示意圖；圖4a為第一組原始立體像對(duì)左圖4b為第一組原始立體像對(duì)右圖；圖5a第一組原始實(shí)驗(yàn)數(shù)據(jù)多窗口匹配結(jié)果的差圖；圖5b第一組原始實(shí)驗(yàn)數(shù)據(jù)SSD匹配結(jié)果的差圖；圖6為第一組原始實(shí)驗(yàn)數(shù)據(jù)的大面積存在的非紋理區(qū)；圖7為本發(fā)明算法的第一組原始實(shí)驗(yàn)數(shù)據(jù)生成的視差圖；圖8a為第二組原始立體像對(duì)左圖；圖8b為第二組原始立體像對(duì)右圖；圖9a第一組原始實(shí)驗(yàn)數(shù)據(jù)多窗口匹配結(jié)果的差圖；
圖9b第一組原始實(shí)驗(yàn)數(shù)據(jù)SSD匹配結(jié)果的差圖；圖10為第二組原始實(shí)驗(yàn)數(shù)據(jù)的大面積存在的非紋理區(qū)；圖11為本發(fā)明算法的第二組原始實(shí)驗(yàn)數(shù)據(jù)生成的視差圖；圖12a為第三組原始立體像對(duì)左圖；圖12b為第三組原始立體像對(duì)右圖；圖13a第一組原始實(shí)驗(yàn)數(shù)據(jù)多窗口匹配結(jié)果的差圖；圖13b第一組原始實(shí)驗(yàn)數(shù)據(jù)SSD匹配結(jié)果的差圖；圖14為第三組原始實(shí)驗(yàn)數(shù)據(jù)的大面積存在的非紋理區(qū)；圖15為本發(fā)明算法的第三組原始實(shí)驗(yàn)數(shù)據(jù)生成的視差圖；圖16a為第四組原始立體像對(duì)左圖；圖16b為第四組原始立體像對(duì)右圖；圖17a第一組原始實(shí)驗(yàn)數(shù)據(jù)多窗口匹配結(jié)果的差圖；圖17b第一組原始實(shí)驗(yàn)數(shù)據(jù)SSD匹配結(jié)果的差圖；圖18為第四組原始實(shí)驗(yàn)數(shù)據(jù)的大面積存在的非紋理區(qū)；圖19為本發(fā)明算法的第四組原始實(shí)驗(yàn)數(shù)據(jù)生成的視差具體實(shí)施例方式下面結(jié)合附圖舉例對(duì)本發(fā)明做更詳細(xì)的描述結(jié)合圖I到圖3。本算法總共分為四個(gè)大步驟圖像預(yù)處理，生成視差圖，合成視差圖，視差圖后期處理。預(yù)處理的過程可以使用極線校正、平滑濾波過程或高斯濾波過程實(shí)現(xiàn)。I.極線校正在實(shí)際匹配過程中，如果采用非平行式立體視覺系統(tǒng)，極線不與坐標(biāo)軸平行，搜索過程就要在斜線上進(jìn)行，計(jì)算費(fèi)時(shí)，不利于計(jì)算機(jī)實(shí)現(xiàn)。極線校正能使搜索方向與坐標(biāo)軸平行，搜索僅僅沿同名行搜索即可。2.平滑濾波過程平滑線性濾波器的輸出是包含在濾波掩膜鄰域內(nèi)像素的簡單平均值，可消除某些過亮或者過暗點(diǎn)的存在，典型的隨機(jī)噪聲由灰度級(jí)別的尖銳變化造成，因此平滑線性濾波器有減弱噪聲的作用。平滑線性濾波器為一個(gè)mXn大小的窗口，對(duì)應(yīng)著1/mn的歸一化常數(shù)。用公式可以表示為
權(quán)利要求
1.一種基于圖像分割的大面積低紋理區(qū)立體匹配算法，包括下列步驟 步驟一對(duì)立體像對(duì)進(jìn)行預(yù)處理； 步驟二 把經(jīng)過預(yù)處理的立體像對(duì)按照三個(gè)方向進(jìn)行處理，分三個(gè)支路 支路I : 利用mean shift算法對(duì)基準(zhǔn)圖進(jìn)行圖像分割，積累窗口的形狀為圖像后每個(gè)聚類的形狀，生成視差圖disp_seg ； 支路2 : 利用多窗口算法，在多尺度空間內(nèi)計(jì)算視差圖disp_Mutiscales ； 支路3 : 在基準(zhǔn)圖像劃分紋理區(qū)及非紋理區(qū)表示結(jié)果為Texture_Picture ； 步驟三根據(jù)步驟二中3個(gè)支路產(chǎn)生的結(jié)果，合成視差圖； 支路3生成的Texture_Picture圖像標(biāo)明了圖像紋理區(qū)和非紋理區(qū)；支路2所生成的視差圖disp_MUtiSCaleS在紋理區(qū)是準(zhǔn)確的，而在大片的非紋理區(qū)中，支路I生成的視差圖disp_seg在劃分好聚類的區(qū)域是準(zhǔn)確的；因此能按Texture_Picture的標(biāo)記，綜合disp_Mutiscales、disp_seg 的結(jié)果，合成準(zhǔn)確的視差圖為Texture_compose ； 步驟四對(duì)生成的視差圖進(jìn)行后期處理。
全文摘要
本發(fā)明的目的在于提供一種基于圖像分割的大面積低紋理區(qū)立體匹配算法，其步驟是第一步，根據(jù)實(shí)際需求對(duì)立體像對(duì)進(jìn)行預(yù)處理；第二步，把經(jīng)過預(yù)處理的立體像對(duì)按照三個(gè)方向進(jìn)行處理，分三個(gè)支路；第三步，根據(jù)步驟二中3個(gè)支路產(chǎn)生的結(jié)果，合成視差圖；第四步，對(duì)生成的視差圖進(jìn)行后期處理，本發(fā)明所提出的算法基于圖像分割和圖像多尺度空間技術(shù)，克服了常規(guī)算法不能處理低紋理區(qū)匹配的不足，可以得到較為準(zhǔn)確的視差圖。
文檔編號(hào)G06T7/00GK102903111SQ20121037440
公開日2013年1月30日 申請(qǐng)日期2012年9月27日 優(yōu)先權(quán)日2012年9月27日
發(fā)明者門朝光, 尚方, 田澤宇, 閆定 申請(qǐng)人:哈爾濱工程大學(xué)