一種基于交互式圖像分割的立體匹配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機圖像處理技術(shù)領(lǐng)域，特別涉及一種基于交互式圖像分割的立體 匹配方法。
【背景技術(shù)】
[0002] 立體匹配技術(shù)是近年來計算機領(lǐng)域廣泛關(guān)注的難點和熱點，它的目的是通過匹配 兩幅或多幅圖像來獲得視差圖，由視差圖與深度的比例關(guān)系恢復(fù)出對應(yīng)像素點的深度信 息，以便可以計算出場景中三維信息，在機器人導(dǎo)航、工業(yè)控制、無人駕駛汽車等方面有廣 泛的應(yīng)用。
[0003] 由于圖割算法具有組合優(yōu)化的良好性能，使視差圖的質(zhì)量得到了明顯的提高，并 且能夠較好的處理低紋理區(qū)域和遮擋像素，近年來，國內(nèi)外學(xué)者對基于圖割算法的立體匹 配問題做了大量工作。
[0004] Roy最早在1998年電氣和電子工程師協(xié)會第六次會議上提出的論文《一種基于最 大流算法的多攝像機立體匹配問題》中（Roy S, Cox I J. A maximum-flow formulation of the n - camera stereo correspondence problem[C]//Computer Vision, 1998. Sixth International Conference on. IEEE, 1998:492 - 499.)應(yīng)用圖割算法進(jìn)行立體匹配，并 通過實驗證明，圖割算法能有效克服其他全局優(yōu)化算法（動態(tài)規(guī)劃算法等）生成視差圖 產(chǎn)生的橫向條紋瑕疵，避免了視差在臨近極線處不連續(xù)的問題。但是該算法生成的視差 圖輪廓邊緣非常不明顯，視差層的區(qū)分也不夠準(zhǔn)確D Boykov與Kolmogorov在2004年于 模式分析與機器智能匯刊上發(fā)表的論文《一種新的最大流/最小割算法在有關(guān)視覺能量 函數(shù)最小化中的應(yīng)用》中提出（Boykov Y，Kolmogorov V.An experimental comparison of min - cut/max - flow algorithms for energy minimization in vision [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on，2004,26 (9):1124 - 1137) 可以在滿足特定約束條件的基礎(chǔ)上構(gòu)造能量函數(shù)，并通過改進(jìn)的基于增廣路最大流算法 進(jìn)行能量函數(shù)的最小化，將該圖割算法應(yīng)用于立體匹配等計算機視覺問題，效果顯著優(yōu)于 常用的Push - relabel，Dinic等算法。該方法雖然效果出眾，但構(gòu)建網(wǎng)絡(luò)圖時生成了大 量節(jié)點空間復(fù)雜度較高，運算過程需要多次迭代，理論時間復(fù)雜度為OOnn 2IcI)，無法達(dá) 到實時計算的要求。Li等在國際計算機視覺與模式識別會議上發(fā)表的論文《基于分割的 圖割立體匹配方法》（Hong Lj Chen G. Segment - based stereo matching using graph cuts[C]//Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004IEEE Computer Society Conference on. IEEE, 2004, 1:1 - 74 - I - 81Vol.I.) 中首次提出基于無重疊視差區(qū)域分割的立體匹配，并用分割塊的能量最小化取代了常 用圖割算法像素級的能量最小化，降低了算法的時間復(fù)雜度，在低紋理與遮擋區(qū)域效 果良好，但生成的視差圖邊緣處有毛刺現(xiàn)象。Bleyer等在期刊：信號處理上發(fā)表的論 文《基于圖割算法的對稱遮擋處理立體匹配方法》（Bleyer M，Gelautz M. Graph-cut-based stereo matching using image segmentation with symmetrical treatment of occlusions[J]. Signal Processing:Image Communication, 2007, 22(2) :127 - 143.)中 假設(shè)在圖像每個分割塊中的視差都是平滑的，且視差邊界恰好與分割邊界重合，提出了基 于圖像分割的立體匹配算法框架，通過彩色圖像分割將場景分成不同區(qū)域，并計算初始 視差圖，之后生成平面模板描述，結(jié)合區(qū)域合并等手段，得到了分割區(qū)域視差層的優(yōu)化 分配，但該方法無法得到像素級的最優(yōu)分配，且復(fù)雜度高，計算量大。Bleyer與Rother 等在國際計算機視覺與模式識別會議上發(fā)表的論文《基于物體分割的立體匹配方法》 (Bleyer M, Rother C,Kohli P, et al. Object stereo-joint stereo matching and object segmentation[C]//Computer Vision and Pattern Recognition (CVPR), 2011IEEE Conference on. IEEE, 2011:3081 - 3088.)針對現(xiàn)有采用基于低尺度分割，將圖像分割成超 像素形式從而減少圖割算法生成節(jié)點的立體匹配方法。假設(shè)相同物體具有緊湊，連接并且 物體表面視差變化平滑等特性，提出了一種新的基于物體分割的立體匹配方法。該算法在 物體分割與視差獲取上效果良好，但是運行時間緩慢，對于物體和背景的內(nèi)部區(qū)域缺少紋 理的深度信息，并且物體間細(xì)小區(qū)域也無法區(qū)分屬于背景還是其他物體。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對于以往基于圖像分割的立體匹配辦法計算量大，運算框架復(fù)雜，實現(xiàn) 難度高，沒有充分利用分割信息等問題，提出了一種在圖像分割時采用基于交互的快速圖 割方法獲得感興趣物體，只針對感興趣物體的前景模版進(jìn)行立體匹配并且運算量小、匹配 結(jié)果精確的基于交互式圖像分割的立體匹配方法。
[0006] 為了實現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案是該基于交互式圖像分割的立體匹 配方法由以下步驟實現(xiàn)：
[0007] (1)感興趣目標(biāo)的分割
[0008] (I. 1)在雙目立體視覺系統(tǒng)中，針對采集到的已經(jīng)標(biāo)定好并符合外極線約束的左、 右兩幅彩色視圖，用戶根據(jù)需要，分別在兩幅視圖中設(shè)置前景和背景的種子點，標(biāo)記出前景 物體和背景物體；
[0009] (1. 2)針對（I. 1)中標(biāo)記好的左、右視圖，分別采用基于圖割算法的交互式圖像分 割方法分割出用戶感興趣物體；
[0010] (1. 3)用戶判斷所分割出的感興趣物體是否滿足需要，若分割結(jié)果不滿意，則返回 步驟（I. 1)重新設(shè)置前景和背景種子點或者在步驟（1.2)的分割結(jié)果基礎(chǔ)上在原圖像上 重新設(shè)置前景和背景的種子點；若分割結(jié)果滿意，得到前景圖像和分割模版，進(jìn)行下一步操 作：
[0011] ⑵由分割模版生成優(yōu)化的網(wǎng)絡(luò)圖，調(diào)用圖割算法對網(wǎng)絡(luò)圖進(jìn)行最小分割計算，生 成視差圖，得到立體匹配結(jié)果；
[0012] (2. 1)在步驟（1. 3)獲取的兩幅前景圖像上針對前景物體通過線性插值算法添加 亞像素信息；
[0013] (2.2)將添加了亞像素信息的前景圖像中的RGB三個通道分別乘以其對應(yīng)的權(quán) 值，得到視差邊的容量，再根據(jù)左視圖像素在右視圖對應(yīng)處的四鄰域中的灰度向量分別求 其平方差，計算得到光滑邊的容量，源點匯點連接邊的容量取1000~10000的整數(shù)；
[0014] (2.3)根據(jù)前景圖像中的前景部分建立優(yōu)化的網(wǎng)絡(luò)圖，在網(wǎng)絡(luò)圖上添加步驟 (2. 2)所得的視差邊的容量和光滑邊的容量以及連接源點和匯點的邊的容量，調(diào)用圖割算 法進(jìn)行立體匹配，從而得到視差圖。
[0015] 上述步驟（2. 2)中視差邊的計算方法是：
[0016] c(ePil+1) = {(IR1(P)-IR2(P+11+1))2A R+(IB1(P)-IB2(P+11+1))2A B
[0017] + (IGi (P) ~IG2 (P+li+i))2 Δ J
[0018] 其中：對任意兩幅視圖中像素 P e I，下標(biāo)R，B，G，分別代表彩色圖像對應(yīng)的紅色， 藍(lán)色，綠色通道；1，2分別表示左視圖和右視圖山為可能的視差標(biāo)注；i = 0, 1，... n-1，I R1 為左視圖中的紅色通道，IR2為右視圖中的紅色通道，I B1為左視圖中的藍(lán)色通道，I B2為右視 圖中的藍(lán)色通道，Iei為左視圖中的綠色通道，Ie2為