專利名稱：泛化置信度傳播的雙目立體視覺匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理、計(jì)算機(jī)視覺、計(jì)算方法、數(shù)學(xué)、數(shù)值方法領(lǐng)域，尤其是計(jì)算機(jī) 視覺的雙目立體視覺匹配方法。
背景技術(shù)：
目前，立體視覺匹配問題的研究已經(jīng)取得了很大的進(jìn)展。特別是基于全局優(yōu)化的 匹配算法，已經(jīng)成為了解決匹配問題的主要方法，得到了廣泛的運(yùn)用。其能得到如此關(guān)注的 原因是因?yàn)槠ヅ鋯栴}可以很好地被建模為一個(gè)馬爾可夫隨機(jī)場(chǎng)(MRF)或條件隨機(jī)場(chǎng)(CRF) 的優(yōu)化問題。這類問題在許多學(xué)科中都有設(shè)計(jì)，由此產(chǎn)生的很多算法都可以運(yùn)用到匹配問 題的解決當(dāng)中來。其中，基于置信度傳播(BeliefPropagation)的算法是一種目前受到廣泛關(guān)注 的方法。它的主要思想是通過節(jié)點(diǎn)之間置信度的傳播實(shí)現(xiàn)整個(gè)模型的逐步收斂。其最初 是在文獻(xiàn)(Pearl J. . Probabilistic reasoningin intelligent systems networks of plausible inference[M](智能系統(tǒng)中的概率推演可信度推演網(wǎng)絡(luò))，San Francisco Morgan KaufmannPublishers Inc.，1988.)中提出的，然后在文獻(xiàn)(Sun Jian, Zheng Nan-Ning, et al. . Stereo matching using belief propagation [J](使用置信度傳播的 匹配算法).IEEE transactions on Pattern Analysis and Machine Intelligence. 2003, 25(7) :787-800.)中第一次引入到求解匹配問題中。置信度傳播算法的一個(gè)最大的問題是只有在無環(huán)的圖結(jié)構(gòu)中才被證明可以收 斂，而像匹配問題中使用到的網(wǎng)格狀的馬爾可夫隨機(jī)場(chǎng)模型具有大量的環(huán)狀結(jié)構(gòu)，這樣 就會(huì)造成結(jié)果的不穩(wěn)定。對(duì)于這個(gè)問題主要有三種解決方法，第一種是將迭代的次數(shù)設(shè) 定在一個(gè)比較小的次數(shù)上，不用等到算法收斂就直接停止迭代。這也是最簡單，最常用的 一種解決方法；第二種是將鄰近兩次迭代過程中置信度變化不大或沒有變化的節(jié)點(diǎn)移除 出迭代過程，使得當(dāng)?shù)^程的不斷進(jìn)行，節(jié)點(diǎn)數(shù)量逐漸減少，當(dāng)沒有節(jié)點(diǎn)參與迭代時(shí)，迭 代自動(dòng)終止；第三種方法是在每次迭代中都先構(gòu)造一棵生成樹，迭代在該生成樹中進(jìn)行， 如文獻(xiàn)(Wainwright M. J.，Jaakkola T. S.，et al. . MAP estimation via agreementon trees :message_passing and linear programming [J](使用樹的統(tǒng)一性的最大后驗(yàn) 概率估計(jì)信息傳遞和線性規(guī)劃)· IEEE Transactions onlnformation Theory. 2005， 51(11) 3697-3717.)禾口(Kolmogorov V. Convergent tree-reweighted message passing for energy minimization [J](使用收斂的樹型信息傳遞的能量最小化方法).IEEE Transactions onPattern Analysis and Machine Intelligence.2006. 10，28 (10) 1568-1583.)中所示。由于生成樹中沒有環(huán)狀結(jié)構(gòu)，所以不會(huì)產(chǎn)生不收斂的結(jié)果。而且文獻(xiàn) (Szeliski R. ,Zabih R. , et al. . A comparative study of energyminimization methods for markov random fields with smoothness—basedpriors [J](對(duì)基于光滑先驗(yàn)才既率白勺 馬爾可夫隨機(jī)場(chǎng)進(jìn)行能量最小化的算法的比較研究).IEEE Transactions on Pattern Analysis and Machinelntelligence. 2008,30(6) 1068-1080.)中的實(shí)驗(yàn)表明，該方法在匹配問題中可以得到比傳統(tǒng)的置信度傳播算法更穩(wěn)定的匹配結(jié)果。另外一種置信度傳播算法的擴(kuò)展是泛化置信度傳播算法。該算法是傳統(tǒng)置信度 傳播算法的一種擴(kuò)展。它最早是由Yedidia及其他研究者提出的(Yedidia J. S. ,Freeman W. Τ. , et al. . Generalized belief propagation [J](泛化置信度傳播算法)· Neural Information ProcessingSystems. 2000,13 :689_695.)。泛化置信度傳播算法的總體思 想是將圖結(jié)構(gòu)中的各節(jié)點(diǎn)進(jìn)行聚類，在各聚類間進(jìn)行信息傳播。它并沒有制定具體的聚類 或者說分塊策略，只是一個(gè)框架性的算法。文獻(xiàn)(YedidiaJ. S.，F(xiàn)reeman W. Τ.，et al.. Constructing free-energy approximations andgeneralized belief propagation algorithms [J](構(gòu)造自由能估計(jì)算法和泛化置信度傳播算法).IEEE transactions on information theory, 2005, 51 (7) :2282_2312.)對(duì)泛化置信度傳播算法的聚類方式進(jìn)行了 討論，提出了用一種區(qū)域圖的圖結(jié)構(gòu)來表示各種不同的聚類結(jié)果，同時(shí)還在區(qū)域圖上討論 了泛化置信度傳播算法的收斂性質(zhì)。由于該算法計(jì)算量較大，所以在匹配問題中還沒有出 現(xiàn)應(yīng)用實(shí)例。

發(fā)明內(nèi)容
為了克服現(xiàn)有的針對(duì)泛化置信度傳播算法的雙目圖像匹配方法的較高復(fù)雜度，較 大計(jì)算量的不足，本發(fā)明提出了基于最小和的緩存加速策略，使得泛化置信度傳播算法的 性能得到了很大加強(qiáng)，從而成功將其應(yīng)用于雙目視覺中匹配問題的求解過程中，提供了一 種有效降低復(fù)雜度、減少計(jì)算量的泛化置信度傳播的雙目立體視覺匹配方法。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種泛化置信度傳播的雙目立體視覺匹配方法，所述雙目立體視覺匹配方法包括 以下步驟1)采集雙目的左右兩幅圖像，將左圖中的每一個(gè)像素點(diǎn)都作為一個(gè)變量，然后保 持這些變量在圖像坐標(biāo)中的相對(duì)位置不變，進(jìn)行4鄰域連接，得到馬爾可夫隨機(jī)場(chǎng)的拓?fù)?結(jié)構(gòu)，然后按公式(1)和公式(2)分別計(jì)算馬爾可夫隨機(jī)場(chǎng)中的各變量的各狀態(tài)代價(jià)值， 以及各連接邊的代價(jià)值
(1)V(fp, fq) =min(|fp-fq|,K)(2)其中，λ表示代價(jià)權(quán)重，它影響到點(diǎn)代價(jià)在整個(gè)能量函數(shù)中所占有的比重；fp和 分別表示變量P和q的狀態(tài)序號(hào)；τ表示截?cái)嘀?；顏色向量距離采用歐氏距離來表征，K表 示截?cái)嘀?；I (P)和Ι。Κ(Ρ)分別表示左圖和右圖中P點(diǎn)處的c通道的顏色值；2)產(chǎn)生多尺度馬爾可夫隨機(jī)場(chǎng)，第k層的大小是第k+Ι層大小的四分之一；3)設(shè)在多尺度馬爾可夫隨機(jī)場(chǎng)中共有η層，按從1到η的順序分別對(duì)η個(gè)馬爾可 夫隨機(jī)場(chǎng)進(jìn)行求解；首先，使用泛化置信度傳播算法對(duì)每一層的馬爾可夫隨機(jī)場(chǎng)分別求解， 原始的泛化置信度傳播算法使用公式(3)和公式(4)來進(jìn)行信息傳遞 其中，Cjjs(Xs)=D(xs)，= (V ) = r(V )，ms —u = ms —u(xu)表示當(dāng) 變量U選定狀態(tài)XuW，變量S向變量U傳遞的點(diǎn)信息，mst^uv = mst ^ uv(xu, Xv)表示當(dāng)變量 U和變量V選定狀態(tài)Xu和Xu時(shí)，變量S和變量t之間的邊向變量U和變量V之間的邊傳遞 的邊信息；對(duì)公式(3)和公式(4)進(jìn)行負(fù)對(duì)數(shù)操作，并對(duì)其中的獨(dú)立計(jì)算進(jìn)行緩存，得到兩條 新的公式，即公式(5)和公式(6)K^u (xU) = min (Ps (Xs)+Qsu (xS^ xU ))(5)
xS(xu,xv) = min (qJ (xs,xu) + Qj (xt,xv) + Qs' (x,, )) "(6) 其中，上標(biāo)表示當(dāng)前的迭代序號(hào)。飯)= Ζ%)+ Σ ；
i={a,b,c}Qsu(xs^xu) = ^(xS^u)+ Σ mIlu(xS^u)；
i={bd,ce}Qj =D(xs) + V(xs,xu) + ml-二 (xs) + m二 (xj + Tnt二u (x xj;Qt^ =D(xt) + V(xt,Xv) + mlb\t (x,) + m'd\t (xt) + Jnt^tv (xt,xv) ·,=F(Vi)+ C 均是緩存變量；將公式(6)的計(jì)算過程描述成一個(gè)在二維網(wǎng)格中搜索最小值的問題，首先選取sini = min{Qsu' (xs，xu)}(7)tini = min{Qtv' (xt，xv)}(8)(7)、(8)作為搜索的起始點(diǎn)，然后使點(diǎn)P在水平方向上移動(dòng)，搜索在該方向上的最 小值，找到最小值后，將點(diǎn)P移動(dòng)到該位置；接著將點(diǎn)P沿垂直方向進(jìn)行搜索，同樣找到該方 向上的最小值，然后移到該位置，反復(fù)循環(huán)迭代以上步驟，直到P點(diǎn)不再移動(dòng)位置時(shí)，其所 處位置的值即被認(rèn)定為該二維網(wǎng)格中的最小值；然后分點(diǎn)傳遞和邊傳遞兩部分分別進(jìn)行信息傳遞，在點(diǎn)傳遞過程中，首先選擇所 有非相鄰的變量同步進(jìn)行上下左右四個(gè)方向的傳遞，再選擇在前一步中沒有進(jìn)行傳遞的變 量進(jìn)行同樣方式的傳遞；在邊傳遞過程中，分為水平邊傳遞和垂直邊傳遞兩部分，其中，水 平邊傳遞分過程中，首先選擇非相鄰的水平邊進(jìn)行同步上下兩個(gè)方向的傳遞，再選擇在前 一步中沒有進(jìn)行傳遞的水平邊按同樣方式進(jìn)行傳遞；然后進(jìn)行垂直邊傳遞，其傳遞方式和 水平邊傳遞相同；每一層次設(shè)定迭代次數(shù)，進(jìn)行迭代；迭代完成后，采用常值遞減方法設(shè)置各層次的最少狀態(tài)數(shù)量，其定義如下所示 iT(L) = d
Γ(,) = Γ(卜 1)-"(9)其中，Γ (i)表示第i層中最少的狀態(tài)數(shù)量，d表示在最稀疏的層次上保有的狀態(tài) 數(shù)量，L表示多尺度空間中的尺度數(shù)量，η表示常值遞減速率；
當(dāng)?shù)趇層中各變量在信息傳遞了一定次數(shù)收斂后，先將最終計(jì)算得到的每個(gè)變量 的置信度向量中的各元素排序，挑出最好的Γ (i)個(gè)狀態(tài)，作為下一層次的候選狀態(tài)；然 后，將由點(diǎn)代價(jià)函數(shù)計(jì)算得到的每個(gè)變量的各狀態(tài)的代價(jià)值進(jìn)行排序，選出最好的Γ (i) 個(gè)狀態(tài)，作為下一層次的候選狀態(tài)；最后，將兩次計(jì)算得到的候選狀態(tài)向量進(jìn)行“或”操作， 得到最終傳入下一層次的候選狀態(tài)向量；將第i層的計(jì)算結(jié)果傳遞繼承到第i+Ι層；4)在最底層馬爾可夫隨機(jī)場(chǎng)求解完成后，按下式計(jì)算每個(gè)變量的代價(jià)值
(10)然后取代價(jià)值最小的那個(gè)狀態(tài)作為該變量的最終狀態(tài)，即為該變量所對(duì)應(yīng)圖像中 點(diǎn)的視差值。進(jìn)一步，所述步驟1)中，點(diǎn)代價(jià)計(jì)算是在CIELAB顏色空間中進(jìn)行。再進(jìn)一步，所述步驟3)中，第i層的計(jì)算結(jié)果傳遞繼承到第i+ 1層的繼承過程分 為點(diǎn)信息繼承和邊信息繼承兩部分，在點(diǎn)信息繼承中，第i層中的任意一個(gè)變量都有4條點(diǎn) 信息需要繼承，每一條點(diǎn)信息由第i+Ι層中相對(duì)應(yīng)的4個(gè)變量繼承；在邊信息繼承中，分為 水平邊信息繼承和垂直邊信息繼承兩部分，水平邊信息繼承中，第i層中的任意一條水平 邊都有2條邊信息需要繼承，每一條邊信息由第i+Ι層中相應(yīng)的2條邊繼承，垂直邊的繼承 過程和水平邊繼承過程相同。本發(fā)明的技術(shù)構(gòu)思為使用二路篩選策略在尺度空間中對(duì)狀態(tài)空間進(jìn)行縮減，從 而加快整個(gè)算法的計(jì)算速度。本發(fā)明的有益效果主要表現(xiàn)在大大加速了泛化置信度傳播 算法的計(jì)算速度。


圖1是多尺度馬爾可夫隨機(jī)場(chǎng)的建立過程的示意圖。圖2和圖3分別是在泛化置信度傳播算法的一次迭代過程中兩種信息的傳遞順序 的示意圖。圖4、圖5、以及圖6是多尺度馬爾可夫隨機(jī)場(chǎng)層次之間的信息繼承過程的示意圖。圖7是使用方向集算法進(jìn)行復(fù)雜度降低的流程圖。圖8是二路狀態(tài)空間篩選策略的篩選過程的示意圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步描述。參照?qǐng)D1 圖8，一種泛化置信度傳播的雙目圖像匹配方法，所述計(jì)算機(jī)雙目立體 視覺匹配方法包括以下步驟1)使用左右兩幅圖像，計(jì)算得到相對(duì)應(yīng)的馬爾可夫隨機(jī)場(chǎng)。2)產(chǎn)生多尺度馬爾可夫隨機(jī)場(chǎng)，第k層的大小是第k+Ι層大小的四分之一。3)設(shè)在多尺度馬爾可夫隨機(jī)場(chǎng)中共有η層，按從1到η的順序分別對(duì)η個(gè)馬爾可 夫隨機(jī)場(chǎng)進(jìn)行求解。在計(jì)算過程中，將第i層的計(jì)算結(jié)果傳遞到第i+Ι層。4)在最底層馬爾可夫隨機(jī)場(chǎng)求解完成后，計(jì)算每個(gè)點(diǎn)最終狀態(tài)值，即每個(gè)像素點(diǎn)
的視差值。在步驟1)中，將左圖中的每一個(gè)像素點(diǎn)都作為一個(gè)變量，然后保持這些變量在圖 像坐標(biāo)中的相對(duì)位置不變，進(jìn)行4鄰域連接，得到的就是馬爾可夫隨機(jī)場(chǎng)的拓?fù)浣Y(jié)構(gòu)。然后 按公式(1)和公式(2)分別計(jì)算馬爾可夫隨機(jī)場(chǎng)中的各變量的各狀態(tài)代價(jià)值，以及各連接 邊的代價(jià)值。
其中，λ表示代價(jià)權(quán)重，它影響到點(diǎn)代價(jià)在整個(gè)能量函數(shù)中所占有的比重；‘和 fq分別表示變量P和q的狀態(tài)序號(hào)；τ表示截?cái)嘀?；顏色向量距離采用歐氏距離來表征， K表示截?cái)嘀?；I^(P)和Ι。κ(ρ)分別表示左圖和右圖中P點(diǎn)處的c通道的顏色值；需要提 及的是，為了使代價(jià)計(jì)算更精確，這里的點(diǎn)代價(jià)計(jì)算是在CIELAB (the L*a*b*standardof Commission Internationale de L' Eclairage)顏色空間中進(jìn)行的。顏色向量距離采用 歐氏距離來表征。K表示截?cái)嘀怠Ｔ诓襟E2)中，將馬爾可夫隨機(jī)場(chǎng)按圖1產(chǎn)生多尺度結(jié)構(gòu)。將每個(gè)4點(diǎn)變量集合中 的左上變量作為上一層次馬爾可夫隨機(jī)場(chǎng)中的變量。在步驟3)中，首先，使用泛化置信度傳播算法對(duì)每一層的馬爾可夫隨機(jī)場(chǎng)分別求 解。原始的泛化置信度傳播算法使用公式(3)和公式(4)來進(jìn)行信息傳遞。
其中，φ3=Cjjs(Xs) =D(xs)，= (V ) =廠(H)，ms —u = ms —u(xu)表示當(dāng) 變量U選定狀態(tài)XuW，變量S向變量U傳遞的點(diǎn)信息，mst^uv = mst ^ uv(xu, Xv)表示當(dāng)變量 U和變量V選定狀態(tài)Xu和Xu時(shí)，變量S和變量t之間的邊向變量U和變量V之間的邊傳遞 的邊信息；為了避免使用計(jì)算量較大的乘法和除法操作，本發(fā)明對(duì)以上兩條公式進(jìn)行負(fù)對(duì)數(shù) 操作，并對(duì)其中的獨(dú)立計(jì)算進(jìn)行緩存，得到兩條新的公式，即公式(5)和公式(6)。
其中， Qt^ =D(xt)+ V(xt,Xv) + Mtb^ (Xi) + Mtd^ (Xi) + Tnt^tv (xt,xv)Qs' ^{x^ + m^^x^)都是緩存變量。通過分析公式(6)，發(fā)現(xiàn)其計(jì)算復(fù)雜度為0 (η4)，是泛化置信度傳播算法的主要復(fù) 雜度。本發(fā)明通過將一個(gè)在二維空間中搜索最小值的問題分解到多個(gè)一維空間中搜索最小 值的問題，將其復(fù)雜度從0(η4)降低到0(η3)。使用的方法為方向集方法，也被稱為Powell 方法，在文獻(xiàn)(Press W. H.，Teukolsky S. A.，et al. . Numerical Recipes in C [Μ] (C 語言 數(shù)值計(jì)算摘要)，second edition. Cambridge Cambridge UniversityPress, 1992.)中有 詳細(xì)描述。該方法的思想是將一個(gè)N維的搜索問題轉(zhuǎn)化到多個(gè)一維搜索問題，實(shí)現(xiàn)問題規(guī) 模的線性化。將公式(6)的計(jì)算過程描述成一個(gè)在二維網(wǎng)格中搜索最小值的問題，首先選 取sini = min{Qsu' (xs，xu)}(7)tini = min{Qtv' (xt，xv)}(8)(7)、(8)作為搜索的起始點(diǎn)，然后使點(diǎn)P在水平方向上移動(dòng)，搜索在該方向上的最 小值，找到最小值后，將點(diǎn)P移動(dòng)到該位置；接著將點(diǎn)P沿垂直方向進(jìn)行搜索，同樣找到該方 向上的最小值，然后移到該位置，反復(fù)循環(huán)迭代以上步驟，直到P點(diǎn)不再移動(dòng)位置時(shí)，其所 處位置的值即被認(rèn)定為該二維網(wǎng)格中的最小值；圖7顯示了以上所述過程。然后分點(diǎn)傳遞和邊傳遞兩部分分別進(jìn)行信息傳遞，在點(diǎn)傳遞過程中，首先選擇所 有非相鄰的變量同步進(jìn)行上下左右四個(gè)方向的傳遞，再選擇在前一步中沒有進(jìn)行傳遞的變 量進(jìn)行同樣方式的傳遞；在邊傳遞過程中，分為水平邊傳遞和垂直邊傳遞兩部分，其中，水 平邊傳遞分過程中，首先選擇非相鄰的水平邊進(jìn)行同步上下兩個(gè)方向的傳遞，再選擇在前 一步中沒有進(jìn)行傳遞的水平邊按同樣方式進(jìn)行傳遞；然后進(jìn)行垂直邊傳遞，其傳遞方式和 水平邊傳遞相同，即按圖2和圖3方式進(jìn)行順序計(jì)算，其中，箭頭方向表明消息的傳遞起始 點(diǎn)。每一層次設(shè)定一定的迭代次數(shù)，進(jìn)行迭代。迭代完成后，本發(fā)明使用尺度空間的狀態(tài)空間縮減策略來對(duì)狀態(tài)空間進(jìn)行縮減。 在使用馬爾可夫隨機(jī)場(chǎng)建模的匹配問題中，每個(gè)變量的狀態(tài)數(shù)量是一個(gè)無法避免的參數(shù)， 而且隨著兩個(gè)攝像機(jī)之間距離的增加，以及圖像分辨率的增加，該參數(shù)將會(huì)急劇增加，從而 導(dǎo)致算法復(fù)雜度的指數(shù)級(jí)增長。在分析算法的過程中可以發(fā)現(xiàn)，在沒有優(yōu)化的情況下，很多 的計(jì)算集中在一些對(duì)最終結(jié)果影響很小的狀態(tài)值上。從而算法的復(fù)雜度越大，像泛化置信 度傳播算法，這樣的冗余計(jì)算量就越大。本發(fā)明提出的基于尺度空間的狀態(tài)空間縮減策略 在尺度空間中逐步去除無關(guān)的狀態(tài)，使得算法的復(fù)雜度增長始終在較低的水平，從而起到 加速作用。首先，給定每一個(gè)層次應(yīng)該保持的最少狀態(tài)數(shù)量。這樣的設(shè)定是為了在每一個(gè) 層次上都保證一定數(shù)量的狀態(tài)，從而使得信息能夠得到充分傳播，另外一方面也是為了保 證狀態(tài)空間不會(huì)過快縮減，避免算法過快收斂，保證能得到一個(gè)較好的收斂值。具體的設(shè)定 值需要考慮兩方面的因素，一個(gè)是在每一層次中要保證一個(gè)足夠大的狀態(tài)空間，使得信息 得到充分傳播，另一個(gè)是要保證計(jì)算量保持在一個(gè)較低的水平上。由于這種設(shè)置不受每個(gè)變量的實(shí)際狀態(tài)數(shù)影響，而且在計(jì)算量和保證信息傳遞的 狀態(tài)空間大小的平衡方面很難做出一個(gè)最佳決策，更進(jìn)一步說，該設(shè)定可能和具體的應(yīng)用 相關(guān)。本節(jié)介紹的方法將使用一個(gè)簡單的統(tǒng)一設(shè)定，即常值遞減方法。其定義如下所示個(gè)簡單的統(tǒng)一設(shè)定彳值遞減方法。其定義如下所示r / w. Λ其中，Γ⑴表示第i層中最少的狀態(tài)數(shù)量，d表示在最稀疏的層次上保有的狀態(tài) 數(shù)量，L表示多尺度空間中的尺度數(shù)量，η表示常值遞減速率。當(dāng)給定最稀疏層次上保有的 狀態(tài)數(shù)量后，其他層次的狀態(tài)保有數(shù)量都可以通過上式計(jì)算出來。為了適應(yīng)不同的最大視 差范圍，即當(dāng)最大視差范圍大于d時(shí)，根據(jù)點(diǎn)代價(jià)函數(shù)得到的最佳d個(gè)狀態(tài)將作為最稀疏層 次上的d個(gè)候選狀態(tài)。這里還要提及的是，不光是點(diǎn)代價(jià)函數(shù)，任意可以產(chǎn)生匹配準(zhǔn)確性排 序的方法都能夠采用，本節(jié)直接采用點(diǎn)代價(jià)函數(shù)是出于簡便考慮，也可采用更復(fù)雜但更穩(wěn) 定的方法。在設(shè)置好了各層次的最少狀態(tài)數(shù)量后，本文采用一種二路篩選策略來選擇一定數(shù) 量的狀態(tài)進(jìn)入下一層次的傳播。首先，當(dāng)?shù)趇層中各變量在信息傳遞了一定次數(shù)收斂后，先 將最終計(jì)算得到的每個(gè)變量的置信度向量中的各元素排序，挑出最好的Γ (i)個(gè)狀態(tài)，作 為下一層次的候選狀態(tài)。然后，將由點(diǎn)代價(jià)函數(shù)計(jì)算得到的每個(gè)變量的各狀態(tài)的代價(jià)值進(jìn) 行排序，選出最好的Γ (i)個(gè)狀態(tài)，作為下一層次的候選狀態(tài)。最后，將兩次計(jì)算得到的候 選狀態(tài)向量進(jìn)行“或”操作，得到最終傳入下一層次的候選狀態(tài)向量。以上描述的過程如圖 8所示。其中，淺色方格表示被選定的狀態(tài)，深色方格表示被刪除的狀態(tài)，越大的點(diǎn)表示該狀 態(tài)的懲罰值越大，在圖示的例子中，該變量在該層次的候選狀態(tài)數(shù)量為5，下一層中的最少 候選變量數(shù)，即Γ (i+1)為3。在經(jīng)過狀態(tài)空間縮減后，那些和保留的狀態(tài)相關(guān)的信息將由下一層次繼承；第i層的計(jì)算結(jié)果傳遞繼承到第i + Ι層的繼承過程分為點(diǎn)信息繼承和邊信息繼承 兩部分，在點(diǎn)信息繼承中，第i層中的任意一個(gè)變量都有4條點(diǎn)信息需要繼承，每一條點(diǎn)信 息由第i+Ι層中相對(duì)應(yīng)的4個(gè)變量繼承；在邊信息繼承中，分為水平邊信息繼承和垂直邊信 息繼承兩部分，水平邊信息繼承中，第i層中的任意一條水平邊都有2條邊信息需要繼承， 每一條邊信息由第i+Ι層中相應(yīng)的2條邊繼承，垂直邊的繼承過程和水平邊繼承過程相同， 繼承過程如圖4，圖5，圖6所示。再在步驟4)中，按下式計(jì)算每個(gè)變量的代價(jià)值 然后取代價(jià)值最小的那個(gè)狀態(tài)作為該變量的最終狀態(tài)，即為該變量所對(duì)應(yīng)圖像中 點(diǎn)的視差值。表1給出了使用本發(fā)明進(jìn)行加速和不使用本發(fā)明時(shí)的泛化置信度傳播算法的運(yùn) 行效率的比較 表 1本實(shí)驗(yàn)的實(shí)驗(yàn)環(huán)境為具有1. 6GHz主頻CPU和IG內(nèi)存的個(gè)人電腦。圖像對(duì)為由 Middlebury提供(D. Scharstein and R. Szeliski."Ataxonomy and evaluation of dense two-frame stereo correspondencealgorithms ( —種對(duì)雙目密集點(diǎn)匹配算法的分類和評(píng) Ht) InternationalJournal of Computer Vision, 2002,47 (1), pp. 7-42.) ^"Tsukuba" 實(shí)驗(yàn)圖像對(duì)，大小為384X288像素。參數(shù)設(shè)置為T = 30. 0，λ = 0. 87,K= 10. 0,d= 16, η = 3,以及多尺度空間的層數(shù)為5，每個(gè)層次的迭代次數(shù)為4次。
權(quán)利要求
一種泛化置信度傳播的雙目立體視覺匹配方法，其特征在于所述雙目立體視覺匹配方法包括以下步驟1)采集雙目的左右兩幅圖像，將左圖中的每一個(gè)像素點(diǎn)都作為一個(gè)變量，然后保持這些變量在圖像坐標(biāo)中的相對(duì)位置不變，進(jìn)行4鄰域連接，得到馬爾可夫隨機(jī)場(chǎng)的拓?fù)浣Y(jié)構(gòu)，然后按公式(1)和公式(2)分別計(jì)算馬爾可夫隨機(jī)場(chǎng)中的各變量的各狀態(tài)代價(jià)值，以及各連接邊的代價(jià)值V(fp，fq)＝min(|fp fq|，K) (2)其中，λ表示代價(jià)權(quán)重，它影響到點(diǎn)代價(jià)在整個(gè)能量函數(shù)中所占有的比重；fp和fq分別表示變量p和q的狀態(tài)序號(hào)；T表示截?cái)嘀担活伾蛄烤嚯x采用歐氏距離來表征，K表示截?cái)嘀?；IcL(p)和IcR(p)分別表示左圖和右圖中p點(diǎn)處的c通道的顏色值；2)產(chǎn)生多尺度馬爾可夫隨機(jī)場(chǎng)，第k層的大小是第k+1層大小的四分之一；3)設(shè)在多尺度馬爾可夫隨機(jī)場(chǎng)中共有n層，按從1到n的順序分別對(duì)n個(gè)馬爾可夫隨機(jī)場(chǎng)進(jìn)行求解；首先，使用泛化置信度傳播算法對(duì)每一層的馬爾可夫隨機(jī)場(chǎng)分別求解，原始的泛化置信度傳播算法使用公式(3)和公式(4)來進(jìn)行信息傳遞其中，φs＝φs(xs)＝D(xs)， ms→u＝ms→u(xu)表示當(dāng)變量u選定狀態(tài)xu時(shí)，變量s向變量u傳遞的點(diǎn)信息，mst→uv＝mst→uv(xu，xv)表示當(dāng)變量u和變量v選定狀態(tài)xu和xu時(shí)，變量s和變量t之間的邊向變量u和變量v之間的邊傳遞的邊信息；對(duì)公式(3)和公式(4)進(jìn)行負(fù)對(duì)數(shù)操作，并對(duì)其中的獨(dú)立計(jì)算進(jìn)行緩存，得到兩條新的公式，即公式(5)和公式(6)其中，上標(biāo)表示當(dāng)前的迭代序號(hào)；均是緩存變量；將公式(6)的計(jì)算過程描述成一個(gè)在二維網(wǎng)格中搜索最小值的問題，首先選取sini＝min{Qsu′(xs，xu)} (7)tini＝min{Qtv′(xt，xv)} (8)(7)、(8)作為搜索的起始點(diǎn)，然后使點(diǎn)P在水平方向上移動(dòng)，搜索在該方向上的最小值，找到最小值后，將點(diǎn)P移動(dòng)到該位置；接著將點(diǎn)P沿垂直方向進(jìn)行搜索，同樣找到該方向上的最小值，然后移到該位置，反復(fù)循環(huán)迭代以上步驟，直到P點(diǎn)不再移動(dòng)位置時(shí)，其所處位置的值即被認(rèn)定為該二維網(wǎng)格中的最小值；然后分點(diǎn)傳遞和邊傳遞兩部分分別進(jìn)行信息傳遞，在點(diǎn)傳遞過程 中，首先選擇所有非相鄰的變量同步進(jìn)行上下左右四個(gè)方向的傳遞，再選擇在前一步中沒有進(jìn)行傳遞的變量進(jìn)行同樣方式的傳遞；在邊傳遞過程中，分為水平邊傳遞和垂直邊傳遞兩部分，其中，水平邊傳遞分過程中，首先選擇非相鄰的水平邊進(jìn)行同步上下兩個(gè)方向的傳遞，再選擇在前一步中沒有進(jìn)行傳遞的水平邊按同樣方式進(jìn)行傳遞；然后進(jìn)行垂直邊傳遞，其傳遞方式和水平邊傳遞相同；每一層次設(shè)定迭代次數(shù)，進(jìn)行迭代；迭代完成后，采用常值遞減方法設(shè)置各層次的最少狀態(tài)數(shù)量，其定義如下所示其中，Γ(i)表示第i層中最少的狀態(tài)數(shù)量，d表示在最稀疏的層次上保有的狀態(tài)數(shù)量，L表示多尺度空間中的尺度數(shù)量，η表示常值遞減速率；當(dāng)?shù)趇層中各變量在信息傳遞了一定次數(shù)收斂后，先將最終計(jì)算得到的每個(gè)變量的置信度向量中的各元素排序，挑出最好的Γ(i)個(gè)狀態(tài)，作為下一層次的候選狀態(tài)；然后，將由點(diǎn)代價(jià)函數(shù)計(jì)算得到的每個(gè)變量的各狀態(tài)的代價(jià)值進(jìn)行排序，選出最好的Γ(i)個(gè)狀態(tài)，作為下一層次的候選狀態(tài)；最后，將兩次計(jì)算得到的候選狀態(tài)向量進(jìn)行“或”操作，得到最終傳入下一層次的候選狀態(tài)向量；將第i層的計(jì)算結(jié)果傳遞繼承到第i+1層；4)在最底層馬爾可夫隨機(jī)場(chǎng)求解完成后，按下式計(jì)算每個(gè)變量的代價(jià)值然后取代價(jià)值最小的那個(gè)狀態(tài)作為該變量的最終狀態(tài)，即為該變量所對(duì)應(yīng)圖像中點(diǎn)的視差值。dest_path_FDA0000026567710000011.tif,dest_path_FDA0000026567710000012.tif,dest_path_FDA0000026567710000013.tif,dest_path_FDA0000026567710000021.tif,dest_path_FDA0000026567710000022.tif,dest_path_FDA0000026567710000023.tif,dest_path_FDA0000026567710000024.tif,dest_path_FDA0000026567710000025.tif,dest_path_FDA0000026567710000026.tif,dest_path_FDA0000026567710000027.tif,dest_path_FDA0000026567710000028.tif,dest_path_FDA0000026567710000031.tif,dest_path_FDA0000026567710000032.tif
2.如權(quán)利要求1所述的泛化置信度傳播的雙目立體視覺匹配方法，其特征在于所述 步驟1)中，點(diǎn)代價(jià)計(jì)算是在CIELAB顏色空間中進(jìn)行。
3.如權(quán)利要求1或2所述的泛化置信度傳播的雙目立體視覺匹配方法，其特征在于 所述步驟3)中，第i層的計(jì)算結(jié)果傳遞繼承到第i+Ι層的繼承過程分為點(diǎn)信息繼承和邊信 息繼承兩部分，在點(diǎn)信息繼承中，第i層中的任意一個(gè)變量都有4條點(diǎn)信息需要繼承，每一 條點(diǎn)信息由第i+Ι層中相對(duì)應(yīng)的4個(gè)變量繼承；在邊信息繼承中，分為水平邊信息繼承和垂 直邊信息繼承兩部分，水平邊信息繼承中，第i層中的任意一條水平邊都有2條邊信息需要 繼承，每一條邊信息由第i+Ι層中相應(yīng)的2條邊繼承，垂直邊的繼承過程和水平邊繼承過程 相同。
全文摘要
一種泛化置信度傳播的雙目立體視覺匹配方法，包括以下步驟1)采集雙目的左右兩幅圖像，建立馬爾可夫隨機(jī)場(chǎng)；2)產(chǎn)生多尺度馬爾可夫隨機(jī)場(chǎng)，第k層的大小是第k+1層大小的四分之一；3)按從1到n的順序分別對(duì)n個(gè)馬爾可夫隨機(jī)場(chǎng)進(jìn)行求解，通過將一個(gè)在二維空間中搜索最小值的問題分解到多個(gè)一維空間中搜索最小值，迭代完成后，使用尺度空間的狀態(tài)空間縮減策略來對(duì)狀態(tài)空間進(jìn)行縮減，將第i層的計(jì)算結(jié)果傳遞到第i+1層；4)在最底層馬爾可夫隨機(jī)場(chǎng)求解完成后，取代價(jià)值最小的那個(gè)狀態(tài)作為該變量的最終狀態(tài)，即為該變量所對(duì)應(yīng)圖像中點(diǎn)的視差值。本發(fā)明有效降低復(fù)雜度、減少計(jì)算量。
文檔編號(hào)G06T7/00GK101901483SQ20101019383
公開日2010年12月1日 申請(qǐng)日期2010年6月8日 優(yōu)先權(quán)日2010年6月8日
發(fā)明者旺曉研, 王萬良, 王中杰, 王鑫, 童漢陽, 管秋, 陳勝勇 申請(qǐng)人:浙江工業(yè)大學(xué)