一種全局視差估計(jì)方法和系統(tǒng)的制作方法
【專利摘要】一種全局視差估計(jì)方法和系統(tǒng)，在進(jìn)行匹配空間計(jì)算時(shí)，根據(jù)預(yù)設(shè)規(guī)則在圖像上選取采樣點(diǎn)，再根據(jù)約束條件進(jìn)行第一匹配空間和第二匹配空間的計(jì)算。其中，采用的約束條件包括線性約束條件和基于采樣點(diǎn)的空間線束條件，所述線性約束條件為當(dāng)前像素點(diǎn)與搜索點(diǎn)之間在顏色上的歐氏距離的約束，所述空間約束條件為搜索點(diǎn)與采樣點(diǎn)之間在顏色上的歐氏距離的約束，由于同時(shí)采用了上述兩個(gè)約束條件，使得計(jì)算出的匹配空間更加接近圖像中物體的邊緣，因此，能夠提高匹配空間計(jì)算的準(zhǔn)確性，從而保證最終視差計(jì)算的準(zhǔn)確度。
【專利說明】一種全局視差估計(jì)方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及立體匹配圖像處理領(lǐng)域，具體涉及一種全局視差估計(jì)方法和系統(tǒng)。

【背景技術(shù)】
[0002] 在傳統(tǒng)視頻系統(tǒng)中，用戶只能被動(dòng)的觀看由攝像機(jī)拍攝到的畫面，無法從其他視 角觀看不同視點(diǎn)的畫面，而多視角視頻（Multi-ViewVideo)則允許用戶從多個(gè)視點(diǎn)進(jìn)行觀 看，增強(qiáng)了交互性及3D感官效果，在立體電視、視頻會(huì)議、自動(dòng)導(dǎo)航、虛擬現(xiàn)實(shí)等領(lǐng)域有廣 泛的應(yīng)用前景。然而，更強(qiáng)的交互性及感官效果也同時(shí)增加了視頻的數(shù)據(jù)量，對(duì)視頻的存儲(chǔ) 及傳輸?shù)仍黾恿素?fù)擔(dān)，如何解決此類問題已成為目前的研究熱點(diǎn)。
[0003] 立體匹配，也稱視差估計(jì)，是根據(jù)前端攝像機(jī)獲取的多目圖像數(shù)據(jù)（一般為雙 目），估計(jì)出對(duì)應(yīng)圖像中的像素點(diǎn)間的幾何關(guān)系。利用視差估計(jì)，可以由一個(gè)視點(diǎn)的信息及 其深度（視差）信息得到對(duì)應(yīng)視點(diǎn)的信息，從而減少了原始數(shù)據(jù)量，為多目視頻的傳輸及存 儲(chǔ)提供了便利。
[0004] 根據(jù)具體實(shí)現(xiàn)細(xì)節(jié)的不同，立體匹配方法可以大致分為局部立體匹配算法和全 局立體匹配算法（可參見ScharsteinD，SzeliskiR.Ataxonomyandevaluationof densetwo-framestereocorrespondencealgorithms[J].Internationaljournal ofcomputervision, 2002, 47 (1-3): 7-42.)。局部立體匹配算法準(zhǔn)確性不高，但速度較 快，不利于實(shí)際應(yīng)用；全局立體匹配算法是基于對(duì)全局的能量函數(shù)最優(yōu)化得到視差結(jié)果， 其準(zhǔn)確性較高，但速度較慢，不過，已有一些改進(jìn)的全局立體匹配算法產(chǎn)生了與局部立 體匹配算法相當(dāng)?shù)乃俣?，如快速置信傳播算法（可參見PedroF.Felzenszwalb，Daniel P.Huttenlocher.EfficientBeliefPropagationforEarlyVision.International JournalofComputerVisionOctober2006,Volume70,Issue1,pp41-54)。
[0005] 綜合上述敘述可知，立體匹配作為多視角視頻中的重要環(huán)節(jié)，已受到廣泛關(guān)注，并 有大量的立體匹配算法涌現(xiàn)。然而，立體匹配尚存在很多問題，特別是正確性和穩(wěn)定性，需 要進(jìn)一步提_。


【發(fā)明內(nèi)容】

[0006] 根據(jù)本申請(qǐng)的第一方面，本申請(qǐng)?zhí)峁┝艘环N全局視差估計(jì)方法，包括：
[0007] 讀入第一視點(diǎn)圖像和第二視點(diǎn)圖像，第一視點(diǎn)圖像為從第一視點(diǎn)獲取的目標(biāo)的圖 像，第二視點(diǎn)圖像為從第二視點(diǎn)獲取的目標(biāo)的圖像；
[0008] 根據(jù)預(yù)設(shè)規(guī)則在第一視點(diǎn)圖像上選取采樣點(diǎn)；
[0009] 在第一視點(diǎn)圖上依次選取像素點(diǎn)作為當(dāng)前像素點(diǎn)，以當(dāng)前像素點(diǎn)為原點(diǎn)，沿第一 軸線正方向和負(fù)方向，以逐個(gè)像素點(diǎn)作為搜索點(diǎn)進(jìn)行搜索，直到搜索到不滿足預(yù)設(shè)的約束 條件的點(diǎn)時(shí)停止，并將搜索到的滿足所述約束條件的所有點(diǎn)作為第一匹配點(diǎn)；分別以各個(gè) 第一匹配點(diǎn)為原點(diǎn)，沿第二軸線正方向和負(fù)方向，以逐個(gè)像素點(diǎn)作為搜索點(diǎn)進(jìn)行探索，直到 搜索到不滿足預(yù)設(shè)的約束條件的點(diǎn)時(shí)停止，并將搜索到的滿足所述約束條件的所有點(diǎn)作為 第二匹配點(diǎn)；將第一匹配點(diǎn)和第二匹配點(diǎn)作為當(dāng)前像素點(diǎn)的第一匹配空間；
[0010] 以當(dāng)前像素點(diǎn)為原點(diǎn)，沿第二軸線正方向和負(fù)方向，以逐個(gè)像素點(diǎn)作為搜索點(diǎn)進(jìn) 行搜索，直到搜索到不滿足預(yù)設(shè)的約束條件的點(diǎn)時(shí)停止，并將搜索到的滿足所述約束條件 的所有點(diǎn)作為第三匹配點(diǎn)；分別以各個(gè)第三匹配點(diǎn)為原點(diǎn)，沿第一軸線正方向和負(fù)方向，以 逐個(gè)像素點(diǎn)作為搜索點(diǎn)進(jìn)行探索，直到搜索到不滿足預(yù)設(shè)的約束條件的點(diǎn)時(shí)停止，并將搜 索到的滿足所述約束條件的所有點(diǎn)作為第四匹配點(diǎn)；將第三匹配點(diǎn)和第四匹配點(diǎn)作為當(dāng)前 像素點(diǎn)的第二匹配空間；
[0011] 所述約束條件包括線性約束條件和基于采樣點(diǎn)的空間約束條件，所述線性約束條 件為當(dāng)前像素點(diǎn)與搜索點(diǎn)之間在顏色上的歐氏距離的約束，所述空間約束條件為搜索點(diǎn)與 采樣點(diǎn)之間在顏色上的歐氏距離的約束，所述第一軸線與第二軸線相互垂直；
[0012] 計(jì)算第一匹配空間內(nèi)所有點(diǎn)的匹配代價(jià)之和，計(jì)算第二匹配空間內(nèi)所有點(diǎn)的匹配 代價(jià)之和；
[0013] 根據(jù)第一匹配空間內(nèi)所有點(diǎn)的匹配代價(jià)之和和第二匹配空間內(nèi)所有點(diǎn)的匹配代 價(jià)之和計(jì)算初始視差，并篩選得到可靠點(diǎn)；
[0014] 對(duì)第一視點(diǎn)圖像和第二視點(diǎn)圖像進(jìn)行圖像分塊；
[0015] 基于所述圖像分塊，并根據(jù)所述可靠點(diǎn)的初始視差分別計(jì)算第一視點(diǎn)圖像和第二 視點(diǎn)圖像內(nèi)每個(gè)像素點(diǎn)的最終視差。
[0016] 在一實(shí)施例中，所述約束條件為：

【權(quán)利要求】
1. 一種全局視差估計(jì)系統(tǒng)，其特征在于，包括： 圖像讀入模塊，用于讀入第一視點(diǎn)圖像和第二視點(diǎn)圖像，第一視點(diǎn)圖像為從第一視點(diǎn) 獲取的目標(biāo)的圖像，第二視點(diǎn)圖像為從第二視點(diǎn)獲取的目標(biāo)的圖像； 匹配空間計(jì)算模塊，用于根據(jù)預(yù)設(shè)規(guī)則在第一視點(diǎn)圖像上選取采樣點(diǎn)后，在第一視點(diǎn) 圖上依次選取像素點(diǎn)作為當(dāng)前像素點(diǎn)，以當(dāng)前像素點(diǎn)為原點(diǎn)，沿第一軸線正方向和負(fù)方向， 以逐個(gè)像素點(diǎn)作為搜索點(diǎn)進(jìn)行搜索，直到搜索到不滿足預(yù)設(shè)的約束條件的點(diǎn)時(shí)停止，并將 搜索到的滿足所述約束條件的所有點(diǎn)作為第一匹配點(diǎn)；分別以各個(gè)第一匹配點(diǎn)為原點(diǎn)，沿 第二軸線正方向和負(fù)方向，以逐個(gè)像素點(diǎn)作為搜索點(diǎn)進(jìn)行探索，直到搜索到不滿足預(yù)設(shè)的 約束條件的點(diǎn)時(shí)停止，并將搜索到的滿足所述約束條件的所有點(diǎn)作為第二匹配點(diǎn)；將第一 匹配點(diǎn)和第二匹配點(diǎn)作為當(dāng)前像素點(diǎn)的第一匹配空間； 以當(dāng)前像素點(diǎn)為原點(diǎn)，沿第二軸線正方向和負(fù)方向，以逐個(gè)像素點(diǎn)作為搜索點(diǎn)進(jìn)行搜 索，直到搜索到不滿足預(yù)設(shè)的約束條件的點(diǎn)時(shí)停止，并將搜索到的滿足所述約束條件的所 有點(diǎn)作為第三匹配點(diǎn)；分別以各個(gè)第三匹配點(diǎn)為原點(diǎn)，沿第一軸線正方向和負(fù)方向，以逐個(gè) 像素點(diǎn)作為搜索點(diǎn)進(jìn)行探索，直到搜索到不滿足預(yù)設(shè)的約束條件的點(diǎn)時(shí)停止，并將搜索到 的滿足所述約束條件的所有點(diǎn)作為第四匹配點(diǎn)；將第三匹配點(diǎn)和第四匹配點(diǎn)作為當(dāng)前像素 點(diǎn)的第二匹配空間； 所述約束條件包括線性約束條件和基于采樣點(diǎn)的空間約束條件，所述線性約束條件為 當(dāng)前像素點(diǎn)與搜索點(diǎn)之間在顏色上的歐氏距離的約束，所述空間約束條件為搜索點(diǎn)與采樣 點(diǎn)之間在顏色上的歐氏距離的約束，所述第一軸線與第二軸線相互垂直； 匹配代價(jià)計(jì)算模塊，用于計(jì)算第一匹配空間內(nèi)所有點(diǎn)的匹配代價(jià)之和，和計(jì)算第二匹 配空間內(nèi)所有點(diǎn)的匹配代價(jià)之和； 初始視差計(jì)算模塊，用于根據(jù)第一匹配空間內(nèi)所有點(diǎn)的匹配代價(jià)之和和第二匹配空間 內(nèi)所有點(diǎn)的匹配代價(jià)之和計(jì)算初始視差，并篩選得到可靠點(diǎn)； 圖像分塊模塊，用于對(duì)第一視點(diǎn)圖像和第二視點(diǎn)圖像進(jìn)行圖像分塊； 最終視差計(jì)算模塊，用于基于所述圖像分塊，并根據(jù)所述可靠點(diǎn)的初始視差計(jì)算第一 視點(diǎn)圖像和第二視點(diǎn)圖像內(nèi)每個(gè)像素點(diǎn)的最終視差。
2. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述約束條件為：
其中，h為像素點(diǎn)P到搜索點(diǎn)q的距離，像素點(diǎn)P為當(dāng)前像素點(diǎn)，12為像素點(diǎn)P到采樣 點(diǎn)ei的距離，0lab(p,q)為像素點(diǎn)p與搜索點(diǎn)q在顏色上的歐氏距離，0lab(q,e)為搜索點(diǎn)q 與采樣點(diǎn)ei在顏色上的歐氏距離，為自定義參數(shù)，且kpkykpkywpwi。
3. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述預(yù)設(shè)規(guī)則使得每個(gè)采樣點(diǎn)離其上、下、 左、右四個(gè)相鄰采樣點(diǎn)的距離為一預(yù)設(shè)距離。
4. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，圖像讀入模塊還用于在讀入第一視點(diǎn)圖像 和第二視點(diǎn)圖像后，對(duì)第一視點(diǎn)圖像和第二視點(diǎn)圖像進(jìn)行極線校正。
5. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，還包括遮擋區(qū)域標(biāo)記模塊，用于在所述圖 像分塊模塊對(duì)原始圖像進(jìn)行圖像分塊后，最終視差計(jì)算模塊計(jì)算最終視差之前，標(biāo)記圖像 中的遮擋區(qū)域，具體為：取第一視點(diǎn)圖像每個(gè)分塊在每一行中從左端開始的第一個(gè)可靠點(diǎn) L(p)，根據(jù)點(diǎn)L(p)的視差dp算得其對(duì)應(yīng)于第二視點(diǎn)圖像的點(diǎn)R(p-dp);在第二視點(diǎn)圖像中 從點(diǎn)R(p-dp-l)開始向左邊找到第一個(gè)可靠點(diǎn)Rq，找出其視差dq，算得點(diǎn)Rq對(duì)應(yīng)于第一視 點(diǎn)圖像中的點(diǎn)L(q+dq)，水平的兩個(gè)點(diǎn)L(p)與L(q+dq)之間的點(diǎn)即為遮擋點(diǎn)。
6. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，初始視差計(jì)算模塊根據(jù)第一匹配空間內(nèi)所 有點(diǎn)的匹配代價(jià)之和和第二匹配空間內(nèi)所有點(diǎn)的匹配代價(jià)之和，采用快速置信傳播全局算 法計(jì)算初始視差。
7. 如權(quán)利要求1-6任一項(xiàng)所述的系統(tǒng)，其特征在于，圖像分塊模塊對(duì)第一視點(diǎn)圖像和 第二視點(diǎn)圖像進(jìn)行圖像分塊時(shí)： 圖像分塊模塊將第一視點(diǎn)圖像和第二視點(diǎn)圖像劃分為若干個(gè)圖像塊； 根據(jù)顏色對(duì)圖像塊進(jìn)行合并：將像素點(diǎn)數(shù)量小于預(yù)設(shè)值的圖像塊與其相鄰圖像塊中顏 色最接近的圖像塊合并；和/或，判斷到兩個(gè)相鄰圖像塊顏色接近，且兩個(gè)圖像塊像素點(diǎn)數(shù) 量之和小于預(yù)設(shè)值時(shí)，將兩個(gè)圖像塊合并； 根據(jù)視差對(duì)圖像塊進(jìn)行合并：將可靠點(diǎn)數(shù)量小于預(yù)設(shè)值的圖像塊與其相鄰圖像塊中顏 色最接近的圖像塊合并，所述可靠點(diǎn)為根據(jù)原始圖像中各像素點(diǎn)的初始視差篩選得到的； 和/或，判斷相鄰兩個(gè)圖像塊的視差變化是否平滑，如果是，則將兩個(gè)圖像塊合并。
8. 如權(quán)利要求7所述的系統(tǒng)，其特征在于，圖像分塊模塊將第一視點(diǎn)圖像和第二視點(diǎn) 圖像劃分為若干個(gè)圖像塊時(shí)：圖像分塊模塊基于superpixel顏色分塊將圖像劃分為若干 個(gè)圖像塊。
9. 如權(quán)利要求7所述的系統(tǒng)，其特征在于，圖像分塊模塊判斷相鄰兩個(gè)圖像塊的視差 變化是否平滑時(shí)： 圖像分塊模塊找出當(dāng)前圖像塊S與其相鄰圖像塊Sk的邊界相鄰點(diǎn)對(duì)Ps (i)、Psk(i)，Ps⑴與Psk⑴為塊S與塊Sk的第i個(gè)相鄰點(diǎn)對(duì)； 以Ps(i)為中心搜索一個(gè)a*b的矩形方框，計(jì)算該方框中屬于塊S的可靠點(diǎn)的視差的 均值Vs(i)，以Psk⑴為中心搜索一個(gè)a*b的矩形方框，計(jì)算該方框中屬于塊Sk的可靠點(diǎn)的 視差的均值Vsk(i)，其中，a、b為預(yù)設(shè)的像素寬度； 當(dāng)max|Vs (i)-Vsk⑴|〈j時(shí)，判斷為當(dāng)前圖像塊S與其相鄰圖像塊Sk的視差變化平滑， 其中，iGWs;sk，Ws，sk為塊S與塊Sk邊界所有點(diǎn)對(duì)的下標(biāo)集合，j為預(yù)設(shè)值。
10. -種全局視差估計(jì)方法，其特征在于，包括： 讀入第一視點(diǎn)圖像和第二視點(diǎn)圖像，第一視點(diǎn)圖像為從第一視點(diǎn)獲取的目標(biāo)的圖像， 第二視點(diǎn)圖像為從第二視點(diǎn)獲取的目標(biāo)的圖像； 根據(jù)預(yù)設(shè)規(guī)則在第一視點(diǎn)圖像上選取采樣點(diǎn)； 在第一視點(diǎn)圖上依次選取像素點(diǎn)作為當(dāng)前像素點(diǎn)，以當(dāng)前像素點(diǎn)為原點(diǎn)，沿第一軸線 正方向和負(fù)方向，以逐個(gè)像素點(diǎn)作為搜索點(diǎn)進(jìn)行搜索，直到搜索到不滿足預(yù)設(shè)的約束條件 的點(diǎn)時(shí)停止，并將搜索到的滿足所述約束條件的所有點(diǎn)作為第一匹配點(diǎn)；分別以各個(gè)第一 匹配點(diǎn)為原點(diǎn)，沿第二軸線正方向和負(fù)方向，以逐個(gè)像素點(diǎn)作為搜索點(diǎn)進(jìn)行探索，直到搜索 到不滿足預(yù)設(shè)的約束條件的點(diǎn)時(shí)停止，并將搜索到的滿足所述約束條件的所有點(diǎn)作為第二 匹配點(diǎn)；將第一匹配點(diǎn)和第二匹配點(diǎn)作為當(dāng)前像素點(diǎn)的第一匹配空間； 以當(dāng)前像素點(diǎn)為原點(diǎn)，沿第二軸線正方向和負(fù)方向，以逐個(gè)像素點(diǎn)作為搜索點(diǎn)進(jìn)行搜 索，直到搜索到不滿足預(yù)設(shè)的約束條件的點(diǎn)時(shí)停止，并將搜索到的滿足所述約束條件的所 有點(diǎn)作為第三匹配點(diǎn)；分別以各個(gè)第三匹配點(diǎn)為原點(diǎn)，沿第一軸線正方向和負(fù)方向，以逐個(gè) 像素點(diǎn)作為搜索點(diǎn)進(jìn)行探索，直到搜索到不滿足預(yù)設(shè)的約束條件的點(diǎn)時(shí)停止，并將搜索到 的滿足所述約束條件的所有點(diǎn)作為第四匹配點(diǎn)；將第三匹配點(diǎn)和第四匹配點(diǎn)作為當(dāng)前像素 點(diǎn)的第二匹配空間； 所述約束條件包括線性約束條件和基于采樣點(diǎn)的空間約束條件，所述線性約束條件為 當(dāng)前像素點(diǎn)與搜索點(diǎn)之間在顏色上的歐氏距離的約束，所述空間約束條件為搜索點(diǎn)與采樣 點(diǎn)之間在顏色上的歐氏距離的約束，所述第一軸線與第二軸線相互垂直； 計(jì)算第一匹配空間內(nèi)所有點(diǎn)的匹配代價(jià)之和，計(jì)算第二匹配空間內(nèi)所有點(diǎn)的匹配代價(jià) 之和； 根據(jù)第一匹配空間內(nèi)所有點(diǎn)的匹配代價(jià)之和和第二匹配空間內(nèi)所有點(diǎn)的匹配代價(jià)之 和計(jì)算初始視差，并篩選得到可靠點(diǎn)； 對(duì)第一視點(diǎn)圖像和第二視點(diǎn)圖像進(jìn)行圖像分塊； 基于所述圖像分塊，并根據(jù)所述可靠點(diǎn)的初始視差分別計(jì)算第一視點(diǎn)圖像和第二視點(diǎn) 圖像內(nèi)每個(gè)像素點(diǎn)的最終視差。
【文檔編號(hào)】G06T7/00GK104408710SQ201410604055
【公開日】2015年3月11日 申請(qǐng)日期:2014年10月30日 優(yōu)先權(quán)日:2014年10月30日
【發(fā)明者】彭祎, 王榮剛, 王振宇, 高文, 董勝富, 王文敏, 趙洋 申請(qǐng)人:北京大學(xué)深圳研究生院