匹配測(cè)度方法和裝置、視差計(jì)算方法、圖像匹配方法
【專利摘要】公開了一種面向立體視覺匹配的匹配測(cè)度確定方法、匹配測(cè)度確定裝置、圖像匹配方法和視差計(jì)算方法。該匹配測(cè)度確定方法可以包括：獲得參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度；確定該參考圖像的該參考圖像塊的顯著度，該參考圖像塊的顯著度表示該參考圖像塊在參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中的顯著程度；基于該參考圖像的該參考圖像塊的顯著度，調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。根據(jù)本發(fā)明，可以獲得更適合應(yīng)用于立體視覺匹配的、更客觀、更符合實(shí)際情況的匹配測(cè)度。
【專利說明】匹配測(cè)度方法和裝置、視差計(jì)算方法、圖像匹配方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體地涉及圖像處理，更具體地涉及面向立體視覺匹配的匹配測(cè)度方法和裝置、視差計(jì)算方法、圖像匹配方法。
【背景技術(shù)】
[0002]圖像匹配是計(jì)算機(jī)視覺和圖像理解領(lǐng)域的基礎(chǔ)研究問題之一，已廣泛應(yīng)用于多源圖像融合、目標(biāo)識(shí)別、三維重建等諸多領(lǐng)域。
[0003]圖像匹配過程中涉及匹配測(cè)度的確定。簡(jiǎn)而言之，匹配測(cè)度可以理解成兩個(gè)像素或者圖像塊的相似或差別程度，本領(lǐng)域另一含義類似的術(shù)語是測(cè)量代價(jià)(cost)，其中兩個(gè)像素或者圖像塊越不相似，對(duì)應(yīng)的測(cè)量代價(jià)越高。
[0004]傳統(tǒng)方法包括經(jīng)常用到的絕對(duì)差和(Sum of Absolute Differences)、平方差和(Sum of Squared Differences)、歸一化相關(guān)(Normalized Cross-Correlation)等。 [0005]除此之外，在Birchfield 和 Tomasi 的題為 “Depth Discontinuities byPixel-to-Pixel Stereo，，，the IEEE International Conference on ComputerVision, Bombay, India, 1998的文章中，提出利用線性插值來減小測(cè)度對(duì)圖像采樣效應(yīng)的敏感度。
[0006]美國專利公開US N0.7333651B1提出了一種基于固定窗口的匹配測(cè)度方法。該方法通過統(tǒng)計(jì)相對(duì)應(yīng)的像素被包含的固定窗口中匹配像素的數(shù)量，來度量像素匹配的程度。

【發(fā)明內(nèi)容】

[0007]根據(jù)本發(fā)明的實(shí)施例，提供了一種面向立體視覺匹配的確定參考圖像的參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度的方法，其中參考圖像和匹配圖像分別被分割成圖像塊，該匹配測(cè)度確定方法可以包括:獲得參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度；確定該參考圖像的該參考圖像塊的顯著度，該參考圖像塊的顯著度表示該參考圖像塊在參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中的顯著程度；基于該參考圖像的該參考圖像塊的顯著度，調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。
[0008]根據(jù)本發(fā)明的另一實(shí)施例，提供了一種面向立體視覺匹配的確定參考圖像的參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度的裝置，其中參考圖像和匹配圖像分別被分割成圖像塊，該匹配測(cè)度確定裝置可以包括:初始匹配測(cè)度獲得部件，獲得參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度；參考圖像塊顯著度確定部件，確定該參考圖像的該參考圖像塊的顯著度，該參考圖像塊的顯著度表示該參考圖像塊在參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中的顯著程度；匹配測(cè)度調(diào)整部件，基于該參考圖像的該參考圖像塊的顯著度，調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。
[0009]根據(jù)本發(fā)明的再一實(shí)施例，提供了一種用于雙目立體視覺的圖像匹配方法，可以包括:(1)輸入左圖像和右圖像；(2)分別將左圖像和右圖像過分割為圖像塊；(3)將左圖像和右圖像之一用作參考圖像，另一個(gè)用作匹配圖像，對(duì)于參考圖像中的參考圖像塊和匹配圖像的對(duì)象圖像塊，確定二者的匹配測(cè)度:(4)基于所計(jì)算的匹配測(cè)度，確定與參考圖像中的參考圖像塊匹配的匹配圖像中的匹配圖像塊。其中可以通過前文描述的根據(jù)本發(fā)明實(shí)施例的匹配測(cè)度計(jì)算方法來計(jì)算兩個(gè)圖像塊的匹配測(cè)度。具體地，可以通過下述操作確定參考圖像的參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度:獲得參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度；確定該參考圖像的該參考圖像塊的顯著度，該參考圖像塊的顯著度表示該參考圖像塊在參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中的顯著程度；基于該參考圖像的該參考圖像塊的顯著度，調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。
[0010]根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了根據(jù)本發(fā)明實(shí)施例的用于雙目立體視覺的視差計(jì)算方法，可以包括下述步驟:(I)輸入左圖像和右圖像；(2)分別將左圖像和右圖像過分割為圖像塊；(3)將左圖像和右圖像之一用作參考圖像，另一個(gè)用作匹配圖像，對(duì)于參考圖像中的參考圖像塊和匹配圖像的對(duì)象圖像塊，確定二者的匹配測(cè)度:(4)基于所計(jì)算的匹配測(cè)度，確定與參考圖像中的參考圖像塊匹配的匹配圖像中的匹配圖像塊；(5)基于參考圖像中的參考圖像塊和匹配圖像中的匹配圖像塊，計(jì)算參考圖像塊對(duì)應(yīng)的視差。其中可以通過前文描述的根據(jù)本發(fā)明實(shí)施例的匹配測(cè)度計(jì)算方法來計(jì)算兩個(gè)圖像塊的匹配測(cè)度。具體地，可以通過下述操作確定參考圖像的參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度:獲得參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度；確定該參考圖像的該參考圖像塊的顯著度，該參考圖像塊的顯著度表示該參考圖像塊在參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中的顯著程度；基于該參考圖像的該參考圖像塊的顯著度，調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。
[0011]利用根據(jù)本發(fā)明實(shí)施例的匹配測(cè)度確定方法和匹配測(cè)度確定裝置，在計(jì)算像素點(diǎn)或圖像塊的匹配測(cè)度過程中，考慮了像素點(diǎn)或圖像塊的顯著度，從而可以獲得更適合應(yīng)用于立體視覺匹配的、更客觀、更符合實(shí)際情況的匹配測(cè)度。
[0012]利用根據(jù)本發(fā)明實(shí)施例的圖像匹配方法和視差計(jì)算方法，因?yàn)樵谟?jì)算像素點(diǎn)或圖像塊的匹配測(cè)度過程中，考慮了像素點(diǎn)或圖像塊的顯著度，從而可以獲得更適合應(yīng)用于立體視覺匹配的、更客觀、更符合實(shí)際情況的匹配測(cè)度，進(jìn)而可以更準(zhǔn)確地進(jìn)行圖像匹配和視
差計(jì)算。
【專利附圖】

【附圖說明】
[0013]圖1示出了根據(jù)本發(fā)明第一實(shí)施例的面向立體視覺匹配的匹配測(cè)度計(jì)算方法的總體流程圖。
[0014]圖2示意性示出了基于像素點(diǎn)匹配和基于圖像塊匹配測(cè)度的區(qū)別，其中圖2中的(a)分別示意性地表示左右圖；圖2中的(b)示意性地示出了基于像素點(diǎn)的匹配測(cè)度；圖2中的(C)示意性地示出了基于圖像分割的匹配測(cè)度。
[0015]圖3示出了將傳統(tǒng)的匹配測(cè)度和本發(fā)明上述實(shí)施例的匹配測(cè)度進(jìn)行比較的示意圖。
[0016]圖4示出根據(jù)本發(fā)明實(shí)施例的確定圖像塊的顯著度的示例性方法的流程圖。
[0017]圖5示出根據(jù)本發(fā)明一個(gè)實(shí)施例的面向立體視覺匹配的視差計(jì)算裝置的示例性配置框圖。
[0018]圖6示出了根據(jù)本發(fā)明實(shí)施例的面向立體視覺匹配的參考圖像的參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度確定裝置的功能配置框圖。
[0019]圖7是示出按照本發(fā)明實(shí)施例的匹配測(cè)度確定(或圖像匹配，或視差計(jì)算)系統(tǒng)的總體硬件框圖。
【具體實(shí)施方式】
[0020]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0021]將按下列順序進(jìn)行描述:
[0022]1、發(fā)明思想概述
[0023]2、第一實(shí)施例(匹配測(cè)度計(jì)算方法)
[0024]2.1、匹配測(cè)度計(jì)算方法示例
[0025]2.2、確定圖像塊的顯著度的示例性方法
[0026]2.3、概率意義上的本發(fā)明的基于顯著度的匹配測(cè)度的求解
[0027]3、第二實(shí)施例(圖像匹配方法)
[0028]4、第二實(shí)施例(視差計(jì)算方法)
[0029]5、視差計(jì)算裝置的示例性配置
[0030]6、匹配測(cè)度確定裝置
[0031]7、系統(tǒng)硬件配置
[0032]8、總結(jié)
[0033]1、發(fā)明思想概述
[0034]概括起來，立體視覺匹配，例如雙目立體視覺中的左右圖像匹配，可以粗略分為局部匹配方法和全局匹配方法。
[0035]局部匹配方法的基本思想是根據(jù)一定的相似準(zhǔn)則，比較兩幅圖像中局部圖像塊的相似度來確定其是否相同，從而確定是否匹配。
[0036]大部分全局匹配算法都是基于能量函數(shù)最小化的思想，目標(biāo)是找一個(gè)視差函數(shù)，使得全局能量最小化。作為一種比較常用的全局算法，動(dòng)態(tài)規(guī)劃是用來處理多階段決策問題的一種方法，是一種用來降低全局優(yōu)化問題復(fù)雜度的數(shù)學(xué)方法，它通過將整體的優(yōu)化問題分解為分階段決策進(jìn)行，整體的代價(jià)函數(shù)通過分階段進(jìn)行計(jì)算，各階段之間的轉(zhuǎn)換加入一系列約束來進(jìn)行，對(duì)于立體匹配來說，外極線單調(diào)順序約束允許全局的匹配代價(jià)通過在視差空間圖像上尋找最小代價(jià)路徑來實(shí)現(xiàn)，最優(yōu)路徑的代價(jià)是所有子路徑的和，這些子路徑所經(jīng)過點(diǎn)的匹配代價(jià)可以由點(diǎn)的相似性度量因子來決定。關(guān)于全局匹配算法的介紹，可以參考 Daniel Scharstein, Richard Szeliski 的題為 “A taxonomy and evaluationof dense two-frame stereo correspondence algorithms，，，International Journal ofComputer Vision, Volume 47Issue 1-3, April-June 2002, Pages 7-42 的文章和 MichaelBleyer, Sylvie Chambon 的題為 “(3DPVT10)Does color really help in dense stereomatching?” in International Symposium 3D Data Processing, Visualization andTransmission (3DPVT) 2OlO 的文章。
[0037]如前所述，像素對(duì)或者圖像塊對(duì)的匹配測(cè)度是用于考慮整體圖像匹配或視差計(jì)算的基礎(chǔ)。在全局的視差計(jì)算算法或者全局的圖像匹配關(guān)系評(píng)價(jià)中，各個(gè)像素對(duì)或者圖像塊對(duì)之前的匹配測(cè)度會(huì)被統(tǒng)一考慮，得出全局的匹配程度最高的匹配方式。
[0038]發(fā)明人發(fā)現(xiàn)，在前述現(xiàn)有技術(shù)中，在考慮圖像匹配或視差計(jì)算時(shí)，作為匹配最小單位的各個(gè)像素或者各個(gè)圖像塊的地位都是相同的，各個(gè)像素對(duì)或者圖像對(duì)之間是完全獨(dú)立的。換句話說，現(xiàn)有技術(shù)在計(jì)算像素對(duì)或者圖像塊對(duì)的匹配測(cè)度時(shí)，僅僅考慮像素對(duì)或者圖像塊對(duì)自身，而忽略了每個(gè)像素或者每個(gè)圖像塊在圖像整體中的地位，或者說忽略了每個(gè)像素或者每個(gè)圖像塊與圖像整體內(nèi)容的關(guān)系。
[0039]由此，發(fā)明人提出，在立體視覺匹配中，尤其是對(duì)于一些全局的視差計(jì)算方法，在計(jì)算像素對(duì)或者圖像塊對(duì)的匹配測(cè)度時(shí)，考慮像素或者圖像塊在圖像整體區(qū)域或者部分區(qū)域中的地位或者說顯著度，并且設(shè)計(jì)使得相比于現(xiàn)有技術(shù)而言，一個(gè)像素或者圖像塊的顯著度越高，涉及該像素或者圖像塊的匹配測(cè)度越高。
[0040]2、第一實(shí)施例(匹配測(cè)度計(jì)算方法)
[0041 ] 2.1、匹配測(cè)度計(jì)算方法示例
[0042]圖1示出了根據(jù)本發(fā)明第一實(shí)施例的面向立體視覺匹配的匹配測(cè)度計(jì)算方法100的總體流程圖。
[0043]這里假定要將參考圖像和匹配圖像進(jìn)行匹配，以確定例如參考圖像塊中的一個(gè)圖像塊(下文稱之為參考圖像塊)與匹配圖像中的對(duì)象圖像塊中的哪個(gè)匹配。關(guān)于參考圖像和匹配圖像，例如在立體視覺匹配的左圖像和右圖像中，可以任選一個(gè)作為參考圖像，則另一個(gè)為匹配圖像。
[0044]另外，這里假定參考圖像和匹配圖像已經(jīng)進(jìn)行了分割。本文意義上的圖像分割是將圖像利用顏色紋理等信息對(duì)圖像進(jìn)行分成多個(gè)區(qū)域的操作，每個(gè)區(qū)域都將呈現(xiàn)相似的顏色或者紋理。
[0045]優(yōu)選地，對(duì)圖像進(jìn)行“過分割”操作，與普通分割相比，過分割是指分割的區(qū)域面積盡量小，區(qū)域數(shù)目盡量多，使得在同一個(gè)分割區(qū)域內(nèi)，視差值是相等的。
[0046]這里，需要說明的是，作為特例，圖像塊的大小可以是一個(gè)像素。
[0047]圖2示意性示出了基于像素點(diǎn)匹配和基于圖像塊匹配測(cè)度的區(qū)別。圖2中的(a)分別示意性地表示左右圖；圖2中的(b)示意性地示出了基于像素點(diǎn)的匹配測(cè)度。對(duì)于左圖中像素點(diǎn)P，目標(biāo)是在右圖中發(fā)現(xiàn)對(duì)應(yīng)的P’，使得P和P’的匹配測(cè)度最高；圖2中的(C)示意性地示出了基于圖像分割的匹配測(cè)度。目標(biāo)是在右圖中找到對(duì)應(yīng)的圖像塊，使得與左圖中包含像素點(diǎn)P的圖像塊相匹配。舉例來說，在左右圖行對(duì)齊情況下，如果左圖中像素點(diǎn)P屬于圖像塊S， 且在水平線L上，那么右圖中穿過水平線L的所有圖像塊都將與圖像塊S計(jì)算匹配測(cè)度，最終的圖像塊s對(duì)應(yīng)的視差d可以通過計(jì)算s中所有像素點(diǎn)的視差的平均值來決定的。[0048]需要說明的是，圖2中所示的像素塊匹配或圖像塊匹配是在如下情況下進(jìn)行的:使用數(shù)學(xué)方法消除了徑向和切線方向上的鏡頭畸變，調(diào)整了攝像機(jī)間的角度和距離，從而得到了輸出行對(duì)準(zhǔn)的校正圖像，即左右圖像中對(duì)應(yīng)的圖像塊位于該同一水平掃描線上。從而，優(yōu)選地，給定參考圖像中的某圖像塊A，并不需要在匹配圖像整個(gè)圖像中搜索與圖像塊A匹配的圖像塊，從而在做匹配搜索時(shí)，只需要在匹配圖像的水平掃描線上進(jìn)行搜索即可。
[0049]本發(fā)明實(shí)施例的方法可以應(yīng)用于基于像素點(diǎn)的匹配，也可以應(yīng)用于圖像塊的匹配。下文的描述中，除非特別說明，圖像塊為廣義的圖像塊，包括圖像塊的大小僅為一個(gè)像素的特殊情況。
[0050]如圖1所示，在步驟SllO中，獲得參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度。
[0051]任何計(jì)算圖像塊之間的匹配測(cè)度的方法均可以用于計(jì)算這里的初始匹配測(cè)度。
[0052]作為示例，所述計(jì)算圖像塊的初始匹配測(cè)度可以使用例如絕對(duì)差和(Sum ofAbsolute Differences)、平方差和(Sum of Squared Differences)、歸一化相關(guān)(Normalized Cross-Correlation)、前述動(dòng)態(tài)規(guī)劃等等方法。
[0053]在步驟SllO中獲得初始匹配測(cè)度之后，前進(jìn)到步驟S120。
[0054]在步驟S120中，確定參考圖像的參考圖像塊的顯著度，該參考圖像塊的顯著度表示該參考圖像塊在參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中的顯著程度。
[0055]這里，一個(gè)圖像塊的顯著度可以是相對(duì)于所在整體圖像而言的，也可以是相對(duì)于部分區(qū)域而言的。
[0056]對(duì)于部分區(qū)域的例子，如前所述在左右圖行對(duì)齊的情況下，在針對(duì)參考圖像中的參考圖像塊在匹配圖像中做匹配搜索時(shí)，可以只在匹配圖像的相同水平掃描線上進(jìn)行搜索。由此，在確定參考圖像的一個(gè)圖像塊的顯著度時(shí)，可以是相對(duì)于由該圖像塊所在的水平掃描線對(duì)應(yīng)的區(qū)域而言的。
[0057]下文，將具體描述計(jì)算參考圖像塊的顯著度的方法示例。
[0058]在步驟S120中確定了參考圖像塊的顯著度之后，前進(jìn)到步驟S130。
[0059]在步驟S130中，基于該參考圖像的該參考圖像塊的顯著度，調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。
[0060]假設(shè)參考圖像塊的顯著度為S，初始匹配測(cè)度為R0，調(diào)整后的匹配測(cè)度為R，則三者間關(guān)系可以表示為如下公式(I):
[0061]R = f (R0, S)...(I)
[0062]其中，函數(shù)f滿足在相同的初始匹配測(cè)度RO的情況下，顯著度S越大，使得調(diào)整后的匹配測(cè)度R越大。
[0063]例如，假設(shè)顯著度S取值范圍為(0，I)，則可如下獲得調(diào)整后的匹配測(cè)度
[0064]R = RO* (1+S)…(2)
[0065]不過，上式(2)僅為示例，可以采用任何函數(shù)形式，只要滿足在同樣初始匹配測(cè)度RO的情況下，參考圖像塊的顯著度S越大，調(diào)整后的匹配測(cè)度R越高即可。
[0066]圖3示出了將傳統(tǒng)的匹配測(cè)度和本發(fā)明上述實(shí)施例的匹配測(cè)度進(jìn)行比較的示意圖。其中圖3中左側(cè)表不放大的左圖像，圖3中右側(cè)表不左右圖行對(duì)齊的情況下在現(xiàn)有技術(shù)和本發(fā)明實(shí)施例相比較的左圖像和右圖像的像素點(diǎn)匹配示意。如圖3所示，左圖中像素點(diǎn)η在右圖中有較多的與之匹配的像素點(diǎn)η’ 1，η’ 2和η’ 3等，而像素點(diǎn)m僅僅只有一個(gè)與之匹配的像素點(diǎn)m’。主要原因在于像素點(diǎn)η在圖像中的顏色、紋理都較為常見，而像素點(diǎn)m表現(xiàn)為一個(gè)突兀點(diǎn)，在圖像中與之相似的點(diǎn)不多。假設(shè)像素點(diǎn)所在的小窗口的顏色差等和匹配測(cè)度計(jì)算相關(guān)因素在(m，m’ )與(n，n’ I)之間均相同，則根據(jù)傳統(tǒng)的匹配測(cè)度計(jì)算方法，像素點(diǎn)m和m’之間的匹配測(cè)度等于或者基本等于相似點(diǎn)η和像素點(diǎn)η’ I之間的匹配測(cè)度；相反，根據(jù)本發(fā)明實(shí)施例的匹配測(cè)度計(jì)算方法，如果以傳統(tǒng)方法確定的匹配測(cè)度為初始匹配測(cè)度，則將確定像素點(diǎn)m和像素點(diǎn)η的顯著度，然后基于各自的顯著度調(diào)整各自的傳統(tǒng)匹配測(cè)度，從而因?yàn)橄袼攸c(diǎn)m的顯著度顯著大于像素點(diǎn)η的顯著度，則調(diào)整后的像素點(diǎn)對(duì)<m-m’ >的匹配測(cè)度也將顯著高于像素點(diǎn)對(duì)<n-n’ 1>的匹配測(cè)度。事實(shí)上，匹配<n_n’ 1>的可信度是顯然沒有匹配<m-m’ >的可信度高的，因此根據(jù)本發(fā)明實(shí)施例的匹配測(cè)度計(jì)算方法能夠至少一定程度上反映此可信度區(qū)別，因此根據(jù)本發(fā)明實(shí)施例的匹配測(cè)度方法可以獲得更客觀、更符合實(shí)際情況的匹配測(cè)度。
[0067]上述實(shí)施例中，僅根據(jù)參考圖像的參考圖像塊的顯著度來調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，不過這僅為示例，本發(fā)明并不局限于此，替代地，還可以確定匹配圖像的對(duì)象圖像塊的顯著度，對(duì)象圖像塊的顯著度表示該對(duì)象圖像塊在匹配圖像的所有圖像塊中的顯著程度；其中，所述調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度包括，基于該參考圖像的該參考圖像塊的顯著度和該對(duì)象圖像塊的顯著度來調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。
[0068]2.2、確定圖像塊的顯著度的示例性方法
[0069]下面參考圖4描述根據(jù)本發(fā)明實(shí)施例的確定圖像塊的顯著度的示例性方法。
[0070]圖4示出根據(jù)本發(fā)明實(shí)施例的確定圖像塊的顯著度的示例性方法120的流程圖。該示例性方法可以應(yīng)用于圖1所示的步驟S120。
[0071]如圖4所示，在步驟S121中，統(tǒng)計(jì)參考圖像的全部區(qū)域或者部分區(qū)域的圖像塊的數(shù)目N，其中N是大于等于2的整數(shù)。
[0072]在步驟S122中，計(jì)算參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中與該參考圖像塊相似的圖像塊的數(shù)目M，其中M為大于等于零的整數(shù)。
[0073]統(tǒng)計(jì)確定區(qū)域中與參考圖像塊相似的分割塊的個(gè)數(shù)可以包括:對(duì)于參考圖像中該參考圖像塊，計(jì)算其與該參考圖像的確定區(qū)域中其他圖像塊的相似度，這里可以利用圖像顏色、形狀、紋理或者矩特征計(jì)算；統(tǒng)計(jì)所述相似度大于一個(gè)固定閾值的圖像塊的個(gè)數(shù)，即為所求的相似的分割塊的個(gè)數(shù)。
[0074]順便說一下，上文中矩特征是概率統(tǒng)計(jì)里的概念，然而在區(qū)域和輪廓分析里也很有用?？梢詮木W(wǎng)ilhhttp: //en.wikipedia.0rg/wiki/Image moment得至l|關(guān)于矢巨特征的介紹。
[0075]在步驟S123中，基于相似圖像塊的數(shù)目M，全部圖像塊的數(shù)目N，計(jì)算參考圖像塊的顯著度，以便相似圖像塊的數(shù)目M越大，參考圖像塊的顯著度越低，以及全部圖像塊的數(shù)目N越大，參考圖像塊的顯著度越低。
[0076]例如，可以通過下述公式來確定所述參考圖像塊的顯著度，
【權(quán)利要求】
1.一種面向立體視覺匹配的確定參考圖像的參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度的方法，其中參考圖像和匹配圖像分別被分割成圖像塊，該匹配測(cè)度確定方法包括: 獲得參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度； 確定該參考圖像的該參考圖像塊的顯著度，該參考圖像塊的顯著度表示該參考圖像塊在參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中的顯著程度； 基于該參考圖像的該參考圖像塊的顯著度，調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。
2.根據(jù)權(quán)利要求1的匹配測(cè)度確定方法，其中，確定該參考圖像的該參考圖像塊的顯著度包括: 統(tǒng)計(jì)參考圖像的全部區(qū)域或者部分區(qū)域的圖像塊的數(shù)目N，其中N是大于等于2的整數(shù)； 計(jì)算參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中與該參考圖像塊相似的圖像塊的數(shù)目M，其中M為大于等于零的整數(shù)； 基于相似圖像塊的數(shù)目M，全部圖像塊的數(shù)目N，計(jì)算參考圖像塊的顯著度，以便相似圖像塊的數(shù)目M越大，參考圖像塊的顯著度越低，以及全部圖像塊的數(shù)目N越大，參考圖像塊的顯著度越低。
3.根據(jù)權(quán)利要求2的匹配測(cè)度確定方法，其中，通過下述公式來確定所述參考圖像塊的顯著度，
4.根據(jù)權(quán)利要求1的匹配測(cè)度確定方法，其中，確定該參考圖像的該參考圖像塊的顯著度包括: 根據(jù)該參考圖像塊的梯度大小、參考圖像塊是否為角點(diǎn)、統(tǒng)計(jì)圖像數(shù)據(jù)庫之一或者其組合來確定該參考圖像塊的顯著度。
5.根據(jù)權(quán)利要求1的匹配測(cè)度確定方法，其中圖像塊的大小為一個(gè)像素。
6.根據(jù)權(quán)利要求1的匹配測(cè)度確定方法，還包括: 確定該匹配圖像的對(duì)象圖像塊的顯著度，對(duì)象圖像塊的顯著度表示該對(duì)象圖像塊在匹配圖像的所有圖像塊中的顯著程度； 其中，所述調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度包括，基于該參考圖像的該參考圖像塊的顯著度和該對(duì)象圖像塊的顯著度來調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。
7.根據(jù)權(quán)利要求1的匹配測(cè)度確定方法，其中通過“過分割”對(duì)參考圖像和匹配圖像進(jìn)行分割操作，以使得在同一個(gè)分割區(qū)域內(nèi)，視差值相等。
8.一種面向立體視覺匹配的確定參考圖像的參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度的裝置，其中參考圖像和匹配圖像分別被分割成圖像塊，該匹配測(cè)度確定裝置包括: 初始匹配測(cè)度獲得部件，獲得參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度； 參考圖像塊顯著度確定部件，確定該參考圖像的該參考圖像塊的顯著度，該參考圖像塊的顯著度表示該參考圖像塊在參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中的顯著程度； 匹配測(cè)度調(diào)整部件，基于該參考圖像的該參考圖像塊的顯著度，調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。
9.一種用于雙目立體視覺的圖像匹配方法，包括: 輸入左圖像和右圖像； 分別將左圖像和右圖像過分割為圖像塊； 將左圖像和右圖像之一用作參考圖像，另一個(gè)用作匹配圖像，對(duì)于參考圖像中的參考圖像塊和匹配圖像的對(duì)象圖像塊，確定二者的匹配測(cè)度: 基于所計(jì)算的匹配測(cè)度，確定與參考圖像中的參考圖像塊匹配的匹配圖像中的匹配圖像塊， 其中通過下述操作確定參考圖像的參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度: 獲得參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度； 確定該參考圖像的該參考圖像塊的顯著度，該參考圖像塊的顯著度表示該參考圖像塊在參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中的顯著程度； 基于該參考圖像的該參考圖像塊的顯著度，調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。
10.一種用于雙目立體視覺的視差計(jì)算方法，包括: 輸入左圖像和右圖像； 分別將左圖像和右圖像過分割為圖像塊； 將左圖像和右圖像之一用作參考圖像，另一個(gè)用作匹配圖像，對(duì)于參考圖像中的參考圖像塊和匹配圖像的對(duì)象圖像塊，確定二者的匹配測(cè)度: 基于所計(jì)算的匹配測(cè)度，確定與參考圖像中的參考圖像塊匹配的匹配圖像中的匹配圖像塊； 基于參考圖像中的參考圖像塊和匹配圖像中的匹配圖像塊，計(jì)算參考圖像塊對(duì)應(yīng)的視差， 其中通過下述操作確定參考圖像的參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度: 獲得參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度； 確定該參考圖像的該參考圖像塊的顯著度，該參考圖像塊的顯著度表示該參考圖像塊在參考圖像的全部區(qū)域或者部分區(qū)域的所有圖像塊中的顯著程度；基于該參考圖像的該參考圖像塊的顯著度，調(diào)整所獲得的參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的初始匹配測(cè)度，從而確定參考圖像的該參考圖像塊和匹配圖像的對(duì)象圖像塊之間的匹配測(cè)度。
【文檔編號(hào)】G06T7/00GK103679686SQ201210335757
【公開日】2014年3月26日 申請(qǐng)日期:2012年9月11日 優(yōu)先權(quán)日:2012年9月11日
【發(fā)明者】劉媛, 師忠超, 魯耀杰, 王剛 申請(qǐng)人:株式會(huì)社理光