專利名稱：多分辨率的四元小波相位匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種用于人工智能領(lǐng)域的方法，特別是一種可應(yīng)用于雙目和多目立體匹配、單目序列圖像中運(yùn)動(dòng)目標(biāo)跟蹤、運(yùn)動(dòng)目標(biāo)分割等應(yīng)用場合的多分辨率的四元小波相位匹配方法。
背景技術(shù)：
目前，未校正圖像的立體匹配是計(jì)算機(jī)視覺的一個(gè)熱點(diǎn)問題，根據(jù)所選匹配基元的不同，現(xiàn)有的解決手段分為三類二維區(qū)域匹配、二維特征匹配和二維相位匹配。二維區(qū)域匹配在未校正圖像的立體匹配算法中占主流形勢，但這些算法執(zhí)行的并非是完全二維空間意義上的視差搜索任務(wù)，它們通常需要兩個(gè)步驟完成整個(gè)匹配過程首先，根據(jù)經(jīng)典的匹配算法獲取稀疏的二維匹配結(jié)果，并利用魯棒算子在初始的二維匹配結(jié)果中剔除局外點(diǎn)，繼而根據(jù)高置信度對應(yīng)點(diǎn)之間的位置關(guān)系計(jì)算基礎(chǔ)矩陣而恢復(fù)外極線幾何信息；其次，在恢復(fù)的外極線上執(zhí)行一維匹配過程。其中，局外點(diǎn)的剔除和基礎(chǔ)矩陣的計(jì)算過程十分復(fù)雜且難以控制，甚至?xí)?dǎo)致外極線幾何信息不能正確恢復(fù)。二維特征匹配通過將圖像對之間的匹配問題轉(zhuǎn)化為兩幅圖形之間的映射問題或子圖同構(gòu)問題，其中圖像被描繪成一幅圖形，特征基元作為圖形的節(jié)點(diǎn)，特征基元之間的幾何關(guān)系則被定義為各節(jié)點(diǎn)之間的鏈節(jié)。算法需要首先提取顯著的特征基元，比如邊緣線段或輪廓，然后在雙目圖像或多目圖像中對其進(jìn)行匹配。由于圖像像素集合中只有某個(gè)子集被用于匹配，因此得到的視差場是稀疏的，而且如果提取的特征基元不夠可靠，將導(dǎo)致算法的失敗。相位匹配算法是一類結(jié)合了區(qū)域匹配和特征匹配各自優(yōu)點(diǎn)的立體匹配算法，它對于光照畸變和幾何畸變比區(qū)域匹配穩(wěn)定，同時(shí)又無須特征提取就能獲得亞像素精度的致密視差場。現(xiàn)有的相位匹配算法絕大多數(shù)是一維的表達(dá)形式，它將圖像分解為實(shí)部和虛部兩個(gè)部分，利用單個(gè)相位獲取一維視差，圖像的匹配結(jié)果通常由相位差-頻率模型計(jì)算獲得。高維濾波器的構(gòu)造涉及復(fù)雜的高維信號處理知識和技術(shù)，同時(shí)搜索空間向二維的拓展導(dǎo)致計(jì)算量龐大且復(fù)雜以及匹配的歧義性顯著增加。因此，現(xiàn)有的相位匹配往往限于一維搜索空間，即立體像對必須經(jīng)過外極線重整。
經(jīng)對現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，目前僅有Thomas Bülow等的研究工作中涉及到二維相位匹配算法，他們在四元數(shù)代數(shù)的理論基礎(chǔ)上，利用四元Gabor濾波器獲得四元解析信號，然后通過提取可分離的四元相位和采用拓展的相位差-頻率模型而獲得二維視差圖。但正如他本人所述，其算法模型旨在證明理論的可行性，并不完整和實(shí)用，如僅實(shí)現(xiàn)了四元Gabor濾波器提取2D相位的過程，而濾波器的豐富選擇有助于尋找到最佳描述圖像的多分辨率方式；只對單尺度的四元解析信號計(jì)算視差，算法的準(zhǔn)確度低，視差場的密度也很低；相位奇點(diǎn)問題未得到較好的處理，奇點(diǎn)附近的視差無法確定以及奇點(diǎn)附近誤匹配的擴(kuò)散現(xiàn)象無法得到自適應(yīng)地控制。因此，現(xiàn)有的二維相位匹配算法的實(shí)用性較低，無法實(shí)現(xiàn)對自然像對的可靠匹配。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種多分辨率的四元小波相位匹配方法。使其整個(gè)匹配方法的實(shí)現(xiàn)結(jié)構(gòu)簡單，并具有良好的拓展性，與全局最優(yōu)技術(shù)和遮擋檢測技術(shù)相結(jié)合則能實(shí)現(xiàn)更為精確的全局匹配以及遮擋檢測。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明將四元小波理論首次應(yīng)用在未校正自然圖像的相位匹配中，直接利用頻率域的四元小波相位信息實(shí)現(xiàn)對未校正自然圖像對的可靠匹配，不需估計(jì)基礎(chǔ)矩陣，也無須建立檢測和剔除相位奇點(diǎn)的約束條件，可以直接對未校正自然圖像進(jìn)行二維視差估計(jì)。相對于經(jīng)典的未校正圖像的立體匹配方法，該方法在計(jì)算視差圖時(shí)，不需估計(jì)基礎(chǔ)矩陣以及進(jìn)行外極線重整，相比于現(xiàn)有的相位匹配算法，給出了除四元Gabor小波之外的四元小波濾波器的構(gòu)造方法，能自適應(yīng)地處理四元相位奇點(diǎn)引起的誤匹配問題，首次在相位匹配中實(shí)現(xiàn)了對未校正自然圖像對的二維視差估計(jì)。
在不計(jì)算基礎(chǔ)矩陣和進(jìn)行外極線校正的情形下，在頻率域中直接執(zhí)行二維匹配任務(wù)，多分辨率的二維匹配過程滿足視差搜索的半波長限制，顯著降低了視差解空間的大小或匹配的歧義性，而且該二維域的相位匹配過程能自適應(yīng)地抑制相位奇點(diǎn)的不利影響，實(shí)現(xiàn)對未校正自然像對的視差估計(jì)。
所述的直接利用頻率域的四元小波相位信息實(shí)現(xiàn)對未校正自然圖像對的可靠匹配，包括以下實(shí)現(xiàn)步驟1)構(gòu)造二維解析信號以提取二維局部相位結(jié)構(gòu)。首先構(gòu)造出單維的線性相位的實(shí)小波濾波器，然后采用希爾伯特變換在二維空間進(jìn)行線性相位的四元小波濾波器的構(gòu)造。
2)將構(gòu)造所得的四元小波濾波器對未校正圖像對作多分辨率的帶通濾波并提取局部四元相位信息，通過建立代價(jià)函數(shù)尋找最大相似的四元相位結(jié)構(gòu)，從而解決二維匹配問題。
3)相位奇點(diǎn)是相位匹配的固有問題，是導(dǎo)致相位誤匹配的主要原因。現(xiàn)有的四元相位匹配，僅僅通過檢測和剔除相位奇點(diǎn)而降低誤匹配，但得到的視差場是稀疏的，而且在多分辨率的匹配過程中會造成誤匹配的擴(kuò)散。該方法建立的代價(jià)函數(shù)利用帶通濾波的輸出能量自適應(yīng)地抑制由相位奇點(diǎn)引起的誤匹配。
本發(fā)明多分辨率四元小波相位匹配方案包括四元線性小波相位提取步驟以及相位之間的匹配步驟。四元線性小波相位提取步驟包含兩個(gè)實(shí)現(xiàn)單元構(gòu)造線性相位的離散四元小波濾波器；對立體像對進(jìn)行帶通濾波而提取可分離的局部四元線性小波相位信息。相位之間的匹配步驟包括根據(jù)四元線性相位信息建立有效的代價(jià)函數(shù)以及采用最優(yōu)搜索技術(shù)尋找最小代價(jià)路徑。其中，在代價(jià)值的計(jì)算中利用濾波輸出的能量信息自適應(yīng)地抑制相位奇點(diǎn)對匹配的不利影響。
本發(fā)明多分辨率四元小波相位匹配方法在進(jìn)行未校正立體像對的匹配過程中，以一種更符合人眼生理機(jī)理的方式解決對應(yīng)點(diǎn)的匹配問題，它直接在二維頻率域空間中搜索視差，而不計(jì)算基礎(chǔ)矩陣和求解外極線方程，該方法可以結(jié)合并行處理技術(shù)提高運(yùn)算速度；建立的代價(jià)方程在確定代價(jià)值時(shí)自動(dòng)引入相位穩(wěn)定的約束條件，能自適應(yīng)地抑制相位奇點(diǎn)的不利影響；采用的金字塔式的多分辨率匹配結(jié)構(gòu)，大大降低了視差搜索空間的范圍。本發(fā)明的匹配運(yùn)算易于實(shí)現(xiàn)，并具有良好的拓展性，與目前的全局優(yōu)化技術(shù)相結(jié)合，可實(shí)現(xiàn)二維全局匹配和二維遮擋檢測，進(jìn)一步提高該方法的實(shí)用性。此外，除立體匹配之外，二維域的圖像匹配技術(shù)可應(yīng)用于單目序列圖像中運(yùn)動(dòng)目標(biāo)跟蹤、運(yùn)動(dòng)目標(biāo)分割，甚至于序列圖像壓縮中的運(yùn)動(dòng)矢量估計(jì)，使得視頻中的運(yùn)動(dòng)矢量估計(jì)問題與立體視覺中的二維視差估計(jì)問題的解決方式可以統(tǒng)一起來，因此該方法的應(yīng)用范圍較廣。


圖1本發(fā)明提取四元線性相位的小波濾波器的構(gòu)造示意2是四元線性小波相位的多分辨率提取過程示意3是多分辨率四元小波相位匹配框架示意圖具體實(shí)施方式
以下結(jié)合附圖對本發(fā)明的匹配方案作進(jìn)一步描述。
如圖1所示，本發(fā)明中涉及的濾波器構(gòu)造過程。給出由線性相位的雙正交小波基構(gòu)造出線性相位的四元小波濾波器的過程。對于具有線性相位特征的雙正交小波基ψ1(x)，ψ2(y)以及它們所對應(yīng)的尺度函數(shù)φ1(x)，φ2(y)，就可以通過下述方法構(gòu)造出一組線性相位的四元小波濾波器Ψpq(x，y)，p∈{1，2，3}，包括一個(gè)二維尺度函數(shù)Φ(x，y)，從而可以得到對圖像頻率域的一種完整分割。其中，除自變量的變化方向分別為x和y之外，ψ1與ψ2所確定的自變量與因變量之間的映射關(guān)系可以是同一的。
Φ(x，y)＝φ1(x)φ2(y)Ψ1q(x,y)=φ1(x)ψ2(y)+iφ1Hix(x)ψ2(y)+jφ1(x)ψ2Hiy(y)+kφ1Hix(x)ψ2Hiy(y)]]>Ψ2q(x,y)=ψ1(x)φ2(y)+iψ1Hix(x)φ2(y)+jψ1(x)φ2Hiy(y)+kψ1Hix(x)φ2Hiy(y)]]>Ψ3q(x,y)=ψ1(x)ψ2(y)+iψ1Hix(x)ψ2(y)+jψ1(x)ψ2Hiy(y)+kψ1Hix(x)ψ2Hiy(y)]]>上標(biāo)Hix和Hiy分別表示對當(dāng)前函數(shù)作x和y方向上的一維希爾伯特變換。i，j，k為四元數(shù)代數(shù)中的復(fù)數(shù)單位，滿足i2＝j(luò)2＝k2＝-1以及ij＝k
如圖2所示，本發(fā)明四元線性小波相位的多分辨率提取過程。左右圖像fl和fr經(jīng)由尺度函數(shù)Φ(x，y)濾波并亞采樣后得到一組金字塔式的圖像結(jié)構(gòu)Am，c，用數(shù)學(xué)表達(dá)式可以這么描述，Φm,s,t(x,y)=12mΦ(x-s2m,y-t2m)]]>Amfc=Σs=1Mx2mΣt=1My2mam,s,tΦm,s,t(x,y),m={1,2,K,n},c∈{l,r}]]>am，s，t＝<fc(x，y)，Φm，s，t(x，y)>其中，對于給定的二維圖像信號f(x，y)，圖像大小為Mx×My，符號 則表示內(nèi)積運(yùn)算。系數(shù)(am，s，t)組成離散矩陣Am，c，形成多尺度的金字塔式圖像匹配結(jié)構(gòu)。在各個(gè)尺度m上，我們依靠一組四元小波濾波器Ψpq(x，y)，p∈{1，2，3)，得到具有線性相位的二維解析信號Dm，c，pΨm,s,t,pq(x,y)=12mΨpq(x-s2m,y-t2m)]]>Dm,pf=Σs=1Mx2mΣt=1My2mdm,s,t,pΨm,s,t,pq(x,y),p∈{1,2,3}]]>dm,s,t,p=<f(x,y),Ψm,s,t,pq(x,y)>]]>系數(shù)d(m，s，t，p)組成離散矩陣Dm，s，p，形成各尺度m下處于不同窄帶的圖像信息分量。至此為止，二維圖像信號f(x，y)在頻率域被尺度函數(shù)Φ(x，y)以及四元小波函數(shù)Ψpq(x，y)，p∈{1，2，3)完整分割，即圖像的多分辨率分解過程為fc(x，y)＝A1fc+D1，1fc+D1，2fc+D1，3fc＝A2fc+D2，1fc+D2，2fc+D2，3fc+D1，1fc+D1，2fc+D1，3fc=...=Anfc+Σm=1n[Dm,1fc+Dm,2fc+Dm,3fc]]]>假定m尺度下圖像c，c＝{l，r}中像素(s，t)處的一組小波系數(shù)為dm，s，t，p，p∈{1，2，3}，并且用四元數(shù)的形式可表達(dá)為
dm,s,t,p=a+ib+jc+kd=|dm,s,t,p|exp(angφc,pq)exp(angψc,pq)exp(angθc,pq)]]>其中，a，b，c，d∈R，p∈{1，2，3}，s={1,2,K,mx2m},]]>t={1,2,K,my2m},]]>符號|·|表示取四元數(shù)的模。那么，四元線性小波相位angφc，pq，angψc,pq和angθc，pq以及幅度ρc，pq的提取過程用數(shù)學(xué)表達(dá)式描述為angψc,pq=-arcsin(2(bc-ad))2]]>ρc,pq=(a2-b2+c2-d2)2+4(cd+ab)2]]>1)當(dāng)cos(2.angψc,pq)≠0]]>時(shí)，angθc,pq=12atan2(2(bd+ac),a2+b2-c2-d2),]]>angφc,pq=12atan2(2(cd+ab),a2-b2+c2-d2)]]>2)當(dāng)cos(2.angψc,pq)=0,]]>即angψc,pq=±π4]]>時(shí)，angφc，pq±angθc，pq有確定主值，但angφc,pq，angθc，pq，沒有唯一解a、如果angψc,pq=±π4,]]>angθc,pq=0]]>時(shí)，angφc,pq=12atan2(-2(cd-ab),a2-b2-c2+d2)]]>b、如果angψc,pq=±π4,]]>angφc,pq=0]]>時(shí)，angθc,pq=12atan2(-2(bd-ac),a2-b2-c2+d2)]]>注意，如果dm,s,t,p=-|dm,s,t,p|exp(angφc,pq)exp(angψc,pq)exp(angθc,pq),]]>必須修正上述計(jì)算獲得的小波相位angφc，pq，即 其中，符號←為賦值符號，使其滿足
dm,s,t,p=|dm,s,t,p|exp(angφc,pq)exp(angψc,pq)exp(angθc,pq),]]>而且三個(gè)四元小波相位angφc，pq，angψc，pq和angθc，pq主值范圍分別是[-π，π)、 和 如圖3所示，本發(fā)明四元線性小波相位提取后，二維域相位匹配的實(shí)現(xiàn)過程。除相位奇點(diǎn)之外，對應(yīng)點(diǎn)處應(yīng)滿足四元相位相等，因此我們以相位差異建立代價(jià)函數(shù)，通過尋找最小代價(jià)路徑或圖像對之間最大相似的局部四元相位結(jié)構(gòu)而確定視差。同時(shí)，為保證相位的穩(wěn)定性，在建立代價(jià)方程時(shí)，引入相位穩(wěn)定性約束條件，對輸出幅度高的候選對應(yīng)點(diǎn)處的相位差異值予以高的置信度。
對于尺度m下參考圖中的離散像素(k，l)，假定其與候選對應(yīng)點(diǎn)之間的二維視差D=dsdt,]]>建立代價(jià)方程如下cost(s,t,ds,dt)=ΣΔs,Δt=-MMΣp=13[ρ~l,pq(s+Δs,t+Δt)ρ~r,pq(s+Δs+ds,t+Δt+dt)×fp(s+Δs,t+Δt,ds,dt)]]]>其中幅度須進(jìn)行歸一化，即ρ~l,pq(s+Δs,t+Δt)ρ~r,pq(s+Δs+ds,t+Δt+dt)]]>=ρl,pq(s+Δs,t+Δt)ρr,pq(s+Δs+ds,t+Δt+dt)ΣΔs,Δt=-MMΣp=13ρl,pq(s+Δs,t+Δt)ρr,pq(s+Δs+ds,t+Δt+dt)]]>fp(s+Δs,t+Δt,ds,dt)=|[angφl,pq(s+Δs,t+Δt)-angφr,pq(s+Δs+ds,t+Δt+dt)]2π|]]>+|[angθl,pq(s+Δs,t+Δt)-angθl,pq(s+Δs+ds,t+Δt+dt)]π|]]>+|[angψl,pq(s+Δs,t+Δt)-angψl,pq(s+Δs+ds,t+Δt+dt)]π/2|]]>上式中，[·]2π∈[-π，π)，[·]π∈[-π2,π2)]]>以及[·]π2∈[-π4,π4].]]>一旦建立了代價(jià)方程，即可在當(dāng)前的有效視差范圍內(nèi)結(jié)合最優(yōu)搜索技術(shù)確定出最小代價(jià)路徑，由而獲得二維視差圖。圖3給出的匹配框架中采用了粗-精的匹配策略，通過多分辨率采樣擴(kuò)大算法的收斂范圍并加快收斂速度，其中粗通道的匹配結(jié)果經(jīng)內(nèi)插后作為下一細(xì)通道的視差初值圖，如尺度m下獲得的視差圖經(jīng)內(nèi)插后將作為m-1尺度下的視差初始圖，視差的有效搜索范圍是[d0-Δd，d0+Δd]。其中，d0是視差初值，而Δd則滿足帶通濾波器ψpq(x，y)，p∈{1，2，3}的通帶中心頻率的半波長限制。
權(quán)利要求
1.一種多分辨率四元小波相位匹配方法，其特征在于，將四元小波理論首次應(yīng)用在未校正自然圖像的相位匹配中，直接利用頻率域的四元小波相位信息實(shí)現(xiàn)對未校正自然圖像對的可靠匹配，直接對未校正自然圖像進(jìn)行二維視差估計(jì)，相對于未校正圖像的立體匹配方法，在計(jì)算視差圖時(shí)，不需估計(jì)基礎(chǔ)矩陣以及進(jìn)行外極線重整，給出了除四元Gabor小波之外的四元小波濾波器的構(gòu)造方法，能自適應(yīng)地處理四元相位奇點(diǎn)引起的誤匹配問題。
2.如權(quán)利要求1所述的多分辨率四元小波相位匹配方法，其特征是，所述的直接利用頻率域的四元小波相位信息實(shí)現(xiàn)對未校正自然圖像對的可靠匹配，具體步驟以下1)構(gòu)造二維解析信號以提取二維局部相位結(jié)構(gòu)，首先構(gòu)造出單維的線性相位的實(shí)小波濾波器，然后采用希爾伯特變換在二維空間進(jìn)行線性相位的四元小波濾波器的構(gòu)造；2)將構(gòu)造所得的四元小波濾波器對未校正圖像對作多分辨率的帶通濾波并提取局部四元相位信息，通過建立代價(jià)函數(shù)尋找最大相似的四元相位結(jié)構(gòu)，從而解決二維匹配問題；3)建立代價(jià)函數(shù)利用帶通濾波的輸出能量自適應(yīng)地抑制由相位奇點(diǎn)引起的誤匹配。
全文摘要
一種多分辨率四元小波相位匹配方法，將四元小波理論首次應(yīng)用在未校正自然圖像的相位匹配中，直接利用頻率域的四元小波相位信息實(shí)現(xiàn)對未校正自然圖像對的可靠匹配，直接對未校正自然圖像進(jìn)行二維視差估計(jì)，相對于未校正圖像的立體匹配方法，在計(jì)算視差圖時(shí)，不需估計(jì)基礎(chǔ)矩陣以及進(jìn)行外極線重整，給出了除四元Gabor小波之外的四元小波濾波器的構(gòu)造方法，能自適應(yīng)地處理四元相位奇點(diǎn)引起的誤匹配問題。整個(gè)匹配方法的實(shí)現(xiàn)結(jié)構(gòu)簡單，并具有良好的拓展性，與全局最優(yōu)技術(shù)和遮擋檢測技術(shù)相結(jié)合則能實(shí)現(xiàn)更為精確的全局匹配以及遮擋檢測。
文檔編號G06T5/00GK1687968SQ20051002478
公開日2005年10月26日 申請日期2005年3月31日 優(yōu)先權(quán)日2005年3月31日
發(fā)明者徐奕, 周軍 申請人:上海交通大學(xué)