本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種高動(dòng)態(tài)范圍三維圖像配準(zhǔn)方法。

背景技術(shù)：

近年來，高動(dòng)態(tài)范圍圖像合成(highdynamicrangeimagecomposition)技術(shù)獲得了高新發(fā)展。真實(shí)世界場(chǎng)景往往具有很高的動(dòng)態(tài)范圍，而傳統(tǒng)數(shù)碼照相機(jī)由于只具有有限的位深度，難以捕捉到完整的動(dòng)態(tài)范圍。一個(gè)彌補(bǔ)措施是通過拍攝多張相同場(chǎng)景不同曝光度的圖像并合成，間接恢復(fù)出完整的動(dòng)態(tài)范圍，在通過色調(diào)映射算法，將高動(dòng)態(tài)圖像壓縮顯示在低動(dòng)態(tài)范圍顯示部件上(如lcd,crt)，實(shí)現(xiàn)圖像質(zhì)量的提升。

在數(shù)碼相機(jī)成像的基本過程中，相機(jī)的輸出主要由兩個(gè)因素決定，其一是場(chǎng)景的光線輝度，在短時(shí)攝影中基本保持不變。另一因素是相機(jī)自身參數(shù)，在光圈、增益等一定時(shí)，主要由曝光時(shí)間決定。輸出圖像的灰度級(jí)和場(chǎng)景光線輝度之間的關(guān)系，可以用相機(jī)相應(yīng)函數(shù)表示。

利用相機(jī)響應(yīng)曲線，可以將多曝光圖像映射到光線輝度域上，對(duì)輝度空間的圖像進(jìn)行加權(quán)平均即得到對(duì)數(shù)hdr圖像。但在合成之前，一個(gè)重要的問題是拍攝過程中圖像的抖動(dòng)和場(chǎng)景的運(yùn)動(dòng)，以及目標(biāo)本身三維結(jié)構(gòu)在運(yùn)動(dòng)中造成的視差，故一個(gè)準(zhǔn)確的配準(zhǔn)過程十分重要。tomasazewska提出了sift特征的配準(zhǔn)算法。sift算法能夠較為有效的提取相似圖像中相應(yīng)的尺度不變的特征點(diǎn)，但計(jì)算量較大，不適合實(shí)時(shí)圖像配準(zhǔn)。surf采用了積分圖和模板放縮來模擬尺度變化，速度較快，其描述子是采用水平和垂直方向的haar小波響應(yīng)的統(tǒng)計(jì)量來構(gòu)造特征的，具有一定的抗噪能力，但作為統(tǒng)計(jì)構(gòu)造特征，其描述子的區(qū)分力相對(duì)較低。

而在surf的特征點(diǎn)的匹配上，傳統(tǒng)的ransac算法過程穩(wěn)定，對(duì)匹配錯(cuò)誤特征點(diǎn)與噪聲的魯棒性較強(qiáng)，剔除錯(cuò)誤匹配能力較好，但ransac算法對(duì)參數(shù)估計(jì)是通過不斷進(jìn)行迭代和測(cè)試完成的，且初始模型參數(shù)是對(duì)隨機(jī)抽取的數(shù)據(jù)計(jì)算得到的，不確定性比較大；若隨機(jī)抽取的初始數(shù)據(jù)誤差較大，則算法性能被嚴(yán)重影響。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于提出一種能夠提高三維圖像配準(zhǔn)的準(zhǔn)確性和滿足實(shí)時(shí)性需求的高動(dòng)態(tài)范圍三維圖像配準(zhǔn)方法。

本發(fā)明技術(shù)方案具體包括以下步驟：

第一步，提取基于haar-like特征改進(jìn)的surf描述子；

第二步，采用雙向flann近鄰匹配方法進(jìn)行特征匹配；

第三步，采用改進(jìn)的ransac算法進(jìn)行誤匹配點(diǎn)的剔除。

作為本發(fā)明技術(shù)方案的進(jìn)一步改進(jìn)，所述第一步具體包括以下內(nèi)容：

采用surf算法進(jìn)行快速hessian算子檢測(cè)得到特征點(diǎn)，隨后對(duì)特征點(diǎn)進(jìn)行精確定位，確定主方向，并構(gòu)造特征向量；

以特征點(diǎn)為中心，首先將坐標(biāo)軸旋轉(zhuǎn)到所述主方向，按照所述主方向選取邊長為20s的正方形區(qū)域，其中s為采樣步長；

將該正方形區(qū)域劃分為4×4的子區(qū)域，在每一個(gè)子區(qū)域內(nèi)，計(jì)算5s×5s范圍內(nèi)的小波響應(yīng)，相對(duì)于所述主方向水平、垂直方向的haar小波響應(yīng)分別記做dx和dy，賦予響應(yīng)值dx和dy以權(quán)值系數(shù)；并引入haar-like特征的線特征和對(duì)角特征，對(duì)線特征和對(duì)角特征的響應(yīng)分別記作dl和dd，然后將每個(gè)子區(qū)域的響應(yīng)以及響應(yīng)的絕對(duì)值相加，并在每個(gè)子區(qū)域形成八維分量的矢量：

v＝(∑dx,∑|dx|,∑dy,∑|dy|,∑dl,∑|dl|,∑dd,∑|dd|)(2)

對(duì)每一特征點(diǎn)，形成4×4×8＝512維的描述向量，再進(jìn)行向量的歸一化。

作為本發(fā)明技術(shù)方案的進(jìn)一步改進(jìn)，所述第二步具體包括以下內(nèi)容：

設(shè)參考圖像i1的特征點(diǎn)x在待配準(zhǔn)圖像i2中的最近鄰特征點(diǎn)為m，點(diǎn)x在圖像i2中的次近鄰特征點(diǎn)為n，點(diǎn)x、m與n的特征向量分別為fx、fm與fn，則flann近鄰匹配的主要步驟如下：

step1：計(jì)算點(diǎn)m、n與點(diǎn)x的歐氏距離dmx和dnx：

step2：計(jì)算距離比值r＝dmx/dnx；

step3：如果r＜ε，ε為閾值，則點(diǎn)x與點(diǎn)m匹配成功；否則匹配失??；

根據(jù)上述flann近鄰匹配的匹配步驟，先從參考圖像i1到待配準(zhǔn)圖像i2對(duì)特征點(diǎn)進(jìn)行flann搜索匹配，然后再從待配準(zhǔn)圖像i2到參考圖像i1進(jìn)行flann搜索匹配，保留兩次搜索匹配結(jié)果一致的特征點(diǎn)對(duì)，否則刪除，由此得到一一對(duì)應(yīng)的特征匹配結(jié)果。

作為本發(fā)明技術(shù)方案的進(jìn)一步改進(jìn)，所述第三步具體包括以下內(nèi)容：

參考圖像i1與待配準(zhǔn)圖像i2之間的關(guān)系采用投影變換模型來描述，其變換模型矩陣m用公式(5)表示；

式中：(x',y')是參考圖像的點(diǎn)，(x,y)是待配準(zhǔn)圖像中與(x',y')相對(duì)應(yīng)的點(diǎn)；

所述改進(jìn)的ransac算法的步驟如下：

step1：將雙向flann近鄰匹配得到的匹配點(diǎn)對(duì)組成樣本集p，對(duì)p中的所有匹配點(diǎn)(xi,yi)、(xi',yi')按近鄰匹配距離比值由小到大進(jìn)行排序，選取前t對(duì)匹配點(diǎn)對(duì)作為ransac初始數(shù)據(jù)集s；

step2：從s中隨機(jī)抽取包含4對(duì)匹配點(diǎn)對(duì)的子集a，用來估計(jì)變換矩陣m的8個(gè)參數(shù)；

step3：利用估計(jì)的參數(shù)對(duì)余集cpa中的每一對(duì)匹配點(diǎn)對(duì)(xi,yi)，(xi',yi')進(jìn)行判斷，若點(diǎn)(xi,yi)經(jīng)過變換矩陣變換后的點(diǎn)與(xi',yi')的距離小于設(shè)定的閾值，則此匹配點(diǎn)對(duì)為內(nèi)點(diǎn)，記錄內(nèi)點(diǎn)數(shù)量；否則，該匹配點(diǎn)對(duì)為外點(diǎn)；

step4：重復(fù)執(zhí)行step2和step3，執(zhí)行k次后轉(zhuǎn)step5，k＝lg(1-p)/lg(1-q⁴)，其中，p為所有采樣中至少有一次估計(jì)的所有匹配點(diǎn)對(duì)都為內(nèi)點(diǎn)的概率，q為內(nèi)點(diǎn)數(shù)與特征點(diǎn)總數(shù)的比值；

step5：將有最多內(nèi)點(diǎn)數(shù)的變換矩陣參數(shù)作為最終變換參數(shù)，滿足此最終變換參數(shù)的數(shù)據(jù)集作為最終的匹配點(diǎn)集。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

1、本發(fā)明提出的改進(jìn)的surf特征描述符結(jié)合haar-like特征，增加了對(duì)邊和對(duì)角特征的描述。

2、在匹配過程中，本發(fā)明提出的改進(jìn)ransac算法選擇相對(duì)優(yōu)質(zhì)的特征匹配點(diǎn)對(duì)作為初始數(shù)據(jù)，以減小初始模型參數(shù)不確定性，提高配準(zhǔn)的準(zhǔn)確性；并采用融合flann算法和改進(jìn)ransac算法的匹配策略對(duì)特征匹配過程進(jìn)行優(yōu)化，進(jìn)一步提升搜索效率和匹配精度。

3、本發(fā)明提出的改進(jìn)的surf算法解決了在三維視差不能忽略的情況下，多曝光圖像序列的配準(zhǔn)問題，并且算法具有較快的速度，適合域?qū)崟r(shí)配準(zhǔn)情形。

4、在三維配準(zhǔn)圖像中，改進(jìn)的surf算法結(jié)合haar-like特征集構(gòu)造了一種新的surf特征描述符，引入haar-like特征集中的對(duì)角特征和線特征來構(gòu)造新的描述子，從而提高描述子的區(qū)分能力。

附圖說明

圖1是本發(fā)明中的一種高動(dòng)態(tài)范圍三維圖像配準(zhǔn)新算法的流程圖。

圖2是本發(fā)明中的haar-like特征集。

圖3是本發(fā)明中的構(gòu)造的新描述符。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說明。

本具體實(shí)施例為一種高動(dòng)態(tài)范圍三維圖像配準(zhǔn)方法，該方法具體包括以下步驟：

第一步：提取基于haar-like特征改進(jìn)的surf描述子

surf算法較之sift在計(jì)算速度和魯棒性上有較大改進(jìn)，已被廣泛的應(yīng)用于目標(biāo)識(shí)別和跟蹤。

surf算法通過圖像二階hessian矩陣定義如下：

其中l(wèi)xx(x,σ)是高斯函數(shù)的二階導(dǎo)數(shù)與圖像i在點(diǎn)x處的卷積，lxy(x,σ)、lyy(x,σ)分別為高斯二階偏導(dǎo)數(shù)與圖像i(x,y)在點(diǎn)(x,y)處的卷積，其中二維高斯函數(shù)為：而hessian矩陣行列式在尺度空間和圖像空間的最大值點(diǎn)則被確定為特征點(diǎn)。

surf算法利用快速hessian算子檢測(cè)得到特征點(diǎn)，隨后對(duì)特征點(diǎn)進(jìn)行精確定位，確定所述主方向，并構(gòu)造特征向量。以特征點(diǎn)為中心，首先將坐標(biāo)軸旋轉(zhuǎn)到所述主方向，按照所述主方向選取邊長為20s的正方形區(qū)域(s為采樣步長，與尺度相關(guān))，將該正方形區(qū)域劃分為4×4的子區(qū)域，在每一個(gè)子區(qū)域內(nèi)，計(jì)算5s×5s范圍內(nèi)的小波響應(yīng)，相對(duì)于所述主方向水平、垂直方向的haar小波響應(yīng)分別記做dx和dy，賦予響應(yīng)值dx和dy以權(quán)值系數(shù)；然后將每個(gè)子區(qū)域的響應(yīng)以及響應(yīng)的絕對(duì)值相加，并在每個(gè)子區(qū)域形成四維分量的矢量：

vsub＝(∑dx,∑dy,∑|dx|,∑|dy|)(2)

因此，對(duì)每一特征點(diǎn)，則形成4×4×4＝64維的描述向量，再進(jìn)行向量的歸一化。

haar-like特征集如圖2所示，它包含15個(gè)特征雛形：(1)4個(gè)邊緣特征(圖(a)-(d))；(2)8個(gè)線特征(圖(e)-(l))；(3)2個(gè)中心環(huán)繞特征(圖(m)、(n))；(4)1個(gè)對(duì)角特征(圖(o))；圖中黑色部分權(quán)為-1，白色部分權(quán)為+1。

surf算法采用的haar小波可通過系數(shù)的變換來模擬出所有的圖像特征，但是采用兩個(gè)方向的小波響應(yīng)的統(tǒng)計(jì)量的特征過于簡(jiǎn)單，所以本發(fā)明將haar-like特征集中的(e)和(o)特征加入進(jìn)來，用于描述線特征和對(duì)角特征，如圖2所示。對(duì)線特征(e)和對(duì)角特征(o)的響應(yīng)分別記作dl和dd，則改進(jìn)后的surf描述子為：

v＝(∑dx,∑|dx|,∑dy,∑|dy|,∑dl,∑|dl|,∑dd,∑|dd|)(3)

對(duì)其中加入的線特征(e)和對(duì)角特征(o)仍然執(zhí)行對(duì)每個(gè)子區(qū)域響應(yīng)的絕對(duì)值相加求和。新描述符的示意圖如圖2所示。

第二步：采用雙向flann近鄰匹配方法進(jìn)行特征匹配

surf算法在特征點(diǎn)的匹配上采用一一對(duì)應(yīng)的匹配方法，這樣不僅耗時(shí)較高，而且容易出現(xiàn)誤匹配。因此本發(fā)明采用雙向flann近鄰匹配和改進(jìn)ransac算法融合而成的匹配策略對(duì)特征匹配過程進(jìn)行優(yōu)化。

設(shè)參考圖像i1的特征點(diǎn)x在待配準(zhǔn)圖像i2中的最近鄰特征點(diǎn)為m，點(diǎn)x在圖像i2中的次近鄰特征點(diǎn)為n，點(diǎn)x、m與n的特征向量分別為fx、fm與fn，則flann近鄰匹配的主要步驟如下：

step1：計(jì)算點(diǎn)m、n與點(diǎn)x的歐氏距離dmx和dnx：

step2：計(jì)算距離比值r＝dmx/dnx。

step3：如果r＜ε(ε為閾值，一般取0.4～0.8)，則點(diǎn)x與點(diǎn)m匹配成功；否則匹配失敗。

flann近鄰匹配采用的是距離比值法，該距離比值法可能導(dǎo)致匹配結(jié)果出現(xiàn)一對(duì)多的匹配結(jié)果。因此，本發(fā)明利用雙向flann鄰近匹配，以消除一對(duì)多的匹配結(jié)果。

雙向flann鄰近匹配方法為：先從參考圖像i1到待配準(zhǔn)圖像i2對(duì)特征點(diǎn)進(jìn)行flann搜索匹配，然后再從待配準(zhǔn)圖像i2到參考圖像i1進(jìn)行flann搜索匹配，保留兩次搜索匹配結(jié)果一致的特征點(diǎn)對(duì)，否則刪除，由此得到一一對(duì)應(yīng)的特征匹配結(jié)果。

第三步：采用改進(jìn)的ransac進(jìn)行誤匹配點(diǎn)的剔除

圖像經(jīng)過雙向flann鄰近匹配后，還會(huì)存在少量錯(cuò)誤的匹配點(diǎn)，本發(fā)明采用改進(jìn)ransac算法來剔除匹配錯(cuò)誤的特征點(diǎn)對(duì)，選擇相對(duì)優(yōu)質(zhì)的特征匹配點(diǎn)對(duì)作為初始數(shù)據(jù)，以減小初始模型參數(shù)不確定性，提高配準(zhǔn)的準(zhǔn)確性。

參考圖像i1到待配準(zhǔn)圖像i2間一般存在偏移、尺度和旋轉(zhuǎn)等變換，可用投影變換模型來描述參考圖像i1到待配準(zhǔn)圖像i2之間的變換關(guān)系，其變換模型使用矩陣m的形式來表達(dá)。

式中：(x',y')是參考圖像的點(diǎn)，(x,y)是待配準(zhǔn)圖像中與(x',y')相對(duì)應(yīng)的點(diǎn)，m11～m32為變換模型矩陣m里的參數(shù)。

所述改進(jìn)的ransac算法的步驟如下：

step1：將雙向flann近鄰匹配得到的匹配點(diǎn)對(duì)組成樣本集p，對(duì)p中的所有匹配點(diǎn)(xi,yi)、(xi',yi')按近鄰匹配距離比值由小到大進(jìn)行排序，選取前t對(duì)匹配點(diǎn)對(duì)作為ransac初始數(shù)據(jù)集s。

step2：從s中隨機(jī)抽取包含4對(duì)匹配點(diǎn)對(duì)的子集a，用來估計(jì)變換矩陣m的8個(gè)參數(shù)。

step3：利用估計(jì)的參數(shù)對(duì)余集cpa中的每一對(duì)匹配點(diǎn)對(duì)(xi,yi)，(xi',yi')進(jìn)行判斷，若點(diǎn)(xi,yi)經(jīng)過變換矩陣變換后的點(diǎn)與(xi',yi')的距離小于設(shè)定的閾值，則此匹配點(diǎn)對(duì)為內(nèi)點(diǎn)，并記錄內(nèi)點(diǎn)數(shù)量；否則，該匹配點(diǎn)對(duì)為外點(diǎn)。

step4：重復(fù)執(zhí)行step2和step3，執(zhí)行k次后轉(zhuǎn)step5。k＝lg(1-p)/lg(1-q⁴)，其中，p為所有采樣中至少有一次估計(jì)的所有匹配點(diǎn)對(duì)都為內(nèi)點(diǎn)的概率，q為內(nèi)點(diǎn)數(shù)與特征點(diǎn)總數(shù)的比值。

step5：將有最多內(nèi)點(diǎn)數(shù)的變換矩陣參數(shù)作為最終變換參數(shù)，滿足此參數(shù)的數(shù)據(jù)集作為最終的匹配點(diǎn)集。

本發(fā)明提出的一種高動(dòng)態(tài)范圍的三維圖像配準(zhǔn)新方法，有效提高了描述子的區(qū)分力，增加了匹配點(diǎn)數(shù)。對(duì)特征匹配過程進(jìn)行優(yōu)化，進(jìn)一步提升搜索效率和匹配精度，有效地解決了在三維視差不能忽略的情況下，配準(zhǔn)滿足同時(shí)具有準(zhǔn)確性和實(shí)時(shí)性。

本發(fā)明中提出的方法實(shí)際上可嵌入fpga實(shí)現(xiàn)，開發(fā)具有圖像配準(zhǔn)的相機(jī)或攝像機(jī)。以上實(shí)施例僅起到解釋本發(fā)明技術(shù)方案的作用，本發(fā)明所要求的保護(hù)范圍并不局限于上述實(shí)施例所述的實(shí)現(xiàn)系統(tǒng)和具體實(shí)施步驟。因此，僅對(duì)上述實(shí)施例中具體的公式及算法進(jìn)行簡(jiǎn)單替換，但其實(shí)質(zhì)內(nèi)容仍與本發(fā)明所述方法相一致的技術(shù)方案，均應(yīng)屬于本發(fā)明的保護(hù)范圍。