專利名稱：基于sift的具有鏡面翻轉(zhuǎn)不變性的特征提取和描述方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種圖像特征提取方法。
背景技術(shù)：
當(dāng)今的計算機技術(shù)發(fā)展飛速，計算機視覺和圖像檢索的應(yīng)用領(lǐng)域越來越廣泛，同時也彰顯出它們的重要性。熱門的三維重建、物體識別、相機校準、機器人雙目導(dǎo)航等等都是建立在計算機視覺的基礎(chǔ)之上，所以合理有效地解決計算機視覺所存在的問題或改進不完善之處可以給計算機界甚至科學(xué)界帶來巨大的推動。計算機視覺建立在一種令計算機模擬人類(哺乳類動物)視覺而達到一定程度的智能性的理念之上，連同圖像檢索等都需要對圖像的特征進行提取分析，所以圖像特征的定義及提取方案有著舉足輕重的作用。當(dāng)然，當(dāng)今有多種解決方案，常見的有基于梯度的特征提取和描述方法，包括Harriscorner detector1、SIFT2、SURF3、HOG4、GL0H5。除了基于梯度的特征提取方法，還有基于輪廓提取等其它方法。由于本發(fā)明提出的MIFT是基于梯度的方法，所以對其它方法不予過多描述。其中Harris corner detector (哈里斯角點檢測器)能夠提取出在圖像本身尺度上對于旋轉(zhuǎn)和光照不變性的特征點。實際上，并不是如名稱中所說的那樣僅僅是提取角點而已，而是所有的在多個方向上具有顯著梯度的特征點。但是，Harris corner detector的局限性相對較大，因為它對圖像尺度的縮放非常敏感。為了去除或是減弱圖像尺度改變的影響，Lowe提出SIFT(尺度不變特征變換)解決了尺度縮放所帶來的問題，當(dāng)然它也保證了旋轉(zhuǎn)不變性甚至在一定程度能容忍光照、仿射變換和遮蓋等影響。SURF，簡單來講是一個加速版的SIFT,它與SIFT都采用一種輔助區(qū)域策略，也就是說以特征點為中心指定一個輔助區(qū)域，在這個區(qū)域中的像素共同決定特征點的描述。不同的是SIFT采用一種根據(jù)區(qū)域中不同像素對特征點貢獻不同的策略來給它們賦予權(quán)值，而SURF則僅僅采用基于積分圖像(integral image)的相等權(quán)值策略。H0G結(jié)合SVM (支持向量機)提供了一種基于梯度信息的人類檢測方法。GLOH則是SIFT的另一變種形式，它利用圓形策略來組織輔助區(qū)域，目的是增強特征的健壯性和突出性，初始的GLOH描述符有272維，但經(jīng)過PCA (主成分分析)操作，使272維降至與SIFT相同的128維，保證在不丟失關(guān)鍵信息的基礎(chǔ)上，提高匹配操作的效率。上述的所有方法，雖然可以很好的解決旋轉(zhuǎn)、尺度變化甚至是光照變化和仿射等圖像上的變形，但是幾乎所有的方法都沒有考慮到鏡面成像一類的情況，這種情況在現(xiàn)實生活中是很常見的，例如水面倒影，鏡面成像，對稱物體的不同角度觀察等等。參考文獻:
1C. Harris禾H M. J. St印hens,《角邊探測器》，Wrey觀資會議，vol. 20, pp. 147-152, 1988.
2D. G. Lowe,《選自尺度不變關(guān)鍵點的獨特圖像特征》，##"教欲_#;^^淑改vol. 60，pp. 91 _ 110， 2004.
3H. Bay, T. Tuytelaars,和L Van Gool.，《Surf:加速提取健壯性特征》，《攀教
欲貴欲沐會議，pp. 404-417, 2006.4N. Dalai和B. Triggs,《基于方向梯度直方圖的人類探測》，^,教欲貴J 蒺式欽激
^^會議，vol. 1， pp. 886 - 893， 2005.5K. Mikolajczyk和C. Schmid,《局部特征描述符的性能估計》，7522" ^"jf》叛及教
器^^虔會煩vol. 27, pp. 1651 - 1630， 2004.
本發(fā)明的目的在于提供一種能夠解決鏡面翻轉(zhuǎn)現(xiàn)象所導(dǎo)致的SIFT特征提取方法失效的問題，同時又保持SIFT的所有優(yōu)點和性能。換句話說，提供一種在翻轉(zhuǎn)前后兩種情況下保持同一描述形式的特征提取和描述方法，也即具有鏡面翻轉(zhuǎn)不變性的特征提取和描述方法。為此，本發(fā)明采用如下的技術(shù)方案
一種基于SIFT的具有鏡面翻轉(zhuǎn)不變性的特征提取和描述方法，包括下列步驟步驟1:對瑜入的圖像/0,力進行高斯核巻積處理，即"JC,;;,O")-G0,y，cr"/(jc,;;)， #
到多尺度空間表達的圖像丄(x,少,c7)，式中，G(;c,;;,o"^^e—"2+力^，其中o"為高斯
正態(tài)分布的方差；
步驟2:對多尺度'空間表達的圖像"X,y,C7)按照下列公式進行高斯差處理
Z)(x,少，cr) = (G(:c,— ;/， cr)) * /(乂，力=;;， — Z(x, y， cr)，檢測多尺度空間表達
的圖像丄(JC，少，O")的極值點；
步驟3:利用閾值法和黑塞矩陣法篩選特征點；
步驟4:采用擬合三維二次曲線的方式精確定位特征點位置；
步驟5:根據(jù)特征點輔助鄰域像素上的梯度方向^0,力和大小附(;c，力的信息，確定每一
個特征點的方向參數(shù)，其中
附(x, _y) = V(丄(x +丄，>0 —丄O — 1, >0)2 + (丄0c，少+1) 一 >; — I))2 ，
權(quán)值窗口，根據(jù)整個鄰域中的各個像素點的梯度大小和方向進行統(tǒng)計，確定主方向;
發(fā)明內(nèi)容
""l,力一";c一l,力
)，并釆用直方圖的形式，結(jié)合以特征點為圓心的高斯
步驟6:對分別以主方向為分界線的兩側(cè)的梯度模值求和，計算^ =d-2)/2
w= 2>(^ 《，其中， , 是所有方向的總數(shù)， 則是主方向的索引并且丄,表
示在方向！^上的梯度模值，％代表取模操作；
步驟7:若m,m,，則由上至下、由右至左組織高斯權(quán)值窗口里的像素單元，每個單元中各個梯度從梯度角相對主方向O度開始順時針編碼，否則，則由上至下、由右至左組織高斯權(quán)值窗口里的像素單元，每個單元中各個梯度從梯度角相對主方向o度開始逆時針編碼，并進行歸一化操作，從而生成對圖像的描述數(shù)據(jù)。
本發(fā)明增加了特征提取和描述方法對鏡面成像問題的健壯性，擴展了計算機視覺的應(yīng)用領(lǐng)域。當(dāng)今計算機視覺領(lǐng)域中所有的特征提取和描述的方法并未對鏡面成像的情況有所考慮和處理，雖然像Harris corner detector、 SIFT、 SURF、 GL0H等方法可以在旋轉(zhuǎn)、尺度、光照等變化下可以保持一定程度的穩(wěn)定性，但是在鏡面成像的情況下卻束手無策。本發(fā)明是針對這種情況而提出的方法，在成功解決鏡面成像情況的同時，對于非鏡面成像的情況，它擁有和SIFT相近的性能。本發(fā)明提出的特征提取和描述方法，這里稱之為MIFT，與SIFT在鏡面成像情況下的比較結(jié)果如圖1所示，在閾值同為0. 60的情況下，MIFT匹配258個特征點對，SIFT匹配12個特征點對。圖2的效果圖對幾種較為復(fù)雜的圖像的匹配結(jié)果進行了比較。
圖1:鏡面成像情況下的匹配效果圖。圖1 (a)為MIFT匹配結(jié)果圖1 (b)為SIFT匹配結(jié)果。
圖2: MIFT與SIFT匹配結(jié)果比較。(a)在非鏡面成像情況下，MIFT匹配結(jié)果。(b)在非鏡面成像情況下，SIFT匹配結(jié)果。(c)在鏡面成像情況下，MIFT匹配結(jié)果。(d)在鏡面成像情況下，SIFT匹配結(jié)果。
圖3 —幅圖像在相鄰三個尺度下的表示情況示意圖。
圖4:圖像翻轉(zhuǎn)前后特征描述符組織結(jié)構(gòu)分析。其中，(a)特征點及其輔助區(qū)域在未翻轉(zhuǎn)圖像上的表示。(b)同一特征點及其輔助區(qū)域在翻轉(zhuǎn)后圖像上的表示。(c)來自(b)中的第14個單元中8個梯度的表示。(d)來自(a)中的第14個單元中8個梯度的表示。(e)在(a)情況下SIFT和MIFT的特征描述符。(f)在(b)情況下SIFT的特征描述符。(g)在(b)情況下MIFT的特征描述符。
圖5:特征點梯度信息圖。圖中， 為主方向的索引下標，％代表取模操作。
圖6:特征檢測及特征描述流程圖。圖7:特征匹配流程圖。
具體實施例方式
本發(fā)明首先將輸入圖像進行尺度變化，這種變化是通過高斯巻積完成的，在一系列 不同尺度的圖像中，針對每個像素點都尋找像素點灰度值的極值點。然而并不是所有的 極值點都符合作為特征點的標準，由于特征點需具有一定的突出性和健壯性，通過對高 斯差(Difference of Gaussian)和黑塞矩陣(Hessian matrix)設(shè)置合適的閾值，從 而分別對特征點具有低對比度和具有邊緣響應(yīng)的備選點進行篩選。經(jīng)過這兩步的篩選所 留下的極值點就是所要的特征點，對于這些極值點，在通過三維二次曲線擬合之后，得 到它們精確的坐標和尺度信息。保留特征點的坐標、尺度等信息，為后來的匹配階段提 供可用信息。
上述部分可以被認為是特征點檢測器，也就是說這部分主要是尋找圖像的特征點。 那么緊接著，就是如何組織特征點的信息，成為可用的特征描述，以提供更高層的應(yīng)用 --特征匹配。特征點描述部分分為統(tǒng)計梯度信息指定方向參數(shù)以及特征描述符的構(gòu)建。
針對鏡面成像問題，圖像共分為四類，分別是原始圖像、水平翻轉(zhuǎn)圖像(鏡像)、 垂直翻轉(zhuǎn)圖像(倒置)和完全翻轉(zhuǎn)圖像(同時存在水平和垂直兩類翻轉(zhuǎn))。但是，容易 驗證的是完全翻轉(zhuǎn)圖像等同于對原始圖像旋轉(zhuǎn)坐標系180度所得到的圖像，同樣，垂直 翻轉(zhuǎn)圖像和水平翻轉(zhuǎn)圖像也存在如原始圖像和完全翻轉(zhuǎn)圖像之間的類似關(guān)系。又因為在 特征點描述之前的指定方向參數(shù)的操作使得特征描述具有旋轉(zhuǎn)不變性，所以四種情況可 以簡化為兩種，即原始圖像和水平翻轉(zhuǎn)圖像。在原始圖像和水平翻轉(zhuǎn)圖像之間，存在一 種固定的關(guān)系，這種關(guān)系可劃分為兩個層次。SIFT中的每個特征點都是受到一個區(qū)域的 像素點所影響，這種策略是為了減少噪音的影響、提高特征點的健壯性。那么同一個特 征點所對應(yīng)的這個區(qū)域，在原始圖像和水平翻轉(zhuǎn)圖像中只是區(qū)域像素單元的列順序相反， 而行順序不變，這是兩個層次中的較高層次的一個。另一個層次則是相對微觀的單元， 在每個小的像素單元里，根據(jù)兩種圖像之間所對應(yīng)的關(guān)系，每個單元中的8個梯度方向 滿足如下公式
其中，下標ori代表原始圖像，下標hor代表水平翻轉(zhuǎn)圖像。編碼策略充分利用兩個層 次的關(guān)系，從而產(chǎn)生一個鏡面翻轉(zhuǎn)不變性的特征描述符。
下面結(jié)合附圖和實施例對本發(fā)明做進一步描述。 步驟l:輸入圖像的多尺度空間表示
Koendetink和Lindeberg證明高斯巻積核是唯一的線性實現(xiàn)尺度變換的不變巻積
核。二維高斯函數(shù)形式為G(x,y，a)-Ae—W^2，其中^r為高斯正態(tài)分布的方差。
那么一幅二維圖像在不同尺度下的圖像可以通過圖像與高斯核巻積來得到
6丄(x,y，cr) = G(x，；;，cr) * 。 歩驟2:檢測尺度空間極值點
由步驟l中所得到的多尺度的圖像中，可以通過從整個尺度空間上計算和比較得到 以像素點為觀察單位的極值。除了比較相鄰尺度上一定數(shù)量的像素點，同時也要比較同 一幅二維圖像空間上的相鄰的像素點得以較為全面的檢測到極值點。本發(fā)明利用DoG (Difference-of-Gaussian)算子來近似LoG (Laplacian-of-Gaussian)以檢測極值點， 雖然DoG的精度較LoG略有不及，但是前者的運算速度勝過后者。其中，DoG算子定義形 式如下
D(x,y,cr) = (G(x,y，^T) 一 G(je，y，cr)) * /(x,力=丄(x,y,A:cr) - i(x，y,(T)。
圖3顯示了一幅圖像在相鄰三個尺度下的表示情況，黑色十字是當(dāng)前所計算的像素點位 置，而灰色的圓點是所有需要比較的像素點，共2X9+8=26個點。 步驟3:從極值點中篩選特征點
完成了上述兩個步驟所得到的極值點組成了特征點的備選集合，特征點將由此集合 中的備選點中篩選出來，也就是說，并非所有的極值點都滿足特征點的要求。因為在此 集合中還存在著低對比度和邊緣響應(yīng)的點，作為圖像的特征它們的獨特性和穩(wěn)定性不夠' 突出，所以采用不同的兩種策略將這兩類點剔除掉。其一，在運算高斯差(DoG)的同時， 設(shè)置適當(dāng)?shù)拈撝祦碛行У叵蛯Ρ榷鹊臉O值點。其二，由于高斯差(DoG)本身存在著 邊緣響應(yīng)，那么采用黑塞矩陣(Hessianmatrix)方法過濾掉具有邊緣響應(yīng)的點(鞍點)。 步驟4:精確定位特征點位置
經(jīng)過了以上的操作，特征點已經(jīng)確定，由于尺度上的變換和像素單位大小上的影響 可能導(dǎo)致特征點坐標和尺度信息有些偏差，為了保證特征點的信息精確，采用擬合三維 二次曲線的方式進行信息的擬合和逼近，以得到更為精確的坐標和圖像尺度信息。 步驟5:確定方向參數(shù)
為了滿足特征點具有旋轉(zhuǎn)不變性，根據(jù)特征點輔助鄰域像素上的梯度方向和大小的 信息，為每一個特征點指定方向參數(shù)。其中，梯度的大小m(x,力和方向角度0(;c，力可由 像素點之間的差為基礎(chǔ)計算出來，計算方式為
<formula>formula see original document page 7</formula>
然后，采用直方圖的形式進行信息統(tǒng)計，將直方圖的范圍規(guī)定為0-360度，IO度為一單 位，并結(jié)合以特征點為圓心的高斯權(quán)值窗口 (Gaussian weighted windows)，根據(jù)整個 鄰域中的各個像素點的梯度大小和方向進行統(tǒng)計。在直方圖中36個方向中強度最大的便 是主方向，由于噪聲或變形的影響，圖像可能略有變化或失真，而這些變化或失真可能 會導(dǎo)致特征點的主方向參數(shù)產(chǎn)生偏差，為了緩解或是避免這些偏差對方向參數(shù)所帶來的影響，本發(fā)明和SIFT —樣使用輔方向。輔方向定義為強度大于80%的主方向強度的方向， 而且輔方向可能有多個。實際上，每個輔方向在生成特征描述符的環(huán)節(jié)都被視為與主方 向同等重要而建立單獨的描述符。
步驟6:特征點描述符編碼
本發(fā)明采用的特征描述符是由一個向量來表示的，這個向量包含了所有的高斯權(quán)值
窗口中的像素點的梯度信息。向量包含了 4X4X8=128維的信息，這種程度的維數(shù)被Lowe 證明為成功的一種，同樣MIFT也使用128維的向量來表示描述符，盡管維數(shù)的大小并非 強制不變的。以圖4為例，分別對兩個層次進行分析。其中(a)表示在未翻轉(zhuǎn)圖像中的 一個特征點及其輔助區(qū)域，(b)則是同一個特征點和它的輔助區(qū)域在翻轉(zhuǎn)后的圖像中的 表示，這兩種情況都已指定了方向參數(shù)。
首先，分析特征描述符較為宏觀的層次一16個單元的順序。在規(guī)定主方向之后，SIFT 使用固定的順序，采取列優(yōu)先順序(也可以釆取行優(yōu)先順序)來組織這16個單元，如圖 4中所示，SIFT特征描述符向量如(e)所示。在經(jīng)過翻轉(zhuǎn)之后的圖像，也就是對應(yīng)(b) 的情況，這16個單元的行順序不變，但列順序相反，那么就導(dǎo)致了SIFT在(b)下的特 征描述符向量組織方式如(f)所示。不容置疑的是，SIFT對旋轉(zhuǎn)、尺度縮放、光照、仿 射變換等有良好的穩(wěn)定性和健壯性，但同樣不可否認的是，對于鏡面成像這類情況，SIFT 無能為力。所以，本發(fā)明提出了一種可以在圖像翻轉(zhuǎn)前后得到唯一形式的描述符的編碼 方法。在兩種不同的情況下，在列優(yōu)先編碼的情況下僅有兩種編碼方式， 一種是從右向 左的順序另一種則是反向順序。直觀上，圖中的左右指向的梯度模值(點劃線)可以用 作判斷采用上述兩種中的某種方式的依據(jù)。但是，僅用左右指向的梯度信息對噪音等影 響比較敏感，因此本發(fā)明改用對所有指向同一側(cè)梯度模值求和的策略。如圖5所示，抽 象為數(shù)學(xué)公式即為-
(U)/2
mf = 2X -" )。碼, ，
2)/2 .
其中，A^是所有方向的總數(shù)，在這里7^ =36， 則是主方向的索引并且￡,表示在方 向！^上的梯度模值，％代表取模操作。其中m,和m,分別是圖5中右下方虛線箭頭和
左上方點劃線箭頭之和。據(jù)此，我們將編碼策略由原來的固定順序編碼改變成為由^和 m,比較結(jié)果決定。理論上而言，在翻轉(zhuǎn)前后通過本發(fā)明提出的方法可以得到同樣的描述
符如圖4中(g)所示。與主輔方向原理相似，為了減少各種噪音和光照條件變化等影響， 增強MIFT的健壯性，如果滿足min(m,，w^〉rinax(附,， n,)，(其中r為閾值，這里我們將
之設(shè)置為0.70，)那么另一個描述符則隨之生成。第二個層次較為微觀，是具體到每個單元中的各方向梯度的關(guān)系。如圖4中(c)和 (d)所示，它們分別對應(yīng)著翻轉(zhuǎn)之后和翻轉(zhuǎn)之前圖像中同一個部分，(c)和(d)之間各 個方向梯度的關(guān)系，詳見上述的具體描述。根據(jù)這種特殊關(guān)系，結(jié)合第一個層次的分析， 可以通過如下的策略生成最終的特征描述符計算和比較^和w，由較大的一個作為編
碼順序的指向，結(jié)合圖4，在(a)所示的情況下^<附,，那么16個單元的編碼順序為由 上到下、從左到右，每個單元中的8個梯度方向則如(d)所示，從A開始，逆時針編碼； 若在(b)所示的情況下/^>附,，那么16個單元的編碼順序為由上到下、從右到左，每 個單元中的8個梯度方向如(c)所示，從A開始，順時針編碼，這兩種情況下所得到的 特征描述符是相同的，也就是說這種特征描述可以解決鏡面成像類的問題。當(dāng)然，為了 增加特征描述符對光照條件變化的穩(wěn)定性，最后的歸一化操作是必不可少的。特征檢測 及特征描述的流程，如圖6所示。
在對輸入圖像的處理、特征點的檢測、特征描述之后，特征匹配的部分是必不可少 的，同時也需要精心的設(shè)計以達到盡可能多的匹配正確的特征點對，減少錯誤匹配的目 的。SIFT所采用的匹配方法是通過圖像2中當(dāng)前待匹配特征點描述向量與圖像1中所有 的特征點描述向量進行內(nèi)積運算而得到一組數(shù)值，這些數(shù)值由小到大的排序，排在第一 位的也就是數(shù)值最小的結(jié)果所對應(yīng)的一組特征點是所需判定是否匹配的對象。倘若最小 的數(shù)值與第二小的數(shù)值之間的比值低于某閾值，那么最小數(shù)值所對應(yīng)的兩個特征點被認 為是匹配的，否則，沒有匹配。這種方法與一般思路(即設(shè)置全局閾值的方法)相比， 具有一定穩(wěn)定性和合理性，因為圖像的各種變形和噪音都會對此產(chǎn)生影響，那么一個固 定指標是不能有效合理的解釋匹配與否的問題。
同樣，MIFT也采用類似SIFT的匹配策略，但在此之上有所改進，這種改進是為了減少甚 至避免錯誤丟失本該匹配的點對的情況。兩個單位向量的內(nèi)積結(jié)果反映兩向量夾角的余 弦值，也就是說值越小兩向量越接近，匹配程度越高。由于同一個特征點可能由于主輔 方向以及/^和m,的相似度問題而生成多個特征描述符，這種情況導(dǎo)致多個特征描述符相
似程度高的可能性增加。為了減少這種情況對匹配結(jié)果的影響，本發(fā)明改進了SIFT的匹 配方法，對特征描述符的附加信息進行檢查，如果所比較的兩個數(shù)值所對應(yīng)的兩組特征 點中的坐標、尺度等信息都是相同的，那么將較大的那個數(shù)值所對應(yīng)的一組特征點略過， 進入與下一個對應(yīng)于一組特征點匹配程度的數(shù)值進行比較，直至兩組特征點的附加信息 不盡相同，如果兩個值比值低于某閾值，那么最小數(shù)值所對應(yīng)的一組特征點匹配，否則， 沒有匹配。特征匹配流程，如圖7所示。
權(quán)利要求
1.一種基于SIFT的具有鏡面翻轉(zhuǎn)不變性的特征提取和描述方法，其特征在于，包括下列步驟步驟1對輸入的圖像I(x，y)進行高斯核卷積處理，即L(x，y，σ)＝G(x，y，σ)*I(x，y)，得到多尺度空間表達的圖像L(x，y，σ)，式中，<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><mi>G</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>σ</mi> <mo>)</mo></mrow><mo>=</mo><mfrac> <mn>1</mn> <mrow><mn>2</mn><mi>π</mi><msup> <mi>σ</mi> <mn>2</mn></msup> </mrow></mfrac><msup> <mi>e</mi> <mrow><mo>-</mo><mrow> <mo>(</mo> <msup><mi>x</mi><mn>2</mn> </msup> <mo>+</mo> <msup><mi>y</mi><mn>2</mn> </msup> <mo>)</mo></mrow><mo>/</mo><mn>2</mn><msup> <mi>σ</mi> <mn>2</mn></msup> </mrow></msup><mo>,</mo> </mrow>]]></math> id="icf0001" file="A2009100679870002C1.tif" wi="53" he="8" top= "52" left = "106" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>其中σ為高斯正態(tài)分布的方差；步驟2對多尺度空間表達的圖像L(x，y，σ)按照下列公式進行高斯差處理D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)，檢測多尺度空間表達的圖像L(x，y，σ)的極值點；步驟3利用閾值法和黑塞矩陣法篩選特征點；步驟4采用擬合三維二次曲線的方式精確定位特征點位置；步驟5根據(jù)特征點輔助鄰域像素上的梯度方向θ(x，y)和大小m(x，y)的信息，確定每一個特征點的方向參數(shù)，其中<maths id="math0002" num="0002" ><math><![CDATA[ <mrow><mi>m</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>=</mo><mrow> <msqrt><msup> <mrow><mo>(</mo><mi>L</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>-</mo><mi>L</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>)</mo> </mrow> <mn>2</mn></msup><mo>+</mo><msup> <mrow><mo>(</mo><mi>L</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo></mrow><mo>-</mo><mi>L</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo></mrow><mo>)</mo> </mrow> <mn>2</mn></msup> </msqrt></mrow><mo>,</mo> </mrow>]]></math></maths><maths id="math0003" num="0003" ><math><![CDATA[ <mrow><mi>θ</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>=</mo><msup> <mi>tan</mi> <mrow><mo>-</mo><mn>1</mn> </mrow></msup><mrow> <mo>(</mo> <mfrac><mrow> <mi>L</mi> <mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>+</mo><mn>1</mn><mo>)</mo> </mrow> <mo>-</mo> <mi>L</mi> <mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>-</mo><mn>1</mn><mo>)</mo> </mrow></mrow><mrow> <mi>L</mi> <mrow><mo>(</mo><mi>x</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>y</mi><mo>)</mo> </mrow> <mo>-</mo> <mrow><mo>(</mo><mi>L</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo></mrow><mo>,</mo><mi>y</mi><mo>)</mo> </mrow></mrow> </mfrac> <mo>)</mo></mrow><mo>,</mo> </mrow>]]></math> id="icf0003" file="A2009100679870002C3.tif" wi="67" he="9" top= "130" left = "24" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>并采用直方圖的形式，結(jié)合以特征點為圓心的高斯權(quán)值窗口，根據(jù)整個鄰域中的各個像素點的梯度大小和方向進行統(tǒng)計，確定主方向；步驟6對分別以主方向為分界線的兩側(cè)的梯度模值求和，計算<maths id="math0004" num="0004" ><math><![CDATA[ <mrow><msub> <mi>m</mi> <mi>r</mi></msub><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mrow><mrow> <mo>(</mo> <msub><mi>N</mi><mi>bin</mi> </msub> <mo>-</mo> <mn>2</mn> <mo>)</mo></mrow><mo>/</mo><mn>2</mn> </mrow></munderover><msub> <mi>L</mi> <mrow><mrow> <mo>(</mo> <msub><mi>n</mi><mi>d</mi> </msub> <mo>-</mo> <mi>k</mi> <mo>+</mo> <msub><mi>N</mi><mi>bin</mi> </msub> <mo>)</mo></mrow><mo>%</mo><msub> <mi>N</mi> <mi>bin</mi></msub> </mrow></msub> </mrow>]]></math> id="icf0004" file="A2009100679870002C4.tif" wi="41" he="10" top= "151" left = "139" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>和<maths id="math0005" num="0005" ><math><![CDATA[ <mrow><msub> <mi>m</mi> <mi>l</mi></msub><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mrow><mrow> <mo>(</mo> <msub><mi>N</mi><mi>bin</mi> </msub> <mo>-</mo> <mn>2</mn> <mo>)</mo></mrow><mo>/</mo><mn>2</mn> </mrow></munderover><msub> <mi>L</mi> <mrow><mrow> <mo>(</mo> <msub><mi>n</mi><mi>d</mi> </msub> <mo>+</mo> <mi>k</mi> <mo>+</mo> <msub><mi>N</mi><mi>bin</mi> </msub> <mo>)</mo></mrow><mo>%</mo><msub> <mi>N</mi> <mi>bin</mi></msub> </mrow></msub><mo>,</mo> </mrow>]]></math> id="icf0005" file="A2009100679870002C5.tif" wi="43" he="10" top= "164" left = "24" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>其中，Nbin是所有方向的總數(shù)，nd則是主方向的索引并且Li表示在方向 id="icf0006" file="A2009100679870002C6.tif" wi="10" he="10" top= "178" left = "40" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>上的梯度模值，％代表取模操作；步驟7若mr＞ml，則由上至下、由右至左組織高斯權(quán)值窗口里的像素單元，每個單元中各個梯度從梯度角相對主方向0度開始順時針編碼，否則，則由上至下、由右至左組織高斯權(quán)值窗口里的像素單元，每個單元中各個梯度從梯度角相對主方向0度開始逆時針編碼，并進行歸一化操作，從而生成對圖像的描述數(shù)據(jù)。
全文摘要
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種基于SIFT的具有鏡面翻轉(zhuǎn)不變性的特征提取和描述方法，包括下列步驟(1)對輸入的圖像進行高斯核卷積處理；(2)對圖像繼續(xù)進行高斯差處理，檢測其極值點；(3)篩選特征點；(4)精確定位特征點位置；(5)確定每一個特征點的方向參數(shù)；(6)對分別以主方向為分界線的兩側(cè)的梯度模值求和；(7)組織高斯權(quán)值窗口里的像素單元，進行編碼和歸一化操作，從而生成對圖像的描述數(shù)據(jù)。本發(fā)明增加了特征提取和描述方法對鏡面成像問題的健壯性，擴展了計算機視覺的應(yīng)用領(lǐng)域。
文檔編號G06K9/46GK101493891SQ20091006798
公開日2009年7月29日 申請日期2009年2月27日 優(yōu)先權(quán)日2009年2月27日
發(fā)明者煒 張, 鋼 張, 操曉春, 曲彥齡, 琳 武, 郭曉杰 申請人:天津大學(xué)