專利名稱：用于形狀的仿射不變識(shí)別的方法和裝置的制作方法
用于形狀的仿射不變識(shí)別的方法和裝置本發(fā)明涉及用于至少一幅數(shù)字圖像中對(duì)象識(shí)別的方法和裝置。通常，形狀識(shí)別方法的目的是當(dāng)對(duì)象和真實(shí)或模擬拍照裝置的相對(duì)位置未知時(shí)或 者當(dāng)對(duì)象可能已經(jīng)畸變時(shí)識(shí)別已被拍照的對(duì)象或一類對(duì)象。對(duì)象本身可以是圖形對(duì)象和非 物理對(duì)象(例如數(shù)字標(biāo)識(shí)或者模擬結(jié)果)。為了簡(jiǎn)明，在下文中將拍照裝置(或者用于模擬 拍照的裝置)稱為“照相機(jī)”，但是本發(fā)明涉及圖像的任何采集，以及由照相機(jī)相對(duì)于對(duì)象 的位置上的改變或者由用于圖像采集或者圖像模擬的裝置的具體特征導(dǎo)致的對(duì)象圖像的 任何畸變或幾何變形。此外，被拍照的或者被模擬的對(duì)象不需要相同，它們相似就足夠了， 對(duì)象的常見(jiàn)情況產(chǎn)生于工業(yè)生產(chǎn)或者圖形生產(chǎn)。待識(shí)別的對(duì)象的一個(gè)或者多個(gè)圖像是可獲 得的，這些圖像是“查詢”圖像。在圖像中尋找對(duì)象的那幅圖像或者那些圖像不必須包含對(duì) 象。目的是找到用于知道對(duì)象是否存在于所分析的圖像中的可靠標(biāo)記，并且給出對(duì)象在圖 像中的位置。由處理識(shí)別問(wèn)題的全部方法提出的第一簡(jiǎn)化假設(shè)對(duì)于目標(biāo)圖像中待解釋為查詢 圖像的平面仿射變形的局部變形，對(duì)象具有足夠規(guī)則的凹凸。大多數(shù)感興趣的物理對(duì)象實(shí) 際上是表面具有平坦的或者輕微彎曲的面的體積。例外是少見(jiàn)的。作為例外的例子，考慮 沒(méi)有樹(shù)葉的樹(shù)，當(dāng)改變觀察角時(shí)，樹(shù)的外觀可以顯著地改變；或者考慮液體的波紋?，F(xiàn)在，在 (可微分)項(xiàng)的數(shù)學(xué)意義上的任何規(guī)則的變形局部地在圖像中近似于仿射變形。具體地對(duì) 于相當(dāng)規(guī)則對(duì)象的光學(xué)圖像的明顯變形，情況就是如此，此時(shí)由照相機(jī)的運(yùn)動(dòng)、或者由照相 機(jī)的光學(xué)畸變、或者由對(duì)象的運(yùn)動(dòng)，或者甚至由對(duì)象本身的逐漸變形導(dǎo)致圖像的該明顯變 形。例如，在扁平對(duì)象的情況中，由觀察扁平對(duì)象的照相機(jī)的位置改變導(dǎo)致的扁平對(duì)象圖像 變形是平面單應(yīng)性，平面單應(yīng)性在與仿射應(yīng)用相切的每個(gè)點(diǎn)處。此外，如果照相機(jī)距觀察對(duì) 象很遠(yuǎn)，圖像的該變形越來(lái)越類似于總體仿射變換。相反，可以將具有正行列式的圖像平面 的任何仿射變換理解為由于觀察圖像且遠(yuǎn)離圖像(實(shí)際上在無(wú)限遠(yuǎn)處)的照相機(jī)在空間中 的運(yùn)動(dòng)導(dǎo)致的圖像變形。應(yīng)當(dāng)回憶(X，y)坐標(biāo)平面的仿射變形寫(xiě)成如下形式χ，= ax+by+e, y' = cx+dy+f,且參數(shù)a、b、c、d形成具有兩行和兩列的矩陣，我們將該矩陣指定為A。因此圖像 u(x,y)的仿射變形寫(xiě)成u(x', y' ) = u(A(x, y) + (e, f))由于上面給出的原因，可以將形狀識(shí)別問(wèn)題縮小至查找圖像的局部特征，該圖像 的局部特征是以仿射變換為模的不變量。則這些特征對(duì)于以下變形或畸變是魯棒的由對(duì) 象和照相機(jī)的相對(duì)運(yùn)動(dòng)導(dǎo)致的明顯局部變形；以及由采集裝置導(dǎo)致的畸變(例如透鏡的光 學(xué)畸變)；和最后由對(duì)象本身的變形導(dǎo)致的畸變。在下文中，將使用術(shù)語(yǔ)“傾斜”和“數(shù)字”。這些是本領(lǐng)域技術(shù)人員常用的術(shù)語(yǔ)，其 分別表示傾斜和數(shù)字的意思。還將使用術(shù)語(yǔ)SIF和SIFT，這些是本領(lǐng)域技術(shù)人員已知的縮 寫(xiě)，分別表示“尺度不變特征”和“尺度不變特征變換”。美國(guó)6711293號(hào)文獻(xiàn)(Lowe)描述了用于“尺度不變特征變換”的稱作SIFT方法 的方法，該方法使得識(shí)別由照相機(jī)從正面獲取的圖像中的對(duì)象成為可能。該美國(guó)6711293號(hào)文獻(xiàn)認(rèn)為探究全部仿射空間將是禁止的且低效的。Lowe最后評(píng)論，通過(guò)采用間隔30度的 3D對(duì)象的真實(shí)視圖可以補(bǔ)償他的SIFT方法的不變性的缺陷。Eurographics 2003/volume 22，Number 3 (2003 年歐洲圖形學(xué)大會(huì) / 卷 22，第 3 號(hào))的 D. Pritchard 和 W. Heidrich 的文獻(xiàn) “Cloth motion Capture (布料運(yùn)動(dòng)捕獲)，，描 述了用于確定SIFT特征的方法，其中，根據(jù)從正面獲得的初始圖像，以等于2的傾斜產(chǎn)生4 幅模擬圖像。對(duì)于在水平線上實(shí)現(xiàn)的傾斜獲得第一模擬圖像，在垂直線上獲得第二模擬圖 像，在45度的兩條軸線上獲得第三模擬圖像和第四模擬圖像。因此，該方法提供了 4幅模 擬圖像以便改進(jìn)識(shí)別。本發(fā)明涉及一種對(duì)已經(jīng)經(jīng)受任意仿射變換的平面圖像一部分進(jìn)行識(shí)別的新穎方 法。本發(fā)明的目的還將允許在偏斜地(與對(duì)象對(duì)面的正面視點(diǎn)比較)拍照的或者也是偏斜 的圖像中的對(duì)象識(shí)別。因此本發(fā)明的目的是在不考慮視點(diǎn)的情況下改進(jìn)識(shí)別率。借助用于至少一幅數(shù)字圖像中對(duì)象識(shí)別的方法實(shí)現(xiàn)至少一個(gè)前述目的，其中a)根據(jù)所述數(shù)字圖像模擬多個(gè)數(shù)字旋轉(zhuǎn)和不同于1的至少兩個(gè)數(shù)字傾斜，以便對(duì) 于每個(gè)旋轉(zhuǎn)一傾斜對(duì)產(chǎn)生模擬圖像；以及b)將產(chǎn)生在平移、旋轉(zhuǎn)和縮放過(guò)程不變的值的算法應(yīng)用于所模擬的圖像上以便確 定稱為SIF(尺度不變特征)的用于識(shí)別對(duì)象的局部特征。換句話說(shuō)，從數(shù)字圖像開(kāi)始，模擬了在無(wú)限遠(yuǎn)處觀察數(shù)字圖像的照相機(jī)光軸的幾 個(gè)方向改變。雖然旋轉(zhuǎn)一傾斜對(duì)限定了照相機(jī)的每個(gè)位置，但本領(lǐng)域技術(shù)人員將容易地理 解具有變化復(fù)雜性的其它變形可以用于限定照相機(jī)的位置。然而，本發(fā)明的顯著之處在于 照相機(jī)軸線的任何方向改變可以表示為旋轉(zhuǎn)后面跟隨傾斜。根據(jù)本發(fā)明的方法基于下面的觀察，即可以將平面的任何仿射變換理解為由無(wú)限 遠(yuǎn)處的照相機(jī)位置改變導(dǎo)致的圖像變換。基于該理解，可以將仿射變換分解為以下的產(chǎn) 物-照相機(jī)沿光軸運(yùn)動(dòng)，或者縮放(1個(gè)參數(shù))，-平行于焦平面的平移O個(gè)參數(shù))，-照相機(jī)的軸向旋轉(zhuǎn)(1個(gè)參數(shù))，-以及照相機(jī)光軸方向的改變O個(gè)參數(shù))?，F(xiàn)有技術(shù)的算法(如SIFT方法)使圖像能夠被識(shí)別，對(duì)于該圖像開(kāi)始的三個(gè)變換 是任意的。它們對(duì)應(yīng)于照相機(jī)的軸向旋轉(zhuǎn)、縮放和平行于焦平面的平移(因此垂直于光軸) 的4個(gè)參數(shù)。SIFT方法使得確定SIF( “尺度不變特征”)成為可能，即通過(guò)圖像的縮放、平 移和旋轉(zhuǎn)的更精確的不變特征，但是不考慮與照相機(jī)光軸方向改變有關(guān)的最后2個(gè)參數(shù)。 Lowe提供附加的視圖來(lái)改進(jìn)SIFT方法的靈敏度，但是這些是真實(shí)的視圖。意味著附加的操 作以及待處理數(shù)據(jù)的大量增加。I^ritchard僅提供了 4幅模擬圖像，因?yàn)閾?jù)認(rèn)為，就計(jì)算時(shí) 間而言再進(jìn)一步將是起反作用的和阻止性的。本發(fā)明超越通常假設(shè)的偏見(jiàn)，根據(jù)該通常假 設(shè)的偏見(jiàn)，如果增加模擬圖像的數(shù)目，那么計(jì)算時(shí)間將是阻止性的。使用根據(jù)本發(fā)明的方法，可以以足夠的精度模擬由于SIFT方法中未處理的2個(gè)參 數(shù)(即照相機(jī)的光軸方向改變的參數(shù))的改變導(dǎo)致的圖像的全部畸變。使用本發(fā)明，首先關(guān)于通過(guò)旋轉(zhuǎn)和傾斜描述的所述最后兩個(gè)參數(shù)產(chǎn)生最初幾幅模 擬圖像。特別地，旋轉(zhuǎn)一傾斜對(duì)可以內(nèi)接于數(shù)字圖像上方的半球中。旋轉(zhuǎn)和傾斜被視為分別對(duì)應(yīng)于空間中的經(jīng)度和緯度。I^ritchard實(shí)際上描述了來(lái)自正面圖像的4個(gè)旋轉(zhuǎn)和單個(gè) 傾斜值。使用本發(fā)明，通過(guò)非正面視點(diǎn)(即直到約80度的傾斜)可以獲得初始圖像。對(duì)于導(dǎo)致直到3或4的實(shí)際傾斜的照相機(jī)軸線方向改變，現(xiàn)有技術(shù)的系統(tǒng)允許帶 有偏差的對(duì)象識(shí)別。根據(jù)本發(fā)明的方法可以處理直到超過(guò)40的值的傾斜。實(shí)際上，在照相 機(jī)已經(jīng)獲取了具有傾斜t和t’的扁平對(duì)象的兩幅視圖的情況中，這些偏斜視圖之一的從另 一個(gè)開(kāi)始的模擬可能需要模擬直到值tt’的傾斜。例如，對(duì)于80°的緯度，傾斜是5. 76，并 且當(dāng)偏斜的視圖具有等于90°的經(jīng)度差時(shí)，組合的傾斜等于5.762 = 33. 2。因此比2大得 多(例如直到30或者更多)的傾斜是可能的，并且根據(jù)本發(fā)明的方法使識(shí)別互相偏斜的這 種視圖成為可能。因此該方法能夠識(shí)別無(wú)限遠(yuǎn)處圖像的全部可能視圖，因?yàn)榻柚鶶IF的計(jì)算，所模 擬的視圖現(xiàn)在僅需要一種通過(guò)平移、旋轉(zhuǎn)和縮放的不變識(shí)別算法(已經(jīng)在本領(lǐng)域的技術(shù)狀 態(tài)中被很好地掌握的問(wèn)題)。根據(jù)本發(fā)明方法所基于的遠(yuǎn)離不是假設(shè)整個(gè)圖像已經(jīng)經(jīng)受單仿射變換，這僅對(duì)于 完全平坦的對(duì)象和在無(wú)限遠(yuǎn)處的照相機(jī)是正確的。相比之下，通過(guò)應(yīng)用將圖像的全部仿射 變換考慮在內(nèi)的識(shí)別算法，確定地獲得完全識(shí)別，因?yàn)槊總€(gè)變形局部相切于仿射應(yīng)用。該 情況可以被概括為下面的說(shuō)法，即全部仿射變換的模擬足以有效地模擬圖像的全部局部變 形。根據(jù)本發(fā)明的實(shí)施方式，將本方法應(yīng)用于稱為查詢的圖像和稱為目標(biāo)的圖像，將 查詢的模擬圖像的SIF與目標(biāo)的模擬圖像的SIF相比較，以便識(shí)別查詢和目標(biāo)之間相似或 者相同的對(duì)象。作為非限制性的實(shí)施例，當(dāng)將根據(jù)本發(fā)明的方法應(yīng)用于一幅或者多幅稱為查詢的 圖像以及一幅或者多幅稱為目標(biāo)的圖像時(shí)，在前面的校準(zhǔn)階段過(guò)程中可以確定與查詢有關(guān) 的SIF，以便構(gòu)成SIF的詞典。且在操作階段過(guò)程中，可以依次確定與目標(biāo)有關(guān)的SIF，在操 作階段中將從每個(gè)目標(biāo)獲得的SIF與所述詞典中的SIF相比較。為了實(shí)驗(yàn)確定待實(shí)現(xiàn)的旋轉(zhuǎn)一傾斜對(duì)的數(shù)量和最佳位置以便確?？山邮艿慕Y(jié)果， 執(zhí)行根據(jù)本發(fā)明的方法，其中查詢包含對(duì)象的任何獲得的視圖，該對(duì)象具有與來(lái)自任何視 圖的目標(biāo)中包含的另一對(duì)象的形狀相似或者相同的形狀，并且確定旋轉(zhuǎn)一傾斜對(duì)，即對(duì)于 大量的測(cè)試對(duì)象來(lái)說(shuō)，該最佳數(shù)量和這些最佳位置是兩個(gè)對(duì)象的SIF是相似的那些數(shù)量和 位置。根據(jù)本發(fā)明的方法設(shè)想對(duì)于查詢和對(duì)于目標(biāo)以及對(duì)于相同的旋轉(zhuǎn)一傾斜對(duì)產(chǎn)生 完全相同數(shù)量的模擬圖像。但是其還設(shè)想當(dāng)對(duì)于查詢和對(duì)于目標(biāo)產(chǎn)生不同數(shù)量的模擬圖像 (特別地具有不同或者相同傾斜)時(shí)的情況。有利地，當(dāng)傾斜值增加時(shí)，每?jī)A斜的旋轉(zhuǎn)數(shù)量同時(shí)增加。優(yōu)選地，將傾斜定義為數(shù) 字圖像上方的半球中的緯度的函數(shù)，且當(dāng)傾斜增加時(shí)，兩個(gè)連續(xù)傾斜之間的緯度差降低。特 別地，緯度可以通過(guò)0度到90度范圍內(nèi)的參數(shù)θ或者可選地通過(guò)由t = 1/Icos(0)定 義的傾斜參數(shù)來(lái)測(cè)量。當(dāng)緯度趨于90°時(shí)，這些特征使得具有越來(lái)越接近照相機(jī)的模擬位 置成為可能。根據(jù)本發(fā)明的有利特征，對(duì)于給定的旋轉(zhuǎn)，將考慮的傾斜近似地(即具有偏差)形 成有限幾何級(jí)數(shù)1，a, a2, a3，. . .，an, a為大于1的數(shù)。作為非限定的實(shí)施例，a大約是方根2 ( V2 )并且如果既在目標(biāo)上又在查詢上應(yīng)用旋轉(zhuǎn)一傾斜對(duì)那么η可以從2到6，如果僅 在兩幅圖像之一上應(yīng)用旋轉(zhuǎn)一傾斜對(duì)那么η可以從2到12。根據(jù)本發(fā)明的另一有利特征，對(duì)于給定的傾斜t，例如從傾斜t = a開(kāi)始的數(shù)字旋 轉(zhuǎn)近似地(即具有偏差)形成等差級(jí)數(shù)0度、b/t度、2b/t度、...，kb/t度，b是度數(shù)且k 為整數(shù)。優(yōu)選地，b大約是72度且k是使得ΙΛ/t小于180度的最后整數(shù)值。使用這些典 型值，對(duì)每個(gè)測(cè)試的傾斜t，模擬了(180/72) · t幅圖像=2. 5 · t幅圖像。有利地，應(yīng)用傾斜t包括用等于t的值在一個(gè)方向上對(duì)數(shù)字圖像進(jìn)行欠采樣，這將 數(shù)字圖像的面積除以t。傾斜還可以通過(guò)將根據(jù)一個(gè)方向的數(shù)字圖像的欠采樣與在垂直于 前面方向的方向上的過(guò)采樣結(jié)合來(lái)應(yīng)用。為了防止模擬的總面積超過(guò)初始圖像的總面積太多，我們可以使用例如a =方根 2和η = 4。如果通過(guò)欠采樣獲得每個(gè)傾斜t，這將傾斜后圖像的面積除以t。因此，對(duì)于每 個(gè)t模擬了圖像總面積為180*t/(72*t) =2. 5倍初始圖像面積的圖像。因此處理的面積 等于2. 5倍初始圖像的面積乘以傾斜的數(shù)量。因此模擬的面積為2. 5 ·η = 10倍初始圖像 的面積。然而，如果將根據(jù)本發(fā)明的方法應(yīng)用于查詢圖像和目標(biāo)圖像的具有因子3的縮小， 則所模擬的面積僅為10/9 = 1. 11倍的初始面積。因此，根據(jù)本發(fā)明的方法采用可與SIFT 方法相比較的時(shí)間，例如當(dāng)允許識(shí)別直到16的過(guò)渡傾斜的偏斜視圖時(shí)，根據(jù)本發(fā)明的方法 花費(fèi)可與SIFT方法相比較的時(shí)間。然而，傾斜可以通過(guò)將在一個(gè)方向上的過(guò)采樣和正交方 向上的欠采樣結(jié)合來(lái)模擬，使得圖像的面積保持恒定且不減少(見(jiàn)后面的傾斜的定義)。因此，使用根據(jù)本發(fā)明的方法使得對(duì)依賴于兩個(gè)參數(shù)的全部視圖進(jìn)行模擬同時(shí)保 持合理的計(jì)算時(shí)間和存儲(chǔ)容量成為可能，因?yàn)閷?duì)于每個(gè)參數(shù)用十分少的值對(duì)兩個(gè)參數(shù)旋轉(zhuǎn) 和傾斜的空間進(jìn)行采樣，以及因?yàn)閷?duì)由偏斜視圖導(dǎo)致的畸變的模擬可能通過(guò)欠采樣減少圖 像的尺寸。這使得以給定的精度產(chǎn)生幾乎全部可能視圖同時(shí)不過(guò)度地?cái)U(kuò)展需求的存儲(chǔ)能力 成為可能。根據(jù)本發(fā)明的有利實(shí)施方式，與所述數(shù)字圖像或者所述數(shù)字圖像的變換(例如軸 對(duì)稱)相比，根據(jù)本發(fā)明的方法可以應(yīng)用于同一數(shù)字圖像，以便確定該數(shù)字圖像中的對(duì)稱 性、重復(fù)形狀或者具有周期性的形狀。根據(jù)本發(fā)明的另一方面，為了應(yīng)用根據(jù)本發(fā)明的用于至少一幅數(shù)字圖像中對(duì)象識(shí) 別的方法，設(shè)想了裝置。該裝置包括為下面配置的處理電路a)根據(jù)所述數(shù)字圖像應(yīng)用多個(gè)數(shù)字旋轉(zhuǎn)和至少兩個(gè)不同于1的數(shù)字傾斜，以便對(duì) 于每個(gè)旋轉(zhuǎn)一傾斜對(duì)產(chǎn)生模擬圖像；以及b)將平移、旋轉(zhuǎn)和縮放不變的算法應(yīng)用于模擬圖像上，以便確定稱為SIF(尺度不 變特征)的用于識(shí)別對(duì)象的局部特征。該裝置有利地包括存儲(chǔ)空間，在存儲(chǔ)空間中存儲(chǔ)了 SIF的詞典；且配置處理電路， 以便將所述數(shù)字圖像(初始圖像)的SIF與所述詞典的SIF相比較。根據(jù)本發(fā)明，可以配置處理電路以便并行處理任意數(shù)量的圖像。當(dāng)考察絕非限定性的實(shí)施方式的詳細(xì)描述和附圖時(shí)，本發(fā)明的其它優(yōu)勢(shì)和特征將 變得顯而易見(jiàn)，其中

圖1是實(shí)現(xiàn)根據(jù)本發(fā)明方法的裝置的總圖2是根據(jù)本發(fā)明方法的步驟的簡(jiǎn)化流程圖；圖3是示出了描述照相機(jī)位置的4個(gè)主要參數(shù)的總圖；圖4是示出了模擬圖像之間的多個(gè)對(duì)比的總圖；圖5是示出了球的總圖，在球中內(nèi)接了旋轉(zhuǎn)一傾斜對(duì)；圖6是示出了模擬傾斜和旋轉(zhuǎn)在圖5中的球上的位置分布的總圖；圖7和8是示出了絕對(duì)傾斜和相對(duì)傾斜之間或者過(guò)渡傾斜之間差異的視圖。圖1示出了處理單元1，如計(jì)算機(jī)，其配備有對(duì)于其正常操作必需的軟件和外圍設(shè) 備。其具體地包括處理電路2，如微處理器或者專用微控制器，配置該處理電路2以便根據(jù) 本發(fā)明的方法處理圖像。還有特別適于存儲(chǔ)呈詞典形式的SIF的常規(guī)存儲(chǔ)空間3。該計(jì)算 機(jī)配備有顯示監(jiān)控器4，在顯示監(jiān)控器4上可以顯示已處理圖像。照相機(jī)5通過(guò)連接線纜連接到計(jì)算機(jī)1。然而可以使用其它連接方式，尤其是無(wú) 線?；謴?fù)先前獲得并存儲(chǔ)在計(jì)算機(jī)的固定存儲(chǔ)裝置或者便攜存儲(chǔ)裝置中的圖像也是可能 的。雖然本發(fā)明不限制于此，但現(xiàn)在將描述并且為了目標(biāo)圖像和查詢圖像之間的對(duì)象 識(shí)別應(yīng)用根據(jù)本發(fā)明的識(shí)別方法。在圖2中，流程圖示出了兩幅圖像查詢6和目標(biāo)10的并行處理。從兩幅圖像查詢6和目標(biāo)10開(kāi)始，對(duì)于旋轉(zhuǎn)7、11和傾斜8、12對(duì)產(chǎn)生第一幅模擬 圖像，并且執(zhí)行幾次(例如ρ次)步驟7、11和8、12以便在9和13處產(chǎn)生ρ幅模擬圖像。換 句換說(shuō)，每幅圖像經(jīng)受同樣的處理，包括模擬由照相機(jī)軸線方向改變導(dǎo)致的全部可能畸變， 照相機(jī)軸線方向是具有稱為經(jīng)度和緯度的兩個(gè)參數(shù)的空間。在圖3中，例如，角θ (theta) 是緯度，角Φ (phi)是經(jīng)度。借助使有效模擬的視圖數(shù)量少(幾十)的采樣，對(duì)于有限數(shù)量的P對(duì)經(jīng)度和緯度 產(chǎn)生這些模擬圖像，同時(shí)保證幾十幅模擬的圖像保持接近于任何其它可能視圖。在圖2的步驟14中，然后通過(guò)已有算法中的任一個(gè)將這樣模擬的圖像互相比較， 已有算法執(zhí)行以圖像旋轉(zhuǎn)(=照相機(jī)關(guān)于其光軸的旋轉(zhuǎn))、平移(=照相機(jī)垂直于其軸線 的運(yùn)動(dòng))和縮放(=照相機(jī)在其光軸上的運(yùn)動(dòng))為模的有效識(shí)別。這種算法具體地是在美 國(guó)6711293號(hào)文獻(xiàn)中描述的SIFT算法。圖4示出了在模擬圖像上執(zhí)行的多個(gè)比較的圖示。 兩幅圖像查詢A和目標(biāo)B通過(guò)兩個(gè)方格來(lái)表示，兩幅圖像周圍環(huán)繞著通過(guò)兩個(gè)傾斜和關(guān)聯(lián) 的旋轉(zhuǎn)獲得的兩幅圖像的模擬視圖(平行四邊形)。將圖像之一的平行四邊形連接到另一 圖像的一些平行四邊形的箭頭表明在一幅圖像的模擬視圖和另一圖像的模擬視圖之間進(jìn) 行的比較。輸出15可以是查詢和目標(biāo)的多對(duì)子圖像的列表(可選地為空)，該列表包括在兩 幅圖像上識(shí)別的對(duì)象以及被識(shí)別為使得將子圖像之一變換成另一個(gè)成為可能的仿射變換。圖3示出了導(dǎo)致由照相機(jī)獲得的圖像變形的4個(gè)主要參數(shù)照相機(jī)可以在角Ψ內(nèi) 旋轉(zhuǎn)，其光軸可以關(guān)于正面軸線采取角θ (緯度)，并且在與固定方向構(gòu)成角Φ (經(jīng)度)的 垂直平面中執(zhí)行通過(guò)該角θ的傾斜。根據(jù)本發(fā)明的方法使得產(chǎn)生全部仿射畸變成為可能，全部仿射畸變可能是由于在 無(wú)限遠(yuǎn)處正面地觀察平面圖像的照相機(jī)軸線方向的改變導(dǎo)致的，因此這些畸變?nèi)Q于兩個(gè) 參數(shù)——經(jīng)度和緯度，對(duì)這兩個(gè)參數(shù)進(jìn)行采樣使得產(chǎn)生的視圖數(shù)量為幾十。當(dāng)緯度增加時(shí)，模擬的經(jīng)度變得越來(lái)越多。但是當(dāng)緯度增加時(shí)，圖像在一個(gè)方向也可選擇地越來(lái)越被欠采 樣，因此越來(lái)越小，于是欠采樣率成為幾何級(jí)數(shù)。甚至更精確地，通過(guò)0到90度范圍內(nèi)參數(shù)θ或者可選地通過(guò)由t = l/|C0S(e) 限定的傾斜參數(shù)測(cè)量緯度。通過(guò)參數(shù)Φ (見(jiàn)圖；3)描述經(jīng)度。傾斜t的值對(duì)數(shù)地交錯(cuò)，Φ的 值算術(shù)地交錯(cuò)。通過(guò)下面給出的變換A可以定義照相機(jī)從一個(gè)位置到另一位置的位移 A = HxRl (W)T1R2 (φ) = λ
cos ψ -Sin^ sin^· cos^
O 1 / O
cos 盧-sin ^ sin 彡 cos φ變換A是與具有4個(gè)元素(a，b，c，d)的2X 2矩陣相關(guān)聯(lián)的平面的線性變換。給 定圖像u(x，y)，將其理解為由光學(xué)照相機(jī)正面地觀察的圖像，則將應(yīng)用u(x，y)- >u(A(x, y))理解為當(dāng)下面情況發(fā)生時(shí)將觀察到的圖像的變形1)當(dāng)照相機(jī)在角度Ψ內(nèi)在其光軸上 旋轉(zhuǎn)時(shí)，2)當(dāng)其在其光軸上滑動(dòng)在該軸線上通過(guò)因子λ (lambda)移動(dòng)離開(kāi)(或者如果λ < 1則更接近)時(shí)，以及3)當(dāng)其光軸通過(guò)緯度θ的變化和經(jīng)度φ的變化的結(jié)合遠(yuǎn)離其正 面位置時(shí)。照相機(jī)還可以開(kāi)始垂直于其光軸平移運(yùn)動(dòng)，這導(dǎo)致在前面的公式中未將圖像(e， f)的前面平移考慮在內(nèi)。該平移(e，f)、縮放λ和旋轉(zhuǎn)ψ是由本領(lǐng)域的技術(shù)狀態(tài)掌握的 4個(gè)參數(shù)。本發(fā)明涉及當(dāng)圖像額外經(jīng)受由緯度和經(jīng)度的變化導(dǎo)致的變形時(shí)識(shí)別圖像的方式。圖5示出了球，在球上定位了傾斜和旋轉(zhuǎn)。該圖示出了分別對(duì)于傾斜2、和 4(即對(duì)于角度60°、69.30°和75.52° )將模擬的照相機(jī)位置的透視圖。當(dāng)傾斜增加時(shí)有 越來(lái)越多的旋轉(zhuǎn)角度。圖6示出傾斜和旋轉(zhuǎn)的位置分布。每個(gè)圓對(duì)應(yīng)于傾斜。最接近中心的圓用于與 θ =45°關(guān)聯(lián)的傾斜，且接下來(lái)的圓對(duì)應(yīng)于θ =60°、70°、75°和80°。傾斜增長(zhǎng)得越 多，越需要增加圓上位置的數(shù)量，即經(jīng)度Φ的數(shù)量。因此指示的點(diǎn)具有這樣的坐標(biāo)sin(e) Cos(Cj5)和Sin(Q)Sin(Cj5)tj矩形指示由每個(gè)傾斜導(dǎo)致的方塊圖像的畸變。根據(jù)本發(fā)明的方法涉及本領(lǐng)域技術(shù)人員已知的一定數(shù)量的術(shù)語(yǔ)，概括如下數(shù)字圖像u(x，y)的旋轉(zhuǎn)通過(guò)從值u(x，y)到圖像的像素(x，y)的內(nèi)插，計(jì)算值 v(x,y) = u (R(x，y))，其中R是通過(guò)具有兩行和兩列的參數(shù)(cos ( Φ),-sin ( Φ), sin ( Φ), cos (Φ))的矩陣描述的角Φ的平面旋轉(zhuǎn)。視覺(jué)效果是圖像在角Φ內(nèi)在計(jì)算機(jī)熒屏上旋 轉(zhuǎn)。該操作具體模擬由在正面視圖中獲取圖像的照相機(jī)繞其光軸旋轉(zhuǎn)可能產(chǎn)生的效果。數(shù)字圖像在χ方向上的傾斜設(shè)v(x，y) = u(xa, y/b)，且ab = t是“傾斜因子”， 縮寫(xiě)為“傾斜”。對(duì)于假設(shè)由無(wú)限遠(yuǎn)處的照相機(jī)的正面觀察的圖像，該操作模擬該照相機(jī)的 光軸在χ方向上的傾斜的結(jié)果。光軸對(duì)法線方向的角是角θ在-90°和+90°之間的兩值 之一，使得t = l/|cos(9) |0圖像u(x，y)是正面視圖，因此圖像v(x，y)是在χ方向上通 過(guò)角θ的傾斜t后的偏斜視圖。在數(shù)字圖像上，可以通過(guò)在y方向上用因子b對(duì)圖像進(jìn)行 過(guò)采樣以及在χ方向上用因子a對(duì)圖像進(jìn)行欠采樣獲得傾斜，其中b是1和t之間的任意 因子。如果a = t，b = 1，在χ方向中僅有欠采樣，且如果a = l，b = t，在y方向僅有過(guò)采 樣。在欠采樣的情況中，必須通過(guò)圖像與一維低通濾波器的卷積在χ方向上事先平滑圖像。 如果a = t，b = 1，傾斜后的數(shù)字圖像具有被t除的面積(且如果,b=4i ,則該面積 不變)。
數(shù)字圖像的縮小通過(guò)低通濾波器(}h(X，y) = (l/h2)G(x/h, y/h)對(duì)圖像u(x，y) 應(yīng)用卷積v(x，y) = (0*1!)，接下來(lái)是欠抽樣￥0^) = (Gh*u) (xh，yh)，其中h是縮小因子。 該操作模擬照相機(jī)相對(duì)于圖像的遠(yuǎn)離，遠(yuǎn)離前到對(duì)象的距離與遠(yuǎn)離后的距離的比為h。函數(shù) G(x，y)(通常是高斯分布)模擬照相機(jī)的光學(xué)卷積核。通過(guò)簡(jiǎn)單的內(nèi)插獲得數(shù)字放大?？s 小或者放大是很短的縮放。絕對(duì)傾斜和相對(duì)傾斜絕對(duì)傾斜是用于一個(gè)方向上的圖像壓縮的因子t = l/|cos(9)的術(shù)語(yǔ)，該一個(gè)方向產(chǎn)生自照相機(jī)從平面對(duì)象對(duì)面的正面位置過(guò)渡到偏斜視 圖?，F(xiàn)在想象已由照相機(jī)在兩個(gè)位置上拍照的同一平面對(duì)象，對(duì)于該兩個(gè)位置，光軸通過(guò)圖 像的同一點(diǎn)。第一照相機(jī)的軸線位置通過(guò)兩個(gè)角θ和Φ來(lái)描述，第二照相機(jī)的軸線位置 通過(guò)兩個(gè)角Θ，和φ，來(lái)描述。當(dāng)φ = Φ，時(shí)，必須應(yīng)用于兩個(gè)圖像之一以直接傳給另一 個(gè)(除縮放以外)的傾斜等于比率t’ /t，其中t’表示兩個(gè)傾斜中較大的，t表示較小的。 當(dāng)φ = φ，+90°時(shí)，必須應(yīng)用于兩幅圖像u(tx，y)之一以傳給另一個(gè)u(x，t’ y)的該同 一傾斜為最大值且等于tt’的積。這解釋了為什么對(duì)于比較偏斜視圖而言，模擬可以超過(guò) 40的大傾斜是有利的。圖7和8具體地示出絕對(duì)傾斜和相對(duì)傾斜之間或者過(guò)渡傾斜之間 差異的圖解。在左邊的圖7中，我們看到照相機(jī)位于具有Φ = Φ’的對(duì)應(yīng)于θ =30°和 60°值的兩個(gè)位置上。傾斜之一等于2，另一個(gè)等于2萬(wàn)，因此從ν轉(zhuǎn)變到ν’的相對(duì)過(guò)渡傾 斜是,其小于從u轉(zhuǎn)變到V’的傾斜。因此當(dāng)傾斜在同一平面(Φ = Φ’)中發(fā)生時(shí)，可 以看出待模擬的傾斜小于原始傾斜。在右邊，傾斜平面已經(jīng)改變我們有Φ-Φ’ =90°， 且傾斜是從u到ν的t = 2和從u到ν’的t’ = 4。在該情況下，傾斜被倍增，且從ν到ν’ 過(guò)渡的相對(duì)傾斜為2X4 = 8。SIF( “尺度不變特征”)數(shù)字或者多組數(shù)字，附屬于數(shù)字圖像的并且當(dāng)旋轉(zhuǎn)圖像 時(shí)或者當(dāng)平移圖像時(shí)幾乎不變，且當(dāng)向圖像應(yīng)用縮放時(shí)還可以在幾乎不變的情況下被保 持。因此，SIF使得獨(dú)立于其位置、圖像定位、方向和縮放識(shí)別圖像中的像素成為可能。通 過(guò)SIFT( “尺度不變特征變換”)方法獲得這種指示的經(jīng)典示例。本發(fā)明可以有效地應(yīng)用到以下領(lǐng)域之一-—部電影的不同圖像的比較或者幾部電影的圖像的比較；-由置于連續(xù)或者同步位置上的一架照相機(jī)或者幾架照相機(jī)獲得的不同圖像的比 較；-在裝配了照相機(jī)的車輛上的使用，例如用于其導(dǎo)航；-通過(guò)將本方法應(yīng)用于圖像和應(yīng)用于關(guān)于任意直線對(duì)稱的圖像，圖像中的偏斜對(duì) 稱的檢測(cè)；-運(yùn)動(dòng)對(duì)象(人、動(dòng)物、機(jī)器)的識(shí)別；-照片、圖畫(huà)和一般的視覺(jué)藝術(shù)作品的比較或者分類；-大的單獨(dú)的或者集合的圖像數(shù)據(jù)庫(kù)的組織和管理；-來(lái)自幾幅視圖的場(chǎng)景或者對(duì)象的凹凸感的重建；-通過(guò)一架或者多架照相機(jī)獲得的圖像的校準(zhǔn)或者分級(jí)；-通過(guò)空中視圖、空間視圖或者地面視圖的比較的地圖繪制、平面或者浮雕；-符號(hào)、字、印刷字符或者標(biāo)記的識(shí)別；以及-應(yīng)用于電影以跟蹤在一個(gè)完整序列中出現(xiàn)的對(duì)象。
當(dāng)然，本發(fā)明不限于剛描述的實(shí)施例，并且在不超出本發(fā)明范圍的前提下可以對(duì) 這些實(shí)施例進(jìn)行多種調(diào)整。
權(quán)利要求
1.應(yīng)用于稱為查詢的數(shù)字圖像和稱為目標(biāo)的數(shù)字圖像的對(duì)象識(shí)別方法，其中a)根據(jù)每幅數(shù)字圖像模擬多個(gè)數(shù)字旋轉(zhuǎn)和至少兩個(gè)不同于1的數(shù)字傾斜，以便對(duì)于每 個(gè)旋轉(zhuǎn)一傾斜對(duì)產(chǎn)生模擬圖像；以及b)將產(chǎn)生在平移、旋轉(zhuǎn)和縮放過(guò)程中不變的值的算法應(yīng)用于所述模擬圖像上，以便確 定用于識(shí)別所述查詢和所述目標(biāo)之間相似或者相同對(duì)象的稱為SIF(尺度不變特征)的局 部特征。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述查詢包含對(duì)象的任何視圖，所述對(duì)象具有與包含在來(lái)自任何視圖的所述目標(biāo)中的 另一對(duì)象的形狀相似或者相同的形狀；以及確定旋轉(zhuǎn)一傾斜對(duì)，對(duì)于所述旋轉(zhuǎn)一傾斜對(duì)兩個(gè)對(duì)象的SIF是相似的。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，對(duì)于所述查詢和對(duì)于所述目標(biāo)以及對(duì)于相同的旋轉(zhuǎn)一傾斜對(duì)，產(chǎn)生相同數(shù)量的模擬圖像。
4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，對(duì)于所述查詢和對(duì)于所述目標(biāo)產(chǎn)生不同數(shù)量的模擬圖像。
5.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于， 在所述傾斜的值增加的同時(shí)，每?jī)A斜的旋轉(zhuǎn)數(shù)量增加。
6.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的方法，其中， 所述傾斜是所述數(shù)字圖像上方的半球中的緯度的函數(shù)；其特征在于，在所述傾斜增加的同時(shí)，兩個(gè)連續(xù)傾斜之間的緯度差降低。
7.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，考慮的所述傾斜近似地形成有限幾何級(jí)數(shù)1，a, a2, a3，. . .，an, a為大于1的數(shù)。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，a大約是方根2，并且如果將所述旋轉(zhuǎn)一傾斜對(duì)既應(yīng)用于所述目標(biāo)上又應(yīng)用于所述查 詢上，則η在2到6的范圍內(nèi)，如果僅將所述旋轉(zhuǎn)一傾斜對(duì)應(yīng)用于兩幅圖像之一，則η在2 到12的范圍內(nèi)。
9.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，對(duì)于給定的傾斜t，數(shù)字旋轉(zhuǎn)形成近似的等差級(jí)數(shù)0度、b/t度、2b/t度........kb/t度，b的單位為度數(shù)，k為整數(shù)。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，b大約是72度，且k是使得ΙΛ/t小于180度最后的整值。
11.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，應(yīng)用傾斜t包括根據(jù)等于t的值在固定方向上對(duì)所述數(shù)字圖像進(jìn)行欠采樣。
12.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，應(yīng)用傾斜t包括在固定方向上對(duì)所述數(shù)字圖像進(jìn)行欠采樣，以及在與前述方向正交的 方向上進(jìn)行過(guò)采樣。
13.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，將其應(yīng)用于一幅或者多幅稱為查詢的圖像和一幅或者多幅稱為目標(biāo)的圖像； 在校準(zhǔn)的前期階段過(guò)程中確定與所述查詢相關(guān)的SIF，以便構(gòu)造SIF詞典；以及在操作階段過(guò)程中分別確定與所述目標(biāo)有關(guān)的SIF，在該操作階段期間將從每個(gè)目標(biāo) 獲得的SIF與所述詞典中的SIF比較。
14.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，通過(guò)將數(shù)字圖像與相同數(shù)字圖像或者該相同數(shù)字圖像的變換比較，將所述方法應(yīng)用于 數(shù)字圖像，以便確定該數(shù)字圖像中的偏斜對(duì)稱、重復(fù)形狀或者具有周期性的形狀。
15.用于應(yīng)用根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的對(duì)象識(shí)別方法的裝置，所述方法應(yīng) 用于稱為查詢的數(shù)字圖像和稱為目標(biāo)的數(shù)字圖像，所述裝置包括處理電路，所述處理電路 被配置用于a)根據(jù)每幅數(shù)字圖像應(yīng)用多個(gè)數(shù)字旋轉(zhuǎn)和至少兩個(gè)不同于1的數(shù)字傾斜，以便對(duì)于每 個(gè)旋轉(zhuǎn)一傾斜對(duì)產(chǎn)生模擬圖像；以及b)將產(chǎn)生在平移、旋轉(zhuǎn)和縮放過(guò)程中不變的值的算法應(yīng)用于所述模擬圖像上，以便確 定用于識(shí)別所述查詢和所述目標(biāo)之間相似或者相同對(duì)象的稱為SIF(尺度不變特征)的局 部特征。
16.根據(jù)權(quán)利要求15所述的裝置，其特征在于，其包括存儲(chǔ)空間，在所述存儲(chǔ)空間中存儲(chǔ)了 SIF詞典；以及所述處理電路被配置以便將所述數(shù)字圖像的SIF與所述詞典中的SIF相比較。
全文摘要
本發(fā)明涉及用于至少一幅數(shù)字圖像中對(duì)象識(shí)別的方法，包括a)根據(jù)所述數(shù)字圖像模擬多個(gè)數(shù)字旋轉(zhuǎn)和至少兩個(gè)不同于1的數(shù)字傾斜，以便對(duì)于每個(gè)旋轉(zhuǎn)—傾斜對(duì)產(chǎn)生模擬圖像；以及b)將產(chǎn)生在平移、旋轉(zhuǎn)和縮放過(guò)程中不變的值的算法應(yīng)用于所述模擬圖像上，以便確定用于識(shí)別對(duì)象的所謂的SIF(尺度不變特征)的局部特征。SIFT方法可以用于步驟b中。
文檔編號(hào)G06K9/64GK102099815SQ200980127996
公開(kāi)日2011年6月15日 申請(qǐng)日期2009年5月18日 優(yōu)先權(quán)日2008年5月19日
發(fā)明者俞國(guó)申, 讓-米歇爾·莫拉爾 申請(qǐng)人:巴黎高等師范學(xué)校, 巴黎高等理工學(xué)院