專利名稱：圖像處理設(shè)備和圖像檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備以及根據(jù)圖像中的特征點(diǎn)的相 似度來檢索相似圖像的圖像檢索方法。
背景技術(shù)：
傳統(tǒng)上，支持圖像旋轉(zhuǎn)的檢索通過采用旋轉(zhuǎn)查詢圖像并 獲取特征量的技術(shù)，或者進(jìn)行特征量的旋轉(zhuǎn)變換的技術(shù)，來 執(zhí)行檢索。還存在這樣的技術(shù)，該技術(shù)考慮相對于學(xué)習(xí)圖像， 即，特征量的值的分布已確認(rèn)的樣本圖像，標(biāo)準(zhǔn)化各特征量的值的分布，并尋丸^亍采用貝耶斯距離(Bayes'distance )或馬 氏3巨離(Mahalanobis distance )的匹酉己。但是，這樣的技術(shù)包括相對于作為登記圖像的典范的學(xué) 習(xí)圖像標(biāo)準(zhǔn)化特征量分布，沒有考慮作為對查詢圖像的諸如 旋轉(zhuǎn)、放大或縮小的圖像處理的結(jié)果，這樣計算出的特征量 可能會出現(xiàn)差異。結(jié)果，不能精確計算用于計算相似度的從 一個特征量到另 一個特征量之間的距離，從而產(chǎn)生偏差。日本特開2006-065399公開了 一種根據(jù)圖^象中的特征點(diǎn) 的相似度的圖像檢索技術(shù)。該技術(shù)包括使用所準(zhǔn)備的用于學(xué) 習(xí)的模型圖像來進(jìn)行利用圖像處理詞典登記的特征點(diǎn)和特征 量的排序選擇。在從用于學(xué)習(xí)的圖像中提取特征點(diǎn)和特征量 之后，將這樣提取出的特征點(diǎn)和特征量與學(xué)習(xí)模型圖像的特 征點(diǎn)和特征量相比較。從而將判斷為相對應(yīng)的次數(shù)最多的特 征量登記在詞典中，作為識別處理中所使用的特征量。在執(zhí)行多分辨率(multiple resolution )或旋轉(zhuǎn)變換之后， 執(zhí)行特征點(diǎn)和特征量的提取，并使這樣提取出的特征點(diǎn)和特 征量形成具有樹狀結(jié)構(gòu)的索引，使得可以容易地建立用于識4別的詞典。但是，缺少關(guān)于圖像的放大或縮小、特征量的分 布程度或者查詢圖像本身的特征點(diǎn)的旋轉(zhuǎn)的魯棒性方面的詳細(xì)i兌明。與此相對照，根據(jù)Cordelia Schmid的"Local Gray Value Invariants for Image Retrieval"(在下文中稱為"引用文獻(xiàn)1，，)， 執(zhí)行特征點(diǎn)的纟全測，計算包含在旋轉(zhuǎn)下不會改變的多個分辨 率的特性的特征量，并采用值最大的特征點(diǎn)作為魯棒特征 (robust feature )。與查詢圖像的比較采用考慮了登記圖像的 特征量的分布的馬氏距離，從而減輕了多維特征量分布中的 偏差問題。但是，作為諸如旋轉(zhuǎn)處理圖像時所執(zhí)行的線性插值的噪 聲的結(jié)果，被定義為包括在旋轉(zhuǎn)下保持不變的特性的特征量 實際上在旋轉(zhuǎn)下會發(fā)生波動。圖8示出被定義為包括在旋轉(zhuǎn)下 保持不變的特性的特征量所實際發(fā)生的波動的實例，其中示 出在以1 5度的增量從0度旋轉(zhuǎn)至90度時特征量的第零分量和 第一分量在旋轉(zhuǎn)下的波動。如可以在圖8中所看出的，被定義 為包括在旋轉(zhuǎn)下保持不變的特性的特征量實際上在旋轉(zhuǎn)下發(fā) 生波動。產(chǎn)生這樣的問題作為被認(rèn)為不變的特征量實際上 在旋轉(zhuǎn)下發(fā)生波動這一 問題的結(jié)果，檢索的精度下降。由于僅通過馬氏距離將登記特征量的多維特征量的分布 標(biāo)準(zhǔn)化，并且沒有考慮由于對查詢圖像的放大、縮小或旋轉(zhuǎn) 而引起的查詢圖像的特征點(diǎn)分布的差異，所以產(chǎn)生問題。在 下文中，將被定義為包括在旋轉(zhuǎn)下不變的特性而實際上在旋轉(zhuǎn)下發(fā)生波動的特征量當(dāng)作局部特征量。在下文中，將包括 局部特征量的點(diǎn)當(dāng)作局部特征點(diǎn)。根據(jù)前述說明，在傳統(tǒng)技術(shù)中，沒有考慮作為對查詢圖 像自身的查詢本身進(jìn)行擴(kuò)大、縮小或者旋轉(zhuǎn)的結(jié)果而發(fā)生的差異，從而，不能說一個圖像和另 一個圖像的相似度的計算 包括高程度的精度。發(fā)明內(nèi)容本發(fā)明可以獲取關(guān)于圖像的局部特征點(diǎn)的特征量分布， 并根據(jù)所分布的各特征點(diǎn)之間的距離來計算圖像的相似度。根據(jù)本發(fā)明的一方面，提供一種圖像處理設(shè)備，包括 提取單元，用于從輸入圖像提取多個特征點(diǎn)；特征量計算單元， 用于計算所述多個特征點(diǎn)的各自的特征量；估計單元，用于在 將指定的多個變化應(yīng)用于所述輸入圖像的情況下，估計所述多 個特征點(diǎn)的各自的波動特征量；以及檢索單元，用于基于由所述估計單元估計出的所述波動特征量，從多個存儲圖像中檢索 與所述輸入圖像相似的相似圖像。根據(jù)本發(fā)明的另一方面，提供一種圖像檢索方法，包括 從輸入圖像提取多個特征點(diǎn)；計算所述多個特征點(diǎn)的各自的特 征量；估計步驟，用于在將指定的多個變化應(yīng)用于所述輸入圖 像的情況下，估計所述多個特征點(diǎn)的各自的波動特征量；以及 基于在所述估計步驟中估計出的所述波動特征量，從存儲在存 儲裝置中的多個圖像中檢索與所述輸入圖像相似的圖像。通過下面參考附圖對示例性實施例的說明，本發(fā)明的其 它特征將變得顯而易見。


圖l是示出根據(jù)第 一 實施例的圖像登記設(shè)備的配置的框圖。圖2是示出根據(jù)第 一 實施例的圖像檢索設(shè)備的配置的框圖。的流程圖。圖4示出生成縮小圖像的縮小圖像生成單元103的處理。 圖5是表示檢索圖像的處理的流程圖。圖6是示出根據(jù)第 一 實施例的計算相似度的處理的流程圖。圖7是示出根據(jù)第 一 實施例的計算綜合相似度的處理的流程圖。圖8示出旋轉(zhuǎn)不變特征量的波動。 圖9示出多維特征空間內(nèi)的分布。圖IO示出在多維特征空間內(nèi)的特征點(diǎn)組中執(zhí)行多維分布轉(zhuǎn)換。圖ll示出在多維特征空間內(nèi)的特征點(diǎn)組中執(zhí)行多維分布轉(zhuǎn)換。圖12示出將相似距離轉(zhuǎn)變成相似度的函數(shù)。圖1 3是示出根據(jù)第二實施例的計算綜合相似度的處理的流程圖。
具體實施方式
下面是參考附圖對本發(fā)明的優(yōu)選實施例的詳細(xì)說明。 第 一實施例圖l是示出根據(jù)第 一實施例的圖像登記設(shè)備的框圖。如圖1 中所示，圖像登記設(shè)備100包括圖像輸入單元102、縮小圖像生 成單元103、局部特征點(diǎn)提取單元104、局部特征量計算單元105 以及特征量登記單元106。關(guān)于圖像登記設(shè)備IOO,縮小圖像生成單元103生成輸入到 圖像輸入單元102中的登記圖像101的縮小圖像，局部特征點(diǎn)提 取單元10 4從這樣生成的縮小圖像提取局部特征點(diǎn)。局部特征量計算單元105計算這樣提取的局部特征點(diǎn)的局部特征量，特征量 登記單元106將登記圖像101與這樣計算出的局部特征量相關(guān) 聯(lián)，并將這樣相關(guān)聯(lián)的登記圖像101和局部特征量登記在圖像特 征數(shù)據(jù)庫107中。稍后將提供對利用圖像登記設(shè)備100所執(zhí)行的 登記圖 <象的處理的"i兌明。圖2是示出根據(jù)第 一 實施例的圖像檢索設(shè)備的配置實例的 框圖。如圖2中所示，圖像檢索設(shè)備200包括圖像輸入單元202、 縮小圖像生成單元203、局部特征點(diǎn)提取單元204、局部特征量 計算單元205、特征量分布檢查單元206以及圖像相似度計算單 元207。關(guān)于圖像檢索設(shè)備200,縮小圖像生成單元203生成輸入到 圖像輸入單元2 02中的查詢圖像2 01的縮小圖像，局部特征點(diǎn)提 取單元204從這樣生成的縮小圖像提取局部特征點(diǎn)。局部特征量 計算單元2 0 5計算這樣提取出的局部特征點(diǎn)的局部特征量，特征 量分布檢查單元206檢查這樣計算出的局部特征量。將檢查的結(jié) 果傳送到圖像相似度計算單元207,圖像相似度計算單元207根 據(jù)特征量分布檢查單元2 0 6所執(zhí)行的檢查的結(jié)果，從圖像特征數(shù) 據(jù)庫10 7檢索與查詢圖像2 01相似的圖像，并輸出這樣檢索到的 圖像作為檢索結(jié)果208。稍后將提供對利用圖像檢索設(shè)備200執(zhí) 行的檢索圖像的處理的說明。圖像登記處理圖3是表示登記圖像的處理的序列的流程圖。在步驟S301 中，如圖l所示，圖像輸入單元102讀入登記圖像101,并且在步 驟S302中，從登記圖像101提取亮度分量。根據(jù)這樣提取出的 亮度分量生成亮度分量圖像，并將這樣生成的亮度分量圖像傳 送到縮小圖像生成單元103。還將登記圖像101傳送到特征量登 記單元106。在步驟303中，縮小圖像生成單元103將從圖像輸入單元102 傳送到縮小圖像生成單元10 3的亮度分量圖像根據(jù)比例p依次縮 小，從而生成n個縮小圖像，并將縮小圖像傳送到局部特征點(diǎn)提 取單元104。應(yīng)當(dāng)理解，比例p和縮小圖像的數(shù)量n都是預(yù)定的， 并且都是可以預(yù)先選擇的。圖4示出生成縮小圖像的縮小圖像生成單元103的處理。在 圖4中所示的例子中，比例p是2的-l/4次冪，縮小圖像的數(shù)量n 為9。關(guān)于圖4，附圖標(biāo)記401為從圖像輸入單元102傳送到縮小 圖像生成單元103的亮度分量圖像。附圖標(biāo)記402是已經(jīng)根據(jù)比 例p從亮度分量圖像縮小了四次的縮小圖像。附圖標(biāo)記403是已 經(jīng)根據(jù)比例p從亮度分量圖像縮小了八次的縮小圖像。在本例子中，縮小圖像402是已經(jīng)縮小到從圖像輸入單元 102傳送到縮小圖像生成單元103的亮度分量圖像的一半的圖 像，縮小圖像403是已經(jīng)縮小到從圖像輸入單元102傳送到縮小 圖像生成單元103的亮度分量圖像的四分之一的圖像。允許使用 縮小圖像的任何方法，根據(jù)第一實施例，假定通過線性插值的 縮小方法來生成縮小圖像。在步驟S304中，局部特征點(diǎn)提取單元104從由縮小圖像生 成單元103傳送到局部特征點(diǎn)提取單元104的n個縮小圖像序列 提取即使各圖像經(jīng)歷旋轉(zhuǎn)也可以魯棒性地提取的局部化后的特 征點(diǎn)，即，局部特征點(diǎn)。在本例子中，魯棒局部特征點(diǎn)指的是 當(dāng)圖像經(jīng)歷了旋轉(zhuǎn)處理時可以提取而沒有顯著的穩(wěn)定性損失的 局部特征點(diǎn)。將這樣提取出的局部特征點(diǎn)傳送到局部特征量計 算單元105。作為根據(jù)第一實施例的提取特征點(diǎn)的方法，采用哈 里斯(Harris )算子；作為參考，參見C. Harris and M. J. Stephens, "A combined corner and edge detector", in Alvey Vision Conference, pp.147-152， 1998。關(guān)于通過運(yùn)算哈里斯算子而得到的輸出圖像H中的像素， 例如，對于總共9個像素，針對像素的像素值和該像素緊鄰近處的8個像素的每一個的像素值，檢查圖像中的像素。提取成為局 部最大的像素點(diǎn)，即，該像素的像素值在9個像素中是最大值的 像素點(diǎn)，作為局部特征點(diǎn)。在這種情況下，當(dāng)像素的值小于或 等于闊值時，即使該像素是局部最大，也不提取該像素作為局 部特征點(diǎn)。像素值是指表示各像素適合作為局部特征點(diǎn)的程度 的值。應(yīng)該理解，特征點(diǎn)提取方法并不限于使用哈里斯算子的特 征,泉提取，只要其它的特征,#、提取方法可以提取局部特征點(diǎn)， 就可以將該方法應(yīng)用于局部特征點(diǎn)拔_耳又單元10 4 。在步驟S305中，局部特征量計算單元105計算由局部特征 點(diǎn)提取單元104傳送到局部特征量計算單元105的局部特征點(diǎn)的 局部特征量。在與坐標(biāo)信息相關(guān)聯(lián)之后，將在這種情況下提取 出的局部特征量傳送到特征量登記單元106。作為計算局部特征 量的方法，根據(jù)第一實施例，采用局部射流(Local Jet)及其 導(dǎo)函數(shù)的組合。作為參考，參見J. J. Koenderink and A. J. van Doorn， "Representation of local geometry in the visual system", Biological Cybernetics, vol. 55, pp. 367-375, 1987。具體地，通過等式(1)來計算局部特征量i +二妙1應(yīng)當(dāng)理解，在下一段落所示的等式(2)至(7)中定義等式(l)右手側(cè)的符號。在本例子中，等式(2)右手側(cè)的G(x, y)是高斯函數(shù)，I ( x, y )是與圖像的坐標(biāo)(x， y)有關(guān)的像素 值，"*"是表示巻積運(yùn)算的符號。等式(3)是關(guān)于在等式(2) 中定義的變量Lx的偏導(dǎo)數(shù)，等式(4)是關(guān)于變量Ly的偏導(dǎo)數(shù)。 等式(5)是關(guān)于在等式(3)中定義的變量Lxy的偏導(dǎo)數(shù)，等 式(6)是關(guān)于在等式(3)中定義的變量Lxx的偏導(dǎo)數(shù)，等式 (7)是關(guān)于在等式(4)中定義的變量Lyy的偏導(dǎo)數(shù)。"c (義，;y)承/(x，y) a丄厶6bc 蘭(2)(3)(4)(5)(6)(7)應(yīng)當(dāng)理解，計算特征量的方法并不限于此處所述的方法， 只要該方法可以計算局部特征量即可。在步驟S306中，特征量登記單元106將從局部特征量計算 單元105傳送到特征量登記單元106的局部特征量與從圖像輸入 單元102傳送到特征量登記單元106的登記圖像101相關(guān)聯(lián)，并將 這樣相關(guān)聯(lián)的信息登記在圖像特征數(shù)據(jù)庫107中。從而完成登記 圖像的處理。圖像檢索處理圖5是表示檢索圖像的處理的序列的流程圖。在步驟S501中，圖像輸入單元202讀入圖2所示的查詢圖1象201，并在步驟 S502中，從查詢圖像201提取亮度分量。根據(jù)這樣提取的亮度 分量生成亮度分量圖像，并將這樣生成的亮度分量圖像傳送到 縮小圖像生成單元203。在步驟S503中，縮小圖像生成單元203將從圖像輸入單元 202傳送到縮小圖像生成單元203的亮度分量圖像根據(jù)比例p依 次縮小，從而生成n個縮小圖像，并將縮小圖像傳送到局部特征 點(diǎn)提取單元204。可以理解，假定比例p和縮小圖像的數(shù)量n的值 都是與在登記圖像的處理中所采用的比例p和縮小圖像的數(shù)量n 的值相同的值。在步驟S504中，局部特征點(diǎn)提取單元204提取從縮小圖像 生成單元203傳送到局部特征點(diǎn)提取單元204的n個縮小圖像序 列的各局部特征點(diǎn)。將這樣提取出的局部特征點(diǎn)傳送到局部特 征量計算單元205。與在此處說明的登記圖像的處理中所采用的 方法相似，采用哈里斯算子作為提取特征點(diǎn)的方法。具體地，關(guān)于通過運(yùn)算哈里斯算子而得到的輸出圖像H的 像素，對于總共9個像素，針對像素的像素值或者該像素緊鄰近 處的8個像素的每一個的像素值，檢查圖像中的像素。提取成為 局部最大的像素點(diǎn)，即，該像素的像素值在9個像素中是最大值 的像素點(diǎn)，作為局部特征點(diǎn)。在這種情況下，當(dāng)像素的值小于 或等于閾值時，即使該像素是局部最大，也不提取該像素作為 局部特征點(diǎn)。應(yīng)當(dāng)理解，特征點(diǎn)提取方法并不限于使用哈里斯算子的特 征點(diǎn)提取，只要該方法可以提取局部特征點(diǎn)即可。在步驟S505中，局部特征量計算單元205計算從局部特征 點(diǎn)提取單元204傳送到局部特征量計算單元205的各局部特征點(diǎn)的局部特征量。在與坐標(biāo)信息相關(guān)聯(lián)之后，將在本例子中所提 取的局部特征量傳送到特征量分布檢查單元206。這里用于計算 局部特征量的方法與在登記圖像的處理中所采用的方法相同。 換而言之，采用局部射流及其導(dǎo)函數(shù)的組合，并通過等式(l) 來計算局部特征量。在步驟S506中，在對從局部特征量計算單元205傳送到特 征量分布檢查單元206的各局部特征量執(zhí)行縮小處理和旋轉(zhuǎn)變 換時，特征量分布檢查單元206檢查關(guān)于該各局部特征量的特征 量分布。為了簡化以下說明，將以波動特征量(0度)作為從局 部特征量計算單元205傳送到特征量分布纟全查單元206的局部特 征量的例子。根據(jù)第 一 實施例的特征量分布 一企查對在步驟S503中生成 的縮小圖像以45度的間隔執(zhí)行圖像旋轉(zhuǎn)變換，并計算關(guān)于旋轉(zhuǎn) 后的特征點(diǎn)的波動特征量。然后，執(zhí)行檢查，以判斷作為旋轉(zhuǎn) 的結(jié)果特征量波動的程度。根據(jù)圖8所示的散布圖，即使對于共同的局部特征點(diǎn)，特征 量的分布也變化。因此，在計算距離時不考慮分布的情況下， 不能精確地比較特4i點(diǎn)之間的距離。具體地，這樣的計算包括 為了使分布變成多維標(biāo)準(zhǔn)化分布而采用馬氏距離，或者簡單地 利用除以特征量的方差的值進(jìn)行標(biāo)準(zhǔn)化，并推導(dǎo)該距離。在下文中將說明采用馬氏距離的實例。關(guān)于圖8中所示的散 布圖，諸如圖9中所示的，雖然包括比G1短的歐幾里德距離的 G2離點(diǎn)X更近，但是，關(guān)于考慮了波動特征量的分布的標(biāo)準(zhǔn)化 距離，G1比G2近。因此，選擇查詢圖像2 01的焦點(diǎn)特征點(diǎn)散布在k維特征量空 間內(nèi)的集合作為一個母體，該k維特征量空間是在對查詢圖像 201進(jìn)行旋轉(zhuǎn)、放大或縮小后而獲得的。在本例子中，將用N表示特征點(diǎn)的數(shù)量，用母體ID: j來區(qū)分母體。
將母體j的平均值當(dāng)作^^(jilj, p2j,…，ppj)'(j = l, 2，…， k),將觀測值當(dāng)作X = (Xl， X2， ... ， Xp)',將母體j的方差-協(xié)方 差矩陣當(dāng)作2J,將其逆矩陣當(dāng)作ZJ-1。因此，距離X的母體的距
離dj由下面的等式表示
dj2 = (X - ^j)' w-l (X - pj) (8)
利用圖10和11所示的概念圖來說明該等式的運(yùn)算。為了使 分布統(tǒng)一，通過利用馬氏距離對各特征點(diǎn)的特征量分布執(zhí)行多 維標(biāo)準(zhǔn)化分布，來開始該運(yùn)算。對方差-協(xié)方差矩陣應(yīng)用逆矩陣， 從而導(dǎo)致圖10和11所示的分布，并且以下情況變得明顯雖然 關(guān)于歐幾里德距離G2比Gl距離點(diǎn)X更近，但是關(guān)于考慮分布的 標(biāo)準(zhǔn)化距離G1比G2更近。
存儲方差-協(xié)方差矩陣的逆矩陣及其平均值，即，重心，該 方差-協(xié)方差矩陣的逆矩陣及其平均值用于針對從局部特征量 計算單元205所傳送的局部特征點(diǎn)計算馬氏距離。
在這樣的情況下，對于包括極其寬范圍的分布的特征點(diǎn)， 也可以不采用前述運(yùn)算。作為例子，按照這里的說明，各項方 差-協(xié)方差矩陣的協(xié)方差值越大，分布就越廣，并且，通過對其 進(jìn)行閾值處理，可以檢測分布范圍極其寬的特征點(diǎn)。應(yīng)當(dāng)理解， 還允許認(rèn)為方差-協(xié)方差矩陣的范數(shù)越大，該分布就越廣。
雖然已經(jīng)根據(jù)第一實施例說明了例子，該第一實施例將檢 查波動特征量時的旋轉(zhuǎn)角度當(dāng)作45度，并且僅當(dāng)圖像旋轉(zhuǎn)45度 時才執(zhí)行檢查，但是，應(yīng)當(dāng)理解，可以允許在范圍從O度到n度 的t度的倍數(shù)時執(zhí)行旋轉(zhuǎn)檢查，例如，其中t是滿足不等式(KKn
隔重復(fù)的旋轉(zhuǎn)檢查，直到角度小于或等于t度，而不是在t度的每一間隔處都執(zhí)行旋轉(zhuǎn)檢查，并通過關(guān)于各特征點(diǎn)評估波動特 征量，來消除具有顯著波動角度的特征點(diǎn)。
返回圖5，在步驟S507中，圖像相似度計算單元207比較從 特征量分布檢查單元206傳送到圖像相似度計算單元207的特征 量和登記在圖像特征數(shù)據(jù)庫107中的特征量。對于登記在圖像特 征數(shù)據(jù)庫107中的每一登記圖像執(zhí)行比較，并且作為比較結(jié)果， 計算各登記圖像的相似度。稍后將對計算相似度的方法進(jìn)行更 為詳細(xì)的i兌明。
在步驟S508中，圖像相似度計算單元207將這樣計算出的 相似度與作為相似度的計算源的圖像相關(guān)聯(lián)，創(chuàng)建檢索結(jié)果列 表，并在其中以降序?qū)ο嗨贫冗M(jìn)行排序。之后，以排序順序輸 出具有最大相似度的圖像和該圖像的相似度，作為檢索結(jié)果 208。
計算相似度的方法
在本例子中，將從特征量分布檢查單元206所傳送的局部特 征量當(dāng)作Vs,與該局部特征量相關(guān)聯(lián)的坐標(biāo)為S ( x， y)。登記 在圖像特征數(shù)據(jù)庫107中的圖像R中出現(xiàn)的局部特征量為Vq,與 該局部特征量相關(guān)聯(lián)的坐標(biāo)為Q (x', y')。
圖6是示出根據(jù)第 一 實施例的計算相似度的序列的流程圖。 通過投票處理，即，計數(shù)處理來進(jìn)行相似度的計算。投票數(shù)相 當(dāng)于相似度。在步驟S601中，將表示最大投票數(shù)的變量VoteMax 初始化為0。最大投票數(shù)是在執(zhí)行多個反復(fù)投票的過程中所獲得 的最大投票數(shù)。在步驟S602中，計算Vq和Vs之間的特征量距離 的所有組合，并創(chuàng)建最小距離對應(yīng)點(diǎn)列表。在推導(dǎo)最小距離對 應(yīng)點(diǎn)時，首先，根據(jù)等式(8),采用關(guān)于查詢圖像的各局部特 征點(diǎn)所存儲的用于計算馬氏距離的方差-協(xié)方差矩陣的逆矩陣 及其平均值，即重心，來推導(dǎo)該距離。創(chuàng)建包括這樣推導(dǎo)出的距離和方差-協(xié)方差矩陣的最小距離對應(yīng)點(diǎn)列表。
換而言之，提取這樣計算出的特征量之間的距離小于或等
于閾值Tv且是最小距離的Vq和Vs的組合，即對應(yīng)點(diǎn)，并登記在 最小距離對應(yīng)點(diǎn)列表中。
在下文中，關(guān)于利用最小距離對應(yīng)點(diǎn)列表登記的對應(yīng)點(diǎn)k， 將該對應(yīng)點(diǎn)的局部特征量分別/>開為Vq ( k)和Vs ( k)。在下 文中，將與Vq ( k)和Vs ( k)相對應(yīng)的局部特征點(diǎn)分別公開為 Qk和Sk,并且將以與索引相結(jié)合的方式7>開它們的坐標(biāo)，例如 Qk(x，k, y，k)和Sk(xk, yk )。在下文中將利用在步驟S602 中所創(chuàng)建的最小距離對應(yīng)點(diǎn)列表記錄的組合的數(shù)量當(dāng)作m個組 合。
關(guān)于作為閾值Tv的特征量之間的距離，4艮自然地想到以下 方法通過如果查詢圖像的焦點(diǎn)特征點(diǎn)的特征量分布變寬，則 增大閾值，以及如果查詢圖像的焦點(diǎn)特征點(diǎn)的特征量分布變窄， 則減小閾值，來執(zhí)行優(yōu)選閾值處理。作為例子，這里，處理與 方差-協(xié)方差矩陣的范數(shù)成反比的閾值的方法易于應(yīng)用。
在步驟S603中，將表示計算相似度的處理的反復(fù)次數(shù)的變 量Count初始化為O。在步驟S604中，判斷反復(fù)計數(shù)次數(shù)Count 是否超過預(yù)定的最大處理反復(fù)次數(shù)Rn。在這樣的情況下，如果 反復(fù)計數(shù)次數(shù)Count超過預(yù)定的最大處理反復(fù)次數(shù)Rn，則處理 進(jìn)入步驟S619,在該步驟中，輸出最大投票數(shù)VoteMax,然后 處理終止。
如果反復(fù)計數(shù)次數(shù)Count沒有超過預(yù)定的最大處理反復(fù)次 數(shù)Rn,則處理進(jìn)入步驟S605,在該步驟中，將表示投票數(shù)的變 量Vote初始化為O。在步驟S606中，從最小距離對應(yīng)點(diǎn)列表隨機(jī) 提取對應(yīng)點(diǎn)的坐標(biāo)的兩個組合。在本例子中，將這樣提取出的 坐標(biāo)表示為Ql(x,l， y'l)、 Sl(xl, yl)以及Q2(x'2， y'2)、 S2(x2，y2)。在步驟S607中，假設(shè)在步驟S606中所提取的Ql(x，l, y'l)、 Sl(xl, yl)以及Q2(x'2， y'2)、 S2(x2， y2)滿足下面所示出的等 式(9)中所示的變換，從而推導(dǎo)出等式(9)中的變量a至f。
應(yīng)當(dāng)理解，在圖6所示的步驟S607中，將由變量a至d所組成 的矩陣表示為M,將由變量e至f所組成的矩陣表示為T。
<formula>formula see original document page 17</formula>在本例子中，出于簡化的目的，將根據(jù)第一實施例只考慮 相似變換。在這樣的情況下，可以將等式(9)改寫成等式(10)。
<formula>formula see original document page 17</formula>
在這種情況下，使用符號x、、 y、、 Xl、 yi、 x'2 y2，將變量a、 b、 e和f表示為等式(11 )至(14):
<formula>formula see original document page 17</formula>
在步驟S608中，為了選擇在步驟S606中從最小距離對應(yīng)點(diǎn) 列表隨機(jī)提取的點(diǎn)的兩個組合以外的點(diǎn)，將特征點(diǎn)選擇變量k初始化為3。在步驟S609中，判斷特征點(diǎn)選擇變量k是否超過了 利用最小距離對應(yīng)點(diǎn)列表登記的組合的數(shù)量m。在本例子中， 如果特征點(diǎn)選擇變量k超過了利用最小距離對應(yīng)點(diǎn)列表登記的 組合的數(shù)量m,則處理進(jìn)入步驟S615(稍后說明)。如果步驟S609 中的判斷發(fā)現(xiàn)特征點(diǎn)選擇變量k沒有超過利用最小距離對應(yīng)點(diǎn) 列表登記的組合的數(shù)量m,則處理進(jìn)入步驟S610。
在步驟S610中，從最小距離對應(yīng)點(diǎn)列表提取在步驟S606中 所提取的點(diǎn)的兩個組合S1 ( xl, yl)和S2(x2, y2)以外的點(diǎn)。 根據(jù)第一實施例，將這樣提取出的點(diǎn)公開為Sk ( xk, yk)。
在步驟S611中，使用等式(10)推導(dǎo)從坐標(biāo)Sk (xk， yk) 變換的坐標(biāo)Sk' ( x'k， y'k )。
在步驟S612中，利用歐幾里德距離計算坐標(biāo)Sk ( xk, yk) 和坐標(biāo)Sk'(x'k, y'k)之間的幾何距離，并判斷歐幾里德距離 是否小于或等于閾值Td。如果歐幾里德距離小于或等于閾值 Td,則處理進(jìn)入步驟S613,在該步驟中，存儲與投票數(shù)Vote有 關(guān)的相應(yīng)的對應(yīng)點(diǎn)Sk'、 Qk。在步驟S614中，增大投票數(shù)Vote， 處理進(jìn)入步驟S615。如果歐幾里德距離大于閾值Td,則無需執(zhí) 行步驟S613或步驟S614中的處理，處理就進(jìn)入步驟S615。歐幾 里德距離小于或等于閾值Td的特征點(diǎn)是作為在各圖像間相似 的特征點(diǎn)。
在步驟S615中，增大特征點(diǎn)選擇變量k，處理返回步驟 S609,并且重復(fù)前述處理，直到特征點(diǎn)選擇變量k超過利用最 小距離對應(yīng)點(diǎn)列表登記的組合的數(shù)量m。換而言之，重復(fù)該序 列，其中，在步驟S606中提取點(diǎn)的其它兩個組合，在步驟S607 中推導(dǎo)等式(9)的參數(shù)變量a、 b、 e和f,并執(zhí)行從步驟S608 到步驟S612的處理。
下面是對步驟S616的說明，步驟S616是在步驟S609中判斷為特征點(diǎn)選擇變量k超過利用最小距離對應(yīng)點(diǎn)列表登記的組合
的數(shù)量m時所執(zhí)行的處理。在步驟S616中，比較投票數(shù)Vote的 值和最大投票數(shù)VoteMax的值，并且如果投票數(shù)Vote的值大于最 大投票數(shù)VoteMax的值，則處理進(jìn)入步驟S617。
在步驟S617中，用投票數(shù)Vote的值代替最大投票數(shù) VoteMax的值，于是，在步驟S618中增大反復(fù)計數(shù)次數(shù)Count, 并且處理返回步-驟S604。
如果在步驟S616中判斷為投票數(shù)Vote的值小于或等于最大 投票數(shù)VoteMax的值，則處理進(jìn)入步驟S618,在該步驟中，增 大反復(fù)計數(shù)次數(shù)Count，并且處理返回步驟S604。
雖然根據(jù)第 一 實施例對計算相似度的方法的說明僅考慮相 似變換，但是作為選擇，可以通過在步驟S607中推導(dǎo)對應(yīng)于仿 射變換(Affine transformation)或其它幾^T變4灸的變換矩陣， 來計算相似度。作為其例子，當(dāng)應(yīng)用仿射變換時，假設(shè)在步驟 S606中隨機(jī)選擇的對應(yīng)點(diǎn)的坐標(biāo)的組合數(shù)量為3。在步驟S607 中，假設(shè)使用等式(9)而不是等式(10),允許使用在步驟S606 中所選擇的對應(yīng)點(diǎn)的三個組合，即，總共6個點(diǎn)，來推導(dǎo)變量a 至f。
下面是參考附圖7對如圖6所示的步驟S619中計算綜合相 似度的處理的說明。圖7是示出根據(jù)第 一 實施例的計算綜合相似 度的處理的流程圖。
在步驟S701中，將焦點(diǎn)特征量對的序列號m初始化為零， 將關(guān)于與各特征量相關(guān)聯(lián)的相似度的權(quán)重總和WCT初始化為
零，將累積相似度SimT初始化為零。
在步驟S702中，判斷是否用完了焦點(diǎn)特征量對的數(shù)量，如 果還沒有用完焦點(diǎn)特征量對的數(shù)量，則處理進(jìn)入步驟S703,在 該步驟中，從在步驟S602中所創(chuàng)建的列表讀出Vote二m的對應(yīng)點(diǎn)的S'm、 Q'm對。
在步驟S704中，將從在步驟S602中所創(chuàng)建的列表讀出的 S'm、 Q'm的馬氏距離變換成加載相似度，并存儲在Sim[m]中。 在這樣的情況下，作為將該距離變換成相似度的函數(shù)，例如圖 圖12所示，假設(shè)該距離為0時相似度為100%,允許采用包括下 面特征的變換函數(shù)當(dāng)距離增大時，相似度單調(diào)減小。圖12示 出將相似距離變換成相似度的函數(shù)的例子。
在步驟S705中，根據(jù)為了計算從在步驟S602中所創(chuàng)建的列 表讀出的S'm、 Q'm的馬氏距離而采用的方差-協(xié)方差矩陣，確 定假設(shè)權(quán)重WC[m]。關(guān)于該權(quán)重，(例如)允許采用推導(dǎo)馬氏距 離以執(zhí)行該計算時所采用的方差-協(xié)方差矩陣的各項的絕對值 的平均值。
例如，當(dāng)平均方差大時，其分布擴(kuò)展，這意味著，換而言 之，該距離的相似度的可靠度低。因此，當(dāng)利用各特征點(diǎn)的加 權(quán)后的相似度的線性總和來推導(dǎo)圖像自身的綜合相似度時，包 括大方差的特征點(diǎn)的相似度的權(quán)重應(yīng)當(dāng)小。因此，可以通過將 這樣推導(dǎo)出的方差-協(xié)方差矩陣的各項的絕對值的平均值的倒 數(shù)作為假設(shè)權(quán)重，并通過將該假設(shè)權(quán)重除以總權(quán)重來標(biāo)準(zhǔn)化這 樣計算出的假設(shè)權(quán)重，來計算圖像自身的具有較高可靠度的綜 合相似度。
在步驟S706中，推導(dǎo)已經(jīng)計算出的加權(quán)線性總和的部分和 SimT,并計算總權(quán)重WCT二WCT+WC[m]。在步驟S707中，增 大m,并且處理進(jìn)入下一特征點(diǎn)對。
在步驟S702中，如果不再存在要處理的特征點(diǎn)對，則處理 進(jìn)入步驟S708，在該步驟中，判斷WCT是否為零，并且，如果 WCT為零，則處理進(jìn)入步驟S709，在該步驟中，WCT的值被重 置為l，并且處理進(jìn)入步驟S710。為了避免在步驟S710 (在下文中將說明)中執(zhí)行除以O(shè),本處理是例外，因為假設(shè)當(dāng)不存在 來自縮小或旋轉(zhuǎn)的特征量時方差為O。
另一方面，如果在步驟S708中判斷為WCT不為O,則處理 進(jìn)入步驟S710，在該步驟中，通過除以權(quán)重總和，將作為假設(shè) 加權(quán)后的線性總和的圖像自身的綜合相似度標(biāo)準(zhǔn)化。最后，在 步驟S711中，輸出圖像自身的綜合相似度，并終止處理。
配置根據(jù)第 一 實施例的圖像檢索設(shè)備，以檢查從查詢圖像 所計算出的局部特征量的波動，并在執(zhí)行檢索時不使用包括大 波動的局部特征量，從而可以通過控制阻止檢索精度的下降。
第二實施例
下面是參考附圖對根據(jù)本發(fā)明的第二實施例的詳細(xì)說明。 關(guān)于根據(jù)第二實施例的計算圖像間的相似距離的處理，采用馬 氏距離，并且其它組成與第一實施例相似。才艮據(jù)第二實施例的 設(shè)備配置與根據(jù)第 一 實施例的設(shè)備配置相似，因此將省略對它 們的說明。
在下文中將參考圖13說明采用馬氏距離計算圖像間的相似 距離以及從而計算綜合相似度的處理。
圖13是示出根據(jù)第二實施例的計算綜合相似度的處理的流 程圖。在步驟S1301中，將焦點(diǎn)特征量對的序列號m初始化為零， 將關(guān)于與各特征量相關(guān)聯(lián)的相似度的權(quán)重總和WCT初始化為 零，將累積相似距離DMT初始化為零。
在步驟S1302中，判斷是否用完了焦點(diǎn)特征量對的數(shù)量， 并且如果還沒有用完焦點(diǎn)特征量對的數(shù)量，則處理進(jìn)入步驟 S1303,在該步驟中，從在步驟S602中所創(chuàng)建的列表讀出Vote=m 的對應(yīng)點(diǎn)的S'm、 Q'm對。
在步驟S1304中，讀出從在步驟S602中所創(chuàng)建的列表讀出 的S'm、 Q'm的馬氏距離，并存儲在DM[m]中。在步驟S1305中，根據(jù)為了推導(dǎo)從在步驟S602中所創(chuàng)建的 列表讀出的S'm、 Q'm的馬氏距離而采用的方差-協(xié)方差矩陣， 確定假設(shè)權(quán)重WC[m]。關(guān)于該權(quán)重，例如，允許采用在推導(dǎo)馬 氏距離以執(zhí)行該計算時所采用的方差-協(xié)方差矩陣的各項的絕 對值的平均值。
例如，當(dāng)平均方差大時，其分布擴(kuò)展，這意p未著，換而言 之，該距離的相似度的可靠度低。因此，當(dāng)利用各特征點(diǎn)的加 權(quán)后的相似度的線性總和來推導(dǎo)圖像自身的綜合相似度時，包 括大方差的特征點(diǎn)的距離的權(quán)重應(yīng)當(dāng)小。因此，可以通過將這 樣推導(dǎo)出的方差-協(xié)方差矩陣的各項的絕對值的平均值的倒數(shù) 作為假設(shè)權(quán)重，并通過將該假設(shè)權(quán)重除以總權(quán)重來標(biāo)準(zhǔn)化這樣 計算出的假設(shè)權(quán)重，來計算圖像自身的具有較高可靠度的綜合 相似度。
在步驟S1306中，推導(dǎo)已經(jīng)計算出的加權(quán)線性總和的部分 和DMT，并計算總權(quán)重WCT^WCT+WC[m]。在步驟S1307中， 增大m，并且處理進(jìn)入下一特征點(diǎn)對。
在步驟S1302中，如果不再存在要處理的特征點(diǎn)對，則處 理進(jìn)入步驟S1308,在該步驟中，判斷WCT是否為零，并且， 如果WCT為零，則處理進(jìn)入步驟S1309，在該步驟中，WCT的 值被重置為1,并且處理進(jìn)入步驟S1310。為了避免在步驟S1310 (在下文中將說明)中執(zhí)行除以O(shè),本處理是例外，因為假設(shè)不 存在來自縮小或旋轉(zhuǎn)的特征量時方差為O。
另一方面，如果在步驟S1308中判斷為WCT不為O,則處理 進(jìn)入步驟S1310，在該步驟中，通過除以權(quán)重總和，將作為假 設(shè)加權(quán)后的線性總和的圖像自身的綜合相似度標(biāo)準(zhǔn)化。最后，
在步驟S1311中，輸出圖像自身的綜合距離，并終止處理。
雖然根據(jù)第 一 和第二實施例推導(dǎo)出作為縮小和旋轉(zhuǎn)的組合的特征量的波動，4旦是，用戶也可以執(zhí)行旋轉(zhuǎn)、；改大或縮小，
或者執(zhí)行旋轉(zhuǎn)與放大或者縮小的組合，并根據(jù)指示推導(dǎo)分布。 應(yīng)當(dāng)理解，允許將本發(fā)明應(yīng)用到包括諸如主計算機(jī)、接口
裝置、讀取器以及打印機(jī)的多個裝置的系統(tǒng)，以及諸如多功能
裝置或傳真機(jī)的由單個裝置組成的設(shè)備。
將其上記錄有實現(xiàn)根據(jù)實施例的功能的程序代碼(軟件)
的記錄介質(zhì)提供給該系統(tǒng)或設(shè)備，該系統(tǒng)或設(shè)備的計算機(jī)，即，
CPU或MPU,加載并扭J于存〗諸在該記錄介質(zhì)上的禾呈序代碼。應(yīng) 當(dāng)理解，從而實現(xiàn)了根據(jù)本發(fā)明的目的。
在這樣的情況下，從記錄介質(zhì)加載的程序代碼本身實現(xiàn)根 據(jù)實施例的功能，并且存儲該程序代碼的記錄介質(zhì)構(gòu)成本發(fā)明。
例如，允許采用軟盤、硬盤驅(qū)動、光盤、》茲光盤、CD-ROM、 CD-R、磁帶、非易失性存儲卡或ROM作為用于提供該程序代 碼的記錄介質(zhì)。
也可以想象到這樣的配置通過計算機(jī)執(zhí)行從這樣的記錄 介質(zhì)加載的程序代碼來實現(xiàn)根據(jù)本實施例的功能。在這樣的情 況下，運(yùn)行在計算機(jī)上的操作系統(tǒng)或其它軟件根據(jù)該程序代碼 的指令，執(zhí)行全部或部分的實際處理，并且通過該處理實現(xiàn)根 據(jù)實施例的功能，這樣的實施例也落入本發(fā)明的范圍之內(nèi)。
還可以想象到這樣的配置將從記錄介質(zhì)加載的程序代碼 寫入置于安裝在計算機(jī)中的擴(kuò)展板中或連接到計算機(jī)的擴(kuò)展單 元中的存儲器。在這樣的情況下，允許置于擴(kuò)展板或擴(kuò)展單元 中的CPU或其它硬件根據(jù)該程序代碼的指令執(zhí)行全部或部分的 實際處理，并且通過該處理實現(xiàn)根據(jù)實施例的功能。
根據(jù)在此說明的實施例，可以獲得關(guān)于圖像中的特征點(diǎn)的 相似度計算的結(jié)果，其中，即使在對圖像進(jìn)行放大、縮小、旋 轉(zhuǎn)或其組合時，圖像間的相似度的計算的精確程度也提高，并且接近用戶的直覺。
雖然已經(jīng)參考示例性實施例說明了本發(fā)明，但是應(yīng)當(dāng)理解， 本發(fā)明并不限于所公開的示理性實施例。所附權(quán)利要求的范圍 符合最寬的解釋，以包括所有這樣的修改以及等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種圖像處理設(shè)備，包括提取單元，用于從輸入圖像提取多個特征點(diǎn)；特征量計算單元，用于計算所述多個特征點(diǎn)的各自的特征量；估計單元，用于在將指定的多個變化應(yīng)用于所述輸入圖像的情況下，估計所述多個特征點(diǎn)的各自的波動特征量；以及檢索單元，用于基于由所述估計單元估計出的所述波動特征量，從多個存儲圖像中檢索與所述輸入圖像相似的相似圖像。
2. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所 述提取單元用于提取具有關(guān)于旋轉(zhuǎn)呈魯棒性的局部特征量的特 征點(diǎn)。
3. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，標(biāo) 準(zhǔn)化所述波動特征量的分布，所述檢索單元用于基于標(biāo)準(zhǔn)化后 的所述波動特征量的分布，來檢索與所述輸入圖像相似的圖像。
4. 根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其特征在于，使 用方差或馬氏距離來標(biāo)準(zhǔn)化所述波動特征量的分布。
5. 根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其特征在于，基 于標(biāo)準(zhǔn)化后的所述波動特征量的分布中的線性總和或加權(quán)線*性 總和，來計算所述輸入圖像與所述存儲圖像之間的相似度。
6. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，對 具有較小方差的波動特征量添加較大的4又重。
7. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所 述相似圖像是所述多個存儲圖像中最相似的圖像。
8. —種圖像檢索方法，包括 從輸入圖像提取多個特征點(diǎn)； 計算所述多個特征點(diǎn)的各自的特征量；估計步驟，用于在將指定的多個變化應(yīng)用于所述輸入圖像的情況下，估計所述多個特征點(diǎn)的各自的波動特征量；以及基于在所述估計步驟中估計出的所述波動特征量，從存儲 在存儲裝置中的多個圖像中檢索與所述輸入圖像相似的圖像。
全文摘要
本發(fā)明公開了一種圖像處理設(shè)備和圖像檢索方法。從輸入圖像提取多個特征點(diǎn)，并計算這樣提取出的特征點(diǎn)的特征量。將指定的多個變化，即，旋轉(zhuǎn)、放大或者縮小應(yīng)用于輸入圖像，估計特征點(diǎn)的多個變化后的特征量，并根據(jù)所估計出的多個變化后的特征量，從存儲在存儲設(shè)備上的存儲圖像中檢索與輸入圖像最相似的圖像。
文檔編號G06F17/30GK101308504SQ20081008188
公開日2008年11月19日 申請日期2008年5月16日 優(yōu)先權(quán)日2007年5月16日
發(fā)明者松下昌弘, 椎山弘隆, 相馬英智, 馬養(yǎng)浩一, 高田智美 申請人:佳能株式會社