特征點(diǎn)提取裝置及方法和利用其的圖像匹配系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開一種特征點(diǎn)提取裝置及方法和利用其的圖像匹配系統(tǒng)。根據(jù)本發(fā)明的一實(shí)施例的特征點(diǎn)提取裝置用于提取對(duì)圖像變化穩(wěn)健的特征點(diǎn)，且包括：特征點(diǎn)提取單元，在圖像作為特征點(diǎn)候選位置提取邊角區(qū)域，在所述特征點(diǎn)候選位置提取特征點(diǎn)；及特征點(diǎn)后處理單元，生成所述提取的特征點(diǎn)的特征點(diǎn)描述符。
【專利說明】
特征點(diǎn)提取裝置及方法和利用其的圖像匹配系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明的實(shí)施例設(shè)及圖像處理技術(shù)，更具體地，設(shè)及一種用于從圖像提取特征點(diǎn) 的特征點(diǎn)提取裝置及方法和利用其的用于分析內(nèi)容在線流通情況的圖像匹配系統(tǒng)。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和互聯(lián)網(wǎng)適用領(lǐng)域的逐漸擴(kuò)展，通過互聯(lián)網(wǎng)的信息檢索利 用率也增加。W往是通過互聯(lián)網(wǎng)的信息檢索主要基于文本，但最近圖像或動(dòng)畫等上載到互 聯(lián)網(wǎng)的量增加，由此基于圖像的檢索技術(shù)正在被開發(fā)。然而，在基于圖像的檢索的情況下， 與基于文本的檢索相比，作為檢索對(duì)象的數(shù)據(jù)量本身就多，因此，存在不僅檢索速度減少， 而且檢索正確度降低的問題。
[0003] 目P，在圖像的情況下，存在因在圖像中發(fā)生的各種變化（例如，光照變化、尺寸變 化、仿射(Affine)變化、視點(diǎn)變化等)而難W檢索相同或類似的圖像的問題。例如，在攝影圖 像時(shí)，根據(jù)光照變化，即使攝影相同的對(duì)象也會(huì)發(fā)生顯著的色感差。并且，在攝影圖像時(shí)，如 果攝像頭旋轉(zhuǎn)或拍攝對(duì)象物旋轉(zhuǎn)，就會(huì)生成不同的攝影圖像。而且，根據(jù)攝像頭的分辨率、 攝影距離、是否使用變焦功能等，即使攝影相同的對(duì)象也生成不同的攝影圖像，因此，難W 檢索與預(yù)定圖像相同或類似的圖像，從而檢索正確度降低。
[0004] 【現(xiàn)有技術(shù)文獻(xiàn)】
[0005] 韓國公開專利公報(bào)第 10-2012-0062609 號(hào)(2012.06.14)

【發(fā)明內(nèi)容】

[0006] 解決的技術(shù)問題
[0007] 根據(jù)示意性實(shí)施例，提供能夠提取對(duì)圖像變化穩(wěn)健的特征點(diǎn)的特征點(diǎn)提取裝置及 方法和利用其的用于分析內(nèi)容在線流通情況的圖像匹配系統(tǒng)。
[000引技術(shù)方案
[0009] 根據(jù)示意性實(shí)施例的特征點(diǎn)提取裝置用于提取對(duì)圖像變化穩(wěn)健的特征點(diǎn)，且包 括:特征點(diǎn)提取單元，在圖像作為特征點(diǎn)候選位置提取邊角區(qū)域，在所述特征點(diǎn)候選位置提 取特征點(diǎn);及特征點(diǎn)后處理單元，生成所述提取的特征點(diǎn)的特征點(diǎn)描述符。
[0010] 所述特征點(diǎn)提取單元可W從所述圖像中計(jì)算在視窗移動(dòng)之前的視窗內(nèi)的像素值 的平均值與在視窗移動(dòng)之后的視窗內(nèi)的像素值的平均值的差異(平均值的變化），利用在所 述平均值的變化最大的方向上的平均值的變化量和在所述平均值的變化最小的方向上的 平均值的變化量決定所述邊角區(qū)域。
[0011] 所述特征點(diǎn)提取單元可W在所述平均值的變化最大的方向上的平均值的變化量 和在所述平均值的變化最小的方向上的平均值的變化量分別超過預(yù)先設(shè)定的闊值時(shí)，將在 所述圖像中的相當(dāng)領(lǐng)域決定為所述邊角區(qū)域。
[0012] 所述特征點(diǎn)提取單元可在所述圖像的尺寸相同的狀態(tài)下改變過濾器尺寸的 方式對(duì)所述圖像適用所述過濾器，從而提取特征點(diǎn)候選位置。
[0013] 所述特征點(diǎn)提取單元可W將具有實(shí)數(shù)系數(shù)的過濾器轉(zhuǎn)換成具有整數(shù)系數(shù)的正規(guī) 化過濾器，W改變所述正規(guī)化過濾器的尺寸的方式對(duì)所述圖像的重疊圖像適用所述過濾 器，從而提取特征點(diǎn)候選位置。
[0014] 通過對(duì)所述圖像適用具有第一尺寸的過濾器來檢測(cè)特征點(diǎn)候選位置時(shí)，所述特征 點(diǎn)提取單元在可W通過比較對(duì)所述圖像適用所述具有第一尺寸的過濾器的圖像與對(duì)所述 圖像適用具有小于所述第一尺寸的第二尺寸的過濾器的圖像及對(duì)所述圖像適用具有大于 所述第一尺寸的第Ξ尺寸的過濾器的圖像來，將所述檢測(cè)的特征點(diǎn)候選位置最終決定為特 征點(diǎn)候選位置。
[0015] 所述特征點(diǎn)后處理單元可W向預(yù)先設(shè)定的方向排列所述特征點(diǎn)的主要方向性，生 成包括所述特征點(diǎn)與所述特征點(diǎn)鄰近像素之間的關(guān)系信息的所述特征點(diǎn)描述符。
[0016] 所述特征點(diǎn)提取單元可在過濾器的尺寸相同的狀態(tài)下改變所述圖像的尺寸 的方式，對(duì)不同尺寸的各個(gè)圖像適用所述過濾器，從而提取特征點(diǎn)候選位置。
[0017] 在所述圖像為彩色圖像時(shí)，所述特征點(diǎn)提取裝置還可包括圖像預(yù)處理單元，該圖 像預(yù)處理單元對(duì)所述彩色圖像進(jìn)行光照補(bǔ)償。
[0018] 所述圖像預(yù)處理單元根據(jù)所述彩色圖像中的顏色通道的通道比率可W適應(yīng)性地 擴(kuò)展各個(gè)顏色通道的動(dòng)態(tài)范圍。
[0019] 所述圖像預(yù)處理單元可W對(duì)在所述彩色圖像中通道比率最高的顏色通道計(jì)算擴(kuò) 展參數(shù)(α)和移動(dòng)參數(shù)(0)，然后使各個(gè)顏色通道的像素?cái)U(kuò)展到所述擴(kuò)展參數(shù)(α)，且移動(dòng)到 所述移動(dòng)參數(shù)(β)。
[0020] 在所述圖像為彩色圖像時(shí)，所述特征點(diǎn)提取裝置還可包括圖像預(yù)處理單元，該圖 像預(yù)處理單元將所述圖像的空間從彩色空間轉(zhuǎn)換成黑白空間。
[0021] 所述特征點(diǎn)提取裝置還可包括圖像預(yù)處理單元，該圖像預(yù)處理單元將所述圖像正 規(guī)化為預(yù)先設(shè)定的尺寸。
[0022] 所述特征點(diǎn)提取裝置還可包括過濾單元，該過濾單元將所述圖像通過低通濾波器 過濾后傳遞給所述特征點(diǎn)提取單元，而且，所述過濾單元可W適用高頻補(bǔ)償過波法，使得在 所述圖像中保持所述邊角區(qū)域。
[0023] 所述特征點(diǎn)提取裝置還可包括特征點(diǎn)檢索單元，該特征點(diǎn)檢索單元在預(yù)先存儲(chǔ)的 特征點(diǎn)中檢索與第一特征點(diǎn)匹配的特征點(diǎn)。
[0024] 所述特征點(diǎn)檢索單元可W對(duì)所述第一特征點(diǎn)的特征點(diǎn)描述符與所述預(yù)先存儲(chǔ)的 特征點(diǎn)的各個(gè)特征點(diǎn)描述符進(jìn)行比較，在預(yù)先存儲(chǔ)的特征點(diǎn)中提取與所述第一特征點(diǎn)之間 的相似度大于或等于預(yù)先設(shè)定的闊值的特征點(diǎn)。
[0025] 所述特征點(diǎn)檢索單元可W通過下述數(shù)學(xué)式1驗(yàn)證所述提取的特征點(diǎn)是否與所述第 一特征點(diǎn)匹配：
[0026] (數(shù)學(xué)式1)
[0027]
[00%]式中，SSD(fl、f2)為與檢索請(qǐng)求特征點(diǎn)（fl)之間的相似度最高的特征點(diǎn)（f2)之間 的SSD(差值平方和，Sum of Squared Difference)，SSD(fl、f2'）為與檢索請(qǐng)求特征點(diǎn)（fl) 之間的相似度第二高的特征點(diǎn)（f2 '）之間的SSD。SSD(η、f2 '）為與檢索請(qǐng)求特征點(diǎn)（fl)之 間的相似度第二高的特征點(diǎn)(f 2 '）之間的SSD。
[0029] 根據(jù)示意性實(shí)施例的特征點(diǎn)提取方法用于提取對(duì)圖像變化穩(wěn)健的特征點(diǎn)，且包括 W下步驟:在特征點(diǎn)提取裝置，作為圖像的特征點(diǎn)候選位置提取邊角區(qū)域;及在所述特征點(diǎn) 提取裝置，生成在所述特征點(diǎn)候選位置提取的特征點(diǎn)的特征點(diǎn)描述符。
[0030] 提取所述特征點(diǎn)候選位置的步驟可W包括W下步驟:在所述特征點(diǎn)提取裝置，從 所述圖像中計(jì)算在視窗移動(dòng)之前的視窗內(nèi)的像素值的平均值與在視窗移動(dòng)之后的視窗內(nèi) 的像素值的平均值的差異(平均值的變化）；及在所述特征點(diǎn)提取裝置，利用在所述平均值 的變化最大的方向上的平均值的變化量和在所述平均值的變化最小的方向上的平均值的 變化量決定所述邊角區(qū)域。
[0031] 決定所述邊角區(qū)域的步驟可W包括W下步驟:在所述特征點(diǎn)提取裝置，在所述平 均值的變化最大的方向上的平均值的變化量和在所述平均值的變化最小的方向上的平均 值的變化量分別超過預(yù)先設(shè)定的闊值時(shí)，將在所述圖像中的相當(dāng)領(lǐng)域決定為所述邊角區(qū) 域。
[0032] 取所述特征點(diǎn)候選位置的步驟可W包括W下步驟:在所述特征點(diǎn)提取裝置，W在 所述圖像的尺寸相同的狀態(tài)下改變過濾器尺寸的方式對(duì)所述圖像適用所述過濾器，從而提 取特征點(diǎn)候選位置。
[0033] 提取所述特征點(diǎn)候選位置的步驟可W包括W下步驟:在所述特征點(diǎn)提取裝置，將 具有實(shí)數(shù)系數(shù)的過濾器轉(zhuǎn)換成具有整數(shù)系數(shù)的正規(guī)化過濾器;及在所述特征點(diǎn)提取裝置， W改變所述正規(guī)化過濾器的尺寸的方式對(duì)所述圖像的重疊圖像適用所述過濾器，從而提取 特征點(diǎn)候選位置。
[0034] 提取所述特征點(diǎn)候選位置的步驟可W包括W下步驟:在所述特征點(diǎn)提取裝置，通 過對(duì)所述圖像適用具有第一尺寸的過濾器來檢測(cè)特征點(diǎn)候選位置;及在所述特征點(diǎn)提取裝 置，通過比較對(duì)所述圖像適用所述具有第一尺寸的過濾器的圖像與對(duì)所述圖像適用具有小 于所述第一尺寸的第二尺寸的過濾器的圖像及對(duì)所述圖像適用具有大于所述第一尺寸的 第Ξ尺寸的過濾器的圖像來，將所述檢測(cè)的特征點(diǎn)候選位置最終決定為特征點(diǎn)候選位置。
[0035] 生成所述特征點(diǎn)描述符的步驟可W包括W下步驟:在所述特征點(diǎn)提取裝置，將所 述特征點(diǎn)的主要方向性設(shè)定為預(yù)先設(shè)定的方向，生成包括所述特征點(diǎn)與所述特征點(diǎn)鄰近像 素之間的關(guān)系信息的所述特征點(diǎn)描述符。
[0036] 在提取所述特征點(diǎn)候選位置的步驟中，在所述特征點(diǎn)提取裝置，可在過濾器 的尺寸相同的狀態(tài)下改變所述圖像的尺寸的方式，對(duì)不同尺寸的各個(gè)圖像適用所述過濾 器，從而提取特征點(diǎn)候選位置。
[0037] 在所述圖像為彩色圖像時(shí)，在提取所述特征點(diǎn)候選位置的步驟之前，還可包括W 下步驟:在所述特征點(diǎn)提取裝置，通過根據(jù)所述彩色圖像中的顏色通道的通道比率適應(yīng)性 地?cái)U(kuò)展各個(gè)顏色通道的動(dòng)態(tài)范圍來進(jìn)行光照補(bǔ)償。
[0038] 進(jìn)行所述光照補(bǔ)償處理的步驟可W包括W下步驟:在所述特征點(diǎn)提取裝置，對(duì)在 所述彩色圖像中通道比率最高的顏色通道計(jì)算擴(kuò)展參數(shù)(α)和移動(dòng)參數(shù)(β);及在所述特征 點(diǎn)提取裝置，使各個(gè)顏色通道的像素?cái)U(kuò)展到所述擴(kuò)展參數(shù)(〇)，且移動(dòng)到所述移動(dòng)參數(shù)(0)。
[0039] 在所述圖像為彩色圖像時(shí)，在提取所述特征點(diǎn)候選位置的步驟之前，還可包括W 下步驟:在所述特征點(diǎn)提取裝置，將所述圖像的空間從彩色空間轉(zhuǎn)換成黑白空間。
[0040] 在提取所述特征點(diǎn)候選位置的步驟之前，還可包括W下步驟:在所述特征點(diǎn)提取 裝置，將所述圖像正規(guī)化為預(yù)先設(shè)定的尺寸。
[0041] 在提取所述特征點(diǎn)候選位置的步驟之前，還可包括在所述特征點(diǎn)提取裝置，通過 低通濾波器對(duì)所述圖像進(jìn)行的過濾步驟，而且，所述過濾步驟可W包括適用高頻補(bǔ)償過波 法，使得在所述圖像中保持所述邊角區(qū)域的步驟。
[0042] 根據(jù)示意性實(shí)施例的用于分析內(nèi)容在線流通情況的圖像匹配系統(tǒng)包括:服務(wù)器計(jì) 算設(shè)備，在圖像作為特征點(diǎn)候選位置提取邊角區(qū)域，在所述特征點(diǎn)候選位置提取特征點(diǎn)，存 儲(chǔ)所述特征點(diǎn)；及用戶計(jì)算設(shè)備，發(fā)送包括從圖像或所述圖像中提取的特征點(diǎn)的圖像檢索 基本信息；其中，所述服務(wù)器計(jì)算設(shè)備在預(yù)先存儲(chǔ)的特征點(diǎn)中檢索與從所述圖像檢索基本 信息獲得的檢索請(qǐng)求特征點(diǎn)匹配的特征點(diǎn)，監(jiān)測(cè)與預(yù)先存儲(chǔ)的特征點(diǎn)對(duì)應(yīng)的圖像的檢索次 數(shù)。
[0043] 發(fā)明的效果
[0044] 根據(jù)示意性實(shí)施例，根據(jù)各個(gè)顏色通道的通道比率適應(yīng)性地?cái)U(kuò)展輸入圖像的動(dòng)態(tài) 范圍，進(jìn)行將輸入圖像從彩色圖像轉(zhuǎn)換成黑白空間的預(yù)處理，從而，能夠提取對(duì)光照變化穩(wěn) 健的特征點(diǎn)。并且，通過進(jìn)行將輸入圖像正規(guī)化為預(yù)先設(shè)定的尺寸的預(yù)處理，能夠適當(dāng)確保 從圖像中提取的特征點(diǎn)的個(gè)數(shù)，并去除不必要的特征點(diǎn)。而且，通過低通濾波器對(duì)輸入圖像 進(jìn)行過濾并適用高頻補(bǔ)償過波法，從而能夠去除輸入圖像中所存在的斑點(diǎn)或噪聲，同時(shí)，能 夠保持可用作特征點(diǎn)的部分。
[0045] 并且，在生成不同尺寸的視窗后，將各個(gè)視窗適用于輸入圖像，W提取特征點(diǎn)候選 位置，從而，能夠提取對(duì)于尺寸變化及視點(diǎn)變化等穩(wěn)健的特征點(diǎn)。此時(shí)，通過將具有整數(shù)系 數(shù)的正規(guī)化過濾器適用于輸入圖像的重疊圖像，即使過濾器(視窗）的尺寸變大，也能夠防 止計(jì)算量增加，且可W迅速進(jìn)行計(jì)算。并且，向預(yù)先設(shè)定的方向排列特征點(diǎn)的主要方向性， 生成特征點(diǎn)與特征點(diǎn)鄰近像素之間的關(guān)系信息，從而，即使圖像旋轉(zhuǎn)，也能夠在相當(dāng)圖像中 描述相同的特征點(diǎn)。
【附圖說明】
[0046] 圖1為示出根據(jù)示意性實(shí)施例的特征點(diǎn)提取裝置的結(jié)構(gòu)的附圖。
[0047] 圖2為示出對(duì)原圖像(彩色圖像)進(jìn)行光照補(bǔ)償處理的狀態(tài)的附圖。
[004引圖3為示出對(duì)原圖像(彩色圖像）的各個(gè)顏色通道進(jìn)行光照補(bǔ)償處理的狀態(tài)的直方 圖。
[0049] 圖4為示出根據(jù)本發(fā)明的示意性實(shí)施例的過濾單元的結(jié)構(gòu)的框圖。
[0050] 圖5為用于說明根據(jù)本發(fā)明的實(shí)施例的特征點(diǎn)候選位置區(qū)域的附圖。
[0051] 圖6為示出一般高斯二次微分系數(shù)用過濾器的附圖。
[0052] 圖7為示出將一般高斯二次微分系數(shù)用過濾器轉(zhuǎn)換成具有整數(shù)系數(shù)的正規(guī)化過濾 器的狀態(tài)的附圖。
[0053] 圖8為示出根據(jù)示意性實(shí)施例的特征點(diǎn)提取方法的流程圖。
[0054] 圖9為示出根據(jù)示意性實(shí)施例的基于特征點(diǎn)的圖像檢索系統(tǒng)的附圖。
[0055] 圖10為示出根據(jù)示意性實(shí)施例的服務(wù)器計(jì)算設(shè)備的結(jié)構(gòu)的框圖。
[0056] 圖11為示出根據(jù)示意性實(shí)施例的基于特征點(diǎn)的圖像檢索方法的流程圖。
[0057] 圖12為示出包括適合用于示意性實(shí)施例中的示意性計(jì)算設(shè)備的計(jì)算環(huán)境的附圖。 [0化引標(biāo)記說明
[0化9] 100:特征點(diǎn)提取裝置
[0060] 102:圖像預(yù)處理單元
[0061] 104:過濾單元
[0062] 106:特征點(diǎn)提取單元
[0063] 108:特征點(diǎn)后處理單元
[0064] 111:光照補(bǔ)償單元 [00化]113:空間轉(zhuǎn)換單元
[0066] 115:圖像尺寸正規(guī)化單元
[0067] 121:過濾器單元 [006引123:減法器
[0069] 125:高頻補(bǔ)償過波單元
[0070] 127:合計(jì)器
[0071] 131:第一轉(zhuǎn)換單元
[0072] 133:第二轉(zhuǎn)換單元
[0073] 135:乘法器
[0074] 137:逆轉(zhuǎn)換單元 [00巧]200:圖像檢索系統(tǒng)
[0076] 202、204:用戶計(jì)算設(shè)備
[0077] 206:服務(wù)器計(jì)算設(shè)備
[0078] 211:通信單元
[00巧]213:圖像注冊(cè)單元
[0080] 215:特征點(diǎn)提取器
[0081] 217:圖像檢索單元
[0082] 219:監(jiān)測(cè)單元
[0083] 221:數(shù)據(jù)庫
【具體實(shí)施方式】
[0084] W下，將參照附圖對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行描述。提供W下的詳細(xì)說明，W助 于對(duì)所記載的方法、裝置及/或系統(tǒng)的全面理解。然而，運(yùn)只不過是示例，并且本發(fā)明不限于 此。
[0085] 在對(duì)本發(fā)明進(jìn)行描述時(shí)，對(duì)與本發(fā)明相關(guān)的公知技術(shù)的具體描述被認(rèn)為會(huì)使本發(fā) 明的主旨不清楚的情況下，省略其詳細(xì)描述。并且，后述的術(shù)語作為考慮本發(fā)明中的功能而 定義的術(shù)語，可根據(jù)使用者、運(yùn)用者的意圖或者慣例等而不同。因此，其定義應(yīng)基于貫穿整 個(gè)本說明書的內(nèi)容而做出。詳細(xì)說明中所使用的術(shù)語僅為了描述本發(fā)明的實(shí)施例，而不是 意圖限制本發(fā)明。除非另外明確指出，否則單數(shù)形式也包括復(fù)數(shù)形式。在本說明中，諸如"包 含"或"包括"的術(shù)語旨在表示某個(gè)特征、數(shù)字、步驟、操作、元件、其中的一部分或者其組合， 但不應(yīng)被解釋為排除除此之外的一個(gè)或多個(gè)其它特征、數(shù)字、步驟、操作、元件、其中的一部 分或者其組合的存在或可能性。
[0086] 在下面的說明中，信號(hào)或信息的"傳送"、"通信"、"發(fā)送"、"接收"及其他類似的術(shù) 語，不僅表示信號(hào)或信息從一個(gè)構(gòu)件直接傳遞至其他構(gòu)件，而且還表示通過其他構(gòu)件傳遞。 尤其是，將信號(hào)或信息"傳送"或"發(fā)送"至一個(gè)構(gòu)件，是指其信號(hào)或信息的最終目的地，而非 直接目的地。運(yùn)在信號(hào)或信息的"接收"中也一樣。另外，在本說明書中，兩個(gè)W上的數(shù)據(jù)或 信息"相關(guān)"，是指若獲取一個(gè)數(shù)據(jù)(或信息），則可基于此獲取其他數(shù)據(jù)(或信息）的至少一 部分。
[0087] 并且，在本說明書中記載的"第Γ、"第2"等只是用于區(qū)分相互不同的構(gòu)成因素而 已，并不受限于制造的順序，在發(fā)明的詳細(xì)說明和權(quán)利要求書中其名稱可能不會(huì)一致。
[0088] 本發(fā)明的實(shí)施例包括從在圖像中提取特征點(diǎn)，基于所提取的特征點(diǎn)進(jìn)行圖像檢索 的技術(shù)。而且，其包括盡管圖像發(fā)生各種變化(例如，光照變化、尺寸變化、仿射(Affine)變 化、視點(diǎn)變化等)也能夠提取相同或類似的特征點(diǎn)的技術(shù)。即，其包括提取對(duì)圖像的變化穩(wěn) 健的特征點(diǎn)的技術(shù)。
[0089] 圖1為示出根據(jù)示意性實(shí)施例的特征點(diǎn)提取裝置的結(jié)構(gòu)的附圖。
[0090] 參照?qǐng)D1，特征點(diǎn)提取裝置100可W包括圖像預(yù)處理單元102、過濾單元104、特征點(diǎn) 提取單元106及特征點(diǎn)后處理單元108。
[0091] 圖像預(yù)處理單元102起對(duì)輸入的圖像下也稱為"原圖像"）進(jìn)行預(yù)處理的作用。 如果輸入圖像為彩色圖像，圖像預(yù)處理單元102可W進(jìn)行預(yù)處理操作，使得特征點(diǎn)提取單元 106提取對(duì)光照變化穩(wěn)健的特征點(diǎn)。圖像預(yù)處理單元102可W包括光照補(bǔ)償單元111、空間轉(zhuǎn) 換單元113及圖像尺寸正規(guī)化單元115。
[0092] 如果輸入到圖像預(yù)處理單元102的圖像為彩色圖像，光照補(bǔ)償單元111對(duì)輸入圖像 進(jìn)行光照補(bǔ)償處理操作。光照補(bǔ)償單元111可W在空間轉(zhuǎn)換單元113將原圖像從彩色空間轉(zhuǎn) 換成黑白空間之前通過光照補(bǔ)償對(duì)原圖像進(jìn)行預(yù)處理。
[0093] 光照補(bǔ)償單元111可W對(duì)原圖像中的每個(gè)顏色通道進(jìn)行直方圖分析，從而在保持 通道比率的狀態(tài)下擴(kuò)展各個(gè)通道的動(dòng)態(tài)范圍。即，光照補(bǔ)償單元111可W在原圖像中根據(jù)各 個(gè)顏色通道的通道比率適應(yīng)性地?cái)U(kuò)展各個(gè)通道的動(dòng)態(tài)范圍。關(guān)于光照補(bǔ)償單元111對(duì)原圖 像進(jìn)行光照補(bǔ)償處理的過程，參照?qǐng)D2及圖3W下將進(jìn)行詳細(xì)說明。
[0094] 圖2為示出對(duì)原圖像(彩色圖像)進(jìn)行光照補(bǔ)償處理的狀態(tài)的附圖，而圖3為示出對(duì) 原圖像(彩色圖像）的各個(gè)顏色通道進(jìn)行光照補(bǔ)償處理的狀態(tài)的直方圖。具體而言，圖2的 (a)為示出原圖像的附圖，而圖3的(a)為示出原圖像的每個(gè)顏色通道的像素值分布圖的直 方圖。圖2的(b)為示出對(duì)原圖像按每個(gè)顏色通道獨(dú)立地?cái)U(kuò)展動(dòng)態(tài)范圍的狀態(tài)的附圖，而圖3 的(b)為示出在使原圖像按每個(gè)顏色通道獨(dú)立地?cái)U(kuò)展動(dòng)態(tài)范圍時(shí)的每個(gè)顏色通道的像素值 分布圖的直方圖。圖2的山)為示出使原圖像根據(jù)各個(gè)顏色通道的通道比率適應(yīng)性地?cái)U(kuò)展動(dòng) 態(tài)范圍的狀態(tài)的附圖，而圖3的山)為示出在使原圖像根據(jù)各個(gè)顏色通道的通道比率適應(yīng)性 地?cái)U(kuò)展動(dòng)態(tài)范圍時(shí)的每個(gè)顏色通道的像素值分布圖的直方圖。
[00M]參照?qǐng)D2的(a)及圖3的(a),在原圖像的情況下，黃色或澄色類顏色較多，因此可確 定按R(紅）、G(綠）、B(藍(lán))的各個(gè)顏色通道的像素值不均勻分布于動(dòng)態(tài)范圍。如上，在每個(gè)顏 色通道的像素值不均勻分布于在動(dòng)態(tài)范圍時(shí)（即，每個(gè)顏色通道的像素值集中于預(yù)定范圍 時(shí)），限制從圖像中提取特征點(diǎn)，因此，需要擴(kuò)展每個(gè)顏色通道的動(dòng)態(tài)范圍。在此，動(dòng)態(tài)范圍 是指圖像的各個(gè)像素值分布的范圍，例如，動(dòng)態(tài)范圍可為0~255。
[0096] 參照?qǐng)D2的（b)及圖3的化），可見在對(duì)原圖像按每個(gè)顏色通道獨(dú)立地?cái)U(kuò)展動(dòng)態(tài)范圍 后，原圖像的色彩特征通過光照補(bǔ)償發(fā)生變化。即，可見在對(duì)原圖像的每個(gè)顏色通道獨(dú)立地 進(jìn)行轉(zhuǎn)換W便盡可能均勻分布于動(dòng)態(tài)范圍后，藍(lán)色類相對(duì)擴(kuò)展得多，從而原圖像變成了如 同稱色的照片一樣。
[0097] 參照?qǐng)D2的（C)及圖3的（C)，可見在對(duì)原圖像根據(jù)各個(gè)顏色通道的通道比率適應(yīng)性 地?cái)U(kuò)展動(dòng)態(tài)范圍后，保持著原圖像的色彩特征（即，保持著原圖像的各個(gè)顏色通道的通道比 率），每個(gè)顏色通道的像素值盡可能均勻分布于動(dòng)態(tài)范圍。
[0098] 如上，根據(jù)示意性實(shí)施例，為了保持原圖像的色彩特征并每個(gè)顏色通道的像素值 盡可能均勻分布于動(dòng)態(tài)范圍，光照補(bǔ)償單元111可W使原圖像根據(jù)各個(gè)顏色通道的通道比 率適應(yīng)性地?cái)U(kuò)展動(dòng)態(tài)范圍。
[0099] 光照補(bǔ)償單元111通過利用如下述數(shù)學(xué)式1所示的線性變換式來可W使原圖像根 據(jù)各個(gè)顏色通道的通道比率適應(yīng)性地?cái)U(kuò)展動(dòng)態(tài)范圍。
[0100] (數(shù)學(xué)式1)
[0101]
[0102] 式中，α為擴(kuò)展參數(shù)，是表示圖像的各個(gè)像素需要擴(kuò)展多少的參數(shù)。β為用于使圖像 像素值整體上移動(dòng)的移動(dòng)參數(shù)。μ表示圖像的平均像素值。σ表示圖像的像素值的標(biāo)準(zhǔn)偏差。
[0103] 在示意性實(shí)施例中，通過將128(即，動(dòng)態(tài)范圍的中屯、值)輸入到數(shù)學(xué)式1的Wdesired， 將80輸入到Odesired來可W求取擴(kuò)展參數(shù)α及移動(dòng)參數(shù)0。
[0104] 光照補(bǔ)償單元111可W通過在原圖像中選擇通道比率最高的顏色通道而計(jì)算所述 顏色通道的擴(kuò)展參數(shù)α和移動(dòng)參數(shù)β后將所述計(jì)算的擴(kuò)展參數(shù)α和移動(dòng)參數(shù)β適用到剩余顏 色通道來進(jìn)行光照補(bǔ)償處理。光照補(bǔ)償單元111可W通過使各個(gè)顏色通道的像素的像素值 擴(kuò)展到擴(kuò)展參數(shù)α且移動(dòng)到移動(dòng)參數(shù)β來進(jìn)行光照補(bǔ)償處理。
[0105] 如果輸入到圖像預(yù)處理單元102的圖像為彩色圖像，空間轉(zhuǎn)換單元113進(jìn)行將原圖 像的空間從彩色空間（例如，RGB顏色、CMYK顏色、Υ化化顏色、YUV顏色等)轉(zhuǎn)換成黑白空間的 操作?？臻g轉(zhuǎn)換單元113可W將在光照補(bǔ)償單元111經(jīng)過光照補(bǔ)償處理的彩色圖像的空間從 彩色空間轉(zhuǎn)換成黑白空間。
[0106] 具體而言，即使攝影相同的對(duì)象、地點(diǎn)或人物，也根據(jù)光照變化而攝影圖像的色彩 信息有相當(dāng)部分會(huì)被歪曲。例如，即使攝影相同的對(duì)象、地點(diǎn)或人物，也根據(jù)如晴天、陰天、 暗天，夜間等攝影環(huán)境而攝影圖像的色感差會(huì)顯著出現(xiàn)。并且，如果用戶通過Photoshop等 對(duì)攝影圖像進(jìn)行圖像處理而發(fā)生光照變化，攝影圖像的色彩信息會(huì)被歪曲。
[0107] 對(duì)此，空間轉(zhuǎn)換單元113通過將原圖像的空間從彩色空間轉(zhuǎn)換成黑白空間來可W 使在特征點(diǎn)提取單元106提取對(duì)光照變化穩(wěn)健的特征點(diǎn)。
[0108] 圖像尺寸正規(guī)化單元115進(jìn)行將輸入到圖像預(yù)處理單元102的圖像正規(guī)化為預(yù)先 設(shè)定的尺寸的操作。如果輸入到圖像預(yù)處理單元102的圖像為彩色圖像，圖像尺寸正規(guī)化單 元115就可W將在空間轉(zhuǎn)換單元113轉(zhuǎn)換成黑白空間的圖像正規(guī)化為預(yù)先設(shè)定的尺寸。如果 輸入到圖像預(yù)處理單元102的圖像的尺寸小于預(yù)先設(shè)定的尺寸，圖像尺寸正規(guī)化單元115就 可W將輸入圖像擴(kuò)大為預(yù)先設(shè)定的尺寸。如果輸入到圖像預(yù)處理單元102的圖像的尺寸大 于預(yù)先設(shè)定的尺寸，圖像尺寸正規(guī)化單元115就可W將輸入圖像縮小為預(yù)先設(shè)定的尺寸。
[0109] 通過將輸入到圖像預(yù)處理單元102的圖像正規(guī)化為預(yù)先設(shè)定的尺寸，可W適當(dāng)確 保從圖像中提取的特征點(diǎn)的個(gè)數(shù)并去除不必要的特征點(diǎn)。即，通過將輸入圖像正規(guī)化為預(yù) 先設(shè)定的尺寸，可W提取圖像的主要特征點(diǎn)并有效地去除圖像中除了主要特征點(diǎn)之外的剩 余特征點(diǎn)。在此情況下，在特征點(diǎn)之間的匹配步驟中能夠使特征點(diǎn)之間的匹配的可靠性保 持一定水平，并提高特征點(diǎn)之間的匹配速度。
[0110] 過濾單元104可W對(duì)輸入圖像進(jìn)行過濾。過濾單元104可W過濾在圖像預(yù)處理單元 102進(jìn)行預(yù)處理的圖像。過濾單元104通過對(duì)預(yù)處理的圖像進(jìn)行過濾來可W去除預(yù)處理的圖 像中所存在的斑點(diǎn)或嗓音。為此，過濾單元104可W通過基于傅立葉的低通濾波器對(duì)預(yù)處理 的圖像進(jìn)行過濾。但，為了防止去除預(yù)處理的圖像中可W用作特征點(diǎn)的區(qū)域，過濾單元104 可W適用高頻補(bǔ)償過波法。
[0111] 圖4為示出本發(fā)明的根據(jù)示意性實(shí)施例的過濾單元的結(jié)構(gòu)的框圖。參照?qǐng)D4,過濾 單元104可W包括過濾器單元121、減法器123、高頻補(bǔ)償過波單元125及合計(jì)器127。
[0112] 過濾器單元121可W包括:第一轉(zhuǎn)換單元131，將輸入圖像從空間區(qū)域轉(zhuǎn)換成頻率 區(qū)域;第二轉(zhuǎn)換單元133,將低通濾波器從空間區(qū)域轉(zhuǎn)換成頻率區(qū)域;乘法器135,將分別轉(zhuǎn) 換成頻率區(qū)域的輸入圖像與低通濾波器進(jìn)行相乘;及逆轉(zhuǎn)換單元137,將從乘法器135輸出 的圖像從頻率區(qū)域逆轉(zhuǎn)換成空間區(qū)域。在此，第一轉(zhuǎn)換單元131和第二轉(zhuǎn)換單元133可W使 用FFT(快速傅里葉變換，F(xiàn)ast Fourier Transform)。逆轉(zhuǎn)換單元137可W使用IFT(傅立葉 反變換，Inverse Fourier Transform)。如上，通過將輸入圖像和低通濾波器從空間區(qū)域轉(zhuǎn) 換成頻率區(qū)域后再進(jìn)行逆轉(zhuǎn)換，可W得到與在輸入圖像中將低通濾波器窗口 W每個(gè)窗口相 對(duì)前一個(gè)窗口滑動(dòng)一個(gè)像素的方式滑動(dòng)來計(jì)算（即，進(jìn)行卷積計(jì)算)相同或類似的結(jié)果，從 而降低計(jì)算量。
[0113] 減法器123對(duì)在輸入圖像中通過過濾器單元121過濾的圖像進(jìn)行減算。高頻補(bǔ)償過 波單元125起在從減法器123輸出的圖像中保持高頻成分（即，不是嗓聲而是可W用作特征 點(diǎn)的區(qū)域)的作用。從而，能夠通過低通濾波器去除嗓聲等并保持可W用作特征點(diǎn)的部分。 由于高頻補(bǔ)償過波法是公知的技術(shù)，因此省略其詳細(xì)說明。合計(jì)器127對(duì)在過濾器單元121 過濾的圖像與從高頻補(bǔ)償過波單元125輸出的圖像進(jìn)行相加。
[0114] 特征點(diǎn)提取單元106在輸入圖像中提取特征點(diǎn)。特征點(diǎn)提取單元106可W在從過濾 單元104(或圖像預(yù)處理單元102)輸入的圖像中提取特征點(diǎn)。為了提取對(duì)圖像變化(例如，旋 轉(zhuǎn)及移動(dòng)變化等)穩(wěn)健的特征點(diǎn)，特征點(diǎn)提取單元106可W在輸入圖像中作為特征點(diǎn)候選位 置提取邊角區(qū)域。
[0115] 圖5為用于說明根據(jù)本發(fā)明的實(shí)施例的特征點(diǎn)候選位置區(qū)域的附圖。參照?qǐng)D5的 (a )，在圖像中特定尺寸的視窗10所處的區(qū)域向各個(gè)方向細(xì)微地移動(dòng)視窗10時(shí)，在所有方向 上都不發(fā)生像素值的變化。運(yùn)些區(qū)域稱為平坦區(qū)域。
[0116] 參照?qǐng)D5的（b )，在視窗10所處的區(qū)域向各個(gè)方向細(xì)微地移動(dòng)視窗10時(shí)，在上下方 向上不發(fā)生像素值的變化。運(yùn)些區(qū)域稱為邊緣區(qū)域。在此，邊緣區(qū)域不僅包括上下方向而且 包括在至少一個(gè)方向上不發(fā)生像素值的變化的區(qū)域。
[0117] 參照?qǐng)D5的（c)，在視窗10所處的區(qū)域向各個(gè)方向細(xì)微地移動(dòng)視窗10時(shí)，在所有方 向上都發(fā)生像素值的變化。運(yùn)些區(qū)域稱為邊角區(qū)域。在示意性實(shí)施例中，特征點(diǎn)提取單元 106可W將所述邊角區(qū)域決定為特征點(diǎn)候選位置。
[0118] 特征點(diǎn)提取單元106可W從圖像中計(jì)算在視窗移動(dòng)之前的視窗內(nèi)的像素值的平均 值與在視窗移動(dòng)之后的視窗內(nèi)的像素值的平均值的差異下也稱為"平均值的變化"）。其 次，特征點(diǎn)提取單元106可W計(jì)算在平均值的變化最大的方向（X+)和平均值的變化最大的 方向上的平均值的變化量(λ+)。并且，特征點(diǎn)提取單元106可W計(jì)算在平均值的變化最小的 方向（Χ-)及平均值的變化最小的方向上的平均值的變化量(λ-)。特征點(diǎn)提取單元106可W 利用在平均值的變化最大的方向上的平均值的變化量(λ+)和在平均值的變化最小的方向 上的平均值的變化量(λ-)來在輸入圖像中能夠區(qū)分平坦區(qū)域、邊緣區(qū)域及邊角區(qū)域。
[0119] 具體而言，如果在平均值的變化最大的方向上的平均值的變化量(λ+)和在平均值 的變化最小的方向上的平均值的變化量(λ-)沒有差異或差異很?。矗?Νλ-)，特征點(diǎn)提 取單元106就可W將相當(dāng)領(lǐng)域決定為平坦區(qū)域。并且，如果在平均值的變化最大的方向上的 平均值的變化量(λ+)和在平均值的變化最小的方向上的平均值的變化量(λ-)之間的差異 較大（即，λ+》λ-)，特征點(diǎn)提取單元106就可W將相當(dāng)領(lǐng)域決定為邊緣區(qū)域。另外，如果在平 均值的變化最大的方向上的平均值的變化量(λ+)和在平均值的變化最小的方向上的平均 值的變化量(λ-)都超過預(yù)先設(shè)定的闊值，特征點(diǎn)提取單元106就可W將相當(dāng)領(lǐng)域決定為邊 角區(qū)域。
[0120] 并且，為了提取對(duì)圖像的變化穩(wěn)健的特征點(diǎn)，特征點(diǎn)提取單元106可W通過在生成 不同尺寸的輸入圖像后適用相同尺寸的視窗來提取特征點(diǎn)候選位置?；蛘?，特征點(diǎn)提取單 元106可W通過在生成不同尺寸的視窗后對(duì)輸入圖像適用各個(gè)視窗來提取特征點(diǎn)候選位 置。即，根據(jù)圖像的尺寸，通過相同尺寸的視窗查看圖像中所存在的對(duì)象時(shí)的對(duì)象的曲率會(huì) 不同。并且，根據(jù)視窗的尺寸，在相當(dāng)圖像中所存在的對(duì)象的曲率會(huì)不同。因此，為了提取對(duì) 如尺寸變化和視點(diǎn)變化等圖像的變化穩(wěn)健的特征點(diǎn)，特征點(diǎn)提取單元106可W通過在生成 不同尺寸的輸入圖像后適用相同尺寸的視窗來提取特征點(diǎn)候選位置或在生成不同尺寸的 視窗后對(duì)輸入圖像適用各個(gè)視窗來提取特征點(diǎn)候選位置。通過判斷所提取的特征點(diǎn)候選位 置是否位于在輸入圖像中相同的位置來可W提取最終特征點(diǎn)候選位置。
[0121] 在此，對(duì)改變視窗的尺寸并將不同尺寸的視窗適用到各個(gè)輸入圖像的方法進(jìn)行說 明。此時(shí)，視窗可W采用高斯過濾器或拉普拉斯過濾器等。然而，一般高斯過濾器或拉普拉 斯過濾器具有實(shí)數(shù)系數(shù)，因此過濾器的尺寸越大，其計(jì)算量指數(shù)性地增加。對(duì)此，特征點(diǎn)提 取單元106通過將提取特征點(diǎn)候選位置時(shí)所用的過濾器(視窗)轉(zhuǎn)換成具有整數(shù)系數(shù)的正規(guī) 化過濾器后使用，即使過濾器的尺寸變大，也可W防止計(jì)算量增加。
[0122] 圖6為示出一般高斯二次微分系數(shù)用過濾器的附圖。在此，為了方便說明，僅示出 了對(duì)X方向和ΧΥ方向的過濾器。參照?qǐng)D8,作為過濾器采用的一般高斯過濾器對(duì)各個(gè)像素具 有不同的實(shí)數(shù)系數(shù)，因此需要大量的計(jì)算量。在此，顏色越明亮，具有+實(shí)數(shù)系數(shù)，而顏色越 暗，具有-實(shí)數(shù)系數(shù)。
[0123] 圖7為示出將一般高斯二次微分系數(shù)用過濾器轉(zhuǎn)換成具有整數(shù)系數(shù)的正規(guī)化過濾 器的狀態(tài)的附圖。在此，為了方便說明，僅示出了對(duì)X方向和ΧΥ方向的過濾器。參照?qǐng)D7,改良 高斯過濾器的具有整數(shù)系數(shù)的正規(guī)化過濾器可為將在一般高斯二次微分系數(shù)用過濾器具 有+實(shí)數(shù)系數(shù)的預(yù)定區(qū)域正規(guī)化為+整數(shù)系數(shù)區(qū)域，而將具有-實(shí)數(shù)系數(shù)的預(yù)定區(qū)域正規(guī)化 為-整數(shù)系數(shù)區(qū)域的過濾器。在此，即使過濾器的尺寸變化，具有整數(shù)系數(shù)的正規(guī)化過濾器 也可W被調(diào)節(jié)為使得+整數(shù)系數(shù)區(qū)域和-整數(shù)系數(shù)區(qū)域的比率相同。本領(lǐng)域的技術(shù)人員可對(duì) +整數(shù)系數(shù)區(qū)域和-整數(shù)系數(shù)區(qū)域的整數(shù)值加 W適當(dāng)修改。
[0124] 特征點(diǎn)提取單元106可W在求取輸入圖像的重疊圖像后通過將具有整數(shù)系數(shù)的正 規(guī)化過濾器適用于重疊圖像來提取特征點(diǎn)候選位置。重疊圖像是被設(shè)置成使得與輸入圖像 相對(duì)應(yīng)的像素的像素值具有從輸入圖像到相當(dāng)像素的各個(gè)像素的像素值的總和值的圖像。 如果利用運(yùn)些重疊圖像，就可W有效地計(jì)算在輸入圖像中的預(yù)定區(qū)域的面積。并且，通過使 用具有整數(shù)系數(shù)的正規(guī)化的過濾器，即使增加過濾器的尺寸并將各種過濾器適用于重疊圖 像，也可W防止計(jì)算量增加。即，不受過濾器尺寸的影響，可W進(jìn)行迅速計(jì)算。
[0125] 具體而言，如果在具有整數(shù)系數(shù)的正規(guī)化過濾器中將對(duì)X方向的過濾器適用于重 疊圖像，利用+整數(shù)系數(shù)區(qū)域(兩個(gè)區(qū)域)和-整數(shù)系數(shù)區(qū)域(一個(gè)區(qū)域)的面積值來可W求得 相當(dāng)過濾值。例如，將兩個(gè)+整數(shù)系數(shù)區(qū)域的面積值分別乘W1，將-整數(shù)系數(shù)區(qū)域的面積值 乘W -2，從而可W求得出相當(dāng)過濾值。并且，如果在具有整數(shù)系數(shù)的正規(guī)化過濾器中將對(duì)XY 方向的過濾器適用于重疊圖像，利用+整數(shù)系數(shù)區(qū)域(兩個(gè)區(qū)域)和-整數(shù)系數(shù)區(qū)域(兩個(gè)區(qū) 域)的面積值來可W求得相當(dāng)過濾值。例如，將兩個(gè)+整數(shù)系數(shù)區(qū)域的面積值分別乘W1，將 兩個(gè)-整數(shù)系數(shù)區(qū)域的面積值乘W-1，從而可W求得出相當(dāng)過濾值。
[0126] 在此，為了提取對(duì)尺寸變化穩(wěn)健的特征點(diǎn)，在W改變視窗(過濾器）的尺寸的方式 適用于輸入圖像時(shí)，作為相當(dāng)過濾器使用具有整數(shù)系數(shù)的正規(guī)化過濾器的情況為例進(jìn)行說 明，但不限于此，在生成不同尺寸的輸入圖像后適用相同尺寸的視窗（過濾器)時(shí)也可W使 用所述具有整數(shù)系數(shù)的正規(guī)化過濾器。
[0127] 為了提取對(duì)尺寸變化和視點(diǎn)變化等穩(wěn)健的特征點(diǎn)，在輸入圖像的尺寸相同的狀態(tài) 下改變過濾器(例如，具有整數(shù)系數(shù)的正規(guī)化過濾器)的尺寸時(shí)，特征點(diǎn)提取單元106通過對(duì) 適用目前尺寸的過濾器(第一過濾器）（例如，9X9尺寸的過濾器）的圖像和適用比目前的過 濾器尺寸小一個(gè)尺寸的過濾器(第二過濾器）（例如，7 X 7尺寸的過濾器）的圖像及適用比目 前的過濾器尺寸大一個(gè)尺寸的過濾器(第Ξ過濾器）（例如，12 X 12尺寸的過濾器）的圖像進(jìn) 行比較來可W最終決定特征點(diǎn)候選位置。
[01%]具體而言，特征點(diǎn)提取單元106可W通過對(duì)輸入圖像適用9X9尺寸的第一過濾器 來在輸入圖像中檢測(cè)特征點(diǎn)候選位置。此時(shí)，特征點(diǎn)提取單元106可W在將第一過濾器適用 于輸入圖像的圖像下也稱為"第一過濾器適用圖像"）中確定特征點(diǎn)候選位置的位置。第 一過濾器適用圖像可為對(duì)將第一過濾器的X方向過濾器適用于輸入圖像的圖像、將第一過 濾器的Y方向過濾器適用于輸入圖像的圖像及將第一過濾器的XY方向過濾器適用于輸入圖 像的圖像進(jìn)行合計(jì)的圖像。由于輸入圖像的尺寸相同，在第一過濾器適用圖像中特征點(diǎn)候 選位置的位置與在輸入圖像中的相當(dāng)位置一致。
[0129]其次，特征點(diǎn)提取單元106可W對(duì)第一過濾器適用圖像的特征點(diǎn)候選位置的值與 將7X7尺寸的第二過濾器適用于輸入圖像的圖像下也稱為"第二過濾器適用圖像"）及 將12X12尺寸的第Ξ過濾器適用于輸入圖像的圖像下也稱為"第Ξ過濾器適用圖像"） 的與所述特征點(diǎn)候選位置對(duì)應(yīng)的位置的值進(jìn)行比較。在此，如果第一過濾器適用圖像的特 征點(diǎn)候選位置的值和在第二過濾器適用圖像及第Ξ過濾器適用圖像中與所述特征點(diǎn)候選 位置對(duì)應(yīng)的位置的值的差異大于或等于預(yù)先設(shè)定的闊值，特征點(diǎn)提取單元106可W作為最 終特征點(diǎn)候選位置決定相當(dāng)特征點(diǎn)候選位置。特征點(diǎn)提取單元106可W從特征點(diǎn)候選位置 提取特征點(diǎn)。
[0130] 如上，在輸入圖像的尺寸相同的狀態(tài)下，W改變過濾器的尺寸的方式提取特征點(diǎn) 候選位置時(shí)，如果通過對(duì)適用目前尺寸的過濾器的圖像(第一過濾器適用圖像)和適用比目 前的過濾器尺寸小一個(gè)尺寸的過濾器的圖像(第二過濾器適用圖像)及適用比目前的過濾 器尺寸大一個(gè)尺寸的過濾器的圖像(第Ξ過濾器適用圖像)進(jìn)行比較來提取特征點(diǎn)候選位 置，就可W確定為了能提取特征點(diǎn)候選位置對(duì)相當(dāng)輸入圖像適用什么尺寸的過濾器。
[0131] 特征點(diǎn)后處理單元108可W對(duì)特征點(diǎn)提取單元106提取的特征點(diǎn)信息進(jìn)行校正處 理。為了對(duì)旋轉(zhuǎn)變化穩(wěn)健的特征點(diǎn)，特征點(diǎn)后處理單元108可W對(duì)特征點(diǎn)提取單元106提取 的特征點(diǎn)信息進(jìn)行校正處理。特征點(diǎn)后處理單元108可W包括描述符。描述符起生成特征點(diǎn) 描述符的作用。特征點(diǎn)描述符包括用于說明特征點(diǎn)的信息。例如，特征點(diǎn)描述符可W包括特 征點(diǎn)的主要方向性，特征點(diǎn)的在主要方向上的尺寸及特征點(diǎn)與特征點(diǎn)鄰近像素之間的關(guān)系 ?目息等。
[0132] 特征點(diǎn)后處理單元108可W計(jì)算特征點(diǎn)提取單元106提取的特征點(diǎn)的主要方向性 及特征點(diǎn)的在主要方向上的尺寸。在此，在特征點(diǎn)從第一過濾器適用圖像被提取時(shí)，特征點(diǎn) 后處理單元108可W利用第二過濾器適用圖像和第Ξ過濾器適用圖像來計(jì)算特征點(diǎn)的主要 方向性及特征點(diǎn)的在主要方向上的尺寸。具體而言，特征點(diǎn)后處理單元108可W通過將在第 一過濾器適用圖像中特征點(diǎn)和與特征點(diǎn)鄰近的區(qū)域下也稱為"特征點(diǎn)有關(guān)區(qū)域"）的像 素值和在第二過濾器適用圖像及第Ξ過濾器適用圖像中與所述特征點(diǎn)有關(guān)區(qū)域?qū)?yīng)的區(qū) 域的像素值表示在Ξ維坐標(biāo)系上后，W相當(dāng)特征點(diǎn)為基準(zhǔn)合計(jì)各個(gè)像素值的向量來計(jì)算相 當(dāng)特征點(diǎn)的主要方向性及特征點(diǎn)的在主要方向上的尺寸。特征點(diǎn)的主要方向性可W包括傾 斜度和角度。
[0133] 如上，在特征點(diǎn)從第一過濾器適用圖像被提取時(shí)，通過利用第二過濾器適用圖像 和第Ξ過濾器適用圖像來計(jì)算特征點(diǎn)的主要方向性，從而可W立體(Ξ維）顯示特征點(diǎn)的主 要方向性。但，其不限于此，也可W通過第一過濾器適用圖像的特征點(diǎn)有關(guān)區(qū)域計(jì)算而平面 (二維)顯示特征點(diǎn)的主要方向性。
[0134] 特征點(diǎn)后處理單元108可W通過描述符向預(yù)先設(shè)定的方向排列特征點(diǎn)的主要方向 性來進(jìn)行描述。此時(shí)，描述符可W生成特征點(diǎn)與特征點(diǎn)鄰近像素之間的關(guān)系信息（例如，特 征點(diǎn)之間的位置和距離等）。通過向預(yù)先設(shè)定的方向排列特征點(diǎn)的主要方向性，生成特征點(diǎn) 與特征點(diǎn)鄰近像素之間的關(guān)系信息，即使圖像旋轉(zhuǎn)也可W在相當(dāng)圖像中描述相同的特征 點(diǎn)。即，即使圖像旋轉(zhuǎn)，也向預(yù)先設(shè)定的方向排列特征點(diǎn)的主要方向性，且通過所述關(guān)系信 息確定特征點(diǎn)與特征點(diǎn)鄰近像素之間的關(guān)系，從而可W描述相當(dāng)特征點(diǎn)，因此，可W生成對(duì) 旋轉(zhuǎn)變化穩(wěn)健的特征點(diǎn)描述符。
[0135] 另一方面，在此對(duì)特征點(diǎn)提取單元106和特征點(diǎn)后處理單元108相互分離的結(jié)構(gòu)進(jìn) 行說明，但不限于此，特征點(diǎn)后處理單元108可W包括于特征點(diǎn)提取單元106。并且，雖然在 此未示出，特征點(diǎn)提取裝置100還可包括特征點(diǎn)檢索單元。特征點(diǎn)檢索單元（圖中未示出）可 W在預(yù)先存儲(chǔ)的特征點(diǎn)中檢索與第一特征點(diǎn)匹配的特征點(diǎn)。預(yù)先存儲(chǔ)的特征點(diǎn)可W存儲(chǔ)在 特征點(diǎn)提取裝置100的內(nèi)部，也可W存儲(chǔ)在特征點(diǎn)提取裝置100的外部。在下述的圖像檢索 系統(tǒng)對(duì)與特征點(diǎn)檢索有關(guān)的內(nèi)容進(jìn)行具體說明。
[0136] 根據(jù)示意性實(shí)施例，通過對(duì)輸入圖像根據(jù)各個(gè)顏色通道的通道比率適應(yīng)性地?cái)U(kuò)展 各個(gè)顏色通道的動(dòng)態(tài)范圍，進(jìn)行將輸入圖像從彩色圖像轉(zhuǎn)換成黑白空間的預(yù)處理，可W提 取對(duì)光照變化穩(wěn)健的特征點(diǎn)。并且，通過進(jìn)行將輸入圖像正規(guī)化為預(yù)先設(shè)定的尺寸的預(yù)處 理來可W適當(dāng)確保從圖像中提取的特征點(diǎn)的個(gè)數(shù)并去除不必要的特征點(diǎn)。并且，通過低通 濾波器對(duì)輸入圖像進(jìn)行過濾并適用高頻補(bǔ)償過波法，從而能夠去除在輸入圖像中所存在的 斑點(diǎn)或噪聲并保持可W用作特征點(diǎn)的部分。
[0137] 并且，通過在生成不同尺寸的視窗后對(duì)輸入圖像適用各個(gè)視窗來提取特征點(diǎn)候選 位置，從而可W提取對(duì)尺寸變化和視點(diǎn)變化等穩(wěn)健的特征點(diǎn)。此時(shí)，通過將具有整數(shù)系數(shù)的 正規(guī)化過濾器適用于輸入圖像的重疊圖像，即使過濾器(視窗）的尺寸變大，也可W防止計(jì) 算量增加，且能夠迅速地計(jì)算。而且，通過向預(yù)先設(shè)定的方向排列特征點(diǎn)的主要方向性，生 成特征點(diǎn)與特征點(diǎn)鄰近像素之間的關(guān)系信息來，即使圖像旋轉(zhuǎn)也可W在相當(dāng)圖像中描述相 同的特征點(diǎn)。
[0138] 圖8為示出根據(jù)示意性實(shí)施例的特征點(diǎn)提取方法的流程圖。在示出的流程圖中，通 過分成多個(gè)步驟來對(duì)所述方法進(jìn)行說明，但，至少部分步驟可W調(diào)換順序進(jìn)行，或與其他步 驟結(jié)合進(jìn)行，或省略，或分成具體步驟來進(jìn)行，或附加圖中未示出的至少一個(gè)步驟來進(jìn)行。 并且，根據(jù)實(shí)施例，可W同時(shí)進(jìn)行在所述方法中未顯示的至少一個(gè)步驟與所述方法。
[0139] 參照?qǐng)D8,圖像預(yù)處理單元102確定原圖像是否為彩色圖像(S101).作為結(jié)果步驟 S101的確定結(jié)果，如果原圖像是彩色圖像，圖像預(yù)處理單元102就對(duì)原圖像進(jìn)行光照補(bǔ)償處 理（S103)。圖像預(yù)處理單元102可W在原圖像中根據(jù)各個(gè)顏色通道的通道比率適應(yīng)性地?cái)U(kuò) 展各個(gè)通道的動(dòng)態(tài)范圍。具體而言，圖像預(yù)處理單元102通過在原圖像中選擇通道比率最高 的顏色通道且計(jì)算所述顏色通道的擴(kuò)展參數(shù)α和移動(dòng)參數(shù)β，使剩余的各個(gè)顏色通道的像素 的像素值擴(kuò)展到擴(kuò)展參數(shù)α，且移動(dòng)到移動(dòng)參數(shù)0，從而，可W根據(jù)各個(gè)顏色通道的通道比率 適應(yīng)性地?cái)U(kuò)展各個(gè)通道的動(dòng)態(tài)范圍。
[0140] 其次，圖像預(yù)處理單元102將光照補(bǔ)償處理的彩色圖像的空間從彩色空間轉(zhuǎn)換成 黑白空間（S105)。從而，可W提取對(duì)光照變化穩(wěn)健的特征點(diǎn)。
[0141] 接下來，圖像預(yù)處理單元102將轉(zhuǎn)換成黑白空間的圖像正規(guī)化為預(yù)先設(shè)定的尺寸 (S107)。圖像預(yù)處理單元102可W通過擴(kuò)大或縮小轉(zhuǎn)換成黑白空間的圖像來將所述圖像正 規(guī)化為預(yù)先設(shè)定的尺寸。從而，可W適當(dāng)確保從圖像中提取的特征點(diǎn)的個(gè)數(shù)并去除不必要 的特征點(diǎn)。
[0142] 作為步驟S101的確定結(jié)果，如果原圖像不是彩色圖像（即，如果原圖像是黑白圖 像），圖像預(yù)處理單元102可W將原圖像正規(guī)化為預(yù)先設(shè)定的尺寸。
[0143] 其次，過濾單元104對(duì)在圖像預(yù)處理單元102預(yù)處理的圖像進(jìn)行過濾（S109)。過濾 單元104可W通過低通濾波器對(duì)預(yù)處理的圖像進(jìn)行過濾。但，為了防止去除在預(yù)處理的圖像 中可W用作特征點(diǎn)的區(qū)域，可W適用高頻補(bǔ)償過波法。
[0144] 接下來，特征點(diǎn)提取單元106在輸入圖像中檢測(cè)特征點(diǎn)候選位置(Sill)。特征點(diǎn)提 取單元106可W在輸入圖像中使邊角區(qū)域檢測(cè)為特征點(diǎn)候選位置。通過下述方法可W決定 在輸入圖像中哪一區(qū)域是邊角區(qū)域。首先，特征點(diǎn)提取單元106可W在輸入圖像中計(jì)算在視 窗移動(dòng)之前的視窗內(nèi)的像素值的平均值和在視窗移動(dòng)后的視窗內(nèi)的像素值的平均值的差 異（W下也稱為"平均值的變化"）。其次，特征點(diǎn)提取單元106可W計(jì)算平均值的變化最大的 方向（X+)及平均值的變化最大的方向上的平均值的變化量(λ+)。并且，特征點(diǎn)提取單元106 可W計(jì)算平均值的變化最小的方向（Χ-)和平均值的變化最小的方向上的平均值的變化量 (λ-)。接下來，特征點(diǎn)提取單元106可W通過利用平均值的變化最大的方向上的平均值的變 化量(λ+)和平均值的變化最小的方向上的平均值的變化量(λ-)來在輸入圖像中檢測(cè)邊角 區(qū)域。此時(shí)，如果平均值的變化最大的方向上的平均值的變化量(λ+)和平均值的變化最小 的方向上的平均值的變化量(λ-)都超過預(yù)先設(shè)定的闊值，特征點(diǎn)提取單元106就可W將相 當(dāng)領(lǐng)域決定為邊角區(qū)域。
[0145] 在輸入圖像中檢測(cè)特征點(diǎn)候選位置時(shí)，為了提取對(duì)尺寸變化和視點(diǎn)變化等穩(wěn)健的 特征點(diǎn)，特征點(diǎn)提取單元106可W在輸入圖像的尺寸相同的狀態(tài)下，W改變視窗(過濾器)的 尺寸的方式對(duì)輸入圖像適用視窗?；蛘?，可改變輸入圖像的尺寸的方式對(duì)各個(gè)輸入圖 像適用相同尺寸的視窗(過濾器）。特征點(diǎn)提取單元106可W在特征點(diǎn)候選位置提取特征點(diǎn)。
[0146] 其次，特征點(diǎn)后處理單元108通過對(duì)在特征點(diǎn)提取單元106提取的特征點(diǎn)進(jìn)行校正 處理來生成特征點(diǎn)描述符(S113)。具體而言，特征點(diǎn)后處理單元108可W計(jì)算特征點(diǎn)的主要 方向性及特征點(diǎn)的在主要方向上的尺寸。接下來，特征點(diǎn)后處理單元108可W向預(yù)先設(shè)定的 方向排列特征點(diǎn)的主要方向性，生成包括特征點(diǎn)與特征點(diǎn)鄰近像素之間的關(guān)系信息的特征 點(diǎn)描述符。由此，即使圖像旋轉(zhuǎn)，也可W在相當(dāng)圖像中描述相同的特征點(diǎn)。
[0147] 圖9為示出根據(jù)示意性實(shí)施例的基于特征點(diǎn)的圖像檢索系統(tǒng)的附圖。
[0148] 參照?qǐng)D9,圖像檢索系統(tǒng)200包括至少一個(gè)用戶計(jì)算設(shè)備(例如，圖9中示出的用戶 計(jì)算設(shè)備202、204)及至少一個(gè)服務(wù)器計(jì)算設(shè)備(例如，圖9中示出的服務(wù)器計(jì)算設(shè)備206)。 如圖9所示，第一用戶計(jì)算設(shè)備202及第二用戶計(jì)算設(shè)備204通過如各個(gè)局域網(wǎng)化ocal Area 化twork: LAN)、廣域網(wǎng)（Wide Area化twork: WAN)、蜂窩網(wǎng)絡(luò)或互聯(lián)網(wǎng)等網(wǎng)絡(luò)250可通信地 連接至服務(wù)器計(jì)算設(shè)備206。各個(gè)用戶計(jì)算設(shè)備202、204與服務(wù)器計(jì)算設(shè)備206之間的通信 可W基于通常的客戶/服務(wù)器模式。用戶計(jì)算設(shè)備202、204的例子可為例如手機(jī)、智能手機(jī)、 平板電腦、膝上型計(jì)算機(jī)等移動(dòng)通信裝置，但不限于此，而用戶計(jì)算設(shè)備202、204包括可W 連接至服務(wù)器計(jì)算設(shè)備206的各種類型的無線通信裝置及有線通信裝置。服務(wù)器計(jì)算設(shè)備 206的例子包括各種類型的服務(wù)器計(jì)算機(jī)，例如，基于主機(jī)或基于開放系統(tǒng)的服務(wù)器計(jì)算 機(jī)。
[0149] 第一用戶計(jì)算設(shè)備202可為用于將預(yù)定圖像注冊(cè)到服務(wù)器計(jì)算設(shè)備206的用戶的 計(jì)算設(shè)備。第一用戶計(jì)算設(shè)備202可W將圖像注冊(cè)請(qǐng)求發(fā)送到服務(wù)器計(jì)算設(shè)備206。圖像注 冊(cè)請(qǐng)求可W包括預(yù)定圖像和圖像有關(guān)信息（例如，圖像生成日期和時(shí)間、相當(dāng)圖像的標(biāo)題、 與相當(dāng)圖像的內(nèi)容有關(guān)的信息、與相當(dāng)圖像鏈接的URL信息、與相當(dāng)圖像相關(guān)的商品信息 (產(chǎn)品名稱、生產(chǎn)商、相關(guān)廣告、使用后記、銷售處等）、關(guān)于相當(dāng)圖像是否廣告用圖像的信息 等等）。圖像注冊(cè)請(qǐng)求可W包括多個(gè)圖像。用戶可W在多個(gè)圖像中設(shè)定代表性圖像。代表性 圖像可為在所述多個(gè)圖像中在其他用戶檢索圖像時(shí)優(yōu)先表示的圖像。
[0150] 第一用戶計(jì)算設(shè)備202可W將在第一用戶計(jì)算設(shè)備202的存儲(chǔ)器中所存儲(chǔ)的圖像 發(fā)送到服務(wù)器計(jì)算設(shè)備206來注冊(cè)圖像，或?qū)钠渌?jì)算設(shè)備獲得的圖像發(fā)送到服務(wù)器計(jì) 算設(shè)備206來注冊(cè)圖像。第一用戶計(jì)算設(shè)備202可W從服務(wù)器計(jì)算設(shè)備206接受圖像注冊(cè)結(jié) 果。第一用戶計(jì)算設(shè)備202可W從服務(wù)器計(jì)算設(shè)備206接受關(guān)于注冊(cè)的圖像的檢索明細(xì)信 息。第一用戶計(jì)算設(shè)備202可W在注冊(cè)預(yù)定圖像時(shí)檢索與相當(dāng)圖像相同或類似的圖像是否 已經(jīng)被注冊(cè)。
[0151] 第二用戶計(jì)算設(shè)備204可為用于通過服務(wù)器計(jì)算設(shè)備206檢索在預(yù)定圖像及圖像 有關(guān)信息中至少一個(gè)的用戶的計(jì)算設(shè)備。第二用戶計(jì)算設(shè)備204可W將圖像檢索基本信息 發(fā)送到服務(wù)器計(jì)算設(shè)備206。圖像檢索基本信息可W包括預(yù)定圖像、從預(yù)定圖像中提取的特 征點(diǎn)信息及圖像檢索條件中的至少一個(gè)。圖像檢索條件可W包括按周期的檢索、按人氣順 序的檢索、按最新順序的檢索、廣告與否區(qū)分廣告用圖像和非廣告用圖像的方式進(jìn)行檢 索）等。在此，在圖像檢索基本信息中所包含的圖像可W是在第二用戶計(jì)算設(shè)備204攝影的 圖像，或在第二用戶計(jì)算設(shè)備204的存儲(chǔ)器中所存儲(chǔ)的圖像，或從其他計(jì)算設(shè)備獲得的圖 像。在第二用戶計(jì)算設(shè)備204將從預(yù)定圖像中提取的特征點(diǎn)信息發(fā)送到服務(wù)器計(jì)算設(shè)備206 的情況下，第二用戶計(jì)算設(shè)備204可W包括特征點(diǎn)提取器。特征點(diǎn)提取器可為如圖1所示的 特征點(diǎn)提取裝置100,但不限于此。第二用戶計(jì)算設(shè)備204可W從服務(wù)器計(jì)算設(shè)備206接受在 預(yù)定圖像及圖像有關(guān)信息中的至少一個(gè)。
[0152] W下，為了方便說明，W第一用戶計(jì)算設(shè)備202是用于注冊(cè)圖像的用戶的計(jì)算設(shè) 備，第二用戶計(jì)算設(shè)備204是用于檢索圖像有關(guān)信息的用戶的計(jì)算設(shè)備的情況為例進(jìn)行說 明，但不限于此，而用戶計(jì)算設(shè)備202、204當(dāng)然是可W分別用于注冊(cè)圖像及/或檢索圖像有 關(guān)?目息。
[0153] 服務(wù)器計(jì)算設(shè)備206可W托管包括至少一個(gè)網(wǎng)頁的網(wǎng)站。服務(wù)器計(jì)算設(shè)備206可W 通過網(wǎng)絡(luò)250提供用戶為了注冊(cè)圖像而可W訪問的網(wǎng)頁。服務(wù)器計(jì)算設(shè)備206可W通過網(wǎng)絡(luò) 250提供用戶為了檢索圖像有關(guān)信息而可W訪問的網(wǎng)頁。
[0154] 服務(wù)器計(jì)算設(shè)備206可W從第一用戶計(jì)算設(shè)備202接受圖像注冊(cè)請(qǐng)求。服務(wù)器計(jì)算 設(shè)備206可W判斷在圖像注冊(cè)請(qǐng)求中所包含的圖像是否為可W注冊(cè)的圖像。例如，如果在圖 像注冊(cè)請(qǐng)求中所包含的圖像為有害圖像(例如，19歲W下禁止觀看的圖像等)或不能提取特 征點(diǎn)的圖像，服務(wù)器計(jì)算設(shè)備206可W將所述圖像判斷為注冊(cè)不可圖像。如果在圖像注冊(cè)請(qǐng) 求所包含的圖像為不可注冊(cè)的圖像，服務(wù)器計(jì)算設(shè)備206可W向第一用戶計(jì)算設(shè)備202發(fā)送 注冊(cè)不可提示信息。
[0155] 服務(wù)器計(jì)算設(shè)備206可W從在圖像注冊(cè)請(qǐng)求中所包含的圖像提取特征點(diǎn)。服務(wù)器 計(jì)算設(shè)備206通過將關(guān)于提取的特征點(diǎn)的信息與在圖像注冊(cè)請(qǐng)求中所包含的圖像有關(guān)信息 匹配并存儲(chǔ)來可W向系統(tǒng)注冊(cè)相當(dāng)圖像。服務(wù)器計(jì)算設(shè)備206可W將圖像注冊(cè)結(jié)果發(fā)送到 第一用戶計(jì)算設(shè)備202。服務(wù)器計(jì)算設(shè)備206可W監(jiān)測(cè)對(duì)注冊(cè)圖像的檢索明細(xì)，然后將檢索 明細(xì)信息發(fā)送到注冊(cè)相當(dāng)圖像的第一用戶計(jì)算設(shè)備202。
[0156] 如果在圖像注冊(cè)請(qǐng)求中所包含的圖像是多個(gè)，服務(wù)器計(jì)算設(shè)備206就可W判斷多 個(gè)各個(gè)圖像是否為可W注冊(cè)的圖像。即，服務(wù)器計(jì)算設(shè)備206可W確定多個(gè)各個(gè)圖像是否為 有害圖像或可W提取特征點(diǎn)的圖像，然后，如果多個(gè)圖像都為有害圖像或無法提取特征點(diǎn) 的圖像，就可W向第一用戶計(jì)算設(shè)備202發(fā)送注冊(cè)不可提示信息。如果多個(gè)圖像中至少一個(gè) 圖像為可W注冊(cè)的圖像，服務(wù)器計(jì)算設(shè)備206就可W進(jìn)行相當(dāng)圖像的圖像注冊(cè)步驟。服務(wù)器 計(jì)算設(shè)備206可W向第一用戶計(jì)算設(shè)備202發(fā)送關(guān)于不可注冊(cè)剩余的圖像（即，注冊(cè)不可圖 像)的信息。
[0157] 服務(wù)器計(jì)算設(shè)備206在接受圖像注冊(cè)請(qǐng)求時(shí)，可W檢索是否存在與在圖像注冊(cè)請(qǐng) 求中所包含的圖像相同或類似的其它用戶已經(jīng)注冊(cè)的圖像。如果存在與在圖像注冊(cè)請(qǐng)求中 所包含的圖像相同或類似的其它用戶已經(jīng)注冊(cè)的圖像，服務(wù)器計(jì)算設(shè)備206可W向第一用 戶計(jì)算設(shè)備202通知相當(dāng)事實(shí)。此時(shí)，服務(wù)器計(jì)算設(shè)備206可W向第一用戶計(jì)算設(shè)備202詢問 是否注冊(cè)相當(dāng)圖像（即，即使存在相同或類似的其它用戶已經(jīng)注冊(cè)的圖像，也是否進(jìn)行相當(dāng) 圖像的注冊(cè)步驟）。
[0158] 服務(wù)器計(jì)算設(shè)備206在注冊(cè)預(yù)定用戶的圖像時(shí)，可W使在已經(jīng)注冊(cè)的其他用戶的 圖像中與所述要注冊(cè)的圖像相同或類似的圖像和所述要注冊(cè)的圖像鏈接。
[0159] 服務(wù)器計(jì)算設(shè)備206可W從第二用戶計(jì)算設(shè)備204接受圖像檢索基本信息。如果特 征點(diǎn)信息包括在圖像檢索基本信息中，服務(wù)器計(jì)算設(shè)備206就可W檢索與在圖像檢索基本 信息中所包含的特征點(diǎn)信息匹配的特征點(diǎn)，然后提取與所檢索的特征點(diǎn)匹配并存儲(chǔ)的圖像 有關(guān)信息。服務(wù)器計(jì)算設(shè)備206根據(jù)在圖像檢索基本信息中所包含的圖像檢索條件可W檢 索所述匹配的特征點(diǎn)。服務(wù)器計(jì)算設(shè)備206可W向第二用戶計(jì)算設(shè)備204發(fā)送在與所檢索的 特征點(diǎn)對(duì)應(yīng)的圖像及所述提取的圖像有關(guān)信息中的至少一個(gè)。
[0160] 在圖像檢索基本信息不包含特征點(diǎn)信息而僅包含預(yù)定圖像時(shí)，服務(wù)器計(jì)算設(shè)備 206可W從相當(dāng)圖像提取特征點(diǎn)，然后檢索與所提取的特征點(diǎn)匹配的特征點(diǎn)。服務(wù)器計(jì)算設(shè) 備206可W包括特征點(diǎn)提取器，W便從圖像中提取特征點(diǎn)。特征點(diǎn)提取器可為如圖1所示的 特征點(diǎn)提取裝置100,但不限于此。
[0161] 服務(wù)器計(jì)算設(shè)備206通過在圖像檢索基本信息中所包含的圖像或特征點(diǎn)信息檢索 圖像時(shí)，根據(jù)與在圖像檢索基本信息中所包含的圖像或特征點(diǎn)信息之間的相似度可W檢索 多個(gè)圖像。此時(shí)，可W根據(jù)所述相似度檢索的圖像分為多個(gè)組。例如，在所述相似度等于或 大于預(yù)先設(shè)定的第一闊值時(shí)，相當(dāng)檢索圖像可W分為相同圖像組，在所述相似度等于或大 于預(yù)先設(shè)定的第二闊值且小于第一闊值時(shí)，相當(dāng)檢索圖像可W分為相似圖像組。在此，W分 為相同圖像組或相似圖像組的情況為例進(jìn)行了說明，但不限于此，可W分為其他多個(gè)步驟 的組。
[0162] 服務(wù)器計(jì)算設(shè)備206在向第二用戶計(jì)算設(shè)備204發(fā)送對(duì)應(yīng)于圖像檢索基本信息的 圖像及圖像有關(guān)信息時(shí)，可W同時(shí)發(fā)送與對(duì)應(yīng)于所述圖像檢索基本信息的圖像鏈接的圖像 (即，與對(duì)應(yīng)于圖像檢索基本信息的圖像相同或類似的圖像)及圖像有關(guān)信息。例如，在用戶 1已經(jīng)注冊(cè)A圖像及A圖像的圖像有關(guān)信息，且用戶2要注冊(cè)與A圖像相似的B圖像及B圖像的 圖像有關(guān)信息時(shí)，服務(wù)器計(jì)算設(shè)備206在進(jìn)行B圖像的圖像注冊(cè)步驟時(shí)可W將與B圖像相似 的A圖像鏈接到B圖像。另外，假設(shè)用戶3發(fā)送包含C圖像的圖像檢索基本信息，然后服務(wù)器計(jì) 算設(shè)備206檢索與C圖像對(duì)應(yīng)的圖像，結(jié)果，檢索到B圖像。則服務(wù)器計(jì)算設(shè)備206可W向用戶 3發(fā)送B圖像和與B圖像鏈接的A圖像。即，服務(wù)器計(jì)算設(shè)備206在檢索與C圖像對(duì)應(yīng)的圖像時(shí)， 即使僅檢索到B圖像而沒有檢索到A圖像，也可W向用戶3發(fā)送與B圖像鏈接的A圖像（即，與B 圖像相似的圖像）。
[0163] 服務(wù)器計(jì)算設(shè)備206可W監(jiān)測(cè)注冊(cè)的各個(gè)圖像的檢索次數(shù)。例如，服務(wù)器計(jì)算設(shè)備 206可W監(jiān)測(cè)各個(gè)注冊(cè)圖像的按周期的檢索次數(shù)、按地區(qū)的檢索次數(shù)、按年齡的檢索次數(shù)及 總檢索次數(shù)中的至少一個(gè)。服務(wù)器計(jì)算設(shè)備206在向第二用戶計(jì)算設(shè)備204發(fā)送與圖像檢索 基本信息對(duì)應(yīng)的圖像及圖像有關(guān)信息時(shí)，可W根據(jù)所述檢索次數(shù)W降序排列并發(fā)送相當(dāng)圖 像和圖像有關(guān)信息。即，可W從所述檢索次數(shù)最高的圖像至最低的圖像依次排列來發(fā)送圖 像。服務(wù)器計(jì)算設(shè)備206可W周期性地更新注冊(cè)的各個(gè)圖像的檢索次數(shù)。
[0164]服務(wù)器計(jì)算設(shè)備206可W按每個(gè)用戶限制圖像注冊(cè)次數(shù)。例如，服務(wù)器計(jì)算設(shè)備 206可W按每個(gè)用戶限制一天圖像注冊(cè)次數(shù)。如果預(yù)定用戶注冊(cè)的圖像的總檢索次數(shù)超過 預(yù)先設(shè)定的檢索次數(shù)，服務(wù)器計(jì)算設(shè)備206可W提高相當(dāng)用戶的圖像注冊(cè)次數(shù)。
[01化]在此，服務(wù)器計(jì)算設(shè)備206可為SNS(社交網(wǎng)絡(luò)服務(wù)，Social化twork Service)月良 務(wù)器。服務(wù)器計(jì)算設(shè)備206可W提供基于圖像(更具體地，基于圖像特征點(diǎn)）的SNS服務(wù)。即， 用戶計(jì)算設(shè)備202、204的用戶通過向服務(wù)器計(jì)算設(shè)備206運(yùn)作的自己的SNS賬戶注冊(cè)圖像及 圖像有關(guān)信息來可W共享所述圖像及圖像有關(guān)信息。并且，用戶計(jì)算設(shè)備202、204的用戶可 W通過服務(wù)器計(jì)算設(shè)備206檢索其他用戶注冊(cè)的圖像有關(guān)信息。如上，通過提供基于圖像的 SNS服務(wù)，能夠?qū)崿F(xiàn)與語言不同的用戶之間的順楊溝通，沒有另外信息而僅通過圖像可容易 獲得自己所需的信息。
[0166] 圖10為示出根據(jù)示意性實(shí)施例的服務(wù)器計(jì)算設(shè)備的結(jié)構(gòu)的框圖。
[0167] 參照?qǐng)D10,服務(wù)器計(jì)算設(shè)備206可W包括通信單元211，圖像注冊(cè)單元213,特征點(diǎn) 提取器215,圖像檢索單元217,監(jiān)測(cè)單元219及數(shù)據(jù)庫221。
[0168] 通信單元211與用戶計(jì)算設(shè)備202、204進(jìn)行通信。通信單元211可W從用戶計(jì)算設(shè) 備202、204接受圖像注冊(cè)請(qǐng)求。通信單元211可W從用戶計(jì)算設(shè)備202、204接受圖像檢索基 本信息。通信單元211可W向用戶計(jì)算設(shè)備202、204發(fā)送圖像注冊(cè)結(jié)果。通信單元211可W向 用戶計(jì)算設(shè)備202、204發(fā)送在基于圖像檢索基本信息檢索的圖像及圖像有關(guān)信息中的至少 一個(gè)。通信單元211可W向用戶計(jì)算設(shè)備202、204發(fā)送對(duì)注冊(cè)的圖像的檢索明細(xì)信息。
[0169] 圖像注冊(cè)單元213針對(duì)通信單元211接受的圖像注冊(cè)請(qǐng)求可W判斷是否可W注冊(cè)， 然后根據(jù)其結(jié)果可W進(jìn)行圖像注冊(cè)操作或圖像注冊(cè)不可操作。圖像注冊(cè)單元213可W判斷 是否可W注冊(cè)在圖像注冊(cè)請(qǐng)求中所包含的圖像及圖像有關(guān)信息。在圖像注冊(cè)請(qǐng)求中所包含 的圖像及圖像有關(guān)信息與存儲(chǔ)于數(shù)據(jù)庫221中的有害內(nèi)容信息相同或類似時(shí)，圖像注冊(cè)單 元213可W將所述圖像注冊(cè)請(qǐng)求判斷為不可注冊(cè)。并且，在從在圖像注冊(cè)請(qǐng)求中所包含的圖 像無法提取特征點(diǎn)（例如，因圖像本身太簡單而無法提取特征點(diǎn)時(shí)或因圖像損傷而無法提 取特征點(diǎn)時(shí)等)時(shí)，圖像注冊(cè)單元213可W將所述圖像注冊(cè)請(qǐng)求判斷為不可注冊(cè)。圖像注冊(cè) 單元213在將圖像注冊(cè)請(qǐng)求判斷為不可注冊(cè)時(shí)，可W通過通信單元211向用戶計(jì)算設(shè)備202、 204發(fā)送注冊(cè)不可提示信息。
[0170] 圖像注冊(cè)單元213在將所述圖像注冊(cè)請(qǐng)求判斷為可W注冊(cè)時(shí)，可W通過將從在圖 像注冊(cè)請(qǐng)求中所包含的圖像中提取的特征點(diǎn)信息與相當(dāng)圖像及圖像有關(guān)信息匹配并存儲(chǔ) 來進(jìn)行圖像注冊(cè)操作。圖像注冊(cè)單元213在預(yù)先設(shè)定的注冊(cè)不可理由不包括圖像注冊(cè)請(qǐng)求 時(shí)可W將所述圖像注冊(cè)請(qǐng)求判斷為可W注冊(cè)。圖像注冊(cè)單元213在針對(duì)圖像注冊(cè)請(qǐng)求進(jìn)行 圖像注冊(cè)操作時(shí)，可W通過通信單元211向用戶計(jì)算設(shè)備202、204發(fā)送圖像注冊(cè)結(jié)果。
[0171] 如果在圖像注冊(cè)請(qǐng)求中所包含的圖像是多個(gè)，圖像注冊(cè)單元213就可W判斷多個(gè) 各個(gè)圖像是否為可W注冊(cè)的圖像。如果多個(gè)圖像都為注冊(cè)不可圖像，圖像注冊(cè)單元213就可 W通過通信單元211向用戶計(jì)算設(shè)備202、204發(fā)送注冊(cè)不可提示信息。如果多個(gè)圖像中至少 一個(gè)圖像為可W注冊(cè)的圖像，圖像注冊(cè)單元213就可W進(jìn)行相當(dāng)圖像的圖像注冊(cè)步驟，并 且，通過通信單元211向用戶計(jì)算設(shè)備202、204發(fā)送剩余的圖像的注冊(cè)不可提示信息。
[0172] 圖像注冊(cè)單元213在注冊(cè)預(yù)定用戶的圖像時(shí)，可W使已經(jīng)注冊(cè)的其他用戶的圖像 中與所述要注冊(cè)的圖像相同或類似的圖像和所述要注冊(cè)的圖像鏈接。
[0173] 圖像注冊(cè)單元213可W按每個(gè)用戶限制圖像注冊(cè)次數(shù)。如果預(yù)定用戶注冊(cè)的圖像 的總檢索次數(shù)超過預(yù)先設(shè)定的檢索次數(shù)，圖像注冊(cè)單元213可W提高相當(dāng)用戶的圖像注冊(cè) 次數(shù)。
[0174] 特征點(diǎn)提取器215可W從在圖像注冊(cè)請(qǐng)求中所包含的圖像提取特征點(diǎn)。特征點(diǎn)提 取器215可W從在圖像檢索基本信息中所包含的圖像提取特征點(diǎn)。在圖像檢索基本信息不 包含特征點(diǎn)信息而僅包含圖像時(shí)，特征點(diǎn)提取器215可W從相當(dāng)圖像提取特征點(diǎn)。特征點(diǎn)提 取器215可W具有與如圖1所示的特征點(diǎn)提取裝置100相同或類似的構(gòu)成。此時(shí)，特征點(diǎn)提取 器215可W提取對(duì)圖像變化(例如，光照變化、尺寸變化、視點(diǎn)變化、旋轉(zhuǎn)變化等)穩(wěn)健的特征 點(diǎn)。特征點(diǎn)提取器215可W包括在如圖1所示的特征點(diǎn)提取裝置100中的特征點(diǎn)提取單元 106,且全部或部分包括其他剩余的構(gòu)成。在從圖像中無法提取特征點(diǎn)時(shí)，特征點(diǎn)提取器215 可W將其實(shí)事傳遞給圖像注冊(cè)單元213。
[0175] 圖像檢索單元217可W檢索與檢索請(qǐng)求的圖像匹配的圖像。在此，檢索請(qǐng)求的圖像 為在圖像檢索基本信息中所包含的圖像或具有在圖像檢索基本信息中所包含的特征點(diǎn)的 圖像。圖像檢索單元217可W從數(shù)據(jù)庫221中檢索在預(yù)先存儲(chǔ)的圖像中與檢索請(qǐng)求的圖像匹 配的（即，相同或類似的）圖像。此時(shí)，圖像檢索單元217可W基于特征點(diǎn)檢索圖像。即，圖像 檢索單元217可W在已經(jīng)注冊(cè)的圖像的特征點(diǎn)中檢索與從在圖像檢索基本信息中所包含的 圖像中提取的特征點(diǎn)或在圖像檢索基本信息中所包含的特征點(diǎn)下也稱為"檢索請(qǐng)求特 征點(diǎn)"）匹配的特征點(diǎn)。
[0176] 圖像檢索單元217可W對(duì)檢索請(qǐng)求特征點(diǎn)的特征點(diǎn)描述符與已經(jīng)注冊(cè)的特征點(diǎn)的 各個(gè)特征點(diǎn)描述符進(jìn)行比較，在已經(jīng)注冊(cè)的特征點(diǎn)中提取與檢索請(qǐng)求特征點(diǎn)之間的相似度 大于或等于預(yù)先設(shè)定的闊值的特征點(diǎn)。在此，與特征點(diǎn)之間的相似度可W通過檢索請(qǐng)求特 征點(diǎn)的特征點(diǎn)描述符和已經(jīng)注冊(cè)的特征點(diǎn)的各個(gè)特征點(diǎn)描述符之差的平方的和，即，SSD (差值平方和，S皿of Squared Difference)表示。SSD是一種距離函數(shù)，SSD值越小，表示檢 索請(qǐng)求特征點(diǎn)與預(yù)定特征點(diǎn)之間的相似度越高。
[0177] 圖像檢索單元217可W驗(yàn)證所述提取的特征點(diǎn)（即，在已經(jīng)注冊(cè)的特征點(diǎn)中與檢索 請(qǐng)求特征點(diǎn)之間的相似度大于或等于預(yù)先設(shè)定的闊值的特征點(diǎn))是否與檢索請(qǐng)求特征點(diǎn)匹 配。即，在提取僅通過與特征點(diǎn)之間的相似度可W匹配的特征點(diǎn)時(shí)，與檢索請(qǐng)求特征點(diǎn)實(shí)際 不匹配的特征點(diǎn)會(huì)被提取，因此，圖像檢索單元217可W進(jìn)行驗(yàn)證所述提取的特征點(diǎn)是否與 檢索請(qǐng)求特征點(diǎn)匹配的操作。例如，在圖像中包括重復(fù)的模式或相似的形狀反復(fù)出現(xiàn)時(shí)，與 檢索請(qǐng)求特征點(diǎn)實(shí)際不匹配的特征點(diǎn)會(huì)被提取。
[0178] 圖像檢索單元217通過下述數(shù)學(xué)式2可W確定相當(dāng)特征點(diǎn)是否與檢索請(qǐng)求特征點(diǎn) 實(shí)際匹配。
[0179] (數(shù)學(xué)式2)
[0180]
[0181]式中，SSD(fl、f2)為與檢索請(qǐng)求特征點(diǎn)（fl)之間的相似度最高的特征點(diǎn)（f2)之間 的SSD(差值平方和，Sum of Squared Difference)，SSD(fl、f2'）為與檢索請(qǐng)求特征點(diǎn)（fl) 之間的相似度第二高的特征點(diǎn)(f2'）之間的SSD。
[0182] 圖像檢索單元217根據(jù)數(shù)學(xué)式2(即
）的值可W確定相當(dāng)特征 點(diǎn)是否為與檢索請(qǐng)求特征點(diǎn)實(shí)際匹配的特征點(diǎn)。具體而言，在數(shù)學(xué)式2的值接近0的情況下， 圖像檢索單元217將特征點(diǎn)（f2)判斷為與檢索請(qǐng)求特征點(diǎn)（Π )實(shí)際不匹配的特征點(diǎn)，在數(shù) 學(xué)式2的值接近1的情況下，將特征點(diǎn)(f2)判斷為與檢索請(qǐng)求特征點(diǎn)(Π )實(shí)際不匹配的特征 點(diǎn)。
[0183] 圖像檢索單元217可W提取與檢索請(qǐng)求特征點(diǎn)匹配的特征點(diǎn)，然后提取在與所提 取的特征點(diǎn)對(duì)應(yīng)的圖像及圖像有關(guān)信息中至少一個(gè)。圖像檢索單元217可W通過通信單元 211向發(fā)送圖像檢索基本信息的用戶計(jì)算設(shè)備202、204發(fā)送提取的圖像及圖像有關(guān)信息中 的至少一個(gè)。
[0184] 并且，圖像檢索單元217通過在圖像檢索基本信息中所包含的圖像或特征點(diǎn)信息 檢索圖像時(shí)，根據(jù)與在圖像檢索基本信息中所包含的圖像或特征點(diǎn)信息之間的相似度可W 檢索多個(gè)圖像。此時(shí)，圖像檢索單元217可W根據(jù)所述相似度將檢索的圖像分為多個(gè)組。
[0185] 例如，在所述相似度等于或大于預(yù)先設(shè)定的第一闊值時(shí)，相當(dāng)檢索圖像可W分為 相同圖像組，在所述相似度等于或大于預(yù)先設(shè)定的第二闊值且小于第一闊值時(shí)，相當(dāng)檢索 圖像可W分為相似圖像組。第一闊值及第二闊值可W根據(jù)與檢索請(qǐng)求特征點(diǎn)匹配的特征點(diǎn) 的個(gè)數(shù)被設(shè)定。例如，第一闊值可W被設(shè)定為在與檢索請(qǐng)求特征點(diǎn)匹配的特征點(diǎn)的個(gè)數(shù)為 100個(gè)時(shí)的值，第二闊值可W被設(shè)定為在與檢索請(qǐng)求特征點(diǎn)匹配的特征點(diǎn)的個(gè)數(shù)為80個(gè)時(shí) 的值。據(jù)此，在與檢索請(qǐng)求特征點(diǎn)匹配的特征點(diǎn)的個(gè)數(shù)大于或等于100個(gè)的圖像的情況下， 圖像檢索單元217可W將相當(dāng)圖像分為相同圖像組。在與檢索請(qǐng)求特征點(diǎn)匹配的特征點(diǎn)的 個(gè)數(shù)大于或等于80個(gè)且小于100個(gè)的圖像的情況下，圖像檢索單元217可W將相當(dāng)圖像分為 相似圖像組。
[0186] 在通過通信單元211向用戶計(jì)算設(shè)備202、204發(fā)送與圖像檢索基本信息對(duì)應(yīng)的圖 像及圖像有關(guān)信息時(shí)，圖像檢索單元217可W同時(shí)發(fā)送與對(duì)應(yīng)于所述圖像檢索基本信息的 圖像鏈接的圖像(即，與對(duì)應(yīng)于圖像檢索基本信息的圖像相同或類似的圖像)和圖像有關(guān)信 息。
[0187] 監(jiān)測(cè)單元219可W監(jiān)測(cè)已經(jīng)注冊(cè)的圖像的按周期的檢索次數(shù)、按地區(qū)的檢索次數(shù)、 按年齡的檢索次數(shù)、總檢索次數(shù)中的至少一個(gè)。監(jiān)測(cè)單元219可W按每個(gè)用戶監(jiān)測(cè)相當(dāng)用戶 的注冊(cè)圖像。監(jiān)測(cè)單元219可W向注冊(cè)相當(dāng)圖像的用戶計(jì)算設(shè)備202、204發(fā)送監(jiān)測(cè)結(jié)果（即， 檢索明細(xì)信息）。監(jiān)測(cè)單元219可W對(duì)在已經(jīng)注冊(cè)的圖像中作為廣告用圖像注冊(cè)的圖像進(jìn)行 監(jiān)測(cè)。在向用戶計(jì)算設(shè)備202、204發(fā)送與圖像檢索基本信息對(duì)應(yīng)的圖像及圖像有關(guān)信息時(shí)， 圖像檢索單元217可W將相當(dāng)圖像和圖像有關(guān)信息根據(jù)所述檢索次數(shù)W降序排列并發(fā)送。
[0188] 數(shù)據(jù)庫221可W存儲(chǔ)判斷為可W注冊(cè)的圖像及圖像有關(guān)信息。數(shù)據(jù)庫221可W將從 在圖像注冊(cè)請(qǐng)求中所包含的圖像中提取的特征點(diǎn)信息與相當(dāng)圖像及圖像有關(guān)信息匹配并 存儲(chǔ)。數(shù)據(jù)庫221可W存儲(chǔ)有害內(nèi)容信息。數(shù)據(jù)庫221可W存儲(chǔ)檢索明細(xì)信息。
[0189] 圖11為示出根據(jù)示意性實(shí)施例的基于特征點(diǎn)的圖像檢索方法的流程圖。
[0190] 參照?qǐng)D11，服務(wù)器計(jì)算設(shè)備206確定由用戶計(jì)算設(shè)備202、204是否發(fā)送圖像注冊(cè)請(qǐng) 求(S201)。圖像注冊(cè)請(qǐng)求可W包括預(yù)定圖像和圖像有關(guān)信息。
[0191] 作為步驟S201的確定結(jié)果，如果由用戶計(jì)算設(shè)備202、204發(fā)送圖像注冊(cè)請(qǐng)求，服務(wù) 器計(jì)算設(shè)備206就判斷是否可W注冊(cè)圖像注冊(cè)請(qǐng)求(S203)。服務(wù)器計(jì)算設(shè)備206根據(jù)圖像注 冊(cè)請(qǐng)求是否具有預(yù)先設(shè)定的注冊(cè)不可理由可W判斷是否可W注冊(cè)圖像注冊(cè)請(qǐng)求。
[0192] 作為步驟S203的判斷結(jié)果，在圖像注冊(cè)請(qǐng)求判斷為不可注冊(cè)時(shí)，服務(wù)器計(jì)算設(shè)備 206向發(fā)送圖像注冊(cè)請(qǐng)求的用戶計(jì)算設(shè)備202、204發(fā)送注冊(cè)不可提示信息(S205)。在圖像注 冊(cè)請(qǐng)求中所包含的圖像及圖像有關(guān)信息與有害內(nèi)容信息相同或相似，或從在圖像注冊(cè)請(qǐng)求 中所包含的圖像無法提取特征點(diǎn)時(shí)，服務(wù)器計(jì)算設(shè)備206可W將相當(dāng)圖像注冊(cè)請(qǐng)求判斷為 不可注冊(cè)。
[0193] 作為步驟S203的判斷結(jié)果，在圖像注冊(cè)請(qǐng)求判斷為可W注冊(cè)時(shí)，服務(wù)器計(jì)算設(shè)備 206從在圖像注冊(cè)請(qǐng)求中所包含的圖像提取特征點(diǎn)，然后通過使提取的特征點(diǎn)信息與相當(dāng) 圖像及圖像有關(guān)信息匹配來進(jìn)行圖像注冊(cè)操作(S207)。
[0194] 其次，服務(wù)器計(jì)算設(shè)備206確定從用戶計(jì)算設(shè)備202、204是否接受圖像檢索基本信 息（S209)。圖像檢索基本信息可W包括預(yù)定圖像、從所述圖像中提取的特征點(diǎn)信息及圖像 檢索條件中的至少一個(gè)。
[01M]作為步驟S209的確定結(jié)果，如果從用戶計(jì)算設(shè)備202、204接受圖像檢索基本信息， 服務(wù)器計(jì)算設(shè)備206就確定圖像檢索基本信息是否包括特征點(diǎn)信息(S211)。
[0196] 作為步驟S211的確定結(jié)果，如果圖像檢索基本信息不包括特征點(diǎn)信息，服務(wù)器計(jì) 算設(shè)備206就從在圖像檢索基本信息中所包含的圖像提取特征點(diǎn)(S213)。
[0197] 作為步驟S211的確定結(jié)果，如果圖像檢索基本信息包括特征點(diǎn)信息，服務(wù)器計(jì)算 設(shè)備206就提取在已經(jīng)注冊(cè)的圖像的特征點(diǎn)中與檢索請(qǐng)求特征點(diǎn)相似的特征點(diǎn)（S215)。在 此，檢索請(qǐng)求特征點(diǎn)可為從在圖像檢索基本信息中所包含的圖像中提取的特征點(diǎn)或在圖像 檢索基本信息中所包含的特征點(diǎn)。具體而言，服務(wù)器計(jì)算設(shè)備206可W通過對(duì)檢索請(qǐng)求特征 點(diǎn)的特征點(diǎn)描述符和已經(jīng)注冊(cè)的特征點(diǎn)的各個(gè)特征點(diǎn)描述符進(jìn)行比較來可W提取在已經(jīng) 注冊(cè)的特征點(diǎn)中與檢索請(qǐng)求特征點(diǎn)之間的相似度大于或等于預(yù)先設(shè)定的闊值的特征點(diǎn)。
[0198] 其次，服務(wù)器計(jì)算設(shè)備206驗(yàn)證所述提取的特征點(diǎn)（即，在已經(jīng)注冊(cè)的特征點(diǎn)中與 檢索請(qǐng)求特征點(diǎn)之間的相似度大于或等于預(yù)先設(shè)定的闊值的特征點(diǎn)）是否與檢索請(qǐng)求特征 點(diǎn)匹配(S217)。例如，服務(wù)
[0199] 器計(jì)算設(shè)備206可W根據(jù)
1-'的值確定相當(dāng)特征點(diǎn)是否為與檢索 請(qǐng)求特征點(diǎn)實(shí)際匹配的特征點(diǎn)。
[0200] 接下來，服務(wù)器計(jì)算設(shè)備206提取在對(duì)應(yīng)于判斷為與檢索請(qǐng)求特征點(diǎn)匹配的特征 點(diǎn)的圖像及圖像有關(guān)信息中的至少一個(gè)，然后將其發(fā)送到發(fā)送圖像檢索基本信息的用戶計(jì) 算設(shè)備 202、204(S219)。
[0201] 圖12為示出包括適合用于示意性實(shí)施例中的示意性計(jì)算設(shè)備的計(jì)算環(huán)境的附圖。
[0202] 圖12中示出的示意性計(jì)算環(huán)境500包括計(jì)算設(shè)備510。在各種實(shí)施例中，計(jì)算設(shè)備 510的構(gòu)成可W與為用戶計(jì)算設(shè)備202、204的用戶及為服務(wù)器計(jì)算設(shè)備206的操作員的構(gòu)成 相同。并且，雖然下面未描述，但還可W包括適合于其構(gòu)成的組件。因此，計(jì)算設(shè)備510可為 諸如服務(wù)提供者的服務(wù)器計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、網(wǎng)絡(luò)計(jì)算機(jī)、通用或特定用途的機(jī)器或其他 不同形態(tài)的計(jì)算設(shè)備等服務(wù)器計(jì)算設(shè)備(例如，服務(wù)器計(jì)算設(shè)備206)。并且，計(jì)算設(shè)備510可 為例如手機(jī)、智能手機(jī)、便攜式媒體播放器，便攜式游戲設(shè)備，PDA(個(gè)人數(shù)字助理，Personal Digital Assis化nt)，平板電腦、膝上型電腦、臺(tái)式電腦等與用戶相關(guān)的計(jì)算設(shè)備(例如，用 戶計(jì)算設(shè)備202、204)。并且，特征點(diǎn)提取裝置100也可W具有與計(jì)算環(huán)境500相同的構(gòu)成。
[0203] 計(jì)算設(shè)備510包括至少一個(gè)處理器512、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)514及總線560。處理 器512與總線560連接，總線560包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)514 W使計(jì)算設(shè)備510的其他不同 組件與處理器512連接。
[0204] 處理器512可W使計(jì)算設(shè)備510根據(jù)上面提到的示意性實(shí)施例進(jìn)行操作。例如，處 理器512可W進(jìn)行在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)514中存儲(chǔ)的計(jì)算機(jī)可執(zhí)行的指令，在計(jì)算機(jī)可讀 存儲(chǔ)介質(zhì)514中存儲(chǔ)的計(jì)算機(jī)可執(zhí)行的指令可W被配置為使得在通過通過處理器512進(jìn)行 所述指令時(shí)由計(jì)算設(shè)備510進(jìn)行預(yù)定的根據(jù)示意性實(shí)施例的操作。
[0205] 計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)514被配置為存儲(chǔ)計(jì)算機(jī)可執(zhí)行的指令或程序代碼(例如，包 括于應(yīng)用530中的指令）、程序數(shù)據(jù)(例如，通過應(yīng)用530使用的數(shù)據(jù))及/或其他適合形式的 信息。存儲(chǔ)于計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)514中的應(yīng)用530包括通過處理器512可W執(zhí)行的指令的 預(yù)定的集合。
[0206] 圖12中示出的存儲(chǔ)器516和存儲(chǔ)裝置518是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)514的一個(gè)例子。 存儲(chǔ)器516可W加載通過處理器512可W執(zhí)行的計(jì)算機(jī)可執(zhí)行的指令。并且，在存儲(chǔ)器516中 可W存儲(chǔ)程序數(shù)據(jù)。例如，運(yùn)些存儲(chǔ)器516可為如隨機(jī)存取存儲(chǔ)器等易失性存儲(chǔ)器、非易失 性存儲(chǔ)器或其適當(dāng)組合。作為另一個(gè)例子，存儲(chǔ)裝置518可W包括用于存儲(chǔ)信息的至少一個(gè) 可拆卸或不可拆卸的組件。例如，存儲(chǔ)裝置518可為硬盤、閃存、磁盤、光盤、可W通過計(jì)算設(shè) 備510訪問且能夠存儲(chǔ)所需的信息的其他形式的存儲(chǔ)媒體或其適當(dāng)組合。
[0207] 而且，計(jì)算設(shè)備510可W包括提供為至少一個(gè)輸入/出裝置570的接口的至少一個(gè) 輸入/出接口 520。輸入/出接口 520與總線560連接。輸入/出裝置570可W通過輸入/出接口 520與計(jì)算設(shè)備510(的其他組件)連接。輸入/出裝置570可W包括如定點(diǎn)設(shè)備、鍵盤、觸摸式 輸入裝置、語音輸入裝置、傳感器設(shè)備及/或攝影裝置等輸入裝置及/或如顯示器、打印機(jī)、 音箱及/或網(wǎng)卡等輸出裝置。
[0208] 此外，一些實(shí)施例可包括具有用于在計(jì)算機(jī)上執(zhí)行本說明書中記載的方法的程序 的計(jì)算機(jī)可讀記錄介質(zhì)。所述計(jì)算機(jī)可讀記錄介質(zhì)可單獨(dú)地包括程序命令、本地?cái)?shù)據(jù)文件、 本地?cái)?shù)據(jù)結(jié)構(gòu)等，或者包括它們的組合。所述計(jì)算機(jī)可讀記錄介質(zhì)可W是為本發(fā)明而專口 設(shè)計(jì)并構(gòu)成的介質(zhì)。所述計(jì)算機(jī)可讀記錄介質(zhì)的示例包括為了存儲(chǔ)并執(zhí)行程序命令而專口 構(gòu)成的硬件裝置:諸如硬盤、軟盤及磁帶的磁介質(zhì)、諸如CD-R0M、DVD的光記錄介質(zhì)、諸如軟 盤的磁光介質(zhì)及R〇M、RAM、閃存等。程序命令的示例可包括：由編譯器編寫的機(jī)器語言代碼 W及使用解釋器等而由計(jì)算機(jī)來執(zhí)行的高級(jí)語言代碼。
[0209] 綜上，通過代表性實(shí)施例對(duì)本發(fā)明進(jìn)行了具體地說明，但本發(fā)明所屬技術(shù)領(lǐng)域的 普通技術(shù)人員應(yīng)當(dāng)理解，在不脫離本發(fā)明的范圍內(nèi)能夠進(jìn)行各種變形。因此，本發(fā)明的權(quán)利 要求范圍并非限定于所說明的實(shí)施例而規(guī)定，根據(jù)權(quán)利要求范圍及與權(quán)利要求范圍等同的 進(jìn)行規(guī)定。
【主權(quán)項(xiàng)】
1. 一種特征點(diǎn)提取裝置，用于提取對(duì)圖像變化穩(wěn)健的特征點(diǎn)，包括： 特征點(diǎn)提取單元，在圖像作為特征點(diǎn)候選位置提取邊角區(qū)域，在所述特征點(diǎn)候選位置 提取特征點(diǎn);及 特征點(diǎn)后處理單元，生成所述提取的特征點(diǎn)的特征點(diǎn)描述符。2. 根據(jù)權(quán)利要求1所述的特征點(diǎn)提取裝置，其中，所述特征點(diǎn)提取單元從所述圖像中計(jì) 算在視窗移動(dòng)之前的視窗內(nèi)的像素值的平均值與在視窗移動(dòng)之后的視窗內(nèi)的像素值的平 均值的差異(平均值的變化），利用在所述平均值的變化最大的方向上的平均值的變化量和 在所述平均值的變化最小的方向上的平均值的變化量決定所述邊角區(qū)域。3. 根據(jù)權(quán)利要求2所述的特征點(diǎn)提取裝置，其中，所述特征點(diǎn)提取單元在所述平均值的 變化最大的方向上的平均值的變化量和在所述平均值的變化最小的方向上的平均值的變 化量分別超過預(yù)先設(shè)定的閾值時(shí)，將在所述圖像中的相當(dāng)領(lǐng)域決定為所述邊角區(qū)域。4. 根據(jù)權(quán)利要求1所述的特征點(diǎn)提取裝置，其中，所述特征點(diǎn)提取單元以在所述圖像的 尺寸相同的狀態(tài)下改變過濾器尺寸的方式對(duì)所述圖像適用所述過濾器，從而提取特征點(diǎn)候 選位置。5. 根據(jù)權(quán)利要求4所述的特征點(diǎn)提取裝置，其中，所述特征點(diǎn)提取單元將具有實(shí)數(shù)系數(shù) 的過濾器轉(zhuǎn)換成具有整數(shù)系數(shù)的正規(guī)化過濾器，以改變所述正規(guī)化過濾器的尺寸的方式對(duì) 所述圖像的重疊圖像適用所述過濾器，從而提取特征點(diǎn)候選位置。6. 根據(jù)權(quán)利要求4所述的特征點(diǎn)提取裝置，其中，在通過對(duì)所述圖像適用具有第一尺寸 的過濾器來檢測(cè)特征點(diǎn)候選位置時(shí)，所述特征點(diǎn)提取單元通過比較對(duì)所述圖像適用所述具 有第一尺寸的過濾器的圖像與對(duì)所述圖像適用具有小于所述第一尺寸的第二尺寸的過濾 器的圖像及對(duì)所述圖像適用具有大于所述第一尺寸的第三尺寸的過濾器的圖像來，將所述 檢測(cè)的特征點(diǎn)候選位置最終決定為特征點(diǎn)候選位置。7. 根據(jù)權(quán)利要求1所述的特征點(diǎn)提取裝置，其中，所述特征點(diǎn)后處理單元向預(yù)先設(shè)定的 方向排列所述特征點(diǎn)的主要方向性，生成包括所述特征點(diǎn)與所述特征點(diǎn)鄰近像素之間的關(guān) 系信息的所述特征點(diǎn)描述符。8. 根據(jù)權(quán)利要求1所述的特征點(diǎn)提取裝置，其中，所述特征點(diǎn)提取單元以在過濾器的尺 寸相同的狀態(tài)下改變所述圖像的尺寸的方式，對(duì)不同尺寸的各個(gè)圖像適用所述過濾器，從 而提取特征點(diǎn)候選位置。9. 根據(jù)權(quán)利要求1所述的特征點(diǎn)提取裝置，其中，在所述圖像為彩色圖像時(shí)，所述特征 點(diǎn)提取裝置還包括圖像預(yù)處理單元，該圖像預(yù)處理單元對(duì)所述彩色圖像進(jìn)行光照補(bǔ)償。10. 根據(jù)權(quán)利要求9所述的特征點(diǎn)提取裝置，其中，所述圖像預(yù)處理單元根據(jù)所述彩色 圖像中的顏色通道的通道比率適應(yīng)性地?cái)U(kuò)展各個(gè)顏色通道的動(dòng)態(tài)范圍。11. 根據(jù)權(quán)利要求10所述的特征點(diǎn)提取裝置，其中，所述圖像預(yù)處理單元對(duì)在所述彩色 圖像中通道比率最高的顏色通道計(jì)算擴(kuò)展參數(shù)(α)和移動(dòng)參數(shù)(β)，然后使各個(gè)顏色通道的 像素?cái)U(kuò)展到所述擴(kuò)展參數(shù)(α)，且移動(dòng)到所述移動(dòng)參數(shù)(β)。12. 根據(jù)權(quán)利要求1所述的特征點(diǎn)提取裝置，其中，在所述圖像為彩色圖像時(shí)，所述特征 點(diǎn)提取裝置還包括圖像預(yù)處理單元，該圖像預(yù)處理單元將所述圖像的空間從彩色空間轉(zhuǎn)換 成黑白空間。13. 根據(jù)權(quán)利要求1所述的特征點(diǎn)提取裝置，其中，所述特征點(diǎn)提取裝置還包括圖像預(yù) 處理單元，該圖像預(yù)處理單元將所述圖像正規(guī)化為預(yù)先設(shè)定的尺寸。14. 根據(jù)權(quán)利要求1所述的特征點(diǎn)提取裝置，其中，所述特征點(diǎn)提取裝置還包括過濾單 元，該過濾單元將所述圖像通過低通濾波器過濾后傳遞給所述特征點(diǎn)提取單元，而且，所述 過濾單元適用高頻補(bǔ)償過波法，使得在所述圖像中保持所述邊角區(qū)域。15. 根據(jù)權(quán)利要求1所述的特征點(diǎn)提取裝置，其中，所述特征點(diǎn)提取裝置還包括特征點(diǎn) 檢索單元，該特征點(diǎn)檢索單元在預(yù)先存儲(chǔ)的特征點(diǎn)中檢索與第一特征點(diǎn)匹配的特征點(diǎn)。16. 根據(jù)權(quán)利要求15所述的特征點(diǎn)提取裝置，其中，所述特征點(diǎn)檢索單元對(duì)所述第一特 征點(diǎn)的特征點(diǎn)描述符與所述預(yù)先存儲(chǔ)的特征點(diǎn)的各個(gè)特征點(diǎn)描述符進(jìn)行比較，在預(yù)先存儲(chǔ) 的特征點(diǎn)中提取與所述第一特征點(diǎn)之間的相似度大于或等于預(yù)先設(shè)定的閾值的特征點(diǎn)。17. 根據(jù)權(quán)利要求16所述的特征點(diǎn)提取裝置，其中， 所述特征點(diǎn)檢索單元通過下述數(shù)學(xué)式1驗(yàn)證所述提取的特征點(diǎn)是否與所述第一特征點(diǎn) 匹配： (數(shù)學(xué)式1)式中，SSD(Π、f 2)為與檢索請(qǐng)求特征點(diǎn)（f 1)之間的相似度最高的特征點(diǎn)（f 2)之間的 SSD(差值平方和，Sum of Squared Difference)，330(;1!!、€2'）為與檢索請(qǐng)求特征點(diǎn)(;1!!)之 間的相似度第二高的特征點(diǎn)(f2'）之間的SSD。18. -種特征點(diǎn)提取方法，用于提取對(duì)圖像變化穩(wěn)健的特征點(diǎn)，包括以下步驟： 在特征點(diǎn)提取裝置，作為圖像的特征點(diǎn)候選位置提取邊角區(qū)域;及 在所述特征點(diǎn)提取裝置，生成在所述特征點(diǎn)候選位置提取的特征點(diǎn)的特征點(diǎn)描述符。19. 根據(jù)權(quán)利要求18所述的特征點(diǎn)提取方法，其中， 提取所述特征點(diǎn)候選位置的步驟包括以下步驟： 在所述特征點(diǎn)提取裝置，從所述圖像中計(jì)算在視窗移動(dòng)之前的視窗內(nèi)的像素值的平均 值與在視窗移動(dòng)之后的視窗內(nèi)的像素值的平均值的差異(平均值的變化）；及 在所述特征點(diǎn)提取裝置，利用在所述平均值的變化最大的方向上的平均值的變化量和 在所述平均值的變化最小的方向上的平均值的變化量決定所述邊角區(qū)域。20. 根據(jù)權(quán)利要求19所述的特征點(diǎn)提取方法，其中， 決定所述邊角區(qū)域的步驟包括以下步驟： 在所述特征點(diǎn)提取裝置，在所述平均值的變化最大的方向上的平均值的變化量和在所 述平均值的變化最小的方向上的平均值的變化量分別超過預(yù)先設(shè)定的閾值時(shí)，將在所述圖 像中的相當(dāng)領(lǐng)域決定為所述邊角區(qū)域。21. 根據(jù)權(quán)利要求18所述的特征點(diǎn)提取方法，其中， 提取所述特征點(diǎn)候選位置的步驟包括以下步驟： 在所述特征點(diǎn)提取裝置，以在所述圖像的尺寸相同的狀態(tài)下改變過濾器尺寸的方式對(duì) 所述圖像適用所述過濾器，從而提取特征點(diǎn)候選位置。22. 根據(jù)權(quán)利要求21所述的特征點(diǎn)提取方法，其中， 提取所述特征點(diǎn)候選位置的步驟包括以下步驟： 在所述特征點(diǎn)提取裝置，將具有實(shí)數(shù)系數(shù)的過濾器轉(zhuǎn)換成具有整數(shù)系數(shù)的正規(guī)化過濾 器;及 在所述特征點(diǎn)提取裝置，以改變所述正規(guī)化過濾器的尺寸的方式對(duì)所述圖像的重疊圖 像適用所述過濾器，從而提取特征點(diǎn)候選位置。23. 根據(jù)權(quán)利要求21所述的特征點(diǎn)提取方法，其中， 提取所述特征點(diǎn)候選位置的步驟包括以下步驟： 在所述特征點(diǎn)提取裝置，通過對(duì)所述圖像適用具有第一尺寸的過濾器來檢測(cè)特征點(diǎn)候 選位置;及 在所述特征點(diǎn)提取裝置，通過比較對(duì)所述圖像適用所述具有第一尺寸的過濾器的圖像 與對(duì)所述圖像適用具有小于所述第一尺寸的第二尺寸的過濾器的圖像及對(duì)所述圖像適用 具有大于所述第一尺寸的第三尺寸的過濾器的圖像來，將所述檢測(cè)的特征點(diǎn)候選位置最終 決定為特征點(diǎn)候選位置。24. 根據(jù)權(quán)利要求18所述的特征點(diǎn)提取方法，其中， 生成所述特征點(diǎn)描述符的步驟包括以下步驟： 在所述特征點(diǎn)提取裝置，將所述特征點(diǎn)的主要方向性設(shè)定為預(yù)先設(shè)定的方向，生成包 括所述特征點(diǎn)與所述特征點(diǎn)鄰近像素之間的關(guān)系信息的所述特征點(diǎn)描述符。25. 根據(jù)權(quán)利要求18所述的特征點(diǎn)提取方法，其中， 在提取所述特征點(diǎn)候選位置的步驟中， 在所述特征點(diǎn)提取裝置，以在過濾器的尺寸相同的狀態(tài)下改變所述圖像的尺寸的方 式，對(duì)不同尺寸的各個(gè)圖像適用所述過濾器，從而提取特征點(diǎn)候選位置。26. 根據(jù)權(quán)利要求18所述的特征點(diǎn)提取方法，其中， 在所述圖像為彩色圖像時(shí)， 在提取所述特征點(diǎn)候選位置的步驟之前，還包括以下步驟： 在所述特征點(diǎn)提取裝置，通過根據(jù)所述彩色圖像中的顏色通道的通道比率適應(yīng)性地?cái)U(kuò) 展各個(gè)顏色通道的動(dòng)態(tài)范圍來進(jìn)行光照補(bǔ)償。27. 根據(jù)權(quán)利要求26所述的特征點(diǎn)提取方法，其中， 進(jìn)行所述光照補(bǔ)償處理的步驟包括以下步驟： 在所述特征點(diǎn)提取裝置，對(duì)在所述彩色圖像中通道比率最高的顏色通道計(jì)算擴(kuò)展參數(shù) (α)和移動(dòng)參數(shù)(β);及 在所述特征點(diǎn)提取裝置，使各個(gè)顏色通道的像素?cái)U(kuò)展到所述擴(kuò)展參數(shù)(α)，且移動(dòng)到所 述移動(dòng)參數(shù)(β)。28. 根據(jù)權(quán)利要求18所述的特征點(diǎn)提取方法，其中， 在所述圖像為彩色圖像時(shí)， 在提取所述特征點(diǎn)候選位置的步驟之前，還包括以下步驟： 在所述特征點(diǎn)提取裝置，將所述圖像的空間從彩色空間轉(zhuǎn)換成黑白空間。29. 根據(jù)權(quán)利要求18所述的特征點(diǎn)提取方法，其中， 在提取所述特征點(diǎn)候選位置的步驟之前，還包括以下步驟： 在所述特征點(diǎn)提取裝置，將所述圖像正規(guī)化為預(yù)先設(shè)定的尺寸。30. -種用于分析內(nèi)容在線流通情況的圖像匹配系統(tǒng)，包括： 服務(wù)器計(jì)算設(shè)備，在圖像作為特征點(diǎn)候選位置提取邊角區(qū)域，在所述特征點(diǎn)候選位置 提取特征點(diǎn)，存儲(chǔ)所述特征點(diǎn);及 用戶計(jì)算設(shè)備，發(fā)送包括從圖像或所述圖像中提取的特征點(diǎn)的圖像檢索基本信息； 其中，所述服務(wù)器計(jì)算設(shè)備在預(yù)先存儲(chǔ)的特征點(diǎn)中檢索與從所述圖像檢索基本信息獲 得的檢索請(qǐng)求特征點(diǎn)匹配的特征點(diǎn)，監(jiān)測(cè)與預(yù)先存儲(chǔ)的特征點(diǎn)對(duì)應(yīng)的圖像的檢索次數(shù)。31. -種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，與硬件結(jié)合，存儲(chǔ)有指令，其中， 在通過特征點(diǎn)提取裝置的處理器執(zhí)行所述指令時(shí)，使所述處理器執(zhí)行以下操作： 在圖像作為特征點(diǎn)候選位置提取邊角區(qū)域;及 生成在所述特征點(diǎn)候選位置提取的特征點(diǎn)的特征點(diǎn)描述符。
【文檔編號(hào)】G06K9/62GK106067024SQ201610203408
【公開日】2016年11月2日
【申請(qǐng)日】2016年4月1日 公開號(hào)201610203408.8, CN 106067024 A, CN 106067024A, CN 201610203408, CN-A-106067024, CN106067024 A, CN106067024A, CN201610203408, CN201610203408.8
【發(fā)明人】趙仁濟(jì), 裴基赫
【申請(qǐng)人】息科安寶