一種圖片的匹配方法、搜索方法及其裝置制造方法
【專(zhuān)利摘要】本發(fā)明實(shí)施例提供的圖片的匹配方法、搜索方法及其裝置，分別提取至少兩張待匹配圖片中的多個(gè)局部特征，將多個(gè)局部特征中包含的特定局部特征進(jìn)行過(guò)濾或降權(quán)處理，特定的局部特征為在單個(gè)圖片中出現(xiàn)的平均次數(shù)大于設(shè)定閾值的局部特征，這類(lèi)特征即在圖片中容易重復(fù)出現(xiàn)的特征，計(jì)算經(jīng)過(guò)所述特定局部特征過(guò)濾或降權(quán)處理后的各待匹配圖片的局部特征的重合比例，確定所述待匹配圖片之間的相似性。本發(fā)明實(shí)施例在局部特征匹配方法的基礎(chǔ)上，對(duì)圖片中容易重復(fù)出現(xiàn)的局部特征進(jìn)行過(guò)濾或降權(quán)處理，能夠達(dá)到較高的匹配準(zhǔn)確率，相對(duì)于現(xiàn)有技術(shù)中幾何校驗(yàn)的方法，處理過(guò)程簡(jiǎn)單，內(nèi)存消耗少且效率較高。
【專(zhuān)利說(shuō)明】一種圖片的匹配方法、搜索方法及其裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像識(shí)別【技術(shù)領(lǐng)域】，尤其涉及一種圖片的匹配方法、搜索方法及其裝置。
【背景技術(shù)】
[0002]在互聯(lián)網(wǎng)上，有很多圖片可能會(huì)被不同的網(wǎng)站轉(zhuǎn)載，在轉(zhuǎn)載過(guò)程中每個(gè)網(wǎng)站可能都會(huì)對(duì)圖片進(jìn)行處理(例如縮放、裁剪、加水印、旋轉(zhuǎn)及各種PS等操作等)。將這些圖片內(nèi)容相似但經(jīng)過(guò)不同操作得到的圖片識(shí)別出來(lái)，在許多領(lǐng)域都可能用到，例如應(yīng)用在搜索、去重、過(guò)濾等相關(guān)產(chǎn)品中，例如應(yīng)用在以圖搜圖的產(chǎn)品中。
[0003]以搜索引擎為例，以前搜索引擎在進(jìn)行搜索時(shí)，只要給出足夠的關(guān)鍵詞就可以搜到想要的東西。但是對(duì)于圖片搜索來(lái)說(shuō)，如果用戶(hù)想要找到和一張圖片內(nèi)容相似的所有圖片，但是手頭沒(méi)有關(guān)鍵詞，只有“關(guān)鍵圖”，例如用戶(hù)手上已經(jīng)有一張圖片，想要找一張尺寸更大的，或是沒(méi)有水印的，或是PS處理之前的原圖；在這種情況和前提下，需要對(duì)用戶(hù)輸入的圖片(為了方便說(shuō)明，以下稱(chēng)為待查詢(xún)的圖片)，搜索與該圖片內(nèi)容相似的圖片(或者說(shuō)是與該圖片相匹配的圖片)作為搜索結(jié)果提供給用戶(hù)。
[0004]目前相似圖片識(shí)別技術(shù)中，使用比較多的是基于圖片局部特征的方法即:從待識(shí)別的圖片中提取大量局部特征，將待識(shí)別的圖片表示為局部特征的集合。比較兩幅圖片的相似度時(shí)，以局部特征集合的重合比例作為比較標(biāo)準(zhǔn)，當(dāng)兩個(gè)圖片的局部特征集合的重合比例高于某個(gè)固定閾值時(shí)則認(rèn)為兩幅圖片是相似(或者稱(chēng)之為相匹配)的。
[0005]由于局部特征是針對(duì)圖片中的一些局部特征點(diǎn)計(jì)算出來(lái)的，如果局部特征選擇不恰當(dāng)，那么基于局部特征匹配而搜出來(lái)的相似圖片可能是錯(cuò)誤圖片，錯(cuò)誤圖片與原圖在整體視覺(jué)上往往沒(méi)有任何相似性。
[0006]為了保證基于局部特征的匹配的相似圖片識(shí)別技術(shù)的準(zhǔn)確性，現(xiàn)有技術(shù)使用基于幾何校驗(yàn)的方法:當(dāng)兩幅圖片的局部特征匹配數(shù)量超過(guò)一定閾值后，進(jìn)一步對(duì)匹配特征點(diǎn)在圖像中的位置進(jìn)行校驗(yàn)，比如用隨機(jī)抽樣一致(RANdom Sample Consensus, RANSAC)方法判斷是否大多數(shù)點(diǎn)滿(mǎn)足某個(gè)仿射變換(affine transformat1n)關(guān)系。
[0007]但這種方法存在局部特征點(diǎn)數(shù)量要求高(數(shù)量太低無(wú)法得到準(zhǔn)確結(jié)果)，計(jì)算復(fù)雜度高又耗時(shí)，并且，在計(jì)算過(guò)程中需要保留大量的匹配關(guān)系和位置信息，計(jì)算過(guò)程需要消耗一定的內(nèi)存空間，另一方面，圖片中重復(fù)紋理等問(wèn)題會(huì)導(dǎo)致匹配的特征點(diǎn)在圖片中位于不同的位置，會(huì)導(dǎo)致幾何校驗(yàn)的失效。

【發(fā)明內(nèi)容】

[0008]鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的圖片的匹配方法、搜索方法及其裝置。
[0009]基于上述問(wèn)題，本發(fā)明實(shí)施例提供的一種圖片的匹配方法，包括:
[0010]分別提取至少兩張待匹配圖片中的多個(gè)局部特征；[0011]將所述多個(gè)局部特征中包含的特定局部特征進(jìn)行過(guò)濾或降權(quán)處理，所述特定局部特征為在單個(gè)圖片中出現(xiàn)的平均次數(shù)大于設(shè)定閾值的局部特征；
[0012]計(jì)算經(jīng)過(guò)所述特定局部特征過(guò)濾或降權(quán)處理后的各待匹配圖片的局部特征的重合比例，確定所述待匹配圖片之間的相似性。
[0013]本發(fā)明實(shí)施例提供的一種圖片的搜索方法，包括:
[0014]接收用戶(hù)輸入的待匹配圖片；
[0015]搜索與用戶(hù)輸入的所述待匹配圖片相關(guān)的相似圖片；
[0016]將搜索到的所述相似圖片作為搜索結(jié)果返回給用戶(hù)。
[0017]本發(fā)明實(shí)施例提供的一種圖片的匹配裝置，包括:
[0018]提取器，用于分別提取至少兩張待匹配圖片中的多個(gè)局部特征；
[0019]過(guò)濾/降權(quán)處理模塊，用于將所述多個(gè)局部特征中包含的特定局部特征進(jìn)行過(guò)濾或降權(quán)處理，所述特定局部特征為在單個(gè)圖片中出現(xiàn)的平均次數(shù)大于設(shè)定閾值的局部特征；
[0020]計(jì)算模塊，用于計(jì)算經(jīng)過(guò)所述特定局部特征過(guò)濾或降權(quán)處理后的各待匹配圖片的局部特征的重合比例；
[0021]相似判定模塊，用于根據(jù)重合比例，確定所述待匹配圖片之間的相似性。
[0022]本發(fā)明實(shí)施例提供的一種圖片的搜索裝置，包括:
[0023]接收接口，用于接收用戶(hù)輸入的待匹配圖片；
[0024]搜索模塊，用于搜索與用戶(hù)輸入的所述待匹配圖片相關(guān)的相似的圖片；
[0025]發(fā)送接口，用于將搜索到的所述相似圖片作為搜索結(jié)果返回給用戶(hù)。
[0026]本發(fā)明實(shí)施例的有益效果包括:
[0027]本發(fā)明實(shí)施例提供的圖片的匹配方法、搜索方法及其裝置，分別提取至少兩張待匹配圖片中的多個(gè)局部特征，將多個(gè)局部特征中包含的特定局部特征進(jìn)行過(guò)濾或降權(quán)處理，特定的局部特征為在單個(gè)圖片中出現(xiàn)的平均次數(shù)大于設(shè)定閾值的局部特征，這類(lèi)特征即在圖片中容易重復(fù)出現(xiàn)的特征，計(jì)算經(jīng)過(guò)所述特定局部特征過(guò)濾或降權(quán)處理后的各待匹配圖片的局部特征的重合比例，確定所述待匹配圖片之間的相似性。本發(fā)明實(shí)施例在局部特征匹配方法的基礎(chǔ)上，對(duì)圖片中容易重復(fù)出現(xiàn)的局部特征進(jìn)行過(guò)濾或降權(quán)處理，能夠達(dá)到較高的匹配準(zhǔn)確率，相對(duì)于現(xiàn)有技術(shù)中幾何校驗(yàn)的方法，處理過(guò)程簡(jiǎn)單，內(nèi)存消耗少且效率較高。
[0028]上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的【具體實(shí)施方式】。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0029]通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中:
[0030]圖1為本發(fā)明實(shí)施例提供的圖片的匹配方法的流程圖；
[0031]圖2為本發(fā)明實(shí)施例提供的生成特定的局部特征的列表的流程圖；[0032]圖3為本發(fā)明實(shí)施例提供的圖片搜索方法的流程圖；
[0033]圖4為本發(fā)明實(shí)施例提供的圖片的匹配裝置的結(jié)構(gòu)示意圖；
[0034]圖5為本發(fā)明實(shí)施例提供的圖片的搜索裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0035]下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi)，并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0036]本發(fā)明實(shí)施例提供的一種圖片的匹配方法，如圖1所示，包括以下步驟:
[0037]S101、分別提取至少兩張待匹配圖片中的多個(gè)局部特征；
[0038]S102、將所述多個(gè)局部特征中包含的特定局部特征進(jìn)行過(guò)濾或降權(quán)處理，所述特定局部特征為在單個(gè)圖片中出現(xiàn)的平均次數(shù)大于設(shè)定閾值的局部特征；
[0039]S103、計(jì)算經(jīng)過(guò)特定局部特征過(guò)濾或降權(quán)處理后的各待匹配圖片的局部特征的重合比例，確定所述待匹配圖片之間的相似性。
[0040]下面分別對(duì)上述各步驟進(jìn)行詳細(xì)的說(shuō)明。
[0041]上述流程中，如果多個(gè)局部特征中未包含特定的局部特征，本發(fā)明實(shí)施例提供的圖片的匹配方法中，可直接計(jì)算該至少兩張待匹配的圖片局部特征的重合比例，進(jìn)而判斷兩張圖片是否為相同圖片，該步驟的具體實(shí)施過(guò)程屬于現(xiàn)有技術(shù)，在此不再贅述。
[0042]進(jìn)一步地，S102中，多個(gè)局部特征中是否包含特定的局部特征，具體可以通過(guò)下述方式實(shí)現(xiàn):
[0043]使用多個(gè)局部特征，在該特定的局部特征集合中進(jìn)行查詢(xún)，如果該集合中包含，則確定該局部特征為特定的局部特征。
[0044]在本發(fā)明實(shí)施例中，特定的局部特征即在單個(gè)圖片中出現(xiàn)平均次數(shù)較大的那些局部特征，這些局部特征容易在單張圖片中重復(fù)出現(xiàn)。發(fā)明人觀察發(fā)現(xiàn)，這類(lèi)局部特征大多對(duì)應(yīng)的是圖片中的格子衫、大廈外部窗戶(hù)、重復(fù)的圓點(diǎn)、文字區(qū)域等等，如果這類(lèi)區(qū)域參與局部特征重合比例的計(jì)算，顯然會(huì)降低圖片匹配的準(zhǔn)確率。
[0045]為此，本發(fā)明實(shí)施例中特定的局部特征集合，如圖2所示，可以預(yù)先通過(guò)下述方式生成:
[0046]S201、在離線(xiàn)狀態(tài)下，預(yù)先對(duì)數(shù)據(jù)庫(kù)中的所有圖片，分別提取設(shè)定數(shù)量的局部特征；
[0047]離線(xiàn)預(yù)處理的這種方式，可以提高圖片匹配過(guò)程的速度和效率。
[0048]提取局部特征的方法與現(xiàn)有技術(shù)相同，提取局部特征的數(shù)量例如可以為100?200 個(gè)。
[0049]S202、對(duì)于提取的每個(gè)局部特征，統(tǒng)計(jì)該局部特征在單個(gè)圖片中出現(xiàn)的平均次數(shù)；
[0050]S203、判斷統(tǒng)計(jì)出的平均次數(shù)是否超出設(shè)定的第二閾值，若是，執(zhí)行下述步驟S204，若否，執(zhí)行下述步驟S206 ；
[0051]S204、確定該局部特征為特定的局部特征；[0052]S205、將確定的該特定的局部特征放入特定的局部特征集合中保存。
[0053]S206、結(jié)束流程。
[0054]經(jīng)過(guò)上述流程后，特定的局部特征集合中保存有多個(gè)特定的局部特征以便查詢(xún)。
[0055]進(jìn)一步地，上述S202中，可按照下述公式統(tǒng)計(jì)該局部特征在單個(gè)圖片中出現(xiàn)的平
均次數(shù):
[0056]
【權(quán)利要求】
1.一種圖片的匹配方法，其特征在于，包括: 分別提取至少兩張待匹配圖片中的多個(gè)局部特征； 將所述多個(gè)局部特征中包含的特定局部特征進(jìn)行過(guò)濾或降權(quán)處理，所述特定局部特征為在單個(gè)圖片中出現(xiàn)的平均次數(shù)大于設(shè)定閾值的局部特征； 計(jì)算經(jīng)過(guò)所述特定局部特征過(guò)濾或降權(quán)處理后的各待匹配圖片的局部特征的重合比例，確定所述待匹配圖片之間的相似性。
2.如權(quán)利要求1所述的方法，其特征在于，計(jì)算經(jīng)過(guò)所述特定局部特征過(guò)濾或降權(quán)處理后的各待匹配圖片的局部特征的重合比例，確定所述待匹配圖片之間的相似性，包括: 當(dāng)經(jīng)過(guò)所述特定局部特征過(guò)濾或降權(quán)處理后的各待匹配圖片的局部特征的重合比例大于設(shè)定的第一閾值時(shí)，確定所述各待匹配圖片相似。
3.如權(quán)利要求1或2所述的方法，其特征在于，進(jìn)一步包括: 預(yù)先對(duì)數(shù)據(jù)庫(kù)中的所有圖片中的局部特征進(jìn)行統(tǒng)計(jì)，得到代表該局部特征在單個(gè)圖片中出現(xiàn)的平均次數(shù)的統(tǒng)計(jì)值； 當(dāng)統(tǒng)計(jì)出的平均次數(shù)超出設(shè)定的閾值時(shí)，確定所述局部特征為所述特定局部特征。
4.如權(quán)利要求1或2或3所述的方法，其特征在于，進(jìn)一步還包括: 將確定出的所述特定的局部特征生成對(duì)應(yīng)的特定局部特征集合并保存； 所述多個(gè)局部特征中包含的特定局部特征，通過(guò)查詢(xún)所述特定局部特征集合確定。
5.一種圖片的搜索方法，其特征在于，包括: 接收用戶(hù)輸入的待匹配圖片； 搜索與用戶(hù)輸入的所述待匹配圖片相關(guān)的相似圖片； 將搜索到的所述相似圖片作為搜索結(jié)果返回給用戶(hù)。
6.一種圖片的匹配裝置，其特征在于，包括: 提取器，用于分別提取至少兩張待匹配圖片中的多個(gè)局部特征； 過(guò)濾/降權(quán)處理模塊，用于將所述多個(gè)局部特征中包含的特定局部特征進(jìn)行過(guò)濾或降權(quán)處理，所述特定局部特征為在單個(gè)圖片中出現(xiàn)的平均次數(shù)大于設(shè)定閾值的局部特征； 計(jì)算模塊，用于計(jì)算經(jīng)過(guò)所述特定局部特征過(guò)濾或降權(quán)處理后的各待匹配圖片的局部特征的重合比例； 相似判定模塊，用于根據(jù)重合比例，確定所述待匹配圖片之間的相似性。
7.如權(quán)利要求6所述的裝置，其特征在于，所述相似判定模塊，具體用于當(dāng)經(jīng)過(guò)所述特定局部特征過(guò)濾或降權(quán)處理后的各待匹配圖片的局部特征的重合比例大于設(shè)定的第一閾值時(shí)，確定所述各待匹配圖片相似。
8.如權(quán)利要求6或7所述的裝置，其特征在于，還包括:特定局部特征確定模塊，用于預(yù)先對(duì)數(shù)據(jù)庫(kù)中的所有圖片中的局部特征進(jìn)行統(tǒng)計(jì)，得到代表該局部特征在單個(gè)圖片中出現(xiàn)的平均次數(shù)的統(tǒng)計(jì)值；當(dāng)統(tǒng)計(jì)出的平均次數(shù)超出設(shè)定的閾值時(shí)，確定所述局部特征為所述特定局部特征。
9.如權(quán)利要求6或7或8所述的裝置，其特征在于，還包括:特定局部特征庫(kù)； 所述特定局部特征確定模塊，還用于將確定出的所述特定的局部特征生成對(duì)應(yīng)的特定局部特征集合； 所述特定局部特征庫(kù)，用于保存所述特定局部特征集合；所述過(guò)濾/降權(quán)處理模塊，進(jìn)一步用于通過(guò)查詢(xún)所述特定局部特征集合確定所述多個(gè)局部特征中包含的特定局部特征。
10.一種圖片的搜索裝置，其特征在于，包括: 接收接口，用于接收用戶(hù)輸入的待匹配圖片； 搜索模塊，用于搜索與用戶(hù)輸入的所述待匹配圖片相關(guān)的相似的圖片； 發(fā)送接口，用于 將搜索到的所述相似圖片作為搜索結(jié)果返回給用戶(hù)。
【文檔編號(hào)】G06F17/30GK104036281SQ201410287038
【公開(kāi)日】2014年9月10日 申請(qǐng)日期:2014年6月24日 優(yōu)先權(quán)日:2014年6月24日
【發(fā)明者】邱學(xué)侃, 胡金輝, 韓玉剛 申請(qǐng)人:北京奇虎科技有限公司, 奇智軟件（北京）有限公司