圖像檢索方法及裝置制造方法
【專利摘要】本發(fā)明實施例提供一種圖像檢索方法及裝置,該方法包括:將查詢圖像的特征點與視覺單詞列表的視覺單詞匹配,獲得第一視覺單詞集合;將候選圖像的特征點與視覺單詞列表的視覺單詞匹配,獲得第二視覺單詞集合;確定第三視覺單詞集合;針對第三視覺單詞集合中的每一個視覺單詞,確定與第三視覺單詞集合中的視覺單詞匹配的候選圖像的特征點集合以及查詢圖像的特征點集合,確定候選圖像的特征點集合與查詢圖像的特征點集合的空間一致性相似度;將空間一致性相似度相加,獲得候選圖像與查詢圖像的空間一致性相似度;根據(jù)空間一致性相似度確定查詢圖像的目標(biāo)檢索圖像。本實施例提供的圖像檢索方法及裝置可以提高圖像檢索的準(zhǔn)確性。
【專利說明】圖像檢索方法及裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明實施例涉及通信技術(shù),尤其涉及一種圖像檢索方法及裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)和多媒體技術(shù)的發(fā)展,多媒體信息特別是圖像信息正以爆炸性的速度在產(chǎn)生和傳播。圖像檢索技術(shù)能夠使用戶在各種圖像信息中快速準(zhǔn)確地查找、訪問所需圖像,在網(wǎng)絡(luò)多媒體領(lǐng)域具有廣泛的應(yīng)用前景。
[0003]現(xiàn)有技術(shù)中,較為常用的圖像檢索技術(shù)主要為基于內(nèi)容的圖像檢索(Content-Based Image Retrieval,簡稱 CBIR),而其中的視覺詞袋(Bag Of visualWords,簡稱BOW)方法是檢索效果最好的方法之一。視覺詞袋方法,是指在給定查詢圖像的前提下,提取查詢圖像的特征點,將這些特征點與視覺單詞表匹配,根據(jù)查詢圖像和數(shù)據(jù)庫中各幅候選圖像特征點的匹配關(guān)系,并利用特征點間的幾何關(guān)系,確定查詢圖像和存儲在圖像庫的各候選圖像的相似性,從而找出符合用戶要求的圖像。
[0004]然而,在實際的操作過程中,對于終端拍攝或手工繪制的查詢圖像,可能由于人為因素具有不穩(wěn)定的特征點,可能導(dǎo)致查找到的圖像不準(zhǔn)確。
【發(fā)明內(nèi)容】
[0005]本發(fā)明提供一種圖像檢索方法及裝置,用以提高圖像檢索的準(zhǔn)確性。
[0006]第一方面,本發(fā)明實施例提供一種圖像檢索方法,包括:
[0007]將查詢圖像的特征點與視覺單詞列表的視覺單詞匹配,獲得第一視覺單詞集合,所述第一視覺單詞集合包含與所述查詢圖像的特征點匹配的視覺單詞;
[0008]將候選圖像的特征點與所述視覺單詞列表的視覺單詞匹配,獲得第二視覺單詞集合,所述第二視覺單詞集合包含與所述候選圖像的特征點匹配的視覺單詞;
[0009]確定第三視覺單詞集合,所述第三視覺單詞集合包含同時存在于第一視覺單詞集合和第二視覺單詞集合的視覺單詞;
[0010]針對所述第三視覺單詞集合中的每一個視覺單詞,確定與所述第三視覺單詞集合中的視覺單詞匹配的候選圖像的特征點集合以及查詢圖像的特征點集合,以及確定所述候選圖像的特征點集合與所述查詢圖像的特征點集合的空間一致性相似度;將針對所述第三視覺單詞集合中的每一個視覺單詞確定的所述空間一致性相似度相加,獲得所述候選圖像與所述查詢圖像的空間一致性相似度;
[0011]根據(jù)所述查詢圖像與各所述候選圖像的空間一致性相似度確定所述查詢圖像的目標(biāo)檢索圖像。
[0012]結(jié)合第一方面,在第一方面的第一種可能的實現(xiàn)方式中,所述確定所述候選圖像的特征點集合與所述查詢圖像的特征點集合的空間一致性相似度,包括:
[0013]針對與所述第三視覺單詞集合中的一個視覺單詞匹配的所述候選圖像特征點集合中的每個候選圖像的特征點,分別確定每個候選圖像的特征點的鄰近特征點與所述查詢圖像特征點集合中的各個查詢圖像的特征點的鄰近特征點匹配的鄰近特征點對的數(shù)量;
[0014]將針對所述候選圖像特征點集合中的每個候選圖像的特征點確定的鄰近特征點對的數(shù)量相加,獲得所述候選圖像的特征點集合與查詢圖像的特征點集合的空間一致性相似度。
[0015]結(jié)合第一方面的第一種可能的實現(xiàn)方式,在第一方面的第二種可能的實現(xiàn)方式中,所述分別確定每個候選圖像的特征點的鄰近特征點與所述查詢圖像特征點集合中的各個查詢圖像的特征點的鄰近特征點匹配的鄰近特征點對的數(shù)量之前,還包括:
[0016]在查詢圖像特征點集合中分別確定各個所述查詢圖像的特征點的鄰近特征點;
[0017]在候選圖像特征點集合中分別確定各個所述候選圖像的特征點的鄰近特征點。
[0018]結(jié)合第一方面的第二種可能的實現(xiàn)方式,在第一方面的第三種可能的實現(xiàn)方式中,所述在查詢圖像特征點集合中分別確定各個所述查詢圖像的特征點的鄰近特征點,包括:根據(jù)預(yù)設(shè)的與所述查詢圖像的特征點的距離,確定各個所述查詢圖像的特征點的鄰近特征點;
[0019]和/ 或,
[0020]所述在候選圖像特征點集合中分別確定各個所述候選圖像的特征點的鄰近特征點包括:根據(jù)預(yù)設(shè)的與所述候選圖像的特征點的距離,確定各個所述候選圖像的特征點的鄰近特征點。
[0021]結(jié)合第一方面的第一種至第三種任一種可能的實現(xiàn)方式,在第一方面的第四種可能的實現(xiàn)方式中,所述針對與所述第三視覺單詞集合中的一個視覺單詞匹配的所述候選圖像特征點集合中的每個候選圖像的特征點,分別確定每個候選圖像的特征點的鄰近特征點與所述查詢圖像特征點集合中的各個查詢圖像的特征點的鄰近特征點匹配的鄰近特征點對的數(shù)量包括:
[0022]將所述候選圖像的特征點的鄰近特征點與所述視覺單詞列表的視覺單詞匹配,獲得第四視覺單詞集合,所述第四視覺單詞集合包含與所述候選圖像的特征點的鄰近特征點匹配的視覺單詞;
[0023]將所述查詢圖像的各個特征點的鄰近特征點與所述視覺單詞列表的視覺單詞匹配,獲得第五視覺單詞集合,所述第五視覺單詞集合包含所有與所述查詢圖像的特征點的鄰近特征點匹配的視覺單詞;
[0024]確定第六視覺單詞集合,所述第六視覺單詞集合包含同時存在于第四視覺單詞集合和第五單詞集合的視覺單詞,確定候選圖像的特征點的鄰近特征點與各個查詢圖像的特征點的鄰近特征點匹配第六視覺單詞集合中的視覺單詞的鄰近特征點對的數(shù)量。
[0025]結(jié)合第一方面的第四種可能的實現(xiàn)方式,在第一方面的第五種可能的實現(xiàn)方式中,所述將針對所述候選圖像特征點集合中的每個候選圖像的特征點確定的鄰近特征點對的數(shù)量相加,獲得所述候選圖像的特征點集合與查詢圖像的特征點集合的空間一致性相似度包括:
[0026]在與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合中,將匹配鄰近特征點對的數(shù)量最大的候選圖像的特征點和查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征點;
[0027]在未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點中,重復(fù)執(zhí)行以下動作,直至不存在未匹配的候選圖像的特征點和/或不存在未匹配的查詢圖像的特征點:將匹配鄰近特征點對的數(shù)量最大的未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征
占.[0028]將與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合中,所有相匹配的候選圖像的特征點和查詢圖像的特征點的匹配鄰近特征點對的數(shù)量相加,作為與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合的空間一致性相似度。
[0029]第二方面,本發(fā)明實施例提供一種圖像檢索裝置,包括:
[0030]第一匹配模塊,用于將查詢圖像的特征點與視覺單詞列表的視覺單詞匹配,獲得第一視覺單詞集合,所述第一視覺單詞集合包含與所述查詢圖像的特征點匹配的視覺單詞;
[0031]第二匹配模塊,用于將候選圖像的特征點與所述視覺單詞列表的視覺單詞匹配,獲得第二視覺單詞集合,所述第二視覺單詞集合包含與所述候選圖像的特征點匹配的視覺單詞;
[0032]集合確定模塊,用于確定第三視覺單詞集合,所述第三視覺單詞集合包含同時存在于第一視覺單詞集合和第二視覺單詞集合的視覺單詞;
[0033]處理模塊,用于針對所述第三視覺單詞集合中的每一個視覺單詞,確定與所述第三視覺單詞集合中的視覺單詞匹配的候選圖像的特征點集合以及查詢圖像的特征點集合,以及確定所述候選圖像的特征點集合與所述查詢圖像的特征點集合的空間一致性相似度;將針對所述第三視覺單詞集合中的每一個視覺單詞確定的所述空間一致性相似度相加,獲得所述候選圖像與所述查詢圖像的空間一致性相似度;
[0034]結(jié)果輸出模塊,用于根據(jù)所述查詢圖像與各所述候選圖像的空間一致性相似度確定所述查詢圖像的目標(biāo)檢索圖像。
[0035]結(jié)合第二方面,在第二方面的第一種可能的實現(xiàn)方式中,所述處理模塊包括:
[0036]鄰近特征點對確定單元,用于針對與所述第三視覺單詞集合中的一個視覺單詞匹配的所述候選圖像特征點集合中的每個候選圖像的特征點,分別確定每個候選圖像的特征點的鄰近特征點與所述查詢圖像特征點集合中的各個查詢圖像的特征點的鄰近特征點匹配的鄰近特征點對的數(shù)量;
[0037]加和單元,用于將針對所述候選圖像特征點集合中的每個候選圖像的特征點確定的鄰近特征點對的數(shù)量相加,獲得所述候選圖像的特征點集合與查詢圖像的特征點集合的空間一致性相似度。
[0038]結(jié)合第二方面的第一種可能的實現(xiàn)方式,在第二方面的第二種可能的實現(xiàn)方式中,所述裝置還包括:
[0039]第一鄰近特征點確定模塊,用于在查詢圖像特征點集合中分別確定各個所述查詢圖像的特征點的鄰近特征點;
[0040]第二鄰近特征點確定模塊,用于在候選圖像特征點集合中分別確定各個所述候選圖像的特征點的鄰近特征點。
[0041]結(jié)合第二方面的第二種可能的實現(xiàn)方式,在第二方面的第三種可能的實現(xiàn)方式中,所述第一鄰近特征點確定模塊具體用于:
[0042]根據(jù)預(yù)設(shè)的與所述查詢圖像的特征點的距離,確定各個所述查詢圖像的特征點的鄰近特征點;
[0043]和/ 或,
[0044]所述第二鄰近特征點確定模塊具體用于:根據(jù)預(yù)設(shè)的與所述候選圖像的特征點的距離,確定各個所述候選圖像的特征點的鄰近特征點。
[0045]結(jié)合第二方面的第一種至第三種任一種可能的實現(xiàn)方式,在第二方面的第四種可能的實現(xiàn)方式中,所述鄰近特征點對確定單元包括:
[0046]第一鄰近特征點匹配子單元,用于將所述候選圖像的特征點的鄰近特征點與所述視覺單詞列表的視覺單詞匹配,獲得第四視覺單詞集合,所述第四視覺單詞集合包含與所述候選圖像的特征點的鄰近特征點匹配的視覺單詞;
[0047]第二鄰近特征點匹配子單元,用于將所述查詢圖像的各個特征點的鄰近特征點與所述視覺單詞列表的視覺單詞匹配,獲得第五視覺單詞集合,所述第五視覺單詞集合包含所有與所述查詢圖像的特征點的鄰近特征點匹配的視覺單詞;
[0048]鄰近特征點對確定子單元,用于確定第六視覺單詞集合,所述第六視覺單詞集合包含同時存在于第四視覺單詞集合和第五單詞集合的視覺單詞,確定候選圖像的特征點的鄰近特征點與各個查詢圖像的特征點的鄰近特征點匹配第六視覺單詞集合中的視覺單詞的鄰近特征點對的數(shù)量。
[0049]結(jié)合第二方面的第四種可能的實現(xiàn)方式,在第二方面的第五種可能的實現(xiàn)方式中,所述加和單元包括:
[0050]第一特征點匹配子單元,用于在與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合中,將匹配鄰近特征點對的數(shù)量最大的候選圖像的特征點和查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征
占.[0051]第二特征點匹配子單元,用于在未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點中,重復(fù)執(zhí)行以下動作,直至不存在未匹配的候選圖像的特征點和/或不存在未匹配的查詢圖像的特征點:將匹配鄰近特征點對的數(shù)量最大的未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征點;
[0052]相似度獲取子單元,用于將與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合中,所有相匹配的候選圖像的特征點和查詢圖像的特征點的匹配鄰近特征點對的數(shù)量相加,作為與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合的空間一致性相似度。
[0053]第三方面,本發(fā)明實施例提供一種圖像檢索裝置,包括處理器和存儲器,所述存儲器存儲執(zhí)行指令,當(dāng)所述圖像檢索裝置運行時,所述處理器與所述存儲器之間通信,所述處理器執(zhí)行所述執(zhí)行指令使得所述圖像檢索裝置執(zhí)行如第一方面,第一方面的第一種至第五種任一種可能的實現(xiàn)方式。
[0054]本發(fā)明實施例提供的圖像檢索方法及裝置,該方法通過分別確定各候選圖像與查詢圖像的空間一致性相似度。通過針對每幅候選圖像,根據(jù)與查詢圖像的特征點匹配的第一視覺單詞集合的視覺單詞以及與候選圖像的特征點匹配的第二視覺單詞的視覺單詞,獲得同時存在于第一視覺單詞集合和第二視覺單詞集合的視覺單詞,也就是獲得與候選圖像的特征點和查詢圖像的特征點均匹配的視覺單詞,該與候選圖像的特征點和查詢圖像的特征點均匹配的視覺單詞組成了第三視覺單詞集合。從而各候選圖像和查詢圖像中與第三視覺單詞集合中的視覺單詞不匹配的特征點就并沒有包含在查詢圖像特征點集合和候選圖像特征點集合中,針對第三視覺單詞集合中的每一個視覺單詞,獲得候選圖像的特征點與該視覺單詞匹配的候選圖像特征點集合,以及查詢圖像的特征點與第三視覺單詞集合中的同一個視覺單詞匹配的查詢圖像特征點集合,也就無需在后續(xù)相似度的計算中使用這些不同時與同一個視覺單詞匹配的特征點,可以提高空間一致性相似度計算的準(zhǔn)確性,根據(jù)空間一致性相似度的聞低在各幅候選圖像中確定查詢圖像的目標(biāo)檢索圖像,可以提聞檢索的準(zhǔn)確性。
【專利附圖】
【附圖說明】
[0055]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
[0056]圖1為本發(fā)明圖像檢索方法實施例一的流程示意圖;
[0057]圖2為本發(fā)明圖像檢索方法中獲取候選圖像與查詢圖像的空間一致性相似度的方法的流程示意圖;
[0058]圖3為本發(fā)明圖像檢索方法中空間一致性相似度的確定方法的流程示意圖;
[0059]圖4為本發(fā)明圖像檢索裝置實施例一的結(jié)構(gòu)示意圖;
[0060]圖5為本發(fā)明圖像檢索裝置實施例二的結(jié)構(gòu)示意圖;
[0061]圖6為本發(fā)明圖像檢索裝置實施例三的結(jié)構(gòu)示意圖。
【具體實施方式】
[0062]下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例。基于本發(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護(hù)的范圍。[0063]圖1為本發(fā)明圖像檢索方法實施例一的流程示意圖。本實施例的執(zhí)行主體可以為具有數(shù)據(jù)處理功能的設(shè)備執(zhí)行,該設(shè)備可以是計算機、服務(wù)器或包括處理器的智能終端等。如圖1所示,本發(fā)明提供的圖像檢索方法包括以下步驟:
[0064]SlOl:將查詢圖像的特征點與視覺單詞列表的視覺單詞匹配,獲得第一視覺單詞集合,第一視覺單詞集合包含與查詢圖像的特征點匹配的視覺單詞。
[0065]其中,查詢圖像為待查詢的給定圖像。
[0066]在具體實現(xiàn)過程中,在上述步驟SlOl之前,可先構(gòu)建視覺單詞列表,主要步驟為:提取數(shù)據(jù)庫所有圖像中的特征點。具體的,可將每個圖像劃分為多個局部區(qū)域像素塊,特征點則是對圖像的每個局部區(qū)域像素塊的描述,包括局部區(qū)域像素塊的位置描述與局部區(qū)域像素塊的特定特征的描述。其中,位置描述可以用局部區(qū)域中各特征點的坐標(biāo)表示,局部區(qū)域像素塊的特定特征的描述可以包括圖像局部區(qū)域像素塊的顏色特征、紋理特征、空間關(guān)系特征等特征中的一種或多種,本發(fā)明在此不作特別限制。上述顏色特征、紋理特征、空間關(guān)系特征等特征中的一種或多種組成描述局部區(qū)域像素塊中各特征點的特征向量。
[0067]本領(lǐng)域技術(shù)人員可以理解,本發(fā)明實施例中涉及的候選圖像,不僅可以是現(xiàn)有數(shù)據(jù)庫的圖像,還可以為任意的在步驟SlOl之前已經(jīng)確定的非數(shù)據(jù)庫里的圖像,本發(fā)明實施例在此不做特別限制。具體的確定候選圖像的方法屬于現(xiàn)有技術(shù),本發(fā)明實施例在些不再詳述。此外,對每個特征點的特征向量采用現(xiàn)有的各種聚類運算方法進(jìn)行聚類運算,得到的聚類運算結(jié)果為視覺單詞,所有視覺單詞構(gòu)成視覺單詞列表。
[0068]具體的,對于查詢圖像的特征點的確定,在步驟SlOl之前還包括以下步驟,首先確定查詢圖像的所有特征點,確定查詢圖像的特征點的方法與前述確定數(shù)據(jù)庫中每個圖像的特征點的方法一致,本發(fā)明實施例在此不再詳述。在確定查詢圖像的所有特征點之后,可將查詢圖像的所有特征點和視覺單詞列表的視覺單詞匹配,獲得第一視覺單詞集合,其中,第一視覺單詞集合包含與查詢圖像的特征點匹配的視覺單詞。
[0069]例如,提取的查詢圖像的特征點共有10個,其中第I至第3個查詢圖像的特征點匹配視覺單詞列表的視覺單詞A,第4至第6個查詢圖像的特征點匹配視覺單詞列表的視覺單詞B,第7個至第9個查詢圖像的特征點匹配視覺單詞列表的視覺單詞C,而第10個查詢圖像的特征點沒有與其匹配的視覺單詞,則第I個至第9個查詢圖像的特征點確定為查詢圖像的特征點,而由于第10個查詢圖像的特征點沒有與其匹配的視覺單詞,因此不能作為查詢圖像的特征點。通過上述步驟從而獲得與查詢圖像的特征點匹配的第一視覺單詞集合,該第一視覺單詞集合包括與查詢圖像的特征點匹配的視覺單詞A、B和C。
[0070]此外,本步驟還獲得了查詢圖像的所有特征點中,分別與視覺單詞列表中的視覺單詞A、B和C匹配的查詢圖像的特征點。
[0071]S102、將候選圖像的特征點與視覺單詞列表的視覺單詞匹配,獲得第二視覺單詞集合,第二視覺單詞集合包含與候選圖像的特征點匹配的視覺單詞。
[0072]具體地,針對候選圖像在執(zhí)行此步驟之前,首先確定該候選圖像的所有特征點。確定候選圖像的特征點的方法與前述確定數(shù)據(jù)庫中每個圖像的特征點的方法一致,本發(fā)明實施例在此不再詳述。
[0073]在確定候選圖像的特征點之后,再將確定的候選圖像的特征點與視覺單詞列表中的各個視覺單詞匹配,獲得第二視覺單詞集合,其中,第二視覺單詞集合包含與候選圖像的特征點匹配的視覺單詞。
[0074]例如,確定候選圖像I的所有特征點共有10個,并將候選圖像I的所有特征點與視覺單詞列表中的各個視覺單詞匹配,得到第2個至第3個特征點匹配視覺單詞列表的視覺單詞A,第4個至第6個特征點匹配視覺單詞列表的視覺單詞C,第7個至第8個特征點匹配視覺單詞列表的視覺單詞E,從而獲得與候選圖像I的特征點匹配的第二視覺單詞集合,包含視覺單詞A、C和E。
[0075]此外,本步驟還獲得了候選圖像I的所有特征點中,分別與視覺單詞列表的視覺單詞A、C和E匹配的候選圖像I的特征點。
[0076]S103、確定第三視覺單詞集合,第三視覺單詞集合包含同時存在于第一視覺單詞集合和第二視覺單詞集合的視覺單詞。
[0077]具體的,根據(jù)SlOl和S102,獲得與候選圖像I的特征點和查詢圖像的特征點均匹配的視覺單詞為A和C,也就是獲得同時存在于第一視覺單詞集合和第二視覺單詞集中的視覺單詞為A和C,即視覺單詞A和C組成了第三視覺單詞。
[0078]S104、針對第三視覺單詞集合中的每一個視覺單詞,確定與第三視覺單詞集合中的視覺單詞匹配的候選圖像的特征點集合以及查詢圖像的特征點集合。
[0079]具體的,根據(jù)步驟S102以及S103,獲得候選圖像I的特征點與視覺單詞A匹配的候選圖像特征點集合Hl,包括候選圖像I的第2個至第3個特征點;同時獲得候選圖像I的特征點與視覺單詞C匹配的候選圖像特征點集合H2,包括候選圖像I的第4個至第6個特征點。
[0080]對于查詢圖像,根據(jù)步驟SlOl以及S103,獲得查詢圖像的特征點與視覺單詞A匹配的查詢圖像特征點集合Cl,包括查詢圖像的第I個至第3個特征點;同時獲得查詢圖像的特征點與視覺單詞C匹配的查詢圖像特征點集合C2,包括查詢圖像的第7個至第9個特征點。
[0081]S105、確定候選圖像的特征點集合與查詢圖像的特征點集合的空間一致性相似度。
[0082]具體的,如上所述,對于候選圖像特征點集合H1,其匹配的是視覺單詞為A,因此,確定與視覺單詞A匹配的查詢圖像特征點集合為特征點集合Cl。即,在本步驟中確定候選圖像特征點集合Hl與查詢圖像特征點集合Cl的空間一致性相似度SI,以及確定候選圖像特征點集合H2與查詢圖像特征點集合C2的空間一致性相似度S2。
[0083]S106、將針對第三視覺單詞集合中的每一個視覺單詞確定的空間一致性相似度相力口,獲得候選圖像與查詢圖像的空間一致性相似度。
[0084]具體的,將上述步驟105中獲得的針對與第三視覺單詞集合中的每一個視覺單詞匹配的候選圖像特征點集合和與同一個視覺單詞匹配的查詢圖像特征點集合的空間一致性相似度相加,獲得候選圖像與查詢圖像的空間一致性相似度。以步驟S105中的例子為例,本步驟中,將空間一致性相似度SI和空間一致性相似度S2相加,獲取候選圖像I與查詢圖像的空間一致性相似度。
[0085]再次執(zhí)行步驟S102至步驟S106獲取查詢圖像與各個候選圖像的空間一致性相似度,比如執(zhí)行步驟S102確定候選圖像2的所有特征點共有10個,并將候選圖像2的所有特征點與視覺單詞列表中的各個視覺單詞匹配,得到第2個至第3個特征點匹配視覺單詞A,第4個至第7個特征點匹配視覺單詞B,第8個至第10個特征點匹配視覺單詞D,而第I個特征點沒有與其匹配的視覺單詞,從而獲得與候選圖像2的特征點匹配的視覺單詞為A、B和D。也就是獲得與候選圖像2的特征點匹配的第二視覺單詞集合,該第二視覺單詞集合包含視覺單詞為A、B和D,并在步驟S103中獲得包含候選圖像2的特征點和查詢圖像的特征點均匹配的視覺單詞為A、B的第三視覺單詞集合;以及在步驟S104中獲得候選圖像2的特征點與第三視覺單詞集合的視覺單詞A匹配的候選圖像特征點集合H3,包括候選圖像2的第2個至第3個特征點;同時獲得候選圖像2的特征點與第三視覺單詞集合的視覺單詞B匹配的候選圖像特征點集合H4,包括候選圖像2的第4個至第7個特征點,以及獲得查詢圖像的特征點與第三視覺單詞集合的視覺單詞A匹配的查詢圖像特征點集合Cl,包括查詢圖像的第I個至第3個特征點;以及獲得查詢圖像的特征點與第三視覺單詞集合的視覺單詞B匹配的查詢圖像特征點集合C3,包括查詢圖像的第4個至第6個特征點。
[0086]在執(zhí)行步驟S106中,計算候選圖像特征點集合H3與查詢圖像特征點集合Cl的空間一致性相似度S3,以及計算候選圖像特征點集合H4與查詢圖像特征點集合C3的空間一致性相似度S4,并將空間一致性相似度S3和空間一致性相似度S4相加,獲取候選圖像2與查詢圖像的空間一致性相似度。
[0087]對于其它的候選圖像,本發(fā)明實施例在此不再一一詳述。
[0088]因此,參考上面的描述,對于一個候選圖像而言,與該候選圖像的特征點和與查詢圖像的特征點同時匹配的任一視覺單詞被稱為第三視覺單詞集合的視覺單詞。而該第三視覺單詞集合的視覺單詞分別對應(yīng)一個查詢圖像特征點集合以及一個候選圖像特征點集合。如果與該候選圖像的特征點和與查詢圖像的特征點同時匹配的第三視覺單詞集合的視覺單詞為多個,則第三視覺單詞集合中的每個視覺單詞分別對應(yīng)一個查詢圖像特征點集合以及一個候選圖像特征點集合。針對各候選圖像,根據(jù)視覺單詞列表中與查詢圖像的特征點匹配的視覺單詞以及視覺單詞列表中與候選圖像的特征點匹配的視覺單詞獲得與候選圖像的特征點和查詢圖像的特征點均匹配的,并屬于第三視覺單詞集合的視覺單詞,并且進(jìn)一步得到第三視覺單詞集合中的每一視覺單詞對應(yīng)的一個候選圖像特征點集合和查詢圖像特征點集合。而每個候選圖像與查詢圖像所匹配的相同的視覺單詞的數(shù)量根據(jù)實際的匹配情況而定,本發(fā)明實施例在此不作特別限制。
[0089]對于每個候選圖像,將候選圖像的特征點與視覺單詞列表中的各個視覺單詞匹配,獲得第二視覺單詞集合后,根據(jù)與查詢圖像的特征點匹配的視覺單詞以及與候選圖像的特征點匹配的視覺單詞獲得與候選圖像的特征點和查詢圖像的特征點均匹配的視覺單詞,也就是獲得同時存在于第一視覺單詞集合和第二視覺單詞集合的視覺單詞,從而得到與該第三視覺單詞集合中的視覺單詞匹配的候選圖像特征點集合和查詢圖像特征點集合。進(jìn)一步的,確定候選圖像的各個與第三視覺單詞集合中的視覺單詞匹配的候選圖像特征點集合和與第三視覺單詞集合中的同一個視覺單詞匹配的查詢圖像特征點集合的空間一致性相似度。因此,分別得到各候選圖像的候選圖像特征點集合與對應(yīng)的查詢圖像特征點集合的空間一致性相似度。
[0090]具體的,確定每一個候選圖像的候選圖像特征點集合與查詢圖像特征點集合的空間一致性相似度的過程可以進(jìn)行如下操作:對于與該候選圖像的特征點和查詢圖像的特征點同時匹配的第三視覺單詞集合中的任一視覺單詞,例如:視覺單詞A,分別對應(yīng)候選圖像特征點集合I和查詢圖像特征點集合1,可以確定候選圖像特征點集合I和查詢圖像特征點集合I的空間一致性相似度I。如果與該候選圖像的特征點和查詢圖像的特征點同時匹配的視覺單詞有多個,也就是如果第三視覺單詞集合中的視覺單詞有多個,例如:除上述視覺單詞A之外,第三視覺單詞集合還包括視覺單詞B和視覺單詞C,視覺單詞B對應(yīng)候選圖像特征點集合2和查詢圖像特征點集合2,視覺單詞C對應(yīng)候選圖像特征點集合3和查詢圖像特征點集合3,則可以分別確定候選圖像特征點集合2和查詢圖像特征點集合2的空間一致性相似度2,并確定候選圖像特征點集合3和查詢圖像特征點集合3的空間一致性相似度3。最終將空間一致性相似度1、空間一致性相似度2和空間一致性相似度3加和,即得到該候選圖像的候選圖像特征點集合與查詢圖像特征點集合的空間一致性相似度。
[0091]可以看出,如果第三視覺單詞集合中的視覺單詞為一個時,也就是與該候選圖像的特征點和查詢圖像的特征點同時匹配的視覺單詞為一個時,則最終得到的該候選圖像的候選圖像特征點集合與查詢圖像特征點集合的空間一致性相似度,即為與第三視覺單詞集合中的視覺單詞匹配的候選圖像特征點集合和查詢圖像特征點集合的空間一致性相似度;如果第三視覺單詞集合中的視覺單詞為多個時,也就是與該候選圖像的特征點和查詢圖像的特征點同時匹配的視覺單詞為多個,則最終得到的該候選圖像與查詢圖像的空間一致性相似度,即為各個視覺單詞匹配的候選圖像特征點集合和查詢圖像特征點集合的空間一致性相似度之和。
[0092]S107:根據(jù)查詢圖像與各候選圖像的空間一致性相似度確定查詢圖像的目標(biāo)檢索圖像。
[0093]在得到了查詢圖像與各幅候選圖像的空間一致性相似度之后,可根據(jù)查詢圖像與各候選圖像的空間一致性相似度的取值大小以及需獲取的目標(biāo)檢索圖像的數(shù)量確定查詢圖像的目標(biāo)檢索圖像。一般而言,空間一致性相似度取值越大,表明兩個圖像越相似。因此可根據(jù)需獲取的目標(biāo)檢索圖像的數(shù)量將與查詢圖像空間一致性相似度取值較大的候選圖像確定為目標(biāo)檢索對象。本領(lǐng)域技術(shù)人員可以理解,需獲取的目標(biāo)檢索圖像的數(shù)量可以是預(yù)先設(shè)定的,也可以是終端在提出獲取檢索圖像的請求時包含的,本發(fā)明實施例在此不做特別限制。而目標(biāo)檢索圖像的數(shù)量不僅可以為一幅,還可以為多幅,例如,可以將空間一致性相似度較高的前20幅圖像作為目標(biāo)檢索對象,對于具體顯示的圖像幅數(shù),本發(fā)明實施例在此不作特別限制。
[0094]本發(fā)明實施例提供的圖像檢索方法,分別確定各候選圖像與查詢圖像的空間一致性相似度。通過針對每幅候選圖像,根據(jù)與查詢圖像的特征點匹配的第一視覺單詞集合的視覺單詞以及與候選圖像的特征點匹配的第二視覺單詞的視覺單詞,獲得同時存在于第一視覺單詞集合和第二視覺單詞集合的視覺單詞,也就是獲得與候選圖像的特征點和查詢圖像的特征點均匹配的視覺單詞,該與候選圖像的特征點和查詢圖像的特征點均匹配的視覺單詞組成了第三視覺單詞集合。從而各候選圖像和查詢圖像中與第三視覺單詞集合中的視覺單詞不匹配的特征點就并沒有包含在查詢圖像特征點集合和候選圖像特征點集合中,針對第三視覺單詞集合中的每一個視覺單詞,獲得候選圖像的特征點與該視覺單詞匹配的候選圖像特征點集合,以及查詢圖像的特征點與第三視覺單詞集合中的同一個視覺單詞匹配的查詢圖像特征點集合,也就無需在后續(xù)相似度的計算中使用這些不同時與同一個視覺單詞匹配的特征點,可以提高空間一致性相似度計算的準(zhǔn)確性,根據(jù)空間一致性相似度的高低在各幅候選圖像中確定查詢圖像的目標(biāo)檢索圖像,可以提聞檢索的準(zhǔn)確性。
[0095]圖2為本發(fā)明圖像檢索方法中獲取候選圖像與查詢圖像的空間一致性相似度的方法的流程示意圖。本實施例以一幅查詢圖像與上述候選圖像2為例,具體說明在圖1實施例中的獲得查詢圖像與候選圖像2的空間一致性相似度的方法,如圖2所示,該方法包括以下步驟:
[0096]S201:獲得第三視覺單詞集合,第三視覺單詞集合包含同時存在于第一視覺單詞集合和第二視覺單詞集合的視覺單詞,即包含與候選圖像的特征點和查詢圖像的特征點均匹配的視覺單詞。
[0097]在執(zhí)行此步驟之前,需先行的執(zhí)行步驟SlOl與步驟S102,獲得包含與查詢圖像的特征點匹配的視覺單詞的第一視覺單詞集合,以及獲得包含與候選圖像的特征點匹配的視覺單詞的第二視覺單詞集合。
[0098]參見前一實施例中的相關(guān)描述,視覺單詞列表中與候選圖像2的9個特征點匹配的視覺單詞包括A、B和D,而視覺單詞列表中與查詢圖像的9個特征點匹配的視覺單詞包括A、B和C。則第一視覺單詞集合包含視覺單詞A、B和C,第二視覺單詞集合包含視覺單詞A、B和D。第三視覺單詞集合包含視覺單詞A和B。也就是與候選圖像2的特征點以及與查詢圖像的特征點均匹配的視覺單詞為A和B。
[0099]S202:針對第三視覺單詞集合中的一個視覺單詞,確定與其匹配的候選圖像特征點集合。
[0100]也就是針對第三視覺單詞集合中的一個視覺單詞,將與第三視覺單詞集合中的該視覺單詞匹配的候選圖像2的特征點所構(gòu)成的集合作為候選圖像特征點集合。
[0101]對于候選圖像2,可以得到與第三視覺單詞集合中的視覺單詞A匹配的候選圖像特征點集合H3 (其中包括候選圖像2的第2個至第3個特征點)。
[0102]S203、針對第三視覺單詞集合中的同一個視覺單詞,確定與其匹配的查詢圖像的特征點集合。
[0103]也就是針對第三視覺單詞集合中的同一個視覺單詞,將與第三視覺單詞集合中的該視覺單詞匹配的查詢圖像的特征點所構(gòu)成的集合作為查詢圖像特征點集合。
[0104]對于查詢圖像,可以得到與第三視覺單詞集合中的視覺單詞A匹配的查詢圖像特征點集合Cl (其中包括查詢圖像的第I個至第3個特征點)。
[0105]S204:針對第三視覺單詞集合中的一個視覺單詞,確定候選圖像的特征點集合與查詢圖像的特征點集合的空間一致性相似度。
[0106]例如,獲得步驟S202中獲得的候選圖像特征點集合H3與步驟S203中獲得的查詢圖像特征點集合Cl的空間一致性相似度I。
[0107]值得說明的是,在執(zhí)行完步驟204之后,還需重復(fù)執(zhí)行步驟202至S204,以獲得針對第三視覺單詞集合中的每一個視覺單詞的確定的空間一致性相似度。
[0108]例如,重復(fù)執(zhí)行步驟S202,獲得與第三視覺單詞集合中的視覺單詞B匹配的候選圖像特征點集合H4 (其中包括候選圖像2的第4個至第7個特征點)。以及重復(fù)執(zhí)行步驟203,獲得與第三視覺單詞集合中的視覺單詞B匹配的查詢圖像特征點集合C3(其中包括查詢圖像的第4個至第6個特征點)。重復(fù)執(zhí)行步驟204,獲復(fù)針對第三視覺單詞集合中的視覺單詞B的候選圖像的特征點集合H4與查詢圖像特征點集合C3的空間一致性相似度2。[0109]對于第一視覺單詞集合中的視覺單詞C,以及對于第二視覺單詞集合中的視覺單詞D,由于沒有同時存在于第一視覺單詞集合以及第二視覺單詞集合中,因此視覺單詞C和D,不能作為候選圖像2和查詢圖像同時匹配的視覺單詞。
[0110]S205:將針對第三視覺單詞集合中的每一個視覺單詞確定的空間一致性相似度相力口,獲得候選圖像與查詢圖像的空間一致性相似度。
[0111]例如,將上述空間一致性相似度I和空間一致性相似度2相加,獲得候選圖像與查詢圖像的空間一致性相似度。
[0112]本領(lǐng)域技術(shù)人員可以理解,在S205的計算過程中,需要依次選擇第三視覺單詞集合中未計算過空間一致性相似分?jǐn)?shù)的視覺單詞進(jìn)行計算。作為一個例子,對于與候選圖像2和查詢圖像均匹配的視覺單詞A和視覺單詞B,可以分別計算視覺單詞A對應(yīng)的候選圖像特征點集合與查詢圖像特征點集合的空間一致性相似度,視覺單詞B對應(yīng)的候選圖像特征點集合與查詢圖像特征點集合的空間一致性相似度,并將視覺單詞A和視覺單詞B對應(yīng)得到的空間一致性相似度累加,得到候選圖像I與查詢圖像的空間一致性相似度。
[0113]圖3為本發(fā)明圖像檢索方法中空間一致性相似度的確定方法的流程示意圖,如圖3所示,本實施例在圖2實施例的基礎(chǔ)上,對步驟S204中的與第三視覺單詞集合中的視覺單詞匹配的候選圖像特征點集合和與第三視覺單詞集合中的同一個視覺單詞匹配的查詢圖像特征點集合的空間一致性相似度進(jìn)行詳細(xì)的說明。
[0114]以與候選圖像3和查詢圖像均匹配的第三視覺單詞集合中的視覺單詞A所對應(yīng)的查詢圖像特征點集合和對應(yīng)的候選圖像特征點集合為例。其中,與第三視覺單詞集合中的視覺單詞A匹配的查詢圖像特征點集合為C4,候選圖像特征點集合為H5。
[0115]其中,查詢圖像特征點集合所包括的查詢圖像的特征點個數(shù)與候選圖像特征點集合所包括的候選圖像的特征點個數(shù)可能相等,也可能不等。以查詢圖像特征點集合C4和候選圖像特征點集合H5為例。假設(shè)該查詢圖像特征點集合C4包括三個查詢圖像的特征點,分別為A1、A2、A3。該候選圖像特征點集合H5包括兩個候選圖像的特征點,分別為B2、B3。即,查詢圖像特征點集合所包括的查詢圖像的特征點個數(shù)與候選圖像特征點集合所包括的候選圖像的特征點個數(shù)不相等。本實施例提供的空間一致性相似度的確定方法方法,包括以下步驟:
[0116]S301:針對第三視覺單詞集合中的一個視覺單詞,在查詢圖像特征點集合中分別確定各個查詢圖像的特征點的鄰近特征點。
[0117]具體的,與第三視覺單詞集合中的視覺單詞A匹配的查詢圖像特征點集合C4中確定分別與查詢圖像的特征點Al、A2、A3的至少兩個鄰近特征點,即確定與查詢圖像的特征點Al鄰近的至少兩個鄰近特征點,與查詢圖像的特征點A2鄰近的至少兩個鄰近特征點,以及與查詢圖像的特征點A3鄰近的至少兩個鄰近特征點。
[0118]以查詢圖像的特征點Al為例,確定與查詢圖像的特征點Al鄰近的鄰近特征點。Al的鄰近特征點可以為所有查詢圖像特征點集合所包含的特征點中與該Al滿足預(yù)設(shè)距離的任意特征點。例如,當(dāng)候選圖像3與查詢圖像通過圖1及圖2所示方法實施例獲得的與第三視覺單詞合中的視覺單詞匹配的查詢圖像特征點集合為C4、C5、C6,則與視覺單詞A匹配的查詢圖像特征點集合C4中的特征點Al的鄰近特征點可以為查詢圖像特征點集合C4、C5、C6中與Al滿足預(yù)設(shè)距離的特征點。通過上述方法,確定與查詢圖像特征點Al鄰近的鄰近特征點為 A11、A21、A31、A41、A51、A61、A71。
[0119]進(jìn)一步的,采取上述相同的方法可以確定查詢圖像的特征點A2的鄰近特征點以及A3的鄰近特征點,具體的鄰近特征點本發(fā)明在此不再舉例。
[0120]S302、在候選圖像特征點集合中分別確定各個候選圖像的特征點的鄰近特征點。
[0121]具體的,采用步驟S301中的方法,在候選圖像特征點集合H5、H6、H7中確定與與視覺單詞A匹配的候選圖像特征點集合H5中候選圖像的特征點B2的鄰近特征點為B12、B22、B32。B3的鄰近特征點本發(fā)明在此不再舉例。
[0122]值得說明的是,步驟S301過程中涉及的預(yù)設(shè)的與候選圖像的特征點的距離,與步驟S302中涉及的預(yù)設(shè)的與查詢圖像的特征點的距離可以相同。
[0123]S303:針對與第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合中的每個候選圖像的特征點,分別確定每個候選圖像的特征點的鄰近特征點與查詢圖像特征點集合中的各個查詢圖像的特征點的鄰近特征點匹配的鄰近特征點對的數(shù)量。
[0124]其中,該步驟中的查詢圖像特征點集合為與第三視覺單詞集合中的同一個視覺單詞匹配的查詢圖像特征點集合。鄰近特征點對包括候選圖像的特征點的一個鄰近點和查詢圖像的特征點的一個鄰近點。
[0125]具體地,由于與第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點有多個,在實現(xiàn)本發(fā)明實施例時,針對第三視覺單詞集合中的一個視覺單詞,例如與視覺單詞A匹配的候選圖像特征點集合中的所有候選圖像的特征點,重復(fù)執(zhí)行下述步驟S303-1至S303-3,以確定與第三視覺單詞集合中的該視覺單詞匹配的候選圖像特征點集合,以及確定該候選圖像特征點集合中的所有候選圖像的特征點,并確定與同一個視覺單詞匹配的查詢圖像特征點集合中的各個查詢圖像的特征點,最終確定候選圖像的特征點與查詢圖像的特征點的匹配鄰近特征點對的數(shù)量。
[0126]S303-1將候選圖像的各個特征點的鄰近特征點與視覺單詞列表的視覺單詞匹配,獲得第四視覺單詞集合,第四視覺單詞集合包含所有與候選圖像的特征點的鄰近特征點匹配的視覺單詞。
[0127]具體地,在步驟S302中,確定了候選圖像的特征點的鄰近特征點,在本步驟中,在視覺單詞列表中,確定與候選圖像的特征點的鄰近特征點匹配的視覺單詞。首先確定與特征點B2的鄰近特征點匹配的視覺單詞。本領(lǐng)域技術(shù)人員可以理解,對于確定與候選圖像的特征點B2或B3的鄰近特征點匹配的視覺單詞,沒有先后順序的限定。
[0128]B2的鄰近特征點為B12、B22、B32,確定與B2的鄰近特征點匹配的視覺單詞,可以得到與鄰近特征點B12匹配的視覺單詞為A,與鄰近特征點B22匹配的視覺單詞為B,與鄰近特征點B32匹配的視覺單詞為C,也就是第四視覺單詞集合包含與B2的鄰近特征點匹配的視覺單詞A,B,C。
[0129]S303-2將查詢圖像的各個特征點的鄰近特征點與視覺單詞列表的視覺單詞匹配,獲得第五視覺單詞集合,第五視覺單詞集合包含所有與查詢圖像的特征點的鄰近特征點匹配的視覺單詞。
[0130]具體地,在步驟S301中,確定了查詢圖像的特征點的鄰近特征點,在本步驟中,確定與查詢圖像的特征點的鄰近特征點所匹配的視覺單詞。分別確定與查詢圖像特征點Al、A2、A3的鄰近特征點所匹配的視覺單詞。例如,特征點Al的鄰近特征點為All、A21、A31、A41、A51、A61、A71。同時,確定與Al的鄰近特征點匹配的視覺單詞,可以得到All匹配的視覺單詞為A,A21匹配的視覺單詞為B,A31匹配的視覺單詞為C,A41匹配的視覺單詞為D,A51匹配的視覺單詞為E,A61匹配的視覺單詞為F,A71匹配的視覺單詞為G。對于與A2與A3的鄰近特征點所匹配的視覺單詞,本實施例在此不再舉例。也就是說,第五視覺單詞集合包含與查詢圖像的特征點Al的鄰近特征點匹配的視覺單詞A、B、C、D、E、F、G,,還包含與查詢圖像的特征點A2的鄰近特征點匹配的視覺單詞,以及包含與查詢圖像的特征點A3的鄰近特征點匹配的視覺單詞。
[0131 ] S303-3確定第六視覺單詞集合,第六視覺單詞集合包含同時存在于第四視覺單詞集合和第五單詞集合的視覺單詞,確定候選圖像的特征點的鄰近特征點與各個查詢圖像的特征點的鄰近特征點匹配第六視覺單詞集合中的視覺單詞的鄰近特征點對的數(shù)量。
[0132]具體的,根據(jù)第四視覺單詞集合中的視覺單詞,以及根據(jù)第五視覺單詞集合中的視覺單詞,確定同時存在于第四視覺單詞集合以及第五視覺單詞集合中的視覺單詞。
[0133]比如,根據(jù)步驟S303-1,S303-2確定同時存在第四視覺單詞集合以及第五視覺單詞集合中的視覺單詞為:A、B、C。則第六視覺單詞集合中的視覺單詞包含視覺單詞A、B、C。
[0134]進(jìn)一步的,確定候選圖像的特征點的鄰近特征點與各個查詢圖像的特征點的鄰近特征點匹配第六視覺單詞集合中的視覺單詞的鄰近特征點對的數(shù)量。例如,確定候選圖像的特征點B2與查詢圖像的特征點A1、A2以及A3匹配與第六視覺單詞的匹配鄰近特征點對的數(shù)量。
[0135]對于候選圖像的特征點B2的鄰近特征點與查詢圖像的特征點Al的鄰近特征點均匹配的視覺單詞的數(shù)量為3,記為B2-A1=3,匹配鄰近特征點對具體包括:B12-A11 ;B22-A21 ;B32-A31。
[0136]通過同樣的方法,可以得到B2_A2=4,B2_A3=8,對于具體的匹配對,本實施在此不
再舉例。
[0137]對于候選圖像的特征點B3,重復(fù)執(zhí)行步驟S303-1至S303-3,可以得到B3_A1=7,B3-A2=l, B3-A3=60
[0138]本領(lǐng)域技術(shù)人員可以理解,若候選圖像的特征點的數(shù)量更多,則重復(fù)執(zhí)行步驟S303-1至S303-3,直至確定完候選圖像特征點集合中的所有特征點與各個查詢圖像的特征點匹配與第三視覺單詞的匹配鄰近特征點對的數(shù)量。
[0139]綜上,得到B2-A1 = 3,B2_A2=4,B2_A3=8,B3_A1=7,B3_A2=1,B3_A3=6。
[0140]S304:根據(jù)每個候選圖像的特征點的鄰近特征點與查詢圖像特征點集合中的各個查詢圖像的特征點的鄰近特征點匹配的鄰近特征點對的數(shù)量,確定與第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與第三視覺單詞集合中的同一個視覺單詞匹配的查詢圖像特征點集合的空間一致性相似度。
[0141]在具體實現(xiàn)過程中,可以根據(jù)步驟303確定的匹配鄰近特征點對的數(shù)量,確定空間一致性相似度。匹配鄰近特征點對的數(shù)量與空間一致性相似度具有對應(yīng)關(guān)系。例如,匹配鄰近特征點對的數(shù)量為1,則空間一致性相似度為I。
[0142]根據(jù)上述的匹配鄰近特征點對的數(shù)量,確定與第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與第三視覺單詞集合中的同一個視覺單詞匹配的查詢圖像特征點集合的空間一致性相似度,具體包括以下步驟:[0143]S304-1:在與第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與第三視覺單詞集合中的同一個視覺單詞匹配的查詢圖像特征點集合中,將匹配鄰近特征點對的數(shù)量最大的候選圖像的特征點和查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征點。
[0144]將匹配鄰近特征點對的數(shù)量最大值對應(yīng)的查詢圖像特征點和候選圖像特征點作為相匹配的查詢圖像的特征點和候選圖像的特征點;并將相匹配的查詢圖像的特征點和候選圖像的特征點的空間一致性相似度加到查詢圖像特征點集合與候選圖像特征點集合的空間一致性相似度上。
[0145]對得到的B2-A1=3,B2_A2=4,B2_A3=8,B3_A1=7,B3_A2=1,B3_A3=6 匹配鄰近特征點對進(jìn)行排序,可得到 B2-A3=8,B3-A1 = 7,B3_A3=6,B2_A2=4,B2_A1=3,B3_A2=1。
[0146]則將B2和A3確定為相匹配的查詢圖像的特征點和候選圖像的特征點,并將匹配鄰近特征點對的數(shù)量8加到查詢圖像特征點集合與候選圖像特征點集合的空間一致性相似度上。
[0147]確定B2和A3為相匹配的候選圖像的特征點和查詢圖像的特征點之后,則查詢圖像的特征點A3的其它匹配鄰近特征點對的數(shù)量B3-A3=6則不再考慮,同樣,候選圖像的特征點B2的其它匹配鄰近特征點對的數(shù)量B2-A2=4、B2_A1=2則不再考慮。而得到未匹配的候選圖像的特征點為B3,未匹配的查詢圖像特征點為A1、A2。
[0148]S304-2:在未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點中,重復(fù)執(zhí)行以下動作,直至不存在未匹配的候選圖像的特征點和/或不存在未匹配的查詢圖像的特征點:將匹配鄰近特征點對的數(shù)量最大的未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征點。
[0149]按照剩余匹配鄰近特征點對的數(shù)量從大到小的順序,逐次在未匹配的查詢圖像的特征點和候選圖像的特征點中確定相匹配的查詢圖像的特征點和候選圖像的特征點。
[0150]將剩余匹配鄰近特征點對的數(shù)量從大到小排序后,得到B3_A1=7、B3_A2=1。將匹配鄰近特征點對的數(shù)量最大值7對應(yīng)的查詢圖像的特征點Al和候選圖像的特征點B3確定為相匹配的查詢圖像的特征點和候選圖像的特征點,因此,不再考慮候選圖像特征點B3的其它匹配鄰近特征點對的數(shù)量B3-A2=l。由于查詢圖像特征點集合所包括的查詢圖像的特征點個數(shù)大于候選圖像特征點集合所包括的候選圖像的特征點個數(shù),因此,在已確定了B2-A3=8, B3-A1=7后,查詢圖像的特征點A2便沒有與之匹配的候選圖像的特征點,進(jìn)而沒有A2對應(yīng)的空間一致性相似度。
[0151]此時,可以理解的是,如果查詢圖像特征點集合所包括的查詢圖像的特征點個數(shù)等于候選圖像特征點集合所包括的候選圖像的特征點個數(shù),則對應(yīng)候選圖像特征點集合中的每個特征點,均有與之對應(yīng)的空間一致性分?jǐn)?shù)。
[0152]S304-3:將與第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與第三視覺單詞集合中的同一個視覺單詞匹配的查詢圖像特征點集合中,所有相匹配的候選圖像的特征點和查詢圖像的特征點的匹配鄰近特征點對的數(shù)量相加,作為一個與所述視覺單詞匹配的候選圖像特征點集合和與同一個視覺單詞匹配的所述查詢圖像特征點集合的空間一致性相似度。
[0153]將上述所有相匹配的查詢圖像的特征點和候選圖像的特征點的匹配鄰近特征點對的數(shù)量相加,即為空間一致性相似度,則該候選圖像特征點集合與查詢圖像特征點集合的空間一致性相似度為8+7=14,即,匹配同一個相同的視覺單詞A的候選圖像特征點集合H5與查詢圖像特征點集合Cl的空間一致性相似度為14。
[0154]綜上,通過上述S301-S304的步驟,可以得到均與視覺單詞A匹配的候選圖像特征點集合和查詢圖像特征點集合的空間一致性相似度。類似的,對于均與視覺單詞B,視覺單詞C等匹配的候選圖像特征點集合和查詢圖像特征點集合的空間一致性相似分?jǐn)?shù),均可按照上述方法確定,本實施例在此不再贅述。
[0155]本領(lǐng)域技術(shù)人員可以理解,上述實施例僅為示例實施例,在具體的實現(xiàn)過程中,查詢圖像特征點和候選圖像特征點為大量的,而其各自的鄰近特征點的個數(shù)也為大量的,實際應(yīng)用過程將比上述的具體實施例復(fù)雜。
[0156]本發(fā)明實施例通過將匹配鄰近特征點對的數(shù)量最大值對應(yīng)的查詢圖像的特征點和候選圖像的特征點確定為相匹配的查詢圖像特征點和候選圖像特征點,并按照匹配鄰近特征點對的數(shù)量從大到小的順序,在未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點中,重復(fù)執(zhí)行以下動作,直至不存在未匹配的候選圖像的特征點和/或不存在未匹配的查詢圖像的特征點,能夠獲得查詢圖像與候選圖像準(zhǔn)確的空間一致性相似度,從而得到與查詢圖像真正匹配的候選圖像。
[0157]圖4為本發(fā)明圖像檢索裝置實施例一的結(jié)構(gòu)示意圖,本實施例提供的圖像檢索裝置,可以是具有數(shù)據(jù)處理功能的計算機、服務(wù)器或包括處理器的智能終端等。如圖4所示,本發(fā)明實施例提供的圖像檢索裝置包括第一匹配模塊401,第二匹配模塊402,集合確定模塊403,處理模塊404和結(jié)果輸出模塊405。
[0158]其中,第一匹配模塊401用于將查詢圖像的特征點與視覺單詞列表的視覺單詞匹配,獲得第一視覺單詞集合,所述第一視覺單詞集合包含與所述查詢圖像的特征點匹配的視覺單詞;
[0159]第二匹配模塊402用于將候選圖像的特征點與所述視覺單詞列表的視覺單詞匹配,獲得第二視覺單詞集合,所述第二視覺單詞集合包含與所述候選圖像的特征點匹配的視覺單詞;
[0160]集合確定模塊403用于確定第三視覺單詞集合,所述第三視覺單詞集合包含同時存在于第一視覺單詞集合和第二視覺單詞集合的視覺單詞;
[0161]處理模塊404用于針對所述第三視覺單詞集合中的每一個視覺單詞,確定與所述第三視覺單詞集合中的視覺單詞匹配的候選圖像的特征點集合以及查詢圖像的特征點集合,以及確定所述候選圖像的特征點集合與所述查詢圖像的特征點集合的空間一致性相似度;將針對所述第三視覺單詞集合中的每一個視覺單詞確定的所述空間一致性相似度相力口,獲得所述候選圖像與所述查詢圖像的空間一致性相似度;
[0162]結(jié)果輸出模塊405用于根據(jù)所述查詢圖像與各所述候選圖像的空間一致性相似度確定所述查詢圖像的目標(biāo)檢索圖像。
[0163]本實施例的圖像檢索裝置,可以用于執(zhí)行實施例一的技術(shù)方案,其實現(xiàn)原理和技術(shù)效果類似,此處不再贅述。
[0164]圖5為本發(fā)明圖像檢索裝置實施例二的結(jié)構(gòu)示意圖,本實施例提供的圖像檢索裝置,可以是具有數(shù)據(jù)處理功能的計算機、服務(wù)器或包括處理器的智能終端等。本實施例在圖5所示實施例的基礎(chǔ)上,所述處理模塊404包括:
[0165]鄰近特征點對確定單元4041,用于針對與所述第三視覺單詞集合中的一個視覺單詞匹配的所述候選圖像特征點集合中的每個候選圖像的特征點,分別確定每個候選圖像的特征點的鄰近特征點與所述查詢圖像特征點集合中的各個查詢圖像的特征點的鄰近特征點匹配的鄰近特征點對的數(shù)量;
[0166]加和單元4042,用于將針對所述候選圖像特征點集合中的每個候選圖像的特征點確定的鄰近特征點對的數(shù)量相加,獲得所述候選圖像的特征點集合與查詢圖像的特征點集合的空間一致性相似度。
[0167]可選地,所述裝置還包括:
[0168]第一鄰近特征點確定模塊406,用于在查詢圖像特征點集合中分別確定各個所述查詢圖像的特征點的鄰近特征點;
[0169]第二鄰近特征點確定模塊407,用于在候選圖像特征點集合中分別確定各個所述候選圖像的特征點的鄰近特征點。
[0170]可選地,所述第一鄰近特征點確定模塊406具體用于:
[0171]根據(jù)預(yù)設(shè)的與所述查詢圖像的特征點的距離,確定各個所述查詢圖像的特征點的鄰近特征點;
[0172]和/ 或,
[0173]所述第二鄰近特征點確定模塊407具體用于:根據(jù)預(yù)設(shè)的與所述候選圖像的特征點的距離,確定各個所述候選圖像的特征點的鄰近特征點。
[0174]可選地,所述鄰近特征點對確定單元4041包括:
[0175]第一鄰近特征點匹配子單元,用于將所述候選圖像的特征點的鄰近特征點與所述視覺單詞列表的視覺單詞匹配,獲得第四視覺單詞集合,所述第四視覺單詞集合包含與所述候選圖像的特征點的鄰近特征點匹配的視覺單詞;
[0176]第二鄰近特征點匹配子單元,用于將所述查詢圖像的各個特征點的鄰近特征點與所述視覺單詞列表的視覺單詞匹配,獲得第五視覺單詞集合,所述第五視覺單詞集合包含所有與所述查詢圖像的特征點的鄰近特征點匹配的視覺單詞;
[0177]鄰近特征點對確定子單元,用于確定第六視覺單詞集合,所述第六視覺單詞集合包含同時存在于第四視覺單詞集合和第五單詞集合的視覺單詞,確定候選圖像的特征點的鄰近特征點與各個查詢圖像的特征點的鄰近特征點匹配第六視覺單詞集合中的視覺單詞的鄰近特征點對的數(shù)量。
[0178]可選地,所述加和單元4042包括:
[0179]第一特征點匹配子單元,用于在與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合中,將匹配鄰近特征點對的數(shù)量最大的候選圖像的特征點和查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征占.
[0180]第二特征點匹配子單元,用于在未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點中,重復(fù)執(zhí)行以下動作,直至不存在未匹配的候選圖像的特征點和/或不存在未匹配的查詢圖像的特征點:將匹配鄰近特征點對的數(shù)量最大的未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征點;
[0181]相似度獲取子單元,用于將與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合中,所有相匹配的候選圖像的特征點和查詢圖像的特征點的匹配鄰近特征點對的數(shù)量相加,作為與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合的空間一致性相似度。
[0182]本實施例的圖像檢索裝置,可以用于執(zhí)行本發(fā)明任意實施例所提供的圖像檢索方法的技術(shù)方案,其實現(xiàn)原理和技術(shù)效果類似,此處不再贅述。
[0183]圖6為本發(fā)明圖像檢索裝置實施例三的結(jié)構(gòu)示意圖,如圖6所示,本實施例的圖像檢索裝置包括至少一個處理器51,至少一個網(wǎng)絡(luò)接口 54或者其他用戶接口 53,存儲器55,和至少一通信總線52。該圖像檢索裝置可選的包含用戶接口 53,包括顯示器,鍵盤或者點擊設(shè)備。存儲器55可能包含高速RAM存儲器,也可能還包括非不穩(wěn)定的存儲器(non-volatile memory),例如至少一個磁盤存儲器。存儲器55可選的可以包含至少一個存儲裝置。存儲器55存儲了執(zhí)行指令,當(dāng)圖像檢索裝置運行時,處理器51與存儲器55之間通信,處理器51執(zhí)行指令使得圖像檢索裝置可以執(zhí)行任意實施例所提供的圖像檢索方法。
[0184]本發(fā)明實施例中的處理器可能是一種集成電路芯片,具有信號的處理能力。在實現(xiàn)過程中,上述方法的各步驟可以通過處理器中的硬件的集成邏輯電路或者軟件形式的指令完成。上述的處理器可以是通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)成可編程門陣列(FPGA)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件??梢詫崿F(xiàn)或者執(zhí)行本發(fā)明實施例中的公開的各方法、步驟及邏輯框圖。上述處理器可以是微處理器或者上述處理器也可以是任何常規(guī)的處理器等。結(jié)合本發(fā)明實施例所公開的方法的步驟可以直接體現(xiàn)為硬件處理器執(zhí)行完成,或者用處理器中的硬件及軟件模塊組合執(zhí)行完成。軟件模塊可以位于隨機存儲器,閃存、只讀存儲器,可編程只讀存儲器或者電可擦寫可編程存儲器、寄存器等本領(lǐng)域成熟的存儲介質(zhì)中。該存儲介質(zhì)位于存儲器,處理器讀取存儲器中的信息,結(jié)合其硬件完成上述方法的步驟。
[0185]本發(fā)明實施例還提供一種芯片,該芯片用于進(jìn)行圖像檢索處理,該芯片可以包括上述的處理器。
[0186]本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述各方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成。前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中。該程序在執(zhí)行時,執(zhí)行包括上述各方法實施例的步驟;而前述的存儲介質(zhì)包括:U盤、移動硬盤、只讀存儲器(ROM, Read-Only Memory)、隨機存取存儲器(RAM, Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。[0187]在本申請所提供的幾個實施例中,應(yīng)該理解到,所揭露的裝置和方法,可以通過其它的方式實現(xiàn)。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述單元或模塊的劃分,僅僅為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個單元或模塊可以結(jié)合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或模塊的間接耦合或通信連接,可以是電性,機械或其它的形式。
[0188]所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的,作為模塊顯示的部件可以是或者也可以不是物理模塊,即可以位于一個地方,或者也可以分布到多個網(wǎng)絡(luò)單元上??梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。
[0189]本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述各方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成。前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中。該程序在執(zhí)行時,執(zhí)行包括上述各方法實施例的步驟;而前述的存儲介質(zhì)包括:R0M、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
[0190]最后應(yīng)說明的是:以上各實施例僅用以說明本發(fā)明的技術(shù)方案,而非對其限制;盡管參照前述各實施例對本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改,或者對其中部分或者全部技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍。
【權(quán)利要求】
1.一種圖像檢索方法,其特征在于,包括: 將查詢圖像的特征點與視覺單詞列表的視覺單詞匹配,獲得第一視覺單詞集合,所述第一視覺單詞集合包含與所述查詢圖像的特征點匹配的視覺單詞; 將候選圖像的特征點與所述視覺單詞列表的視覺單詞匹配,獲得第二視覺單詞集合,所述第二視覺單詞集合包含與所述候選圖像的特征點匹配的視覺單詞; 確定第三視覺單詞集合,所述第三視覺單詞集合包含同時存在于第一視覺單詞集合和第二視覺單詞集合的視覺單詞; 針對所述第三視覺單詞集合中的每一個視覺單詞,確定與所述第三視覺單詞集合中的視覺單詞匹配的候選圖像的特征點集合以及查詢圖像的特征點集合,以及確定所述候選圖像的特征點集合與所述查詢圖像的特征點集合的空間一致性相似度;將針對所述第三視覺單詞集合中的每一個視覺單詞確定的所述空間一致性相似度相加,獲得所述候選圖像與所述查詢圖像的空間一致性相似度; 根據(jù)所述查 詢圖像與各所述候選圖像的空間一致性相似度確定所述查詢圖像的目標(biāo)檢索圖像。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述確定所述候選圖像的特征點集合與所述查詢圖像的特征點集合的空間一致性相似度,包括: 針對與所述第三視覺單詞集合中的一個視覺單詞匹配的所述候選圖像特征點集合中的每個候選圖像的特征點,分別確定每個候選圖像的特征點的鄰近特征點與所述查詢圖像特征點集合中的各個查詢圖像的特征點的鄰近特征點匹配的鄰近特征點對的數(shù)量; 將針對所述候選圖像特征點集合中的每個候選圖像的特征點確定的鄰近特征點對的數(shù)量相加,獲得所述候選圖像的特征點集合與查詢圖像的特征點集合的空間一致性相似度。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述分別確定每個候選圖像的特征點的鄰近特征點與所述查詢圖像特征點集合中的各個查詢圖像的特征點的鄰近特征點匹配的鄰近特征點對的數(shù)量之前,還包括: 在查詢圖像特征點集合中分別確定各個所述查詢圖像的特征點的鄰近特征點; 在候選圖像特征點集合中分別確定各個所述候選圖像的特征點的鄰近特征點。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述在查詢圖像特征點集合中分別確定各個所述查詢圖像的特征點的鄰近特征點,包括:根據(jù)預(yù)設(shè)的與所述查詢圖像的特征點的距離,確定各個所述查詢圖像的特征點的鄰近特征點; 和/或, 所述在候選圖像特征點集合中分別確定各個所述候選圖像的特征點的鄰近特征點包括:根據(jù)預(yù)設(shè)的與所述候選圖像的特征點的距離,確定各個所述候選圖像的特征點的鄰近特征點。
5.根據(jù)權(quán)利要求2-4任一項所述的方法,其特征在于,所述針對與所述第三視覺單詞集合中的一個視覺單詞匹配的所述候選圖像特征點集合中的每個候選圖像的特征點,分別確定每個候選圖像的特征點的鄰近特征點與所述查詢圖像特征點集合中的各個查詢圖像的特征點的鄰近特征點匹配的鄰近特征點對的數(shù)量包括: 將所述候選圖像的特征點的鄰近特征點與所述視覺單詞列表的視覺單詞匹配,獲得第四視覺單詞集合,所述第四視覺單詞集合包含與所述候選圖像的特征點的鄰近特征點匹配的視覺單詞; 將所述查詢圖像的各個特征點的鄰近特征點與所述視覺單詞列表的視覺單詞匹配,獲得第五視覺單詞集合,所述第五視覺單詞集合包含所有與所述查詢圖像的特征點的鄰近特征點匹配的視覺單詞; 確定第六視覺單 詞集合,所述第六視覺單詞集合包含同時存在于第四視覺單詞集合和第五單詞集合的視覺單詞,確定候選圖像的特征點的鄰近特征點與各個查詢圖像的特征點的鄰近特征點匹配第六視覺單詞集合中的視覺單詞的鄰近特征點對的數(shù)量。
6.根據(jù)權(quán)利要求5所述的方法,其特征在于,所述將針對所述候選圖像特征點集合中的每個候選圖像的特征點確定的鄰近特征點對的數(shù)量相加,獲得所述候選圖像的特征點集合與查詢圖像的特征點集合的空間一致性相似度包括: 在與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合中,將匹配鄰近特征點對的數(shù)量最大的候選圖像的特征點和查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征點; 在未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點中,重復(fù)執(zhí)行以下動作,直至不存在未匹配的候選圖像的特征點和/或不存在未匹配的查詢圖像的特征點:將匹配鄰近特征點對的數(shù)量最大的未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征點; 將與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合中,所有相匹配的候選圖像的特征點和查詢圖像的特征點的匹配鄰近特征點對的數(shù)量相加,作為與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合的空間一致性相似度。
7.一種圖像檢索裝置,其特征在于,包括: 第一匹配模塊,用于將查詢圖像的特征點與視覺單詞列表的視覺單詞匹配,獲得第一視覺單詞集合,所述第一視覺單詞集合包含與所述查詢圖像的特征點匹配的視覺單詞; 第二匹配模塊,用于將候選圖像的特征點與所述視覺單詞列表的視覺單詞匹配,獲得第二視覺單詞集合,所述第二視覺單詞集合包含與所述候選圖像的特征點匹配的視覺單詞; 集合確定模塊,用于確定第三視覺單詞集合,所述第三視覺單詞集合包含同時存在于第一視覺單詞集合和第二視覺單詞集合的視覺單詞; 處理模塊,用于針對所述第三視覺單詞集合中的每一個視覺單詞,確定與所述第三視覺單詞集合中的視覺單詞匹配的候選圖像的特征點集合以及查詢圖像的特征點集合,以及確定所述候選圖像的特征點集合與所述查詢圖像的特征點集合的空間一致性相似度;將針對所述第三視覺單詞集合中的每一個視覺單詞確定的所述空間一致性相似度相加,獲得所述候選圖像與所述查詢圖像的空間一致性相似度;結(jié)果輸出模塊,用于根據(jù)所述查詢圖像與各所述候選圖像的空間一致性相似度確定所述查詢圖像的目標(biāo)檢索圖像。
8.根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述處理模塊包括: 鄰近特征點對確定單元,用于針對與所述第三視覺單詞集合中的一個視覺單詞匹配的所述候選圖像特征點集合中的每個候選圖像的特征點,分別確定每個候選圖像的特征點的鄰近特征點與所述查詢圖像特征點集合中的各個查詢圖像的特征點的鄰近特征點匹配的鄰近特征點對的數(shù)量; 加和單元,用于將針對所述候選圖像特征點集合中的每個候選圖像的特征點確定的鄰近特征點對的數(shù)量相加,獲得所述候選圖像的特征點集合與查詢圖像的特征點集合的空間一致性相似度。
9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述裝置還包括: 第一鄰近特征點確定模塊,用于在查詢圖像特征點集合中分別確定各個所述查詢圖像的特征點的鄰近特征點; 第二鄰近特征點確定模塊,用于在候選圖像特征點集合中分別確定各個所述候選圖像的特征點的鄰近特征點。
10.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述第一鄰近特征點確定模塊具體用于: 根據(jù)預(yù)設(shè)的與所述查詢圖像的特征點的距離,確定各個所述查詢圖像的特征點的鄰近特征點; 和/或, 所述第二鄰近特征點確定模塊具體用于:根據(jù)預(yù)設(shè)的與所述候選圖像的特征點的距離,確定各個所述候選圖像的特征點的鄰近特征點。
11.根據(jù)權(quán)利要求8-10任一項所述的裝置,其特征在于,所述鄰近特征點對確定單元包括: 第一鄰近特征點匹配子單元,用于將所述候選圖像的特征點的鄰近特征點與所述視覺單詞列表的視覺單詞匹配,獲得第四視覺單詞集合,所述第四視覺單詞集合包含與所述候選圖像的特征點的鄰近特征點匹配的視覺單詞; 第二鄰近特征點匹配子單元,用于將所述查詢圖像的各個特征點的鄰近特征點與所述視覺單詞列表的視覺單詞匹配,獲得第五視覺單詞集合,所述第五視覺單詞集合包含所有與所述查詢圖像的特征點的鄰近特征點匹配的視覺單詞; 鄰近特征點對確定子單元,用于確定第六視覺單詞集合,所述第六視覺單詞集合包含同時存在于第四視覺單詞集合和第五單詞集合的視覺單詞,確定候選圖像的特征點的鄰近特征點與各個查詢圖像的特征點的鄰近特征點匹配第六視覺單詞集合中的視覺單詞的鄰近特征點對的數(shù)量。
12.根據(jù)權(quán)利要求11所述的裝置,其特征在于,所述加和單元包括: 第一特征點匹配子單元,用于在與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合中,將匹配鄰近特征點對的數(shù)量最大的候選圖像的特征點和查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征點;第二特征點匹配子單元,用于在未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點中,重復(fù)執(zhí)行以下動作,直至不存在未匹配的候選圖像的特征點和/或不存在未匹配的查詢圖像的特征點:將匹配鄰近特征點對的數(shù)量最大的未匹配的候選圖像的特征點和未匹配的查詢圖像的特征點作為相匹配的候選圖像的特征點和查詢圖像的特征點,將其余的候選圖像的特征點作為未匹配的候選圖像的特征點,將其余的查詢圖像的特征點作為未匹配的查詢圖像的特征點; 相似度獲取子單元,用于將與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合中,所有相匹配的候選圖像的特征點和查詢圖像的特征點的匹配鄰近特征點對的數(shù)量相加,作為與所述第三視覺單詞集合中的一個視覺單詞匹配的候選圖像特征點集合和與所述第三視覺單詞集合中的同一個視覺單詞匹配的所述查詢圖像特征點集合的空間一致性相似度。
13.一種圖像檢索裝置,其特征在于,包括處理器和存儲器,所述存儲器存儲執(zhí)行指令,當(dāng)所述圖像檢索裝置運行時,所述處理器與所述存儲器之間通信,所述處理器執(zhí)行所述執(zhí)行指 令使得所述圖像檢索裝置執(zhí)行如權(quán)利要求1至6任一項所述的方法。
【文檔編號】G06F17/30GK103970769SQ201310034251
【公開日】2014年8月6日 申請日期:2013年1月29日 優(yōu)先權(quán)日:2013年1月29日
【發(fā)明者】周強, 許國軍 申請人:華為技術(shù)有限公司