1.一種以圖快速檢索景點(diǎn)的方法,其特征在于,包括以下步驟:
1)建立景點(diǎn)圖像數(shù)據(jù)集;
2)圖像庫預(yù)處理:
計(jì)算數(shù)據(jù)集圖像的平均亮度,分別去除亮度最高的1-3%的圖片以及亮度最低的1-3%的圖片;
去除不包含明確目標(biāo)的圖像;
3)圖像視覺特征提取
對(duì)步驟2)處理后的景點(diǎn)圖像數(shù)據(jù)集中每張圖片采用SIFT特征描述子進(jìn)行描述;所述SIFT特征是基于物體上的局部外觀的興趣點(diǎn),與影像的大小和旋轉(zhuǎn)無關(guān);
4)生成主題相冊(cè)
對(duì)步驟3)處理后的景點(diǎn)圖像數(shù)據(jù)集進(jìn)行POI的提?。和ㄟ^圖像庫中的圖像所帶有的GPS信息,先按照地理位置對(duì)圖像進(jìn)行一次粗聚類,將粗聚類結(jié)果作為生成景點(diǎn)信息的第一步結(jié)果;同時(shí)在粗聚類結(jié)果中去除GPS信息錯(cuò)誤的圖像,得到計(jì)算粗聚類結(jié)果圖像;
使用計(jì)算粗聚類結(jié)果圖像的視覺相似度,找出在此類中出現(xiàn)頻率最高的若干個(gè)視覺詞匯,若此類中某張圖片不包含這若干個(gè)視覺詞匯或者僅包含一個(gè),則將此圖片從此類中去除;若此類中去除了超過v%的圖片,則計(jì)算被去除的圖片的視覺相似度,根據(jù)視覺相似度生成新的類,最后將所有被剔除并且沒有分入新類的圖片與所有景點(diǎn)再次進(jìn)行相似度比對(duì),小于閾值的則歸入此類,最終仍未歸類的圖片剔除出數(shù)據(jù)集,不再參與景點(diǎn)信息的生成;處理后得到主題相冊(cè);
5)添加文本信息,確定地理位置信息
將步驟4)得到的主題相冊(cè)進(jìn)行地理位置的確定:
采用先對(duì)主題相冊(cè)的圖片位置進(jìn)行K-means聚類,得到景點(diǎn)可能的潛在位置,得到潛在位置后,先假設(shè)包含圖片最多的位置為景點(diǎn)位置,若此位置位于其他位置所圍成的多邊形的內(nèi)部時(shí),則認(rèn)定此位置即為景點(diǎn)的位置;若此位置在多邊形外側(cè),但此位置所包含的的圖片數(shù)遠(yuǎn)多于其他位置時(shí),也認(rèn)定此位置為景點(diǎn)位置;若各個(gè)位置的圖片數(shù)量均衡,則取這些位置的中心作為景點(diǎn)位置;
位置信息確定后,各個(gè)主題相冊(cè)即升級(jí)成為POI,通過對(duì)這些POI添加標(biāo)題,文字描述,歷史信息的文本描述,最終生成檢索用的景點(diǎn)信息,至此建立了用于檢索的景點(diǎn)信息數(shù)據(jù)庫;
6)相似度貢獻(xiàn)檢索結(jié)構(gòu)的建立
采用分級(jí)K-means聚類的方法來對(duì)景點(diǎn)信息數(shù)據(jù)庫的特征進(jìn)行量化,生成視覺詞匯,根據(jù)視覺詞匯與景點(diǎn)的對(duì)應(yīng)關(guān)系建立相似度貢獻(xiàn)快速索引結(jié)構(gòu);
7)檢索
對(duì)用戶提供的查詢圖提取視覺特征,并采用分級(jí)量化將視覺特征量化至相應(yīng)的視覺詞匯,根據(jù)相似度貢獻(xiàn)快速索引結(jié)構(gòu)獲得最終的檢索結(jié)果。
2.根據(jù)權(quán)利要求1所述的以圖快速檢索景點(diǎn)的方法,其特征在于,步驟5)中,采用m層,每層分k類的樹形結(jié)構(gòu)進(jìn)行分級(jí)K-means聚類。
3.根據(jù)權(quán)利要求2所述的以圖快速檢索景點(diǎn)的方法,其特征在于,所述m為5,k為10。
4.一種基于權(quán)利要求3以圖快速檢索景點(diǎn)的方法的導(dǎo)游系統(tǒng),其特征在于,包括客戶端和服務(wù)端:
所述客戶端協(xié)助用戶拍攝景點(diǎn)照片,并對(duì)圖片進(jìn)行預(yù)處理,壓縮,提取圖像特征操作;對(duì)提取出的視覺特征進(jìn)行篩選,壓縮操作,后將經(jīng)過預(yù)處理的圖像特征信息發(fā)送至服務(wù)端;
所述服務(wù)端為一個(gè)常駐的檢索程序,檢索程序啟動(dòng)時(shí)將所有景點(diǎn)信息以及景點(diǎn)與圖像集中圖像的映射關(guān)系預(yù)先加載至緩存中,后掛起等待用戶輸入;當(dāng)用戶輸入進(jìn)入后即激活程序,進(jìn)行檢索算法,完成后將檢索結(jié)果返回客戶端。
5.根據(jù)權(quán)利要求4所述的導(dǎo)游系統(tǒng),其特征在于,所述客戶端安裝在具有相機(jī)、顯示屏以及網(wǎng)絡(luò)傳輸功能的移動(dòng)設(shè)備上,用于用戶在游覽景點(diǎn)時(shí)拍攝具體的景點(diǎn)圖像并進(jìn)行預(yù)處理,將所需信息上傳至服務(wù)器用于檢索。
6.根據(jù)權(quán)利要求4所述的導(dǎo)游系統(tǒng),其特征在于,所述服務(wù)器端采用多線程架構(gòu),服務(wù)器端的檢索流程如下:
1)獲取用戶輸入
用戶輸入有兩種情況,當(dāng)用戶網(wǎng)絡(luò)條件較好時(shí),客戶端上傳壓縮后的圖像文件,服務(wù)器端程序提取圖片的SIFT特征;當(dāng)用戶網(wǎng)絡(luò)條件較差時(shí),客戶端會(huì)先行提取圖像的SIFT特征并進(jìn)行傳輸;當(dāng)服務(wù)器端檢索程序獲取到SIFT特征后進(jìn)行存儲(chǔ),為下一步操作做準(zhǔn)備;
2)量化圖片并計(jì)算相似度
采用之前生成的相似度貢獻(xiàn)快速索引結(jié)構(gòu)計(jì)算查詢圖與數(shù)據(jù)中圖片相似度,由于離線系統(tǒng)已經(jīng)進(jìn)行了分級(jí)聚類量化操作,并記錄了每一層各個(gè)節(jié)點(diǎn)的信息,因此對(duì)圖片進(jìn)行快速量化;同時(shí),相似度貢獻(xiàn)索引在圖片量化的同時(shí)進(jìn)行圖片的相似度計(jì)算工作,將相似度計(jì)算的時(shí)間復(fù)雜度從O(n2)降低至O(n);
3)對(duì)景點(diǎn)進(jìn)行打分并排序
當(dāng)獲取到查詢圖對(duì)數(shù)據(jù)集中所有圖片的相似度后,通過圖片與景點(diǎn)的映射關(guān)系獲取查詢圖拍攝的是哪個(gè)景點(diǎn)的可能性得分,打分公式如下:
其中ssi為第i個(gè)景點(diǎn)相對(duì)于查詢圖的得分,pi為TopN結(jié)果中屬于第i個(gè)景點(diǎn)的圖片數(shù),q為視覺詞匯數(shù),ak為第j張圖片中量化至第k個(gè)視覺詞匯的特征個(gè)數(shù),skj為第k個(gè)視覺詞匯對(duì)第j張圖片的相似度貢獻(xiàn)。