一種基于二進(jìn)制特征碼的場(chǎng)景信息搜索方法
【專利摘要】本發(fā)明提供一種基于二進(jìn)制特征碼的場(chǎng)景信息搜索方法，屬于移動(dòng)增強(qiáng)現(xiàn)實(shí)【技術(shù)領(lǐng)域】，具體過程為：步驟1：采集當(dāng)前場(chǎng)景的待識(shí)別圖像，并獲取GPS信息和重力方向信息；步驟2：待識(shí)別圖像的描述符特征向量；步驟3：將GPS信息、重力方向信息以及描述符特征向量打包成一個(gè)描述符文件發(fā)送給服務(wù)器；步驟4：服務(wù)器計(jì)算描述符特征向量的主方向和重力方向之間的夾角；步驟5：將描述符特征向量，采用Hash函數(shù)進(jìn)行映射；步驟6：查找與GPS信息距離最近的GPS信息所對(duì)應(yīng)的鏈表；步驟7：獲得到Hash表集；步驟8：基于所述夾角對(duì)Hash表集進(jìn)行過濾；步驟9：在過濾得到Hash表集中，尋找最匹配樣本圖像，將該樣本圖像對(duì)應(yīng)的場(chǎng)景信息返回給移動(dòng)終端。
【專利說明】一種基于ニ進(jìn)制特征碼的場(chǎng)景信息搜索方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于移動(dòng)增強(qiáng)現(xiàn)實(shí)【技術(shù)領(lǐng)域】，具體涉及ー種基于ニ進(jìn)制特征碼的場(chǎng)景信息搜索方法。
【背景技術(shù)】
[0002]圖像搜索是基于內(nèi)容的信息檢索研究的熱門話題，在遙感圖像處理、醫(yī)學(xué)圖像處理和增強(qiáng)現(xiàn)實(shí)等領(lǐng)域有著廣泛的應(yīng)用。
[0003]目前，隨著互聯(lián)網(wǎng)的發(fā)展，人類正在步入ー個(gè)信息化的社會(huì)，互聯(lián)網(wǎng)已經(jīng)成為人類發(fā)布、獲取、交換信息的重要平臺(tái)?；ヂ?lián)網(wǎng)上信息量指數(shù)級(jí)地增長(zhǎng)，使得如何讓用戶能夠快速準(zhǔn)確地在海量的數(shù)據(jù)中找到其所需信息成為了ー個(gè)重要的課題。近些年來，照相機(jī)，智能手機(jī)，PAD，攝像機(jī)等電子產(chǎn)品的普及，我們可以隨時(shí)隨處，拍下我們喜歡的景色，動(dòng)物，食品，等等各種各樣的圖片。截止到2010年一月，F(xiàn)acebook聲稱其網(wǎng)站上的圖片數(shù)量已經(jīng)超過250億張。面對(duì)如此海量的圖片資源，如何快速準(zhǔn)確的找到我們感興趣的圖片是我們必須要解決的問題，是商業(yè)界和學(xué)術(shù)界的ー個(gè)重要研究方向。然而，隨著圖片規(guī)模的極大增長(zhǎng)，要保證圖像捜索的實(shí)時(shí)性，相應(yīng)的圖像編碼、圖像檢索技術(shù)和數(shù)據(jù)庫索引技術(shù)也必須做相應(yīng)的調(diào)整或加速。
[0004]同時(shí)計(jì)算機(jī)軟、硬件技術(shù)的迅猛發(fā)展，為增強(qiáng)現(xiàn)實(shí)技術(shù)走出室內(nèi)應(yīng)用進(jìn)而支持復(fù)雜的分析、決策和管理打下了堅(jiān)實(shí)的基礎(chǔ)。一些移動(dòng)終端設(shè)備(像PDA、智能手機(jī)等)的功能也越來越豐富，并且擁有了嵌入式操作系統(tǒng)、觸摸屏、GPS定位、視頻攝像頭等功能，同時(shí)也具備了較強(qiáng)的計(jì)算和處理能力。這些功能的集成為開發(fā)基于移動(dòng)終端的增強(qiáng)現(xiàn)實(shí)系統(tǒng)奠定了基礎(chǔ)。據(jù)有關(guān)資料，截止到2010年我國移動(dòng)電話用戶可達(dá)7.4億，其中擁有智能手機(jī)的用戶占了相當(dāng)?shù)谋戎?，智能手機(jī)作為增強(qiáng)現(xiàn)實(shí)的應(yīng)用平臺(tái)將具有很大的應(yīng)用潛力。3G網(wǎng)的逐步開通、運(yùn)行，意味著移動(dòng)增值業(yè)務(wù)全新時(shí)代的開始，增強(qiáng)現(xiàn)實(shí)技術(shù)和LBS相結(jié)合可以實(shí)現(xiàn)信息的實(shí)時(shí)交互、三維動(dòng)態(tài)顯示，可使人機(jī)界面更加友好和具有智能性。
[0005]基于上述分析，結(jié)合具有攝像頭，GPS傳感器和重力傳感器的終端以及服務(wù)器端的圖像識(shí)別和匹配技術(shù)，可以將場(chǎng)景之類的大規(guī)模物體的在線識(shí)別變?yōu)榭赡堋?br> [0006]然而以前的許多圖像識(shí)別的研究工作都是在樣本規(guī)模不是非常大的情況下考慮圖像檢索問題，許多方法也不能推廣到更大規(guī)模的圖像識(shí)別問題，系統(tǒng)性能和能夠處理的數(shù)據(jù)規(guī)模存在局限性。當(dāng)城市級(jí)規(guī)模的數(shù)據(jù)，以百萬為單位吋，圖像識(shí)別系統(tǒng)需要海量的存儲(chǔ)空間和海量數(shù)據(jù)的快速計(jì)算能力。因?yàn)閳D像本身需要很大的空間存儲(chǔ)，從圖像提取的各種特征描述向量也需要大量的空間存儲(chǔ)。同時(shí)，在圖像識(shí)別和匹配過程中對(duì)描述符索引、匹配也需要強(qiáng)大計(jì)算能力。

【發(fā)明內(nèi)容】

[0007]有鑒于此，本發(fā)明提供了一種基于ニ進(jìn)制特征碼的場(chǎng)景信息捜索方法，該方法能夠?qū)崿F(xiàn)在線海量圖像的識(shí)別，同時(shí)減少了數(shù)據(jù)存儲(chǔ)量，提高了圖像識(shí)別率和檢索的速度。[0008]實(shí)現(xiàn)本發(fā)明的技術(shù)方案如下:
[0009]一種基于二進(jìn)制特征碼的場(chǎng)景信息搜索方法，適用該方法的樣本圖像庫滿足三個(gè)條件:①每一樣本圖像帶有GPS信息，②每一樣本圖像采用二進(jìn)制特征碼表示，且存儲(chǔ)成以GPS信息為聚類中心的鏈表，③樣本圖像庫對(duì)應(yīng)一確定的、用于映射二進(jìn)制特征碼的Hash函數(shù)；該方法的具體過程為:
[0010]步驟1:利用終端的拍攝設(shè)備采集當(dāng)前場(chǎng)景的待識(shí)別圖像，并獲取當(dāng)前場(chǎng)景的GPS信息和終端采集圖像時(shí)的重力方向信息；
[0011]步驟2:采用局部特征檢測(cè)算法對(duì)待識(shí)別圖像進(jìn)行特征點(diǎn)檢測(cè)，利用特征描述符對(duì)所檢測(cè)到的特征點(diǎn)進(jìn)行描述，獲得描述符特征向量；
[0012]步驟3:將所述GPS信息、重力方向信息以及描述符特征向量打包成一個(gè)描述符文件并發(fā)送給服務(wù)器；
[0013]步驟4:服務(wù)器從接收的描述符文件中提取重力方向信息和描述符特征向量，并計(jì)算描述符特征向量的主方向和重力方向之間的夾角；
[0014]步驟5:將待識(shí)別圖像的描述符特征向量，采用與樣本圖像庫對(duì)應(yīng)的Hash函數(shù)進(jìn)行Hash映射，得到待匹配Hash位串，再將待匹配Hash位串分成8組；
[0015]步驟6:根據(jù)所述GPS信息，從樣本圖像庫中查找與該GPS信息距離最近的GPS信息所對(duì)應(yīng)的鏈表；
[0016]步驟7:針對(duì)步驟5中得到的8組Hash位串中的每一組，在步驟6得到的鏈表中查找與其相差小于或等于漢明距離閾值的Hash表，并對(duì)所查找到的Hash表進(jìn)行并運(yùn)算得到Hash表集；
[0017]步驟8:對(duì)并操作得到的Hash表集，即二進(jìn)制碼集，根據(jù)步驟4得到的夾角對(duì)其進(jìn)行過濾；
[0018]步驟9:在過濾得到Hash表集中，統(tǒng)計(jì)與待識(shí)別圖像二進(jìn)制碼匹配數(shù)量最多的樣本圖像，然后將該樣本圖像對(duì)應(yīng)的場(chǎng)景信息返回給移動(dòng)終端。
[0019]進(jìn)一步地，本發(fā)明在對(duì)待識(shí)別圖像特征點(diǎn)檢測(cè)之前，還包括對(duì)圖像進(jìn)行降采樣處理。
[0020]進(jìn)一步地，本發(fā)明當(dāng)步驟6查找到的最近的GPS信息與待識(shí)別圖像對(duì)應(yīng)的GPS信息相距超過設(shè)定閾值時(shí)，此時(shí)服務(wù)器生成無法查詢到相關(guān)場(chǎng)景信息的反饋信號(hào)回傳給移動(dòng)終端。
[0021]進(jìn)一步地，本發(fā)明適用的樣本圖像庫采用以下方法建立:
[0022]SOI，獲取帶GPS信息的樣本圖像；
[0023]S02，提取每幅樣本圖像的局部特征，并將所述局部特征轉(zhuǎn)換為描述符特征向量，利用所述描述符特征向量訓(xùn)練Hash函數(shù)，確定Hash函數(shù)的參數(shù)，然后利用訓(xùn)練得到的、參數(shù)確定的Hash函數(shù)將描述符特征向量映射為Hash位串，該Hash位串稱為二進(jìn)制特征碼；
[0024]S03，建立以樣本圖像的GPS為聚類中心的更高層的索引，將所屬同一聚類中心的樣本圖像對(duì)應(yīng)的二進(jìn)制特征碼存儲(chǔ)到一個(gè)鏈表中。
[0025]有益效果:
[0026]第一、本發(fā)明使用移動(dòng)終端的攝像頭對(duì)當(dāng)前場(chǎng)景進(jìn)行圖像采集，并利用對(duì)圖像特征二進(jìn)制編碼壓縮技術(shù)(即Hash映射)與計(jì)算機(jī)視覺技術(shù)(即漢明距離識(shí)別)，對(duì)被采集室外場(chǎng)景進(jìn)行識(shí)別，依靠互聯(lián)網(wǎng)或其它通信手段，提供被識(shí)別場(chǎng)景的各種信息，還可以在這些信息上附加進(jìn)一步的各種應(yīng)用，從而為使用者獲取該場(chǎng)景的相關(guān)信息提供一種更為便利的手段。
[0027]第二、本發(fā)明用Hash哈希函數(shù)的散列表示，只需要幾十位就代表高維的描述向量，節(jié)省了存儲(chǔ)空間，為大規(guī)模的存儲(chǔ)數(shù)據(jù)提供了可行性。用二進(jìn)制分段搜索算法提高了海量描述符的快速匹配能力，同時(shí)利用二進(jìn)特征描述符的主方向和重力方向的夾角進(jìn)行進(jìn)一步非相似性過濾，使二進(jìn)制描述符相似性查找更準(zhǔn)確，為室外海量圖片的魯棒識(shí)別提供了更加有利的條件。
[0028]第三，本發(fā)明在為當(dāng)前任務(wù)進(jìn)行相似圖像查找時(shí)，首先根據(jù)GPS信息判斷是否存在位置較近的樣本圖像，如果有，進(jìn)行后續(xù)的二進(jìn)制特征碼相似性比較，如果沒有，則直接通知移動(dòng)終端找不到類似的樣本圖像；因此本發(fā)明通過GPS傳感器的位置信息，縮小匹配樣本的范圍，節(jié)省了匹配的時(shí)間。
[0029]第四，本發(fā)明在記載樣本二進(jìn)制特征碼時(shí)，將GPS值進(jìn)行聚類，選取聚類中心代表這一類的位置，并將這類的樣本特征向量，放在一個(gè)大鏈表里，方便進(jìn)行查找。
[0030]第五，本發(fā)明可以擴(kuò)展智能終端的交互式應(yīng)用，滿足了旅游、導(dǎo)航、交通、酒店服務(wù)等在智能終端上的擴(kuò)展應(yīng)用，使網(wǎng)絡(luò)運(yùn)營商和內(nèi)容提供商能夠利用其豐富的服務(wù)器資源和優(yōu)越的服務(wù)器性能發(fā)展其業(yè)務(wù)。
【專利附圖】

【附圖說明】
[0031]圖1為二進(jìn)制特征碼的場(chǎng)景信息搜索原理圖；
[0032]圖2為本發(fā)明的室外場(chǎng)景訓(xùn)練樣本二進(jìn)制特征向量的多索引結(jié)構(gòu)圖；
[0033]圖3為重力方向與特征主方向夾角；
[0034]圖4為傳感器信息的編碼圖；
[0035]圖5為分組二進(jìn)制相似性查找原理圖。
【具體實(shí)施方式】
[0036]下面將結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作詳細(xì)描述。
[0037]如圖1所示，本發(fā)明基于二進(jìn)制特征碼的場(chǎng)景信息搜索方法，適用該方法的樣本圖像庫滿足三個(gè)條件:①每一樣本圖像帶有GPS信息，②每一樣本圖像采用二進(jìn)制特征碼表示，且存儲(chǔ)成以GPS信息為聚類中心的鏈表，③樣本圖像庫對(duì)應(yīng)一確定的、用于映射二進(jìn)制特征碼的Hash函數(shù)；該方法的具體過程為:步驟1:用戶打開終端的拍攝設(shè)備，終端采集當(dāng)前場(chǎng)景的待識(shí)別圖像；再調(diào)用終端的GPS傳感器接口和重力傳感器接口，獲取當(dāng)前場(chǎng)景的GPS信息和終端采集圖像時(shí)的重力方向信息g = [gx, gy, gj，其中g(shù)x，gy, gz為終端重力加速度感應(yīng)器獲得的三個(gè)坐標(biāo)軸方向的加速度矢量。
[0038]步驟2:為了降低運(yùn)算量，終端對(duì)采集到的待識(shí)別圖像進(jìn)行降采樣處理，以降低圖像分辨率；然后采用局部特征檢測(cè)算法(例如可以是SIFT、SURF或0RB)對(duì)待識(shí)別圖像進(jìn)行特征點(diǎn)檢測(cè)，再利用特征描述符(例如可以是FREAK,Fast Retina Keypoint)對(duì)所檢測(cè)到的特征點(diǎn)進(jìn)行描述，獲得描述符特征向量，從而實(shí)現(xiàn)將待識(shí)別圖像的局部特征轉(zhuǎn)化為描述符特征向量。由于一幅圖像中可能包含大量的信息，因此一幅圖像可能有上百個(gè)描述符特征向量。
[0039]本步驟中檢測(cè)特征點(diǎn)和獲取描述符特征向量為采用現(xiàn)有技術(shù)實(shí)現(xiàn)，因此在此不對(duì)其進(jìn)行詳細(xì)描述。
[0040]步驟3:將所述GPS信息、重力方向信息以及描述符特征向量打包成一個(gè)描述符文件并發(fā)送給服務(wù)器。
[0041]為了便于遠(yuǎn)端服務(wù)器獲取待識(shí)別圖像的位置，在描述符文件中將GPS信息放在開頭，該描述符文件可通過無線網(wǎng)絡(luò)發(fā)送給遠(yuǎn)端服務(wù)器。
[0042]步驟4:服務(wù)器從接收到的描述符文件中，提取重力方向信息和描述符特征向量， 并計(jì)算描述符特征向量的主方向和重力方向之間的夾角。
[0043]如圖3所示，因?yàn)槭彝馀臄z建筑物場(chǎng)景存在大量相似結(jié)構(gòu)的物體，單靠局部特征無法區(qū)分圖像里面的相似結(jié)構(gòu)。但是，用表示拍攝待識(shí)別圖像時(shí)終端姿勢(shì)的重力方向和描述符特征向量的主方向之間的夾角可以更好的過濾相似特征；因此本步驟中獲取兩者之間的夾角為后續(xù)步驟8做準(zhǔn)備。同時(shí)，如圖4所示的編碼方式，對(duì)夾角進(jìn)行編碼，例如當(dāng)夾角為 30度時(shí)為11111 ；60度時(shí)為11110 ;為90度時(shí)11100 ;為120度時(shí)11000 ；150度時(shí)10000 ； 180度時(shí)為00000，從而實(shí)現(xiàn)將夾角表示成二進(jìn)制碼的形式。
[0044]針對(duì)每一帶有重力感應(yīng)的終端設(shè)備，其對(duì)應(yīng)的重力方向的計(jì)算方法都是確定的， 下面以某一款手機(jī)為例對(duì)重力方向的計(jì)算方法進(jìn)行說明:
[0045]例如:圖像中點(diǎn)P = [U，V，1]T處的重力方向向量為d = p' -p ；
[0046]其中d = [du, dv, 0]T為點(diǎn)p處的重力方向，p'由下式計(jì)算得出:
[0047]p' = [WU' , WV1 , w]T = p+Kg
[0048]其中g(shù) = [gx, gy, gz]T即為手機(jī)中重力加速度感應(yīng)器獲得的三個(gè)坐標(biāo)軸方向的加速度矢量，K為手機(jī)相機(jī)的內(nèi)參矩陣。
[0049]由d可計(jì)算出圖像中重`力方向的角度為0 g = arctan(dv/du)。
[0050]步驟5:將待識(shí)別圖像的描述符特征向量，采用與樣本圖像庫對(duì)應(yīng)的Hash函數(shù)進(jìn)行Hash映射，得到待匹配Hash位串，該Hash位串稱為二進(jìn)制特征碼，再將待匹配Hash位串分成8組；
[0051]步驟6:根據(jù)所述GPS信息，從樣本圖像庫中查找與該GPS信息距離最近的GPS信息所對(duì)應(yīng)鏈表；
[0052]步驟7:針對(duì)步驟5中得到的8組Hash位串中的每一組，在步驟6得到的鏈表中查找與其相差小于或等于漢明距離閾值的Hash表，并對(duì)所查找到的Hash表進(jìn)行并運(yùn)算得到Hash表集。上述對(duì)分組得到的8組位串進(jìn)行查找為并行進(jìn)行的。
[0053]通常漢明距離閾值為:如果整個(gè)待匹配Hash位串碼長(zhǎng)為64位，漢明距離閾值為8 位，那么分組的位串漢明距離閾值為1，如果整個(gè)待匹配Hash位串碼長(zhǎng)為128位，漢明距離閾值為16，那么分組碼比較的閾值為2。
[0054]漢明距離的計(jì)算為現(xiàn)有技術(shù)，下面列舉一實(shí)例對(duì)其進(jìn)行簡(jiǎn)單說明:
[0055]如圖5所示，假定待匹配Hash位串長(zhǎng)度L=128位，位串之間的漢明距離閾值設(shè)置為32位，當(dāng)漢明距離小于等于32時(shí)，則認(rèn)為兩個(gè)位串相似，即LlXOR L2 ( 32，大于則認(rèn)為不相似，即LlXOR L2>32。再將該位串進(jìn)行分組，假定分成8組sub I, sub2…，sub8，每組16 位，則兩個(gè)位串的漢明距離計(jì)算為下式:[0056]
【權(quán)利要求】
1.一種基于二進(jìn)制特征碼的場(chǎng)景信息搜索方法，適用該方法的樣本圖像庫滿足三個(gè) 條件:①每一樣本圖像帶有GPS信息，②每一樣本圖像采用二進(jìn)制特征碼表示，且存儲(chǔ)成以 GPS信息為聚類中心的鏈表，③樣本圖像庫對(duì)應(yīng)一確定的、用于映射二進(jìn)制特征碼的Hash 函數(shù)；其特征在于，該方法的具體過程為:步驟1:利用終端的拍攝設(shè)備采集當(dāng)前場(chǎng)景的待識(shí)別圖像，并獲取當(dāng)前場(chǎng)景的GPS信息 和終端采集圖像時(shí)的重力方向信息；步驟2:采用局部特征檢測(cè)算法對(duì)待識(shí)別圖像進(jìn)行特征點(diǎn)檢測(cè)，利用特征描述符對(duì)所 檢測(cè)到的特征點(diǎn)進(jìn)行描述，獲得描述符特征向量；步驟3:將所述GPS信息、重力方向信息以及描述符特征向量打包成一個(gè)描述符文件并 發(fā)送出去；步驟4:服務(wù)器從接收的描述符文件中提取重力方向信息和描述符特征向量，并計(jì)算 描述符特征向量的主方向和重力方向之間的夾角；步驟5:將待識(shí)別圖像的描述符特征向量，采用與樣本圖像庫對(duì)應(yīng)的Hash函數(shù)進(jìn)行 Hash映射，得到待匹配Hash位串，再將待匹配Hash位串分成8組；步驟6:根據(jù)所述GPS信息，從樣本圖像庫中查找與該GPS信息距離最近的GPS信息所 對(duì)應(yīng)的鏈表；步驟7:針對(duì)步驟5中得到的8組Hash位串中的每一組，在步驟6得到的鏈表中查找與 其相差小于或等于漢明距離閾值的Hash表，并對(duì)所查找到的Hash表進(jìn)行并運(yùn)算得到Hash 表集；步驟8:對(duì)并操作得到的Hash表集，即二進(jìn)制碼集，根據(jù)步驟4得到的夾角對(duì)其進(jìn)行過濾；步驟9:在過濾得到Hash表集中，統(tǒng)計(jì)與待識(shí)別圖像二進(jìn)制碼匹配數(shù)量最多的樣本圖 像，然后將該樣本圖像對(duì)應(yīng)的場(chǎng)景信息返回給移動(dòng)終端。
2.根據(jù)權(quán)利要求1所述基于二進(jìn)制特征碼的場(chǎng)景信息搜索方法，其特征在于，在對(duì)待 識(shí)別圖像特征點(diǎn)檢測(cè)之前，還包括對(duì)圖像進(jìn)行降采樣處理。
3.根據(jù)權(quán)利要求1所述基于二進(jìn)制特征碼的場(chǎng)景信息搜索方法，其特征在于，當(dāng)步驟6 查找到的最近的GPS信息與待識(shí)別圖像對(duì)應(yīng)的GPS信息相距超過設(shè)定閾值時(shí)，此時(shí)服務(wù)器 生成無法查詢到相關(guān)場(chǎng)景信息的反饋信號(hào)回傳給移動(dòng)終端。
4.根據(jù)權(quán)利要求1、2或3所述基于二進(jìn)制特征碼的場(chǎng)景信息搜索方法，其特征在于，所 述樣本圖像庫采用以下方法建立:SOI，獲取帶GPS信息的樣本圖像；S02，提取每幅樣本圖像的局部特征，并將所述局部特征轉(zhuǎn)換為描述符特征向量，利用 所述描述符特征向量訓(xùn)練Hash函數(shù)，確定Hash函數(shù)的參數(shù)，然后利用訓(xùn)練得到的、參數(shù)確 定的Hash函數(shù)將描述符特征向量映射為Hash位串，該Hash位串稱為二進(jìn)制特征碼；S03，建立以樣本圖像的GPS為聚類中心的更高層的索引，將所屬同一聚類中心的樣本 圖像對(duì)應(yīng)的二進(jìn)制特征碼存儲(chǔ)到一個(gè)鏈表中。
【文檔編號(hào)】G06F17/30GK103530377SQ201310483341
【公開日】2014年1月22日 申請(qǐng)日期:2013年10月16日 優(yōu)先權(quán)日:2013年10月16日
【發(fā)明者】桂振文, 劉越, 王涌天 申請(qǐng)人:北京理工大學(xué)