本申請(qǐng)要求對(duì)2014年2月10日提交的美國(guó)臨時(shí)專利申請(qǐng)?zhí)?1/937,859的優(yōu)先權(quán)，藉此將其內(nèi)容整體地通過(guò)引用并入。

技術(shù)領(lǐng)域

本公開(kāi)涉及視覺(jué)對(duì)象識(shí)別，并且更具體地涉及用于識(shí)別數(shù)字圖像中的內(nèi)容和對(duì)象的方法和系統(tǒng)以及用于與已識(shí)別內(nèi)容對(duì)象有關(guān)的附加內(nèi)容和/或信息的快速遞送的方法和系統(tǒng)。本文中公開(kāi)的方法和系統(tǒng)還可適用于搜索服務(wù)及基于內(nèi)容的圖像檢索和識(shí)別過(guò)程。

背景技術(shù)：

在現(xiàn)在的世界，幾乎每個(gè)人都一直隨身攜帶相機(jī)使能移動(dòng)設(shè)備。移動(dòng)設(shè)備用戶已經(jīng)漸漸習(xí)慣于能夠使用移動(dòng)設(shè)備來(lái)使用他們的移動(dòng)設(shè)備獲得關(guān)于其周圍的世界的附加信息。移動(dòng)設(shè)備用戶現(xiàn)在將在購(gòu)物之前使用互聯(lián)網(wǎng)來(lái)獲得附加信息、研究?jī)r(jià)格、觀察產(chǎn)品，并且甚至購(gòu)買(mǎi)項(xiàng)目或內(nèi)容。用戶現(xiàn)在想要盡可能快速且高效地進(jìn)行此類訪問(wèn)，用盡可能最少的步驟數(shù)目。

對(duì)更多信息的期望可能由于例如觀察我們周圍的世界中的對(duì)象或場(chǎng)景、在諸如廣告牌、海報(bào)或電影之類的印刷品中看到的某些東西或者被在屏幕上看到的某些東西（諸如電影、TV演出、網(wǎng)站或其它數(shù)字內(nèi)容）觸發(fā)。

存在用于促進(jìn)關(guān)于項(xiàng)目或內(nèi)容的附加信息到用戶的移動(dòng)設(shè)備的遞送的現(xiàn)有技術(shù)。例如，可以將諸如一維條形碼或二維QR碼之類的標(biāo)記以物理方式附著到產(chǎn)品，或者可以在印刷頁(yè)、海報(bào)或廣告牌上緊挨著產(chǎn)品的圖像打印所述標(biāo)記。在某些情況下，可向圖像添加人工生成的圖案。通過(guò)用專用掃描設(shè)備或者使用用戶的移動(dòng)設(shè)備上的相機(jī)功能和應(yīng)用程序來(lái)掃描代碼或人工生成圖案，可以向用戶遞送更多信息?？梢詫⒏郊有畔⒅苯拥鼐幋a到標(biāo)記中，或者可以使用被編碼到標(biāo)記中的信息從數(shù)據(jù)庫(kù)檢索附加信息。

在技術(shù)上更尖端的是沒(méi)有人工標(biāo)記的插入的圖像識(shí)別，因?yàn)椴⒉皇敲總€(gè)對(duì)象都具有或者可以具有此類標(biāo)記。針對(duì)這些情況，已經(jīng)開(kāi)發(fā)了用以使用對(duì)象識(shí)別算法和圖案匹配的組合來(lái)識(shí)別圖像的技術(shù)。例如，如由Paul Viola和Michael Jones在“The Rapid Object Detection Using a Boosted Cascade of Simple Features”中描述的Viola-Jones方法執(zhí)行一連串的預(yù)定義掃描操作以便評(píng)定圖像中的某個(gè)形狀的存在概率，以及用以識(shí)別對(duì)象的分類算法（諸如AdaBoost）。使用“積分圖像”作為隨機(jī)像素訪問(wèn)數(shù)據(jù)結(jié)構(gòu)，Viola-Jones法從較大類集選擇小數(shù)目的關(guān)鍵視覺(jué)特征來(lái)產(chǎn)生分類器的子集，然后在“級(jí)聯(lián)”中將逐漸更復(fù)雜的分類器組合（AdaBoost）以允許丟棄背景區(qū)域并執(zhí)行有希望的類似于對(duì)象的區(qū)域上的更多計(jì)算。分類方法通常具有兩個(gè)階段，訓(xùn)練階段和測(cè)試階段，在其期間可使用訓(xùn)練數(shù)據(jù)來(lái)識(shí)別對(duì)象。分類方法是計(jì)算密集的，并且依賴于訓(xùn)練圖像的謹(jǐn)慎預(yù)選。這些類型的對(duì)象識(shí)別方法通常在具有相同形狀和特性的對(duì)象（諸如面部、交通標(biāo)志、品牌徽標(biāo)等）的檢測(cè)中使用。

其它方法將存在于圖像中的不同屬性或特征用于基于圖像的檢測(cè)和識(shí)別。在這些系統(tǒng)中，從訓(xùn)練圖像集合提取特性，并且然后系統(tǒng)檢測(cè)在快照集合之中或者在快照與圖像的訓(xùn)練集合之間是否存在對(duì)應(yīng)特性?；趫D像的檢測(cè)和識(shí)別的應(yīng)用跨距從全景和圖像拼接、稀疏3D重構(gòu)、增強(qiáng)現(xiàn)實(shí)（例如，Microsoft? Photosynth^TM、VisualSFM^TM、Qualcomm? Vuforia^TM）至由Google? Goggles^TM和Kooaba^TM/Vuforia^TM云識(shí)別提供的圖像搜索和識(shí)別服務(wù)。這些基于圖像的識(shí)別技術(shù)僅僅被用來(lái)識(shí)別對(duì)象而不提取存放在圖像內(nèi)的額外信息。此外，現(xiàn)有技術(shù)通常要求數(shù)據(jù)稠密媒體文件（諸如圖像本身或視頻和/或音頻數(shù)據(jù)）通過(guò)網(wǎng)絡(luò)從捕捉設(shè)備（例如，智能電話）到處理服務(wù)器的傳輸，這進(jìn)一步延遲了對(duì)象的識(shí)別?，F(xiàn)有方法還要求將與對(duì)象相關(guān)聯(lián)的所有附加信息從服務(wù)器傳輸回到移動(dòng)設(shè)備，因而耗費(fèi)時(shí)間且在其中不存在到服務(wù)器的網(wǎng)絡(luò)連接的情況下不可用。

存在用于從視頻提取某些特征并生成用于傳輸?shù)絻?nèi)容識(shí)別服務(wù)器以便在識(shí)別內(nèi)容時(shí)使用的“指紋”的一些方法和系統(tǒng)。給Yu的美國(guó)專利號(hào)8,793,274例如從捕捉內(nèi)容提取VDNA（視頻DNA）指紋。然而，'274專利具體地涉及從視頻（其捕捉圖像序列）（包括從伴隨的音頻）提取指紋。

還存在提供用于媒體內(nèi)容的自動(dòng)識(shí)別的一些方法和系統(tǒng)的一些嘗試，但是到目前為止全都不能令人滿意。針對(duì)靜止媒體工作的任何現(xiàn)有方法和系統(tǒng)并不容易很好地適合于用于視頻。生成VDNA指紋的系統(tǒng)是計(jì)算密集的，并且使用難以通過(guò)網(wǎng)絡(luò)快速地傳輸?shù)拇笮兔襟w文件。此外，使用VDNA指紋的任何系統(tǒng)必須涉及使用中的尖峰，因?yàn)橥瑫r(shí)地通過(guò)網(wǎng)絡(luò)的多路訪問(wèn)將進(jìn)一步加劇帶寬問(wèn)題。嘗試識(shí)別視頻媒體和其中的對(duì)象的系統(tǒng)必須解決捕捉包含感興趣項(xiàng)目的良好可用圖像的問(wèn)題。此類系統(tǒng)還必須慮及在用戶可能感興趣的場(chǎng)景被顯示的時(shí)刻與用戶發(fā)起捕捉的時(shí)刻之間不可避免地發(fā)生的時(shí)間延遲。

因此，需要僅要求最少量的媒體數(shù)據(jù)（諸如單個(gè)圖像，而不是要求使用一系列圖像以及音頻數(shù)據(jù)的VDNA樣式指紋生成）來(lái)檢測(cè)或識(shí)別對(duì)象或內(nèi)容且不要求媒體數(shù)據(jù)通過(guò)網(wǎng)絡(luò)的傳輸?shù)南到y(tǒng)和方法。此外，還需要一種可縮放以處理來(lái)自視頻幀的大量訓(xùn)練數(shù)據(jù)的系統(tǒng)，以克服通常與使用視頻幀作為訓(xùn)練集的圖像識(shí)別相關(guān)聯(lián)的限制。此類限制可包括將巨量的單個(gè)圖像或視頻幀與典型圖像識(shí)別域相比較以及從視頻幀生成的訓(xùn)練數(shù)據(jù)集中的巨大冗余。此外，還需要加速并改善識(shí)別過(guò)程的準(zhǔn)確度，尤其是當(dāng)對(duì)視頻執(zhí)行圖像識(shí)別時(shí)。最后，還需要濾出冗余查詢以處理查詢中的尖峰，以節(jié)省寶貴的網(wǎng)絡(luò)和計(jì)算資源。

附圖說(shuō)明

被并入到本公開(kāi)中并構(gòu)成其一部分的附圖圖示出多個(gè)實(shí)施例并連同本描述一起用于解釋所公開(kāi)的原理。在所述附圖中：

圖1A是圖示出根據(jù)本公開(kāi)的實(shí)施例的用于為用戶提供與所顯示數(shù)字內(nèi)容中的感興趣項(xiàng)目有關(guān)的附加信息的示例性系統(tǒng)的圖。

圖1B圖示出用于獲得關(guān)于所顯示數(shù)字內(nèi)容中的對(duì)象或東西的更多信息的本文所述的示例性方法和系統(tǒng)的使用。

圖1C圖示出用于向用戶提供關(guān)于數(shù)字媒體中的對(duì)象或東西的更多信息的本文所述的示例性方法和系統(tǒng)的使用。

圖2A圖示出從圖像中的顯著點(diǎn)生成將被組合為圖像指紋的特征描述符矢量的集合的現(xiàn)有技術(shù)過(guò)程。

圖2B是圖示出用于發(fā)現(xiàn)與查詢圖像和參考圖像的對(duì)應(yīng)特征位置匹配的擬合變換的現(xiàn)有技術(shù)方法的圖。

圖3是圖示出根據(jù)本公開(kāi)的實(shí)施例的用于獲得關(guān)于圖像快照中的感興趣對(duì)象的附加信息的示例性系統(tǒng)的框圖。

圖4A是圖示出根據(jù)本公開(kāi)的實(shí)施例的用于查詢圖像特征索引數(shù)據(jù)庫(kù)以將現(xiàn)場(chǎng)相機(jī)視頻饋送作為輸入處理的示例性方法的流程圖。

圖4B是圖示出根據(jù)本公開(kāi)的實(shí)施例的用于處理查詢圖像特征索引數(shù)據(jù)庫(kù)的結(jié)果以發(fā)現(xiàn)匹配圖像的示例性方法的流程圖。

圖4C是圖示出根據(jù)本公開(kāi)的實(shí)施例的用于在查詢圖像特征索引數(shù)據(jù)庫(kù)以發(fā)現(xiàn)匹配圖像之前查詢高速緩存圖像集的示例性方法的流程圖。

圖5A-5H是圖示出用于查詢、組織和訪問(wèn)圖像特征索引數(shù)據(jù)庫(kù)的現(xiàn)有技術(shù)方法的圖。

圖6A-6E是圖示出根據(jù)本公開(kāi)的實(shí)施例的用于查詢、組織和訪問(wèn)圖像特征索引數(shù)據(jù)庫(kù)的其它示例性方法的圖。

圖7是圖示出根據(jù)本公開(kāi)的實(shí)施例的用于處理圖像指紋的示例性系統(tǒng)的框圖。

圖8是圖示出根據(jù)本公開(kāi)的實(shí)施例的用于處理圖像指紋的另一示例性系統(tǒng)的框圖。

圖9是圖示出可以在其上面實(shí)現(xiàn)本公開(kāi)的實(shí)施例的示例性系統(tǒng)的框圖。

具體實(shí)施方式

現(xiàn)在將詳細(xì)地對(duì)實(shí)施例進(jìn)行參考，其示例在附圖中圖示出。只要可能，遍及各圖使用相同的參考標(biāo)號(hào)來(lái)指代相同或類似部分。

在本文中描述了通過(guò)為用戶提供關(guān)于其在數(shù)字內(nèi)容或其周圍世界中看到的人、地點(diǎn)以及東西的附加信息來(lái)為用戶提供信息豐富的觀看體驗(yàn)的方法和系統(tǒng)。本文所述的方法和系統(tǒng)相比于現(xiàn)有技術(shù)系統(tǒng)而言提供了多個(gè)優(yōu)點(diǎn)。首先，本文中的方法和系統(tǒng)對(duì)單個(gè)圖像幀進(jìn)行操作，無(wú)論從視頻、印刷品還是用戶周圍的世界捕捉的。本文中的方法和系統(tǒng)可由在被連接到基于網(wǎng)絡(luò)的服務(wù)器的用戶移動(dòng)設(shè)備上操作的應(yīng)用程序?qū)嵤?，條件是移動(dòng)設(shè)備具有圖像捕捉功能性，并且服務(wù)器提供圖像識(shí)別服務(wù)。事實(shí)上，在本文中公開(kāi)的本發(fā)明的優(yōu)點(diǎn)中的一個(gè)是可使用用如在智能電話和平板電腦中使用的手持式消費(fèi)者相機(jī)產(chǎn)生的照片來(lái)實(shí)現(xiàn)這些方法和系統(tǒng)。

在本文所述的方法和系統(tǒng)中，提取快照的“指紋”并將其用來(lái)識(shí)別附加信息。在本文中描述了用于識(shí)別并描述圖像特征且生成單個(gè)圖像的唯一指紋的方法和系統(tǒng)。另外，不需要將原始圖像存儲(chǔ)在用戶的移動(dòng)設(shè)備上，因?yàn)榭蓪⒅讣y用于與附加信息一起再顯示給用戶（如果期望的話）。

使用本文所述的系統(tǒng)和方法，通過(guò)識(shí)別與初始快照有關(guān)的媒體或內(nèi)容來(lái)檢索附加信息是使用指紋作為查詢而執(zhí)行的。如本文所述的基于圖像特征的識(shí)別使用特征索引來(lái)從圖像的較大數(shù)據(jù)庫(kù)識(shí)別候選匹配的較小集合。特征索引的使用使得能夠在大型圖像集合范圍內(nèi)實(shí)現(xiàn)更快速的搜索。使用特征編索引的現(xiàn)有解決方案在具有帶有大量相似性的圖像特征的巨大集合（億萬(wàn)個(gè)）的情形（如通常在從視頻材料提取的單個(gè)幀的集合中看到的）中失敗。替代地，本文所述的方法和系統(tǒng)使用距離度量和利用概率效應(yīng)的基本散列表設(shè)計(jì)來(lái)克服現(xiàn)有技術(shù)存在的問(wèn)題。本文所述的方法和系統(tǒng)在一些冗余的圖像特征內(nèi)自動(dòng)地挑選出不同的圖像特征，僅允許更加不同的數(shù)據(jù)點(diǎn)保持常駐于索引內(nèi)，提供可以在識(shí)別過(guò)程中快速地使用的簡(jiǎn)潔索引。相反地，傳統(tǒng)近似最近鄰（ANN）法在未過(guò)濾的情況下存儲(chǔ)所有數(shù)據(jù)點(diǎn)，這大大地劣化其匹配性能。

本文所述的方法和系統(tǒng)提供了用于在保持圖像分辨率和獨(dú)特性的同時(shí)處理大量圖像數(shù)據(jù)的手段。本文所述的方法和系統(tǒng)還將處理由于高使用時(shí)段而引起的請(qǐng)求業(yè)務(wù)中的尖峰。

此外，在本文所述的某些實(shí)施例中，可在不在移動(dòng)設(shè)備上執(zhí)行全尺寸圖像識(shí)別的情況下識(shí)別附加信息。本文所述的方法和系統(tǒng)引入了獨(dú)立可復(fù)制層的使用，該獨(dú)立可復(fù)制層在網(wǎng)絡(luò)通信層與服務(wù)器上的搜索系統(tǒng)之間操作以攔截和處理請(qǐng)求中的許多。通過(guò)選擇性地高速緩存并識(shí)別移動(dòng)設(shè)備處的相似或等價(jià)請(qǐng)求，較少的請(qǐng)求需要被轉(zhuǎn)送到服務(wù)器。

本文所述的多個(gè)發(fā)明可單獨(dú)地或以與彼此的各種組合來(lái)實(shí)現(xiàn)。下面將更詳細(xì)地描述各種發(fā)明中的每一個(gè)。

圖1A是在高層級(jí)示出了使用本文所述發(fā)明中的某些或全部的用于通過(guò)視覺(jué)媒體103將內(nèi)容提供方101連接到用戶102的系統(tǒng)100的圖。內(nèi)容提供方101可以是例如制作人、傳播者、登廣告者、媒體內(nèi)容所有人以及具有產(chǎn)品或內(nèi)容的其它實(shí)體。視覺(jué)媒體103可以是例如電視廣播、電影、印刷品或廣告牌?？梢越?jīng)由分發(fā)網(wǎng)絡(luò)104將視覺(jué)媒體遞送到視頻媒體廣播平臺(tái)105或印刷媒體106。

在圖1A中所述的系統(tǒng)中，用戶102具有移動(dòng)設(shè)備，諸如平板電腦121或智能電話122。移動(dòng)電話在某些實(shí)施例中還可以是具有處理器、存儲(chǔ)器以及無(wú)線通信能力的相機(jī)。在某些實(shí)施例中，移動(dòng)設(shè)備包括加速度計(jì)、陀螺儀或用于檢測(cè)移動(dòng)設(shè)備的取向的其它設(shè)備。在本文所述的實(shí)施例中，移動(dòng)設(shè)備是互聯(lián)網(wǎng)使能的。下面將參考圖3、8和9來(lái)更詳細(xì)地描述移動(dòng)設(shè)備的實(shí)施例。

在某些實(shí)施例中，用戶102可以直接地消費(fèi)如在平臺(tái)105和106上顯示或廣播的內(nèi)容123。還可直接地在用戶的移動(dòng)設(shè)備中顯示內(nèi)容123。

在第一步驟中，用戶識(shí)別他或她想要關(guān)于其學(xué)習(xí)更多信息的某些興趣。感興趣的東西可以是例如在內(nèi)容123或124中顯示的項(xiàng)目，諸如產(chǎn)品、道具、衣服或其它對(duì)象。感興趣東西還可以是場(chǎng)景本身的位置或者在場(chǎng)景中描繪的主題。在某些實(shí)施例中，感興趣東西是特定內(nèi)容本身，例如正在顯示的電影、視頻或程序。

使用用戶的移動(dòng)設(shè)備上的最終用戶應(yīng)用程序和相機(jī)功能性，用戶拍攝描繪感興趣東西的屏幕的快照?？煺湛梢允菛|西本身的特寫(xiě)，或者可以包括感興趣東西的周圍區(qū)域。快照還可不僅僅包括顯示內(nèi)容的顯示設(shè)備和在屏幕上顯示的內(nèi)容。在某些實(shí)施例中，諸如當(dāng)正在用戶的移動(dòng)設(shè)備上顯示內(nèi)容121或122時(shí)，用戶可通過(guò)獲取屏幕捕捉來(lái)拍攝描繪感興趣東西的屏幕的快照。

圖1B圖示出用于獲得關(guān)于所顯示數(shù)字內(nèi)容中的對(duì)象或東西的更多信息的本文所述的示例性方法和系統(tǒng)的使用。如圖1B中所示，用戶可握持移動(dòng)設(shè)備121或122，使得在屏幕上示出大的視圖面積（包括感興趣東西）。在某些實(shí)施例中，捕捉整個(gè)視圖面積。在某些實(shí)施例中，系統(tǒng)可自動(dòng)地確定視圖面積的僅某個(gè)部分（諸如示出內(nèi)容的顯示屏）是實(shí)質(zhì)性的，并且僅捕捉顯示屏。在某些實(shí)施例中，用戶可經(jīng)由接口150通過(guò)例如用用戶的手指或觸針來(lái)觸摸或環(huán)繞感興趣東西（如部分151所指示的）來(lái)指示顯示器中所示的圖像的子集。最終用戶應(yīng)用然后可捕捉移動(dòng)設(shè)備的顯示器中的圖像的僅部分151。如果指示了一部分，則圖像的部分151然后被用來(lái)生成將被圖像數(shù)據(jù)庫(kù)處理的查詢。圖像數(shù)據(jù)庫(kù)然后可以返回圖像152以便在移動(dòng)設(shè)備處顯示，圖像152被確定為與部分151的至少一部分匹配。

可基于所捕捉圖像來(lái)選擇附加信息153并將其顯示給用戶。所顯示的附加信息153將是與快照中的媒體內(nèi)容有關(guān)或相關(guān)聯(lián)的信息?？苫谡麄€(gè)快照或任何已識(shí)別部分151來(lái)選擇附加信息153。

在某些實(shí)施例中，可在附加信息153上面、下面或旁邊將圖像152連同附加信息153一起顯示。在某些實(shí)施例中，圖像152可包括與附加信息154相關(guān)的標(biāo)簽154（也稱為注釋）。在至少某些實(shí)施例中，標(biāo)簽154如圖像152（針對(duì)該圖像152已識(shí)別到附加信息153）中所描繪的緊挨著項(xiàng)目中的某些或所有出現(xiàn)。在某些實(shí)施例中，標(biāo)簽154可被用戶用來(lái)導(dǎo)航到與用標(biāo)簽標(biāo)記的項(xiàng)目相關(guān)聯(lián)的附加信息153的各部分。例如，通過(guò)點(diǎn)擊標(biāo)簽，可將用戶帶到屏幕上的關(guān)聯(lián)信息，其可以是搜索結(jié)果或者到附加信息的鏈接。在某些實(shí)施例中，標(biāo)簽本身表示到附加信息的超鏈接。

在圖1C中所示的實(shí)施例中，在中心處顯示的圖像163已被加注釋。左側(cè)的圖示出了目錄162，其分層級(jí)地存儲(chǔ)附加信息164。附加信息164可以與指向?qū)ο螅ɡ?，如圖1C中所示的沙發(fā)）的特定標(biāo)簽166相關(guān)聯(lián)，并且可以包括與對(duì)象有關(guān)的信息。所述信息可以包括與對(duì)象有關(guān)的圖像、文本描述、定價(jià)、到其它信息的鏈接等，并且所述信息被在目錄162下存儲(chǔ)在分級(jí)結(jié)構(gòu)中。如圖1C中所示，在用戶激活標(biāo)簽166之后，顯示附加信息164的至少一部分。例如，可以顯示沙發(fā)的圖像167、沙發(fā)的文本描述168及其它信息。

現(xiàn)在返回至圖1A，在用戶拍攝快照之后，最終用戶應(yīng)用生成快照的指紋或快照的所指示部分。存在用于生成圖像的指紋的許多已知方法。一般地，作為第一步驟，這些方法使用顯著點(diǎn)檢測(cè)算法來(lái)檢測(cè)圖像中的顯著點(diǎn)，所述算法諸如來(lái)自加速分段測(cè)試的特征（FAST）、Harris、最大穩(wěn)定極值區(qū)域（MSER）等或等價(jià)物。然后可以如圖2A中所示地使用顯著點(diǎn)來(lái)生成特征描述符矢量。如圖2A中所示，可以分別地用矢量220a和220b來(lái)表示圖像218的顯著點(diǎn)219a和219b。尺度不變特征變換（SIFT）、加速穩(wěn)健特征（SURF）、二進(jìn)制穩(wěn)健不變可縮放關(guān)鍵點(diǎn)（BRISK）、快速視網(wǎng)膜關(guān)鍵點(diǎn)（FREAK）是用于生成特征描述符矢量的已知方法的示例。特征描述符矢量可以是浮點(diǎn)數(shù)或位的固定尺寸矢量，其表征像素塊（例如，64維或128維浮點(diǎn)矢量或512維度位矢量）?？梢栽诿枋龇蓸泳W(wǎng)格224內(nèi)對(duì)根據(jù)像素網(wǎng)格222布置在圖像內(nèi)的像素塊進(jìn)行采樣而生成矢量，并且可以選擇矢量值，使得表示兩個(gè)像素塊的兩個(gè)矢量之間的距離與兩個(gè)像素塊之間的相似度（例如，在輝度/亮度方面）相關(guān)。

如圖2B中所示，可以使圖像內(nèi)容與參考圖像中的對(duì)應(yīng)內(nèi)容相比不同地取向，并且仍可以發(fā)現(xiàn)匹配。例如，可發(fā)現(xiàn)查詢圖像240的查詢特征242與參考圖像250的查詢特征252匹配。然后可以從查詢圖像240內(nèi)的每個(gè)查詢特征242的位置與參考圖像250內(nèi)的對(duì)應(yīng)參考特征252的位置之間的一組關(guān)系導(dǎo)出圖像內(nèi)容240的相對(duì)姿勢(shì)（或取向）?？梢詫⒃摻M關(guān)系表示為變換矩陣。在某些實(shí)施例中，可以迭代地計(jì)算變換矩陣以對(duì)參考圖像250的特征的位置進(jìn)行變換，直至參考圖像的特征的已變換位置與查詢圖像240的特征中的至少一些的位置擬合。針對(duì)變換矩陣計(jì)算的每次迭代，可以通過(guò)確定是否存在用于參考圖像（對(duì)于其而言已用變換矩陣對(duì)特征位置進(jìn)行變換）與查詢圖像（對(duì)于其而言未變換特征位置）之間的對(duì)應(yīng)特征的一致集合的擬合來(lái)檢查變換矩陣的有效性。在某些實(shí)施例中，可以使用最小二乘逼近來(lái)計(jì)算變換矩陣。如稍后相對(duì)于圖4A和4B中描述的發(fā)明方法所討論的，可以在移動(dòng)設(shè)備處或服務(wù)器處執(zhí)行姿勢(shì)的確定。

然后可以使用特征描述符的組合來(lái)表示包括在查詢圖像中的一個(gè)或多個(gè)視覺(jué)特征，其在對(duì)應(yīng)于特征描述符的像素塊的組合中以圖形方式再現(xiàn)。還可以使用特征描述符的組合來(lái)以一定程度的確定性識(shí)別包括特征描述符的參考圖像。參考圖像的識(shí)別可以基于與參考圖像相關(guān)聯(lián)的特征描述符與從查詢圖像提?。ú⑴c該查詢圖像相關(guān)聯(lián)）且被包括在指紋中的特征描述符之間的關(guān)系。特征描述符之間的關(guān)系可以確定識(shí)別成功的可能性。

指紋是從快照提取的某些特征的數(shù)字表示。指紋可以包括出于查詢的目的被修整的一組特征描述符（或基于該組特征描述符被生成）。將被包括在圖像指紋的生成中的特征描述符可以由用戶選擇。最終用戶應(yīng)用程序然后可以檢測(cè)圖像部分151內(nèi)的顯著點(diǎn)，并相應(yīng)地生成特征描述符。當(dāng)用戶并未進(jìn)行選擇時(shí)，最終用戶應(yīng)用程序可從整個(gè)快照檢測(cè)顯著點(diǎn)，并且相應(yīng)地生成與檢測(cè)到的顯著點(diǎn)相關(guān)聯(lián)的指紋。在某些實(shí)施例中，用戶可以經(jīng)由在接口150上的敲擊動(dòng)作進(jìn)一步選擇圖像中的特定對(duì)象，并且最終用戶應(yīng)用程序可以將與選定對(duì)象相關(guān)聯(lián)的指紋的傳輸優(yōu)先化。

返回參考圖1A，在獲得或生成快照?qǐng)D像的指紋之后，使用指紋來(lái)獲得附加信息。在至少一個(gè)實(shí)施例中，指紋被經(jīng)由通信鏈路130傳輸?shù)椒?wù)器140。指紋可被經(jīng)由無(wú)線鏈路或經(jīng)由另一通信鏈路無(wú)線地傳輸?shù)椒?wù)器。

服務(wù)器140可包括例如一個(gè)或多個(gè)可復(fù)制查詢高速緩存器141、圖像匹配模塊142以及圖像特征索引數(shù)據(jù)庫(kù)143。在短劃線圓內(nèi)的這些組件也可稱為Geenee搜索系統(tǒng)。

可復(fù)制查詢高速緩存器141可以充當(dāng)?shù)紾eenee搜索系統(tǒng)的入口點(diǎn)?？蓮?fù)制查詢高速緩存器141可以直接地從移動(dòng)設(shè)備接收查詢指紋。在將輸入查詢指紋轉(zhuǎn)送到圖像匹配模塊142之前，將輸入查詢指紋與先前接收到的指紋相比較。如果發(fā)現(xiàn)匹配，則可以返回對(duì)先前接收到的指紋的在先響應(yīng)（例如，一組候選圖像或匹配圖像或無(wú)匹配圖像等）。如果輸入查詢指紋與先前接收到的指紋不匹配，則然后可以將輸入查詢指紋轉(zhuǎn)送到圖像匹配模塊142。

在某些實(shí)施例中，圖像匹配模塊142直接地接收輸入查詢指紋。圖像匹配模塊142將查詢指紋轉(zhuǎn)送到圖像特征索引數(shù)據(jù)庫(kù)143，并進(jìn)一步處理。根據(jù)該進(jìn)一步處理，一組候選圖像（或?qū)δ切﹫D像的指紋參考）被識(shí)別并被返回到圖像匹配模塊142。注釋數(shù)據(jù)庫(kù)144存儲(chǔ)將從其中識(shí)別候選圖像的一組參考圖像以及該組參考圖像與表示包括在參考圖像中的特征的特征描述符之間的映射。針對(duì)被注釋的參考圖像，注釋數(shù)據(jù)庫(kù)144還存儲(chǔ)注釋和與注釋相關(guān)聯(lián)的附加信息之間的映射。

在從圖像特征索引數(shù)據(jù)庫(kù)143接收到候選圖像指紋之后，圖像匹配模塊142然后將候選圖像的指紋與查詢指紋（或其一部分）相比較，并確定是否存在匹配。如果存在匹配，則其然后從注釋數(shù)據(jù)庫(kù)144檢索匹配圖像以及被附著到該匹配圖像的注釋，并將其作為結(jié)果返回。

如下面將更詳細(xì)地描述的，圖像特征索引數(shù)據(jù)庫(kù)143提供用于從先前提供給注釋數(shù)據(jù)庫(kù)的參考圖像提取的特征描述符的可搜索索引。下面相對(duì)于例如圖6A-6E來(lái)描述根據(jù)本公開(kāi)的基于圖像特征索引的搜索的各種實(shí)施例。

服務(wù)器140還可包括內(nèi)容提供方接口145。內(nèi)容提供方接口145可被實(shí)現(xiàn)為web服務(wù)。內(nèi)容提供方可使用內(nèi)容提供方接口來(lái)提供意圖被包括到Geenee搜索的媒體材料（和將附著在其上面的附加注釋）。然后可以將媒體材料的至少一部分以及附加注釋存儲(chǔ)在注釋數(shù)據(jù)庫(kù)144處。

應(yīng)理解的是服務(wù)器140可以是一個(gè)服務(wù)器或服務(wù)器集合。在某些實(shí)施例中，服務(wù)器140可以包括被耦合在一起而形成云160的多個(gè)服務(wù)器。此外，雖然圖像特征索引143和注釋數(shù)據(jù)庫(kù)144被示為常駐于服務(wù)器140上，但是其也可以常駐于服務(wù)器140可訪問(wèn)的其它存儲(chǔ)區(qū)中。在某些實(shí)施例中，內(nèi)容提供方接口145是基于云的應(yīng)用程序。

作為說(shuō)明性示例，返回參考圖1B，用戶選擇正在TV上廣播的TV演出的特定場(chǎng)景，并且拍攝其快照，以在查詢中包括該特定場(chǎng)景，其然后被傳輸?shù)椒?wù)器140。在服務(wù)器140內(nèi)，如果與屏幕快照相關(guān)聯(lián)的特征描述符也被存儲(chǔ)在圖像特征索引數(shù)據(jù)庫(kù)143中，則查詢可以提供一組候選圖像，其包括特定場(chǎng)景的參考圖像。圖像匹配模塊140檢測(cè)候選圖像之中的匹配圖像，并且可以返回匹配圖像或無(wú)匹配圖像的指示作為對(duì)用戶查詢的響應(yīng)。還可以從注釋數(shù)據(jù)庫(kù)144檢索與匹配候選圖像相關(guān)聯(lián)的附加信息。在某些實(shí)施例中，用戶可以經(jīng)由敲擊來(lái)進(jìn)一步選擇快照中的對(duì)象以使查詢的范圍局限于與對(duì)象相關(guān)聯(lián)的特征描述符。用戶還可以選擇由服務(wù)器140響應(yīng)于查詢而返回的匹配圖像中的對(duì)象，以獲取其它附加信息。

移動(dòng)設(shè)備上的基于圖像特征的識(shí)別

圖3是圖示出根據(jù)本公開(kāi)的實(shí)施例的用于獲得關(guān)于圖像快照中的感興趣對(duì)象的附加信息的示例性系統(tǒng)的框圖。系統(tǒng)300可以是例如包括至少一個(gè)處理器、存儲(chǔ)器、通信硬件和軟件以及相機(jī)的移動(dòng)設(shè)備。在某些實(shí)施例中，系統(tǒng)300是如圖9中所示的客戶端設(shè)備910。由于系統(tǒng)300可通過(guò)用戶嘗試獲得關(guān)于感興趣對(duì)象的附加信息而被操作，所以系統(tǒng)300還可稱為用戶的移動(dòng)設(shè)備。圖3圖示出根據(jù)本文所述的方法和系統(tǒng)的可存在于系統(tǒng)300上的各種模塊（其可用硬件或軟件來(lái)實(shí)現(xiàn)）。如圖3中所示，系統(tǒng)300包括圖像獲取模塊310、特征描述符生成模塊320、指紋生成模塊330以及附加數(shù)據(jù)獲取模塊340。

圖像獲取模塊310獲取表示第一圖像或“快照”的數(shù)據(jù)。該快照可以是由例如相機(jī)或智能電話或平板電腦的相機(jī)功能性捕捉的。在某些實(shí)施例中，拍攝并存儲(chǔ)對(duì)相機(jī)可見(jiàn)的整個(gè)場(chǎng)景的快照。在某些實(shí)施例中，用戶可指示在顯示器上可見(jiàn)的場(chǎng)景的一個(gè)或多個(gè)部分，并且僅存儲(chǔ)所指示部分。圖像獲取模塊310還可以從其它源（例如，從本地或遠(yuǎn)程數(shù)據(jù)存儲(chǔ)設(shè)備）獲取圖像數(shù)據(jù)。第一圖像數(shù)據(jù)被傳輸?shù)教卣髅枋龇赡K320以用于進(jìn)一步處理。

特征描述符生成模塊320可以基于第一圖像數(shù)據(jù)所表示的像素值而提取一個(gè)或多個(gè)特征，并且可以生成所提取特征的數(shù)值表示。在某些實(shí)施例中，特征描述符生成模塊320檢測(cè)第一圖像的所選一個(gè)或多個(gè)部分內(nèi)的顯著點(diǎn)并對(duì)其進(jìn)行定位，并且生成特征描述符以表示顯著點(diǎn)。上文描述了用于檢測(cè)顯著點(diǎn)并對(duì)其進(jìn)行定位且從其生成特征描述符矢量的方法和系統(tǒng)。

指紋生成模塊330基于由特征描述符生成模塊220生成的特征描述符矢量而生成圖像指紋。該指紋可以包括基于在由用戶選擇的捕捉圖像的一部分（或具體描繪對(duì)象）中檢測(cè)到的顯著點(diǎn)或者在整個(gè)捕捉圖像中檢測(cè)到的顯著點(diǎn)的一組特征描述符（或基于該組特征描述符而被生成）。

在生成指紋之后，使用指紋來(lái)由附加數(shù)據(jù)獲取模塊340獲取附加信息。在某些實(shí)施例中，該指紋被通過(guò)網(wǎng)絡(luò)傳輸?shù)搅硪幌到y(tǒng)（例如，要在圖7中描述的系統(tǒng)700或圖9的服務(wù)器940）以便在識(shí)別附加信息時(shí)使用。下面將相對(duì)于例如圖4A更詳細(xì)地描述基于指紋而搜索并識(shí)別附加信息的過(guò)程。

在某些實(shí)施例中，查詢的處理包括以一定程度的確定性確定查詢圖像的特征描述符與候選圖像的特征描述符匹配?；诖舜_定，查詢的處理器然后可以識(shí)別在查詢圖像中描繪的媒體內(nèi)容（例如，描繪TV演出的場(chǎng)景的圖像、發(fā)布廣告的圖像等）。稍后將在例如圖6A-6E中描述關(guān)于查詢的處理的細(xì)節(jié)。

在處理用指紋進(jìn)行的查詢之后，附加數(shù)據(jù)獲取模塊340可以基于查詢的結(jié)果而獲取附加數(shù)據(jù)。例如，基于該查詢，以一定程度的確定性對(duì)包括查詢中的指紋所表示的對(duì)象的第二圖像進(jìn)行定位，并且附加數(shù)據(jù)獲取模塊340可以獲取第二圖像以用于顯示。第二圖像可以包括與在第一圖像中未描繪的對(duì)象相關(guān)聯(lián)的附加信息（例如，不同視點(diǎn)、不同背景、現(xiàn)在在第一圖像中描繪的附加項(xiàng)目等）。此外，還可以用附加數(shù)據(jù)獲取模塊340來(lái)獲取與對(duì)象有關(guān)的附加數(shù)據(jù)。返回參考先前在圖1B-C中描述的說(shuō)明性示例，在處理包括沙發(fā)的特征描述符查詢之后，從查詢識(shí)別具體品牌和型號(hào)的沙發(fā)，并且可以由附加數(shù)據(jù)獲取模塊340獲取品牌和型號(hào)信息并顯示給用戶。此外，作為識(shí)別的結(jié)果，還可以由附加數(shù)據(jù)獲取模塊340獲取其它信息（諸如價(jià)格、正在售賣沙發(fā)的供應(yīng)商等）并顯示給用戶。

基于圖像特征的搜索

針對(duì)給定的查詢圖像，基于圖像特征的搜索通過(guò)將訓(xùn)練集的預(yù)先提取圖像特征與從查詢圖像提取的那些相比較來(lái)發(fā)現(xiàn)大型圖像集合（訓(xùn)練集）內(nèi)的匹配。為了將這些昂貴的逐個(gè)圖像比較保持在最低限度，使用附加搜索數(shù)據(jù)結(jié)構(gòu)來(lái)高效地預(yù)選粗候選集合。稱為圖像特征索引的此搜索數(shù)據(jù)結(jié)構(gòu)允許執(zhí)行相似性搜索（例如，近似最近鄰（ANN）查找），其中，可以將給定的查詢圖像特征數(shù)據(jù)點(diǎn)映射到圖像的訓(xùn)練集的其最靠近對(duì)應(yīng)數(shù)據(jù)點(diǎn)。與這些數(shù)據(jù)點(diǎn)相關(guān)聯(lián)的圖像將被作為一組候選圖像檢索。如稍后將描述的，圖像特征索引提供能夠?qū)μ卣鲾?shù)據(jù)點(diǎn)編索引/尋址的映射表。此類映射表可以是散列表，并且可以根據(jù)散列函數(shù)來(lái)定義地址與特征數(shù)據(jù)點(diǎn)之間的關(guān)系。

現(xiàn)在對(duì)圖4A進(jìn)行參考，其是圖示出根據(jù)本公開(kāi)的實(shí)施例的用于在用戶沒(méi)有拍攝快照的情況下從視頻執(zhí)行基于圖像特征的識(shí)別的示例性方法的流程圖。在步驟402中，由用戶的移動(dòng)設(shè)備捕捉穩(wěn)定的相機(jī)圖像（即，對(duì)象看起來(lái)是靜止的）。在某些實(shí)施例中，移動(dòng)設(shè)備在其使用例如移動(dòng)電話的加速度計(jì)傳感器或檢測(cè)移動(dòng)的其它設(shè)備檢測(cè)到幾乎沒(méi)有移動(dòng)時(shí)可確定圖像是穩(wěn)定的。在檢測(cè)到幾乎沒(méi)有移動(dòng)之后，移動(dòng)設(shè)備可捕捉一個(gè)或多個(gè)圖像。在某些實(shí)施例中，在捕捉多個(gè)圖像的情況下，移動(dòng)設(shè)備可確定多個(gè)圖像中的哪個(gè)是最穩(wěn)定的圖像，并且使用該最穩(wěn)定圖像作為查詢圖像。

在某些實(shí)施例中，特別是其中用戶正在拍攝視頻的快照的那些，在屏幕上顯示的內(nèi)容與在用戶發(fā)起快照的拍攝之后拍攝快照的時(shí)間之間可能存在延遲。常常地，由于時(shí)間流逝，捕捉的快照不再包含感興趣的項(xiàng)目或場(chǎng)景。在本文所述的某些實(shí)施例中，在拍攝快照之前一定量的時(shí)間（例如一秒）拍攝的圖像被用作查詢圖像。

在步驟404中，使用查詢圖像來(lái)找到參考圖像集內(nèi)的匹配圖像。從在查詢圖像中檢測(cè)到的顯著點(diǎn)提取特征描述符，并且從提取的特征描述符生成指紋。指紋然后被傳輸?shù)椒?wù)器，在那里，執(zhí)行基于圖像特征的識(shí)別以找到可以從其中找到匹配圖像的一組候選圖像。

如果在步驟406中不能找到匹配圖像，意味著不能針對(duì)該特定相機(jī)圖像執(zhí)行進(jìn)一步分析，則重新執(zhí)行步驟402以獲取不同的穩(wěn)定圖像。

如果在步驟406中發(fā)現(xiàn)匹配圖像，則然后可以在移動(dòng)設(shè)備處執(zhí)行步驟408。在步驟408中，可以估計(jì)查詢圖像的姿勢(shì)。姿勢(shì)的估計(jì)和擬合也可以是關(guān)于查詢圖像和參考圖像是否匹配的確定的一部分，如在圖4B中所述。在確定兩個(gè)圖像擬合之后，可在步驟410中將姿勢(shì)信息傳輸?shù)揭苿?dòng)設(shè)備。在某些實(shí)施例中，可在移動(dòng)設(shè)備處顯示姿勢(shì)信息。

在步驟412中，系統(tǒng)確定跟蹤是否丟失?？苫诶缡欠駲z測(cè)到姿勢(shì)的實(shí)質(zhì)變化來(lái)確定跟蹤。在某些實(shí)施例中，步驟402至412可以用來(lái)首先訓(xùn)練系統(tǒng)識(shí)別并跟蹤感興趣的東西（如由用戶或通過(guò)其它手段指示的）。當(dāng)例如操作移動(dòng)設(shè)備的人顯著地移動(dòng)拍攝方向或者之前沒(méi)有識(shí)別到的新對(duì)象出現(xiàn)在視頻中時(shí)，跟蹤可能丟失。

一旦系統(tǒng)能夠跟蹤感興趣的東西，則可以執(zhí)行步驟414以開(kāi)始處理現(xiàn)場(chǎng)相機(jī)圖像，可以在步驟416中從所述現(xiàn)場(chǎng)相機(jī)圖像中檢測(cè)并定位顯著點(diǎn)，并且在步驟418中生成特征描述符。然后可以再次地在步驟408中使用特征描述符來(lái)估計(jì)姿勢(shì)。

用如圖4A中所示的此類布置，可不需要再次地查詢之前已經(jīng)識(shí)別的內(nèi)容。因此，可以減少對(duì)圖像特征數(shù)據(jù)庫(kù)（位于遠(yuǎn)離生成查詢的設(shè)備處或在該設(shè)備本地）的訪問(wèn)次數(shù)。當(dāng)預(yù)期重復(fù)地捕捉具有相同特征的同一對(duì)象的圖像時(shí)，這在移動(dòng)設(shè)備被用來(lái)從現(xiàn)場(chǎng)視頻生成查詢時(shí)尤其有用。可通過(guò)不必針對(duì)相同的特征重復(fù)地查詢圖像特征數(shù)據(jù)庫(kù)而改善性能。在這種情況下，移動(dòng)設(shè)備可以充當(dāng)門(mén)衛(wèi)以確定跟蹤是否丟失（例如，經(jīng)由步驟406至412），并且只有當(dāng)跟蹤丟失時(shí)（例如，操作攝像機(jī)的人顯著地移動(dòng)拍攝方向或者之前沒(méi)有識(shí)別到的新對(duì)象出現(xiàn)在視頻中）才訪問(wèn)數(shù)據(jù)庫(kù)。

現(xiàn)在對(duì)圖4B進(jìn)行參考，其圖示出一種如本文所述的用于確定候選圖像是否與查詢圖像匹配的示例性方法。在步驟432中，接收包括圖像指紋的查詢。在步驟436中，從指紋獲得用于查詢圖像的顯著點(diǎn)的一個(gè)或多個(gè)特征描述符矢量。在步驟438中，查詢圖像特征索引數(shù)據(jù)庫(kù)，并且基于查詢中的特征描述符來(lái)獲得一組候選圖像的指紋。在某些實(shí)施例中，將候選圖像存儲(chǔ)在數(shù)據(jù)庫(kù)（例如圖1A的注釋數(shù)據(jù)庫(kù)144）中?？蓪⒖紙D像連同對(duì)應(yīng)指紋和注釋一起存儲(chǔ)。在某些實(shí)施例中，參考圖像和注釋由內(nèi)容提供方提供。

步驟440-448圖示出通過(guò)使用如在例如圖2B中所示的直接匹配比較技術(shù)來(lái)將所有候選與查詢圖像相比較的環(huán)路，并且可以是圖4A的步驟404的一部分。在步驟440中，從該組候選圖像獲得參考圖像，并且然后可將參考圖像從該組候選圖像中去除。在步驟442中，計(jì)算查詢圖像與參考圖像之間的特征距離。這些特征距離可用來(lái)識(shí)別查詢圖像與參考圖像之間的對(duì)應(yīng)特征?？衫缭谔卣骺臻g中使用歐幾里德距離來(lái)表達(dá)特征距離。在此類示例中，針對(duì)查詢圖像中的M個(gè)特征和參考圖像中的N個(gè)特征，結(jié)果可以是歐幾里德距離的M×N矩陣。通常，只有最近特征的一定百分比（例如，20%）被接受為“相對(duì)應(yīng)”。在步驟444中，基于所識(shí)別的對(duì)應(yīng)特征，可以以類似于如圖2B中所述的方式估計(jì)參考圖像相對(duì)于查詢圖像的姿勢(shì)（例如，取向）。然后在步驟446中比較查詢圖像和參考圖像，考慮查詢圖像內(nèi)容和參考圖像內(nèi)容的姿勢(shì)中的任何差別，以確定查詢圖像是否與參考圖像匹配。在某些實(shí)施例中，以類似于圖2B中所述的方式執(zhí)行步驟446，其中，對(duì)參考圖像應(yīng)用單應(yīng)性變換，并且然后進(jìn)行查詢圖像的至少一部分（包括特征的一致集合）是否擬合到已變換參考圖像中的確定，由此確定兩個(gè)圖像是否匹配。如果確定兩個(gè)圖像不匹配，則將執(zhí)行步驟448以確定在候選圖像的集合是否留下任何圖像。如果存在剩余候選圖像，則將針對(duì)下一參考圖像重復(fù)步驟440、442、444、446和448，直至在候選集合中不再有圖像為止。如果候選集合中沒(méi)有參考圖像與查詢圖像匹配，則將推斷不存在匹配，并且適當(dāng)?shù)闹甘緦⒃诓襟E450中被返回到移動(dòng)設(shè)備。

圖4C是圖示出根據(jù)本公開(kāi)的實(shí)施例的用于在查詢圖像特征索引數(shù)據(jù)庫(kù)之前查詢高速緩存圖像集以找到匹配圖像的示例性方法的流程圖。在某些實(shí)施例中，可以將已被發(fā)現(xiàn)與查詢匹配的參考圖像存放在高速緩存圖像集數(shù)據(jù)庫(kù)中。在某些實(shí)施例中，可以用圖1A的可復(fù)制查詢高速緩存器141來(lái)實(shí)現(xiàn)圖4C的方法?？梢酝ㄟ^(guò)首先搜索高速緩存圖像集數(shù)據(jù)庫(kù)來(lái)執(zhí)行雙層搜索。由于高速緩存圖像集數(shù)據(jù)庫(kù)通常比全參考圖像數(shù)據(jù)庫(kù)小得多，所以搜索要求較少的時(shí)間和較少的計(jì)算資源。在某些實(shí)施例中，還可以以與參考圖像數(shù)據(jù)庫(kù)相同的方式（例如采用圖像特征索引）但是以較小的規(guī)模組織高速緩存圖像集數(shù)據(jù)庫(kù)。在某些實(shí)施例中，高速緩存圖像集數(shù)據(jù)庫(kù)還可以存儲(chǔ)先前接收查詢指紋與其對(duì)應(yīng)匹配參考圖像之間的映射。還可以使高速緩存查詢與多個(gè)用戶相關(guān)聯(lián)。當(dāng)從不同的用戶接收到多個(gè)相同查詢（例如，包括同一指紋的查詢）時(shí)，僅處理查詢中的一個(gè)（通過(guò)在高速緩存圖像集數(shù)據(jù)庫(kù)處或在參考圖像數(shù)據(jù)庫(kù)處執(zhí)行搜索），并且可以向提交相同查詢的其它用戶轉(zhuǎn)送所述搜索結(jié)果。

如圖4C中所示，在步驟432中檢索查詢指紋，并且在步驟436中從指紋中選擇特征描述符。步驟432和436與圖4B相同，并且不重復(fù)其描述。然后可以在步驟463中使用所選特征描述符來(lái)搜索高速緩存圖像集數(shù)據(jù)庫(kù)。該搜索可以基于針對(duì)高速緩存圖像集內(nèi)的當(dāng)前查詢特征描述符執(zhí)行搜索或者通過(guò)將當(dāng)前查詢指紋與先前接收到的查詢指紋相比較來(lái)完成。

在某些實(shí)施例中，如果在步驟464中找到高速緩存查詢圖像，則可以在步驟465中將用戶（或與用戶相關(guān)聯(lián)的移動(dòng)設(shè)備）登記并與高速緩存命中相關(guān)聯(lián)。如前所述，使用戶與高速緩存命中的歷史相關(guān)聯(lián)可以有助于細(xì)化高速緩存器訪問(wèn)策略。并且然后可以執(zhí)行步驟466，其中，將檢索的參考圖像與查詢圖像相比較以確定其是否匹配，類似于圖4B的步驟440至448?？梢栽诓襟E467中報(bào)告搜索結(jié)果，在那之后可以基于搜索結(jié)果向用戶提供附加信息。

另一方面，如果在步驟464中未發(fā)現(xiàn)高速緩存查詢圖像，則然后將在步驟468中提交查詢指紋以查詢參考圖像數(shù)據(jù)庫(kù)。在步驟469中，如果發(fā)現(xiàn)匹配，則可以向高速緩存圖像集數(shù)據(jù)庫(kù)添加查詢指紋并將所述查詢指紋與在步驟468中找到的匹配參考圖像相關(guān)聯(lián)。在某些實(shí)施例中，還可以在步驟470中將搜索結(jié)果廣播給其它用戶。該廣播可以在勸阻其它用戶向系統(tǒng)提交相同查詢方面有用。

圖像特征索引

本文所述的新型的基于圖像特征的識(shí)別方法和系統(tǒng)的關(guān)鍵特征是圖像特征索引。所述的方法和系統(tǒng)利用視頻幀準(zhǔn)確度方面的可補(bǔ)償損失來(lái)平衡交換有損概率性數(shù)據(jù)管理，使得能夠結(jié)合區(qū)別性較低圖像內(nèi)容的自動(dòng)剪除來(lái)大大地降低計(jì)算成本和存儲(chǔ)要求。這種方法和系統(tǒng)特別適合于管理從視頻生成的參考圖像數(shù)據(jù)。

為了理解本文所述的新方法和系統(tǒng)，以下是現(xiàn)有技術(shù)系統(tǒng)的描述。圖5A-5H圖示出與用于使用散列表的已知方法相關(guān)聯(lián)的問(wèn)題。在圖5A中，使用散列表510來(lái)組織與一組訓(xùn)練圖像相關(guān)聯(lián)的特征描述符，可從其中選擇候選圖像。散列表510包括桶陣列512，其中，每個(gè)桶地址經(jīng)由散列函數(shù)與特征空間的一個(gè)或多個(gè)分段相關(guān)聯(lián)。每個(gè)桶然后可以存儲(chǔ)對(duì)以幾何方式常駐于桶關(guān)聯(lián)空間段內(nèi)的特征（例如特征514）的參考。每個(gè)散列桶可以具有無(wú)限數(shù)目的狹槽，并且可以包含無(wú)限數(shù)目的特征參考。散列桶基于根據(jù)特征空間內(nèi)的特征矢量分量的位置、與特征空間段相關(guān)聯(lián)的散列地址以及與該地址相關(guān)聯(lián)的散列桶確定的特征描述符之間的關(guān)系而與特征描述符（及其矢量分量）相關(guān)聯(lián)。在某些情況下，對(duì)特征描述符矢量應(yīng)用一個(gè)或多個(gè)散列函數(shù)，并且可以使用散列函數(shù)的輸出來(lái)確定特征描述符應(yīng)與哪些地址（和哪些散列桶）相關(guān)聯(lián)。

在某些情況下，使用散列函數(shù)來(lái)將特征空間515分區(qū)，該特征空間515是給定給可以用一組特征描述符來(lái)表示的特征集合的名稱。當(dāng)特征描述符被表達(dá)為矢量時(shí)，特征描述符矢量將在每個(gè)維度中具有分量。散列函數(shù)然后可以將矢量空間（表示特征空間）分區(qū)成一個(gè)或多個(gè)區(qū)域（例如，特征空間區(qū)域518），其中，每個(gè)區(qū)域可以具有表示數(shù)據(jù)集特征514的特征矢量分量的集合，并且每個(gè)區(qū)域可以與散列桶地址相關(guān)聯(lián)。每個(gè)特征矢量然后被散列函數(shù)映射到散列桶中，并且滿足某些準(zhǔn)則（例如，表示類似特征）的矢量可被映射到同一區(qū)域（因此被映射到同一散列桶）。

那樣，可以使用局部敏感散列（LSH）來(lái)執(zhí)行相似性搜索，其中散列表510與散列函數(shù)族相關(guān)聯(lián)，該散列函數(shù)族可以以高概率使類似數(shù)據(jù)點(diǎn)（例如，組成類似特征描述符的矢量）與相同散列桶相關(guān)聯(lián)。局部敏感性指的是這樣的事實(shí)，即數(shù)據(jù)點(diǎn)之間的關(guān)聯(lián)的概率穩(wěn)定地增加以便增加數(shù)據(jù)點(diǎn)之間的相似性。如圖5A中所示，針對(duì)給定查詢特征519，對(duì)應(yīng)于特征519的特征描述符可以沿著每個(gè)矢量維度包括一組矢量分量520（用“x”來(lái)表示）。針對(duì)每個(gè)矢量分量520，可以通過(guò)選擇與查詢矢量分量共享同一散列桶成員資格且也在查詢矢量分量的相似性距離極限521內(nèi)的數(shù)據(jù)點(diǎn)來(lái)執(zhí)行近似k最近鄰搜索（ANN）。然后可以根據(jù)例如包括那些數(shù)據(jù)點(diǎn)作為矢量分量的特征描述符矢量與表示查詢特征的特征描述符之間的距離來(lái)對(duì)那些數(shù)據(jù)點(diǎn)進(jìn)行排序?？梢曰谠撆判颍ɡ?，最短距離）進(jìn)行匹配確定。

圖5B圖示出用于如前所述地向圖像特征索引數(shù)據(jù)庫(kù)執(zhí)行查詢過(guò)程的現(xiàn)有技術(shù)方法530。在步驟531中，提取包括在查詢指紋中的特征描述符并將其存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)（例如，列表）中以便通過(guò)單獨(dú)的特征進(jìn)行循環(huán)。執(zhí)行步驟534至537以響應(yīng)于查詢而從圖像特征索引數(shù)據(jù)庫(kù)執(zhí)行第一輪的特征描述符檢索。如前所述，使用散列函數(shù)族來(lái)將特征樣本空間分區(qū)。因此，在步驟535中檢索該族中的每個(gè)散列函數(shù)（在步驟534中檢查到還剩有未使用散列函數(shù)之后），并且然后在步驟535中使用檢索函數(shù)基于特定查詢特征描述符來(lái)生成到桶的地址。然后在步驟536中收集被存儲(chǔ)在被尋址桶中的參考特征描述符數(shù)據(jù)點(diǎn)。重復(fù)步驟534至537直至該族中的所有散列函數(shù)都已被使用（如在步驟534中確定的）為止。

在收集參考特征描述符數(shù)據(jù)點(diǎn)之后，其將經(jīng)由步驟538至542被過(guò)濾，其中，在步驟540中計(jì)算在每個(gè)收集的參考特征描述符數(shù)據(jù)點(diǎn)與查詢特征描述符數(shù)據(jù)點(diǎn)之間的距離并在步驟541中將其與某個(gè)距離R相比較，并且將只有在距離R內(nèi)的那些參考特征描述符在步驟542中被接受。重復(fù)步驟538至542直至分析了從步驟534至537收集的所有參考數(shù)據(jù)點(diǎn)為止。

在已分析了所有查詢特征之后，將在步驟543中收集包含被接受特征的參考圖像作為候選圖像。然后在步驟544中根據(jù)例如所有被接受參考特征描述符（距查詢特征描述符）的加和距離將候選圖像分類，并且在步驟545中報(bào)告分類列表?；诜诸惲斜?，然后可以確定要使用哪個(gè)候選圖像以用于進(jìn)一步處理。

圖5C圖示出如前所述的用于向圖像特征索引數(shù)據(jù)庫(kù)中插入?yún)⒖紙D像的現(xiàn)有技術(shù)方法550。在步驟551中，從參考圖像提取參考特征。在某些實(shí)施例中，直接地從與參考圖像相關(guān)聯(lián)的指紋識(shí)別參考特征（用特征描述符來(lái)表示）。然后將在步驟553中一次一個(gè)地選擇提取的特征。所選特征描述符然后將被輸入到散列函數(shù)族，其中，將在步驟555中揀選該族的每個(gè)散列函數(shù)以在步驟556中根據(jù)所選特征描述符來(lái)計(jì)算桶地址。然后在步驟557中，通過(guò)向桶的條目列表中附加特征描述符數(shù)據(jù)點(diǎn)，參考特征描述符將被添加到桶。在所有散列函數(shù)都已被用來(lái)計(jì)算用于所選特征描述符的地址之后，在步驟554中，將選擇下一提取特征描述符以便在步驟553中處理，直至所有提取的特征描述符都已被處理為止，如在步驟552中確定的那樣。特征矢量也將在步驟558中被存儲(chǔ)為與參考圖像相關(guān)聯(lián)的散列密鑰。

在圖5A-5B中描述的方法存在的一個(gè)潛在缺點(diǎn)是所選的桶可能未提供類似于查詢數(shù)據(jù)點(diǎn)的特征數(shù)據(jù)點(diǎn)的良好覆蓋。例如，如圖5D中所示，查詢特征矢量分量570被映射到特征空間區(qū)域572。在相似性距離極限571內(nèi)，將僅搜索與查詢特征矢量分量570在同一特征空間區(qū)域內(nèi)的區(qū)域部分573。也在區(qū)域部分573內(nèi)的數(shù)據(jù)點(diǎn)574被發(fā)現(xiàn)是查詢特征矢量分量570的表觀最近鄰。然而，數(shù)據(jù)點(diǎn)575是與查詢特征矢量分量570具有最短距離的數(shù)據(jù)點(diǎn)，但是未被選擇，因?yàn)槠鋵儆诓煌卣骺臻g區(qū)域。如果搜索擴(kuò)展至相鄰?fù)埃ê拖噜徧卣骺臻g區(qū)域），則將找到數(shù)據(jù)點(diǎn)575，但是此類布置可能是非常計(jì)算密集的，因?yàn)橄噜復(fù)暗臄?shù)目呈指數(shù)增加以便增加維度。因此，除將搜索擴(kuò)展至相鄰?fù)爸猓谕氖沁M(jìn)一步改善類似數(shù)據(jù)點(diǎn)與同一桶相關(guān)聯(lián)的可能性，從而改善搜索的準(zhǔn)確度。

用以進(jìn)一步改善類似數(shù)據(jù)點(diǎn)與同一桶相關(guān)聯(lián)的可能性的一個(gè)已知技術(shù)是如圖5E中所示的使用與不同散列函數(shù)相關(guān)聯(lián)的多個(gè)散列表530。在這種方法中，多個(gè)散列函數(shù)（例如，散列函數(shù)族582和584）可以以不同但重疊的方式（如用實(shí)線網(wǎng)格和點(diǎn)線網(wǎng)格表示的）將同一特征空間分區(qū)，使得包括在查詢中的特征描述符可以導(dǎo)致同時(shí)地在不同表格中同時(shí)地覆蓋一組重疊特征空間區(qū)域的多個(gè)桶的訪問(wèn)，并且搜索可能局限于該組區(qū)域。雖然重疊桶允許被分區(qū)的特征空間的更好覆蓋，但并非最接近于查詢特征的參考特征可以被包括在被查詢特征尋址的桶是可能的，并且可能需要執(zhí)行附加過(guò)濾（例如，通過(guò)計(jì)算桶中的參考特征與查詢特征之間的距離）以確定參考特征是否將被包括在候選圖像集中。

如圖5F中所示的用于改善LSH的另一已知技術(shù)是使用基于熵的LSH來(lái)生成接近于查詢數(shù)據(jù)點(diǎn)的隨機(jī)數(shù)據(jù)點(diǎn)。這些隨機(jī)數(shù)據(jù)點(diǎn)還可以促使散列函數(shù)將特征空間區(qū)域590、592和594映射到同一散列桶中。還可以將用于ANN搜索的相似性距離極限596擴(kuò)展（相對(duì)于圖5A的相似性距離極限521）至包括隨機(jī)數(shù)據(jù)點(diǎn)。此外，如圖5G中所示，多探頭LSH可以通過(guò)采用假設(shè)相鄰?fù)暗牟樵儗?dǎo)出探測(cè)序列來(lái)導(dǎo)出附加查詢點(diǎn)。

雖然上述LSH技術(shù)可以改善參數(shù)空間分區(qū)所固有的桶覆蓋效果，但當(dāng)候選圖像（其特征描述符將被提取并在散列表510下被組織）是從視頻生成的時(shí)可能存在巨大的計(jì)算成本和存儲(chǔ)要求。由于從視頻生成的巨量的數(shù)據(jù)，在執(zhí)行ANN搜索的同時(shí)檢查存儲(chǔ)在任何給定桶中的每個(gè)數(shù)據(jù)點(diǎn)可能是非常耗時(shí)且計(jì)算密集的，其涉及到計(jì)算散列桶中的每個(gè)數(shù)據(jù)點(diǎn)與查詢數(shù)據(jù)點(diǎn)之間的實(shí)際距離。此外，如圖5H中所示，視頻通常包括大量的重復(fù)圖像內(nèi)容，并且作為結(jié)果，大多數(shù)提取圖像特征可能對(duì)任何不同信息沒(méi)有貢獻(xiàn)，或者可能促使少數(shù)的不同圖像特征在大多數(shù)不那么不同的特征中遺失，削弱取決于特征存在的任何圖像匹配概率排序。此外，過(guò)度占用散列桶也可能向候選特征描述符集貢獻(xiàn)不成比例的許多數(shù)據(jù)點(diǎn)并妨礙用于某些再現(xiàn)圖像特征的性能增益，同時(shí)，一致的特征運(yùn)動(dòng)和變換可以降低用以可靠地識(shí)別匹配的特征對(duì)應(yīng)關(guān)系的單應(yīng)性對(duì)準(zhǔn)測(cè)試的能力。

增強(qiáng)LSH

下面將提供描述LSH的改進(jìn)技術(shù)的方法和系統(tǒng)。該改進(jìn)技術(shù)可以用來(lái)利用多個(gè)精選不同余的散列函數(shù)的疊加的統(tǒng)計(jì)覆蓋性質(zhì)作為粗替換距離度量。這些方法和系統(tǒng)要求較少的計(jì)算和較少的存儲(chǔ)。

所述方法消除了如在基于LSH的ANN的上述現(xiàn)有技術(shù)實(shí)施方式中那樣使用散列表存儲(chǔ)數(shù)據(jù)點(diǎn)的矢量分量來(lái)執(zhí)行距離計(jì)算的需要。通過(guò)將重疊散列桶解釋為連續(xù)參數(shù)空間的不規(guī)則超采樣，可以直接地敲出（tap）隱藏在多個(gè)疊加的不同余散列函數(shù)中的位置信息。給定局部敏感散列的性質(zhì)，樣本p_i與查詢樣本q越接近，其之間的散列桶沖突的概率越增加。如果針對(duì)給定的一組L個(gè)不同局部敏感散列函數(shù)相反地解釋，那么這意味著查詢點(diǎn)q周圍的在相似性距離極限內(nèi)的重疊散列桶的D維特征空間區(qū)域覆蓋針對(duì)較小的半徑增加（R₁＜R₂）：

。

換言之，針對(duì)查詢點(diǎn)q，被用h(q)尋址的同時(shí)重疊散列桶的數(shù)目與到查詢點(diǎn)的距離粗相關(guān)。此觀察可以被直接地用作量子化距離排序度量：

。

樣本點(diǎn)p_i越接近于q，其被由q選擇的重疊散列桶中的某些覆蓋的概率越高，并且因此其在收集被附著到桶的所有點(diǎn)時(shí)其越頻繁地作為副本的顯現(xiàn)。這樣，可以將所有空間數(shù)據(jù)點(diǎn)位置視為在散列表本身的桶成員資格模式內(nèi)被有損編碼或者超采樣。此編碼充當(dāng)用于數(shù)據(jù)點(diǎn)位置的替換。

此編碼的質(zhì)量和分辨率由散列函數(shù)定義。首先，查詢點(diǎn)周圍的重疊桶的密度向正態(tài)分布收斂（即，使用的不同余散列函數(shù)越多，分辨率變得越細(xì)。）:

。

其次，絕對(duì)距離秩在較近的樣本與其余部分（包括噪聲）之間增加。只有落在與最大桶尺寸到查詢點(diǎn)q對(duì)應(yīng)的距離內(nèi)的數(shù)據(jù)點(diǎn)p經(jīng)受桶覆蓋與距離之間的上述關(guān)系：

針對(duì)數(shù)據(jù)點(diǎn)p、r：|p-q|<R<|r-q|。

落在該大桶尺寸距離外面的那些樣本并未共享同一桶覆蓋區(qū)域，但是可由于散列地址沖突/桶混疊而共享桶。針對(duì)給定的理想散列函數(shù)，這些沖突在統(tǒng)計(jì)上均勻地分布在參數(shù)空間上，并且不服從距離-秩關(guān)系的所有樣本具有相同的固定機(jī)會(huì)P_collision在候選集合中顯現(xiàn)為假陽(yáng)性。可以通過(guò)增加散列函數(shù)的數(shù)目或者通過(guò)增加表格尺寸來(lái)調(diào)整信噪比間隙，有效地降低概率P_collision。

在圖6A中圖示出增加散列函數(shù)的數(shù)目的效果。在左側(cè)，查詢特征數(shù)據(jù)點(diǎn)693被尋址到桶空間694。使用許多散列函數(shù)來(lái)將桶空間694分區(qū)，其中，每個(gè)散列函數(shù)尋址空間（例如，空間695）可以與數(shù)據(jù)點(diǎn)693重疊。并未與694重疊的空間695的一部分內(nèi)的數(shù)據(jù)點(diǎn)（例如空間696）仍可被收集為候選數(shù)據(jù)點(diǎn)（由于其與散列函數(shù)（其尋址空間695與查詢數(shù)據(jù)點(diǎn)重疊）的關(guān)聯(lián)）?？梢杂梅植?90來(lái)表示查詢點(diǎn)周圍的重疊桶的密度。如在右側(cè)所示，隨著散列函數(shù)的數(shù)目增加，分布690收斂而變成高斯分布。由于散列函數(shù)的性質(zhì)，即將無(wú)限參數(shù)空間映射到桶的有限集，被查詢數(shù)據(jù)點(diǎn)693尋址的落在所有段694、695、696外面的數(shù)據(jù)點(diǎn)仍可落入同一散列桶中。假設(shè)理想的散列函數(shù)，這些所謂的桶沖突表現(xiàn)為均勻噪聲，因?yàn)槠洳环木植棵舾行再|(zhì)。

圖6B-C示出了用于組織進(jìn)一步利用上述距離秩度量的概率性質(zhì)的搜索數(shù)據(jù)結(jié)構(gòu)的示例性方法602、604和606。在某些實(shí)施例中，如圖6B中所示，可以在一個(gè)統(tǒng)一散列表607中將多個(gè)并發(fā)散列函數(shù)地址空間疊加，其中，來(lái)自散列族的散列索引被映射到散列桶的一個(gè)集合，允許多個(gè)散列函數(shù)對(duì)同一散列桶進(jìn)行尋址，每個(gè)散列桶存儲(chǔ)一個(gè)元素列表。此外，圖6C的散列表608和609圖示出使用改進(jìn)的開(kāi)放尋址散列表布局的新型存儲(chǔ)方法，其中，桶始終具有零或一個(gè)元素。為了解決散列沖突（即，指向同一桶的多個(gè)散列函數(shù)），可以采用開(kāi)放尋址方法。如圖6C的方法604所示，當(dāng)特征數(shù)據(jù)點(diǎn)將被寫(xiě)入到在3處尋址的桶（其已存儲(chǔ)數(shù)據(jù)）時(shí)?？梢愿鶕?jù)線性探測(cè)序列從空桶探測(cè)散列表。在本說(shuō)明性示例中，將以線性方式遍歷散列表（例如，遍歷被連續(xù)地尋址的桶）。當(dāng)針對(duì)查詢特征數(shù)據(jù)點(diǎn)計(jì)算散列表地址時(shí)，從計(jì)算的散列表地址開(kāi)始直至到達(dá)空桶為止的所有元素將被包括在候選數(shù)據(jù)點(diǎn)中?？梢允褂镁嚯x比較來(lái)過(guò)濾沿著探測(cè)序列收集的候選特征數(shù)據(jù)點(diǎn)，其中，僅保持在到查詢特征數(shù)據(jù)點(diǎn)的預(yù)定義相似性距離內(nèi)的那些特征數(shù)據(jù)點(diǎn)。

在某些實(shí)施例中，如圖6C的方法606中所示，作為線性探測(cè)的替代，可以將概率局部探測(cè)用于通過(guò)將桶中的插入數(shù)據(jù)點(diǎn)隨機(jī)地分散在最初被數(shù)據(jù)點(diǎn)尋址的桶周圍的預(yù)定義范圍內(nèi)來(lái)解決散列沖突，并且也不跟蹤探測(cè)序列。此外，不執(zhí)行使用距離比較的過(guò)濾，并且不需要存儲(chǔ)被用于散列地址計(jì)算的特征的矢量分量。

由于上述概率距離度量使用特征數(shù)據(jù)點(diǎn)的出現(xiàn)作為距離指示符，所以被收集在桶內(nèi)但源自于不同散列地址的候選數(shù)據(jù)點(diǎn)在稍后作為查詢的結(jié)果被檢索時(shí)可以表現(xiàn)為統(tǒng)計(jì)上分布在特征空間上的噪聲。如下所述，可以基于這些數(shù)據(jù)點(diǎn)在桶條目的一區(qū)塊內(nèi)的多次出現(xiàn)將這些數(shù)據(jù)點(diǎn)與正確收集的數(shù)據(jù)點(diǎn)區(qū)別開(kāi)。例如，已被參考為等于或小于散列表固有噪聲水平的圖像可被丟棄（參見(jiàn)例如圖6D的步驟616）?？梢酝ㄟ^(guò)例如增加散列表的尺寸、增加散列函數(shù)的數(shù)目等來(lái)緩解（精確地操縱）噪聲。

此外，如圖6C中所示，根據(jù)方法606，條目可以被更新近的數(shù)據(jù)覆寫(xiě)。例如，在89處尋址的桶被用來(lái)存儲(chǔ)數(shù)據(jù)點(diǎn)620，但是作為概率局部探測(cè)的結(jié)果，其被數(shù)據(jù)點(diǎn)630覆寫(xiě)。由于通常與過(guò)度占用桶相關(guān)聯(lián)的數(shù)據(jù)點(diǎn)來(lái)自大量但區(qū)別性較低的特征，所以這些數(shù)據(jù)的覆寫(xiě)允許將這些特征模糊掉，并且可以減少其對(duì)確定匹配特征的影響。還可以調(diào)整此覆寫(xiě)策略以處理溢出情況（即當(dāng)散列表中的所有條目被存儲(chǔ)有數(shù)據(jù)時(shí)）。

用根據(jù)例如圖6B-C的散列表607-609布置的散列表，散列表中相鄰區(qū)域大致上等價(jià)于桶列表。因此，針對(duì)根據(jù)特征數(shù)據(jù)點(diǎn)計(jì)算的每個(gè)散列地址，可以使用例如一般地在存儲(chǔ)器映射文件訪問(wèn)中采用的頁(yè)面調(diào)度功能性來(lái)執(zhí)行散列地址周圍的散列表的固定尺寸塊讀取。被以這種方式讀取的每個(gè)塊可以表示桶列表，其進(jìn)而表示被散列函數(shù)分區(qū)的重疊桶過(guò)采樣特征空間區(qū)域。如上文所解釋的，被查詢數(shù)據(jù)點(diǎn)尋址的同時(shí)重疊散列桶（即，與通過(guò)對(duì)查詢數(shù)據(jù)點(diǎn)應(yīng)用散列函數(shù)而計(jì)算的地址相關(guān)聯(lián)的散列桶）的數(shù)目與查詢數(shù)據(jù)點(diǎn)的距離粗相關(guān)，使得桶中的特定數(shù)據(jù)點(diǎn)越接近于查詢數(shù)據(jù)點(diǎn)，該特定數(shù)據(jù)點(diǎn)被由查詢數(shù)據(jù)點(diǎn)尋址的重疊散列桶中的至少某些覆蓋的概率越高。結(jié)果，該特定數(shù)據(jù)點(diǎn)可以更頻繁地顯現(xiàn)為重疊散列桶內(nèi)的副本（即，被映射到重疊特征空間區(qū)域的散列桶），并且可以使用該特定數(shù)據(jù)點(diǎn)在重疊散列桶內(nèi)的出現(xiàn)次數(shù)（用塊讀取表示）來(lái)估計(jì)其與查詢數(shù)據(jù)點(diǎn)的距離。在塊內(nèi)最頻繁地出現(xiàn)的那些數(shù)據(jù)點(diǎn)然后可以響應(yīng)于查詢而被確定為匹配特征，并被包括在候選數(shù)據(jù)點(diǎn)中。根據(jù)候選數(shù)據(jù)點(diǎn)，可以將與候選數(shù)據(jù)點(diǎn)相關(guān)聯(lián)的圖像獲取為候選圖像。

圖6D圖示出用于向圖像特征索引數(shù)據(jù)庫(kù)執(zhí)行查詢過(guò)程的示例性方法，該數(shù)據(jù)庫(kù)是使用例如圖6C的散列表609組織的。步驟532-536與圖5B中的那些相同，在這里不重復(fù)其描述。在步驟536中確定桶地址之后，在步驟612中執(zhí)行該桶周圍的散列表的塊讀取，如上文參考圖6C所述。然后在步驟613中通過(guò)例如跟蹤與每個(gè)參考特征數(shù)據(jù)點(diǎn)相關(guān)聯(lián)的參考計(jì)數(shù)器來(lái)對(duì)收集的每個(gè)重復(fù)參考特征數(shù)據(jù)點(diǎn)進(jìn)行計(jì)數(shù)。在分析所有查詢數(shù)據(jù)點(diǎn)之后，在步驟614中選擇與收集的參考特征數(shù)據(jù)點(diǎn)相關(guān)聯(lián)的候選圖像作為匹配候選。每個(gè)候選圖像可以與跟如在步驟613中確定的每個(gè)重復(fù)參考特征數(shù)據(jù)點(diǎn)相關(guān)聯(lián)的參考計(jì)數(shù)器的組合相關(guān)聯(lián)。然后可以在步驟615中使用參考計(jì)數(shù)器的組合來(lái)對(duì)候選圖像進(jìn)行排序和分類。在步驟616中，可以丟棄具有在某個(gè)閾值以上的某些參考計(jì)數(shù)器的候選圖像。可以基于預(yù)定噪聲水平來(lái)確定此類閾值。

圖6E圖示出如前所述的用于向圖像特征索引數(shù)據(jù)庫(kù)中插入?yún)⒖紙D像的方法。步驟551-556與圖5C的同樣編號(hào)步驟相同，并且在這里不重復(fù)其描述。在步驟621中，在針對(duì)參考特征量確定第一桶地址之后，使用隨機(jī)函數(shù)來(lái)計(jì)算第二桶地址。可以使用隨機(jī)函數(shù)來(lái)隨機(jī)地將桶中的插入數(shù)據(jù)點(diǎn)分散在最初被數(shù)據(jù)點(diǎn)尋址的桶周圍的預(yù)定義范圍內(nèi)，類似于圖6B的方法602。然后在步驟622中，參考數(shù)據(jù)點(diǎn)將被存儲(chǔ)在被用第二地址尋址的桶處。如果存在被存儲(chǔ)在該桶中的其它較舊數(shù)據(jù)，則在步驟623中，該數(shù)據(jù)將為了支持參考數(shù)據(jù)點(diǎn)而被丟棄。

圖7是圖示出根據(jù)本公開(kāi)的實(shí)施例的可以用來(lái)實(shí)現(xiàn)本文所述實(shí)施例的示例性系統(tǒng)700的框圖。在某些實(shí)施例中，系統(tǒng)700可以是圖1A的服務(wù)器140的一部分。在某些實(shí)施例中，系統(tǒng)700可以用來(lái)處理由例如圖3的系統(tǒng)300發(fā)送的查詢。在至少一個(gè)示例性實(shí)施例中，系統(tǒng)700包括圖像匹配模塊752、參考圖像數(shù)據(jù)庫(kù)720、散列表730、散列表管理模塊740、候選特征描述符檢索模塊746、候選圖像檢索模塊750以及散列函數(shù)770。

在至少某些示例性實(shí)施例中，圖像匹配模塊752是如上文相對(duì)于圖1A所述的圖像匹配模塊142。

參考圖像數(shù)據(jù)庫(kù)720可以存儲(chǔ)候選圖像集合。每個(gè)候選圖像可以是視覺(jué)媒體的圖像（例如，TV演出期間的場(chǎng)景的屏幕快照），并且可以包括預(yù)定視覺(jué)特征集合。這些視覺(jué)特征可以被預(yù)定成非常有可能被包括在將由系統(tǒng)700處理的查詢中?？梢杂蒙鲜鎏卣髅枋龇麃?lái)表示這些特征。然后可以使每個(gè)參考圖像與對(duì)應(yīng)于包括在圖像中的預(yù)定視覺(jué)特征的集合中的至少某些的一個(gè)或多個(gè)特征描述符相關(guān)聯(lián)。當(dāng)接收到包括一組特征描述符的查詢時(shí)，可以基于特征描述符包括與被包括在查詢的指紋中的特征描述符中的至少某些的檢索候選圖像匹配的確定（以一定程度的確定性）而響應(yīng)于查詢從參考圖像數(shù)據(jù)庫(kù)720檢索一個(gè)或多個(gè)候選圖像。在某些實(shí)施例中，然后可以將那些檢索候選圖像與查詢圖像（即，從其生成查詢的圖像）相比較以找到最佳匹配候選圖像。

雖然在這里提出了參考圖像的數(shù)據(jù)庫(kù)，但應(yīng)理解的是存在將數(shù)據(jù)庫(kù)中的視覺(jué)特征分組的其它方式（例如，使視覺(jué)特征或特征描述符的組合與特定對(duì)象而不是候選圖像相關(guān)聯(lián)），這完全適用于在本文中公開(kāi)的技術(shù)，并且在本公開(kāi)的范圍內(nèi)。

散列表730與一組散列函數(shù)770相關(guān)聯(lián)。在某些實(shí)施例中，散列表管理模塊740還包括沖突解決模塊742和溢出處理模塊744。

在某些實(shí)施例中，散列表管理模塊740、候選特征描述符檢索模塊746以及候選圖像檢索模塊750可以被配置成實(shí)現(xiàn)如在圖6D-E中公開(kāi)的查詢的處理。散列表管理模塊740響應(yīng)于查詢而提供對(duì)散列表730的訪問(wèn)。散列表管理模塊340提供映射表，其將包括在散列表730中的所有散列表的散列索引（即地址）映射到散列桶的一個(gè)集合，類似于圖6B-C的統(tǒng)一散列表602、604和606。使用散列函數(shù)770基于特征描述符數(shù)據(jù)點(diǎn)來(lái)計(jì)算地址。

作為散列表管理模塊740的一部分的沖突解決模塊742處理當(dāng)使新數(shù)據(jù)點(diǎn)（例如，一組特征描述符）與散列表730相關(guān)聯(lián)時(shí)的散列沖突（即，當(dāng)兩個(gè)不同的數(shù)據(jù)點(diǎn)被尋址到同一桶時(shí)）。在某些實(shí)施例中，沖突解決模塊742實(shí)現(xiàn)如之前參考圖6C和6E所述的開(kāi)放尋址和探測(cè)方法。

作為散列表管理模塊740的一部分的溢出處理模塊744在不能在散列表中找到空的狹槽的情況下處理新數(shù)據(jù)點(diǎn)（例如，一組特征描述符）與散列表730的關(guān)聯(lián)。在某些實(shí)施例中，溢出處理模塊744實(shí)現(xiàn)之前參考圖6C和6E所述的覆寫(xiě)策略。

候選特征描述符檢索模塊746訪問(wèn)散列表730以獲取一組候選特征描述符數(shù)據(jù)點(diǎn)。針對(duì)包括在查詢中的每個(gè)特征描述符，候選特征描述符檢索模塊746應(yīng)用散列函數(shù)來(lái)計(jì)算地址，使用地址對(duì)桶進(jìn)行定位，并且然后檢索與桶相關(guān)聯(lián)的所有數(shù)據(jù)點(diǎn)。在其中探測(cè)序列未被跟蹤的情況下，也將檢索沿著探測(cè)序列與其它桶相關(guān)聯(lián)的所有數(shù)據(jù)點(diǎn)。在其中使用概率局部探測(cè)的情況下，還將檢索被尋址的桶周圍的預(yù)定義范圍內(nèi)的所有數(shù)據(jù)點(diǎn)。在檢索到候選特征描述符數(shù)據(jù)點(diǎn)之后，然后將數(shù)據(jù)點(diǎn)發(fā)送到候選圖像檢索模塊750，其然后可以確定特征描述符數(shù)據(jù)點(diǎn)的哪個(gè)集合在候選數(shù)據(jù)點(diǎn)的集合內(nèi)最頻繁地重復(fù)。這些特征描述符將被確定為最類似于包括在查詢中的特征描述符，并且然后可以用來(lái)響應(yīng)于查詢而識(shí)別一組候選圖像或其它附加信息。在某些實(shí)施例中，候選特征描述符檢索模塊746和候選圖像檢索模塊750實(shí)現(xiàn)圖6D和6E的方法的至少一部分。

在接收到候選圖像之后，圖像匹配模塊752然后將候選圖像的指紋與查詢指紋（或其一部分）相比較，并且確定是否存在匹配。如果存在匹配，則然后系統(tǒng)700從注釋數(shù)據(jù)庫(kù)780檢索匹配圖像以及被附著到該匹配圖像的注釋，并將該附加信息和注釋返回到移動(dòng)設(shè)備。

在某些實(shí)施例中，如圖8中所示，示例性客戶端設(shè)備800可以包括（除圖3的系統(tǒng)300之外）查詢高速緩存器840和查詢高速緩存器管理模塊850，以形成用于查詢處理的雙層系統(tǒng)。查詢高速緩存器840可以存儲(chǔ)先前接收的查詢與響應(yīng)于那些查詢而從服務(wù)器140檢索的特征描述符（和/或（一個(gè)或多個(gè)）候選圖像）之間的映射，采用類似于如圖4C中所述的方法。當(dāng)接收到新查詢時(shí)，查詢高速緩存器管理模塊850可以將新查詢的內(nèi)容與存儲(chǔ)在查詢高速緩存器800中的查詢的內(nèi)容相比較。如果在查詢高速緩存器840中發(fā)現(xiàn)匹配，則可以將相關(guān)聯(lián)的特征描述符（和/或（一個(gè)或多個(gè)）候選圖像）提供為響應(yīng)而不向服務(wù)器130發(fā)送查詢。如果在查詢高速緩存器840和/或候選圖像數(shù)據(jù)庫(kù)820中不能找到匹配，則查詢?nèi)缓髮⒈粋鬏數(shù)较到y(tǒng)700。

在某些實(shí)施例中，還可以在兩個(gè)不同服務(wù)器之間或者作為系統(tǒng)700的一部分來(lái)實(shí)現(xiàn)此類雙層系統(tǒng)，以處理源自于不同客戶端設(shè)備但包括類似內(nèi)容的查詢。在第一客戶端設(shè)備提交促使服務(wù)器130檢索匹配圖像的第一查詢之后，另一客戶端設(shè)備可提交包括類似內(nèi)容的第二查詢。在那種情況下，可以通過(guò)經(jīng)由查詢高速緩存器840進(jìn)行搜索來(lái)處理第二查詢，并且可以再使用第一查詢的結(jié)果。此類布置可以對(duì)處理具有類似內(nèi)容的查詢中的尖峰有用。例如，如前所述，當(dāng)正在向數(shù)百萬(wàn)的觀看者廣播視頻時(shí)，其中的許多人可能通過(guò)拍攝同時(shí)地出現(xiàn)在其顯示設(shè)備上的感興趣項(xiàng)目的快照來(lái)提交查詢，并且這些查詢可以包括非常類似的內(nèi)容。在通過(guò)訪問(wèn)大得多的參考圖像數(shù)據(jù)庫(kù)720來(lái)處理第一查詢并將結(jié)果添加到查詢高速緩存器840之后，然后可以通過(guò)替代地訪問(wèn)查詢高速緩存器840來(lái)處理包括同一感興趣的項(xiàng)目的其它查詢，這可以巨大地改善效率。

圖9是根據(jù)本公開(kāi)的實(shí)施例的可以用來(lái)實(shí)現(xiàn)本文所述的實(shí)施例的示例性系統(tǒng)900的框圖。如圖9中所示，系統(tǒng)900包括客戶端設(shè)備910、網(wǎng)絡(luò)930以及服務(wù)器940。客戶端設(shè)備910包括一個(gè)或多個(gè)處理器912、存儲(chǔ)器設(shè)備914、存儲(chǔ)設(shè)備916、顯示器917、網(wǎng)絡(luò)接口918、相機(jī)119（或其它圖像生成設(shè)備）以及加速度計(jì)922（或其它取向確定設(shè)備），其全部可以經(jīng)由總線920而相互通信。在某些實(shí)施例中，顯示器917優(yōu)選地是觸摸屏。I/O設(shè)備可以包括麥克風(fēng)和可以獲取和/或輸出信號(hào)的任何其它設(shè)備。通過(guò)網(wǎng)絡(luò)930，客戶端設(shè)備910可以與服務(wù)器940交換數(shù)據(jù)。服務(wù)器940還包括一個(gè)或多個(gè)處理器942、存儲(chǔ)器設(shè)備944、存儲(chǔ)設(shè)備946以及網(wǎng)絡(luò)接口948，其全部可以經(jīng)由總線950而相互通信。

存儲(chǔ)器914和944兩者可以是用于存儲(chǔ)信息和指令以分別地由處理器912和942執(zhí)行的隨機(jī)存取儲(chǔ)器（RAM）或其它易失性存儲(chǔ)設(shè)備。存儲(chǔ)器914和944還可以被用于在指令執(zhí)行期間存儲(chǔ)臨時(shí)變量或其它中間信息以便由處理器912和942執(zhí)行。此類指令在被存儲(chǔ)在處理器912和914可訪問(wèn)的非臨時(shí)存儲(chǔ)介質(zhì)（例如，存儲(chǔ)設(shè)備916和946）中之后使得計(jì)算機(jī)系統(tǒng)910和940成為被自定義成執(zhí)行在指令中指定的操作的專用機(jī)器?？梢詫⒅噶罱M織成不同的軟件模塊，舉例來(lái)說(shuō)，其可以包括組件，諸如軟件組件、面向?qū)ο筌浖M件、類組件和任務(wù)組件、進(jìn)程、函數(shù)、字段、程序、子例程、程序代碼段、驅(qū)動(dòng)程序、固件、微代碼、電路、數(shù)據(jù)、數(shù)據(jù)庫(kù)、數(shù)據(jù)結(jié)構(gòu)、表格、陣列以及變量。

一般地，如本文所使用的單詞“模塊”指代用硬件或固件體現(xiàn)的邏輯或者軟件指令的集合，可能具有用編程語(yǔ)言（諸如Java、Lua、C或C++）編寫(xiě)的入口點(diǎn)和出口點(diǎn)?？梢跃幾g軟件模塊并將其鏈接到可執(zhí)行程序中、安裝在動(dòng)態(tài)鏈接庫(kù)中或者用解釋性編程語(yǔ)言（諸如例如BASIC、Perl或Python）編寫(xiě)。將認(rèn)識(shí)到的是軟件模塊可以可從其它模塊或者從其本身調(diào)用和/或可以響應(yīng)于檢測(cè)到的事件或中斷而被調(diào)用。可以在計(jì)算機(jī)可讀介質(zhì)上（諸如緊湊盤(pán)、數(shù)字視頻盤(pán)、閃速驅(qū)動(dòng)、磁盤(pán)或任何其它有形介質(zhì)）或者作為數(shù)字下載而提供被配置成用于在計(jì)算設(shè)備上執(zhí)行的軟件模塊（并且最初可以被以在執(zhí)行之前要求安裝、解壓縮或解密的壓縮或可安裝格式存儲(chǔ)）。此類軟件代碼可以被部分地或完全存儲(chǔ)在執(zhí)行計(jì)算設(shè)備的存儲(chǔ)器設(shè)備上以便由計(jì)算設(shè)備執(zhí)行。軟件指令可以被嵌入固件（諸如EPROM）中。將進(jìn)一步認(rèn)識(shí)到的是硬件模塊可以由連接的邏輯單元（諸如門(mén)和觸發(fā)器）構(gòu)成和/或可以由可編程單元（諸如可編程門(mén)陣列或處理器）構(gòu)成。本文所述的模塊或計(jì)算設(shè)備功能性優(yōu)選地被實(shí)現(xiàn)為軟件模塊，但是可以用硬件或固件來(lái)表示。一般地，本文所述的模塊指代可以與其它模塊組合或劃分成子模塊的邏輯模塊，而不管其物理組織或存儲(chǔ)。

客戶端設(shè)備910和服務(wù)器940可以使用自定義硬接線邏輯、一個(gè)或多個(gè)ASIC或FPGA、固件和/或程序邏輯（其與計(jì)算機(jī)系統(tǒng)組合而促使客戶端設(shè)備910和服務(wù)器940或?qū)⑵渚幊虨閷Ｓ脵C(jī)器）來(lái)實(shí)現(xiàn)本文所述技術(shù)。根據(jù)某些實(shí)施例，本文所述的操作、功能性和技術(shù)及其它特征由客戶端設(shè)備940和服務(wù)器940響應(yīng)于處理器912和942執(zhí)行分別地包含在存儲(chǔ)器914和944中的一個(gè)或多個(gè)指令的一個(gè)或多個(gè)序列而執(zhí)行。此類指令可以被從另一存儲(chǔ)介質(zhì)（諸如存儲(chǔ)設(shè)備916和946）讀入到存儲(chǔ)器914和944中。包含在存儲(chǔ)器914和944中的指令序列的執(zhí)行分別地促使處理器912和942執(zhí)行本文所述的過(guò)程步驟。在替換實(shí)施例中，可以代替軟件指令或與軟件指令相組合地使用硬接線電路。

如本文所使用的術(shù)語(yǔ)“非臨時(shí)介質(zhì)”指代用于存儲(chǔ)促使機(jī)器以特定方式操作的數(shù)據(jù)和/或指令的任何非臨時(shí)介質(zhì)。此類非臨時(shí)介質(zhì)可以包括非易失性介質(zhì)和/或易失性介質(zhì)。非易失性介質(zhì)可以包括例如光學(xué)或磁性設(shè)備，諸如存儲(chǔ)設(shè)備916和946。易失性介質(zhì)可以包括動(dòng)態(tài)存儲(chǔ)器，諸如存儲(chǔ)器914和944。非臨時(shí)介質(zhì)的常見(jiàn)形式包括例如軟盤(pán)、軟磁盤(pán)、硬盤(pán)、固態(tài)驅(qū)動(dòng)、磁帶或任何其它磁性數(shù)據(jù)存儲(chǔ)介質(zhì)、CD-ROM、任何其它光學(xué)數(shù)據(jù)存儲(chǔ)介質(zhì)、具有孔圖案的任何物理介質(zhì)、RAM、PROM以及EPROM、FLASH-EPROM、NVRAM、任何其它存儲(chǔ)器芯片或盒以及其聯(lián)網(wǎng)版本。

例如，可以將圖1A的設(shè)備121和122實(shí)現(xiàn)為客戶端設(shè)備910，其中，可以將圖3的系統(tǒng)300和圖4A-4B的方法400、430以及460實(shí)現(xiàn)為存儲(chǔ)在儲(chǔ)存器916和存儲(chǔ)器914中的軟件指令。在某些實(shí)施例中，可以將圖1A的服務(wù)器140實(shí)現(xiàn)為服務(wù)器940，其中，可以將圖7的系統(tǒng)700和圖6B-6D的方法600、602、610和620實(shí)現(xiàn)為存儲(chǔ)在儲(chǔ)存器946和存儲(chǔ)器944中的軟件指令。

網(wǎng)絡(luò)接口918和948可以提供到網(wǎng)絡(luò)930的雙向數(shù)據(jù)通信耦合。例如，網(wǎng)絡(luò)接口918和948可以是綜合服務(wù)數(shù)字網(wǎng)（ISDN）卡、電纜調(diào)制解調(diào)器、衛(wèi)星調(diào)制解調(diào)器或用以提供到對(duì)應(yīng)類型的電話線的數(shù)據(jù)通信連接的調(diào)制解調(diào)器。作為另一示例，網(wǎng)絡(luò)接口918和948可以是用以提供到兼容LAN的數(shù)據(jù)通信連接的局域網(wǎng)（LAN）卡。還可以實(shí)現(xiàn)無(wú)線鏈路。在任何此類實(shí)施方式中，網(wǎng)絡(luò)接口918和948可以發(fā)送和接收電、電磁或光信號(hào)，其載送表示各種類型的信息的數(shù)字?jǐn)?shù)據(jù)流，并將該數(shù)據(jù)流提供給存儲(chǔ)設(shè)備916和946。處理器912和942然后可以將數(shù)據(jù)轉(zhuǎn)換成不同的形式（例如，通過(guò)執(zhí)行軟件指令以將數(shù)據(jù)壓縮或解壓縮），并且然后將已轉(zhuǎn)換數(shù)據(jù)存儲(chǔ)到存儲(chǔ)設(shè)備（例如，存儲(chǔ)設(shè)備916和946）中，和/或通過(guò)網(wǎng)絡(luò)930經(jīng)由網(wǎng)絡(luò)接口918和948來(lái)傳輸已轉(zhuǎn)換數(shù)據(jù)。

根據(jù)某些實(shí)施例，本文所述的操作、技術(shù)和/或組件可以由電子設(shè)備實(shí)現(xiàn)，其可以包括一個(gè)或多個(gè)專用計(jì)算設(shè)備。所述專用計(jì)算設(shè)備可以被硬接線以執(zhí)行本文所述的操作、技術(shù)和/或組件，或者可以包括數(shù)字電子設(shè)備，諸如被持久性地編程為執(zhí)行本文所述的操作、技術(shù)和/或組件的一個(gè)或多個(gè)專用集成電路（ASIC）或現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA），或者可以包括一個(gè)或多個(gè)硬件處理器，其被編程為根據(jù)固件、存儲(chǔ)器、其它儲(chǔ)存器或組合中的程序指令來(lái)執(zhí)行本公開(kāi)的此類特征。此類專用計(jì)算設(shè)備還可以將自定義的硬接線邏輯、ASIC或FPGA與自定義編程組合以實(shí)現(xiàn)本公開(kāi)的技術(shù)及其它特征。專用計(jì)算設(shè)備可以是臺(tái)式計(jì)算機(jī)系統(tǒng)、便攜式計(jì)算機(jī)系統(tǒng)、手持式設(shè)備、聯(lián)網(wǎng)設(shè)備或者結(jié)合硬接線和/或程序邏輯以實(shí)現(xiàn)本公開(kāi)的技術(shù)及其它特征的任何其它設(shè)備。

一個(gè)或多個(gè)專用計(jì)算設(shè)備一般地可以被操作系統(tǒng)軟件控制和協(xié)調(diào)，所述操作系統(tǒng)軟件諸如iOS、Android、Blackberry、Chrome OS、Windows XP、Windows Vista、Windows 7、Windows 8、Windows Server、Windows CE、Unix、Linux、SunOS、Solaris、VxWorks或其它兼容操作系統(tǒng)。在其它實(shí)施例中，計(jì)算設(shè)備可以被專用操作系統(tǒng)控制。操作系統(tǒng)除其它的之外控制并調(diào)度計(jì)算機(jī)進(jìn)程以用于執(zhí)行，執(zhí)行存儲(chǔ)器管理，提供文件系統(tǒng)、聯(lián)網(wǎng)、I/O服務(wù)，并提供用戶界面功能性，諸如圖形用戶界面（“GUI”）。

本文所述的上述系統(tǒng)具有許多用途，并且可在許多情形中使用。例如，可在用于向移動(dòng)設(shè)備的用戶遞送廣告的系統(tǒng)中使用本文所述的方法和系統(tǒng)。例如，用戶可以在訪問(wèn)地點(diǎn)、讀取出版物或觀看電影時(shí)識(shí)別感興趣的項(xiàng)目、主題、風(fēng)景或位置。使用本文中的發(fā)明系統(tǒng)和方法，用戶可以拍攝項(xiàng)目、風(fēng)景或感興趣的任何東西的快照，并且生成圖像?？梢圆蹲桨ㄖ車鷧^(qū)域且處于任何視角的圖像。該系統(tǒng)然后從圖像提取特征，生成包括對(duì)應(yīng)于圖像中的至少某些的特征描述符的查詢，并將用于基于所提取特征的搜索的查詢提交給遠(yuǎn)程服務(wù)器?？娠@示給用戶的附加信息可被免費(fèi)地提供給用戶，或者信息中的某些或全部可采取付費(fèi)廣告的形式。在某些情形中，一個(gè)實(shí)體可提供用于發(fā)送關(guān)于被發(fā)送給用戶的產(chǎn)品或服務(wù)的附加信息的搜索服務(wù)和收費(fèi)供應(yīng)商。在某些情形中，可針對(duì)使用上述方法和系統(tǒng)來(lái)檢索關(guān)于產(chǎn)品或服務(wù)的信息的能力對(duì)移動(dòng)設(shè)備用戶收費(fèi)。

在前述說(shuō)明書(shū)中，已參考對(duì)于不同的實(shí)施方式而言可以不同的許多特定細(xì)節(jié)來(lái)描述實(shí)施例?？梢赃M(jìn)行所述實(shí)施例的某些變更和修改。根據(jù)在本文中公開(kāi)的本發(fā)明的說(shuō)明書(shū)和實(shí)施的考慮，其它實(shí)施例對(duì)于本領(lǐng)域的技術(shù)人員而言可以是顯而易見(jiàn)的。意圖在于本說(shuō)明書(shū)和示例僅僅被視為示例性的，由以下權(quán)利要求來(lái)指示本發(fā)明的真實(shí)范圍和精神。意圖還在于圖中所示的步驟序列僅僅用于說(shuō)明性目的，并且并不意圖局限于任何特定的步驟序列。同樣地，本領(lǐng)域的技術(shù)人員可以認(rèn)識(shí)到，可以在實(shí)現(xiàn)該方法的同時(shí)按照不同的順序執(zhí)行這些步驟。