分案說明

本申請(qǐng)屬于申請(qǐng)日為2010年08月16日的中國發(fā)明專利申請(qǐng)201080062952.6的分案申請(qǐng)。

所公開的實(shí)施例一般地涉及處理視覺查詢的系統(tǒng)和方法，更具體地涉及響應(yīng)于視覺查詢以及與客戶端設(shè)備相關(guān)聯(lián)的位置信息獲得包括在物理上位于客戶端設(shè)備附近的本地收錄的搜索結(jié)果。

背景技術(shù)：

其中用戶向搜索引擎中輸入詞或短語并且接收各種結(jié)果的基于文本或基于詞語的搜索是一種用于搜索的有用工具。然而，基于詞語的查詢需要用戶能夠輸入相關(guān)詞語。有時(shí)用戶會(huì)希望了解與其當(dāng)前所處地方相關(guān)的信息。例如，用戶可能想要知道特定建筑物中的公司的名稱，找出與位于特定建筑物中的組織相關(guān)聯(lián)的電話號(hào)碼，或者讀取與其附近的餐廳相關(guān)的評(píng)論。因此，將需要一種能夠從客戶端設(shè)備接收視覺查詢以及與所述客戶端設(shè)備的位置相關(guān)的信息并且能夠使用位置信息和視覺查詢來提供相關(guān)搜索結(jié)果的系統(tǒng)。

技術(shù)實(shí)現(xiàn)要素：

以上所描述的局限和缺點(diǎn)通過提供以下所描述的方法、系統(tǒng)、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和圖形用戶界面(gui)而被克服。

方法、系統(tǒng)、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和圖形用戶界面(gui)的一些實(shí)施例提供了以下內(nèi)容。根據(jù)一些實(shí)施例，一種計(jì)算機(jī)實(shí)現(xiàn)的處理視覺查詢的方法包括在具有一個(gè)或多個(gè)處理器以及存儲(chǔ)供所述一個(gè)或多個(gè)處理器所執(zhí)行的一個(gè)或多個(gè)程序的存儲(chǔ)器的服務(wù)器系統(tǒng)上執(zhí)行以下操作。從客戶端系統(tǒng)接收視覺查詢。還從客戶端系統(tǒng)接收位置信息，其指示所述客戶端系統(tǒng)的當(dāng)前位置。在一些實(shí)施例中，客戶端系統(tǒng)從gps信息、小區(qū)塔臺(tái)信息和/或無線局域網(wǎng)信息獲得位置信息。服務(wù)器系統(tǒng)向視覺查詢搜索系統(tǒng)發(fā)送視覺查詢和位置信息。所述服務(wù)器系統(tǒng)從所述視覺查詢搜索系統(tǒng)接收基于所述視覺查詢和位置信息的增強(qiáng)位置信息。所述服務(wù)器系統(tǒng)然后將包括所述增強(qiáng)位置信息的搜索查詢發(fā)送至基于位置的搜索系統(tǒng)。所述搜索系統(tǒng)接收針對(duì)客戶端系統(tǒng)的一個(gè)或多個(gè)搜索結(jié)果并且將其提供至客戶端。

在一些實(shí)施例中，提供了一種服務(wù)器系統(tǒng)，所述服務(wù)器系統(tǒng)包括用于執(zhí)行程序的一個(gè)或多個(gè)中央處理單元以及存儲(chǔ)由所述一個(gè)或多個(gè)中央處理單元執(zhí)行的一個(gè)或多個(gè)程序的存儲(chǔ)器。所述程序包括用于執(zhí)行以下操作的指令。從客戶端系統(tǒng)接收視覺查詢。還從客戶端系統(tǒng)接收位置信息，其指示所述客戶端系統(tǒng)的當(dāng)前位置。在一些實(shí)施例中，客戶端系統(tǒng)從gps信息、小區(qū)塔臺(tái)信息和/或無線局域網(wǎng)信息獲得位置信息。服務(wù)器系統(tǒng)向視覺查詢搜索系統(tǒng)發(fā)送視覺查詢和位置信息。所述服務(wù)器系統(tǒng)從所述視覺查詢搜索系統(tǒng)接收基于所述視覺查詢和位置信息的增強(qiáng)位置信息。所述服務(wù)器系統(tǒng)然后將包括所述增強(qiáng)位置信息的搜索查詢發(fā)送至基于位置的搜索系統(tǒng)。所述搜索系統(tǒng)接收針對(duì)客戶端系統(tǒng)的一個(gè)或多個(gè)搜索結(jié)果并且將其提供至客戶端。

一些實(shí)施例提供了一種存儲(chǔ)被配置為供計(jì)算機(jī)執(zhí)行的一個(gè)或多個(gè)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述程序包括用于執(zhí)行以下操作的指令。從客戶端系統(tǒng)接收視覺查詢。還從客戶端系統(tǒng)接收位置信息，其指示所述客戶端系統(tǒng)的當(dāng)前位置。在一些實(shí)施例中，客戶端系統(tǒng)從gps信息、小區(qū)塔臺(tái)信息和/或無線局域網(wǎng)信息獲得位置信息。服務(wù)器系統(tǒng)向視覺查詢搜索系統(tǒng)發(fā)送視覺查詢和位置信息。所述服務(wù)器系統(tǒng)從所述視覺查詢搜索系統(tǒng)接收基于所述視覺查詢和位置信息的增強(qiáng)位置信息。所述服務(wù)器系統(tǒng)然后將包括所述增強(qiáng)位置信息的搜索查詢發(fā)送至基于位置的搜索系統(tǒng)。所述搜索系統(tǒng)接收針對(duì)客戶端系統(tǒng)的一個(gè)或多個(gè)搜索結(jié)果并且將其提供至客戶端。

附圖說明

圖1是圖示包括視覺查詢服務(wù)器系統(tǒng)的計(jì)算機(jī)網(wǎng)絡(luò)的框圖。

圖2是圖示依據(jù)一些實(shí)施例的用于對(duì)視覺查詢進(jìn)行響應(yīng)的過程的流程圖。

圖3是圖示依據(jù)一些實(shí)施例的用于利用交互式結(jié)果文檔對(duì)視覺查詢進(jìn)行響應(yīng)的過程的流程圖。

圖4是圖示依據(jù)一些實(shí)施例的客戶端和視覺查詢服務(wù)器系統(tǒng)之間的通信的流程圖。

圖5是圖示依據(jù)一些實(shí)施例的客戶端系統(tǒng)的框圖。

圖6是圖示依據(jù)一些實(shí)施例的前端視覺查詢處理服務(wù)器系統(tǒng)的框圖。

圖7是圖示依據(jù)一些實(shí)施例的被用來處理視覺查詢的并行搜索系統(tǒng)中一般的一個(gè)的框圖。

圖8是圖示依據(jù)一些實(shí)施例的被用來處理視覺查詢的ocr搜索系統(tǒng)的框圖。

圖9是圖示依據(jù)一些實(shí)施例的被用來處理視覺查詢的面部識(shí)別搜索系統(tǒng)的框圖。

圖10是圖示依據(jù)一些實(shí)施例的被用來處理視覺查詢的圖像至詞語搜索系統(tǒng)的框圖。

圖11圖示了依據(jù)一些實(shí)施例的具有示例性視覺查詢的截屏的客戶端系統(tǒng)。

圖12a和12b均圖示了依據(jù)一些實(shí)施例的具有帶分界框的交互式結(jié)果文檔的截屏的客戶端系統(tǒng)。

圖13圖示了依據(jù)一些實(shí)施例的具有通過類型編碼的交互式結(jié)果文檔的截屏的客戶端系統(tǒng)。

圖14圖示了依據(jù)一些實(shí)施例的具有帶標(biāo)簽的交互式結(jié)果文檔的截屏的客戶端系統(tǒng)。

圖15圖示了依據(jù)一些實(shí)施例的交互式結(jié)果文檔和與結(jié)果列表同時(shí)顯示的視覺查詢的截屏。

圖16a-16c是圖示根據(jù)一些實(shí)施例的用于使用位置傳感器數(shù)據(jù)和視覺查詢來返回視覺查詢的本地收錄的過程的流程圖。

圖17是圖示依據(jù)一些實(shí)施例的選擇搜索結(jié)果的錐截體(frustum)方法的流程圖。

圖18是圖示依據(jù)一些實(shí)施例的基于突出性和位置數(shù)據(jù)選擇搜索結(jié)果的方法的流程圖。

圖19是圖示依據(jù)一些實(shí)施例的基于相關(guān)位置和精確度數(shù)據(jù)選擇搜索結(jié)果的方法的流程圖。

圖20是圖示依據(jù)一些實(shí)施例的客戶端和視覺查詢服務(wù)器系統(tǒng)之間具有位置信息擴(kuò)增的通信的流程圖。

圖21圖示了依據(jù)一些實(shí)施例的針對(duì)包括建筑物的街景視覺查詢所返回的多個(gè)可采取動(dòng)作的搜索結(jié)果元素和結(jié)果列表的客戶端系統(tǒng)顯示。

圖22圖示了依據(jù)一些實(shí)施例的針對(duì)包括建筑物的街景視覺查詢所返回的覆蓋視覺查詢的多個(gè)可采取動(dòng)作的搜索結(jié)果元素的客戶端系統(tǒng)顯示。

圖23是圖示依據(jù)一些實(shí)施例的擴(kuò)增位置的視覺查詢處理服務(wù)器系統(tǒng)的框圖。

圖24是圖示依據(jù)一些實(shí)施例的基于位置的查詢處理服務(wù)器系統(tǒng)的框圖。

相同的附圖標(biāo)記貫穿附圖指代相對(duì)應(yīng)的部分。

具體實(shí)施方式

現(xiàn)在將對(duì)其示例在附圖中進(jìn)行圖示的實(shí)施例進(jìn)行詳細(xì)參考。在以下詳細(xì)描述中，給出多個(gè)具體細(xì)節(jié)以便提供對(duì)本發(fā)明的全面理解。然而，對(duì)本領(lǐng)域技術(shù)人員顯而易見的是，本發(fā)明可以在沒有這些具體細(xì)節(jié)的情況下進(jìn)行實(shí)踐。在其它實(shí)例中，沒有對(duì)已知的方法、過程、組件、電路和網(wǎng)絡(luò)進(jìn)行詳細(xì)描述以免對(duì)本發(fā)明的方面造成不必要的混淆。

還要理解的是，雖然這里可能使用了術(shù)語第一、第二等來對(duì)各個(gè)元素進(jìn)行描述，但是這些元素并不被這些術(shù)語所限制。這些術(shù)語僅被用來將一個(gè)元素與另一元素區(qū)分開來。例如，第一聯(lián)系人可以被稱之為第二聯(lián)系人，并且類似地，第二聯(lián)系人可以被稱之為第一聯(lián)系人，而并不背離本發(fā)明的范圍。第一聯(lián)系人和第二聯(lián)系人均為聯(lián)系人，但是他們不是相同的聯(lián)系人。

這里的發(fā)明描述中所使用的術(shù)語僅是為了描述特定實(shí)施例而并非意在對(duì)本發(fā)明進(jìn)行限制。如發(fā)明描述和權(quán)利要求中所使用的，除非上下文明確另外指出，否則單數(shù)形式“一個(gè)”(“a”、“an”和“the”)意在也包括復(fù)數(shù)形式。還要理解的是，如這里所使用的術(shù)語“和/或”是指代并包含相關(guān)聯(lián)列舉項(xiàng)目中的一個(gè)或多個(gè)的任意和所有的可能組合。將要進(jìn)一步理解的是，當(dāng)在該說明書中使用時(shí)，術(shù)語“包括”和/或“包含”指定存在所提到的特征、整數(shù)、步驟、操作、元素和/或組件，但是并不排除存在或添加一個(gè)或多個(gè)其它特征、整數(shù)、步驟、操作、元素、組件和/或其群組。

如這里所使用的，根據(jù)上下文，術(shù)語“如果”可以被理解為表示“當(dāng)……時(shí)”或“一旦”或“響應(yīng)于確定了……”或“響應(yīng)于檢測到……”。類似地，根據(jù)上下文，短語“如果確定了”或“如果檢測到(所提到的條件或事件)”可以被理解為表示“一旦確定了……”或“響應(yīng)于確定了……”或“一旦檢測到(所提到的條件或事件)”或“響應(yīng)于檢測到(所提到的條件或事件)”。

圖1是圖示根據(jù)一些實(shí)施例的包括視覺查詢服務(wù)器系統(tǒng)的計(jì)算機(jī)網(wǎng)絡(luò)的框圖。計(jì)算機(jī)網(wǎng)絡(luò)100包括一個(gè)或多個(gè)客戶端系統(tǒng)102以及視覺查詢服務(wù)器系統(tǒng)(有時(shí)稱為視覺查詢系統(tǒng))106。一個(gè)或多個(gè)通信網(wǎng)絡(luò)104對(duì)這些組件進(jìn)行互連。通信網(wǎng)絡(luò)104可以是各種網(wǎng)絡(luò)中的任意網(wǎng)絡(luò)，包括局域網(wǎng)(lan)、廣域網(wǎng)(wan)、無線網(wǎng)絡(luò)、有線網(wǎng)絡(luò)、互聯(lián)網(wǎng)或者這樣的網(wǎng)絡(luò)的組合。

客戶端系統(tǒng)102包括客戶端應(yīng)用108，其由客戶端系統(tǒng)執(zhí)行用于接收視覺查詢(例如，圖11的視覺查詢1102)。視覺查詢是作為查詢提交給搜索引擎或搜索系統(tǒng)的圖像。視覺查詢的示例包括照片、掃描文檔以及圖像和圖，但是并不局限于此。在一些實(shí)施例中，客戶端應(yīng)用108從搜索應(yīng)用、用于瀏覽器應(yīng)用的搜索引擎插件和用于瀏覽器應(yīng)用的搜索引擎擴(kuò)展所構(gòu)成的集合中進(jìn)行選擇。在一些實(shí)施例中，客戶端應(yīng)用108是“雜性的(omnivorous)”搜索框，其允許用戶將任意格式的圖像拖放到搜索框中以作為視覺查詢。

客戶端系統(tǒng)102向視覺查詢服務(wù)器系統(tǒng)106發(fā)送查詢并且從其接收數(shù)據(jù)?？蛻舳讼到y(tǒng)102可以是能夠與視覺查詢服務(wù)器系統(tǒng)106進(jìn)行通信的任意計(jì)算機(jī)或其它設(shè)備。示例包括臺(tái)式和筆記本計(jì)算機(jī)、大型主機(jī)計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、諸如移動(dòng)電話和個(gè)人數(shù)字助理的移動(dòng)設(shè)備、網(wǎng)絡(luò)終端和機(jī)頂盒，但不限于此。

視覺查詢服務(wù)器系統(tǒng)106包括前端視覺查詢處理服務(wù)器110。前端服務(wù)器110從客戶端102接收視覺查詢，并且將所述視覺查詢發(fā)送到多個(gè)并行搜索系統(tǒng)112以便同時(shí)進(jìn)行處理。搜索系統(tǒng)112均實(shí)施不同的視覺查詢搜索過程并且在必要時(shí)訪問其相應(yīng)數(shù)據(jù)庫114以通過它們不同的搜索過程來處理所述視覺查詢。例如，臉部識(shí)別搜索系統(tǒng)112-a將訪問面部圖像數(shù)據(jù)庫114-a以尋找與圖像查詢相匹配的面部。如將關(guān)于圖9更為詳細(xì)描述的，如果視覺查詢包含臉部，則面部識(shí)別搜索系統(tǒng)112-a將從面部圖像數(shù)據(jù)庫114-a返回一個(gè)或多個(gè)搜索結(jié)果(例如，名稱、匹配臉部等)。在另一個(gè)示例中，光學(xué)字符識(shí)別(ocr)搜索系統(tǒng)112-b將視覺查詢中任意可識(shí)別的文本轉(zhuǎn)換為文本以便作為一個(gè)或多個(gè)搜索結(jié)果返回。如關(guān)于圖8更為詳細(xì)解釋地，在光學(xué)字符識(shí)別(ocr)搜索系統(tǒng)112-b中，可以訪問ocr數(shù)據(jù)庫114-b來識(shí)別特定字體或文本圖案。

可以使用任意數(shù)量的并行搜索系統(tǒng)112。一些示例包括面部識(shí)別搜索系統(tǒng)112-a、ocr搜索系統(tǒng)112-b、圖像至詞語搜索系統(tǒng)112-c(其可以識(shí)別對(duì)象或?qū)ο箢悇e)、產(chǎn)品識(shí)別搜索系統(tǒng)(其可以被配置為識(shí)別諸如圖書封面和cd的2-d圖像并且還可以被配置為識(shí)別諸如家具的3-d圖像)、條形碼識(shí)別搜索系統(tǒng)(其識(shí)別1d和2d樣式的條形碼)、命名實(shí)體識(shí)別搜索系統(tǒng)、地標(biāo)識(shí)別(其可以被配置為識(shí)別諸如埃菲爾鐵塔的特定著名地標(biāo)，并且還可以被配置為識(shí)別諸如廣告牌之類的特定圖像庫集)、通過由客戶端系統(tǒng)102中的gps接收器或移動(dòng)電話網(wǎng)絡(luò)所提供的地理位置信息協(xié)助的地點(diǎn)識(shí)別、顏色識(shí)別搜索系統(tǒng)、以及類似的圖像搜索系統(tǒng)(其搜索并識(shí)別與視覺查詢類似的圖像)。由圖1中系統(tǒng)112-n所表示的，可以添加另外的搜索系統(tǒng)作為附加的并行搜索系統(tǒng)。除了ocr搜索系統(tǒng)之外，所有搜索系統(tǒng)在這里被共同定義為執(zhí)行圖像匹配過程的搜索系統(tǒng)。包括ocr搜索系統(tǒng)在內(nèi)的所有搜索系統(tǒng)被共同稱作通過圖像進(jìn)行查詢(query-by-image)的搜索系統(tǒng)。在一些實(shí)施例中，視覺查詢服務(wù)器系統(tǒng)106包括面部識(shí)別搜索系統(tǒng)112-a、ocr搜索系統(tǒng)112-b以及至少一個(gè)其它的通過圖像進(jìn)行查詢的搜索系統(tǒng)112。

并行搜索系統(tǒng)112均單獨(dú)對(duì)視覺搜索查詢進(jìn)行處理并且將其結(jié)果返回給前端服務(wù)器系統(tǒng)110。在一些實(shí)施例中，前端服務(wù)器100可以對(duì)搜索結(jié)果執(zhí)行一個(gè)或多個(gè)分析，諸如以下的一個(gè)或多個(gè)：將結(jié)果聚合到復(fù)合文檔中，選擇結(jié)果的子集進(jìn)行顯示，并且對(duì)結(jié)果進(jìn)行排名，如關(guān)于圖6更為詳細(xì)解釋的。前端服務(wù)器110將搜索結(jié)果通信到客戶端系統(tǒng)102。

客戶端系統(tǒng)102將一個(gè)或多個(gè)搜索結(jié)果呈現(xiàn)給用戶。所述結(jié)果可以呈現(xiàn)在顯示器上，通過音頻揚(yáng)聲器或者用來向用戶通信信息的任意其它手段來進(jìn)行呈現(xiàn)。用戶可以以各種方式與搜索結(jié)果進(jìn)行交互。在一些實(shí)施例中，用戶的選擇、注釋以及與搜索結(jié)果的其它交互被傳送到視覺查詢服務(wù)器系統(tǒng)106并且連同視覺查詢一起記錄在查詢和注釋數(shù)據(jù)庫116中。查詢和注釋數(shù)據(jù)庫中的信息可以被用來改善視覺查詢結(jié)果。在一些實(shí)施例中，來自查詢和注釋數(shù)據(jù)庫116的信息被定期推送至并行搜索系統(tǒng)112，其將任意相關(guān)的信息部分合并到其相應(yīng)的單獨(dú)數(shù)據(jù)庫114中。

計(jì)算機(jī)網(wǎng)絡(luò)100可選地包括詞語查詢服務(wù)器系統(tǒng)118，其用于響應(yīng)于詞語查詢執(zhí)行搜索。與包含圖像的視覺查詢相對(duì)，詞語查詢是包含一個(gè)或多個(gè)詞語的查詢。詞語查詢服務(wù)器系統(tǒng)118可以被用來生成搜索結(jié)果，該搜索結(jié)果對(duì)視覺查詢服務(wù)器系統(tǒng)106中的各個(gè)搜索引擎所產(chǎn)生信息進(jìn)行補(bǔ)充。從詞語查詢服務(wù)器系統(tǒng)118所返回的結(jié)果可以包括任意格式。詞語查詢服務(wù)器系統(tǒng)118可以包括文本文檔、圖像、視頻等。雖然詞語查詢服務(wù)器系統(tǒng)118在圖1中被示為單獨(dú)系統(tǒng)，但是可選地，視覺查詢服務(wù)器系統(tǒng)106可以包括詞語查詢服務(wù)器系統(tǒng)118。

以下關(guān)于圖2-4中的流程圖提供與視覺查詢服務(wù)器系統(tǒng)106的操作相關(guān)的附加信息。

圖2是圖示根據(jù)本發(fā)明某些實(shí)施例的用于對(duì)視覺查詢進(jìn)行響應(yīng)的視覺查詢服務(wù)器系統(tǒng)方法的流程圖。圖2中所示出的每個(gè)操作可以對(duì)應(yīng)于計(jì)算機(jī)存儲(chǔ)器或計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中所存儲(chǔ)的指令。

視覺查詢服務(wù)器系統(tǒng)從客戶端系統(tǒng)接收視覺查詢(202)。如關(guān)于圖1所解釋的，客戶端系統(tǒng)例如可以為臺(tái)式計(jì)算設(shè)備、移動(dòng)設(shè)備或其它類似設(shè)備(204)。圖11中示出了示例客戶端系統(tǒng)上的示例視覺查詢。

視覺查詢是任意適當(dāng)格式的圖像文檔。例如，視覺查詢可以是照片、截屏、掃描圖像，或者是視頻的一幀或多個(gè)幀的序列(206)。在一些實(shí)施例中，視覺查詢是內(nèi)容編寫程序(736，圖5)所產(chǎn)生的圖。這樣，在一些實(shí)施例中，用戶“繪制”視覺查詢，而在其它實(shí)施例中，用戶掃描或拍攝視覺查詢。一些視覺查詢使用諸如acrobat之類的圖像生成應(yīng)用、照片編輯程序、繪畫程序或圖像編輯程序來創(chuàng)建。例如，視覺查詢可以來自于用戶在其移動(dòng)電話上為其朋友拍攝照片并且然后將該照片作為視覺查詢提交至服務(wù)器系統(tǒng)。視覺查詢還可以來自于用戶對(duì)一頁雜志進(jìn)行掃描或者在臺(tái)式計(jì)算機(jī)上截取網(wǎng)頁的截屏并然后將掃描或截屏作為視覺查詢提交至服務(wù)器系統(tǒng)。在一些實(shí)施例中，視覺查詢通過瀏覽器應(yīng)用的搜索引擎擴(kuò)展、通過瀏覽器應(yīng)用的插件或者通過由客戶端系統(tǒng)102所執(zhí)行的搜索應(yīng)用提交至服務(wù)器系統(tǒng)106。視覺查詢還可以由(客戶端系統(tǒng)所執(zhí)行的)支持或生成可以由客戶端系統(tǒng)傳送至遠(yuǎn)程服務(wù)器的圖像的其它應(yīng)用程序來提交。

視覺查詢可以是文本和非文本元素的組合(208)。例如，查詢可以是包含圖像和文本的雜志頁面的掃描，諸如一個(gè)人站在路標(biāo)旁邊。視覺查詢可以包括人臉的圖像，其或者由嵌入客戶端系統(tǒng)的相機(jī)所拍攝或者是客戶端系統(tǒng)所掃描或以另外方式所接收的文檔。視覺查詢還可以是僅包含文本的文檔的掃描。視覺查詢也可以是多個(gè)不同主題的圖像，諸如森林中的若干只鳥、人和物體(例如，汽車、公園長椅等)、人和動(dòng)物(例如，寵物、家畜、蝴蝶等)。視覺查詢可以具有兩個(gè)或更多的不同元素。例如，視覺查詢可以包括產(chǎn)品的條形碼和圖像或者產(chǎn)品包裝上的產(chǎn)品名稱。例如，視覺查詢可以是包括圖書標(biāo)題、封面藝術(shù)和條形碼的圖書封面的圖片。如以下更為詳細(xì)討論的，在一些實(shí)例中，一個(gè)視覺查詢將產(chǎn)生與該視覺查詢的不同部分相對(duì)應(yīng)的兩個(gè)或更多的不同搜索結(jié)果。

服務(wù)器系統(tǒng)如下對(duì)視覺查詢進(jìn)行處理。前端服務(wù)器系統(tǒng)將視覺查詢發(fā)送到多個(gè)并行搜索系統(tǒng)以便同時(shí)進(jìn)行處理(210)。每個(gè)搜索系統(tǒng)實(shí)施不同的視覺查詢搜索過程，即單獨(dú)的搜索系統(tǒng)通過其自己的處理方案對(duì)視覺查詢進(jìn)行處理。

在一些實(shí)施例中，對(duì)其發(fā)送視覺查詢以便進(jìn)行處理的一個(gè)搜索系統(tǒng)是光學(xué)字符識(shí)別(ocr)搜索系統(tǒng)。在一些實(shí)施例中，對(duì)其發(fā)送視覺查詢以便進(jìn)行處理的一個(gè)搜索系統(tǒng)是面部識(shí)別搜索系統(tǒng)。在一些實(shí)施例中，運(yùn)行不同視覺查詢搜索過程的多個(gè)搜索系統(tǒng)至少包括：光學(xué)字符識(shí)別(ocr)、面部識(shí)別，以及不同于ocr和面部識(shí)別的其它通過圖像進(jìn)行查詢的過程(212)。其它通過圖像進(jìn)行查詢的過程選自包括但并不局限于產(chǎn)品識(shí)別、條形碼識(shí)別、對(duì)象或?qū)ο箢悇e識(shí)別、命名實(shí)體識(shí)別和顏色識(shí)別的過程集合(212)。

在一些實(shí)施例中，命名實(shí)體識(shí)別作為ocr搜索系統(tǒng)的后期過程發(fā)生，其中針對(duì)著名人物、位置、對(duì)象等對(duì)ocr的文本結(jié)果進(jìn)行分析，并且然后在詞語查詢服務(wù)器系統(tǒng)(圖1的118)中對(duì)被識(shí)別為命名實(shí)體的詞語進(jìn)行搜索。在其它實(shí)施例中，由圖像至詞語搜索系統(tǒng)對(duì)著名地標(biāo)、標(biāo)志、人物、影集封面、商標(biāo)等的圖像進(jìn)行識(shí)別。在其它實(shí)施例中，采用與圖像至詞語搜索系統(tǒng)相分離的不同命名實(shí)體的通過圖像進(jìn)行查詢的過程。對(duì)象或?qū)ο箢悇e識(shí)別系統(tǒng)識(shí)別如“汽車”的一般結(jié)果類型。在一些實(shí)施例中，該系統(tǒng)還識(shí)別產(chǎn)品品牌、特定產(chǎn)品模型等，并且提供如“保時(shí)捷”的更為具體的描述。一些搜索系統(tǒng)可以是特定于特殊用戶的搜索系統(tǒng)。例如，特定版本的顏色識(shí)別和面部識(shí)別可以是盲人所使用的特殊搜索系統(tǒng)。

前端服務(wù)器系統(tǒng)從并行搜索系統(tǒng)接收結(jié)果(214)。在一些實(shí)施例中，所述結(jié)果伴隨有搜索分值。對(duì)于一些視覺查詢而言，一些搜索系統(tǒng)將找不到相關(guān)結(jié)果。例如，如果視覺查詢是花的圖片，則面部識(shí)別搜索系統(tǒng)和條形碼搜索系統(tǒng)將找不到任何相關(guān)結(jié)果。在一些實(shí)施例中，如果沒有找到相關(guān)結(jié)果，則從該搜索系統(tǒng)接收空或零搜索分值(216)。在一些實(shí)施例中，如果前端服務(wù)器在預(yù)定義的時(shí)間段(例如，0.2、0.5、1、2或5秒)之后沒有從搜索系統(tǒng)接收到結(jié)果，則其就將如同超時(shí)服務(wù)器產(chǎn)生空搜索分值那樣來處理所接收結(jié)果并且將對(duì)來自其它搜索系統(tǒng)的所接收結(jié)果進(jìn)行處理。

可選地，當(dāng)至少兩個(gè)所接收搜索結(jié)果滿足預(yù)定義標(biāo)準(zhǔn)時(shí)，對(duì)它們進(jìn)行排名(218)。在一些實(shí)施例中，一種預(yù)定義標(biāo)準(zhǔn)排除無效結(jié)果。預(yù)定義標(biāo)準(zhǔn)是結(jié)果并非無效的標(biāo)準(zhǔn)。在一些實(shí)施例中，一種預(yù)定義標(biāo)準(zhǔn)排除具有低于預(yù)定義最低分值的數(shù)字分值(例如，對(duì)于相關(guān)性因素而言)的結(jié)果。可選地，對(duì)多個(gè)搜索結(jié)果進(jìn)行過濾(220)。在一些實(shí)施例中，僅在結(jié)果總數(shù)超過預(yù)定義閾值的情況下對(duì)結(jié)果進(jìn)行過濾。在一些實(shí)施例中，對(duì)所有結(jié)果進(jìn)行排名但是排除低于預(yù)定義最低分值的結(jié)果。對(duì)于一些視覺查詢而言，對(duì)結(jié)果的內(nèi)容進(jìn)行過濾。例如，如果一些結(jié)果包含隱私信息或個(gè)人保護(hù)信息，則這些結(jié)果被過濾掉。

可選地，視覺查詢服務(wù)器系統(tǒng)創(chuàng)建復(fù)合搜索結(jié)果(222)。一個(gè)這樣的實(shí)施例是如關(guān)于圖3所解釋的在交互式結(jié)果文檔中嵌入了多于一個(gè)搜索系統(tǒng)結(jié)果時(shí)。詞語查詢服務(wù)器系統(tǒng)(圖1的118)可以利用來自詞語搜索的結(jié)果對(duì)來自并行搜索系統(tǒng)之一的結(jié)果進(jìn)行擴(kuò)增，其中附加結(jié)果是到文檔或信息源的鏈接，或者是包含可能與視覺查詢相關(guān)的附加信息的文本和/或圖像。因此，例如，復(fù)合搜索結(jié)果可以包含ocr結(jié)果以及到ocr文檔中的命名實(shí)體的鏈接(224)。

在一些實(shí)施例中，ocr搜索系統(tǒng)(圖1的112-b)或前端視覺查詢處理服務(wù)器(圖1的110)識(shí)別文本中可能相關(guān)的詞。例如，其可以識(shí)別諸如著名人物或地點(diǎn)的命名實(shí)體。命名實(shí)體作為查詢?cè)~語被提交給詞語查詢服務(wù)器系統(tǒng)(圖1的118)。在一些實(shí)施例中，詞語查詢服務(wù)器系統(tǒng)所產(chǎn)生的詞語查詢結(jié)果被作為“鏈接”嵌入在視覺查詢結(jié)果中。在一些實(shí)施例中，詞語查詢結(jié)果作為單獨(dú)的鏈接返回。例如，如果圖書封面的圖片是視覺查詢，則對(duì)象識(shí)別搜索系統(tǒng)可能會(huì)對(duì)圖書產(chǎn)生高分值的命中。這樣，將在詞語查詢服務(wù)器系統(tǒng)118上運(yùn)行對(duì)圖書標(biāo)題的詞語查詢并且詞語查詢結(jié)果將連同視覺查詢結(jié)果一起返回。在一些實(shí)施例中，詞語查詢結(jié)果在帶標(biāo)簽分組中呈現(xiàn)以將它們與視覺查詢結(jié)果進(jìn)行區(qū)分。結(jié)果可以被單獨(dú)搜索，或者可以使用搜索查詢中的所有所識(shí)別的命名實(shí)體來執(zhí)行搜索以產(chǎn)生特別相關(guān)的附加搜索結(jié)果。例如，如果視覺查詢是有關(guān)巴黎的掃描旅行冊(cè)，則所返回的結(jié)果可能包括指向詞語查詢服務(wù)器系統(tǒng)118的用于發(fā)起對(duì)詞語查詢“巴黎圣母院(notredame)”的搜索的鏈接。類似地，復(fù)合搜索結(jié)果包括來自針對(duì)所識(shí)別著名圖像的文本搜索的結(jié)果。例如，在相同的旅行冊(cè)中，還可以示出針對(duì)在該冊(cè)子中作為圖片示出的“埃菲爾鐵塔”和“盧浮宮”的著名目的地的詞語查詢結(jié)果的活躍(live)鏈接(即使在冊(cè)子本身中并沒有出現(xiàn)詞語“埃菲爾鐵塔”和“盧浮宮”)。

視覺查詢服務(wù)器系統(tǒng)接著將至少一個(gè)結(jié)果發(fā)送到客戶端系統(tǒng)(226)。典型地，如果視覺查詢處理服務(wù)器從多個(gè)搜索系統(tǒng)中的至少一些接收到多個(gè)搜索結(jié)果，則其將接著將所述多個(gè)搜索結(jié)果中的至少一個(gè)發(fā)送到客戶端系統(tǒng)。對(duì)于一些視覺查詢而言，僅一個(gè)搜索系統(tǒng)將返回相關(guān)結(jié)果。例如，在僅包含文本圖像的視覺查詢中，可能僅有ocr服務(wù)器的結(jié)果是相關(guān)的。對(duì)于一些視覺查詢而言，可能僅來自一個(gè)搜索系統(tǒng)的一個(gè)結(jié)果是相關(guān)的。例如，可能僅有與所掃描的條形碼相關(guān)的產(chǎn)品是相關(guān)的。在這些情況下，前端視覺處理服務(wù)器將僅返回相關(guān)的搜索結(jié)果。對(duì)于一些視覺查詢而言，多個(gè)搜索結(jié)果被發(fā)送到客戶端系統(tǒng)，并且多個(gè)搜索結(jié)果包括來自多于一個(gè)的并行搜索系統(tǒng)的搜索結(jié)果(228)。這可能在多于一個(gè)的不同圖像出現(xiàn)在視覺查詢中時(shí)發(fā)生。例如，如果視覺查詢是騎馬的人的圖片，則針對(duì)該人的面部識(shí)別的結(jié)果會(huì)連同針對(duì)馬的對(duì)象識(shí)別結(jié)果一起進(jìn)行顯示。在一些實(shí)施例中，圖像搜索系統(tǒng)對(duì)特定查詢的的所有結(jié)果被分組并一起呈現(xiàn)。例如，前n個(gè)面部識(shí)別結(jié)果被顯示在標(biāo)題“面部識(shí)別結(jié)果”之下，并且前n個(gè)對(duì)象識(shí)別結(jié)果被一起顯示在標(biāo)題“對(duì)象識(shí)別結(jié)果”之下。可替換地，如以下所討論的，來自特定圖像搜索系統(tǒng)的搜索結(jié)果可以通過圖像區(qū)域進(jìn)行分組。例如，如果視覺查詢包括兩個(gè)臉部，它們都產(chǎn)生面部識(shí)別結(jié)果，則每張臉的結(jié)果將作為不同的分組進(jìn)行呈現(xiàn)。對(duì)于一些視覺查詢而言(例如，包括文本以及一個(gè)或多個(gè)對(duì)象的圖像的視覺查詢)，搜索結(jié)果可以包括ocr結(jié)果以及一個(gè)或多個(gè)圖像匹配結(jié)果(230)。

在一些實(shí)施例中，用戶可能希望對(duì)特定搜索結(jié)果進(jìn)行更多了解。例如，如果視覺查詢是海豚的圖片并且“圖像至詞語”搜索系統(tǒng)返回了以下詞語“水”、“海豚”、“藍(lán)”和“鰭”；則用戶可能希望對(duì)“鰭”進(jìn)行基于文本的查詢?cè)~語搜索。當(dāng)用戶想要對(duì)詞語查詢進(jìn)行搜索時(shí)(例如，如用戶在搜索結(jié)果中的相應(yīng)鏈接上進(jìn)行點(diǎn)擊或以另外方式選擇所述鏈接所指示的)，查詢?cè)~語服務(wù)器系統(tǒng)(圖1的118)被訪問，并且進(jìn)行對(duì)所選擇詞語的搜索。相對(duì)應(yīng)的搜索詞語結(jié)果被單獨(dú)或者連同視覺查詢結(jié)果一起顯示在客戶端系統(tǒng)上(232)。在一些實(shí)施例中，前端視覺查詢處理服務(wù)器(圖1的110)自動(dòng)(即，沒有接收除初始的視覺查詢之外的任何用戶命令)選擇視覺查詢的一個(gè)或多個(gè)最前面的潛在文本結(jié)果，在詞語查詢服務(wù)器系統(tǒng)118上運(yùn)行那些文本結(jié)果，并且接著將那些詞語查詢結(jié)果連同視覺查詢結(jié)果一起向客戶端系統(tǒng)進(jìn)行發(fā)送，作為向客戶端系統(tǒng)發(fā)送至少一個(gè)搜索結(jié)果的一部分(232)。在以上的示例中，如果“鰭”是海豚的視覺查詢圖片的第一個(gè)詞語結(jié)果，則前端服務(wù)器進(jìn)行對(duì)“鰭”的詞語查詢并且將那些詞語查詢結(jié)果連同視覺查詢結(jié)果一起返回給客戶端系統(tǒng)。該實(shí)施例節(jié)省了用戶的時(shí)間，其中在將來自視覺查詢的搜索結(jié)果發(fā)送給用戶之前，自動(dòng)執(zhí)行被認(rèn)為可能被用戶所選擇的詞語結(jié)果。在一些實(shí)施例中，如以上所解釋的，這些結(jié)果作為復(fù)合搜索結(jié)果進(jìn)行顯示(222)。在其它實(shí)施例中，除了復(fù)合搜索結(jié)果之外或者作為其替代，所述結(jié)果是搜索結(jié)果列表的一部分。

圖3是圖示利用交互式結(jié)果文檔對(duì)視覺查詢進(jìn)行響應(yīng)的過程的流程圖。前三個(gè)操作(202、210、214)以上參考圖2進(jìn)行了描述。從接收于并行搜索系統(tǒng)的搜索結(jié)果(214)，創(chuàng)建交互式結(jié)果文檔(302)。

現(xiàn)在將對(duì)創(chuàng)建交互式結(jié)果文檔(302)進(jìn)行詳細(xì)描述。對(duì)于一些視覺查詢而言，交互式結(jié)果文檔包括該視覺查詢的相應(yīng)子部分的一個(gè)或多個(gè)視覺標(biāo)識(shí)符。每個(gè)視覺標(biāo)識(shí)符具有到至少一個(gè)搜索結(jié)果的至少一個(gè)用戶可選擇的鏈接。視覺標(biāo)識(shí)符識(shí)別視覺查詢的相應(yīng)子部分。對(duì)于一些視覺查詢而言，交互式結(jié)果文檔僅具有一個(gè)視覺標(biāo)識(shí)符，其具有到一個(gè)或多個(gè)結(jié)果的一個(gè)用戶可選擇鏈接。在一些實(shí)施例中，到一個(gè)或多個(gè)搜索結(jié)果的相應(yīng)用戶可選擇鏈接具有激活區(qū)域，并且所述激活區(qū)域?qū)?yīng)于視覺查詢與相對(duì)應(yīng)的視覺標(biāo)識(shí)符相關(guān)聯(lián)的子部分。

在一些實(shí)施例中，視覺標(biāo)識(shí)符是邊界框(304)。在一些實(shí)施例中，所述邊界框封閉視覺查詢的子部分，如圖12a所示。邊界框無需是正方形或矩形框形狀，而是可以為任意類型的形狀，包括圓形、橢圓、等角(例如，針對(duì)視覺查詢中的對(duì)象、實(shí)體或其區(qū)域)、不規(guī)則或者如圖12b所示的任意其它形狀。對(duì)于一些視覺查詢而言，邊界框包圍視覺查詢的子部分中可識(shí)別實(shí)體的邊界(306)。在一些實(shí)施例中，每個(gè)邊界框包括到一個(gè)或多個(gè)搜索結(jié)果的用戶可選擇鏈接，其中用戶可選擇鏈接具有對(duì)應(yīng)于被邊界框所包圍的視覺查詢子部分的激活區(qū)域。當(dāng)邊界框內(nèi)的空間(用戶可選擇鏈接的激活區(qū)域)被用戶選擇時(shí)，返回與所包圍的子部分中的圖像相對(duì)應(yīng)的搜索結(jié)果。

在一些實(shí)施例中，如圖14所示，視覺標(biāo)識(shí)符是標(biāo)簽(307)。在一些實(shí)施例中，標(biāo)簽包括至少一個(gè)與視覺查詢的相應(yīng)子部分中的圖像相關(guān)聯(lián)的詞語。每個(gè)標(biāo)簽被格式化以便在相應(yīng)子部分之上或附近的交互式結(jié)果文檔中進(jìn)行呈現(xiàn)。在一些實(shí)施例中，所述標(biāo)簽被顏色編碼。

在一些實(shí)施例中，每個(gè)相應(yīng)的視覺標(biāo)識(shí)符被格式化以便依據(jù)視覺查詢的相應(yīng)子部分中所識(shí)別實(shí)體的類型的以在視覺上有所區(qū)別的方式進(jìn)行呈現(xiàn)。例如，如圖13所示，圍繞產(chǎn)品、人、商標(biāo)的邊界框以及兩個(gè)文本區(qū)域均以表示不同著色的透明邊界框的不同交叉陰影圖案進(jìn)行呈現(xiàn)。在一些實(shí)施例中，視覺標(biāo)識(shí)符被格式化以便以在視覺上有區(qū)別的方式進(jìn)行呈現(xiàn)，諸如覆蓋顏色、覆蓋圖案、標(biāo)簽背景顏色、標(biāo)簽背景圖案、標(biāo)簽字體顏色和邊框顏色。

在一些實(shí)施例中，交互式結(jié)果文檔中的用戶可選擇鏈接是到包含與視覺查詢的相對(duì)應(yīng)子部分相關(guān)的一個(gè)或多個(gè)結(jié)果的文檔或?qū)ο蟮逆溄?308)。在一些實(shí)施例中，至少一個(gè)搜索結(jié)果包括與視覺查詢的相對(duì)應(yīng)子部分相關(guān)的數(shù)據(jù)。這樣，當(dāng)用戶選擇與相應(yīng)子部分相關(guān)聯(lián)的可選擇鏈接時(shí)，該用戶被指向與視覺查詢的所述相應(yīng)子部分中所識(shí)別的實(shí)體相對(duì)應(yīng)的搜索結(jié)果。

例如，如果視覺查詢是條形碼的照片，則照片的部分可能是與其上貼有條形碼的包裝的不相關(guān)部分。交互式結(jié)果文檔可以包括僅圍繞條形碼的邊界框。當(dāng)用戶在包圍條形碼的邊界框內(nèi)進(jìn)行選擇時(shí)，顯示條形碼搜索結(jié)果。條形碼搜索結(jié)果可以包括一個(gè)結(jié)果，與該條形碼相對(duì)應(yīng)的產(chǎn)品的名稱，或者條形碼結(jié)果可以包括若干結(jié)果，諸如能夠購買、評(píng)論該產(chǎn)品的各種地點(diǎn)等。

在一些實(shí)施例中，當(dāng)對(duì)應(yīng)于相應(yīng)視覺標(biāo)識(shí)符的視覺查詢的子部分包含包括一個(gè)或多個(gè)詞語的文本時(shí)，對(duì)應(yīng)于相應(yīng)視覺標(biāo)識(shí)符的搜索結(jié)果包括來自對(duì)所述文本中的至少一個(gè)詞語進(jìn)行的詞語查詢搜索的結(jié)果。在一些實(shí)施例中，當(dāng)對(duì)應(yīng)于相應(yīng)視覺標(biāo)識(shí)符的視覺查詢的子部分包含針對(duì)其找到至少一個(gè)滿足預(yù)定可靠性(或其它)標(biāo)準(zhǔn)的匹配(即，搜索結(jié)果)的人臉時(shí)，對(duì)應(yīng)于相應(yīng)視覺標(biāo)識(shí)符的搜索結(jié)果包括以下的一個(gè)或多個(gè)：與其臉部包含在可選擇子部分中的人相關(guān)聯(lián)的姓名、頭銜(handle)、聯(lián)系信息、賬戶信息、地址信息、相關(guān)移動(dòng)設(shè)備的當(dāng)前位置，其臉部包含在可選擇子部分中的人的其它圖像，以及該人臉的潛在圖像匹配。在一些實(shí)施例中，當(dāng)視覺查詢對(duì)應(yīng)于相應(yīng)視覺標(biāo)識(shí)符的子部分包含針對(duì)其找到至少一個(gè)滿足預(yù)定可靠性(或其它)標(biāo)準(zhǔn)的匹配(即，搜索結(jié)果)的產(chǎn)品時(shí)，對(duì)應(yīng)于相應(yīng)視覺標(biāo)識(shí)符的搜索結(jié)果包括以下的一個(gè)或多個(gè)：產(chǎn)品信息、產(chǎn)品評(píng)論、發(fā)起產(chǎn)品購買的選項(xiàng)、發(fā)起對(duì)產(chǎn)品出價(jià)的選項(xiàng)、類似產(chǎn)品的列表以及相關(guān)產(chǎn)品的列表。

可選地，交互式結(jié)果文檔中的相應(yīng)用戶可選擇鏈接包括錨文本(anchortext)，其在不必激活鏈接的情況下顯示在文檔中。錨文本提供諸如與激活鏈接時(shí)所獲得的信息相關(guān)的關(guān)鍵詞或詞語之類的信息。錨文本可以作為標(biāo)簽的一部分進(jìn)行顯示(307)，或者顯示在邊界框的一部分中(304)，或者作為用戶將光標(biāo)在用戶可選擇鏈接上懸停諸如1秒的預(yù)定時(shí)間段時(shí)所顯示的附加信息。

可選地，交互式結(jié)果文檔中的相應(yīng)用戶可選擇鏈接是到用于搜索與基于文本的查詢(這里有時(shí)稱作詞語查詢)相對(duì)應(yīng)的信息或文檔的搜索引擎的鏈接。激活該鏈接使得由所述搜索引擎執(zhí)行搜索，其中所述查詢和搜索引擎由所述鏈接所指定(例如，搜索引擎由鏈接中的url所指定而基于文本的搜索查詢由鏈接的url參數(shù)所指定)，其結(jié)果返回到客戶端系統(tǒng)?？蛇x地，該示例中的鏈接可以包括指定搜索查詢中的文本或詞語的錨文本。

在一些實(shí)施例中，響應(yīng)于視覺查詢所產(chǎn)生的交互式結(jié)果文檔可以包括與來自相同的搜索系統(tǒng)的結(jié)果相對(duì)應(yīng)的多個(gè)鏈接。例如，視覺查詢可以是人群的圖像或圖片。交互式結(jié)果文檔可以包括圍繞每個(gè)人的邊界框，其在被激活時(shí)返回來自面部識(shí)別搜索系統(tǒng)針對(duì)群組中的每張臉的結(jié)果。對(duì)于一些視覺查詢而言，交互式結(jié)果文檔中的多個(gè)鏈接對(duì)應(yīng)于來自多于一個(gè)的搜索系統(tǒng)的搜索結(jié)果(310)。例如，如果人和狗的圖片作為視覺查詢被提交，則交互式結(jié)果文檔中的邊界框可以單獨(dú)包圍人和狗。當(dāng)(交互式結(jié)果文檔中的)人被選擇時(shí)，返回來自面部識(shí)別搜索系統(tǒng)的搜索結(jié)果，而當(dāng)(交互式結(jié)果文檔中的)狗被選擇時(shí)，則返回來自圖像至詞語搜索系統(tǒng)的結(jié)果。對(duì)于一些視覺查詢而言，交互式結(jié)果文檔包含ocr結(jié)果和圖像匹配結(jié)果(312)。例如，如果人站在標(biāo)牌旁邊的圖片作為視覺查詢被提交，則交互式結(jié)果文檔可以包括對(duì)人和所述標(biāo)牌中的文本的視覺標(biāo)識(shí)符。類似地，如果雜志的掃描被用作視覺查詢，則交互式結(jié)果文檔可以包括頁面上廣告中的照片或商標(biāo)的視覺標(biāo)識(shí)符以及也處于該頁面上的文章文本的視覺標(biāo)識(shí)符。

在已經(jīng)創(chuàng)建了交互式結(jié)果文檔之后，將其發(fā)送到客戶端系統(tǒng)(314)。在一些實(shí)施例中，如以上參考圖2所討論的，交互式結(jié)果文檔(例如，文檔1200，圖15)連同來自一個(gè)或多個(gè)并行搜索系統(tǒng)的搜索結(jié)果列表一起進(jìn)行發(fā)送。在一些實(shí)施例中，在客戶端系統(tǒng)，交互式結(jié)果文檔顯示在來自一個(gè)或多個(gè)并行搜索系統(tǒng)的搜索結(jié)果列表上方或以另外方式與之相鄰地進(jìn)行顯示(315)，如圖15所示。

可選地，用戶將通過選擇結(jié)果文檔中的視覺標(biāo)識(shí)符來與所述結(jié)果文檔進(jìn)行交互。服務(wù)器系統(tǒng)從客戶端系統(tǒng)接收與交互式結(jié)果文檔中的視覺標(biāo)識(shí)符的用戶選擇相關(guān)的信息(316)。如以上所討論的，在一些實(shí)施例中，通過選擇邊界框內(nèi)的激活區(qū)域來激活鏈接。在其它實(shí)施例中，通過對(duì)視覺查詢子部分的并非邊界框的視覺標(biāo)識(shí)符的用戶選擇來激活鏈接。在一些實(shí)施例中，帶鏈接的視覺標(biāo)識(shí)符是熱按鈕(hotbutton)、位于子部分附近的標(biāo)簽、文本中的加下劃線的詞，或者視覺查詢中的對(duì)象或主題的其它表示。

在利用交互式結(jié)果文檔呈現(xiàn)搜索結(jié)果列表的實(shí)施例中(315)，當(dāng)用戶選擇用戶可選擇鏈接時(shí)(316)，搜索結(jié)果列表中與所選擇鏈接相對(duì)應(yīng)的搜索結(jié)果被識(shí)別。在一些實(shí)施例中，光標(biāo)將跳躍或自動(dòng)移動(dòng)到與所選擇鏈接相對(duì)應(yīng)的第一結(jié)果。在客戶端102的顯示器太小而無法顯示交互式結(jié)果文檔和整個(gè)搜索結(jié)果列表的一些實(shí)施例中，選擇交互式結(jié)果文檔中的鏈接使得搜索結(jié)果列表滾動(dòng)或跳躍以便至少顯示與所選擇鏈接相對(duì)應(yīng)的第一結(jié)果。在一些其它實(shí)施例中，響應(yīng)于交互式結(jié)果文檔中鏈接的用戶選擇，對(duì)結(jié)果列表進(jìn)行重新排序以使得對(duì)應(yīng)于所述鏈接的第一結(jié)果被顯示在結(jié)果列表的頂端。

在一些實(shí)施例中，當(dāng)用戶選擇用戶可選擇鏈接時(shí)(316)，視覺查詢服務(wù)器系統(tǒng)向客戶端發(fā)送與視覺查詢的相對(duì)應(yīng)子部分相關(guān)的結(jié)果的至少一個(gè)子集以便向用戶進(jìn)行顯示(318)。在一些實(shí)施例中，用戶能夠同時(shí)選擇多個(gè)視覺標(biāo)識(shí)符并且將同時(shí)接收到所有所選擇視覺標(biāo)識(shí)符的結(jié)果子集。在其它實(shí)施例中，對(duì)應(yīng)于用戶可選擇鏈接的搜索結(jié)果在用戶選擇任意用戶可選擇鏈接之前被預(yù)先加載到客戶端上，以便響應(yīng)于交互式結(jié)果文檔中一個(gè)或多個(gè)鏈接的用戶選擇在視覺上立即向用戶提供搜索結(jié)果。

圖4是圖示客戶端和視覺查詢服務(wù)器系統(tǒng)之間的通信的流程圖?？蛻舳?02從用戶/查詢方接收視覺查詢(402)。在一些實(shí)施例中，可以僅接受來自已經(jīng)注冊(cè)或者“選擇加入”到視覺查詢系統(tǒng)的用戶的視覺查詢。在一些實(shí)施例中，僅針對(duì)已經(jīng)注冊(cè)到面部識(shí)別視覺查詢系統(tǒng)的用戶執(zhí)行面部識(shí)別匹配的搜索，而對(duì)無論其是否已經(jīng)“選擇加入”到面部識(shí)別部分的任何人執(zhí)行其它類型的視覺查詢。

如以上所解釋的，視覺查詢的格式可以采取許多形式。視覺查詢將可能包含位于視覺查詢文檔的子部分中的一個(gè)或多個(gè)主題。對(duì)于一些視覺查詢而言，客戶端系統(tǒng)102對(duì)視覺查詢執(zhí)行類型識(shí)別預(yù)處理(404)。在一些實(shí)施例中，客戶端系統(tǒng)102在該預(yù)處理系統(tǒng)中搜索特定的可識(shí)別模式。例如，對(duì)于一些視覺查詢而言，客戶端可以識(shí)別顏色。對(duì)于一些視覺查詢，客戶端可以識(shí)別出特定子部分可能包含文本(原因在于該區(qū)域由被亮空間所包圍的小的暗字符所構(gòu)成，等等)?？蛻舳丝梢园我鈹?shù)量的預(yù)處理類型識(shí)別器，或者類型識(shí)別模塊。在一些實(shí)施例中，客戶端將具有用于識(shí)別條形碼的類型識(shí)別模塊(條形碼識(shí)別406)。其可以通過識(shí)別矩形區(qū)域中的不同條狀圖案來完成該功能。在一些實(shí)施例中，客戶端將具有用于識(shí)別視覺查詢的特定主題或子部分可能包含臉部的類型識(shí)別模塊(臉部檢測408)。

在一些實(shí)施例中，所識(shí)別的“類型”被返回給用戶以便驗(yàn)證。例如，客戶端系統(tǒng)102可以返回指出“已經(jīng)在你的視覺查詢中找到條形碼，你有興趣接收條形碼查詢結(jié)果嗎？”的消息。在一些實(shí)施例中，該消息甚至可以指示已經(jīng)在視覺查詢中找到所述類型的子部分。在一些實(shí)施例中，該呈現(xiàn)類似于參考圖3所討論的交互式結(jié)果文檔。例如，其可以包圍視覺查詢的子部分并且指示該子部分可能包含臉部，并且詢問用戶是否有興趣接收面部識(shí)別結(jié)果。

在客戶端102執(zhí)行了視覺查詢的可選預(yù)處理之后，客戶端向視覺查詢服務(wù)器系統(tǒng)106特別是前端視覺查詢處理服務(wù)器110發(fā)送視覺查詢。在一些實(shí)施例中，如果預(yù)處理產(chǎn)生了相關(guān)結(jié)果，即如果類型識(shí)別模塊之一產(chǎn)生了高于特定閾值的結(jié)果，這指示查詢或查詢的子部分可能為特定類型(臉部、文本、條形碼等)，則客戶端將傳遞與預(yù)處理結(jié)果相關(guān)的信息。例如，客戶端可以指示臉部識(shí)別模塊75％確信視覺查詢的特定子部分包含臉部。更一般地，如果有的話，預(yù)處理結(jié)果包括一個(gè)或多個(gè)主題類型數(shù)值(例如，條形碼、臉部、文本等)?？蛇x地，發(fā)送到視覺查詢服務(wù)器系統(tǒng)的預(yù)處理結(jié)果包括以下的一個(gè)或多個(gè)：對(duì)于預(yù)處理結(jié)果中的每個(gè)主題類型值，識(shí)別與主題類型值相對(duì)應(yīng)的視覺查詢子部分的信息；以及對(duì)于預(yù)處理結(jié)果中的每個(gè)主題類型值，指示視覺查詢的相對(duì)應(yīng)子部分的主題類型值和/或識(shí)別的確信度水平的確信度值。

前端服務(wù)器110從客戶端系統(tǒng)接收視覺查詢(202)。所接收的視覺查詢可以包含以上所討論的預(yù)處理信息。如以上所描述的，前端服務(wù)器向多個(gè)并行搜索系統(tǒng)發(fā)送視覺查詢(210)。如果前端服務(wù)器110接收了與子部分包含某個(gè)類型的主題的可能性相關(guān)的預(yù)處理信息，則前端服務(wù)器可以將該信息送至一個(gè)或多個(gè)并行搜索系統(tǒng)。例如，其可以傳遞特定子部分可能為臉部的信息以使得面部識(shí)別搜索系統(tǒng)112-a能夠首先對(duì)視覺查詢的該子部分進(jìn)行處理。類似地，發(fā)送(特定子部分可能為臉部的)相同信息可以被其它并行搜索系統(tǒng)用來忽略該子部分或首先分析其它子部分。在一些實(shí)施例中，前端服務(wù)器將不向并行搜索系統(tǒng)傳遞預(yù)處理信息，而是將替代使用該信息來擴(kuò)增其對(duì)從并行搜索系統(tǒng)所接收的結(jié)果進(jìn)行處理的方式。

如參考圖2所解釋的，對(duì)于一些視覺查詢，前端服務(wù)器110從并行搜索系統(tǒng)接收多個(gè)搜索結(jié)果(214)。前端服務(wù)器接著可以執(zhí)行各種排序和過濾，并且可以如參考圖2和3所解釋的創(chuàng)建交互式搜索結(jié)果文檔。如果前端服務(wù)器110接收了與子部分包含某個(gè)類型主題的可能性相關(guān)的預(yù)處理信息，則其可以通過給出針對(duì)匹配預(yù)處理的所識(shí)別主題類型的那些結(jié)果的偏好來進(jìn)行過濾和排序。如果用戶指示了請(qǐng)求特定類型的結(jié)果，前端服務(wù)器將在對(duì)結(jié)果進(jìn)行處理時(shí)考慮用戶的請(qǐng)求。例如，前端服務(wù)器可以在用戶僅請(qǐng)求了條形碼信息的情況下將所有其它結(jié)果過濾掉，或者前端服務(wù)器將與所請(qǐng)求類型相關(guān)的所有結(jié)果列出在列出其它結(jié)果之前。如果返回了交互式視覺查詢文檔，則服務(wù)器可以預(yù)先搜索與用戶指示了對(duì)其感興趣的類型相關(guān)聯(lián)的鏈接，同時(shí)僅提供用于執(zhí)行針對(duì)交互式結(jié)果文檔中所指示的其它主題的相關(guān)搜索的鏈接。前端服務(wù)器110接著將搜索結(jié)果發(fā)送到客戶端系統(tǒng)(226)。

客戶端102從服務(wù)器系統(tǒng)接收結(jié)果(412)。當(dāng)可應(yīng)用時(shí)，這些結(jié)果將包括與預(yù)處理階段中所找到的結(jié)果類型相匹配的結(jié)果。例如，在一些實(shí)施例中，它們將包括一個(gè)或多個(gè)條形碼結(jié)果(414)或者一個(gè)或多個(gè)面部識(shí)別結(jié)果(416)。如果客戶端的預(yù)處理模塊已經(jīng)指示了結(jié)果可能為特定類型，并且找到了該結(jié)果，則所找到的該類型的結(jié)果將被突出列出。

可選地，用戶將選擇或注釋一個(gè)或多個(gè)結(jié)果(418)。用戶可以選擇一個(gè)搜索結(jié)果，可以選擇特定類型的搜索結(jié)果，和/或可以選擇交互式結(jié)果文檔的一部分(420)。結(jié)果的選擇是所返回結(jié)果與查詢相關(guān)的隱含反饋。這樣的反饋信息可以在未來的查詢處理操作中加以利用。注釋提供了與所返回結(jié)果相關(guān)的明確反饋，其也可以在未來的查詢處理操作中加以利用。注釋采用所返回結(jié)果的部分的更正(如對(duì)錯(cuò)誤ocr化的詞的更正)的形式或者為單獨(dú)注釋(自由形式或結(jié)構(gòu)化)。

一個(gè)搜索結(jié)果的用戶選擇是被稱作解釋中的選擇(selectionamonginterpretations)的過程，其通常從若干相同類型中選擇“正確”結(jié)果(例如，選擇來自面部識(shí)別服務(wù)器的正確結(jié)果)。特定類型的搜索結(jié)果的用戶選擇是被稱作意圖消歧(disambiguationofintent)的過程，其通常從若干不同類型的返回結(jié)果中選擇感興趣的結(jié)果“類型”(例如，選擇雜志中文章的ocr化的文本而不是也處于相同頁面上的廣告的視覺結(jié)果)。如參考圖8詳細(xì)解釋的，用戶可以類似地選擇ocr化的文檔中的特定帶鏈接詞(諸如所識(shí)別的命名實(shí)體)。

可替換地或除此之外，用戶可能希望對(duì)特定搜索結(jié)果進(jìn)行注釋。該注釋可以以自由樣式或者結(jié)構(gòu)化格式來進(jìn)行(422)。注釋可以是結(jié)果的描述或者可以是結(jié)果的評(píng)論。例如，它們可以指示結(jié)果中主題的名稱，或者它們可以指示“這是一本好書”或者“該產(chǎn)品在銷售年度內(nèi)有所突破”。另一個(gè)注釋示例是用戶繪制的圍繞視覺查詢子部分的邊界框以及用戶所提供的識(shí)別邊界框內(nèi)的對(duì)象或主題的文本。參考圖5對(duì)用戶注釋進(jìn)行更為詳細(xì)的解釋。

搜索結(jié)果的用戶選擇以及其它注釋被發(fā)送到服務(wù)器系統(tǒng)(424)。前端服務(wù)器110接收所述選擇和注釋并且進(jìn)一步對(duì)它們進(jìn)行處理(426)。如果該信息為交互式結(jié)果文檔中的對(duì)象、子區(qū)域或詞語的選擇，則可以適當(dāng)?shù)卣?qǐng)求關(guān)于該選擇的進(jìn)一步信息。例如，如果選擇是一個(gè)視覺結(jié)果，則將會(huì)請(qǐng)求關(guān)于該視覺結(jié)果的更多信息。如果選擇是(來自ocr服務(wù)器或來自圖像至詞語服務(wù)器的)詞，則該詞的文本搜索將被發(fā)送到詞語查詢服務(wù)器系統(tǒng)118。如果選擇是來自面部圖像識(shí)別搜索系統(tǒng)的人，則將會(huì)請(qǐng)求該人的簡檔。如果選擇針對(duì)交互式搜索結(jié)果文檔的特定部分，則將會(huì)請(qǐng)求潛在的視覺查詢結(jié)果。

如果服務(wù)器系統(tǒng)接收到注釋，則該注釋被存儲(chǔ)在參考圖5所解釋的查詢和注釋數(shù)據(jù)庫116中。接著，如以下參考圖7-10所討論的，來自注釋數(shù)據(jù)庫116的信息被定期復(fù)制到用于一個(gè)或多個(gè)并行服務(wù)器系統(tǒng)的單獨(dú)注釋數(shù)據(jù)庫。

圖5是圖示依據(jù)本發(fā)明的一個(gè)實(shí)施例的客戶端系統(tǒng)102的框圖?？蛻舳讼到y(tǒng)102典型地包括一個(gè)或多個(gè)處理單元(cpu)702、一個(gè)或多個(gè)網(wǎng)絡(luò)或其它通信接口704、存儲(chǔ)器712，以及用于將這些組件進(jìn)行互連的一個(gè)或多個(gè)通信總線714?？蛻舳讼到y(tǒng)102包括用戶接口705。用戶接口705包括顯示設(shè)備706并且可選地包括諸如鍵盤、鼠標(biāo)或其它輸入按鈕的輸入裝置708?？商鎿Q地或除此之外，顯示設(shè)備706包括觸摸敏感表面709，在這種情況下，顯示器706/709是觸摸敏感顯示器。在具有觸摸敏感顯示器706/709的客戶端系統(tǒng)中，物理鍵盤是可選的(例如，可以在需要鍵盤輸入時(shí)顯示軟鍵盤)。此外，一些客戶端系統(tǒng)使用麥克風(fēng)和語音識(shí)別來補(bǔ)充或替換鍵盤?？蛇x地，客戶端102包括gps(全球定位衛(wèi)星)接收器，或者用于確定客戶端系統(tǒng)102的位置的其它位置檢測裝置707。在一些實(shí)施例中，客戶端102也包括以下的一個(gè)或多個(gè)：磁力計(jì)742、一個(gè)或多個(gè)加速度計(jì)744、或用于提供關(guān)于客戶端設(shè)備的位置信息的其他傳感器746。在一些實(shí)施例中，提供要求客戶端系統(tǒng)102提供視覺查詢服務(wù)器系統(tǒng)以接收指示客戶端系統(tǒng)102的位置的位置信息的視覺查詢搜索服務(wù)。

客戶端系統(tǒng)102還包括諸如相機(jī)或掃描儀的圖像捕捉設(shè)備710。存儲(chǔ)器712包括高速隨機(jī)存取存儲(chǔ)器，諸如dram、sram、ddrram或其它隨機(jī)存取固態(tài)存儲(chǔ)器設(shè)備；并且可以包括非易失性存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、光盤存儲(chǔ)設(shè)備、閃存設(shè)備或者其它非易失性固態(tài)存儲(chǔ)設(shè)備。存儲(chǔ)器712可以可選地包括與cpu702遠(yuǎn)程定位的一個(gè)或多個(gè)存儲(chǔ)設(shè)備。存儲(chǔ)器712或者可替換地存儲(chǔ)器712內(nèi)的非易失性存儲(chǔ)設(shè)備包括非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。在一些實(shí)施例中，存儲(chǔ)器712或者存儲(chǔ)器712的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)以下程序、模塊和數(shù)據(jù)結(jié)構(gòu)或者其子集：

·操作系統(tǒng)716，其包括用于處理各種基本系統(tǒng)服務(wù)以及用于執(zhí)行依賴于硬件的任務(wù)的程序；

·網(wǎng)絡(luò)通信模塊718，其用于將客戶端系統(tǒng)102經(jīng)由一個(gè)或多個(gè)通信網(wǎng)絡(luò)接口704(有線或無線)以及諸如互聯(lián)網(wǎng)、其它廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等的一個(gè)或多個(gè)通信網(wǎng)絡(luò)連接到其它計(jì)算機(jī)；

·圖像捕捉模塊720，其用于對(duì)圖像捕捉設(shè)備/相機(jī)710所捕捉的相應(yīng)圖像進(jìn)行處理，其中相應(yīng)圖像可以(例如，被客戶端應(yīng)用模塊)作為視覺查詢發(fā)送到視覺查詢服務(wù)器系統(tǒng)；

·一個(gè)或多個(gè)客戶端應(yīng)用模塊722，其用于處理通過圖像進(jìn)行查詢的各個(gè)方面，包括但并不局限于：用于向視覺查詢服務(wù)器系統(tǒng)提交視覺查詢的通過圖像進(jìn)行查詢的提交模塊724；可選地，檢測圖像中的感興趣區(qū)域的選擇(諸如觸摸敏感顯示器706/709上的手勢)并且將該感興趣區(qū)域準(zhǔn)備為視覺查詢的感興趣區(qū)域選擇模塊725；用于顯示視覺查詢的結(jié)果的結(jié)果瀏覽器726；以及可選地，具有用于諸如在表單中進(jìn)行填寫的結(jié)構(gòu)化注釋文本輸入730或者用于能夠接受各種格式的注釋的自由形式的注釋文本輸入732的可選模塊的注釋模塊728；以及允許用戶選擇圖像的特定子部分以便進(jìn)行注釋的圖像區(qū)域選擇模塊734(這里有時(shí)稱作結(jié)果選擇模塊)；

·可選的內(nèi)容編寫應(yīng)用736，其允許用戶通過創(chuàng)建或編輯圖像而不是僅經(jīng)由圖像捕捉設(shè)備710捕捉圖像來編寫視覺查詢；可選地，一個(gè)或多個(gè)這樣的應(yīng)用736可以包括使得用戶能夠選擇圖像的子部分以作為視覺查詢的指令；

·可選的本地圖像分析模塊738，其在將視覺查詢發(fā)送到視覺查詢服務(wù)器系統(tǒng)之前對(duì)其進(jìn)行預(yù)處理。本地圖像分析可以識(shí)別圖像的特定類型，或者圖像內(nèi)的子區(qū)域。可以被這樣的模塊738所識(shí)別的圖像類型的示例包括以下的一個(gè)或多個(gè)：面部類型(視覺查詢內(nèi)所識(shí)別的面部圖像)、條形碼類型(視覺查詢內(nèi)所識(shí)別的條形碼)和文本類型(視覺查詢內(nèi)所識(shí)別的文本)；以及

·附加的可選客戶端應(yīng)用740，諸如電子郵件應(yīng)用、電話應(yīng)用、瀏覽器應(yīng)用、地圖應(yīng)用、即時(shí)消息應(yīng)用、社交網(wǎng)絡(luò)應(yīng)用等。在一些實(shí)施例中，可以在選擇了可采取動(dòng)作的搜索結(jié)果時(shí)啟動(dòng)或訪問對(duì)應(yīng)于適當(dāng)可采取動(dòng)作的搜索結(jié)果的應(yīng)用。

可選地，允許用戶選擇圖像的特定子部分以便進(jìn)行注釋的圖像區(qū)域選擇模塊734還允許用戶選擇作為“正確”命中的搜索結(jié)果而并非必須對(duì)其進(jìn)行進(jìn)一步注釋。例如，用戶可以被呈現(xiàn)以最前面的n個(gè)面部識(shí)別匹配并且可以從該結(jié)果列表中選擇正確的人物。對(duì)于一些搜索查詢而言，將呈現(xiàn)多于一種類型的結(jié)果，并且用戶將選擇結(jié)果的類型。例如，圖像查詢可以包括站在樹旁的人，但是用戶僅對(duì)與人相關(guān)的結(jié)果感興趣。因此，圖像選擇模塊734允許用戶指示哪種類型的圖像是“正確的”類型—即其有興趣接收的類型。用戶還可能希望通過使用(用于在表單中填寫的)注釋文本輸入模塊730或者自由形式的注釋文本輸入模型732來添加個(gè)人評(píng)論或描述性詞以對(duì)搜索結(jié)果進(jìn)行注釋。

在一些實(shí)施例中，可選的本地圖像分析模塊738是客戶端應(yīng)用(圖1的108)的一部分。此外，在一些實(shí)施例中，可選的本地圖像分析模塊738包括一個(gè)或多個(gè)用來執(zhí)行本地圖像分析以對(duì)視覺查詢或其一部分進(jìn)行預(yù)處理或分類的程序。例如，客戶端應(yīng)用722可以在將視覺查詢提交至搜索引擎之前識(shí)別圖像包含條形碼、臉部或文本。在一些實(shí)施例中，當(dāng)本地圖像分析模塊738檢測到視覺查詢包含特定類型的圖像時(shí)，該模塊詢問用戶是否對(duì)相對(duì)應(yīng)類型的搜索結(jié)果感興趣。例如，本地圖像分析模塊738可以基于其一般特征來檢測臉部(即，沒有確定是哪個(gè)人的臉)并且在向視覺查詢服務(wù)器系統(tǒng)發(fā)送查詢之前向用戶提供立即反饋。其可以返回如“已經(jīng)檢測到臉部，你有興趣得到針對(duì)該臉部的面部識(shí)別匹配嗎？”的結(jié)果。這可以為視覺查詢服務(wù)器系統(tǒng)(圖1的106)節(jié)省時(shí)間。對(duì)于一些視覺查詢，前端視覺查詢處理服務(wù)器(圖1的110)僅向搜索系統(tǒng)112發(fā)送與本地圖像分析模塊738所識(shí)別的圖像類型相對(duì)應(yīng)的視覺查詢。在其它實(shí)施例中，針對(duì)搜索系統(tǒng)112的視覺查詢可以向所有搜索系統(tǒng)112a-n發(fā)送視覺查詢，但是將對(duì)來自搜索系統(tǒng)112的與本地圖像分析模塊738所識(shí)別的圖像類型相對(duì)應(yīng)的結(jié)果進(jìn)行排名。在一些實(shí)施例中，本地圖像分析對(duì)視覺查詢服務(wù)器系統(tǒng)的操作施加影響的方式取決于客戶端系統(tǒng)的配置或者與用戶或客戶端系統(tǒng)相關(guān)聯(lián)的配置或處理參數(shù)。此外，任意特定視覺查詢的實(shí)際內(nèi)容以及本地圖像分析所產(chǎn)生的結(jié)果可以使得在客戶端系統(tǒng)和視覺查詢服務(wù)器系統(tǒng)中任一個(gè)或其二者對(duì)不同視覺查詢進(jìn)行不同處理。

在一些實(shí)施例中，以兩個(gè)步驟來執(zhí)行條形碼識(shí)別，其中在客戶端系統(tǒng)上，在本地圖像分析模塊738執(zhí)行視覺查詢是否包括條形碼的分析。接著，視覺查詢僅在客戶端確定該視覺查詢可能包括條形碼的情況下才被送至條形碼搜索系統(tǒng)。在其它實(shí)施例中，條形碼搜索系統(tǒng)對(duì)每個(gè)視覺查詢進(jìn)行處理。

可選地，客戶端系統(tǒng)102包括附加客戶端應(yīng)用740。

圖6是圖示依據(jù)本發(fā)明一個(gè)實(shí)施例的前端視覺查詢處理服務(wù)器系統(tǒng)110的框圖。前端服務(wù)器110典型地包括一個(gè)或多個(gè)處理單元(cpu)802、一個(gè)或多個(gè)網(wǎng)絡(luò)或其它通信接口804、存儲(chǔ)器812，以及用于將這些組件進(jìn)行互連的一個(gè)或多個(gè)通信總線814。存儲(chǔ)器812包括高速隨機(jī)存取存儲(chǔ)器，諸如dram、sram、ddrram或其它隨機(jī)訪問固態(tài)存儲(chǔ)器設(shè)備；并且可以包括非易失性存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、光盤存儲(chǔ)設(shè)備、閃存設(shè)備或者其它非易失性固態(tài)存儲(chǔ)設(shè)備。存儲(chǔ)器812可以可選地包括與cpu802遠(yuǎn)程定位的一個(gè)或多個(gè)存儲(chǔ)設(shè)備。存儲(chǔ)器812或者可替換地存儲(chǔ)器812內(nèi)的非易失性存儲(chǔ)設(shè)備包括非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。在一些實(shí)施例中，存儲(chǔ)器812或者存儲(chǔ)器812的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)以下程序、模塊和數(shù)據(jù)結(jié)構(gòu)或者其子集：

·操作系統(tǒng)816，其包括用于處理各種基本系統(tǒng)服務(wù)以及用于執(zhí)行依賴于硬件的任務(wù)的程序；

·網(wǎng)絡(luò)通信模塊818，其用于將前端服務(wù)器系統(tǒng)110經(jīng)由一個(gè)或多個(gè)通信網(wǎng)絡(luò)接口804(有線或無線)以及諸如互聯(lián)網(wǎng)、其它廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等的一個(gè)或多個(gè)通信網(wǎng)絡(luò)連接到其它計(jì)算機(jī)；

·查詢管理器820，其用于處理來自客戶端系統(tǒng)102的進(jìn)入視覺查詢并且將它們發(fā)送到兩個(gè)或更多并行搜索系統(tǒng)；如本文其它地方所描述的，在一些特殊情況下，諸如在視覺查詢包括客戶端所生成的指令(例如，“僅面部識(shí)別搜索”)時(shí)，視覺查詢可以僅被指向一個(gè)搜索系統(tǒng)；

·結(jié)果過濾模塊822，其用于可選地對(duì)來自一個(gè)或多個(gè)并行搜索系統(tǒng)的結(jié)果進(jìn)行過濾并且將最前面或“相關(guān)”結(jié)果發(fā)送到客戶端系統(tǒng)102以供呈現(xiàn)；

·結(jié)果排名和格式化模塊824，其用于可選地對(duì)來自一個(gè)或多個(gè)并行搜索系統(tǒng)的結(jié)果進(jìn)行排名并且用于對(duì)結(jié)果進(jìn)行格式化以供呈現(xiàn)；

·結(jié)果文檔創(chuàng)建模塊826，其在適當(dāng)時(shí)被用來創(chuàng)建交互式搜索結(jié)果文檔；模塊826可以包括子模塊，包括但并不局限于邊界框創(chuàng)建模塊828和鏈接創(chuàng)建模塊830；

·標(biāo)簽創(chuàng)建模塊831，其用于創(chuàng)建作為視覺查詢的相應(yīng)子部分的視覺標(biāo)識(shí)符的標(biāo)簽；

·注釋模塊832，其用于接收來自用戶的注釋并且將它們發(fā)送到注釋數(shù)據(jù)庫116；

·可采取動(dòng)作的搜索結(jié)果模塊838，其用于響應(yīng)于視覺查詢而產(chǎn)生一個(gè)或多個(gè)可采取動(dòng)作的搜索結(jié)果元素，其中每個(gè)可采取動(dòng)作的搜索結(jié)果元素被配置為啟動(dòng)客戶端側(cè)動(dòng)作；可采取動(dòng)作的搜索結(jié)果元素的示例是用于發(fā)起電話呼叫、發(fā)起電子郵件消息、繪制地址地圖、進(jìn)行餐廳預(yù)訂以及提供購買產(chǎn)品的選項(xiàng)的按鈕；

·本地收錄選擇模塊840，其用于通過參考圖16a-19所解釋的各種方法對(duì)從基于位置的搜索系統(tǒng)112g(圖24)所返回的位置搜索結(jié)果進(jìn)行選擇和過濾；和

·查詢和注釋數(shù)據(jù)庫116，其包括數(shù)據(jù)庫本身834以及針對(duì)數(shù)據(jù)庫836的索引。

結(jié)果排名和格式化模塊824對(duì)從一個(gè)或多個(gè)并行搜索系統(tǒng)(112-a-112-n，圖1)所返回的結(jié)果進(jìn)行排名。如以上已經(jīng)指出的，對(duì)于一些視覺查詢而言，可能僅有來自一個(gè)搜索系統(tǒng)的結(jié)果是相關(guān)的。在這樣的實(shí)例中，僅對(duì)來自一個(gè)搜索系統(tǒng)的相關(guān)搜索結(jié)果進(jìn)行排名。對(duì)于一些視覺查詢而言，若干類型的搜索結(jié)果可能是相關(guān)的。在這些實(shí)例中，在一些實(shí)施例中，結(jié)果排名和格式化模塊824對(duì)來自具有最相關(guān)結(jié)果(例如，具有最高相關(guān)分值的結(jié)果)的搜索系統(tǒng)的所有結(jié)果排名為高于較不相關(guān)搜索系統(tǒng)的結(jié)果。在其它實(shí)施例中，結(jié)果排名和格式化模塊824對(duì)來自每個(gè)相關(guān)搜索系統(tǒng)的頂部結(jié)果排名為高于其余結(jié)果。在一些實(shí)施例中，結(jié)果排名和格式化模塊824依據(jù)對(duì)每個(gè)搜索結(jié)果所結(jié)算的相關(guān)分值對(duì)結(jié)果進(jìn)行排名。對(duì)于一些視覺查詢，除了并行視覺搜索系統(tǒng)上的搜索之外，還執(zhí)行擴(kuò)增的文本查詢。在一些實(shí)施例中，當(dāng)還執(zhí)行文本查詢時(shí)，以與視覺查詢系統(tǒng)結(jié)果在視覺上有所不同的方式來呈現(xiàn)它們的結(jié)果。

結(jié)果排名和格式化模塊824還對(duì)結(jié)果進(jìn)行格式化。在一些實(shí)施例中，結(jié)果以列表格式呈現(xiàn)。在一些實(shí)施例中，結(jié)果利用交互式結(jié)果文檔來呈現(xiàn)。在一些實(shí)施例中，交互式結(jié)果文檔和結(jié)果列表都被呈現(xiàn)。在一些實(shí)施例中，查詢的類型規(guī)定了如何呈現(xiàn)結(jié)果。例如，如果在視覺查詢中檢測到多于一個(gè)的可搜索主題，則產(chǎn)生交互式結(jié)果文檔，而如果僅檢測到一個(gè)可搜索主題，則將僅以列表格式來顯示結(jié)果。

結(jié)果文檔創(chuàng)建模塊826被用來創(chuàng)建交互式搜索結(jié)果文檔。交互式搜索結(jié)果文檔可以具有一個(gè)或多個(gè)所檢測和搜索的主題。邊界框創(chuàng)建模塊828創(chuàng)建圍繞一個(gè)或多個(gè)搜索主題的邊界框。邊界框可以是矩形框，或者可以包圍主題的形狀。鏈接創(chuàng)建模塊830創(chuàng)建到與其在交互式搜索結(jié)果文檔中的相應(yīng)主題相關(guān)聯(lián)的搜索結(jié)果的鏈接。在一些實(shí)施例中，邊界框內(nèi)的點(diǎn)擊激活鏈接創(chuàng)建模塊所插入的相對(duì)應(yīng)鏈接。

查詢和注釋數(shù)據(jù)庫116包含能夠被用來改進(jìn)視覺查詢結(jié)果的信息。在一些實(shí)施例中，用戶可以在已經(jīng)呈現(xiàn)了視覺查詢結(jié)果之后對(duì)圖像進(jìn)行注釋。此外，在一些實(shí)施例中用戶可以在將圖像發(fā)送到視覺查詢搜索系統(tǒng)之前對(duì)其進(jìn)行注釋。預(yù)先注釋可以通過對(duì)結(jié)果進(jìn)行聚焦(focusing)或者與視覺查詢搜索并行地對(duì)所注釋的詞運(yùn)行基于文本的搜索來對(duì)視覺查詢處理提供幫助。在一些實(shí)施例中，可以使得經(jīng)注釋的圖片版本公開(例如，在用戶已經(jīng)例如通過將圖像和注釋指定為非私有而允許公開時(shí))，以使得其作為潛在的圖像匹配命中而返回。例如，如果用戶拍攝了花的照片并且通過給出與該花相關(guān)的詳細(xì)種屬信息對(duì)圖像進(jìn)行了注釋，則用戶可能想要將該圖像呈現(xiàn)給執(zhí)行尋找該花的視覺查詢搜索的任何人。在一些實(shí)施例中，來自查詢和注釋數(shù)據(jù)庫116的信息被定期推送到并行搜索系統(tǒng)112，其將信息的相關(guān)部分(如果有)合并到其相應(yīng)的單獨(dú)數(shù)據(jù)庫114中。

圖7是圖示被用來處理視覺查詢的并行搜索系統(tǒng)之一的框圖。圖7圖示了依據(jù)本發(fā)明一個(gè)實(shí)施例的“一般”服務(wù)器系統(tǒng)112-n。該服務(wù)器系統(tǒng)的一般性僅在于其表示視覺查詢搜索服務(wù)器112-n中的任意一個(gè)。一般服務(wù)器系統(tǒng)112-n典型地包括一個(gè)或多個(gè)處理單元(cpu)502、一個(gè)或多個(gè)網(wǎng)絡(luò)或其它通信接口504、存儲(chǔ)器512，以及用于將這些組件進(jìn)行互連的一個(gè)或多個(gè)通信總線514。存儲(chǔ)器512包括高速隨機(jī)存取存儲(chǔ)器，諸如dram、sram、ddrram或其它隨機(jī)存取固態(tài)存儲(chǔ)器設(shè)備；并且可以包括非易失性存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、光盤存儲(chǔ)設(shè)備、閃存設(shè)備或者其它非易失性固態(tài)存儲(chǔ)設(shè)備。存儲(chǔ)器512可以可選地包括與cpu502遠(yuǎn)程定位的一個(gè)或多個(gè)存儲(chǔ)設(shè)備。存儲(chǔ)器512或者可替換地存儲(chǔ)器512內(nèi)的非易失性存儲(chǔ)設(shè)備包括非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。在一些實(shí)施例中，存儲(chǔ)器512或者存儲(chǔ)器512的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)以下程序、模塊和數(shù)據(jù)結(jié)構(gòu)或者其子集：

·操作系統(tǒng)516，其包括用于處理各種基本系統(tǒng)服務(wù)以及用于執(zhí)行依賴于硬件的任務(wù)的程序；

·網(wǎng)絡(luò)通信模塊518，其用于將一般服務(wù)器系統(tǒng)112-n經(jīng)由一個(gè)或多個(gè)通信網(wǎng)絡(luò)接口504(有線或無線)以及諸如互聯(lián)網(wǎng)、其它廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等的一個(gè)或多個(gè)通信網(wǎng)絡(luò)連接到其它計(jì)算機(jī)；

·特定于特定服務(wù)器系統(tǒng)的搜索應(yīng)用520，其例如可以是條形碼搜索應(yīng)用、顏色識(shí)別搜索應(yīng)用、產(chǎn)品識(shí)別搜索應(yīng)用、對(duì)象或?qū)ο箢悇e搜索應(yīng)用等；

·可選的索引522，如果特定搜索應(yīng)用采用索引；

·可選的圖像數(shù)據(jù)庫524，其用于存儲(chǔ)與特定搜索應(yīng)用相關(guān)的圖像，其中如果有，則所存儲(chǔ)的圖像數(shù)據(jù)取決于搜索過程類型；

·可選的結(jié)果排名模塊526(有時(shí)被稱作相關(guān)性評(píng)分模塊)，其用于對(duì)來自搜索應(yīng)用的結(jié)果進(jìn)行排名，排名模塊可以對(duì)來自搜索應(yīng)用的每個(gè)結(jié)果分配相關(guān)性分值，并且如果沒有結(jié)果達(dá)到預(yù)定的最低分值，則可以向前端視覺查詢處理服務(wù)器返回指示來自該服務(wù)器系統(tǒng)的結(jié)果不相關(guān)的空或零值分值；和

·注釋模塊528，其用于從注釋數(shù)據(jù)庫(圖1的116)接收確定任意注釋信息是否與特定搜索應(yīng)用相關(guān)的注釋信息，并且將任意所確定的注釋信息相關(guān)部分合并到相應(yīng)注釋數(shù)據(jù)庫530中。

圖8是圖示依據(jù)本發(fā)明一個(gè)實(shí)施例的用來處理視覺查詢的ocr搜索系統(tǒng)112-b的框圖。ocr搜索系統(tǒng)112-b典型地包括一個(gè)或多個(gè)處理單元(cpu)602、一個(gè)或多個(gè)網(wǎng)絡(luò)或其它通信接口604、存儲(chǔ)器612，以及用于將這些組件進(jìn)行互連的一個(gè)或多個(gè)通信總線614。存儲(chǔ)器612包括高速隨機(jī)存取存儲(chǔ)器，諸如dram、sram、ddrram或其它隨機(jī)存取固態(tài)存儲(chǔ)器設(shè)備；并且可以包括非易失性存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、光盤存儲(chǔ)設(shè)備、閃存設(shè)備或者其它非易失性固態(tài)存儲(chǔ)設(shè)備。存儲(chǔ)器612可以可選地包括與cpu602遠(yuǎn)程定位的一個(gè)或多個(gè)存儲(chǔ)設(shè)備。存儲(chǔ)器612或者可替換地存儲(chǔ)器612內(nèi)的非易失性存儲(chǔ)設(shè)備包括非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。在一些實(shí)施例中，存儲(chǔ)器612或者存儲(chǔ)器612的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)以下程序、模塊和數(shù)據(jù)結(jié)構(gòu)或者其子集：

·操作系統(tǒng)616，其包括用于處理各種基本系統(tǒng)服務(wù)以及用于執(zhí)行依賴于硬件的任務(wù)的程序；

·網(wǎng)絡(luò)通信模塊618，其用于將ocr搜索系統(tǒng)112-b經(jīng)由一個(gè)或多個(gè)通信網(wǎng)絡(luò)接口604(有線或無線)以及諸如互聯(lián)網(wǎng)、其它廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等的一個(gè)或多個(gè)通信網(wǎng)絡(luò)連接到其它計(jì)算機(jī)；

·光學(xué)字符識(shí)別(ocr)模塊620，其試圖識(shí)別視覺查詢中的文本，并且將字母圖像轉(zhuǎn)換為字符；

·可選的ocr數(shù)據(jù)庫114-b，其被ocr模塊620用來識(shí)別特定字體、文本圖案以及對(duì)于字母識(shí)別唯一的其它特征；

·可選的拼寫檢查模塊622，其通過針對(duì)字典檢查所轉(zhuǎn)換的詞并且替換另外匹配了字典單詞的詞中潛在錯(cuò)誤轉(zhuǎn)換的字母來改善字母圖像到字符的轉(zhuǎn)換；

·可選的命名實(shí)體識(shí)別模塊624，其搜索轉(zhuǎn)換文本內(nèi)的命名實(shí)體，將所識(shí)別的命名實(shí)體作為詞語查詢中的詞語發(fā)送到詞語查詢服務(wù)器系統(tǒng)(圖1的118)，并且將來自詞語查詢服務(wù)器系統(tǒng)的結(jié)果作為嵌入與所識(shí)別命名實(shí)體相關(guān)聯(lián)的ocr化文本中的鏈接進(jìn)行提供；

·可選的文本匹配應(yīng)用632，其通過針對(duì)文本分段的數(shù)據(jù)庫檢查所轉(zhuǎn)換分段(諸如所轉(zhuǎn)換的句子和段落)并且替換另外匹配了文本匹配應(yīng)用文本分段的ocr化文本分段中潛在錯(cuò)誤轉(zhuǎn)換的字母來改善字母圖像到字符的轉(zhuǎn)換，在一些實(shí)施例中，文本匹配應(yīng)用所找到的文本分段作為鏈接提供給用戶(例如，如果用戶掃描了紐約時(shí)報(bào)的一頁，則文本匹配應(yīng)用可以提供到紐約時(shí)報(bào)網(wǎng)站上整篇刊登文章的鏈接)；

·結(jié)果排序和格式化模塊626，其用于對(duì)ocr化結(jié)果進(jìn)行格式化以供呈現(xiàn)并且將可選鏈接格式化為命名實(shí)體，并且還可選地對(duì)來自文本匹配應(yīng)用的任意相關(guān)結(jié)果進(jìn)行排名；和

·可選的注釋模塊628，其用于從注釋數(shù)據(jù)庫(圖1的116)接收確定任意注釋信息是否與ocr搜索系統(tǒng)相關(guān)的注釋信息，并且將任意所確定的注釋信息相關(guān)部分合并到相應(yīng)注釋數(shù)據(jù)庫630中。

圖9是圖示依據(jù)本發(fā)明一個(gè)實(shí)施例的用來處理視覺查詢的面部識(shí)別搜索系統(tǒng)112-a的框圖。面部識(shí)別搜索系統(tǒng)112-a典型地包括一個(gè)或多個(gè)處理單元(cpu)902、一個(gè)或多個(gè)網(wǎng)絡(luò)或其它通信接口904、存儲(chǔ)器912，以及用于將這些組件進(jìn)行互連的一個(gè)或多個(gè)通信總線914。存儲(chǔ)器912包括高速隨機(jī)存取存儲(chǔ)器，諸如dram、sram、ddrram或其它隨機(jī)存取固態(tài)存儲(chǔ)器設(shè)備；并且可以包括非易失性存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、光盤存儲(chǔ)設(shè)備、閃存設(shè)備或者其它非易失性固態(tài)存儲(chǔ)設(shè)備。存儲(chǔ)器912可以可選地包括與cpu902遠(yuǎn)程定位的一個(gè)或多個(gè)存儲(chǔ)設(shè)備。存儲(chǔ)器912或者可替換地存儲(chǔ)器912內(nèi)的非易失性存儲(chǔ)設(shè)備包括非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。在一些實(shí)施例中，存儲(chǔ)器912或者存儲(chǔ)器912的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)以下程序、模塊和數(shù)據(jù)結(jié)構(gòu)或者其子集：

·操作系統(tǒng)916，其包括用于處理各種基本系統(tǒng)服務(wù)以及用于執(zhí)行依賴于硬件的任務(wù)的程序；

·網(wǎng)絡(luò)通信模塊918，其用于將面部識(shí)別搜索系統(tǒng)112-a經(jīng)由一個(gè)或多個(gè)通信網(wǎng)絡(luò)接口904(有線或無線)以及諸如互聯(lián)網(wǎng)、其它廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等的一個(gè)或多個(gè)通信網(wǎng)絡(luò)連接到其它計(jì)算機(jī)；

·面部識(shí)別搜索應(yīng)用920，其用于搜索在面部圖像數(shù)據(jù)庫114-a中與視覺查詢中所出現(xiàn)的臉部相匹配的面部圖像，并且針對(duì)與面部圖像數(shù)據(jù)庫114-a中所找到的每個(gè)匹配相關(guān)的信息搜索社交網(wǎng)絡(luò)數(shù)據(jù)庫922；

·面部圖像數(shù)據(jù)庫114-a，其用于存儲(chǔ)多個(gè)用戶的一個(gè)或多個(gè)面部圖像；可選地，面部圖像數(shù)據(jù)庫包括用戶之外的人的面部圖像，諸如家庭成員或用戶所認(rèn)識(shí)并且已經(jīng)被識(shí)別為出現(xiàn)在面部圖像數(shù)據(jù)庫114-a中所包括的圖像中的其他人；可選地，面部圖像數(shù)據(jù)庫包括從諸如在公眾領(lǐng)域合法的面部圖像提供商的外部源獲得的面部圖像；

·可選地，社交網(wǎng)絡(luò)數(shù)據(jù)庫922，如參考圖12a更為詳細(xì)討論的，其包含與社交網(wǎng)絡(luò)用戶相關(guān)的信息，諸如姓名、地址、職業(yè)、組成員資格、社交網(wǎng)絡(luò)連接、移動(dòng)設(shè)備的當(dāng)前gps位置、分享偏好、興趣、年齡、籍貫、個(gè)人統(tǒng)計(jì)、工作信息等；

·結(jié)果排名和格式化模塊924，其用于對(duì)來自面部圖像數(shù)據(jù)庫114-a的潛在面部匹配進(jìn)行排名(例如，對(duì)其分配相關(guān)性和/或匹配質(zhì)量分值)并且對(duì)結(jié)果進(jìn)行格式化以供呈現(xiàn)；在一些實(shí)施例中，結(jié)果的排名或評(píng)分采用從以上提到的社交網(wǎng)絡(luò)數(shù)據(jù)庫所獲取的相關(guān)信息；在一些實(shí)施例中，經(jīng)格式化的搜索結(jié)果包括潛在的圖像匹配以及來自社交網(wǎng)絡(luò)數(shù)據(jù)庫的信息的子集；和

·注釋模塊926，其用于從注釋數(shù)據(jù)庫(圖1的116)接收確定任意注釋信息是否與面部識(shí)別搜索系統(tǒng)相關(guān)的注釋信息，并且將任意所確定的注釋信息相關(guān)部分合并到相應(yīng)注釋數(shù)據(jù)庫928中。

圖10是圖示依據(jù)本發(fā)明一個(gè)實(shí)施例的用來處理視覺查詢的圖像至詞語搜索系統(tǒng)112-c的框圖。在一些實(shí)施例中，圖像至詞語搜索系統(tǒng)識(shí)別視覺查詢中的對(duì)象(實(shí)例識(shí)別)。在其它實(shí)施例中，圖像至詞語搜索系統(tǒng)識(shí)別視覺查詢中的對(duì)象類別(類型識(shí)別)。在一些實(shí)施例中，圖像至詞語搜索系統(tǒng)識(shí)別對(duì)象和對(duì)象類別。圖像至詞語搜索系統(tǒng)返回針對(duì)視覺查詢中的圖像的潛在詞語匹配。圖像至詞語搜索系統(tǒng)112-c典型地包括一個(gè)或多個(gè)處理單元(cpu)1002、一個(gè)或多個(gè)網(wǎng)絡(luò)或其它通信接口1004、存儲(chǔ)器1012，以及用于將這些組件進(jìn)行互連的一個(gè)或多個(gè)通信總線1014。存儲(chǔ)器1012包括高速隨機(jī)存取存儲(chǔ)器，諸如dram、sram、ddrram或其它隨機(jī)存取固態(tài)存儲(chǔ)器設(shè)備；并且可以包括非易失性存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、光盤存儲(chǔ)設(shè)備、閃存設(shè)備或者其它非易失性固態(tài)存儲(chǔ)設(shè)備。存儲(chǔ)器1012可以可選地包括與cpu1002遠(yuǎn)程定位的一個(gè)或多個(gè)存儲(chǔ)設(shè)備。存儲(chǔ)器1012或者可替換地存儲(chǔ)器1012內(nèi)的非易失性存儲(chǔ)設(shè)備包括非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。在一些實(shí)施例中，存儲(chǔ)器1012或者存儲(chǔ)器1012的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)以下程序、模塊和數(shù)據(jù)結(jié)構(gòu)或者其子集：

·操作系統(tǒng)1016，其包括用于處理各種基本系統(tǒng)服務(wù)以及用于執(zhí)行依賴于硬件的任務(wù)的程序；

·網(wǎng)絡(luò)通信模塊1018，其用于將圖像至詞語搜索系統(tǒng)112-c經(jīng)由一個(gè)或多個(gè)通信網(wǎng)絡(luò)接口1004(有線或無線)以及諸如互聯(lián)網(wǎng)、其它廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等的一個(gè)或多個(gè)通信網(wǎng)絡(luò)連接到其它計(jì)算機(jī)；

·圖像至詞語搜索應(yīng)用1020，其在圖像搜索數(shù)據(jù)庫114-c中搜索與視覺查詢中的一個(gè)或多個(gè)主題相匹配的圖像；

·圖像搜索數(shù)據(jù)庫114-c，其能夠被搜索應(yīng)用1020所搜索以找出類似于視覺查詢的主題的圖像；

·詞語至圖像反向索引1022，其存儲(chǔ)用戶在使用基于文本的查詢搜索引擎1006搜索圖像時(shí)所使用的文本詞語；

·結(jié)果排名和格式化模塊1024，其用于對(duì)潛在圖像匹配進(jìn)行排名和/或?qū)υ~語至圖像反向索引1022中所標(biāo)識(shí)的與潛在圖像匹配相關(guān)聯(lián)的詞語進(jìn)行排名；和

·注釋模塊1026，其用于從注釋數(shù)據(jù)庫(圖1的116)接收確定任意注釋信息是否與圖像至詞語搜索系統(tǒng)112-c相關(guān)的注釋信息，并且將任意所確定的注釋信息相關(guān)部分合并到相應(yīng)注釋數(shù)據(jù)庫1028中。

圖5-10更多地是意在作為可以在計(jì)算機(jī)系統(tǒng)的集合中給出的各種特征的功能描述而不是作為這里所描述的實(shí)施例的結(jié)構(gòu)示意。實(shí)際上，并且如本領(lǐng)域技術(shù)人員所認(rèn)識(shí)到的，單獨(dú)示出的項(xiàng)目可以進(jìn)行組合并且一些項(xiàng)目可以被分離。例如，在這些附圖中單獨(dú)示出的一些項(xiàng)目可以在單個(gè)服務(wù)器上實(shí)現(xiàn)并且單個(gè)項(xiàng)目可以由一個(gè)或多個(gè)服務(wù)器實(shí)現(xiàn)。用來實(shí)施視覺查詢處理的系統(tǒng)的實(shí)際數(shù)量以及特征如何在它們之間進(jìn)行分配可以隨實(shí)施方式而變化。

這里所描述的每種方法可以由存儲(chǔ)在非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中并且由一個(gè)或多個(gè)服務(wù)器或客戶端的一個(gè)或多個(gè)處理器所執(zhí)行的指令進(jìn)行管理。以上所標(biāo)識(shí)的模塊或程序(即，指令集合)無需作為單獨(dú)的軟件程序、過程或模塊來實(shí)現(xiàn)，并且這些模塊的各個(gè)子集可以在各個(gè)實(shí)施例中組合或以另外的方式重新安排。圖5-10中所示出的每個(gè)操作可以對(duì)應(yīng)于存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器或非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的指令。

圖11圖示了具有示例性視覺查詢1102的截屏的客戶端系統(tǒng)102。圖11所示的客戶端系統(tǒng)102是諸如蜂窩電話、便攜式音樂播放器或便攜式電子郵件設(shè)備的移動(dòng)設(shè)備?？蛻舳讼到y(tǒng)102包括顯示器706以及諸如該圖中所示出的按鈕的一個(gè)或多個(gè)輸入裝置708。在一些實(shí)施例中，顯示器706是觸摸敏感顯示器709。在具有觸摸敏感顯示器709的實(shí)施例中，顯示在顯示器709上的軟按鈕可以可選地替換一些或所有電子機(jī)械按鈕708。如以下更為詳細(xì)解釋的，觸摸敏感顯示器還有助于同視覺查詢結(jié)果進(jìn)行交互?？蛻舳讼到y(tǒng)102還包括諸如相機(jī)710的圖像捕捉機(jī)制。

圖11圖示了作為店鋪貨架上的包裝的照片或視頻幀的視覺查詢1102。在這里所描述的實(shí)施例中，視覺查詢是二維圖像，其具有與兩個(gè)維度中的每一個(gè)中的像素的視覺查詢大小相對(duì)應(yīng)的分辨率。在該示例中，視覺查詢1102是三維對(duì)象的二維圖像。視覺查詢1102包括背景元素、產(chǎn)品包裝1104以及包裝上各種類型的實(shí)體，包括人物圖像1106、商標(biāo)圖像1108、產(chǎn)品圖像1110以及各種文本元素1112。

如參考圖3所解釋的，視覺查詢1102被發(fā)送到前端服務(wù)器110，其將視覺查詢1102發(fā)送到多個(gè)并行搜索系統(tǒng)(112a-n)，接收結(jié)果并創(chuàng)建交互式結(jié)果文檔。

圖12a和12b均圖示了具有交互式結(jié)果文檔1200的實(shí)施例的截屏的客戶端系統(tǒng)102。交互式結(jié)果文檔1200包括視覺查詢1102的相應(yīng)子部分的一個(gè)或多個(gè)視覺標(biāo)識(shí)符1202，其均包括到搜索結(jié)果子集的用戶可選擇鏈接。圖12a和12b圖示了具有視覺標(biāo)識(shí)符的交互式結(jié)果文檔1200，所述視覺標(biāo)識(shí)符是分界框1202(例如，分界框1202-1、1202-2、1202-3)。在圖12a和12b所示的實(shí)施例中，用戶通過在其分界框1202所包圍的空間內(nèi)的激活區(qū)域上進(jìn)行敲擊來激活對(duì)應(yīng)于特定子部分的搜索結(jié)果的顯示。例如，用戶將通過在圍繞人物圖像的分界框1306(圖13)上進(jìn)行敲擊來激活與人物圖像相對(duì)應(yīng)的搜索結(jié)果。在其它實(shí)施例中，使用鼠標(biāo)或鍵盤而不是觸摸敏感顯示器來選擇可選擇鏈接。在一些實(shí)施例中，在用戶預(yù)覽分界框1202時(shí)(即，在用戶在分界框上進(jìn)行單擊、一次敲擊或懸停指示符時(shí))顯示第一對(duì)應(yīng)搜索結(jié)果。用戶在其選擇邊界框時(shí)(即，當(dāng)用戶進(jìn)行雙擊、兩次敲擊或者使用其它機(jī)制來指示選擇時(shí))激活多個(gè)對(duì)應(yīng)搜索結(jié)果的顯示。

在圖12a和12b中，視覺標(biāo)識(shí)符是圍繞視覺查詢的子部分的分界框1202。圖12a圖示了為正方形或矩形的分界框。圖12b圖示了包圍視覺查詢的子部分中的可識(shí)別實(shí)體的邊界的分界框1202，諸如用于飲料瓶的分界框1202-3。在一些實(shí)施例中，相應(yīng)分界框1202在其內(nèi)部包括較小的分界框1202。例如，在圖12a和12b中，標(biāo)識(shí)包裝的分界框1202-1圍繞著標(biāo)識(shí)商標(biāo)的分界框1202-2以及所有其它分界框1202。在包括文本的一些實(shí)施例中，還包括一些文本詞語的活躍熱鏈接1204。圖12b示出了其中“activedrink”和“unitedstates”被顯示為熱鏈接1204的示例。對(duì)應(yīng)于這些詞語的搜索結(jié)果是從詞語查詢服務(wù)器系統(tǒng)118所接收的結(jié)果，而對(duì)應(yīng)于分界框的結(jié)果則是來自通過圖像進(jìn)行查詢的搜索系統(tǒng)的結(jié)果。

圖13圖示了具有交互式結(jié)果文檔1200的截屏的客戶端系統(tǒng)102，所述交互式結(jié)果文檔1200通過視覺查詢中所識(shí)別的實(shí)體類型進(jìn)行編碼。圖11的視覺查詢包含人物圖像1106、商標(biāo)圖像1108、產(chǎn)品圖像1110以及各種文本元素1112。這樣，圖13中所顯示的交互式結(jié)果文檔1200包括圍繞人物1306、商標(biāo)1308、產(chǎn)品1310以及兩個(gè)文本區(qū)域1312的分界框1202。圖13的分界框均利用表示不同著色的透明分界框1202的單獨(dú)交叉陰影來呈現(xiàn)。在一些實(shí)施例中，分界框的視覺標(biāo)識(shí)符(和/或交互式結(jié)果文檔1200中的標(biāo)簽或其它視覺標(biāo)識(shí)符)被格式化以便以諸如覆蓋顏色、覆蓋圖案、標(biāo)簽背景顏色、標(biāo)簽背景圖案、標(biāo)簽字體顏色和分界框邊界顏色的視覺上不同的方式進(jìn)行呈現(xiàn)。用于特定識(shí)別實(shí)體的類型編碼參考圖13中的分界框示出，但是通過類型進(jìn)行的編碼也被應(yīng)用于作為標(biāo)簽的視覺標(biāo)識(shí)符。

圖14圖示了具有交互式結(jié)果文檔1200的截屏的客戶端系統(tǒng)102，所述交互式結(jié)果文檔1200具有作為圖11的視覺查詢1102的相應(yīng)子部分的視覺標(biāo)識(shí)符的標(biāo)簽1402。標(biāo)簽視覺標(biāo)識(shí)符1402均包括到相對(duì)應(yīng)搜索結(jié)果的子集的用戶可選擇鏈接。在一些實(shí)施例中，可選擇鏈接由標(biāo)簽1402區(qū)域內(nèi)所顯示的描述文本所標(biāo)識(shí)。一些實(shí)施例包括一個(gè)標(biāo)簽1402內(nèi)的多個(gè)鏈接。例如，在圖14中，懸停在喝水女士圖像上方的標(biāo)簽包括到針對(duì)該女士的面部識(shí)別結(jié)果的鏈接以及到針對(duì)該特定圖片(例如，其它產(chǎn)品的圖像或者使用相同圖片的廣告)的圖像識(shí)別結(jié)果的鏈接。

在圖14中，標(biāo)簽1402被顯示為部分透明區(qū)域，其具有位于交互式結(jié)果文檔的其相應(yīng)子部分上的文本。在其它實(shí)施例中，相應(yīng)標(biāo)簽位于交互式結(jié)果文檔的其相應(yīng)子部分附近而并非位于其上。在一些實(shí)施例中，標(biāo)簽以與參考圖13所討論的相同方式通過類型進(jìn)行編碼。在一些實(shí)施例中，用戶通過在被標(biāo)簽1302的邊緣或外圍所包圍的空間內(nèi)的激活區(qū)域上進(jìn)行敲擊來激活與對(duì)應(yīng)于標(biāo)簽1302的特定子部分相對(duì)應(yīng)的搜索結(jié)果的顯示。以上參考圖12a和12b的分界框所討論的相同預(yù)覽和選擇功能也適用于作為標(biāo)簽1402的視覺標(biāo)識(shí)符。

圖15圖示了與結(jié)果列表1500同時(shí)顯示的原始視覺查詢1102和交互式結(jié)果文檔1200的截屏。在一些實(shí)施例中，交互式結(jié)果文檔1200如圖12-14所示的自己進(jìn)行顯示。在其它實(shí)施例中，如圖15所示，交互式結(jié)果文檔1200與原始視覺查詢同時(shí)顯示。在一些實(shí)施例中，視覺查詢結(jié)果的列表1500連同原始視覺查詢1102和/或交互式結(jié)果文檔1200一起同時(shí)進(jìn)行顯示?？蛻舳讼到y(tǒng)的類型以及顯示器706上的空間量可以確定是否與交互式結(jié)果文檔1200同時(shí)顯示結(jié)果列表1500。在一些實(shí)施例中，客戶端系統(tǒng)102(響應(yīng)于提交給視覺查詢服務(wù)器系統(tǒng)的視覺查詢)接收結(jié)果列表1500和交互式結(jié)果文檔1200，但是僅在用戶向下滾動(dòng)交互式結(jié)果文檔1200時(shí)才顯示結(jié)果列表1500。在這些實(shí)施例中的一些中，客戶端系統(tǒng)102顯示與用戶所選擇的視覺標(biāo)識(shí)符1202/1402相對(duì)應(yīng)的結(jié)果而無需再次對(duì)服務(wù)器進(jìn)行查詢，這是因?yàn)榭蛻舳讼到y(tǒng)102響應(yīng)于視覺查詢接收了結(jié)果列表1500并且隨后將其本地存儲(chǔ)在客戶端系統(tǒng)102。

在一些實(shí)施例中，結(jié)果列表1500被組織為類別1502。每個(gè)類別包含至少一個(gè)結(jié)果1503。在一些實(shí)施例中，類別標(biāo)題被高亮以便將它們與結(jié)果1503進(jìn)行區(qū)分。類別1502根據(jù)其經(jīng)計(jì)算的類別權(quán)重進(jìn)行排序。在一些實(shí)施例中，類別權(quán)重是該類別中最高的n個(gè)結(jié)果的權(quán)重組合。這樣，具有可能產(chǎn)生最為相關(guān)的結(jié)果的類別被首先顯示。在針對(duì)相同的識(shí)別實(shí)體返回了多于一個(gè)的類別1502(諸如圖15中所示的面部圖像識(shí)別匹配和圖像匹配)的實(shí)施例中，首先顯示的類別具有較高的類別權(quán)重。

如參考圖3所解釋的，在一些實(shí)施例中，當(dāng)客戶端系統(tǒng)102的用戶選擇了交互式結(jié)果文檔1200中的可選擇鏈接時(shí)，光標(biāo)將自動(dòng)移動(dòng)到適當(dāng)類別1502或該類別中的第一結(jié)果1503。可替換地，當(dāng)交互式結(jié)果文檔中的可選擇鏈接被客戶端系統(tǒng)102的用戶所選擇時(shí)，結(jié)果列表1500被重新排序以使得與所選擇鏈接相關(guān)的一個(gè)或多個(gè)類別被首先顯示。例如，這是通過利用標(biāo)識(shí)相對(duì)應(yīng)搜索結(jié)果的信息對(duì)可選擇鏈接進(jìn)行編碼或者通過對(duì)搜索結(jié)果進(jìn)行編碼以指示相對(duì)應(yīng)的可選擇鏈接或指示相對(duì)應(yīng)的結(jié)果類別來實(shí)現(xiàn)的。

在一些實(shí)施例中，搜索結(jié)果的類別對(duì)應(yīng)于產(chǎn)生那些搜索結(jié)果的通過圖像進(jìn)行查詢的搜索系統(tǒng)。例如，在圖15中，一些類別是產(chǎn)品匹配1506、標(biāo)志匹配1508、面部識(shí)別匹配1510、圖像匹配1512。原始視覺查詢1102和/或交互式結(jié)果文檔1200可以與諸如查詢1504的類別標(biāo)題類似地進(jìn)行顯示。類似地，來自詞語查詢服務(wù)器所執(zhí)行的任意詞語搜索的結(jié)果也可以被顯示為單獨(dú)類別，諸如web結(jié)果1514。在其它實(shí)施例中，視覺查詢中多于一個(gè)的實(shí)體將產(chǎn)生來自相同的通過圖像進(jìn)行查詢的搜索系統(tǒng)的結(jié)果。例如，視覺查詢可以包括兩個(gè)不同臉部，它們將從面部識(shí)別搜索系統(tǒng)返回單獨(dú)的結(jié)果。這樣，在一些實(shí)施例中，類別1502通過所識(shí)別實(shí)體而不是通過搜索系統(tǒng)進(jìn)行劃分。在一些實(shí)施例中，所識(shí)別實(shí)體的圖像被顯示在所識(shí)別實(shí)體的類別首部1502中，以使得該所識(shí)別實(shí)體的結(jié)果能夠與另一個(gè)所識(shí)別實(shí)體的結(jié)果區(qū)分開來，即使兩個(gè)結(jié)果是由圖像搜索系統(tǒng)所進(jìn)行的相同查詢所產(chǎn)生。例如，在圖15中，產(chǎn)品匹配類別1506包括兩個(gè)實(shí)體產(chǎn)品實(shí)體并且由此作為兩個(gè)實(shí)體類別1502—盒裝產(chǎn)品1516和瓶裝產(chǎn)品1518，它們中的每一個(gè)具有多個(gè)相應(yīng)搜索結(jié)果1503。在一些實(shí)施例中，類別可以通過所識(shí)別實(shí)體以及通過圖像進(jìn)行查詢的系統(tǒng)的類型進(jìn)行劃分。例如，在圖15中，存在兩個(gè)單獨(dú)實(shí)體，它們?cè)诋a(chǎn)品匹配類別產(chǎn)品下返回了相關(guān)結(jié)果。

在一些實(shí)施例中，結(jié)果1503包括縮略圖。例如，如對(duì)于圖15中的面部識(shí)別匹配結(jié)果所示出的，連同諸如圖像中人物的姓名之類的一些文本描述一起顯示了“女演員x”和“社交網(wǎng)絡(luò)好友y”的面部匹配圖片的小型版本(也被稱作縮略圖)。

圖16a-16c是圖示根據(jù)一些實(shí)施例的用于使用位置傳感器數(shù)據(jù)和視覺查詢返回視覺查詢的本地收錄的過程的流程圖。圖17-19圖示了選擇使用圖16a-16c所圖示的過程所識(shí)別的搜索結(jié)果的各種方法。圖16a-19中所示的每個(gè)操作可以對(duì)應(yīng)于計(jì)算機(jī)存儲(chǔ)器或計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中所存儲(chǔ)的指令。特別地，許多操作對(duì)應(yīng)于前端搜索系統(tǒng)110的本地收錄選擇模塊840(圖6)、位置擴(kuò)增搜索系統(tǒng)112-f的搜索應(yīng)用2320(圖23)和基于位置的搜索系統(tǒng)的搜索應(yīng)用2420(圖24)中的可執(zhí)行指令。

使用位置信息或增強(qiáng)位置信息來改善視覺查詢搜索對(duì)于“街景視覺查詢”是有用的。例如，如果用戶站在街角并且拍攝建筑物的照片作為視覺查詢，并且使用當(dāng)前位置信息(即，識(shí)別客戶端設(shè)備位置的信息)以及視覺查詢對(duì)其進(jìn)行處理，則搜索結(jié)果將包括與位于該建筑物中的企業(yè)或組織相關(guān)的信息。

如圖16a所示，前端服務(wù)器從客戶端系統(tǒng)接收視覺查詢(202)。前端服務(wù)器還接收位置信息(1602)。在一些實(shí)施例中，位置信息包括gps傳感器信息或小區(qū)電話塔臺(tái)信息(1604)。該位置信息通常是粗略的，即其具有相對(duì)低的精確度，并且以下描述將討論提高其精確度的方式。所接收的位置信息可能精確定位指定范圍內(nèi)的用戶。在一些實(shí)施例中，位置信息以75英尺或更佳的精確度定位客戶端系統(tǒng)；在(如以上所描述的)一些其它實(shí)施例中，位置信息具有不低于a的精確度，其中a是預(yù)定義的100米或更低的數(shù)值。

在一些實(shí)施例中，基于先前所接收的位置信息來計(jì)算所述位置信息(1606)。在一些實(shí)施例中，還從客戶端設(shè)備接收其它傳感器信息(1608)。其它傳感器信息可以包括來自以下一個(gè)或多個(gè)的信息：磁力計(jì)742、加速度計(jì)744或客戶端設(shè)備102中的(參考圖5所討論的)其它傳感器746。在一些實(shí)施例中，附加傳感器信息被用來計(jì)算這里稱之為姿態(tài)的用戶所看的大致方向或者方位。在一些實(shí)施例中，附加傳感器信息被用來使用航位推測原理計(jì)算用戶自視覺查詢時(shí)間起的移動(dòng)。

視覺查詢系統(tǒng)向至少一個(gè)視覺查詢搜索系統(tǒng)發(fā)送針對(duì)增強(qiáng)位置信息的請(qǐng)求(包括視覺查詢和位置信息的請(qǐng)求)(1610)。如參考圖2所解釋的，在大多數(shù)實(shí)施例中，至少視覺查詢被發(fā)送到多個(gè)并行搜索系統(tǒng)以便同時(shí)進(jìn)行處理。在一些實(shí)施例中，視覺查詢搜索系統(tǒng)向位置擴(kuò)增搜索系統(tǒng)(圖23中所示的112-f)發(fā)送視覺查詢(1612)。位置擴(kuò)增搜索系統(tǒng)對(duì)(如位置信息所指示的)客戶端設(shè)備位置的指定范圍內(nèi)的街景圖像庫集(先前存儲(chǔ)在圖像數(shù)據(jù)庫2322中)執(zhí)行視覺查詢匹配搜索。如果在該庫集內(nèi)找到了圖像匹配，則識(shí)別相關(guān)聯(lián)的精確定位位置(圖23中所示的2310)。在一些實(shí)施例中，精確定位位置2310也具有指示精確定位位置值的精確度的精確度值2332。精確定位位置被用來確定與視覺查詢相關(guān)聯(lián)的增強(qiáng)位置信息。然后，增強(qiáng)位置信息被返回至視覺查詢系統(tǒng)中進(jìn)行請(qǐng)求的服務(wù)器(例如，前端服務(wù)器)。如果在街景圖像的庫集中沒有找到匹配，則沒有確定增強(qiáng)位置信息。

響應(yīng)于上述的請(qǐng)求(1610)，進(jìn)行請(qǐng)求的服務(wù)器接收增強(qiáng)位置信息(1614)。如以上所描述的，增強(qiáng)位置信息基于視覺查詢以及客戶端設(shè)備的傳感器所提供的粗略位置信息。典型地，增強(qiáng)位置信息具有比所接收的位置信息更高的精確度(1616)。在一些實(shí)施例中，增強(qiáng)位置信息在比原始范圍窄的范圍內(nèi)精確定位用戶的特定位置。在一些實(shí)施例中，增強(qiáng)位置信息所識(shí)別的特定位置處于距客戶端設(shè)備的實(shí)際位置諸如10或15英尺的預(yù)定范圍之內(nèi)?？蛇x地(但是通常)，增強(qiáng)位置信息還包括姿態(tài)(即，用戶所面對(duì)的方向)(1618)。

視覺查詢系統(tǒng)向基于位置的搜索系統(tǒng)(圖24中所示的112-g)發(fā)送搜索查詢(1620)?；谖恢玫乃阉飨到y(tǒng)使用位置數(shù)據(jù)針對(duì)搜索查詢中所提供的位置附近的本地收錄識(shí)別其位置數(shù)據(jù)庫2422中的記錄2406。如果增強(qiáng)位置信息是響應(yīng)提供至前端服務(wù)器而獲得，則搜索查詢將包括增強(qiáng)位置信息(1622)。另外，如果姿態(tài)信息被提供至前端服務(wù)器，則其也將包括在搜索查詢中(1624)。

參考圖16b，基于位置的搜索系統(tǒng)(圖24中所示的112-g)向前端服務(wù)器發(fā)送一個(gè)或多個(gè)搜索結(jié)果(1626)。在一些實(shí)施例中，搜索結(jié)果包括一個(gè)或多個(gè)依據(jù)增強(qiáng)位置信息的結(jié)果(即，本地收錄)(1628)。在一些實(shí)施例中，搜索結(jié)果包括姿態(tài)方向中的一個(gè)或多個(gè)結(jié)果(1630)。

可選地，視覺查詢系統(tǒng)(例如，前端服務(wù)器)創(chuàng)建包括包圍視覺查詢的相應(yīng)子部分的分界框并且包括到至少一個(gè)搜索結(jié)果的至少一個(gè)用戶可選擇鏈接的交互式結(jié)果文檔(1632)。分界框的細(xì)節(jié)參考圖3進(jìn)行了討論?？蛇x地，分界框通過將搜索結(jié)果的地球坐標(biāo)投射到視覺查詢的屏幕坐標(biāo)上而得以創(chuàng)建(1634)。

視覺查詢系統(tǒng)接著將至少一個(gè)搜索結(jié)果發(fā)送到客戶端系統(tǒng)(1636)。搜索結(jié)果包括本地收錄。例如，它們可以包括諸如客戶端設(shè)備的物理位置附近的企業(yè)、組織或興趣點(diǎn)之類的實(shí)體的搜索結(jié)果。搜索結(jié)果可以僅包括視覺查詢中可見的實(shí)體。可替換地，搜索結(jié)果可以包括視覺查詢中不可見的實(shí)體。在一些實(shí)施例中，發(fā)送到客戶端設(shè)備的相應(yīng)搜索結(jié)果位于姿態(tài)方向中(1638)。這些搜索結(jié)果可以包括視覺查詢中可見的實(shí)體以及不可見的實(shí)體。在一些實(shí)施例中，相應(yīng)搜索結(jié)果包括識(shí)別視覺查詢中對(duì)應(yīng)于相應(yīng)搜索結(jié)果的部分的分界框(1640)。圖17-19描述了用于選擇特定本地收錄以發(fā)送至客戶端系統(tǒng)的實(shí)施例。

在一些實(shí)施例中，前端服務(wù)器還連同搜索結(jié)果一起向客戶端設(shè)備發(fā)送視覺查詢系統(tǒng)所確定的街景圖像以匹配視覺查詢(1642)。

圖16c包括用于對(duì)第二視覺查詢進(jìn)行處理的可選方法。第二視覺查詢典型地在客戶端系統(tǒng)已經(jīng)從對(duì)來自相同客戶端系統(tǒng)的第一(即，較早的)視覺查詢進(jìn)行處理時(shí)的客戶端系統(tǒng)位置移動(dòng)之后從客戶端系統(tǒng)所接收(1644)。還從客戶端系統(tǒng)接收第二位置信息(1646)。視覺查詢系統(tǒng)(例如，視覺查詢系統(tǒng)的前端服務(wù)器)向視覺查詢搜索系統(tǒng)(特別是位置擴(kuò)增搜索系統(tǒng)112-f—圖23)發(fā)送請(qǐng)求，其請(qǐng)求基于第二視覺查詢和第二位置信息的第二增強(qiáng)位置信息(1648)。

當(dāng)針對(duì)第二增強(qiáng)位置信息的請(qǐng)求成功時(shí)，使得接收比從客戶端系統(tǒng)所接收的第二位置信息具有更高精確度的第二增強(qiáng)位置信息，視覺查詢系統(tǒng)向基于位置的搜索系統(tǒng)(圖24的112-g)發(fā)送第二搜索查詢，其包括第二增強(qiáng)位置信息(1650)。接著接收依據(jù)第二搜索查詢的一個(gè)或多個(gè)搜索結(jié)果(1652)，并且將依據(jù)第二搜索查詢的至少一個(gè)搜索結(jié)果發(fā)送到客戶端系統(tǒng)(1654)。

當(dāng)針對(duì)第二增強(qiáng)位置信息的請(qǐng)求不成功時(shí)，視覺查詢系統(tǒng)向基于位置的搜索系統(tǒng)發(fā)送第三搜索查詢，其包括來自第一查詢的增強(qiáng)位置信息(1656)。在該實(shí)施例中，原始增強(qiáng)位置信息優(yōu)于從客戶端所接收的第二位置信息，這是因?yàn)樵荚鰪?qiáng)位置可能比客戶端設(shè)備所提供的粗略位置信息更為準(zhǔn)確地精確定位客戶端的位置。在一些實(shí)施例中，用戶可能自原始查詢時(shí)起根本沒有移動(dòng)。他可能僅進(jìn)行了旋轉(zhuǎn)。只要客戶端設(shè)備的移動(dòng)速度和/或自從客戶端設(shè)備接收到第一視覺查詢起所過去的時(shí)間量沒有超過預(yù)定限制，則客戶端設(shè)備的原始精確定位位置保持為相對(duì)準(zhǔn)確。在該實(shí)施例中，然后接收依據(jù)第三搜索查詢的一個(gè)或多個(gè)搜索結(jié)果(1658)，并且至少一個(gè)依據(jù)第二搜索查詢的搜索結(jié)果被發(fā)送到客戶端系統(tǒng)(1660)。

圖17是圖示選擇搜索結(jié)果的錐截體方法。在該方法中，從客戶端設(shè)備接收視覺查詢(202)并且接收多個(gè)初始搜索結(jié)果(例如，本地收錄)(1701)，例如以上所討論的系統(tǒng)和方法。如以下所討論的，然后使用視錐截體對(duì)初始搜索結(jié)果進(jìn)行過濾。

視錐截體是客戶端設(shè)備的視場的模型。在一些實(shí)施例中，錐截體基于客戶端設(shè)備的位置以及姿態(tài)信息所構(gòu)建(1702)。在一些實(shí)施例中，姿態(tài)信息被作為增強(qiáng)位置信息的一部分提供(見1618)。在位置擴(kuò)增搜索系統(tǒng)沒有確定姿態(tài)信息的實(shí)施例中，有時(shí)可以基于從諸如磁力計(jì)(圖5的742)的客戶端設(shè)備傳感器所提供的信息來確定粗略姿態(tài)(1704)。

錐截體具有長度l，其是距客戶端設(shè)備的位置的某個(gè)定義距離。在一些實(shí)施例中，錐截體的長度是位置信息的精確度的函數(shù)。如果增強(qiáng)位置信息高度精確，則錐截體的長度處于“小范圍”之內(nèi)。在一些實(shí)施例中，該小范圍小于100碼。如果增強(qiáng)位置不精確，或者如果增強(qiáng)位置信息沒有找到，則錐截體的長度處于相對(duì)于所述短范圍的“大范圍”之內(nèi)。在一些實(shí)施例中，該大范圍大于所述小范圍并且小于500碼。

在一些實(shí)施例中，還基于設(shè)備的當(dāng)前方位來構(gòu)建視錐截體(1706)。在一些實(shí)施例中，基于視覺查詢的非對(duì)稱縱橫比來確定方位(1708)。典型地，用戶以豎向或橫向兩種方位之一握持非對(duì)稱設(shè)備，即其寬度和高度具有不同長度的設(shè)備。在一些實(shí)施例中，設(shè)備的方位是從來自客戶端設(shè)備傳感器的傳感器信息(例如，來自客戶端設(shè)備中的加速計(jì)的信息)確定。

一旦構(gòu)建了視錐截體，其就被用來測試搜索結(jié)果是否處于客戶端設(shè)備的視場之內(nèi)。如果搜索結(jié)果位置處于錐截體之內(nèi)，則認(rèn)為其處于客戶端設(shè)備的視場之內(nèi)(也被稱作“處于客戶端設(shè)備的視野之內(nèi)”)。如果搜索結(jié)果不處于錐截體之內(nèi)，則認(rèn)為其不處于客戶端設(shè)備的視野之內(nèi)。在一些實(shí)施例中，當(dāng)接收到多個(gè)搜索結(jié)果時(shí)，對(duì)搜索結(jié)果進(jìn)行過濾以排除處于視錐截體之外(也稱作“處于客戶端設(shè)備的視場之外”)的搜索結(jié)果(1712)。只要剩余有任何搜索結(jié)果，視錐截體內(nèi)的至少一個(gè)搜索結(jié)果就被發(fā)送到客戶端系統(tǒng)(1714)作為對(duì)視覺查詢的響應(yīng)。

圖18是圖示基于突出性和位置數(shù)據(jù)選擇搜索結(jié)果的方法的流程圖。識(shí)別增強(qiáng)位置信息的精確度值(1802)。該精確度值至少部分基于位置擴(kuò)增搜索系統(tǒng)112-f(參考圖23)的圖像數(shù)據(jù)庫2322中被識(shí)別為匹配視覺查詢的街景記錄2306的精確定位位置2310的精確度值2332和提供至位置擴(kuò)增搜索系統(tǒng)的位置信息來識(shí)別。在一些實(shí)施例中，該精確度值是指示精確度的數(shù)字值。在一個(gè)示例中，精確度值指示在預(yù)定義單位(例如，米或英尺)中測量的估計(jì)或最大不精確度。該示例中的較低的精確度值指示較大的精確度。因此，精確度值“10”將指示10米的估計(jì)精確度，而值“50”指示50米的估計(jì)精確度。在另一個(gè)示例中，精確度值可以指示兩個(gè)或更多預(yù)定等級(jí)之一。例如，系統(tǒng)可以具有四個(gè)預(yù)定的不同精確度等級(jí)，1至4或a至d。可以使用給任何適當(dāng)?shù)牡燃?jí)指定。

還識(shí)別相應(yīng)搜索結(jié)果的突出性值(1804)。突出性值是搜索結(jié)果重要性的相對(duì)確定。例如，如埃菲爾鐵塔的著名地標(biāo)具有高的突出性值。在另一個(gè)示例中，具有(顧客或評(píng)論家或二者的)高度評(píng)級(jí)的餐廳被分配比具有相對(duì)低評(píng)級(jí)的餐廳高的突出性值。突出性值2436與基于位置的搜索系統(tǒng)112-g(參考圖24)的位置數(shù)據(jù)庫2422中作為基于位置的搜索系統(tǒng)的搜索結(jié)果返回的相應(yīng)記錄2410相關(guān)聯(lián)。

還識(shí)別相應(yīng)搜索結(jié)果的相關(guān)聯(lián)位置(1806)。在一些實(shí)施例中，位置是基于位置的搜索系統(tǒng)112-g(圖24)的位置數(shù)據(jù)庫2422中作為基于位置的搜索系統(tǒng)的搜索結(jié)果返回的相應(yīng)記錄2406中的位置信息2410所確定的實(shí)體(例如，建筑物、企業(yè)、地標(biāo)等)的物理位置。在一些實(shí)施例中，位置信息2410是緯度和經(jīng)度值的對(duì)。在一些實(shí)施例中，位置信息還提供與實(shí)體前門最接近的點(diǎn)以及與街道最接近的點(diǎn)相關(guān)的信息。接著可以通過形成兩個(gè)點(diǎn)之間的矢量來確定實(shí)體正面的方式。在一些實(shí)施例中，位置是實(shí)體的郵政地址2434，其同樣與基于位置的搜索系統(tǒng)112-g(參考圖24)的位置數(shù)據(jù)庫2422中作為基于位置的搜索系統(tǒng)的搜索結(jié)果返回的相應(yīng)記錄2406相關(guān)聯(lián)。

執(zhí)行圖18中所圖示的方法的服務(wù)器確定(客戶端設(shè)備的)增強(qiáng)位置與相應(yīng)搜索結(jié)果的相關(guān)聯(lián)位置之間的距離(1808)。

接著，服務(wù)器依據(jù)增強(qiáng)位置的精確度值確定優(yōu)選的搜索結(jié)果(1810)。當(dāng)客戶端設(shè)備的增強(qiáng)位置信息精確時(shí)(具有高的精確度值)，臨近收錄優(yōu)于較不接近客戶端設(shè)備的突出收錄以便包括在搜索結(jié)果中。更具體地，服務(wù)器在增強(qiáng)位置具有等于或高于閾值的精確度值時(shí)優(yōu)選增強(qiáng)位置附近的搜索結(jié)果(1812)。在一些實(shí)施例中，當(dāng)客戶端設(shè)備的增強(qiáng)位置信息精確時(shí)，使用基于與突出性相對(duì)的接近位置優(yōu)選收錄(即，搜索結(jié)果)的加權(quán)因數(shù)的第一集合。例如，對(duì)于精確的增強(qiáng)位置信息而言，加權(quán)因數(shù)0.8被乘以接近度量度(其對(duì)應(yīng)于搜索結(jié)果的位置與客戶端設(shè)備的位置有多接近)，而加權(quán)因數(shù)0.2則被乘以搜索結(jié)果的突出性值。在一些實(shí)施例中，使用相關(guān)搜索結(jié)果的可變半徑。在客戶端設(shè)備的位置信息具有低精確度(精確度值低于閾值)時(shí)使用大的半徑，并且在客戶端設(shè)備的位置信息具有高精確度(精確度數(shù)值高于閾值)時(shí)使用小的半徑。

類似地，當(dāng)客戶端設(shè)備的位置不精確時(shí)，突出性本地收錄相對(duì)于使用加權(quán)因數(shù)的第二集合所計(jì)算的與客戶端設(shè)備最為接近的收錄被優(yōu)選。這是因?yàn)樗?jì)算的最為接近的收錄可能由于客戶端設(shè)備位置值的不精確而實(shí)際上根本不是接近的。視覺查詢系統(tǒng)在增強(qiáng)位置不可用或具有低于閾值的精確度值時(shí)優(yōu)選具有高突出性值的搜索結(jié)果(1814)。當(dāng)客戶端設(shè)備的增強(qiáng)位置信息具有低的精確度時(shí)，使用基于與位置相對(duì)的突出性優(yōu)選收錄的加權(quán)因數(shù)的第二集合。例如，當(dāng)增強(qiáng)位置信息低于閾值時(shí)，加權(quán)因數(shù)0.2被乘以接近度量度(其對(duì)應(yīng)于搜索結(jié)果的位置與客戶端設(shè)備的位置有多接近)，而加權(quán)因數(shù)0.8被乘以搜索結(jié)果的突出性值。最后，至少一個(gè)優(yōu)選的搜索結(jié)果被發(fā)送到客戶端系統(tǒng)(1816)。

圖19是圖示基于相對(duì)位置和精確度據(jù)選擇搜索結(jié)果的方法的流程圖。還識(shí)別相應(yīng)搜索結(jié)果的相關(guān)聯(lián)位置(1806)。如參考圖18所討論的，在一些實(shí)施例中，相關(guān)聯(lián)位置是(物理)位置信息2410，并且在其它實(shí)施例中，其是與基于位置的搜索系統(tǒng)112-g(參考圖24)的位置數(shù)據(jù)庫2422中作為基于位置的搜索系統(tǒng)的搜索結(jié)果返回的相應(yīng)記錄2410相關(guān)聯(lián)的郵政地址信息2434。

類似地，還識(shí)別與相應(yīng)搜索結(jié)果相關(guān)聯(lián)的位置精確度(1904)。位置精確度是與基于位置的搜索系統(tǒng)112-g(參考圖24)的位置數(shù)據(jù)庫2422中作為基于位置的搜索系統(tǒng)的搜索結(jié)果返回的相應(yīng)記錄2410相關(guān)聯(lián)的位置2432的精確度。在一些實(shí)施例中，視覺查詢系統(tǒng)選擇具有最高的相關(guān)聯(lián)位置精確度的一個(gè)或多個(gè)搜索結(jié)果(1906)。

執(zhí)行圖19中所圖示的方法的服務(wù)器確定相應(yīng)搜索結(jié)果位置和客戶端系統(tǒng)的增強(qiáng)位置信息之間的位置接近度數(shù)值(有時(shí)稱作接近度量度)(1908)。在一些實(shí)施例中，服務(wù)器選擇其位置接近度值滿足位置接近度要求的一個(gè)或多個(gè)第一搜索結(jié)果(1910)。在一些實(shí)施例中，位置接近度要求是絕對(duì)數(shù)值，諸如100碼。在其它實(shí)施例中，位置接近度要求根據(jù)如參考圖18所討論的增強(qiáng)位置精確度而變化。在一些實(shí)施例中，服務(wù)器選擇還具有等于或大于閾值的位置精確度的一個(gè)或多個(gè)第一搜索結(jié)果(1912)。

在一些實(shí)施例中，服務(wù)器依據(jù)每個(gè)所識(shí)別的第二搜索結(jié)果滿足關(guān)于至少一個(gè)第一搜索結(jié)果的第二位置接近度要求的要求來選擇一個(gè)或多個(gè)第二搜索結(jié)果(1914)。換句話說，當(dāng)候選搜索結(jié)果包括具有精確信息的本地收錄以及具有較不精確位置(這里有時(shí)稱作不精確位置)的其它結(jié)果時(shí)，最終的搜索結(jié)果僅包括a)具有處于設(shè)備位置附近的精確位置信息的本地收錄，和b)具有已知處于(a)中精確定位的本地收錄附近的不精確信息的那些本地收錄。在一些實(shí)施例中，已知不精確定位的收錄通過其它一些方式而處于精確定位收錄附近，諸如郵政地址、街道名稱或者通過對(duì)位置進(jìn)行聚類。

在一些實(shí)施例中，服務(wù)器從所選擇的搜索結(jié)果中排除具有低于閾值的位置精確度的那些搜索結(jié)果(1916)。該閾值與以上所討論的相類似。在一些實(shí)施例中，服務(wù)器排除也不滿足關(guān)于具有等于或大于閾值的位置精確度的至少一個(gè)所選擇搜索結(jié)果的位置接近度要求并且滿足關(guān)于客戶端系統(tǒng)的增強(qiáng)位置信息的第一位置接近度要求的一個(gè)或多個(gè)搜索結(jié)果。

最后，至少一個(gè)所選擇的搜索結(jié)果被發(fā)送到客戶端系統(tǒng)(1920)。

如以上關(guān)于圖16a-19所討論的，應(yīng)當(dāng)注意的是，在實(shí)施例中，當(dāng)針對(duì)增強(qiáng)位置信息的請(qǐng)求成功時(shí)，導(dǎo)致接收比從客戶端系統(tǒng)所接收的位置信息具有更高精確度的增強(qiáng)位置信息，視覺查詢系統(tǒng)向基于位置的搜索系統(tǒng)發(fā)送第一搜索查詢。搜索查詢包括所述增強(qiáng)位置信息。視覺查詢系統(tǒng)然后接收依據(jù)第一搜索查詢的一個(gè)或多個(gè)搜索結(jié)果。然而，當(dāng)針對(duì)增強(qiáng)位置信息的請(qǐng)求不成功時(shí)，視覺查詢系統(tǒng)向基于位置的搜索系統(tǒng)發(fā)送第二搜索查詢。第二搜索查詢包括從客戶端系統(tǒng)所接收的位置信息。接著，視覺查詢系統(tǒng)接收依據(jù)第二搜索查詢的一個(gè)或多個(gè)搜索結(jié)果，并且在向客戶端系統(tǒng)發(fā)送至少一個(gè)搜索結(jié)果之前以如以上所討論的各種方式對(duì)于它們進(jìn)行精選。

圖20是圖示客戶端系統(tǒng)102和視覺查詢系統(tǒng)(例如視覺查詢系統(tǒng)的前端視覺查詢服務(wù)器系統(tǒng)110)之間用于創(chuàng)建具有位置信息的可采取動(dòng)作的搜索結(jié)果1700的通信的流程圖。在一些實(shí)施例中，位置信息在使用之前進(jìn)行增強(qiáng)。在這些實(shí)施例中，視覺查詢結(jié)果至少部分基于用戶在查詢時(shí)的位置。

圖20中所示出的每個(gè)操作可以對(duì)應(yīng)于計(jì)算機(jī)存儲(chǔ)器或計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中所存儲(chǔ)的指令。特別地，許多操作對(duì)應(yīng)于前端搜索系統(tǒng)110的本地收錄選擇模塊840(圖6)中的可執(zhí)行指令。

客戶端設(shè)備或系統(tǒng)102接收來自用戶的圖像(2002)。在一些實(shí)施例中，所述圖像從客戶端設(shè)備或系統(tǒng)102中的相機(jī)710(圖5)接收?？蛻舳讼到y(tǒng)還接收指示客戶端系統(tǒng)的位置的位置信息(2004)。所述位置信息可以來自于客戶端設(shè)備或系統(tǒng)102中的gps設(shè)備707(圖5)?？商鎿Q地或除此之外，所述位置信息可以來自于小區(qū)塔臺(tái)使用信息或無線局域網(wǎng)信息。為了可用于產(chǎn)生街景輔助結(jié)果，所述位置信息通常必須滿足精確度標(biāo)準(zhǔn)。在一些實(shí)施例中，當(dāng)位置信息具有不低于a的精確度時(shí)，精確度標(biāo)準(zhǔn)得以被滿足，其中a是預(yù)定義的100米或更小的值?？蛻舳讼到y(tǒng)102從所述圖像創(chuàng)建視覺查詢(2006)并且將所述視覺查詢發(fā)送到服務(wù)器系統(tǒng)(2008)。在一些實(shí)施例中，客戶端系統(tǒng)102還將位置信息發(fā)送到服務(wù)器(2010)。

前端服務(wù)器系統(tǒng)110從客戶端系統(tǒng)接收視覺查詢(2012)。其還接收位置信息(2014)。前端服務(wù)器系統(tǒng)110向?qū)嵤┮曈X查詢過程的至少一個(gè)搜索系統(tǒng)發(fā)送視覺查詢(2016)。在一些實(shí)施例中，視覺查詢被發(fā)送到多個(gè)并行搜索系統(tǒng)。搜索系統(tǒng)返回一個(gè)或多個(gè)搜索結(jié)果(2024)。前端服務(wù)器系統(tǒng)將所述位置信息發(fā)送到至少一個(gè)位置擴(kuò)增搜索系統(tǒng)(2018)。(在2014)接收的位置信息可能在指定范圍內(nèi)精確定位用戶。在一些實(shí)施例中，位置信息以75英尺或更好的精確度定位客戶端系統(tǒng)；在一些(如以上所描述的)其它實(shí)施例中，位置信息具有不低于a的精確度，其中a是預(yù)定義的100米或更近的數(shù)值。

位置擴(kuò)增搜索系統(tǒng)(圖23所示的112-f)在指定范圍內(nèi)對(duì)(之前存儲(chǔ)在圖像數(shù)據(jù)庫2322中的)街景圖像庫集執(zhí)行視覺查詢匹配搜索。如果在該庫集內(nèi)找到了圖像匹配，則獲取與匹配圖像相關(guān)聯(lián)的增強(qiáng)位置信息。在一些實(shí)施例中，增強(qiáng)位置信息在比原始范圍窄的范圍內(nèi)精確定位用戶的特定位置，并且可選地(但是通常)還包括姿態(tài)(即，用戶所面對(duì)的方向)。在一些實(shí)施例中，增強(qiáng)位置信息所識(shí)別的特定位置處于距客戶端設(shè)備的實(shí)際位置的預(yù)定距離之內(nèi)，諸如10或15英尺。在該實(shí)施例中，前端服務(wù)器系統(tǒng)110從位置擴(kuò)增搜索系統(tǒng)接收基于視覺查詢和位置信息的增強(qiáng)位置信息(2020)。然后，前端服務(wù)器系統(tǒng)110將增強(qiáng)位置信息發(fā)送到基于位置的查詢系統(tǒng)(圖24所示的112-g)(2022)。基于位置的查詢系統(tǒng)112-g獲取并返回被前端服務(wù)器系統(tǒng)所接收的一個(gè)或多個(gè)搜索結(jié)果(2024)?？蛇x地，依據(jù)視覺查詢和增強(qiáng)位置信息兩者獲得搜索結(jié)果(2026)?？商鎿Q地，依據(jù)使用原始位置信息和視覺查詢所獲取的增強(qiáng)位置信息獲得搜索結(jié)果(2028)。

應(yīng)當(dāng)注意的是，(在2024接收的)視覺查詢結(jié)果可以包括所精確定位的位置附近實(shí)體的結(jié)果，無論這些實(shí)體是否能夠在視覺查詢圖像中看到。例如，視覺查詢結(jié)果可以包括被在原始視覺查詢中(例如，被過往車輛或樹木)所遮蔽的實(shí)體。在一些實(shí)施例中，視覺查詢結(jié)果還將包括諸如精確定位的地址附近的企業(yè)或地標(biāo)之類的臨近實(shí)體，即使這些實(shí)體根本不處于視覺查詢圖像之中。

前端服務(wù)器系統(tǒng)110向客戶端系統(tǒng)發(fā)送一個(gè)或多個(gè)搜索結(jié)果(2030)。如參考圖16a-19所解釋的，有多種用來確定應(yīng)當(dāng)發(fā)送哪些搜索結(jié)果的方法?？蛻舳讼到y(tǒng)102接收一個(gè)或多個(gè)搜索結(jié)果(2032)。接著，客戶端系統(tǒng)顯示一個(gè)或多個(gè)搜索結(jié)果(2034)。

圖21圖示了針對(duì)建筑物的視覺查詢1200所返回的結(jié)果列表1500的實(shí)施例的客戶端系統(tǒng)顯示。在該實(shí)施例中，視覺查詢1200被作為街景視覺查詢進(jìn)行處理，并且因此所接收的搜索結(jié)果依據(jù)客戶端系統(tǒng)102所提供的視覺查詢和位置信息而獲得。在該實(shí)施例中，視覺查詢是以豎向模式取得的。針對(duì)該查詢所識(shí)別的實(shí)體是舊金山(sf)ferry大廈2101。連同搜索結(jié)果一起提供舊金山ferry大廈的街景視圖圖像的縮略圖2102。在圖21所示的實(shí)施例中，顯示了“地點(diǎn)匹配”視覺查詢搜索結(jié)果信息2104。地點(diǎn)匹配結(jié)果包括建筑物名稱(sfferry大廈)、郵政地址(pier48)、與該地點(diǎn)相關(guān)的描述和星級(jí)評(píng)級(jí)。該信息中的一些從基于位置的搜索系統(tǒng)112-g(圖24)中該記錄的相關(guān)聯(lián)信息2408所獲得。該信息中的一些基于其它視覺查詢搜索系統(tǒng)112-a–112-n以及詞語查詢服務(wù)器系統(tǒng)118所執(zhí)行的其它搜索而獲得。

搜索結(jié)果列表包括web結(jié)果1514和相關(guān)地點(diǎn)匹配2110。搜索結(jié)果列表包括所述街景地點(diǎn)匹配系統(tǒng)所識(shí)別的其它地點(diǎn)。在一些實(shí)施例中，地點(diǎn)匹配系統(tǒng)顯示其它與被識(shí)別為目前處于用戶前方的地點(diǎn)相類似的地點(diǎn)和/或其它臨近地點(diǎn)。例如，如果處于用戶前方的地點(diǎn)被表示為泰式餐廳，則街景地點(diǎn)匹配系統(tǒng)可以顯示處于所識(shí)別地點(diǎn)一英里范圍內(nèi)的其它泰式餐廳。

在圖21中所示的實(shí)施例中，所顯示的相關(guān)地點(diǎn)2110是同樣為流行的旅途停留地的地點(diǎn)—californiaacademyofsciences2112和palaceoffinearts2114。這些地點(diǎn)匹配具有高的突出性值。在該實(shí)施例中，顯示這些高突出性結(jié)果而不是sfferry大廈附近的結(jié)果。換句話說，具有高突出性值的結(jié)果相對(duì)于增強(qiáng)位置附近的結(jié)果被優(yōu)選。這可能是因?yàn)樵鰪?qiáng)位置信息的精確度值并沒有達(dá)到閾值這一事實(shí)，即增強(qiáng)位置信息具有低的精確度值。如果精確度值達(dá)到了閾值，則不同于顯示具有高突出性值的結(jié)果，所顯示的結(jié)果將是在地理上位于所識(shí)別地點(diǎn)旁邊的地點(diǎn)，諸如處于視覺查詢中的店鋪任一側(cè)或上方的店鋪。

圖22圖示了多個(gè)可采取動(dòng)作的搜索結(jié)果元素1700覆蓋視覺查詢1200的實(shí)施例的客戶端系統(tǒng)顯示。在該實(shí)施例中，所返回的可采取動(dòng)作的搜索結(jié)果元素針對(duì)街景視覺查詢。可采取動(dòng)作的搜索結(jié)果在于2009年12月2日提交的題為“actionablesearchresultsforstreetviewvisualqueries”的美國臨時(shí)專利申請(qǐng)?zhí)?1/266133中詳細(xì)解釋，其全文通過引用結(jié)合于此。

在圖22所示的實(shí)施例中，前端服務(wù)器系統(tǒng)接收了具有高精確度值的增強(qiáng)位置信息。這樣，僅提供與增強(qiáng)位置最為接近的實(shí)體作為搜索結(jié)果?；谖恢玫乃阉飨到y(tǒng)識(shí)別了具有足夠高的確信度的稱為“thecityrestaurant”的餐廳實(shí)體2201，這是僅有的返回結(jié)果。接著，提供與該餐廳實(shí)體相關(guān)的各種附加信息。前端服務(wù)器識(shí)別對(duì)應(yīng)于“thecityrestaurant”實(shí)體2201的若干客戶端側(cè)動(dòng)作并且為它們創(chuàng)建了可采取動(dòng)作的搜索結(jié)果元素?？刹扇?dòng)作的搜索結(jié)果元素包括用于呼叫與餐廳相關(guān)聯(lián)的電話號(hào)碼的按鈕2204、用于閱讀關(guān)于餐廳的評(píng)論的按鈕2206、用于得到與餐廳相關(guān)的信息的按鈕2208、用于繪制與餐廳相關(guān)聯(lián)的地址的地圖的按鈕2210、用于在餐廳進(jìn)行預(yù)訂的按鈕2212，以及用于諸如附近或類似餐廳的更多信息的按鈕2214。圖22中所示的實(shí)施例中的可采取動(dòng)作的結(jié)果元素被顯示為在可采取動(dòng)作的搜索結(jié)果元素顯示框2216中覆蓋視覺查詢1200的一部分。在該實(shí)施例中，顯示框2216是部分透明的，以允許用戶看到顯示框2216以下的原始查詢。在一些實(shí)施例中，顯示框2216包括諸如紅色、藍(lán)色、綠色等的帶顏色覆蓋。在其它實(shí)施例中，顯示框2216使原始查詢圖像變灰(grayout)。顯示框2216還提供所識(shí)別實(shí)體的名稱2218，在這種情況下為餐廳的名稱“thecityrestaurant”。部分透明的顯示框2216的實(shí)施例是圖21所示的結(jié)果列表樣式的視圖的可替換形式。該實(shí)施例允許用戶直觀地將可采取動(dòng)作的搜索結(jié)果按鈕與查詢中所識(shí)別的實(shí)體相關(guān)聯(lián)。

圖23是圖示用于處理視覺查詢的一個(gè)位置擴(kuò)增搜索系統(tǒng)的框圖。圖23圖示了依據(jù)一些實(shí)施例的位置擴(kuò)增搜索系統(tǒng)112-f。位置擴(kuò)增搜索系統(tǒng)112-f包括一個(gè)或多個(gè)處理單元(cpu)2302、一個(gè)或多個(gè)網(wǎng)絡(luò)或其它通信接口2304、存儲(chǔ)器2312，以及用于將這些組件進(jìn)行互連的一個(gè)或多個(gè)通信總線2314。通信總線2314可以包括互連和控制在系統(tǒng)組件之間的通信的電路(有時(shí)稱為芯片集)。存儲(chǔ)器2312包括高速隨機(jī)存取存儲(chǔ)器，諸如dram、sram、ddrram或其它隨機(jī)存取固態(tài)存儲(chǔ)器設(shè)備；并且可以包括非易失性存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、光盤存儲(chǔ)設(shè)備、閃存設(shè)備或者其它非易失性固態(tài)存儲(chǔ)設(shè)備。存儲(chǔ)器2312可以可選地包括與cpu2302遠(yuǎn)程定位的一個(gè)或多個(gè)存儲(chǔ)設(shè)備。存儲(chǔ)器2312或者可替換地存儲(chǔ)器2312內(nèi)的非易失性存儲(chǔ)設(shè)備包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。在一些實(shí)施例中，存儲(chǔ)器2312或者存儲(chǔ)器2312的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)以下程序、模塊和數(shù)據(jù)結(jié)構(gòu)或者其子集：·操作系統(tǒng)2316，其包括用于處理各種基本系統(tǒng)服務(wù)以及用于執(zhí)行依賴于硬件的任務(wù)的程序；

·網(wǎng)絡(luò)通信模塊2318，其用于將位置擴(kuò)增搜索系統(tǒng)112-f經(jīng)由一個(gè)或多個(gè)通信網(wǎng)絡(luò)接口2304(有線或無線)以及諸如互聯(lián)網(wǎng)、其它廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等的一個(gè)或多個(gè)通信網(wǎng)絡(luò)連接到其它計(jì)算機(jī)；

·搜索應(yīng)用2320，其針對(duì)位于客戶端系統(tǒng)位置的指定范圍內(nèi)的匹配視覺查詢的相關(guān)圖像搜索街景索引，所述客戶端系統(tǒng)位置由與客戶端系統(tǒng)相關(guān)聯(lián)的位置信息所指定，并且如果找到了匹配圖像，則返回?cái)U(kuò)增/增強(qiáng)位置信息，其比客戶端系統(tǒng)之前的可用位置信息更為準(zhǔn)確；

·圖像數(shù)據(jù)庫2322，其包括街景圖像記錄2306；每個(gè)街景圖像記錄包括圖像2308、精確定位位置信息2310和精確度值2332；

·可選索引2324，其用于將街景圖像記錄2306組織在圖像數(shù)據(jù)庫2320中；

·可選的結(jié)果排名模塊2326(有時(shí)稱作相關(guān)性評(píng)分模塊)，其用于對(duì)來自搜索應(yīng)用的結(jié)果進(jìn)行排名，所述排名模塊可以對(duì)來自搜索應(yīng)用的每個(gè)結(jié)果指定相關(guān)性分值，并且如果沒有結(jié)果達(dá)到預(yù)定的最低分值，則可以向前端視覺查詢處理服務(wù)器返回指示來自該服務(wù)器系統(tǒng)的結(jié)果不相關(guān)的空或零值分值；和

·注釋模塊2328，其用于從注釋數(shù)據(jù)庫(圖1的116)接收確定任意注釋信息是否與特定搜索應(yīng)用相關(guān)的注釋信息，并且將任意所確定的注釋信息相關(guān)部分合并到相應(yīng)注釋數(shù)據(jù)庫2330中。

圖24是圖示依據(jù)一些實(shí)施例的基于位置的搜索系統(tǒng)112-g的框圖。被用來處理位置查詢的基于位置的搜索系統(tǒng)112-g包括一個(gè)或多個(gè)處理單元(cpu)2402、一個(gè)或多個(gè)網(wǎng)絡(luò)或其它通信接口2404、存儲(chǔ)器2412，以及用于將這些組件進(jìn)行互連的一個(gè)或多個(gè)通信總線2414。通信總線2414可以包括互連和控制在系統(tǒng)組件之間的通信的電路(有時(shí)稱為芯片集)。存儲(chǔ)器2412包括高速隨機(jī)存取存儲(chǔ)器，諸如dram、sram、ddrram或其它隨機(jī)存取固態(tài)存儲(chǔ)器設(shè)備；并且可以包括非易失性存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、光盤存儲(chǔ)設(shè)備、閃存設(shè)備或者其它非易失性固態(tài)存儲(chǔ)設(shè)備。存儲(chǔ)器2412可以可選地包括與cpu2402遠(yuǎn)程定位的一個(gè)或多個(gè)存儲(chǔ)設(shè)備。存儲(chǔ)器2412或者可替換地存儲(chǔ)器2412內(nèi)的非易失性存儲(chǔ)設(shè)備包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。在一些實(shí)施例中，存儲(chǔ)器2412或者存儲(chǔ)器2412的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)以下程序、模塊和數(shù)據(jù)結(jié)構(gòu)或者其子集：

·操作系統(tǒng)2416，其包括用于處理各種基本系統(tǒng)服務(wù)以及用于執(zhí)行依賴于硬件的任務(wù)的程序；

·網(wǎng)絡(luò)通信模塊2418，其用于將基于位置的搜索系統(tǒng)112-g經(jīng)由一個(gè)或多個(gè)通信網(wǎng)絡(luò)接口2404(有線或無線)以及諸如互聯(lián)網(wǎng)、其它廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等的一個(gè)或多個(gè)通信網(wǎng)絡(luò)連接到其它計(jì)算機(jī)；

·搜索應(yīng)用2420，其針對(duì)處于位置擴(kuò)增搜索系統(tǒng)(112-f)所提供的增強(qiáng)位置信息或客戶端系統(tǒng)提供的粗略位置信息的指定范圍內(nèi)的搜索結(jié)果搜索基于位置的索引；在一些實(shí)施例中，返回指定范圍內(nèi)的所有搜索結(jié)果，而在其它實(shí)施例中，所返回的結(jié)果是與增強(qiáng)位置最接近的n個(gè)結(jié)果；在再其它的實(shí)施例中，搜索應(yīng)用返回總體而言類似于與增強(qiáng)位置信息相關(guān)聯(lián)的結(jié)果的搜索結(jié)果(例如，與增強(qiáng)位置信息相關(guān)聯(lián)的餐廳的某個(gè)范圍內(nèi)的所有餐廳)；

·位置數(shù)據(jù)庫2422，其包括記錄2406，每個(gè)記錄包括位置信息2310，其可以包括圖像中的實(shí)體的一個(gè)或多個(gè)位置，諸如前門附近的點(diǎn)和街道附近的點(diǎn)，與位置的精確度相關(guān)的信息2432、可選的郵政地址2434、指示記錄的相對(duì)重要性的突出度值2436，以及相關(guān)聯(lián)的其它信息2308(諸如元數(shù)據(jù)、聯(lián)系信息、評(píng)論和圖像)；

·可選索引2424，其用于將記錄2406組織在位置數(shù)據(jù)庫2420中；

·可選的結(jié)果排名模塊2426(有時(shí)稱作相關(guān)性評(píng)分模塊)，其用于對(duì)來自搜索應(yīng)用的結(jié)果進(jìn)行排名，所述排名模塊可以對(duì)來自搜索應(yīng)用的每個(gè)結(jié)果分配相關(guān)性，并且如果沒有結(jié)果達(dá)到預(yù)定的最低分值，則可以向前端視覺查詢處理服務(wù)器返回指示來自該服務(wù)器系統(tǒng)的結(jié)果不相關(guān)的空或零值分值；和

·注釋模塊2428，其用于從注釋數(shù)據(jù)庫(圖1的116)接收確定任意注釋信息是否與特定搜索應(yīng)用相關(guān)的注釋信息，并且將任意所確定的注釋信息相關(guān)部分合并到相應(yīng)注釋數(shù)據(jù)庫2430中。

圖23和24中所示出的每個(gè)軟件元素可以存儲(chǔ)在一個(gè)或多個(gè)之前所提到的存儲(chǔ)器設(shè)備中，并且對(duì)應(yīng)于用于執(zhí)行以上所描述功能的指令集合。以上所標(biāo)識(shí)的模塊或程序(即，指令集合)無需作為單獨(dú)的軟件程序、過程或模塊來實(shí)現(xiàn)，并且因此這些模塊的各個(gè)子集在各個(gè)實(shí)施例中可以進(jìn)行組合或者以另外的方式重新安排。在一些實(shí)施例中，相應(yīng)系統(tǒng)的存儲(chǔ)器可以存儲(chǔ)以上所標(biāo)識(shí)的模塊和數(shù)據(jù)結(jié)構(gòu)的子集。此外，相應(yīng)系統(tǒng)的存儲(chǔ)器可以存儲(chǔ)以上沒有描述的附加模塊和數(shù)據(jù)結(jié)構(gòu)。

雖然圖23和24示出了搜索系統(tǒng)，但是這些附圖更多地是意在作為可以在服務(wù)器集合中出現(xiàn)的各種特征的功能描述，而不是作為這里所描述的實(shí)施例的結(jié)構(gòu)示意。實(shí)際上，并且如本領(lǐng)域技術(shù)人員所認(rèn)識(shí)到的，單獨(dú)示出的項(xiàng)目可以進(jìn)行組合并且一些項(xiàng)目可以被分離。例如，在圖23和24中單獨(dú)示出的一些項(xiàng)目可以在單個(gè)服務(wù)器上實(shí)現(xiàn)并且單個(gè)項(xiàng)目可以由一個(gè)或多個(gè)服務(wù)器實(shí)現(xiàn)。用來實(shí)現(xiàn)基于位置的搜索系統(tǒng)或位置擴(kuò)增搜索系統(tǒng)的服務(wù)器的實(shí)際數(shù)量以及特征如何在它們之間進(jìn)行分配可以隨實(shí)施方式而有所變化，并且可以部分取決于系統(tǒng)在高峰使用期間以及平均使用期間所必須處理的數(shù)據(jù)業(yè)務(wù)的數(shù)量。

出于解釋的目的，已經(jīng)參考特定實(shí)施例對(duì)以上描述進(jìn)行了描述。然而，以上的說明性討論并非意在是窮舉的或者意在將權(quán)利要求限制為所公開的確切形式?？赡芑谝陨辖虒?dǎo)進(jìn)行許多修改和變化。實(shí)施例被選擇和描述是為了最佳地對(duì)發(fā)明原則及其實(shí)際應(yīng)用進(jìn)行解釋，由此使得本領(lǐng)域技術(shù)人員能夠適應(yīng)于所預(yù)期的特定用途而對(duì)本發(fā)明以及具有各種修改的各個(gè)實(shí)施例加以利用。