基于由移動設備記錄的圖像的內容的數(shù)據(jù)訪問的制作方法
【專利摘要】本發(fā)明提供了一種基于由移動設備記錄的圖像的內容的數(shù)據(jù)訪問，其實施例涉及使用圖像數(shù)據(jù)和情境性數(shù)據(jù)來基于一個或多個先前獲得的圖像確定關于場景的信息。諸如圖像捕捉的位置之類的情境性數(shù)據(jù)可用于確定與情境性數(shù)據(jù)相關的先前獲得的圖像，和其他位置相關信息，例如告示牌位置。即使在低分辨率設備(例如蜂窩電話)的情況下，也可以在先前獲得的圖像和新捕捉的圖像之間比較圖像屬性，例如直方圖或光學辨識的字符。在預定的閾值內匹配的屬性指示出匹配的圖像。關于匹配的先前獲得的圖像的內容的信息可被提供回給捕捉了新圖像的用戶。用戶簡檔數(shù)據(jù)可細化內容信息。內容信息還可用作搜索字詞，以用于額外的搜索或其他處理。
【專利說明】基于由移動設備記錄的圖像的內容的數(shù)據(jù)訪問
[0001] 分案申請說明
[0002] 本申請是申請日為2009年04月20日、題為"基于由移動設備記錄的圖像的內容 的數(shù)據(jù)訪問"的中國發(fā)明專利申請No. 200980116509.X(PCT國際申請PCT/US2009/041146) 的分案申請。
[0003] 相奪申請的奪叉引用
[0004]本申請要求2008年5月15日提交的美國專利申請No. 12/121，259的優(yōu)先權，特 此通過引用將該專利申請全部并入。

【技術領域】
[0005] 本發(fā)明涉及基于成像訪問信息，更具體而言涉及利用具有相似的情境關連元素 (contextcorrelationelement)(例如鄰近的位置）的多個圖像來確定與圖像的內容相關 的信息。

【背景技術】
[0006] 將信息輸入到移動電話或其他移動設備中是困難的。輸入信息通常涉及在小按鍵 上鍵入以將一小組單詞輸入到搜索窗口中。在鍵入統(tǒng)一資源定位符（URL)和其他特殊數(shù)據(jù) 所需的特殊字符時，這就更加困難了。取代鍵入，一些移動設備使用戶可以輸入語音命令。 然而，語音命令的數(shù)目和類型通常是非常有限的。這些移動設備根據(jù)語音命令來解釋特殊 字符也是很困難的。
[0007] 另外，用戶常常對與其看到的事物相關的信息感興趣，這些事物是很難描述成語 音命令或音頻輸入的。許多移動設備現(xiàn)在包括數(shù)字相機。移動設備用戶通?？梢圆蹲綀D像， 并且下載該圖像和/或利用消息將該圖像傳輸?shù)搅硪挥嬎阍O備。這些相機通常比鍵盤更便 宜，但也通常具有較低的分辨率，例如三百萬像素或更低。這些低分辨率相機通常不適合于 對象辨識。

【專利附圖】

【附圖說明】
[0008] 參考以下附圖描述本發(fā)明的非限制性和非窮舉性實施例。在附圖中，除非另有指 明，否則相似的標號在各圖中始終指代類似的部件。
[0009] 為了更好地理解本發(fā)明，現(xiàn)在將參考以下應聯(lián)系附圖來閱讀的"【具體實施方式】"部 分，附圖中：
[0010] 圖1圖示了本發(fā)明可在其中實現(xiàn)的示例性系統(tǒng)的一個實施例的示圖；
[0011] 圖2示出了示例性移動設備的一個實施例的示意圖；
[0012] 圖3圖示了示例性網(wǎng)絡設備的一個實施例的示意圖；
[0013] 圖4圖示了用于基于所捕捉的圖像來確定和處理圖像相關信息的示例性整體邏 輯的流程圖；并且
[0014] 圖5圖示了用于基于所捕捉的圖像來確定搜索字詞和結果的示例性邏輯的流程 圖。

【具體實施方式】
[0015] 現(xiàn)在將在下文中參考附圖更全面地描述本發(fā)明，附圖形成說明書的一部分，并且 以圖示方式示出了可用來實現(xiàn)本發(fā)明的具體示例性實施例。然而，本發(fā)明可以用許多不同 形式來實現(xiàn)并且不應當被解釋為限于這里記載的實施例；更確切地說，提供這些實施例是 為了使本公開詳盡并完整并且會將本發(fā)明的范圍完全地傳達給本領域的技術人員。本發(fā)明 可以實現(xiàn)為方法或設備，等等。從而，本發(fā)明可以采取完全硬件的實施例或者組合軟件和硬 件方面的實施例的形式。以下詳細描述因此不應當從限制意義上來理解。
[0016] 在整個說明書和權利要求中，除非上下文明確地另有規(guī)定，否則以下術語采取與 這里明確關聯(lián)的含義。這里使用的短語"在一個實施例中"不一定指的是同一實施例，但也 可以指同一實施例。另外，這里使用的短語"在另一實施例中"不一定指的是一不同實施例， 但它也可指一不同實施例。因此，如下所述，本發(fā)明的各種實施例可以很容易被組合，而不 脫離本發(fā)明的范圍或精神。
[0017] 此外，這里使用的術語"或"是包含性"或"運算符，并且等同于術語"和/或"，除 非上下文明確地另有規(guī)定。術語"基于"不是排他的并且允許基于沒有記載的其他因素，除 非上下文明確地另有規(guī)定。此外，在整個說明書中，"a"、"an"和"the"的含義包括多數(shù)形 式。"在...中"的含義包括"在...中"和"在...上"。
[0018] 簡言之，本發(fā)明的實施例涉及使用圖像數(shù)據(jù)和情境性數(shù)據(jù)來確定關于場景的信 息。內容信息可被直接訪問并返回給用戶，可被用作搜索字詞，用作其他處理的輸入，或者 用于其他目的。所捕捉的圖像數(shù)據(jù)、先前圖像分析數(shù)據(jù)、簡檔數(shù)據(jù)和從許多用戶收集到的其 他數(shù)據(jù)被用于更好地確定所捕捉的圖像的主題以及用戶最可能期望的信息。不是依賴于高 分辨率圖像和復雜的圖像處理技術，而是將與圖像和位置相關的各種形式的數(shù)據(jù)的集合用 作基于社區(qū)的辨識。
[0019] 圖像數(shù)據(jù)可包括鄰近同一位置的一個或多個圖像。這些圖像可由許多不同的用戶 利用不同的相機或其他設備拍攝。這（一個或多個）圖像可包括非文本信息，例如徽標、 地標等等。作為附加或替換，這（一個或多個）圖像可包括文本信息，例如標牌、告示牌等 等上的字符串。情境性數(shù)據(jù)可包括拍攝每個圖像的位置、與拍攝一個或多個這種圖像的移 動設備相關聯(lián)的用戶簡檔，等等。作為附加或替換，情境性數(shù)據(jù)可包括關于該位置的已知信 息，例如商家、建筑物、街道名稱、關于該位置附近的一個或多個用戶執(zhí)行的動作的信息，等 等?？梢苑治鰣D像以確定標識出圖像的特性的直方圖。如果圖像分辨率允許，可執(zhí)行某種對 象辨識。還可分析圖像以定位和辨識圖像內的字符?？梢韵鄬τ谕挥脩艉?或其他用戶 對其他圖像的分析來評估這些圖像分析，以確定圖像的可能內容。類似地，可以評估情境性 數(shù)據(jù)以確定或修改圖像的可能內容和/或期望的關于圖像的可能信息。在一個實施例中， 可以將所確定或辨識的關鍵字、類別或其他信息提交給數(shù)據(jù)搜索系統(tǒng)，以取回搜索結果、來 自具體辨識的統(tǒng)一資源定位符（URL)的網(wǎng)頁、電話簿信息、廣告或其他結果。作為附加或替 換，可對這些結果進行過濾、區(qū)分優(yōu)先級、分類或其他方式的進一步處理。
[0020] 本發(fā)明的實施例識別用戶拍攝的對象的含義，并且使用此含義作為對更多信息的 請求。傳統(tǒng)上，圖像評估是利用圖像辨識算法、嵌入碼或條碼來完成的。通常，這些圖像線 索是不可靠的，圖像質量太低，并且單是圖像辨識算法無法提供期望水平的精確度。在擁 有了足夠的情境性信息的情況下，基于已知的對象位置、先前搜索的結果等等，本發(fā)明的實 施例可以迅速地判定用戶拍攝了一張告示牌的照片，該告示牌廣告最近的動作電影或其他 具體信息。本發(fā)明的實施例可以向用戶示出一定制顯示屏，該顯示屏示出關于圖像的主題 (例如最近的電影）的更多信息。額外信息可包括最鄰近的放映的位置和時間和/或其他 信息。
[0021] 本發(fā)明的實施例使用盡可能多的輔助信息來辨別用戶在圖像中正看著什么。此額 外信息在這里通常被稱為情境或情境性信息。情境一般包括相機的位置、照片拍攝于何時、 時間、其他用戶在此位置處拍攝照片的概率、其他照片的內容（其中一些可能是利用高分 辨率相機拍攝的）、用戶先前尋找過的信息、在給定同一情境的情況下不同用戶選擇了某一 種信息的可能性、鄰近此位置的對象的已知位置，等等。
[0022] 可以通過許多不同的方式來使用情境。情境可用于使搜索偏向于有可能存在于用 戶拍攝的照片中的對象。中央服務器可從用戶接收低質量圖像，并利用諸如地點敏感型哈 希之類的算法執(zhí)行圖像匹配，以找出同一位置中同一對象的更好質量的圖像。因為服務器 過去曾接收更好的圖像，所以服務器已知分析過更好的圖像。通過對更好圖像的這種先前 分析所獲得的信息可能導致先前的用戶點擊了所產生的鏈接或者執(zhí)行了被服務器跟蹤的 其他動作。從而，服務器一般擁有與可能希望的關于圖像的主題的信息有關的更多情境性 信息。還可利用概率模型來對情境性信息編碼，這提供了關于圖像的主題的額外情境。例 如，看到Starbucks店面的概率在城市地區(qū)可能較高。作為另一示例，位置和其他情境可用 于辨識獨特的社區(qū)信息，例如語言字符。例如，在美國的少數(shù)位置中最有可能看到中文字 符?；谟脩舻奈恢?，服務器可以將精力集中于辨識采取已知在新圖像的地區(qū)中普遍使用 的語言的最有可能的字符。
[0023] 分析圖像的工作也可被分布在網(wǎng)絡上，就像情境信息可被分布那樣?？衫玫蛷?雜度算法來確定圖像的數(shù)字指紋，這種算法可利用最低限度的CPU能力（例如用戶的移動 設備）來計算。數(shù)字指紋和用戶的位置可被發(fā)送到服務器，以查明此圖像是否已經(jīng)被服務 器接收過。如果該圖像先前曾被服務器接收，則對該圖像的分析結果可被立即返回，從而使 重新分析的成本達到最低限度，并且通信費用也達到最低限度。在該網(wǎng)絡事務進行期間，用 戶的移動設備可以對圖像進行初始的特征提取和壓縮，以為在需要時將其發(fā)送到服務器以 便進行更詳細的分析做準備。該處理可開始于簡單的圖像匹配，進而是更精妙的算法，執(zhí)行 光學字符辨識（OCR)以確定圖像中的任何文本，請求用戶輸入關于圖像的信息，或者進行 到其他分析。本發(fā)明的一些實施例使用盡可能多的情境和圖像信息來縮窄用戶信息請求 的范圍并且遞送相關內容。先前跟蹤的用戶行為信息也可用于確定圖像的最可能內容，和 /或用戶期望的最可能信息。分析可隨著一次按鈕點擊（即，對相機快門的點擊）而發(fā)生。 在以下對示例性實施例的論述中提供額外細節(jié)。
[0024] 示例件橾作環(huán)塏
[0025] 圖1圖示了本發(fā)明可在其中操作的環(huán)境的一個實施例。然而，實現(xiàn)本發(fā)明可能不 需要所有這些組件，并且可以對組件的布置和類型進行改變，而不脫離本發(fā)明的精神或范 圍。
[0026] 如圖中所示，系統(tǒng)100包括客戶端設備102-104、網(wǎng)絡105以及服務器106。網(wǎng)絡 105與客戶端設備102-104中的每一個和服務器106通信并且使得客戶端設備102-104中 的每一個和服務器106之間能夠通信。
[0027] 客戶端設備102-104可包括幾乎任何能夠經(jīng)由網(wǎng)絡（例如，網(wǎng)絡105)從另一計算 設備（例如內容服務器108)接收和向另一計算設備發(fā)送消息、相互發(fā)送消息等等的計算設 備。這種設備的集合可包括通常利用無線通信介質連接的設備，例如蜂窩電話、智能電話、 尋呼機、步話機、射頻（RF)設備、紅外（IR)設備、CB、組合了一個或多個前述設備的集成電 路、或者幾乎任何移動設備，等等。類似地，客戶端設備102-104可以是任何能夠利用有線 或無線通信介質連接的設備，例如個人數(shù)字助理（PDA)、掌上PC、可佩戴計算機以及任何其 他被配備為經(jīng)由有線和/或無線通信介質通信的設備。這種設備的集合可包括通常利用有 線通信介質連接的設備，例如個人計算機、微處理器系統(tǒng)、基于微處理器的或可編程的消費 類電子產品、網(wǎng)絡PC等等。
[0028] 客戶端設備102-104內的每個客戶端設備可包括被配置為發(fā)送、接收和顯示網(wǎng)頁 等等的瀏覽器應用。瀏覽器應用可被配置為采用幾乎任何基于web的語言來接收和顯示圖 形、文本、多媒體等等，所述基于web的語言包括但不限于標準通用標記語言（SMGL)，比如 超文本標記語言（HTML)、可擴展標記語言（XML)、手持設備標記語言（HDML)，比如無線標記 語言（WML)、WMLScript,JavaScript，等等。客戶端設備102-104還可包括被配置為向采用 另一機制的另一計算設備發(fā)送和/或從該另一設備接收消息的消息傳遞應用，包括但不限 于即時消息傳遞（頂)、電子郵件、短消息服務（SMS)、多媒體消息服務（MMS)、互聯(lián)網(wǎng)中繼聊 天（IRC)、mIRC、Jabber,等等。
[0029] 網(wǎng)絡105被配置為將一個計算設備耦合到另一計算設備以使它們能夠通信。網(wǎng)絡 105能夠采用用于將信息從一個電子設備傳輸至另一電子設備的任何形式的計算機可讀介 質。另外，網(wǎng)絡105可以包括無線接口，和/或有線接口，例如因特網(wǎng)，以及局域網(wǎng)（LAN)、廣 域網(wǎng)（WAN)、例如通過通用串行總線（USB)端口的直接連接、其他形式的計算機可讀介質， 或者它們的任何組合。在LAN的互連集（包括基于不同體系結構和協(xié)議的那些）上，路由 器充當LAN之間的鏈路，使得消息能夠從一個發(fā)送至另一個。另外，LAN內的通信鏈路通 常包括雙絞線對或同軸線纜，而網(wǎng)絡之間的通信鏈路可以利用模擬電話線路、包括T1、T2、 Τ3和Τ4的全部或部分專用數(shù)字線路、數(shù)字信號級別3 (DS3)、光載波3 (0C3)、0C12、0C48、異 步傳輸模式（ATM)、綜合業(yè)務數(shù)字網(wǎng)（ISDN)、數(shù)字用戶線（DSL)、包括衛(wèi)星鏈路的無線鏈路 或者本領域技術人員已知的其他通信鏈路。另外，遠程計算機和其他相關電子設備可以經(jīng) 由調制解調器或臨時電話鏈路被遠程地連接到LAN或WAN。網(wǎng)絡105被構造為結合各種通 信協(xié)議和技術使用，所述通信協(xié)議和技術包括傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議（TCP/IP)、用戶 數(shù)據(jù)報協(xié)議（UDP)、無線應用協(xié)議（WAP)、全球移動通信系統(tǒng)（GSM)、碼分多址（CDMA)、時分 多址（TDMA)、通用分組無線電服務（GPRS)、超寬帶（UWB)、IEEE802. 16全球微波接入互通 (WiMax)，等等。實質上，網(wǎng)絡105包括可用來在客戶端設備102-104和/或服務器106之 間傳送?目息的任何通/[目方法。
[0030]用于在如上所述的通信鏈路中傳輸信息的介質一般包括可被計算設備訪問的任 何介質。計算機可讀介質可包括計算機存儲介質、有線和無線通信介質、或其任何組合。此 夕卜，計算機可讀介質通常包含計算機可讀指令、數(shù)據(jù)結構、程序模塊或其他數(shù)據(jù)。這種數(shù)據(jù) 可利用諸如載波、數(shù)據(jù)信號或其他傳輸機制之類的經(jīng)調制的數(shù)據(jù)信號通過通信介質傳輸， 并且包括任何信息遞送介質。術語"經(jīng)調制的數(shù)據(jù)信號"和"載波信號"包括這樣一種信號， 該信號的特性中的一個或多個以將信息、指令、數(shù)據(jù)等等編碼在該信號中的方式被設定或 改變。例如，通信介質包括諸如用于聲學、RF、紅外和其他無線信號的液體或空間之類的無 線介質，以及諸如雙絞線對、同軸線纜、光纖、波導之類的有線介質和其他有線介質。
[0031] 服務器106可包括多個計算設備或單個計算設備。服務器106可提供圖像分析服 務，例如確定直方圖、執(zhí)行OCR、將圖像與先前存儲的圖像相比較、確定關于圖像的信息、執(zhí) 行數(shù)據(jù)庫操作、執(zhí)行對額外信息的搜索、存儲關于圖像的信息、跟蹤用戶行為，等等。服務器 106還可提供內容和/或其他服務，例如網(wǎng)站、在線日志（例如，博客）、照片、評介、諸如消 息傳遞之類的在線服務、搜索、新聞、購買、廣告，等等。服務器106還可提供管理性服務，例 如網(wǎng)絡資源（比如網(wǎng)頁等等）之間的關系的創(chuàng)建、修改和管理。簡言之，服務器106可包括 任何能夠連接到網(wǎng)絡105的計算設備并且可管理對網(wǎng)絡用戶（例如，客戶端設備102-104 中的至少一個的用戶）的服務?？沙洚敺掌?06的設備包括專用服務器設備、個人計算 機、桌面型計算機、多處理器系統(tǒng)、基于微處理器的或可編程的消費類電子產品、網(wǎng)絡PC，等 等。服務器106和/或客戶端設備102-104中的任何一個可以實現(xiàn)在一個或多個計算設備 上，例如參考圖2描述的客戶端。
[0032] 示例件客戶端設各
[0033] 圖2示出了根據(jù)本發(fā)明一個實施例的用作參考數(shù)據(jù)收集器設備的示例性客戶端 設備200。在一個實施例中，客戶端設備200是移動設備，例如膝上型計算機。移動設備的 另一示例包括被布置為經(jīng)由一個或多個無線通信接口發(fā)送和接收語音通信和諸如SMS消 息之類的消息的PDA或蜂窩電話。移動電子設備常常能夠通過連接到一個或多個無線網(wǎng) 絡、連接到單個無線網(wǎng)絡的多個節(jié)點、經(jīng)由一個或多個信道與一個或多個網(wǎng)絡通信、或者以 其他方式參與一個或多個通信會話，來進行個人通信。一般地，客戶端設備200可包括任何 移動或靜止電子設備。這種設備包括膝上型電腦、掌上電腦、PDA、手持計算機、蜂窩電話、智 能電話、尋呼機、射頻（RF)設備、紅外（IF)設備、組合了一個或多個前述設備的集成電路， 等等?？蛻舳嗽O備200還可包括其他電子設備，例如個人計算機、多處理器系統(tǒng)、基于微處 理器的或可編程的消費類電子產品、網(wǎng)絡PC、可佩戴計算機，等等。
[0034] 客戶端設備200可包括比圖2所示的多得多或更少的組件。然而，所示出的組件 足以公開用于實現(xiàn)本發(fā)明的示例性實施例。如圖中所示，客戶端設備200包括經(jīng)由總線224 與大容量存儲器230通信的處理單元222。
[0035] 大容量存儲器230包括RAM232、R0M234和其他存儲裝置。大容量存儲器230例示 了用于信息存儲的計算機存儲介質的另一示例，這些信息例如是計算機可讀指令、數(shù)據(jù)結 構、程序模塊或其他數(shù)據(jù)。大容量存儲器230存儲用于控制客戶端設備200的低級操作的基 本輸入/輸出系統(tǒng)（"BIOS"）240。大容量存儲器還存儲用于控制客戶端設備200的操作 的操作系統(tǒng)241。將會明白，該組件可以包括：通用操作系統(tǒng)，例如某一版本的Windows?、 UNIX或LINUX?;或者專用移動通信操作系統(tǒng)，例如WindowsM〇bile?、Symbian?操作 系統(tǒng),等等。操作系統(tǒng)例如可以包括Java?虛擬機模塊或與之相接口，Java?虛擬機模塊經(jīng) 由Java應用程序來使能對硬件組件和/或操作系統(tǒng)操作的控制。
[0036] 存儲器230還包括一個或多個數(shù)據(jù)存儲單元242,其可以被客戶端設備200用來 存儲程序244和/或其他數(shù)據(jù)等等。程序244可包括計算機可執(zhí)行指令，這些指令在被客 戶端設備200執(zhí)行時發(fā)送、接收、渲染和/或以其他方式處理標記頁面，例如HTML頁面、XML頁面、WAP頁面（有時稱為WAP卡），等等。從而，程序244可包括計算機可執(zhí)行指令的瀏覽 器程序，其可在操作系統(tǒng)241的控制下運行，以使能和管理對標記頁面和消息（例如，HTTP、 TCP/IP、SMS、麗S、IM、電子郵件和/或其他消息）、音頻、視頻的請求、接收和渲染以及使能 與另一客戶端設備的另一用戶的通訊。應用程序的其他示例包括日歷、聯(lián)系人管理器、任務 管理器、代碼轉換器、數(shù)據(jù)庫程序、字處理程序、電子表格程序、游戲，等等。
[0037] 此外，大容量存儲器230存儲圖像處置模塊246,其可作為在操作系統(tǒng)241控制下 的外部模塊運行，作為瀏覽器內的插件模塊運行，在網(wǎng)頁內運行，或者經(jīng)由其他配置運行。 圖像處置模塊246可執(zhí)行對圖像數(shù)據(jù)、情境信息、對圖像數(shù)據(jù)的用戶請求和與移動設備獲 取或接收的圖像相關的其他數(shù)據(jù)的初始處理或完整處理。
[0038] 客戶端設備200還包括電源226、一個或多個無線接口 250、音頻接口 252、顯示器 254、鍵區(qū)256、照明器258、可選的數(shù)據(jù)捕捉模塊259、輸入/輸出接口 260、可選的觸覺接口 262以及可選的全球定位系統(tǒng)（GPS)接收器264。電源226向客戶端設備200提供電力。可 以使用可再充電或不可再充電的電池來提供電力。也可以由諸如AC適配器或給電池補充 電力和/或再充電的座式充電器（powereddockingcradle)之類的外部電源提供電力。
[0039] 客戶端設備200可以可選地與基站通信或者直接與另一客戶端設備通信。無線 接口 250包括用于將客戶端設備200耦合到一個或多個無線網(wǎng)絡的電路，并且被構造為結 合一個或多個通信協(xié)議和技術使用，所述通信協(xié)議和技術包括但不限于TCP/IP、UDP、GSM、 CDMA、TDMA、SMS、GPRS、WAP、UWV、IEEE802. 16 (WiMax)，等等。
[0040] 音頻接口 252被布置為產生和接收音頻信號，例如人類語音的聲音、音樂，等等。 例如，音頻接口 252可耦合到揚聲器和麥克風（未示出），來使能與他人的通訊以及/或生 成對某個動作的音頻確認。顯示器254可以是液晶顯示器（LCD)、氣體等離子體、發(fā)光二極 管（LED)或與客戶端設備結合使用的任何其他類型的顯示器。顯示器254還可以包括被布 置來從諸如觸筆或人類的手指之類的物體接收輸入的觸摸感知屏。
[0041] 鍵區(qū)256可以包括被布置來從用戶接收輸入的任何輸入設備。例如，鍵區(qū)256可 以包括鍵盤、按鈕數(shù)字撥號盤，等等。鍵區(qū)256還可以包括與選擇和執(zhí)行可改變的處理相關 聯(lián)的命令按鈕。照明器258可以提供狀態(tài)指示和/或提供光。照明器258可以在特定時段 期間或響應于事件而保持活動。例如，當照明器258活動時，其可以從背后照明鍵區(qū)256上 的按鈕并且在客戶端設備被供電期間保持開啟。另外，照明器258可以在特定的動作（例 如，撥叫另一客戶端設備）被執(zhí)行時以不同的圖案來從背后照明這些按鈕。照明器258還 可以使得位于移動設備的透明或半透明外殼內的光源響應于動作來進行照明。照明器258 還可用作圖像捕捉的閃光燈。在客戶端設備200中可包括數(shù)據(jù)捕捉模塊259,例如相機?？?戶端設備可獲得圖像、視頻、溫度、壓力或其他數(shù)據(jù)。
[0042] 客戶端設備200還包括用于與外部設備（例如，頭戴式耳機）或圖2中未示出的 其他輸入或輸出設備進行通信的輸入/輸出接口 260。輸入/輸出接口 260可以利用一種 或多種通信技術，例如USB、紅外、Bluetooth?等等?？蛇x的觸覺接口 262被布置為向客戶 端設備的用戶提供觸覺反饋。例如，觸覺接口可以被用來在另一客戶端設備用戶呼叫時以 特定方式振動客戶端設備200。
[0043] 可選的GPS收發(fā)器264可以確定客戶端設備200在地球表面上的物理坐標，其通 常將位置以維度和經(jīng)度值的形式輸出。GPS收發(fā)器264還可以采用其他地理定位機制，包括 但不限于三角測量、輔助GPS(AGPS)、增強型觀測時間差（E-OTD)、蜂窩標識符（Cl)、服務區(qū) 域標識符（SAI)、增強型定時提前（ETA)、基站子系統(tǒng)（BSS)等等，來進一步確定客戶端設備 200在地球表面上的物理位置?？梢岳斫?，在不同的條件下，GPS收發(fā)器264可以為客戶端 設備200確定毫米精度的物理位置；而在其他情況中，所確定的物理位置可能不那么精確， 例如精度為米或大得多的距離。
[0044] 示例件網(wǎng)絡設各
[0045] 圖3示出了根據(jù)本發(fā)明一個實施例的網(wǎng)絡設備的一個實施例。網(wǎng)絡設備300可包 括比所示出的多得多或更少的組件。然而，所示出的組件足以公開用于實現(xiàn)本發(fā)明的示例 性實施例。網(wǎng)絡設備300例如可表示分類服務器106、內容服務器108或圖1的另一客戶端 設備。出于示例目的，將把網(wǎng)絡設備300作為服務器設備來描述。
[0046] 如圖中所示，網(wǎng)絡設備300包括經(jīng)由總線324與大容量存儲器330通信的處理單 元322。大容量存儲器330 -般包括RAM332、R0M334和其他存儲裝置。大容量存儲器330 例示了一類計算機可讀介質，即計算機存儲介質。計算機存儲介質可以包括以任何信息存 儲的方法或技術實現(xiàn)的易失性、非易失性、可移除和非可移除介質，這些信息例如是計算機 可讀指令、數(shù)據(jù)結構、程序模塊或其它數(shù)據(jù)。計算機存儲介質的示例包括EEPR0M、閃存或其 它半導體存儲器技術、CD-ROM、數(shù)字多功能盤（DVD)或其它光學存儲裝置、盒式磁帶、磁帶、 磁盤存儲裝置或其它磁存儲設備或可以用來存儲所期望的信息并且可由計算設備訪問的 任何其它介質。
[0047] 大容量存儲器330存儲用于控制服務器設備300的低級操作的基本輸入/輸出系 統(tǒng)（"BI0S"）340。大容量存儲器還存儲用于控制服務器設備300的操作的操作系統(tǒng)341。 將會明白，該組件可以包括通用操作系統(tǒng)，例如某一版本的Windows、UNIX、LINUX、Solaris 等等。操作系統(tǒng)也可以包括Java虛擬機模塊或與之相接口，Java虛擬機模塊經(jīng)由Java應 用程序來使能對硬件組件和/或操作系統(tǒng)操作的控制。
[0048] 大容量存儲器330還包括一個或多個數(shù)據(jù)存儲單元342,其可被服務器設備300用 來存儲程序344和/或其他數(shù)據(jù)等等。程序344可包括計算機可執(zhí)行指令，這些指令可被 服務器設備300執(zhí)行以實現(xiàn)標記處置器應用，例如用于發(fā)送、接收和以其他方式處理HTTP 通信的HTTP處置器應用、用于發(fā)送、接收和以其他方式處理WAP通信的WAP處置器應用，等 等。類似地，程序344可包括安全套接字層（SSL)處置器應用，用于處理安全連接，例如以 安全方式發(fā)起以外部應用的通信。應用程序的其他示例包括內容管理應用、消息傳遞應用、 日程安排器、日歷、web服務、代碼轉換器、數(shù)據(jù)庫程序、字處理程序、電子表格程序、游戲，等 等。從而，程序344可處理圖像、音頻、視頻或標記頁面，使能與另一電子設備的另一用戶的 通訊，和/或其他服務。
[0049] 此外，大容量存儲器330存儲圖像處理模塊346。圖像處理模塊346可包括計算機 可執(zhí)行指令，這些指令可在操作系統(tǒng)341的控制下運行，以分析圖像、比較圖像、確定情境 信息、訪問與位置相關聯(lián)的信息、評估用戶行為數(shù)據(jù)、確定搜索字詞、或者執(zhí)行與圖像相關 的其他處理。在一個實施例中，圖像處理模塊346 -般與客戶端設備上的圖像處置模塊通 信。大容量存儲器330還可包括搜索模塊348,其可以是圖像處理模塊346的一部分或與圖 像處理模塊346通信。搜索模塊348可包括搜索引擎，該搜索引擎一般執(zhí)行數(shù)據(jù)搜索，例如 內容搜索、對到網(wǎng)絡資源的鏈接的搜索、數(shù)據(jù)庫搜索，等等。
[0050] 服務器設備300還包括用于與輸入/輸出設備通信的輸入/輸出接口 360,所述 輸入/輸出設備例如是鍵盤、鼠標、滾輪、操縱桿、搖臂開關、鍵區(qū)、打印機、掃描儀和/或圖 3中沒有具體示出的其他輸入設備。服務器設備300的用戶可使用輸入/輸出設備來與用 戶接口交互，該用戶接口可與操作系統(tǒng)341、程序344和/或其他模塊分離或集成。與用戶 接口的交互包括經(jīng)由顯示器和視頻顯示適配器354的視覺交互。
[0051] 服務器設備300可包括用于計算機可讀存儲介質的可移除介質驅動器352和/或 永久介質驅動器354?？梢瞥橘|驅動器352可包括光盤驅動器、軟盤驅動器和/或磁帶驅 動器中的一種或多種。永久或可移除存儲介質可包括以任何信息存儲的方法或技術實現(xiàn)的 易失性、非易失性、可移除和非可移除介質，這些信息例如是計算機可讀指令、數(shù)據(jù)結構、程 序模塊或其它數(shù)據(jù)。計算機存儲介質的示例包括CD-R0M355、數(shù)字多功能盤（DVD)或其他光 存儲裝置、盒式磁帶、磁帶、磁盤存儲裝置或其它磁存儲設備、RAM、ROM、EEPR0M、閃存或其他 存儲器技術、或可以用來存儲所期望的信息并且可由計算設備訪問的任何其它介質。
[0052] 經(jīng)由網(wǎng)絡通信接口單元350,服務器設備300可與廣域網(wǎng)（例如因特網(wǎng)）、局域網(wǎng)、 有線電話網(wǎng)、蜂窩電話網(wǎng)或某種其他通信網(wǎng)絡（例如圖1中的網(wǎng)絡105)通信。網(wǎng)絡通信接 口單元350有時被稱為收發(fā)器、收發(fā)設備、網(wǎng)絡接口卡（NIC)，等等。
[0053] 示例件邏輯
[0054] 圖4圖示了用于基于圖像數(shù)據(jù)來處理信息請求的示例性流程圖400。在一個示例 性實施例中，信息請求可以是基于從圖像確定的數(shù)據(jù)的額外信息的搜索請求。在操作402， 一個或多個數(shù)據(jù)服務建立情境性關連數(shù)據(jù)的一個或多個數(shù)據(jù)庫，所述情境性關連數(shù)據(jù)例如 是位置相關信息、用戶相關信息、時間相關數(shù)據(jù)、或者指示出圖像的情境或用于關連圖像的 其他數(shù)據(jù)。情境關連信息的示例可包括地理位置數(shù)據(jù)、廣告信息、商家信息、通信節(jié)點信息、 天氣信息、交通信息或其他信息。地理位置數(shù)據(jù)可包括GPS數(shù)據(jù)、郵政編碼、街道名稱、街 道地址、建筑物名稱、地標，等等。廣告信息可包括關于告示牌、繪制的壁式標牌、街道級標 牌、店面標牌等等的位置、內容和其他信息。商家信息可包括商家名稱、地址、電話號碼、商 標、徽標、URL、電子郵件地址、許諾銷售的產品、庫存信息、價格，等等。通信節(jié)點信息可包括 蜂窩塔位置、wifi熱點位置、網(wǎng)絡地址信息、通信能力信息，等等。也可通過位置相關信息的 (一個或多個）數(shù)據(jù)庫來維護實時數(shù)據(jù)。例如，數(shù)據(jù)服務可提供當前天氣狀況、交通狀況、事 件活動，等等。
[0055] 類似地，在此實施例中，（一個或多個）數(shù)據(jù)服務在操作404中跟蹤客戶端的在線 行為。客戶端用戶行為一般與行為的位置相關聯(lián)。在用戶許可的情況下，該（一個或多個） 數(shù)據(jù)服務可跟蹤消息傳遞、執(zhí)行的搜索、選擇的URL、進行的購買，等等。該（一個或多個） 數(shù)據(jù)服務還可確定與在線行為相關的其他參數(shù)。例如，數(shù)據(jù)服務可基于消息交換而確定若 干個客戶端用戶認識彼此，可以確定客戶端用戶可能有的興趣，等等。數(shù)據(jù)服務還可以確定 構成用戶的社交網(wǎng)絡的間接關系。
[0056] 在操作406,客戶端用戶利用移動客戶端設備來捕捉圖像數(shù)據(jù)。所捕捉的圖像數(shù)據(jù) 一般與一個或多個情境關連數(shù)據(jù)元素相關聯(lián)，所述情境關連數(shù)據(jù)元素例如是位置和/或以 上所述的其他數(shù)據(jù)。例如，用戶可利用蜂窩電話拍攝告示牌的照片。圖像和/或位置數(shù)據(jù) 可與時間戳、蜂窩塔位置、wifi網(wǎng)絡節(jié)點地址或其他數(shù)據(jù)相關聯(lián)。告示牌可包括商家名稱、徽 標、電話號碼、URL或其他內容?？蛻舳嗽O備可在本地執(zhí)行進一步的處理，或者可將圖像和 /或位置數(shù)據(jù)傳輸給服務器。例如，客戶端設備可能能夠執(zhí)行某種圖像直方圖分析、圖像指 紋分析，等等。客戶端設備可執(zhí)行這種分析并將結果傳輸給服務器。然而，在許多情況下， 諸如蜂窩電話之類的客戶端設備將具有有限的圖像處理能力。這種設備一般將把原始的或 經(jīng)壓縮的圖像數(shù)據(jù)和位置數(shù)據(jù)發(fā)送給服務器。
[0057]在可選的操作408,服務器可接收捕捉了圖像的客戶端的客戶端標識符，例如電 話號碼、移動標識號碼、用戶標識符，等等。服務器可以使用客戶端標識符來訪問先前存儲 的與該客戶端標識符相關聯(lián)的信息，例如先前提交的圖像、先前提交的位置、客戶端設備能 力、用戶行為、與該客戶端標識符相關的匯總信息，等等。服務器或客戶端設備還可接收與 圖像的位置相關聯(lián)的其他信息。如上所述，這種信息可以是預先確立的位置數(shù)據(jù)或者可包 括與位置相關的實時數(shù)據(jù)。例如，服務器可訪問或接收與鄰近圖像捕捉位置的位置相關聯(lián) 的商家信息。該商家信息可標識出商家及其與圖像捕捉位置的距離。類似地，服務器可以 訪問或接收與圖像捕捉位置相關的其他情境數(shù)據(jù)，例如街道名稱、郵政編碼、天氣狀況、交 通狀況，等等。
[0058]在操作410,服務器或客戶端設備分析所捕捉的圖像以確定圖像直方圖。圖像直方 圖一般標識出圖像的顏色參數(shù)和其他特性，以便圖像可以很容易被比較。在每個人都利用 相同相機在同一位置拍攝圖片的理想情形中，那么通過比較相應的圖像像素進行的簡單圖 像比較就將給出關于這些圖像是否是對同一對象拍攝的的確切度量。但這種簡單的度量一 般是不充分的。
[0059]在簡單的情況中，通過計算在圖像中找到的顏色的直方圖來比較兩個圖像以尋找 相似點。用于確定兩個圖像是否相似的量度只是比較（數(shù)十種）不同顏色中的每一種顏色 的像素部分的問題。此量度之所以有用是因為不論相機如何被旋轉它都能起作用，并且往 往不受縮放和變換的影響。例如，它一般對于確定看到了哪個告示牌是很有用的，因為在不 同公司之間顏色是獨特的。對于確定在所捕捉的圖像中某人站在若干個灰石型銀行大樓中 的哪一個前面，它則可能不那么有效。
[0060] 更精妙的方案，例如那些基于顯點（salientpoint)的，一般更健壯。在此方案 中，在圖像上運行一操作符，該操作符標識出圖像中尤其明顯的點或者不論朝向如何都突 顯出來的點。這些點通常是諸如拐角之類的圖像特征。一旦識別出顯點，就通過包括顏 色、局部紋理和朝向在內的任意數(shù)目的度量來表征它們。一般在如下情況下可判斷兩個 圖像相似，即，如果每個圖像中的顯點有很大比例可被匹配并且它們具有正確的對齊。這 種技術的不例的更多細節(jié)在DavidG.Lowe所著的"ObjectRecognitionfromLocal Scale-InvariantFeatures，'中記載。
[0061] 在判定操作412,服務器可以檢查先前存儲的直方圖（或顯點，等等）是否在預定 的匹配閾值內匹配新接收的圖像的直方圖（或顯點，等等）。在此示例性實施例中，服務器 選擇來自先前接收的圖像的直方圖數(shù)據(jù)，用于與所捕捉的圖像的直方圖結果相比較。為了 減少比較次數(shù)，服務器可以基于情境關連元素來選擇先前圖像分析數(shù)據(jù)，例如從所捕捉的 圖像的位置起的預定半徑。在一個實施例中，服務器可以選擇"最佳"先前圖像，或者與當前 捕捉的圖像相距一定距離內的最高分辨率圖像中排名靠前的若干個。作為附加或替換，月艮 務器可以使用其他標準來對先前直方圖數(shù)據(jù)進行過濾、優(yōu)先級區(qū)分或其他方式的選擇。其 他標準可包括從所捕捉的圖像起的一定范圍內的直方圖特性、各種數(shù)據(jù)庫中的圖像的分辨 率、僅限與特定的一組用戶標識符或移動設備標識符相關聯(lián)的先前圖像分析數(shù)據(jù)、在從圖 像捕捉位置起的一定數(shù)目的已知街區(qū)內的先前圖像分析數(shù)據(jù)，等等。
[0062] 一旦選擇了先前圖像分析數(shù)據(jù)，服務器就將所選擇的數(shù)據(jù)與對所捕捉圖像的圖像 分析結果相比較。另一圖像可具有非常相似的圖像直方圖，即使該另一圖像可能具有不同 的變焦、光線或其他圖像參數(shù)。例如，一個圖像可從一定的距離、在一天的某個時刻捕捉告 示牌。另一圖像可從另一不同距離、在一天的另一不同時刻捕捉同一告示牌。每個圖像的 圖像直方圖可被比較，以確定它們是否捕捉同一告示牌。或者，一個圖像的一部分可具有與 另一圖像的一部分的直方圖非常相似的直方圖。相似的部分可被檢測和比較。相似的部分 可對應于徽標或其他非字符符號。每個直方圖可充當用于標識圖像的數(shù)字指紋。相同的或 者從統(tǒng)計角度而言在預定閾值內相同的直方圖可被認為是等同的。這些比較幫助識別圖像 的內容。
[0063] 如果用戶簡檔數(shù)據(jù)與所捕捉的圖像和至少一個先前圖像相關聯(lián)，則先前用戶簡檔 數(shù)據(jù)也可被選擇并與當前捕捉的圖像的用戶簡檔數(shù)據(jù)相比較。這可幫助解決關于分辨可能 的徽標的不確定性，提供先前商家交互信息，或者提供關于所捕捉的圖像的其他額外情境 信息。
[0064] 一般地，如果找到了匹配，則服務器可以訪問上述任何一項，或者其他描述性信 息、搜索字詞、或與先前圖像相關的其他信息、和/或與用于與所捕捉的圖像相關的情境關 連數(shù)據(jù)相關的信息。在一個實施例中，情境關連數(shù)據(jù)是捕捉當前和先前圖像的位置。在一 些實施例中，在操作414,服務器可以執(zhí)行搜索，執(zhí)行其他處理，和/或立即向客戶端設備返 回圖像內容信息，例如先前存儲的圖像相關信息和/或先前存儲的位置相關信息。圖像內 容信息可以僅標識出圖像的內容或者可以包括關于圖像的內容的信息。在一些實施例中， 服務器可以在此結束其圖像處理操作，或者可以繼續(xù)進行進一步處理，如圖所示，以獲得額 外的圖像相關信息和/或位置相關信息。
[0065] 與直方圖評估類似，在操作416,服務器或客戶端設備可執(zhí)行光學字符辨識（OCR) 分析，以識別出圖像內的字符。在此實施例中，服務器以光學方式辨識出現(xiàn)在所捕捉的場景 的圖像中的字符。這種圖像一般是照片而不只是簡單的黑白頁面，因此諸如用于視頻OCR 的技術之類的更復雜的技術是有用的。一個處理包括兩個步驟：檢測和辨識。檢測一般識別 出圖像的下述可能區(qū)域：這種區(qū)域包括具有指示出其可能是文本的統(tǒng)計行為的紋理。例如， 西方字母具有許多緊鄰的水平和垂直線。一旦識別出可能區(qū)域，可能具有用于約束可能的 單詞的語言模型的模式辨識方法就被用于確定最可能的文本。用于OCR的示例性技術的細 節(jié)在RomanYampolskiy所著的"FeatureExtractionApproachesForOpticalCharacter Recognition"（其中包括RainerLienhart所著的一章）中記載。
[0066] 在此實施例的判定操作418中，服務器選擇來自先前接收的圖像的OCR數(shù)據(jù)，用于 與所捕捉的圖像的OCR結果相比較。與直方圖分析類似，服務器可以基于情境關連數(shù)據(jù)來 選擇先前圖像分析數(shù)據(jù)，例如從所捕捉的圖像的位置起的預定半徑。在一個實施例中，服務 器可以選擇"最佳"先前圖像，或者與當前捕捉的圖像相距一定距離內的最高分辨率圖像中 排名靠前的若干個。作為附加或替換，服務器可以使用其他標準來對先前OCR數(shù)據(jù)進行過 濾、優(yōu)先級區(qū)分或其他方式的選擇。其他標準可包括各種數(shù)據(jù)庫中的圖像的分辨率、與OCR 結果的單詞相似的單詞的所需最小數(shù)目、僅限與特定的一組用戶標識符或移動設備標識符 相關聯(lián)的先前圖像分析數(shù)據(jù)、在從圖像捕捉位置起的一定數(shù)目的已知街區(qū)內的先前圖像分 析數(shù)據(jù)，等等。
[0067] 一旦選擇了先前OCR圖像分析數(shù)據(jù)，服務器就將所選擇的數(shù)據(jù)與對所捕捉圖像的 圖像分析結果相比較。所辨識出的字符可被比較，以確定匹配的單詞、URL、電話號碼，等等。 匹配可基于預定的匹配閾值。例如，為了斷定在所捕捉的圖像和先前獲得的圖像之間存在 匹配，可能需要字符串中的預定百分比匹配。這些OCR比較可獨立地幫助識別圖像的內容， 或者可與直方圖比較結合使用。
[0068] 同樣與直方圖分析類似，如果用戶簡檔數(shù)據(jù)與所捕捉的圖像和至少一個先前OCR 圖像相關聯(lián)，則先前用戶簡檔數(shù)據(jù)也可被選擇并與當前捕捉的圖像的用戶簡檔數(shù)據(jù)相比 較。這可幫助解決關于部分辨識的字符或串的不確定性，提供先前商家交互信息，或者提供 關于所捕捉的圖像的其他額外情境信息。
[0069] 一般地，如果找到了匹配，則服務器可以訪問上述任何一項，或者其他描述性信 息、搜索字詞、或與先前圖像相關的其他信息、和/或與捕捉當前和先前圖像的位置相關的 信息。在一些實施例中，在操作420,服務器可以執(zhí)行搜索，執(zhí)行其他處理，和/或立即向客 戶端設備返回圖像內容信息，例如先前存儲的圖像相關信息和/或先前存儲的位置相關信 息。在一些實施例中，服務器可以在此結束其圖像處理操作，或者可以繼續(xù)進行進一步處 理，如圖所示，以獲得額外的圖像相關信息和/或位置相關信息，確定客戶端用戶可能期望 的圖像相關信息和/或位置相關信息，執(zhí)行搜索，或執(zhí)行其他操作。
[0070] 在此示例性實施例中，在操作422,服務器使用通過直方圖和OCR分析獲得的信息 來對圖像相關信息和/或位置相關信息執(zhí)行一個或多個可選擇的或自動的操作。這種操 作可包括執(zhí)行統(tǒng)計分析以確定可能的內容、搜索字詞或當前捕捉的圖像的其他圖像相關信 息。服務器可組合從所有信息源收集的信息，例如圖像、位置、來自數(shù)據(jù)庫的鄰近興趣點、來 自這個和其他用戶的點進數(shù)據(jù)，等等。服務器還可以判定是否存在沖突的或含糊的信息。月艮 務器可以訪問數(shù)據(jù)服務、返回鏈接、請求額外用戶輸入、或者其他操作。在一個實施例中，月艮 務器執(zhí)行搜索，這將參考圖5來更詳細描述。
[0071] 在操作424,服務器存儲位置信息、直方圖信息、OCR信息、操作結果、或其他數(shù)據(jù)。 所存儲的信息一般被索引到所捕捉的圖像，使得所存儲的信息可用于評估以后捕捉的圖 像。
[0072] 圖5示出了用于基于所捕捉的圖像來確定搜索字詞和結果的示例性邏輯的流程 圖。在一些實施例中，可通過當前捕捉的圖像和相似圖像數(shù)據(jù)內的可能搜索字詞或者基于 當前捕捉的圖像和相似圖像數(shù)據(jù)的可能搜索字詞來識別圖像內容或用戶期望的信息。這些 字詞可包括所辨識的字符、匹配的串、匹配的直方圖特性、手工預填充的字詞、所捕捉的圖 像的位置，等等。所捕捉的圖像的直方圖數(shù)據(jù)可用作其他直方圖數(shù)據(jù)庫或其他圖像數(shù)據(jù)庫 的搜索輸入。一些實施例可使用加權來確定主要電話號碼、或URL、或商家名稱、或者當前捕 捉的圖像內的或基于當前捕捉的圖像的其他優(yōu)選字詞。其他實施例可使用加權來確定主要 科學字詞（例如實驗室中的那些）或者藝術字詞（例如博物館中的那些），等等。
[0073] 在此示例性實施例中，為了基于圖像數(shù)據(jù)確定可能的搜索字詞，在操作502,服務 器使用情境性的圖像相關數(shù)據(jù)來確定更可能的搜索字詞?？苫趫D像相關數(shù)據(jù)來搜索用戶 簡檔數(shù)據(jù)、個體或匯總行為數(shù)據(jù)、設備標識符數(shù)據(jù)、或者其他這種數(shù)據(jù)。此情境性數(shù)據(jù)還可 用于對最終搜索字詞的確定進行加權。例如，與所捕捉的數(shù)據(jù)相關聯(lián)的用戶簡檔數(shù)據(jù)可指 示出捕捉圖像的移動設備的用戶經(jīng)常搜索電影信息。鄰近同一位置的先前圖像也可與電影 字詞相關聯(lián)。從而，所辨識的字符和直方圖數(shù)據(jù)有可能對應于影院告示牌，其列出當前放映 的電影。從而，服務器可確定搜索單詞、短語、演員姓名、影院品牌、或者與電影相關的其他 字詞。
[0074] 被跟蹤的位置數(shù)據(jù)也可用于確定與搜索字詞相關的概率模式。位置數(shù)據(jù)一般被與 圖像特征相組合。位置估計一般包括一個或多個概率估計。例如，估計可以指示出圖像是 從一定的方向以及某一可能的距離拍攝的概率。這一般形成概率空間中該點處的高斯突 起。在此突起內，服務器一般將知道有具有某一概率的一些對象，這些對象可以是來自先前 圖像和服務器已知的任何地理信息的估計。例如，服務器可能知道在所捕捉的圖像的位置 附近有一銀行。類似地，圖像分類工作或OCR也可具有與之相關聯(lián)的概率?？赏ㄟ^在后驗 概率估計中尋找峰值來改進對所捕捉的圖像的主題的確定。這可能是已知位置概率估計、 已知的關于所捕捉圖像附近區(qū)域的先前信息和圖像辨識結果的乘法函數(shù)。服務器還可以通 過假定先前信息不會一直去到零，來使計算規(guī)則化，因為新的建筑物或新的告示牌可能在 任何時間被構建。例如，有可能新的普通零售店會在短時間內出現(xiàn)。
[0075] 基于先前圖像分析數(shù)據(jù)，先前圖像一般具有與每個先前圖像相關聯(lián)的語義字詞， 這些語義字詞可用于搜索匹配和其他處理。例如，與圖像相關聯(lián)的字詞可標識出特定登入 頁面、服務或其他網(wǎng)絡資源的位置。網(wǎng)絡資源可能由廣告主、商家等等提供或由其贊助。作 為附加或替換，與圖像相關聯(lián)的字詞可提供去到一個或多個搜索結果頁面的關鍵。（一個或 多個）搜索數(shù)據(jù)庫可限于或包括注冊廣告主或商家的數(shù)據(jù)庫，這些注冊廣告主或商家提供 了名稱、電話號碼、URL、電子郵件地址、位置或者關于廣告主或商家的告示牌、標牌或圖像 中可能捕捉的其他物品的其他信息。廣告或商家數(shù)據(jù)庫或其內容可基于展示位置出價、額 外服務收費等等而被加權、過濾、區(qū)分優(yōu)先級，等等。中間結果可被獲得并用于細化搜索字 。
[0076] 服務器返回與所捕捉的圖像相關的搜索字詞。例如，服務器可返回最有可能是所 捕捉的圖像的主題的商家名稱、電話號碼和URL。服務器可以基于所返回的搜索字詞而自動 獲得信息，或者可以將這些字詞發(fā)送到捕捉了圖像的移動設備。移動設備的用戶可以判定 是否通過瀏覽器將返回的字詞提交給通用搜索引擎。
[0077]在操作504,服務器或另外的搜索引擎基于所確定的搜索字詞或者所確定的字詞 中用戶選擇的那些來執(zhí)行搜索?？梢詧?zhí)行一次或多次搜索迭代，以及/或者可搜索多個數(shù) 據(jù)庫。在結果操作506中，服務器可返回WML頁面、XHTML頁面、文本頁面、SMS消息、或者可 索引到先前圖像的其他信息。返回的頁面可被認為是關于圖像中捕捉的對象的主頁。返回 主頁可使得服務器向商家、廣告主或主頁的其他（一個或多個）贊助者收取費用。這樣可 以基于每圖片成本或每相機點擊成本而產生收入。
[0078]以上說明書、示例和數(shù)據(jù)提供了對本發(fā)明的構成的制造和使用的完整描述。例如， 可以僅基于匹配的直方圖信息；或者僅基于匹配的OCR數(shù)據(jù)來執(zhí)行搜索處理或其他操作。 作為另一示例，可以按類似的方式評估所捕捉的音頻數(shù)據(jù)，以確定搜索字詞或由此產生的 信息。類似地，可以按類似的方式評估所捕捉的視頻數(shù)據(jù)，以確定搜索字詞或由此產生的信 息。隨著在位置附近獲得額外圖像，還可調整匹配閾值。由于可在不脫離本發(fā)明的精神和 范圍的情況下做出本發(fā)明的許多實施例，因此本發(fā)明存在于權利要求中。
【權利要求】
1. 一種用于訪問信息的方法，包括： 由處理器接收表示由移動設備捕捉的圖像的圖像數(shù)據(jù)； 由所述處理器接收指示出所述移動設備捕捉所述圖像的位置的位置數(shù)據(jù)； 由所述處理器根據(jù)所述圖像數(shù)據(jù)確定圖像屬性信息； 由所述處理器確定所述圖像屬性信息是否在預定的匹配閾值內匹配先前獲得的屬性 信息，所述先前獲得的屬性信息是從先前獲得的圖像數(shù)據(jù)獲得的，所述先前獲得的圖像數(shù) 據(jù)表示在從所述移動設備捕捉所述圖像的位置起的預定距離內捕捉的先前圖像；以及 如果所述圖像屬性信息在所述預定的匹配閾值內匹配所述先前獲得的屬性信息，則由 所述處理器基于所述位置數(shù)據(jù)來訪問圖像內容信息，其中所述內容信息標識出與所述先前 獲得的圖像數(shù)據(jù)相關聯(lián)并且與所述位置相關聯(lián)的所述圖像的內容。
2. 如權利要求1所述的方法，其中，所述圖像屬性信息包括所述圖像的直方圖，并且所 述先前獲得的屬性信息包括先前確定的所述先前圖像的直方圖。
3. 如權利要求1所述的方法，其中，所述圖像屬性信息包括通過光學字符辨識從所述 圖像確定的字符，并且所述先前獲得的屬性信息包括先前確定的所述先前圖像的字符。
4. 如權利要求1所述的方法，還包括：如果所述圖像屬性信息在所述預定的匹配閾值 內匹配所述先前獲得的屬性信息，則由所述處理器基于所述圖像內容信息來訪問位置相關 信息，其中所述位置相關信息與所述先前獲得的圖像數(shù)據(jù)相關聯(lián)并且與所述位置相關聯(lián)。
5. 如權利要求1所述的方法，其中，所述圖像內容信息包括商家信息的標識符。
6. 如權利要求1所述的方法，其中，所述先前獲得的圖像數(shù)據(jù)是利用第二移動設備獲 得的。
7. 如權利要求1所述的方法，還包括： 由所述處理器確定與所述圖像內容信息相關聯(lián)的搜索字詞；以及 由所述處理器基于所述搜索字詞執(zhí)行數(shù)據(jù)搜索。
8. 如權利要求1所述的方法，還包括： 由所述處理器接收所述移動設備的移動設備標識符； 由所述處理器訪問與所述移動設備標識符相關聯(lián)的簡檔信息；以及 由所述處理器基于所述簡檔信息來選擇所述圖像內容信息的一部分。
9. 如權利要求8所述的方法，其中，所述簡檔信息包括與所述移動設備的用戶相關聯(lián) 的用戶行為信息。
10. 如權利要求1所述的方法，還包括： 由所述處理器確定在所述預定距離內捕捉的多個先前圖像中每一個的優(yōu)先級；以及 由所述處理器基于由所述先前獲得的圖像數(shù)據(jù)表示的先前圖像的所確定的優(yōu)先級來 選擇所述先前獲得的屬性信息。
11. 如權利要求1所述的方法，還包括由所述處理器將所述圖像內容信息返回給所述 移動設備。
12. -種用于訪問信息的服務器，包括： 處理器； 通信接口，所述通信接口與所述處理器和網(wǎng)絡進行通信；以及 存儲器，所述存儲器與所述處理器進行通信、并且存儲數(shù)據(jù)以及使得所述處理器執(zhí)行 包括下述項的多個操作的指令： 接收表示由移動設備捕捉的圖像的圖像數(shù)據(jù)； 接收指示出所述移動設備捕捉所述圖像的位置的位置數(shù)據(jù)； 根據(jù)所述圖像數(shù)據(jù)確定圖像屬性信息； 確定所述圖像屬性信息是否在預定的匹配閾值內匹配先前獲得的屬性信息，所述先前 獲得的屬性信息是從先前獲得的圖像數(shù)據(jù)獲得的，所述先前獲得的圖像數(shù)據(jù)表示在從所述 移動設備捕捉所述圖像的位置起的預定距離內捕捉的先前圖像；以及 在所述圖像屬性信息在所述預定的匹配閾值內匹配所述先前獲得的屬性信息的情況 下，基于所述位置數(shù)據(jù)來訪問圖像內容信息的裝置，其中所述內容信息標識出與所述先前 獲得的圖像數(shù)據(jù)相關聯(lián)并且與所述位置相關聯(lián)的所述圖像的內容。
13. 如權利要求12所述的服務器，其中，所述圖像屬性信息包括以下各項中的至少一 項： 所述圖像的直方圖，并且其中所述先前獲得的屬性信息包括先前確定的所述先前圖像 的直方圖；以及 通過光學字符辨識從所述圖像確定的字符，并且其中所述先前獲得的屬性信息包括先 前確定的所述先前圖像的字符。
14. 如權利要求12所述的服務器，其中所述指令還使得所述處理器執(zhí)行下述操作： 確定與所述圖像內容信息相關聯(lián)的搜索字詞；以及 基于所述搜索字詞執(zhí)行數(shù)據(jù)搜索。
15. 如權利要求12所述的服務器，其中所述指令還使得所述處理器執(zhí)行下述操作： 接收所述移動設備的移動設備標識符； 訪問與所述移動設備標識符相關聯(lián)的簡檔信息，其中所述簡檔信息包括與所述移動設 備的用戶相關聯(lián)的用戶行為信息；以及 基于所述簡檔信息來選擇所述圖像內容信息的一部分。
16. -種用于訪問信息的方法，包括： 利用移動設備來捕捉圖像； 由處理器確定所述成像設備的位置； 由所述處理器根據(jù)所述圖像創(chuàng)建圖像數(shù)據(jù)； 由所述處理器根據(jù)所述圖像數(shù)據(jù)確定圖像屬性信息； 由所述處理器通過網(wǎng)絡接口將所述圖像屬性信息發(fā)送到數(shù)據(jù)服務器，其中所述圖像屬 性信息是與要求確定所述圖像屬性信息是否在預定的匹配閾值內匹配先前獲得的屬性信 息的請求一起被發(fā)送的，所述先前獲得的屬性信息是從先前獲得的圖像數(shù)據(jù)獲得的，所述 先前獲得的圖像數(shù)據(jù)表示在從所述移動設備捕捉所述圖像的位置起的預定距離內捕捉的 先前圖像；以及 如果所述圖像屬性信息在所述預定的匹配閾值內匹配所述先前獲得的屬性信息，則由 所述處理器基于所述位置數(shù)據(jù)來接收圖像內容信息，其中所述內容信息標識出與所述先前 獲得的圖像數(shù)據(jù)相關聯(lián)并且與所述位置相關聯(lián)的所述圖像的內容。
17. 如權利要求16所述的方法，還包括由所述處理器向搜索引擎發(fā)送搜索請求，其中 所述搜索請求包括所述圖像內容信息的至少一部分。
18. -種用于訪問信息的網(wǎng)絡設備，包括： 處理器； 通信接口，所述通信接口與所述處理器和網(wǎng)絡進行通信； 圖像處理組件，所述圖像處理組件與所述處理器進行通信； 位置檢測器，所述位置檢測器與所述處理器進行通信； 輸出組件，所述輸出組件與所述處理器進行通信；以及 存儲器，所述存儲器與所述處理器進行通信、并且存儲數(shù)據(jù)以及使得所述處理器執(zhí)行 包括下述項的多個操作的指令： 使得所述圖像處理組件捕捉圖像； 使得所述位置檢測器確定所述成像設備的位置； 根據(jù)所述圖像創(chuàng)建圖像數(shù)據(jù)； 根據(jù)所述圖像數(shù)據(jù)確定圖像屬性信息； 通過網(wǎng)絡接口將所述圖像屬性信息發(fā)送到數(shù)據(jù)服務器，其中所述圖像屬性信息是與要 求確定所述圖像屬性信息是否在預定的匹配閾值內匹配先前獲得的屬性信息的請求一起 被發(fā)送的，所述先前獲得的屬性信息是從先前獲得的圖像數(shù)據(jù)獲得的，所述先前獲得的圖 像數(shù)據(jù)表示在從所述移動設備捕捉所述圖像的位置起的預定距離內捕捉的先前圖像； 在所述圖像屬性信息在所述預定的匹配閾值內匹配所述先前獲得的屬性信息的情況 下，基于所述位置數(shù)據(jù)來接收圖像內容信息，其中所述內容信息標識出與所述先前獲得的 圖像數(shù)據(jù)相關聯(lián)并且與所述位置相關聯(lián)的所述圖像的內容；以及 利用所述輸出組件輸出所述圖像內容信息。
19. 如權利要求18所述的網(wǎng)絡設備，其中所述網(wǎng)絡設備包括移動設備。
【文檔編號】H04W8/18GK104239408SQ201410374755
【公開日】2014年12月24日 申請日期:2009年4月20日 優(yōu)先權日:2008年5月15日
【發(fā)明者】阿倫·拉瑪努嘉帕若姆, 馬爾科姆·斯萊尼 申請人:雅虎公司