基于姿勢的搜索查詢的制作方法
【專利說明】基于姿勢的搜索查詢
[0001]背景
[0002]歷史上，通過允許用戶以文本形式鍵入用戶提供的搜索術(shù)語來進(jìn)行在線搜索。搜索到結(jié)果高度依賴于用戶鍵入的搜索術(shù)語。如果用戶對一主題不太熟悉，則該用戶所提供的搜索術(shù)語經(jīng)常不是將產(chǎn)生有用結(jié)果的最佳術(shù)語。
[0003]而且，隨著計算設(shè)備已變得更先進(jìn)，消費者開始更嚴(yán)重地依賴于移動設(shè)備。這些移動設(shè)備經(jīng)常具有小屏幕和小用戶輸入界面，諸如鍵區(qū)(keypad)。從而，經(jīng)由移動設(shè)備來搜索對消費者可能很困難，因為顯示屏上的字符的較小尺寸使得所鍵入的文本難以閱讀和/或鍵區(qū)用起來很困難或耗時。
[0004]概述
[0005]此處描述和要求保護的實現(xiàn)通過提供基于圖像的文本提取和搜索而解決了上述問題。根據(jù)一個實現(xiàn)，圖像可被用戶選擇，而相關(guān)聯(lián)的圖像數(shù)據(jù)和附近的文本數(shù)據(jù)可響應(yīng)于該圖像選擇而被提取。例如，通過從已選擇了網(wǎng)頁上的圖像的用戶接收姿勢輸入(例如，通過在觸摸屏界面上使用手指或指示筆來圈出該圖像)，可從該網(wǎng)頁提取圖像數(shù)據(jù)和文本數(shù)據(jù)。該系統(tǒng)隨后標(biāo)識相關(guān)聯(lián)的圖像數(shù)據(jù)和位于所選擇的圖像附近的文本數(shù)據(jù)。
[0006]根據(jù)另一個實現(xiàn)，所提取的圖像數(shù)據(jù)和文本數(shù)據(jù)可被用來執(zhí)行計算機化的搜索。例如，可基于所提取的圖像數(shù)據(jù)和所提取的附近的文本數(shù)據(jù)來向用戶呈現(xiàn)一個或多個搜索選項。該系統(tǒng)可基于該文本數(shù)據(jù)確定一個或多個數(shù)據(jù)庫搜索項并生成與該圖像數(shù)據(jù)和文本數(shù)據(jù)有關(guān)的至少第一搜索查詢提議。
[0007]提供本概述以便以簡化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本
【發(fā)明內(nèi)容】
并不旨在標(biāo)識所要求保護主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。
[0008]此處還描述和列舉了其他實現(xiàn)。
[0009]附圖簡述
[0010]圖1示出從用戶選擇的圖像生成文本數(shù)據(jù)的示例，該文本數(shù)據(jù)可在增強用戶可用的搜索選項時使用。
[0011]圖2示出在允許基于用戶所選擇的圖像數(shù)據(jù)來執(zhí)行增強的搜索的系統(tǒng)中執(zhí)行的示例操作。
[0012]圖3示出用于從輸入圖像確定文本數(shù)據(jù)的示例操作。
[0013]圖4示出用于基于用戶所選擇的圖像來制定計算機化搜索的示例操作。
[0014]圖5示出用于基于圖像數(shù)據(jù)和來自該圖像附近的文本數(shù)據(jù)來生成搜索查詢提議的示例操作。
[0015]圖6示出用于基于圖像數(shù)據(jù)和文本數(shù)據(jù)來重新組織所生成的搜索結(jié)果的示例操作。
[0016]圖7示出用于執(zhí)行基于姿勢的搜索的示例系統(tǒng)。
[0017]圖8示出用于執(zhí)行基于姿勢的搜索的另一個示例系統(tǒng)。
[0018]圖9示出用于執(zhí)行基于姿勢的搜索的又一個示例系統(tǒng)。
[0019]圖10示出了可以對實現(xiàn)所描述的技術(shù)有用的示例系統(tǒng)。
[0020]詳細(xì)描述
[0021]計算設(shè)備的用戶可使用文本輸入來進(jìn)行搜索。例如，通過輸入到瀏覽器的文本搜索字段中的文本單詞的序列，可形成搜索查詢。瀏覽器隨后可在計算機網(wǎng)絡(luò)上執(zhí)行搜索并向用戶返回文本搜索的結(jié)果。當(dāng)消費者知道他或她正在尋找什么的時候，這種系統(tǒng)足以工作，但是當(dāng)用戶關(guān)于正搜索的主題或項目知道得不多時，這種系統(tǒng)就不那么有幫助了。例如，用戶可能正在搜索他或她在雜志廣告上看到但不容易用名字來標(biāo)識的服飾的文章。而且，消費者可能正搜索消費者不能充分描述的項目。
[0022]而且，被呈現(xiàn)給消費者的數(shù)據(jù)內(nèi)容是越來越基于圖像的數(shù)據(jù)。而且，這種圖像內(nèi)容經(jīng)常經(jīng)由其移動設(shè)備，諸如移動電話、平板、和具有基于表面的用戶界面的其他設(shè)備，來呈現(xiàn)給消費者。這些設(shè)備(尤其是移動電話)上的用戶界面可能對消費者來說在輸入文本時非常難以使用。由于鍵區(qū)的大小，輸入文本可能是困難的，并且由于這些移動設(shè)備上的顯示器的小的尺寸，拼寫或標(biāo)點中的錯誤可能難以捕捉。從而，文本搜索可能是不方便的，并且有時候是困難的。
[0023]圖1示出從用戶選擇的圖像生成文本數(shù)據(jù)的示例，該文本數(shù)據(jù)可在增強用戶可用的搜索選項時使用。使用提供用戶界面100的系統(tǒng)，用戶能夠采用姿勢102來選擇正被顯示的圖像以從鄰近該圖像的文本提取關(guān)于該圖像的數(shù)據(jù)和上下文數(shù)據(jù)。一般而言，姿勢是指向計算是河北的輸入，其中人的一個或多個物理動作被計算設(shè)備檢測并解釋以向該計算設(shè)備傳遞特定的消息、命令和其他輸入。這種物理動作可包括相機檢測的移動、觸摸屏檢測的移動、基于指示筆的輸入等，并且可與音頻和其他類型的輸入相組合。如圖1所示，姿勢102用圍繞設(shè)備屏幕上的一圖像的圓形描繪或“套索”來表示。根據(jù)一個實現(xiàn)，如果用戶或作者會認(rèn)為文本與所發(fā)布的圖像相關(guān)聯(lián)(例如，基于它相對于所發(fā)布的圖像的位置)，則認(rèn)為文本是鄰近的。在一個替代實現(xiàn)中，鄰近數(shù)據(jù)可以是從距離圖像的邊界的預(yù)先確定的距離獲取的文本。
[0024]例如，用戶可使用被稱為套索的姿勢來圈出設(shè)備上顯示的圖像。與顯示器相關(guān)聯(lián)的計算設(shè)備將套索當(dāng)作選擇所顯示的圖像的姿勢輸入來對待，例如，這可使用基于表面的用戶界面來完成。
[0025]在圖1中，用戶已利用基于表面的用戶界面來圈出用戶界面100中所顯示的特定的鞋。正顯示該圖像的計算設(shè)備可將該套索與正被顯示的內(nèi)容的特定部分相關(guān)。在圖1中，該內(nèi)容是鞋的圖像。標(biāo)識該圖像的數(shù)據(jù)可被用作向數(shù)據(jù)庫的輸入以確定與顯示器中的鞋的那幅圖相關(guān)聯(lián)的文本或數(shù)據(jù)。在圖1的示例中，在用戶界面100中在所選擇的鞋圖像下方列出的文本(即，標(biāo)識為“在圖像附近發(fā)布的關(guān)鍵文本”)被該系統(tǒng)確定為鄰近該鞋圖像并從而與該鞋圖像相關(guān)聯(lián)。結(jié)果是，該系統(tǒng)可提取該鄰近的文本數(shù)據(jù)，該鄰近的文本數(shù)據(jù)隨后可與鞋的圖像組合使用以提供增強的搜索選項(如由增強的搜索106所表示的)，諸如所建議的搜索查詢。而且，可執(zhí)行此姿勢處理而用戶無需鍵入任何用戶生成的搜索項。相反，此實現(xiàn)中的用戶可以進(jìn)使用姿勢(例如套索)來選擇鞋的圖像。
[0026]圖1中的數(shù)據(jù)庫104可被定位為顯示該圖像的系統(tǒng)的一部分。替代地，數(shù)據(jù)庫可位于該移動設(shè)備的遠(yuǎn)程。而且，增強的搜索可由該顯示設(shè)備或由一位于遠(yuǎn)程的設(shè)備執(zhí)行。
[0027]圖2示出在允許基于用戶所選擇的圖像數(shù)據(jù)來執(zhí)行增強的搜索的系統(tǒng)200中執(zhí)行的示例操作。該流程的各部分在圖2中被分配給用戶(在較下部分)、客戶端設(shè)備(在中間部分)、以及分配給服務(wù)器或云(在較上部分)，盡管在其他實現(xiàn)中各操作可被不同地分配。表達(dá)操作204指示用戶對他或她的意圖的表達(dá)，諸如通過基于姿勢的輸入。從而，如由用戶界面208所示，用戶已圈出在客戶端設(shè)備的用戶界面中呈現(xiàn)的圖像。在一個實現(xiàn)中，該圖像的源可以是該用戶從Web上下載的已準(zhǔn)備好的內(nèi)容。替代地，該圖像可以是用戶用他或她的移動設(shè)備拍攝的照片。也構(gòu)想了其他替代。用戶可選擇(例如，通過套索姿勢)整個圖像或僅選擇該圖像的一部分以搜索與所選擇的部分有關(guān)的更多信息。在圖2中的該特定實現(xiàn)中，正在顯示該圖像的設(shè)備可基于用戶輸入姿勢來確定哪個圖像或圖像的哪個部分已被選擇。
[0028]圖2示出了客戶端設(shè)備不僅能夠生成有界的圖像查詢(查詢操作216)，而且還能基于周圍的上下文數(shù)據(jù)(諸如附近的文本數(shù)據(jù))(上下文操作212)來生成查詢數(shù)據(jù)。作為對附近的文本數(shù)據(jù)的替代或附加，該系統(tǒng)可生成與該圖像相關(guān)聯(lián)但是未必被顯示的嵌入的關(guān)鍵詞或元數(shù)據(jù)。從而，客戶端設(shè)備可確定哪個文本或元數(shù)據(jù)鄰近或以其他方式與所選擇的圖像相關(guān)聯(lián)。如同上面指出的，這種確定例如可以通過使用存儲圖像數(shù)據(jù)和相關(guān)數(shù)據(jù)(諸如與所顯示的圖像相關(guān)聯(lián)的相關(guān)文本數(shù)據(jù))的數(shù)據(jù)庫來做出。相關(guān)數(shù)據(jù)的其他示例包括:圖像標(biāo)題、圖像說明(ima