專利名稱：使用計算引擎來改進搜索相關(guān)性的制作方法
技術(shù)領(lǐng)域：
此處描述的“迭代查詢重制定器(Iterative Query Reformulator) ”使用計算引擎來通過一個或多個迭代處理并重制定初始查詢，以使得從使用最終的經(jīng)重制定的查詢的搜索引擎或推薦系統(tǒng)返回的結(jié)果相對于僅使用該初始查詢返回的結(jié)果具有改進的相關(guān)性。
背景技術(shù)：
典型搜索引擎依賴語言匹配來尋找與用戶查詢相關(guān)的文檔。例如，如果用戶輸入簡單搜索查詢{Barak 0bama(巴拉克奧巴馬)}，則搜索引擎一般會返回對于該查詢最普遍的一組經(jīng)排序的鏈接或響應(yīng)。進而，給定該初始查詢的具體性和簡單性，所返回的大多數(shù)鏈接可能與該查詢高度相關(guān)。然而，如果用戶輸入稍微更復(fù)雜的查詢，諸如例如{wife of Barak 0bama(巴拉克奧巴馬的妻子)}，則典型搜索引擎一般會返回可能不相關(guān)的多個鏈接或響應(yīng)。特別是，由該搜索引擎返回的來自第二次查詢的鏈接或響應(yīng)中的許多一般仍會引用或包括與Barak Obama有關(guān)的信息，而可能不是第二次查詢的預(yù)期目標MichelleObama(米歇爾奧巴馬)的最相關(guān)鏈接。更具體而言，典型的搜索服務(wù)和問題回答系統(tǒng)一般依賴于用于分析自由文本(free-text)查詢或問題的技術(shù)，而且還依賴于用于從信息的一個或多個數(shù)據(jù)集或數(shù)據(jù)庫中組合或標識相關(guān)信息或明確答案的技術(shù)。對自由措辭查詢(freely worded query)或問題提供相關(guān)信息或明確答案一般是具有挑戰(zhàn)性的問題，這是因為所搜索的結(jié)構(gòu)化的或非結(jié)構(gòu)化的數(shù)據(jù)集可能不包含明確的匹配信息或答案。此外，數(shù)據(jù)集可能包含相關(guān)答案或答案組分的多個變型。各種信息檢索和問題回答的方式依賴于來自信息檢索、信息提取、機器學(xué)習(xí)、以及自然語言處理(NLP)的若干關(guān)鍵概念的應(yīng)用。來自單一的、受約束的信息源的自動化問題回答是極具挑戰(zhàn)性的?？紤]一下從只包含文本“John Wilkes Booth altered history witha bullet. He will forever be known as the man who ended Abraham Lincoln' s life.(John Wilkes Booth用一顆子彈改變了歷史。他將永遠作為結(jié)束Abraham Lincoln的生命的那個人而為人所知。)”的源中收集對問題“Who killed Abraham Lincoln (誰殺死了 Abraham Lincoln ) ”的答案的難度。然而，在使用大量因特網(wǎng)資源時回答問題更容易，因為數(shù)以百計的網(wǎng)頁包含文字串“殺死了 Abraham Lincoln”，從而提供了匹配和組合的多個機會。在問題回答中的許多努力集中在基于事實的、短答案的問題上，諸如“Who killedAbraham Lincoln (誰殺死了 Abraham Lincoln )，，、“What was the length of theWright brothers first flight (萊特兄弟首次飛行的長度是多少？)”、“When did CNNbegin broadcasting(CNN 什么時候開始廣播 ) ”或“What two US biochemists won theNobel Prize in medicine in 1992 (哪兩位美國生物化學(xué)家在1992年贏得了諾貝爾醫(yī)學(xué)獎？)”。一些問題回答系統(tǒng)已經(jīng)使用NLP分析來擴充標準信息檢索技術(shù)。這些系統(tǒng)可以使用信息檢索(IR)技術(shù)來標識候選章節(jié)，然后對問題和匹配章節(jié)執(zhí)行更加詳細的語言學(xué)分析來尋找具體答案。各種語言學(xué)資源(詞性標記、解析、命名實體提取、語義關(guān)系、字典等)可被用來支持問題回答。其他方式可以使用一般信息檢索技術(shù)，該一般信息檢索技術(shù)采用用于重寫問題或重制定查詢來匹配問題的格式并接著組合多個結(jié)果來生成答案的方法。其他技術(shù),諸如例如著名的“Wolfram I Alpha”搜索平臺，提供用于搜索的計算引擎。一般而言，這些技術(shù)始于逐域地對域執(zhí)行數(shù)據(jù)組織(data curation)過程，依賴于使用各種復(fù)雜工具來對大數(shù)據(jù)集執(zhí)行針對性組織以及提供語言學(xué)或語法學(xué)支持的人類域?qū)＜?。使用這些相同工具，域?qū)＜?還能夠指定使用現(xiàn)有本體的該域內(nèi)的各計算類型(預(yù)定義格式的)是可能的，以確保一致性并允許經(jīng)由用戶輸入查詢的計算。一旦域?qū)＜乙呀M織了該數(shù)據(jù)，然后該數(shù)據(jù)被添加到專用計算槽，該專用計算槽對該數(shù)據(jù)和各個由專家定義的規(guī)則進行操作以便由語言解析器基于發(fā)送給它的查詢返回一個或多個答案。不幸的是，典型的基于計算引擎的平臺的一個潛在弱點是缺乏查詢?nèi)罩镜鹊?，限制這些平臺確定用戶意圖、相關(guān)性、排序以及確定域和要組織的適當數(shù)據(jù)源的能力。

發(fā)明內(nèi)容
提供本發(fā)明內(nèi)容以便以簡化形式介紹將在以下具體實施方式
中進一步描述的一些概念。本發(fā)明內(nèi)容并非旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。此外，雖然此處可以注意到或討論現(xiàn)有技術(shù)的某些缺點，所要求保護的主題并非旨在限于可解決那些現(xiàn)有技術(shù)的任何或全部確定的實現(xiàn)。一般而言，此處描述的“迭代查詢重制定器”提供用于使用計算引擎來通過一個或多個迭代重制定初始查詢的各種技術(shù)。此迭代查詢重制定過程確保從使用最終的經(jīng)重制定的查詢的搜索引擎或推薦系統(tǒng)返回的結(jié)果相對于僅單獨使用該初始查詢所返回的結(jié)果具有改進的相關(guān)性。更具體而言，該迭代查詢重制定器提供一種端到端方案，該端到端方案使用自動化計算來從一個或多個知識數(shù)據(jù)庫(在此處也被稱為“結(jié)構(gòu)化數(shù)據(jù)”或“知識源”)導(dǎo)出“子查詢”(定義為使用語法學(xué)和統(tǒng)計學(xué)工具從初始查詢提取的初始查詢的一部分)的部分答案。然而，與嘗試直接回答問題或查詢的其他專家知識或計算引擎型系統(tǒng)不同，改為使用這些部分答案來重制定初始查詢來幫助搜索引擎(或推薦系統(tǒng))向用戶提供高度相關(guān)的經(jīng)排序的結(jié)果，而不是將這些部分答案返回給用戶。在各個實施例中，查詢重制定過程迭代，直到基于對用戶響應(yīng)度量相對于所返回的結(jié)果的評估實現(xiàn)了滿意的搜索或推薦結(jié)果，或直到進一步的查詢重制定不再可能這樣的時刻，或直到進一步的重制定指示結(jié)果滿意度的降低(通過評估歷史查詢?nèi)罩局械臈l目來確定)。然而，應(yīng)當理解，即便在進一步的重制定指示用戶滿意度水平的靜態(tài)水平甚至下降的情況下，該迭代查詢重制定器可以繼續(xù)重制定該查詢，直到進一步的重制定不可能，因為下一個迭代可能產(chǎn)生更高的用戶滿意度水平。事實上，在最一般的實施例中，迭代查詢重制定器考慮所有可能的查詢重制定改變(假定是有限數(shù)量的)，然后選擇具有最高用戶滿意度水平的一個或多個查詢重制定來呈現(xiàn)給用戶。換言之，迭代查詢重制定器使用對特定查詢或子查詢從結(jié)構(gòu)化數(shù)據(jù)導(dǎo)出的計算的結(jié)果來通過重制定查詢并然后對該經(jīng)重制定的查詢進行搜索來改進搜索結(jié)果的相關(guān)性。更具體而言，本計算過程使用各種語法學(xué)工具和統(tǒng)計學(xué)工具來在初始查詢中標識一個或多個[實體，屬性]對來構(gòu)造子查詢。然后這些[實體，屬性]對被提交到自動標識的知識源，然后該知識源返回對子查詢的高置信度的部分答案。然后使用所得到的高置信度的部分答案來通過一個或多個迭代來重制定原始查詢。例如，查詢{Barack Obama’s wife’s brother (巴拉克奧巴馬的妻子的兄弟)}具有子查詢{Barack Obama’s wife (巴拉克奧巴馬的妻子)},即，實體“Barack Obama (巴拉克奧巴馬)”和屬性“wife(妻子)”。對此子查詢的高置信度的部分答案是{Michelle0bama(米歇爾奧巴馬)}。當隨后使用此部分答案來重制定該原始查詢時，經(jīng)重制定的查詢變成{Michelle Obama’s brother (米歇爾奧巴馬的兄弟)}。當隨后將此查詢提交給搜索引擎時，它在排名最高的查詢結(jié)果中返回期望的搜索目標“Craig Malcolm Robinson”的多 個實例。相反，{Barack Obama’ s wife’ s brother}的初始查詢明顯較不可能返回期望的搜索目標的許多高排名實例。迭代查詢重制定器所提供的解決方案進一步包括用于從基于與特定實體的相關(guān)性選擇的結(jié)構(gòu)化數(shù)據(jù)源構(gòu)建計算引擎、標識將受益于計算引擎的重制定的目標查詢集、以及將結(jié)果集成到一個或多個搜索引擎或推薦系統(tǒng)的主要或首要搜索索引的過程。然而，應(yīng)當領(lǐng)會，可以改造現(xiàn)有計算引擎以在查詢重制定中使用。鑒于上述發(fā)明內(nèi)容，顯然，此處描述的迭代查詢重制定器提供使用計算引擎來在迭代過程中重制定查詢的各種技術(shù)，其改進了特定查詢的搜索相關(guān)性。除了剛才所描述的好處之外，從結(jié)合附圖所考慮的以下詳細描述中將清楚該迭代查詢重制定器的其它優(yōu)點。


參考以下描述、所附權(quán)利要求書以及附圖，將更好地理解所要求保護的主題的具體特征、方面和優(yōu)點，附圖中圖I提供示出用于實現(xiàn)如此處所述的“迭代查詢重制定器”的各實施例的程序模塊的示例性體系結(jié)構(gòu)流程圖。圖2示出了總系統(tǒng)流程圖，該總系統(tǒng)流程圖示出用于實現(xiàn)如此處所述的迭代查詢重制定器的各實施例的示例性方法。圖3是描繪具有用于實現(xiàn)如此處所述的迭代查詢重制定器的各實施例的簡化計算和1/0能力的簡化通用計算設(shè)備的總系統(tǒng)圖。
具體實施例方式在對所要求保護的主題的各實施例的以下描述中，對附圖進行了參考，附圖構(gòu)成了實施例的一部分且在其中作為說明示出了可在其中實踐所要求保護的主題的各具體實施例。應(yīng)當理解，可以利用其他實施例，并且可以作出結(jié)構(gòu)上的改變而不背離所要求保護的主題的范圍。1.0 介紹:一般而言，此處描述的“迭代查詢重制定器”提供用于使用計算引擎來通過一個或多個迭代重制定初始查詢的各種技術(shù)。此迭代查詢重制定過程確保從使用最終的經(jīng)重制定的查詢的搜索引擎或推薦系統(tǒng)返回的結(jié)果相對于僅單獨使用該初始查詢所返回的結(jié)果具有改進的相關(guān)性。更具體而言，迭代查詢重制定器提供一種端到端方案，該方案使用自動化計算從一個或多個知識數(shù)據(jù)庫(在此處也稱為“結(jié)構(gòu)化數(shù)據(jù)”或“知識源”)中導(dǎo)出查詢的“子查詢”的部分答案。然而，與嘗試直接回答問題或查詢的其他專家知識或計算引擎型系統(tǒng)不同，改為使用這些部分答案來重制定初始查詢來幫助搜索引擎(或推薦系統(tǒng))向用戶提供高度相關(guān)的經(jīng)排序的結(jié)果，而不是將這些部分答案返回給用戶。換言之，迭代查詢重制定器使用對特定查詢或子查詢從結(jié)構(gòu)化數(shù)據(jù)導(dǎo)出的計算的結(jié)果來通過重制定查詢?nèi)缓髮υ摻?jīng)重制定的查詢進行搜索來改進搜索結(jié)果的相關(guān)性。更具體而言，本計算過程使用各種語法學(xué)工具和統(tǒng)計學(xué)工具來在初始查詢中標識一個或多個[實體，屬性]對來構(gòu)造子查詢。然后這些[實體，屬性]對被提交到自動標識的知識源，然后該知識源返回對子查詢的高置信度的部分答案。然后使用所得到的高置 信度的部分答案來通過一個或多個迭代來重制定原始查詢。對是否繼續(xù)重制定迭代的判斷是基于對從具有匹配經(jīng)重定制的查詢的查詢的歷史搜索日志中導(dǎo)出的用戶度量的評估的。I. I 系統(tǒng)概覽如上所述，該“迭代查詢重制定器”提供用于使用計算引擎來在迭代過程中重制定查詢的各種技術(shù)，該迭代過程改進特定查詢的搜索相關(guān)性。以上概述的過程由圖I的總系統(tǒng)圖示出。具體而言，圖I的系統(tǒng)示出了用于實現(xiàn)如此處所述的迭代查詢重制定器的各實施例的程序模塊之間的相互關(guān)系。此外，盡管圖I的系統(tǒng)示出迭代查詢重制定器的各實施例的高層視圖，但圖I不旨在提供貫穿本文全文描述的迭代查詢重制定器的每一可能實施例的窮盡或全面圖示。另外，應(yīng)當注意，圖I中由斷開的線或虛線所表示的任何框和各框之間的互連表示如此處所述的迭代查詢重制定器的另選實施例，并且以下描述的這些另選實施例中的任一個或全部可以結(jié)合貫穿本文所描述的其他另選實施例來使用?！愣裕鐖DI所述，由迭代查詢重制定器啟用的過程通過從用戶輸入接收初始查詢100開始操作。注意，使用公知的傳統(tǒng)方法(諸如例如鍵盤或基于語音的輸入)來提供或輸入初始查詢100，并且在此處不討論這些公知的輸入方法。然后將初始查詢100提供給搜索引擎/推薦模塊105。一般而言，搜索引擎/推薦模塊105在接收到查詢后按照與傳統(tǒng)搜索引擎(例如，Bing 、Google 等)或推薦系統(tǒng)(例如，Amazon.com 等)相同的方式操作，不同在于在(響應(yīng)于初始查詢100)將查詢結(jié)果返回給用戶之前，首先由用戶滿意度測量模塊110評估那些經(jīng)排序的查詢結(jié)果。更具體而言，用戶滿意度測量模塊110接收由搜索引擎/推薦模塊105響應(yīng)于初始查詢返回的經(jīng)排序的查詢結(jié)果。然后鑒于包括用戶度量的一個或多個歷史搜索日志115評估那些經(jīng)排序的查詢結(jié)果以確定用戶滿意度水平，用戶度量諸如是，但不限于，點進率(CTR)、重查詢(S卩，用戶試圖獲得更好的結(jié)果而輸入的另一查詢)、搜索引擎切換(S卩，用戶從一個搜索引擎切換到另一個搜索引擎)等。然而，為了解釋的目的，下面的討論將集中在用于解釋的目的對CTR的使用，同時要理解可以使用多種用戶度量中的任何一種或者用戶度量的任何所需組合(包括但不限于CTR)來測量用戶滿意度。一般而言，具有高CTR的查詢結(jié)果將對應(yīng)于更高的滿意度水平，而具有低CTR、高重查詢和/或高切換率的結(jié)果對應(yīng)于更低的滿意度水平。因此，在向用戶返回任何查詢結(jié)果之前，做出關(guān)于當前查詢結(jié)果是否指示足夠高的滿意度水平的判斷120。注意，如果需要，可以向上或向下調(diào)節(jié)用于測量此滿意度水平的閾值。然而，還應(yīng)當理解，在各實施例中，基于以往表現(xiàn)(例如，用戶滿意度)，迭代查詢重制定器可以不示出查詢結(jié)果。這允許該迭代查詢重制定器響應(yīng)于新的查詢(即，先前沒有被該迭代查詢重制定器處理過的查詢)。例如，不同于依賴針對特定查詢的CTR，迭代查詢重制定器可以針對特定技術(shù)或特定類型的變換使用聚集測量而不是單純依賴針對特定查詢實例的度量。例如，涉及一個置換的查詢是與涉及兩個置換的查詢(例如，“Barak Obama’ s wife (巴拉克奧巴馬的妻子)”對“BarakObama’ s wife’ s brother(巴拉克奧巴馬的妻子的兄弟)”)不同的類型。在當前查詢結(jié)果指示足夠高的滿意度水平的情況下，則使用公知的傳統(tǒng)技術(shù)(例如，顯示設(shè)備、打印輸出等)來向用戶輸出最終的查詢結(jié)果125。然而，在當前查詢結(jié)果不指示足夠高的滿意度水平的情況下，則將初始查詢100作為“當前查詢”提供給計算引擎模塊130，一般而言，計算引擎模塊130評估當前查詢的語法、確定從當前查詢標識或提取的子查詢的部分答案、然后重制定該當前查詢以重新提交到搜索引擎/推薦模塊105，然后是用戶滿意度測量模塊110的另一評估。如果重制定的查詢不帶來滿意率的可測量的增加， 則將按照原樣使用原始查詢。進一步，應(yīng)當理解，即便在進一步的重制定指示用戶滿意度水平的靜態(tài)水平甚至下降的情況下，該迭代查詢重制定器可以繼續(xù)重制定該查詢，直到進一步的重制定不可能，因為下一個迭代可能產(chǎn)生更高的用戶滿意度水平。事實上，在最一般的實施例中，迭代查詢重制定器考慮所有可能的查詢重制定改變(假定是有限數(shù)量的)，然后選擇具有最高用戶滿意度水平(或其他度量)的一個或多個查詢重制定來呈現(xiàn)給用戶。
如此處更加詳細地討論的，能被改造以提供此處描述的計算引擎模塊130的功能的“計算引擎”的各示例，在2010年6月30體提交到美國專利商標局并被分配了序列號 12/827，370 的題為 “INTEGRATING SPECIALIZED KNOWLEDGE SOURCES INTO A GENERALSEARCH SERVICE (將專用知識源集成到一般搜索服務(wù)中)”的共同待審專利申請中描述過，通過此引用將其主題結(jié)合于此。此共同待審專利申請大體描述了，結(jié)合使用查詢重制定模塊來重制定該查詢以供專家知識引擎使用的各種技術(shù)，使用一般搜索引擎接口來從用戶接收搜索查詢的各種方法。然而，應(yīng)當意識到，在該共同待審專利申請中描述的計算引擎技術(shù)不旨在限制能改造以與該迭代查詢重制定器一起使用的計算引擎的類型的范圍，而該共同待審專利申請僅是為解釋和示例目的而引用的。更具體而言，計算引擎模塊130大體包括語法/實體識別器模塊135，該模塊在當前查詢結(jié)果不指示足夠高的滿意度水平的情況下接收當前查詢。如同在第2. 2節(jié)中更詳細地討論的，語法/實體識別器模塊135所使用的語法規(guī)則部分通過解析當前查詢以標識一 個或多個“實體”和定義實體特征或答案的相關(guān)聯(lián)“屬性”來操作。一旦被標識，這些[實體，屬性]對被當作“子查詢”處理，然后被傳遞到查詢路由器模塊140。實體的類別的示例包括但不限于地點名稱(例如，法國、黃石、南極洲等)、人(例如，Elvis Presley,GeorgeWashington等)、物理物品(例如，微波爐、汽車等)。如上所述，屬性定義或引用實體特征或與該實體相關(guān)聯(lián)的答案。例如，與“法國”這一實體相關(guān)聯(lián)的屬性包括但不限于“人口”、“首都”、“語言”等。然而，注意，能夠從該查詢提取更加復(fù)雜的語法學(xué)構(gòu)造，而這些示例僅是為解釋的目的提供的。
注意，在語法/實體識別器模塊135在當前查詢中檢測到超過一個可能子查詢的情況下，可以使用可任選的用戶反饋模塊145來直接從用戶請求關(guān)于在初始查詢100中一個或多個子查詢中哪些是意圖的的反饋。在此情況下，用戶能將這些子查詢中的一個或多個標識為有效的或無效的，然后有效子查詢被傳遞到查詢路由器模塊140，如同上面指出的。如上所述，一旦語法/實體識別器模塊135已從當前查詢解析或提取了一個或多個子查詢，則將那些子查詢傳遞到查詢路由器模塊140。一般而言，查詢路由器模塊140確定或標識來自計算引擎模塊130可用的一組一個或多個專家知識源中的哪個知識源(150、155、或160)最可能包含每個子查詢的正確的部分答案。然后查詢路由器模塊140使用此確定來從所標識的知識源(150、155或160)檢索答案。例如，假定此子查詢是 {France capital (法國首都)}，從包括組織化的國家首都信息的知識源檢索的部分答案將是 “Paris (巴黎)”。然后將查詢路由器模塊140所檢索到的部分答案發(fā)送到查詢重制定模塊165。一般而言，查詢重制定模塊165使用部分答案以通過用該部分答案取代該查詢的子查詢部分來重制定當前查詢。例如，假定當前查詢是{population France capital (人口法國首都)}，并且子查詢{France capital (法國首都)}返回部分答案“Paris (巴黎)”。那么，經(jīng)重制定的查詢變成{population Paris (人口巴黎)}。然后將經(jīng)重制定的查詢發(fā)送回搜索引擎/推薦模塊105。然后搜索引擎/推薦模塊105按照與上面針對初始查詢100所描述的相同的方式處理該經(jīng)重制定的查詢。具體而言，經(jīng)重制定的查詢(現(xiàn)在被稱為“當前查詢”)被搜索引擎/推薦模塊105用來檢索一組經(jīng)排序的結(jié)果，然后由用戶滿意度測量模塊110對該組經(jīng)排序的結(jié)果進行評估。如果當前查詢(例如，{population Paris (人口巴黎)},以延續(xù)前面的示例)的經(jīng)排序的結(jié)果具有足夠高的滿意度水平，則將那些經(jīng)排序的結(jié)果作為最終的查詢結(jié)果125呈現(xiàn)給用戶，否則迭代查詢重制定器將重復(fù)上面描述的步驟來執(zhí)行另一重制定迭代。注意，可以重復(fù)這些迭代，直到當前查詢不再包含用于為重制定目的而標識附加子查詢的足夠信息。在此情況下，搜索引擎/推薦模塊105將返回與最當前的查詢重制定相關(guān)聯(lián)的查詢結(jié)果。然而，應(yīng)當注意，前面的示例中使用的示例初始查詢，即，{population France capital (人口法國首都)},通常太短而不能通過查詢重制定的多個迭代來處理。在第2. 2節(jié)中討論了需要多個重制定迭代的更復(fù)雜的查詢的示例。一般而言，上面概述的重制定技術(shù)可以被擴展到不僅與搜索引擎(例如，Bing )一起工作，還被擴展到能夠訪問專家知識源的任何搜索、推薦或答案系統(tǒng)。作為示例，像Amazon.com 等推薦/購物站點可以使用此處描述的技術(shù)來處理查詢，諸如{latestcall of duty (最新的使命召喚)}。在Amazon.com 上進行此查詢不會導(dǎo)致到視頻游戲“Call of Duty =Black Ops (使命召喚黑色行動)”(其是在寫作本文時該游戲的最新版本)的期望鏈接。然而，能夠訪問游戲信息并且具有足夠語法的知識源能夠?qū)⒋瞬樵冎貙懟蛑刂贫閧call of duty black ops (使命召喚黑色行動)}。然后Amazon.com 能夠在其主要搜索接口上進行此查詢(而不是原始的不能回答的查詢)以將用戶導(dǎo)向購買該游戲的正確頁面。當用戶關(guān)于她在找什么只具有部分信息時這些實施例是非常有用的。上述基礎(chǔ)結(jié)構(gòu)上的一種變型是高速緩存和/或預(yù)處理各種計算(即，用于查詢重制定的部分答案)。在這些實施例中，這意味著查詢路由器模塊140將使用重制定高速緩存170來存儲它在過去看到過的或基于先前數(shù)據(jù)(S卩，用戶行為)預(yù)期的計算。這些預(yù)期查詢的示例可以是通常在十月底左右達到頂峰的{end of daylight savings (夏令時結(jié)束)}。還可以為所觀察到的一些或全部最常見的查詢重制定預(yù)高速緩存結(jié)果。在本實施例中，語法/實體識別器模塊135將首先檢查重制定高速緩存170以查看當前查詢是否已在先前被重制定為高滿意度的查詢。如果如此，則將該高滿意度的經(jīng)重制定查詢直接傳遞回搜索引擎/推薦模塊105而無需由計算引擎模塊130按照上面描述的用于標識子查詢和使用部分答案來重制定當前查詢的方式進行進一步處理。在又一實施例中，查詢路由器模塊140將從多個不同知識源(150、155和/或160)檢索特定子查詢的部分答案。檢索多個答案的理由包括確定初始查詢中具體的感興趣的主題的困難，由此使得適當知識源(150、155和/或160)的標識更加困難。在此情況下，使用特定子查詢的若干不同部分答案允許查詢重制定模塊創(chuàng)建經(jīng)重制定的查詢的若干版本或候選。然后用戶滿意度模塊110能夠執(zhí)行產(chǎn)生具有最高用戶滿意度水平的查詢結(jié)果的經(jīng)重制定查詢的版本。在各種另選實施例中，搜索引擎/推薦模塊105將向用戶提供其他重制 定候選中的一些或全部，作為可能查詢的建議。在進一步實施例中，迭代查詢重制定器基于低用戶滿意度水平來學(xué)習(xí)哪些類型的查詢可能受益于重制定、但由于缺乏適當?shù)闹R源而不能被重制定。通過隨時間跟蹤這樣的重制定失敗，各種實體提取技術(shù)可被用于估計與這些失敗的重制定相關(guān)聯(lián)的該查詢的適當主題和語法模式。使用該數(shù)據(jù)，迭代查詢重制定器可以評估各種競爭性的知識源的可能值以及哪些可能值是數(shù)據(jù)組織的良好候選。進一步，該數(shù)據(jù)可以離線使用以確定會作為總計算引擎模塊130的有用補充的新知識源的類型或內(nèi)容。2.0迭代杳詢重制定器的操作細節(jié)上述程序模塊用于實現(xiàn)迭代查詢重制定器的各實施例。如同上面概述的，該迭代查詢重制定器提供用于使用計算引擎來在迭代過程中重制定查詢的各種技術(shù)，該迭代過程改進特定查詢的搜索相關(guān)性。以下各節(jié)提供了對該迭代查詢重制定器的各實施例的操作以及用于實現(xiàn)在第I節(jié)中參考圖I描述的程序模塊的示例性方法的更詳細討論。具體而言，以下各章節(jié)提供迭代查詢重制定器的各實施例的示例和操作細節(jié)，包括計算引擎構(gòu)造和使用；語法學(xué)規(guī)則和子查詢標識；查詢重制定；以及結(jié)果呈現(xiàn)。2.1計算引擎構(gòu)造和使用迭代查詢重制定器所提供的解決方案之中包括用于從基于與特定查詢(或子查詢)的相關(guān)性選擇的結(jié)構(gòu)化數(shù)據(jù)源自動地構(gòu)建計算引擎、標識將受益于計算引擎的重制定的目標查詢集、以及將結(jié)果集成到一個或多個搜索引擎或推薦系統(tǒng)的主要或首要搜索索引的過程?！愣?，計算層或計算引擎是能跨域工作并能執(zhí)行基本數(shù)據(jù)庫操作(例如，join (結(jié)合))、以及對數(shù)據(jù)進行數(shù)學(xué)和統(tǒng)計操作(例如，ave (求平均值),max (求最大值)、min(求最小值)等)的邏輯。注意，存在可用于此目的的各種技術(shù)，而這些技術(shù)中的一些或全部可以被改造以構(gòu)造或?qū)崿F(xiàn)此處討論的計算引擎。因此，應(yīng)當理解，本文的意圖不是規(guī)定用于實現(xiàn)迭代查詢重制定器的計算引擎的技術(shù)。相反，下面的段落概括地描述了如何能夠在大尺度上組織數(shù)據(jù)以生成專家知識源以在數(shù)據(jù)上的觸發(fā)、指定計算、以及利用諸如歷史用戶搜索日志等信息中使用。一種用于構(gòu)建計算引擎的方案涉及使用這些現(xiàn)有的結(jié)構(gòu)化數(shù)據(jù)來——首先在域級，最終在全局級一推斷本體(ontology)?？梢允褂媚軌蛲ㄟ^使用諸如挖掘搜索日志和使用n元語法(n-gram)分析等技術(shù)來推斷同義詞和關(guān)系的現(xiàn)有算法來構(gòu)建該本體。更具體而言，可以將本體認為是基于概念化(com^ptualization)的正式代表的知識的主體，以使得假定存在于某個感興趣的領(lǐng)域的對象、概念和其他實體以及它們間保持的關(guān)系。如此，用于代表此處所述的專家知識源的本體的一個實施例包括諸如傳統(tǒng)數(shù)據(jù)庫或三元組庫等結(jié)構(gòu)化存儲中的數(shù)據(jù)?？梢允褂媒Y(jié)構(gòu)化查詢語言(諸如例如T-SQL)來訪問這些記錄。此外，這些知識源可以利用域數(shù)據(jù)，與現(xiàn)有計算引擎相結(jié)合，來標識搜索引擎用戶已做出的可能具有計算意圖的查詢，例如，{Barack Obama’ s wife’ s brother (巴拉克奧巴馬的妻子的兄弟)}。注意，在前面提到的2010年6月30日提交給美國專利商標局并被分配了序列號 12/827，370 的題為 “INTEGRATING SPECIALIZED KNOWLEDGE SOURCES INTO A GENERALSEARCH SERVICE (將專用知識源集成到一般搜索服務(wù)中)”的共同待審專利申請中，描述了 用于將專家知識源集成到一般搜索服務(wù)的系統(tǒng)的實施例的各示例，通過此引用將該申請的主題結(jié)合于此。此共同待審專利申請大體描述了用于使用一般搜索引擎接口來從用戶接收搜索查詢的各種方法。然后這些方法描述了用于使用查詢重制定模塊來重制定查詢以供專家知識引擎(也被稱為“計算引擎”)使用的各種技術(shù)。如此，該共同待審申請中描述的技術(shù)被改造為導(dǎo)出子查詢的部分答案(如此處所述)，然后部分答案被用來重制定初始查詢以供該搜索引擎或推薦系統(tǒng)使用。然而，與該共同待審申請不同，在各實施例中，迭代查詢重制定器所使用的查詢重制定過程不將部分答案直接返回給用戶，并且還繼續(xù)(或迭代)直到基于對相對所返回的結(jié)果的用戶響應(yīng)度量的評估實現(xiàn)了令人滿意的搜索或推薦結(jié)果，或直到如進一步的查詢重制定不可能的時刻，或除非進一步的重制定提供滿意度減少的結(jié)果。2. 2語法學(xué)規(guī)則和子杳詢標識搜索引擎通常具有由不同“垂直(vertical) ”或?qū)＜抑R源的擁有者維護的多個針對特定域的結(jié)構(gòu)化內(nèi)容。這些垂直的示例是城市、地理、WolframlAlpha、旅行、娛樂、天氣、商業(yè)/購物等。如果數(shù)據(jù)具有附連于它的某種上下文信息，則所述數(shù)據(jù)被稱為是“結(jié)構(gòu)化”的。此信息可以表達數(shù)據(jù)項的含義的簡單元標簽的形式出現(xiàn)；或者數(shù)據(jù)本身被使用不僅表達含義還表達分層的已知模式格式化；或者將數(shù)據(jù)項與其他數(shù)據(jù)項的關(guān)系作為所述數(shù)據(jù)的一部分提供。迭代查詢重制定器的各實施例使用后一種形式，然而這不應(yīng)當被解讀為阻止對前面的形式使用該技術(shù)，因為如果知識源的語料庫足夠大，此技術(shù)可以將簡單形式變換為更結(jié)構(gòu)化的形式。一般而言，一種由迭代查詢重制定器用來標識計算意圖的技術(shù)是標識用戶的查詢的不同部分，然后通過遞歸地標識子查詢或已知模式并將已知實體或計算替換為該特定模式而使用各個規(guī)則來簡化該查詢。例如，查詢{what is Barack Obama’s wife’s age (巴拉克奧巴馬的妻子的年齡是多大)}可以被解析為〈what isXbarack obamaXwifeXage〉。然后，通過使用使用不同知識源構(gòu)造的實體字典，<barack obama>被標識為個人知識源中的實體?？纯丛撛吹囊阎Ｊ?，可以看出〈personXwife〉是有效模式，即,在此情況下,具有〈michelle obama> 的值。現(xiàn)在該查詢可被重制定為〈what isXmichelle obamaXage〉。如果然后通過查詢?nèi)罩敬_定此查詢的搜索結(jié)果基于在第I. I節(jié)中概述的用戶度量具有高滿意度水平或比率，則該迭代查詢重制定器可以在本步驟停止查詢重制定。相反，如果該度量顯示低用戶滿意度水平，則該迭代查詢重制定器可以嘗試做另一個迭代并簡化子查詢〈michelle obamaXage〉,這是個人知識源的另一個有效模式。然后這將提供最終簡化,在本情況下該最終簡化即實際答案Michelle Obama is currently 47years old(米歇爾奧巴馬現(xiàn)在47歲了)。上述重制定過程的一種方式可以被概括為通過標識和遞歸簡化具有如下形式的模式{〈entity-of-knowledge-type_A(知識-類型-A-的-實體)Xproperty-of-entity (實體-的-屬性)>}。 存在如下可能存在超過一個能夠聲明同一實體的知識庫或?qū)＜抑R源。例如，<barack obama〉可能還屬于“政治家”或“美國總統(tǒng)”的知識源。該迭代查詢重制定器將簡單地使用通過各知識源的每一個的遞歸來嘗試簡化該查詢并挑選給出答案或最終子查詢的具有最高滿意度度量的那一個。在一些情況下，使用本方法的查詢重制定可能由于性能問題而不可行。該迭代查詢重制定器可以跟蹤已做出的重制定決定并且對所涉及的知識源的所有實體遵循相同的步驟。然后可將該查詢重制定作為實際答案(例如年齡)或作為對用戶的查詢更改建議(即，經(jīng)重制定的查詢)而顯示。在各實施例中，在查詢更改建議的情況下，用戶要么接收要么拒絕該建議的動作被用作反饋機制，以幫助該迭代查詢重制定器在可能的競爭性的查詢重制定間做出選擇。例如，考慮查詢{Barack Obama wife’ s age (巴拉克奧巴馬的年齡)}, “BarackObama (巴拉克奧巴馬)”被標識為人域中的〈entity (實體)>,而“wife(妻子)”是該人域中的屬性。因此，使用現(xiàn)有計算引擎，可以看出，被解讀為<people(人)>〈property(屬性)> 的“Barack Obama (巴拉克奧巴馬)” “wife (妻子)”的結(jié)果是“Michelle Obama(米歇爾奧巴馬)”，而這又是人域中的另一〈entity (實體)>。因此,“Michelle Obama(米歇爾奧巴馬)”作為搜索引擎的查詢更改候選被添加。2. 3 杳詢和杳詢重制定的示例:例如，查詢{Barack Obama’s wife’s brother (巴拉克奧巴馬的妻子的兄弟)}具有潛在子查詢{Barack Obama’s wife (巴拉克奧巴馬的妻子)}。對此子查詢的高置信度的部分答案是{Michelle Obama(米歇爾奧巴馬)}。當隨后使用此部分答案來重制定該原始查詢時，經(jīng)重制定的查詢變成{Michelle Obama’s brother (米歇爾奧巴馬的兄弟)}。當隨后將此查詢提交給搜索引擎時，它在排名最高的查詢結(jié)果中返回期望的搜索目標“CraigMalcolm Robinson” 的多個實例。相反，{Barack Obama，s wife’ s brother}的初始查詢明顯較不可能返回期望的搜索目標的許多高排名實例。如同此處更加詳細地討論的，用于選擇子查詢和檢索那些子查詢的部分答案的語法學(xué)和統(tǒng)計學(xué)過程涉及確定一個或多個結(jié)構(gòu)化數(shù)據(jù)集中的哪個最可能返回該子查詢的適當?shù)牟糠执鸢浮１具^程進一步涉及將“實體”(地點、人、事等)標識為初始查詢內(nèi)的子查詢的主題或目標。然后這些實體被用于標識適當?shù)慕Y(jié)構(gòu)化數(shù)據(jù)集，以從所述結(jié)構(gòu)化數(shù)據(jù)集檢索部分答案以在重制定初始查詢時使用。例如，初始查詢{france capital population(法國首都人口)}被評估為包括“country (國家)”實體“France(法國)”，其首都(S卩，子查詢{France capital (法國首都)}的部分答案)是“Paris (巴黎)”,“Paris (巴黎)”本身是“city (城市)”實體。然后此部分答案被用于將初始查詢重制定為{paris population (巴黎人口)}。與響應(yīng)于初始查詢會返回的結(jié)果相比，搜索引擎遠更可能返回此經(jīng)重制定的查詢的更相關(guān)結(jié)果。此過程的有趣變型是其中特定子查詢具有若干同樣可能的并且同樣正確的部分答案。例如，考慮如下情況其中初始查詢是{Europe capital population(歐洲首都人口)}。在此情況下，歐洲包括很多個國家(例如，法國、德國、西班牙、意大利等)。因此，在各實施例中，該迭代查詢重制定器將首先標識{Europe capital (歐洲首都)}子查詢的一組可能的部分答案(即，巴黎、柏林、馬德里、羅馬等)，然后返回一組經(jīng)重制定的查詢以供用戶在(例如{Paris population(巴黎人口)}, {Berlin population(柏林人口)},{Madrid population(馬德里人口)}, {Rome population(羅馬人口)}等)之間選擇?？闪磉x地，在一相關(guān)實施例中，通過使用查詢引擎來返回每個歐洲國家的首都城市的人口，可以為用戶單個地回答這些分開的子查詢中的每一個。
此外，如上所述，該迭代查詢重制定器提供用于使用計算引擎來通過一個或多個迭代重制定初始查詢的各種技術(shù)。上述示例一般僅需要一個重制定迭代。然而，更復(fù)雜的初始查詢，諸如，例如，{Barack Obama，s wife’ s brother’ s children(巴拉克奧巴馬的妻子的兄弟的孩子)}具有第一子查詢{Barack Obama’s wife (巴拉克奧巴馬的妻子)}。此子查詢的高置信度的答案是{Michelle Obama(米歇爾奧巴馬)}。當隨后使用此部分答案來重制定該原始查詢時，經(jīng)重制定的查詢變成{Michelle Obama’s brother’children (米歇爾奧巴馬的兄弟的孩子)}。此經(jīng)重制定的查詢具有第二子查詢{Michelle Obama’sbrother(米歇爾奧巴馬的兄弟)}。此子查詢的高置信度的部分答案是{Craig MalcolmRobinson}。當隨后使用此部分答案來重制定先前重制定的查詢時，新重制定的查詢變成{Craig Malcolm Robinson’ children (Craig Malcolm Robinson 的孩子)}。當隨后將此查詢作為當前查詢提交給搜索引擎時，該搜索引擎返回包括“Craig Malcolm Robinson”具有兒子“Avery”和女兒“Leslie”的期望答案的高置信度的結(jié)果。相反，{Barack Obama’ swife’s brother’s children(巴拉克奧巴馬的妻子的兄弟的孩子)}的初始查詢明顯較不可能返回這些同樣的結(jié)果。然而，注意，在各實施例中，經(jīng)重制定的查詢在每個迭代之后被評估以基于歷史用戶度量(諸如，例如點進率)確定經(jīng)重制定的查詢是否返回令人滿意的結(jié)果以確定經(jīng)重制定的查詢是否有可能提供高滿意度的結(jié)果，而不是自動執(zhí)行多個迭代以將初始查詢簡化或重制定到最大的可能程度。如果不是，則在可能的情況下通過另一個迭代重制定該查詢。因此，這些實施例的一個優(yōu)點在于一次一塊地重制定查詢，直到它們達到其中它們向用戶提供基于數(shù)千或數(shù)百萬先前用戶的歷史搜索日志預(yù)期為高度令人滿意的結(jié)果的點。2. 4 使用經(jīng)重制定的杳詢的結(jié)果旱現(xiàn):一般而言，該迭代查詢重制定器的大多數(shù)實施例的操作對用戶是透明的，以使得在將查詢結(jié)果呈現(xiàn)給用戶之前用戶不會意識到他們的查詢已經(jīng)被重制定了。在這個意義上，利用該迭代查詢重制定器的任何搜索引擎或推薦系統(tǒng)之類將簡單地重制定用戶查詢并將與經(jīng)重制定的查詢相對應(yīng)的查詢結(jié)果呈現(xiàn)給用戶。然而，如上所述，在各實施例中，將各個可選項呈現(xiàn)給用戶以批準或選擇一個或多個經(jīng)重制定的查詢或子查詢。3.0迭代杳詢重制定器的操作概述:以上參考圖I描述以及進一步鑒于以上在第I節(jié)和第2節(jié)中提供的詳細描述的各過程通過圖2的概括操作流程圖來示出。具體而言，圖2提供了概述上面討論的迭代查詢重制定器的各實施例中的某些的操作的示例性操作流程圖。注意，圖2不旨在成為此處描述的迭代查詢重制定器的各實施例的所有的窮盡表示，并且僅出于解釋目的而提供圖2中表不的各實施例。此外，應(yīng)當注意，圖2中的斷開的線或虛線可表示的任何框和框之間的互連表示此處所述的迭代查詢重制定器的可任選的或可另選的實施例，并且如下所述的這些可任選或可另選的實施例中的任何或全部可以結(jié)合貫穿本文所描述的其它可另選實施例來使用。一般而言，如圖2所示，該迭代查詢重制定器通過經(jīng)由搜索引擎或推薦系統(tǒng)的用戶界面(UI)從用戶接收200初始查詢而開始操作。使用傳統(tǒng)技術(shù)接收此用戶輸入，所述傳 統(tǒng)技術(shù)包括但不限于文本輸入、語音輸入、或使用定點設(shè)備輸入等。一旦已接收了初始查詢(現(xiàn)在被稱為“當前查詢”)，查詢引擎或推薦系統(tǒng)檢索210與該當前查詢相對應(yīng)的一組經(jīng)排序的結(jié)果，并且評估那些結(jié)果來確定或估計經(jīng)排序的結(jié)果的用戶滿意度水平。更具體而言，如同上面討論的，鑒于一個或多個歷史搜索日志115來評估經(jīng)排序的查詢結(jié)果，所述歷史搜索日志包括用戶度量，諸如與當前查詢的特定結(jié)果相對應(yīng)的CTR。因此，此評估能夠基于極大數(shù)量的用戶的先前行為(使用那些用戶的歷史搜索日志115)來確定或估計經(jīng)排序的結(jié)果中的每一個的用戶滿意度水平。一般而言，具有高CTR的查詢結(jié)果將對應(yīng)于更高的滿意度水平，而具有低CTR的結(jié)果對應(yīng)于更低的滿意度水平。然而，應(yīng)當意識到，存在可從歷史搜索日志115中挖掘的各種度量，以用于確定或估計響應(yīng)于當前查詢而返回的任何特定組經(jīng)排序的結(jié)果的用戶滿意度水平，而CTR僅僅是為解釋的目的而討論的一種這樣的度量。如果此滿意度水平評估指示令人滿意的結(jié)果220，則該迭代查詢重制定器簡單地向用戶返回230當前查詢的經(jīng)排序的結(jié)果。然而，在對與當前查詢相關(guān)聯(lián)的經(jīng)排序的結(jié)果的評估不指示令人滿意的結(jié)果220的情況下，該迭代查詢重制定器改為將當前查詢提供240給計算引擎以進行進一步處理。具體而言，當對當前查詢的經(jīng)排序的結(jié)果的評估不指示令人滿意的結(jié)果220時，該計算引擎首先解析250當前查詢以標識一個或多個子查詢。然后該計算引擎評估260子查詢以選擇最可能包含適當?shù)牟糠执鸢傅囊粋€或多個知識源(150、155和/或160)。然后從所選擇的知識源(150、155和/或160)檢索這些部分答案。然后所檢索的部分答案被用于通過使用所檢索的部分答案來取代相對應(yīng)的查詢子串來重制定270當前查詢。然后經(jīng)重制定的查詢(現(xiàn)在是當前查詢)被發(fā)送回搜索引擎或推薦系統(tǒng)以向用戶返回230經(jīng)高速緩存的經(jīng)重制定的查詢的經(jīng)排序的結(jié)果，從而呈現(xiàn)經(jīng)重制定的查詢的令人滿意的結(jié)果220。如果那些結(jié)果不令人滿意，則使用另一個解析和重制定的迭代來進一步細化當前查詢，直到相對應(yīng)的查詢結(jié)果令人滿意的時刻，或直到進一步的重制定不可能。如上所述，在各實施例中，使用包含與先前重制定的查詢相關(guān)聯(lián)的令人滿意的查詢結(jié)果的可任選的重制定高速緩存170。在本示例中，在查詢解析之前檢查重制定高速緩存170以查看當前查詢是否已在先前被重制定而產(chǎn)生令人滿意的查詢結(jié)果。如果如此，則簡單地將所高速緩存的經(jīng)重制定的查詢直接傳送回搜索引擎或推薦系統(tǒng)，然后搜索引擎或推薦系統(tǒng)檢索查詢結(jié)果，查詢結(jié)果被返回230給用戶。還要注意，在有關(guān)實施例中，此查詢結(jié)果連同經(jīng)重制定的查詢一起被存儲在重制定高速緩存170中。在本情況下，只要查詢高速緩存包含具有對已令人滿意地重制定的查詢的匹配，就簡單地將所高速緩存的查詢結(jié)果直接呈現(xiàn)給用戶。4. 0 示例件操作環(huán)塏:此處描述的迭代查詢重制定器可在多種通用或?qū)Ｓ糜嬎阆到y(tǒng)環(huán)境或配置內(nèi)操作。圖3示出其上可實現(xiàn)此處所述的迭代查詢重制定器的各實施例和元素的通用計算機系統(tǒng)的簡化示例。應(yīng)當注意，圖3中由斷開的線或虛線所表示的任何框表示簡化計算設(shè)備的可另選實施例，并且以下描述的這些可另選實施例中的任一個或全部可以結(jié)合貫穿本文所描述的其他可另選實施例來使用。例如，圖3示出了概括系統(tǒng)圖，其示出簡化計算設(shè)備300。這樣的計算設(shè)備通常可以在具有至少一些最小計算能力的設(shè)備中找到，這些設(shè)備包括但不限于個人計算機、服務(wù)器計算機、手持式計算設(shè)備、膝上型或移動計算機、諸如蜂窩電話和PDA等通信設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機頂盒、可編程消費電子產(chǎn)品、網(wǎng)絡(luò)PC、小型計算機、大型計算機、視頻媒體播放器等。為允許設(shè)備實現(xiàn)迭代查詢重制定器，該設(shè)備應(yīng)當具有足夠的計算能力和系統(tǒng)存儲器以啟用基本計算操作。具體而言，如圖3所示，計算能力一般由一個或多個處理單元310示出，并且還可包括一個或多個GPU 315，這兩者中的任一個或全部與系統(tǒng)存儲器320通信。注意，通用計算設(shè)備的處理單元310可以是專用微處理器，如DSP、VLIW、或其他微控制器、或可以是具有一個或多個處理核的常規(guī)CPU，包括多核CPU中的基于GPU專用核。 另外，圖3的簡化計算設(shè)備還可包括其他組件，諸如例如通信接口 330。圖3的簡化計算設(shè)備還可包括一個或多個常規(guī)計算機輸入設(shè)備340 (例如，定點設(shè)備、鍵盤、音頻輸入設(shè)備、視頻輸入設(shè)備、觸覺輸入設(shè)備、用于接收有線或無線數(shù)據(jù)傳輸?shù)脑O(shè)備等)。圖3的簡化計算設(shè)備還可包括其他光學(xué)組件，諸如例如一個或多個常規(guī)計算機輸出設(shè)備350 (例如，顯示設(shè)備355、音頻輸出設(shè)備、視頻輸出設(shè)備、用于傳送有線或無線數(shù)據(jù)傳輸?shù)脑O(shè)備等)。注意，通用計算機的典型的通信接口 330、輸入設(shè)備340、輸出設(shè)備350、以及存儲設(shè)備360對本領(lǐng)域技術(shù)人員而言是公知的，并且在此不會詳細描述。圖3的簡化計算設(shè)備還可包括各種計算機可讀介質(zhì)。計算機可讀介質(zhì)可以是可由簡化計算設(shè)備300經(jīng)由存儲設(shè)備360訪問的任何可用介質(zhì)，并且包括是可移動370和/或不可移動380的易失性和非易失性介質(zhì)，該介質(zhì)用于存儲諸如計算機可讀或計算機可執(zhí)行指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)等信息。作為示例而非限制，計算機可讀介質(zhì)可包括計算機存儲介質(zhì)和通信介質(zhì)。計算機存儲介質(zhì)包括但不限于計算機或機器可讀介質(zhì)或存儲設(shè)備，諸如DVD、CD、軟盤、磁帶驅(qū)動器、硬盤驅(qū)動器、光盤驅(qū)動器、固態(tài)存儲器設(shè)備、RAM、ROM、EEPR0M、閃存或其他存儲器技術(shù)、磁帶盒、磁帶、磁盤存儲或其他磁存儲設(shè)備、或可用于存儲所需信息并且可由一個或多個計算設(shè)備訪問的任何其他設(shè)備。諸如計算機可讀或計算機可執(zhí)行指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊等信息的存儲還可通過使用各種上述通信介質(zhì)中的任一種來編碼一個或多個已調(diào)制數(shù)據(jù)信號或載波或其他傳輸機制或通信協(xié)議來實現(xiàn)，并且包括任何有線或無線信息傳遞機制。注意，術(shù)語“已調(diào)制數(shù)據(jù)信號”或“載波”一般指以對信號中的信息進行編碼的方式設(shè)置或改變其一個或多個特征的信號。例如，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接線連接等攜帶一個或多個已調(diào)制數(shù)據(jù)信號的有線介質(zhì)，以及諸如聲學(xué)、RF、紅外線、激光和其他無線介質(zhì)等用于傳送和/或接收一個或多個已調(diào)制數(shù)據(jù)信號或載波的無線介質(zhì)。上述通信介質(zhì)的任一組合也應(yīng)包括在通信介質(zhì)的范圍之內(nèi)。此外，可以按計算機可執(zhí)行指令或其他數(shù)據(jù)結(jié)構(gòu)的形式存儲、接收、傳送或者從計算機或機器可讀介質(zhì)或存儲設(shè)備和通信介質(zhì)的任何所需組合中讀取具體化此處所述的迭代查詢重制定器的各實施例中的部分或全部的軟件、程序和/或計算機程序產(chǎn)品或其各部分。最終，此處所述的迭代查詢重制定器還可在由計算設(shè)備執(zhí)行的諸如程序模塊等計算機可執(zhí)行指令的一般上下文中描述。一般而言，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等。本文描述的各實施例還可以在其中任 務(wù)由通過一個或多個通信網(wǎng)絡(luò)鏈接的一個或多個遠程處理設(shè)備執(zhí)行或者在該一個或多個設(shè)備的云中執(zhí)行的分布式計算環(huán)境中實現(xiàn)。在分布式計算環(huán)境中，程序模塊可以位于包括媒體存儲設(shè)備在內(nèi)的本地和遠程計算機存儲介質(zhì)中。此外，上述指令可以部分地或整體地作為可以包括或不包括處理器的硬件邏輯電路來實現(xiàn)。以上對迭代查詢重制定器的描述是出于說明和描述的目的而提出的。這并不旨在窮舉所要求保護的主題或?qū)⑵湎抻谒_的精確形式。鑒于上述教導(dǎo)，許多修改和變型都是可能的。此外，應(yīng)當注意，可以按所需的任何組合使用上述可另選實施例的任一個或全部以形成迭代查詢重制定器的另外的混合實施例。本發(fā)明的范圍并不旨在由該“具體實施方式
”來限定，而是由所附權(quán)利要求書來限定。
權(quán)利要求
1.ー種用于響應(yīng)于用戶查詢而提供查詢結(jié)果的方法，包括使用計算設(shè)備來執(zhí)行以下步驟 接收(200)具有多個搜索項的當前用戶查詢； 評估(250)所述當前用戶查詢以標識ー個或多個子查詢，每個子查詢包括所述當前用戶查詢的所述搜索項中的ー個或多個； 評估(260)每個子查詢以從多個結(jié)構(gòu)化數(shù)據(jù)集(150、155、160)中選擇從中檢索與每個子查詢相對應(yīng)的部分答案的一個或多個結(jié)構(gòu)化數(shù)據(jù)集； 對于從所選擇的結(jié)構(gòu)化數(shù)據(jù)集中檢索的每個部分答案，通過用所述相對應(yīng)的部分答案來取代所述當前用戶查詢的相對應(yīng)的子查詢來重制定(270)所述當前用戶查詢以構(gòu)造經(jīng)重制定的查詢； 檢索(210)與經(jīng)重制定的查詢相對應(yīng)的一組經(jīng)排序的捜索結(jié)果；以及 將所述組經(jīng)排序的搜索結(jié)果呈現(xiàn)(230)在顯示設(shè)備上。
2.如權(quán)利要求I所述的方法，其特征在于，還包括以下步驟在將所述組經(jīng)排序的捜索結(jié)果呈現(xiàn)在顯示設(shè)備上之前，評估與經(jīng)重制定的查詢相對應(yīng)的所述經(jīng)排序的捜索結(jié)果以相對預(yù)定閾值從ー個或多個歷史用戶度量確定用戶滿意度水平，并且如果所述用戶滿意度水平低于所述閾值，則執(zhí)行以下步驟 評估所述經(jīng)重制定的查詢以標識ー個或多個子查詢，每個子查詢包括所述經(jīng)重制定的查詢的所述搜索項中的ー個或多個； 評估每個子查詢以從多個結(jié)構(gòu)化數(shù)據(jù)集中選擇從中檢索與每個子查詢相對應(yīng)的部分答案的一個或多個結(jié)構(gòu)化數(shù)據(jù)集； 對于從所選擇的結(jié)構(gòu)化數(shù)據(jù)集中檢索的每個部分答案，通過用所述相對應(yīng)的部分答案來取代先前重制定的查詢的相對應(yīng)的子查詢來重制定所述先前重制定的查詢以構(gòu)造新的經(jīng)重制定的查詢； 檢索與所述新的經(jīng)重制定的查詢相對應(yīng)的一組經(jīng)排序的捜索結(jié)果。
3.如權(quán)利要求2所述的方法，其特征在于，評估與當前查詢相對應(yīng)的經(jīng)排序的搜索結(jié)果以確定所述用戶滿意度水平還包括評估來自具有與所述經(jīng)排序的結(jié)果相對應(yīng)的項的歷史搜索日志的用戶點進率(CTR)以確定所述用戶滿意度水平。
4.如權(quán)利要求I所述的方法，其特征在于，還包括以下步驟提供包括從多個用戶的先前用戶查詢構(gòu)造的多個經(jīng)重制定的查詢的歷史“重制定高速緩存”。
5.如權(quán)利要求I所述的方法，其特征在于，還包括以下步驟在評估所述用戶查詢以標識ー個或多個子查詢之前，檢查所述重制定高速緩存以確定所述當前用戶查詢是否已在先前被重制定過，并且如果被重制定過，則使用來自所述重制定高速緩存的相對應(yīng)的經(jīng)重制定的查詢來檢索并呈現(xiàn)所述組經(jīng)排序的捜索結(jié)果而不標識子查詢和檢索子查詢的部分答案。
6.如權(quán)利要求I所述的方法，其特征在于，還包括以下步驟在評估所述當前用戶查詢以標識ー個或多個子查詢時，接收用戶反饋以從兩個或更多個可能的子查詢中選擇。
7.一種用于改進搜索結(jié)果的相關(guān)性的系統(tǒng)，包括 用于從用戶接收當前查詢的用戶輸入設(shè)備(100)； 用于評估(110) —組歷史捜索日志(115)中的一個或多個用戶度量以確定與所述當前查詢相對應(yīng)的ー組查詢結(jié)果(125)的用戶滿意度水平的用戶滿意度測量設(shè)備； 用于迭代地重制定所述當前查詢以構(gòu)造新的當前查詢的計算引擎設(shè)備(130)，所述迭代重復(fù)，直到所述用戶滿意度水平超過預(yù)定閾值，且其中迭代地重制定所述當前查詢包括 評估所述當前查詢以標識(135) —個或多個子查詢，每個子查詢包括所述當前查詢的所述搜索項中的ー個或多個， 評估每個子查詢以從多個結(jié)構(gòu)化數(shù)據(jù)集中選擇(140)從中檢索與每個子查詢相對應(yīng)的部分答案的一個或多個結(jié)構(gòu)化數(shù)據(jù)集(150、155、160)， 對于從所選擇的結(jié)構(gòu)化數(shù)據(jù)集中檢索的每個部分答案，通過用所述相對應(yīng)的部分答案來取代相對應(yīng)的子查詢來重制定(165)所述當前查詢以構(gòu)造新的當前查詢，以及檢索(105)與所述新的當前查詢相對應(yīng)的一組經(jīng)排序的捜索結(jié)果；以及當所述用戶滿意度水平超過(120)所述預(yù)定閾值時，將所述組經(jīng)排序的查詢結(jié)果呈現(xiàn)(125)在顯示設(shè)備上。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在干，確定所述用戶滿意度水平還包括評估來自所述歷史捜索日志的用戶點進率(CTR)以找到與所述經(jīng)排序的捜索結(jié)果相對應(yīng)的項以確定所述用戶滿意度水平。
9.如權(quán)利要求7所述的系統(tǒng)，其特征在于，還包括歷史“重制定高速緩存”，所述重制定高速緩存包括從多個用戶的先前查詢構(gòu)造的多個經(jīng)重制定的查詢，并且在迭代地重制定所述當前查詢以構(gòu)造所述新的當前查詢之前 檢查所述重制定高速緩存以確定所述當前查詢是否已在先前被重制定過；以及如果所述當前查詢已在先前被重制定過，則使用來自所述重制定高速緩存的相對應(yīng)的經(jīng)重制定的查詢來檢索并呈現(xiàn)所述經(jīng)排序的捜索結(jié)果而不執(zhí)行所述迭代重制定。
10.ー種其中存儲有用于改進響應(yīng)于用戶查詢的捜索結(jié)果的相關(guān)性的計算機可執(zhí)行指令的計算機可讀存儲設(shè)備，所述指令包括 從用戶接收(200)當前查詢； 評估(210) —組歷史捜索日志(115)以確定響應(yīng)于所述當前查詢而返回的ー組查詢結(jié)果的用戶滿意度水平； 迭代地重制定(270)所述當前查詢以構(gòu)造新的當前查詢，所述迭代重復(fù)，直到所述用戶滿意度水平超過(220)預(yù)定閾值，且其中迭代地重制定所述當前查詢包括用于如下動作的指令 評估(250)所述當前查詢以標識ー個或多個子查詢，每個子查詢包括所述當前查詢的所述搜索項中的ー個或多個； 評估(260)每個子查詢以從多個結(jié)構(gòu)化數(shù)據(jù)集中選擇從中檢索與每個子查詢相對應(yīng)的部分答案的一個或多個結(jié)構(gòu)化數(shù)據(jù)集(150、155、160)， 對于從所選擇的結(jié)構(gòu)化數(shù)據(jù)集中檢索的每個部分答案，通過用所述相對應(yīng)的部分答案來取代相對應(yīng)的子查詢來重制定(270)所述當前查詢以構(gòu)造新的當前查詢，以及檢索(210)與所述新的當前查詢相對應(yīng)的一組經(jīng)排序的捜索結(jié)果；以及當所述用戶滿意度水平超過(220)所述預(yù)定閾值時，將所述組經(jīng)排序的查詢結(jié)果呈現(xiàn)(230)在顯示設(shè)備上。
全文摘要
本發(fā)明涉及使用計算引擎來改進搜索相關(guān)性。一種“迭代查詢重制定器”提供用于使用計算引擎來通過一個或多個迭代重制定初始查詢的各種技術(shù)。此查詢重制定過程確保從使用經(jīng)重制定的查詢的搜索引擎或推薦系統(tǒng)返回的結(jié)果相對于僅使用該初始查詢所返回的結(jié)果具有改進的相關(guān)性。更具體而言，該迭代查詢重制定器提供端到端方案，所述端到端方案使用來自一個或多個知識數(shù)據(jù)庫或知識源的計算來尋找從初始查詢導(dǎo)出或提取的子查詢的“部分答案”。然后使用這些部分答案來重制定該初始查詢，其中經(jīng)重制定的查詢被搜索引擎或推薦系統(tǒng)用來提供與初始查詢高度相關(guān)的結(jié)果。對是否繼續(xù)重制定迭代的判斷是基于評估來自具有匹配經(jīng)重定制的查詢的查詢的歷史搜索日志的用戶度量的。
文檔編號G06F17/30GK102708129SQ201210054950
公開日2012年10月3日 申請日期2012年3月5日 優(yōu)先權(quán)日2011年3月4日
發(fā)明者J·T·埃佩西布爾, K·R·納雷迪, M·J·恩卡納西翁 申請人:微軟公司