專利名稱：用于在搜索系統(tǒng)中確定相關(guān)度和/或模糊度的方法、設(shè)備及計(jì)算機(jī)程序產(chǎn)品的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例主要涉及內(nèi)容檢索技術(shù)，尤其涉及一種用于在 搜索系統(tǒng)中確定相關(guān)度和/或模糊度的方法、設(shè)備及計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
現(xiàn)代通信時(shí)代業(yè)已引發(fā)了有線和無(wú)線網(wǎng)絡(luò)的巨大擴(kuò)展。計(jì)算機(jī) 網(wǎng)絡(luò)、電視網(wǎng)絡(luò)和電話網(wǎng)絡(luò)正在經(jīng)歷著消費(fèi)需求所推動(dòng)的空前技術(shù) 發(fā)展。無(wú)線和移動(dòng)聯(lián)網(wǎng)技術(shù)解決了相關(guān)的消費(fèi)者需求，同時(shí)提供了 更加靈活即時(shí)的信息傳送。
當(dāng)前和未來(lái)的聯(lián)網(wǎng)技術(shù)持續(xù)促進(jìn)著信息傳送的簡(jiǎn)易性和用戶便 利性。而一個(gè)需要提高信息傳送簡(jiǎn)易性和用戶便利性的領(lǐng)域涉及在 網(wǎng)絡(luò)中提供信息檢索。例如，可以使音頻、視頻、圖像內(nèi)容、文本、 數(shù)據(jù)等信息用于在使用不同通信網(wǎng)絡(luò)的不同實(shí)體之間的檢索。相應(yīng) 地，與每一個(gè)不同實(shí)體相關(guān)聯(lián)的設(shè)備都可以纟皮此通信，以便定位和 實(shí)現(xiàn)信息傳送。
基于文本的搜索通常包括使用一個(gè)搜索引擎，該搜索引擎被配 置成根據(jù)用戶輸入的查詢項(xiàng)來(lái)檢索結(jié)果。但是，由于存在諸如單詞 具有多種含義之類的語(yǔ)言難題，搜索結(jié)果的質(zhì)量可能不是始終很高 的。此外，所搜索的數(shù)據(jù)源未必具有關(guān)于所實(shí)施的搜索所針對(duì)的特 定主題的信息。同樣，其他搜索類型也已普及。近來(lái)，就視覺(jué)搜索 而言，基于內(nèi)容的搜索正在變得更為普及。在某些情形中，例如，
當(dāng)用戶希望從諸如數(shù)據(jù)庫(kù)之類的特定位置^r索圖像內(nèi)容時(shí)，用戶有 可能希望根據(jù)圖像的內(nèi)容來(lái)觀察圖像。就此而論，例如，用戶有可 能希望觀察關(guān)于貓、動(dòng)物、汽車等等的圖像。雖然目前已經(jīng)提供了 某些通過(guò)將元數(shù)據(jù)與內(nèi)容項(xiàng)相關(guān)聯(lián)來(lái)啟用基于元數(shù)據(jù)的內(nèi)容搜索的索關(guān)于貓的圖像，則可以提供關(guān)于貓的查詢圖像，所述SVM則可以 搜索數(shù)據(jù)庫(kù)并且向用戶提供圖像，其中所述圖像是以它們與查詢圖 像特征的相關(guān)度為基礎(chǔ)來(lái)提供的。
但是，基于內(nèi)容的圖像檢索通常是根據(jù)顏色、形狀、紋理等低 級(jí)特征來(lái)對(duì)圖像進(jìn)行分類。因此，相關(guān)度與不相關(guān)度之間的界限未
必是高度精華的。在努力改善基于內(nèi)容的圖像檢索性能的過(guò)程中， 開(kāi)發(fā)了相關(guān)度反饋的概念。相關(guān)度反饋涉及向分類器提供關(guān)于所呈 現(xiàn)的圖像的反饋，并且所述反饋是關(guān)于圖像相關(guān)度的。在這里假設(shè), 如果給出了相關(guān)度反饋，則分類器可以更好地了解相關(guān)圖像與非相 關(guān)圖像之間的分類界限。
例如在移動(dòng)終端上執(zhí)行的移動(dòng)視覺(jué)搜索功能之類的視覺(jué)搜索功 能可以利用那些通過(guò)使用圖像匹配來(lái)將查詢或輸入數(shù)據(jù)與視覺(jué)數(shù)據(jù) 庫(kù)中的圖像相比較的大型視覺(jué)數(shù)據(jù)庫(kù)。圖像匹配可以區(qū)分輸入圖像 與視覺(jué)數(shù)據(jù)庫(kù)中的圖像接近的程度。然后，可以通過(guò)在移動(dòng)終端的 顯示器上將最高匹配(例如最相關(guān)圖像)可視化以向用戶呈現(xiàn)所述 最高匹配。在某些情況下，還可以呈現(xiàn)與圖像相關(guān)聯(lián)的上下文信息。 相應(yīng)地，只要將移動(dòng)終端上安裝的相機(jī)指向特定對(duì)象，用戶即可得 到與特定對(duì)象相關(guān)聯(lián)的上下文信息。
如果有可能得到與在用戶環(huán)境中的圖像內(nèi)捕獲的對(duì)象相關(guān)的上 下文信息，則可以了解對(duì)于有意義的性能和用戶體驗(yàn)而確定圖像匹 配的重要性。諸如不同視角、運(yùn)動(dòng)模糊、照明、視覺(jué)對(duì)象間的相似 度、捕獲角度、縮放等級(jí)、相機(jī)質(zhì)量等等之類的若干因素在圖像匹 配中可能發(fā)揮作用并由此直接影響匹配結(jié)果的質(zhì)量。
因此，提供一種用于確定圖像匹配的改進(jìn)方法會(huì)有利。

發(fā)明內(nèi)容
因此，提供一種用于在搜索系統(tǒng)、例如視覺(jué)搜索系統(tǒng)中確定相 關(guān)度和模糊度的方法、設(shè)備及計(jì)算機(jī)程序產(chǎn)品。特別地，提供一種 用于提供在獲取與圖像檢索中的相關(guān)度和/或模糊度量度有關(guān)的置信 度等級(jí)信息的過(guò)程中使用的映射功能的方法、設(shè)備及計(jì)算機(jī)程序產(chǎn) 品。然后，所獲取的相關(guān)度和/或模糊度量度可以用于以一種有益于 用戶的方式來(lái)將映射功能的輸出可視化。相應(yīng)地，圖像內(nèi)容檢索的 效率可以得到提升，并且用于移動(dòng)終端之類的電子設(shè)備的內(nèi)容管理、 導(dǎo)航、旅游以及娛樂(lè)功能可以得到改善。
在 一個(gè)示例性實(shí)施例中，提供一種用于在搜索系統(tǒng)中確定相關(guān)
度和模糊度的方法。該方法可以包括接收包含查詢的^L覺(jué)媒體， 根據(jù)模糊度和相關(guān)度來(lái)確定包含了至少 一個(gè)候選視覺(jué)媒體相對(duì)于所 述查詢的匹配分?jǐn)?shù)的搜索結(jié)果，使用映射功能來(lái)提供與搜索結(jié)果相 關(guān)聯(lián)的置信度等級(jí)，以及根據(jù)置信度等級(jí)來(lái)提供搜索結(jié)果的可視化。 在另 一個(gè)示例性實(shí)施例中，提供一種用于在搜索系統(tǒng)中確定相 關(guān)度和模糊度的計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品可以包括至少 一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，并且在該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)了
計(jì)算機(jī)可讀程序代碼部分。計(jì)算機(jī)可讀程序代碼部分包括第一、第 二、第三和第四可執(zhí)行部分。第一可執(zhí)行部分用于接收包含查詢的 視覺(jué)媒體。第二可執(zhí)行部分用于根據(jù)模糊度和相關(guān)度來(lái)確定包含了 至少一個(gè)候選視覺(jué)媒體相對(duì)于所述查詢的匹配分?jǐn)?shù)的搜索結(jié)果。第 三可執(zhí)行部分用于使用映射功能來(lái)提供與搜索結(jié)果相關(guān)聯(lián)的置信度 等級(jí)。第四可執(zhí)行部分用于根據(jù)置信度等級(jí)來(lái)提供搜索結(jié)果的可視 化。
在另 一個(gè)示例性實(shí)施例中，提供一種用于在搜索系統(tǒng)中確定相 關(guān)度和模糊度的設(shè)備。該設(shè)備可以包括被配置成實(shí)施如下處理的處 理部件接收包含查詢的視覺(jué)媒體，根據(jù)模糊度和相關(guān)度確定包含 了至少 一 個(gè)候選視覺(jué)媒體相對(duì)于所述查詢的匹配分?jǐn)?shù)的搜索結(jié)果，使用映射功能來(lái)提供與搜索結(jié)果相關(guān)聯(lián)的置信度等級(jí)，以及根據(jù)置 信度等級(jí)來(lái)提供搜索結(jié)果的可視化。
在另 一 個(gè)示例性實(shí)施例中，提供 一 種用于在搜索系統(tǒng)中確定相
關(guān)度和模糊度的設(shè)備。該設(shè)備包括用于接收包含查詢的視覺(jué)媒體 的裝置，用于根據(jù)模糊度和相關(guān)度來(lái)確定包含了至少一個(gè)候選視覺(jué) 媒體相對(duì)于所述查詢的匹配分?jǐn)?shù)的搜索結(jié)果的裝置，用于使用映射 功能來(lái)提供與搜索結(jié)果相關(guān)聯(lián)的置信度等級(jí)的裝置，以及用于根據(jù) 置信度等級(jí)來(lái)提供搜索結(jié)果可視化的裝置。
在另 一個(gè)示例性實(shí)施例中，提供一種用于在搜索系統(tǒng)中確定相 關(guān)度和模糊度的方法。該方法可以包括根據(jù)模糊度和相關(guān)度并且 對(duì)照包含了查詢的視覺(jué)媒體，使用映射功能來(lái)提供與包含了至少一 個(gè)候選視覺(jué)媒體的匹配分?jǐn)?shù)的搜索結(jié)果相關(guān)聯(lián)的置信度等級(jí)，以及 根據(jù)置信度等級(jí)來(lái)提供在搜索結(jié)果可視化中使用的信息。
在另 一 個(gè)示例性實(shí)施例中，提供 一 種用于在搜索系統(tǒng)中確定相 關(guān)度和模糊度的計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品可以包括至少 一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，并且在該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)了
計(jì)算機(jī)可讀程序代碼部分。計(jì)算機(jī)可讀程序代碼部分包括第一、第 二可執(zhí)行部分。第一可執(zhí)行部分根據(jù)模糊度和相關(guān)度并且對(duì)照包含 了查詢的視覺(jué)媒體，使用映射功能來(lái)提供與包含了至少一個(gè)候選視 覺(jué)媒體的匹配分?jǐn)?shù)的搜索結(jié)果相關(guān)聯(lián)的置信度。第二可執(zhí)行部分根 據(jù)置信度等級(jí)來(lái)提供在搜索結(jié)果可視化中使用的信息。
在另 一個(gè)示例性實(shí)施例中，提供一種用于在搜索系統(tǒng)中確定相 關(guān)度和模糊度的設(shè)備。該設(shè)備可以包括被配置成實(shí)施如下處理的處 理部件根據(jù)模糊度和相關(guān)度并且對(duì)照包含了查詢的視覺(jué)媒體，使 用映射功能來(lái)提供與包含了至少 一個(gè)候選視覺(jué)媒體的匹配分?jǐn)?shù)的搜 索結(jié)果相關(guān)聯(lián)的置信度，以及根據(jù)置信度等級(jí)來(lái)提供在搜索結(jié)果可 視化中使用的信息。
本發(fā)明的實(shí)施例可以提供 一 種用于在設(shè)備中用 增強(qiáng)內(nèi)容檢索 的方法、設(shè)備及計(jì)算機(jī)程序產(chǎn)品，其中所述內(nèi)容檢索例如是圖像內(nèi)容檢索或其他視覺(jué)媒體檢索(例如視頻)。結(jié)果，例如，移動(dòng)終端 和其他電子設(shè)備可以得益于以有效方式執(zhí)行內(nèi)容檢索的能力，并且 以一種智能和有用的方式將結(jié)果提供給用戶。


在一般性地描述了本發(fā)明的實(shí)施例之后，現(xiàn)在將對(duì)附圖加以參
考，其中所述附圖不必按比例繪制，并且在附圖中
圖1是根據(jù)本發(fā)明示例性實(shí)施例的移動(dòng)終端的示意性框圖； 圖2是根據(jù)本發(fā)明示例性實(shí)施例的無(wú)線通信系統(tǒng)的示意性框圖； 圖3示出了根據(jù)本發(fā)明示例性實(shí)施例而在搜索系統(tǒng)中確定相關(guān)
度和/或模糊度的設(shè)備的框圖4示出了根據(jù)本發(fā)明示例性實(shí)施例而根據(jù)單個(gè)圖像匹配分?jǐn)?shù)
來(lái)確定相關(guān)度和模糊度的映射功能的實(shí)施；
圖5示出了根據(jù)本發(fā)明示例性實(shí)施例而根據(jù)一組圖像匹配分?jǐn)?shù)
來(lái)確定相關(guān)度和模糊度的映射功能的另 一個(gè)實(shí)施；
圖6示出了根據(jù)本發(fā)明示例性實(shí)施例而根據(jù)一組圖像匹配分?jǐn)?shù)
以及視覺(jué)對(duì)象的內(nèi)部鏈接分析來(lái)確定相關(guān)度和模糊度的映射功能的
另一個(gè)實(shí)施；
圖7示出了根據(jù)本發(fā)明示例性實(shí)施例而基于與關(guān)于視覺(jué)對(duì)象流 行度的信息相結(jié)合的單個(gè)或一組圖像匹配分?jǐn)?shù)來(lái)確定相關(guān)度和模糊 度的映射功能的另一個(gè)實(shí)施；
圖8示出了根據(jù)本發(fā)明示例性實(shí)施例而與精確匹配相關(guān)聯(lián)的搜 索結(jié)果的可視化；
索結(jié)果的可^L化；
圖10示出了 ^f艮據(jù)本發(fā)明示例性實(shí)施例而與多個(gè)返回相關(guān)聯(lián)的搜 索結(jié)果的可視化；
圖11示出了才艮據(jù)本發(fā)明示例性實(shí)施例而與無(wú)法發(fā)現(xiàn)匹配相關(guān)聯(lián) 的搜索結(jié)果的可視化；圖12是依照了根據(jù)本發(fā)明示例性實(shí)施例而在搜索系統(tǒng)中確定相
關(guān)度和模糊度的示例性方法的流程圖；以及
圖13示出了可能遇到圖像模糊的圖像的示例。
具體實(shí)施例方式
現(xiàn)在，在下文中將參考附圖來(lái)對(duì)本發(fā)明的實(shí)施例進(jìn)行更全面的 描述，在其中示出了本發(fā)明的某些實(shí)施例，但是并不是所有實(shí)施例。 實(shí)際上，本發(fā)明可以采用眾多不同的形式來(lái)實(shí)現(xiàn)，并且不應(yīng)該被解 釋成是局限于這里闡述的實(shí)施例；相反，提供這些實(shí)施例是為了使 本公開(kāi)內(nèi)容滿足適用的法律要求。相同的參考數(shù)字始終指示相同的 部件。
圖1示出了得益于本發(fā)明實(shí)施例的移動(dòng)終端10的框圖。然而應(yīng) 該理解，在下文中描述并圖示的移動(dòng)電話僅僅例證了 一種可以得益 于本發(fā)明實(shí)施例的移動(dòng)電話，由此不應(yīng)該用它來(lái)限制本發(fā)明實(shí)施例
動(dòng)電話IO的一個(gè)實(shí)施例，但是其他類型的移動(dòng)終端也很容易使用本 發(fā)明的示例性實(shí)施例，例如便攜數(shù)字助理(PDA)、尋呼機(jī)、移動(dòng) 計(jì)算機(jī)、移動(dòng)電視、游戲設(shè)備、膝上型計(jì)算機(jī)、照相機(jī)、錄影機(jī)、 GPS設(shè)備以及其他類型的語(yǔ)音和文本通信系統(tǒng)。此外，非移動(dòng)設(shè)備 同樣可以很容易使用本發(fā)明的實(shí)施例。
在下文中主要結(jié)合移動(dòng)通信應(yīng)用來(lái)描述本發(fā)明的實(shí)施例的的系 統(tǒng)和方法。^f旦是應(yīng)該理解，本發(fā)明實(shí)施例的系統(tǒng)和方法可以結(jié)合移 動(dòng)通信行業(yè)內(nèi)以及移動(dòng)通信行業(yè)外的多種其他應(yīng)用來(lái)使用。
移動(dòng)終端10包括與發(fā)射機(jī)14以及接收機(jī)16進(jìn)行可#:作通信的 天線12 (或多個(gè)天線)。該移動(dòng)終端IO還包括分別向發(fā)射機(jī)14提 供信號(hào)以及從接收機(jī)16接收信號(hào)的控制器20或其他處理部件。該 信號(hào)包括符合適用蜂窩系統(tǒng)的空中接口標(biāo)準(zhǔn)的信令信息，以及用戶 語(yǔ)音、接收數(shù)據(jù)和/或用戶生成數(shù)據(jù)。就此而論，移動(dòng)終端IO能夠結(jié) 合一個(gè)或多個(gè)空中接口標(biāo)準(zhǔn)、通信協(xié)議、調(diào)制類型以及接入類型來(lái)工作。作為例證，移動(dòng)終端IO能夠依照第一、第二、第三和/或第四
代通信協(xié)議或類似協(xié)議中的任何一種來(lái)工作。例如，移動(dòng)終端10能 夠依照第二代(2G)無(wú)線通信協(xié)議IS-136 (TDMA) 、 GSM和IS-95
(CDMA )來(lái)工作，或者能夠依照諸如UMTS 、 CDMA2000 、 WCDMA 以及TD-SCDMA之類的第三代(3G)無(wú)線通信協(xié)議來(lái)工作，還能夠 依照第四代(4G)無(wú)線通信協(xié)議等來(lái)工作。
應(yīng)該理解的是，控制器20包括用于實(shí)施移動(dòng)終端10的音頻和 邏輯功能所需要的電路。例如，控制器IO可以包括數(shù)字信號(hào)處理器 設(shè)備、微處理器設(shè)備，以及各種模數(shù)轉(zhuǎn)換器、數(shù)模轉(zhuǎn)換器和其他支 持電路。移動(dòng)終端IO的控制和信號(hào)處理功能是根據(jù)這些設(shè)備的相應(yīng) 能力而在其間分配的。由此，控制器20還可以包括在調(diào)制和傳輸之 前對(duì)消息及數(shù)據(jù)進(jìn)行巻積編碼和交織的功能。此外，控制器20還可 以包括內(nèi)部語(yǔ)音編碼器，并且可以包括內(nèi)部數(shù)據(jù)調(diào)制解調(diào)器。更進(jìn) 一步，控制器20可以包括操作一個(gè)或多個(gè)可以存儲(chǔ)在存儲(chǔ)器中的軟 件程序的功能。例如，控制器20能夠操作連接程序，例如常規(guī)的 Web瀏覽器。然后，該連接程序可以允許移動(dòng)終端IO傳送和接收 Web內(nèi)容，例如基于位置的內(nèi)容和/或其他網(wǎng)頁(yè)內(nèi)容，其中例如，所 述傳送和接收可以根據(jù)無(wú)線應(yīng)用協(xié)議(WAP)、超文本傳輸協(xié)議
(HTTP)和/或類似協(xié)議來(lái)進(jìn)行。
移動(dòng)終端10還可以包括用戶4妄口 ，其中該用戶接口包括輸出i殳 備，例如常規(guī)的耳機(jī)或揚(yáng)聲器24、麥克風(fēng)26、顯示器28、以及用戶 輸入接口，并且所有這些設(shè)備都與控制器20相耦合。用戶輸入接口 允許移動(dòng)終端IO接收數(shù)據(jù)，并且它可以包括允許移動(dòng)終端10接收 數(shù)據(jù)的多種設(shè)備中的任何一種，例如小鍵盤(pán)30、觸摸顯示器(未顯 示)或其他輸入設(shè)備。在包含小鍵盤(pán)30的實(shí)施例中，小鍵盤(pán)30可 以包括常規(guī)數(shù)字(0-9)和相關(guān)按鍵(#， *)，以及用于操作移動(dòng)終 端10的其他按鍵。作為替換，小鍵盤(pán)30可以包括常規(guī)的QWERTY 小鍵盤(pán)布置。所述小鍵盤(pán)30還可以包括具有相關(guān)聯(lián)的功能的各種軟 按鍵。作為補(bǔ)充或替換，移動(dòng)終端IO還可以包括接口設(shè)備，例如搖桿或其他用戶輸入接口。更進(jìn)一步，所述移動(dòng)終端IO還包括用于為 各種操作移動(dòng)終端1 0所需要的電路供電以及可選地提供機(jī)械震動(dòng)作
為可纟企測(cè)輸出的電池34、例如震動(dòng)電池組。
在一個(gè)示例性實(shí)施例中，移動(dòng)終端10可以包括與控制器20通 信的媒體捕獲部件，例如相機(jī)、視頻和/或音頻模塊。該媒體捕獲部 件可以是任何用于捕獲圖像、視頻和/或音頻來(lái)進(jìn)行存儲(chǔ)、顯示和傳 輸?shù)难b置。例如，在媒體捕獲部件是相機(jī)模塊36的示例性實(shí)施例中， 相機(jī)模塊36可以包括能從捕獲圖像中形成數(shù)字圖像文件的數(shù)碼相 機(jī)。同樣，相機(jī)模塊36包括從捕獲圖像中創(chuàng)建數(shù)字圖像文件所需要 的所有硬件和軟件，其中硬件例如是鏡頭或是一個(gè)或多個(gè)其他光學(xué) 組件。作為替換，相機(jī)模塊36可以只包括查看圖像所需要的硬件， 而移動(dòng)終端10的存儲(chǔ)器設(shè)備則存儲(chǔ)了供控制器20執(zhí)行的指令，其 中所述指令采用的是從捕獲圖像中創(chuàng)建數(shù)字圖像文件所需要的軟件 的形式。在一個(gè)示例性實(shí)施例中，相機(jī)模塊36還可以包括處理部件， 例如在處理圖像數(shù)據(jù)的過(guò)程中幫助控制器20的協(xié)處理器，以及用于 壓縮和/或解壓縮圖像數(shù)據(jù)的編碼器和/或解碼器。所述編碼器和/或 解碼器可以根據(jù)JP E G標(biāo)準(zhǔn)格式以及類似格式來(lái)進(jìn)行編碼和/或解碼。 作為補(bǔ)充或替換，相機(jī)模塊36可以包括一個(gè)或多個(gè)視圖，例如第一 人稱相機(jī)視圖和第三人稱地圖視圖。
移動(dòng)終端IO還可以包括與控制器20通信的定位傳感器，例如 GPS模塊70。該定位傳感器可以是用于定位移動(dòng)終端10的位置的任 何裝置。此外，定位傳感器還可以是用于在相機(jī)模塊36捕獲的圖像 中定位興趣點(diǎn)(POI)位置的任何裝置，其中所述興趣點(diǎn)例如是商店、 書(shū)店、餐廳、咖啡店、百貨商店以及其他公司等等。同樣，這里使 用的興趣點(diǎn)可以包括用戶感興趣的任何實(shí)體，例如產(chǎn)品和其他對(duì)象 等等。定位傳感器可以包括用于定位移動(dòng)終端或圖像中的POI的位 置的所有硬件。作為替換或補(bǔ)充，定位傳感器可以使用移動(dòng)終端10 的存儲(chǔ)器設(shè)備來(lái)存儲(chǔ)供控制器20執(zhí)行的指令，其中所述指令采用的 是確定移動(dòng)終端或POI圖像的位置所需要的軟件的形式。此外，定位傳感器能夠通過(guò)使用控制器20來(lái)經(jīng)由發(fā)射機(jī)14/接收機(jī)16向服務(wù) 器發(fā)射/接收位置信息，其中所述位置信息例如是移動(dòng)終端10的位置 以及一個(gè)或多個(gè)POI的位置，所述服務(wù)器例如是視覺(jué)搜索服務(wù)器51 和/或視覺(jué)搜索數(shù)據(jù)庫(kù)53 (參見(jiàn)圖2),在下文中將會(huì)對(duì)此進(jìn)行更全 面的描述。
移動(dòng)終端還可以包括視覺(jué)搜索客戶端68 (例如統(tǒng)一的移動(dòng)視覺(jué) 搜索/映射客戶端)。該視覺(jué)搜索客戶端68可以是以硬件、軟件或軟 件和硬件的組合實(shí)現(xiàn)的任何裝置或設(shè)備，所述裝置或設(shè)備能夠與視 覺(jué)搜索服務(wù)器51和/或視覺(jué)搜索數(shù)據(jù)庫(kù)53(參見(jiàn)圖2)通信來(lái)處理從 相機(jī)模塊36接收的查詢(例如圖像或視頻剪輯)，以便提供包含了 具有查詢相似度等級(jí)的圖像的結(jié)果。例如，視覺(jué)搜索客戶端68可以 被配置成在移動(dòng)終端10指向?qū)ο蠛?或POI的時(shí)候、或在對(duì)象和/或 POI處于相機(jī)模塊36的視線以內(nèi)的時(shí)候、或當(dāng)相機(jī)模塊36在圖像中 捕獲到POI的時(shí)候，辨認(rèn)(通過(guò)在視覺(jué)搜索數(shù)據(jù)庫(kù)53中根據(jù)查詢圖 像來(lái)實(shí)施針對(duì)相似圖像的視覺(jué)搜索，或是通過(guò)將查詢圖像傳遞到視 覺(jué)搜索服務(wù)器51來(lái)實(shí)施視覺(jué)搜索并接收結(jié)果)對(duì)象和/或興趣點(diǎn)。
移動(dòng)終端IO還可以包括用戶身份模塊(UIM) 38。 UIM38通常 是具有內(nèi)置處理器的存儲(chǔ)器設(shè)備。例如，UIM38可以包括訂戶身份 模塊(SIM )、通用集成電路卡(UICC )、通用訂戶身份模塊(USIM )、 可拆卸用戶身份模塊(R-UIM)等。UIM38通常存儲(chǔ)了涉及移動(dòng)訂 戶的信息元素。除了 UIM38之外，移動(dòng)終端IO還可以配備存儲(chǔ)器。 例如,移動(dòng)終端10可以包括易失性存儲(chǔ)器40，例如包含了用于臨時(shí) 存儲(chǔ)數(shù)據(jù)的高速緩存區(qū)域的易失性隨機(jī)存取存儲(chǔ)器(RAM)。該移 動(dòng)終端IO還可以包括其他非易失性存儲(chǔ)器42，其中所述非易失性存 儲(chǔ)器可以是嵌入式和/或可以是可移動(dòng)的。作為補(bǔ)充或替換，非易失 性存儲(chǔ)器42可以包括EEPROM、閃存或類似存々者器，例如可以從 Sunnyvale, California的SanDisk z〉司或Fremont, California的Lexar Media公司得到的存儲(chǔ)器。這些存儲(chǔ)器可以存儲(chǔ)供移動(dòng)終端10使用 的多種信息和數(shù)據(jù)中的任何一種，以便實(shí)施移動(dòng)終端10的功能。例如，這些存儲(chǔ)器可以包括能夠唯一標(biāo)識(shí)移動(dòng)終端IO的標(biāo)識(shí)符，例如
國(guó)際移動(dòng)設(shè)備標(biāo)識(shí)(IMEI)碼。
圖2是根據(jù)本發(fā)明示例性實(shí)施例的無(wú)線通信系統(tǒng)的示意性框圖。 現(xiàn)在參考圖2，該圖提供了 一種從本發(fā)明示例性實(shí)施例中獲益的系統(tǒng) 的例證。該系統(tǒng)可以包括多個(gè)網(wǎng)絡(luò)設(shè)備。如所示， 一個(gè)或多個(gè)移動(dòng) 終端10中的每一個(gè)都可以包括用于向基點(diǎn)或基站(BS) 44傳送信 號(hào)以及從基點(diǎn)或基站(BS) 44接收信號(hào)的天線12。基站44可以是 一個(gè)或多個(gè)蜂窩或移動(dòng)網(wǎng)絡(luò)的一部分，其中每個(gè)蜂窩或移動(dòng)網(wǎng)絡(luò)都 包括操作網(wǎng)絡(luò)所需要的部件，例如移動(dòng)交換中心(MSC)46。正如 本領(lǐng)域技術(shù)人員公知的那樣，移動(dòng)網(wǎng)絡(luò)也可以被稱為基站/MSC/互連 功能(BMI)。在工作中，當(dāng)移動(dòng)終端IO發(fā)起和接收呼叫時(shí)，MSC 46能夠路由往來(lái)于移動(dòng)終端10的呼叫。當(dāng)在某個(gè)呼叫中涉及移動(dòng)終 端10時(shí)，MSC46還可以才是供與陸線干線相連的連接。另夕卜，MSC46 能夠控制往來(lái)于移動(dòng)終端IO的消息的轉(zhuǎn)發(fā)，并且可以控制往來(lái)于消 息收發(fā)中心且針對(duì)移動(dòng)終端10的消息的轉(zhuǎn)發(fā)。應(yīng)該指出的是，雖然 在圖2的系統(tǒng)中顯示了 MSC46,但是MSC46僅僅是一個(gè)示例性網(wǎng) 絡(luò)設(shè)備，并且本發(fā)明的實(shí)施例并不僅限于在使用了 MSC的網(wǎng)絡(luò)中運(yùn) 用。
MSC46可以耦合到數(shù)據(jù)網(wǎng)絡(luò)，例如局域網(wǎng)(LAN)、城域網(wǎng) (MAN )和/或廣域網(wǎng)(WAN ) 。 MSC 46可以直接耦合到數(shù)據(jù)網(wǎng)絡(luò)。 但是，在一個(gè)典型實(shí)施例中，MSC 46耦合到網(wǎng)關(guān)設(shè)備(GTW )48， 而GTW48則耦合到WAN，例如因特網(wǎng)50。而諸如處理部件(例如 個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)等等)之類的設(shè)備則轉(zhuǎn)而可以經(jīng)由因特 網(wǎng)50津禺合到移動(dòng)終端10。例如，如下所述，處理部件可以包括與如 下所述的計(jì)算系統(tǒng)52、源服務(wù)器54、視覺(jué)搜索服務(wù)器51、視覺(jué)搜索 數(shù)據(jù)庫(kù)53等等相關(guān)聯(lián)的一個(gè)或多個(gè)處理部件。
BS44還可以耦合到信令GPRS (通用分組無(wú)線電服務(wù))支持節(jié) 點(diǎn)(SGSN)56。正如本領(lǐng)域技術(shù)人員所知道的那樣，SGSN56通常 能為分組交換服務(wù)執(zhí)行與MSC46相類似的功能。與MSC46相似，SGSN 56可以耦合到數(shù)據(jù)網(wǎng)絡(luò)，例如因特網(wǎng)50。該SGSN56可以直 接耦合到數(shù)據(jù)網(wǎng)絡(luò)。但在更典型的實(shí)施例中，SGSN56耦合到分組 交換核心網(wǎng)絡(luò)，例如GPRS核心網(wǎng)絡(luò)58。然后，該分組交換核心網(wǎng) 絡(luò)耦合到另一個(gè)GTW48，例如GTWGPRS支持節(jié)點(diǎn)(GGSN) 60， 所述GGSN60則耦合到因特網(wǎng)50。除了GGSN60之外，分組交換 核心網(wǎng)絡(luò)還可以耦合到GTW48。此外，GGSN60也可以耦合到一 個(gè)消息收發(fā)中心。就此而"i侖，與MSC46相似，GGSN 60和SGSN 56 能夠控制諸如MMS消息之類的消息的轉(zhuǎn)發(fā)。GGSN 60和SGSN 56 還能為移動(dòng)終端10控制往來(lái)于消息收發(fā)中心的消息的轉(zhuǎn)發(fā)。
此外，通過(guò)將SGSN 56耦合到GPRS核心網(wǎng)絡(luò)58以及GGSN 60， 諸如計(jì)算系統(tǒng)52和/或源服務(wù)器54之類的設(shè)備可以經(jīng)由因特網(wǎng)50、 SGSN56以及GGSN60耦合到移動(dòng)終端10。就此而論，諸如計(jì)算系 統(tǒng)52和/或源服務(wù)器54之類的設(shè)備可以經(jīng)由SGSN56、 GPRS核心 網(wǎng)絡(luò)58以及GGSN60與移動(dòng)終端IO進(jìn)行通信。通過(guò)直接或間4妄地 將移動(dòng)終端10和其他設(shè)備(例如計(jì)算系統(tǒng)52、源服務(wù)器54、視覺(jué) 搜索服務(wù)器51、視覺(jué)搜索數(shù)據(jù)庫(kù)53等等)連接到因特網(wǎng)50,移動(dòng) 終端10可以與其他設(shè)備通信以及相互通信，其中例如，所述通信可 以依據(jù)超文本傳輸協(xié)議(HTTP)和/或類似協(xié)議，由此可以執(zhí)行移動(dòng) 終端10的各種功能。
雖然在這里沒(méi)有顯示和描述每個(gè)可能的移動(dòng)網(wǎng)絡(luò)中的每個(gè)部 件，但是應(yīng)該了解，移動(dòng)終端10可以通過(guò)BS44耦合到多個(gè)不同網(wǎng) 絡(luò)中的一個(gè)或多個(gè)網(wǎng)絡(luò)。就此而論，所述一個(gè)或多個(gè)網(wǎng)絡(luò)能夠支持 依照第一代(1G)、第二代(2G) 、 2.5G、第三代(3G) 、 3.9G、 第四代(4G )移動(dòng)通信協(xié)議或類似協(xié)議中的 一個(gè)或多個(gè)協(xié)議的通信。 例如， 一個(gè)或多個(gè)網(wǎng)絡(luò)能夠支持依照2G無(wú)線通信協(xié)議IS-136 (TDMA) 、 GSM和IS-95 (CDMA)的通信。此外，例如， 一個(gè)或 多個(gè)網(wǎng)絡(luò)能夠支持依照2.5G無(wú)線通信協(xié)議GPRS、增強(qiáng)型數(shù)據(jù)GSM 環(huán)境(EDGE)等等的通信。更進(jìn)一步，例如， 一個(gè)或多個(gè)網(wǎng)絡(luò)能夠 支持依據(jù)3G無(wú)線通信協(xié)議的通信，例如使用了寬帶碼分多址(WCDMA)無(wú)線電接入技術(shù)的通用移動(dòng)電話系統(tǒng)(UMTS)網(wǎng)絡(luò)。 某些窄帶AMPS (NAMPS)和TACS網(wǎng)絡(luò)同樣可以得益于本發(fā)明的 實(shí)施例，并且雙模式或更高模式的移動(dòng)站也應(yīng)如此(例如數(shù)字/模擬 或TDMA/CDMA/模擬電話)。
移動(dòng)終端IO還可以耦合到一個(gè)或多個(gè)無(wú)線沖妄入點(diǎn)(AP) 62。 AP62可以包括被配置成根據(jù)諸如射頻(RF)、藍(lán)牙(BT)、紅外
(IrDA)或是多種不同無(wú)線聯(lián)網(wǎng)技術(shù)中的任何一種的技術(shù)來(lái)與移動(dòng) 終端IO進(jìn)行通信的接入點(diǎn)，其中所述無(wú)線聯(lián)網(wǎng)技術(shù)包括無(wú)線LAN
(WLAN)技術(shù)，例如IEEE 802.11 (例如802.lla、 802.11b、 802.llg、 802.11n等等)、諸如IEEE 802.16之類的WiMAX技術(shù)、和/或諸如 IEEE 802.15之類的超寬帶(UWB)技術(shù)等等。AP62可以耦合到因 特網(wǎng)50。與MSC46相同，AP62可以直接耦合到因特網(wǎng)50。但在 一個(gè)實(shí)施例中，AP是經(jīng)由GTW48間接耦合到因特網(wǎng)50。此外，在 一個(gè)實(shí)施例中，BS44可以被認(rèn)為是另一個(gè)AP62。正如所了解的那 樣，通過(guò)直接或間接地將移動(dòng)終端10、計(jì)算系統(tǒng)52、源服務(wù)器54 和/或多個(gè)其他設(shè)備中的任一個(gè)設(shè)備連接到因特網(wǎng)50，移動(dòng)終端10 既可以相互通信，也可以與計(jì)算系統(tǒng)等等通信，由此執(zhí)行移動(dòng)終端 IO的各種功能，例如向計(jì)算系統(tǒng)52傳送數(shù)據(jù)、內(nèi)容等等和/或接收 來(lái)自計(jì)算系統(tǒng)52的內(nèi)容、數(shù)據(jù)等等。這里使用的術(shù)語(yǔ)"數(shù)據(jù)"、"內(nèi) 容"、"信息，，以及類似的術(shù)語(yǔ)可以可交換地用于指示那些能夠依 照本發(fā)明實(shí)施例而被傳送、接收和/或存儲(chǔ)的數(shù)據(jù)。由此，任何此類 術(shù)語(yǔ)的運(yùn)用不應(yīng)該限制本發(fā)明的實(shí)質(zhì)和范圍。
正如所了解的那樣，通過(guò)直接或間接地將移動(dòng)終端10、計(jì)算系 統(tǒng)52、源服務(wù)器54、視覺(jué)搜索服務(wù)器51、視覺(jué)搜索數(shù)據(jù)庫(kù)53和/ 或任何數(shù)量的其他設(shè)備連接到因特網(wǎng)50,移動(dòng)終端IO既可以相互通 信，也可以與計(jì)算系統(tǒng)52、源服務(wù)器54、視覺(jué)搜索服務(wù)器51、視覺(jué) 搜索數(shù)據(jù)庫(kù)53等等進(jìn)行通信，由此執(zhí)行移動(dòng)終端IO的各種功能， 例如向計(jì)算系統(tǒng)52、源服務(wù)器54、視覺(jué)搜索服務(wù)器51和/或視覺(jué)搜 索數(shù)據(jù)庫(kù)53等等傳送數(shù)據(jù)、內(nèi)容等等，和/或接收來(lái)自計(jì)算系統(tǒng)52源服務(wù)器54、視覺(jué)搜索服務(wù)器51和/或視覺(jué)搜索數(shù)據(jù)庫(kù)53等等的內(nèi) 容、數(shù)據(jù)等等。例如，視覺(jué)搜索服務(wù)器51可以作為一個(gè)或多個(gè)其他 服務(wù)器來(lái)實(shí)現(xiàn)，例如可以提供與一個(gè)或多個(gè)移動(dòng)終端IO或是一個(gè)或 多個(gè)興趣點(diǎn)(POI)的地理區(qū)域相關(guān)的地圖數(shù)據(jù)的視覺(jué)地圖服務(wù)器， 或是可以存儲(chǔ)與 一個(gè)或多個(gè)POI的地理位置有關(guān)的數(shù)據(jù)以及可以存 儲(chǔ)涉及不同興趣點(diǎn)的數(shù)據(jù)的POI服務(wù)器，其中所述數(shù)據(jù)包括但不局 限于POI位置、POI類別(例如咖啡店或餐廳、運(yùn)動(dòng)場(chǎng)、音樂(lè)會(huì)等 等)、涉及POI的產(chǎn)品信息等等。相應(yīng)地，例如，移動(dòng)終端10可以 捕獲圖像或視頻剪輯，并且所述圖像或視頻剪輯可以作為查詢而被 傳送到視覺(jué)搜索服務(wù)器51,以便在與視覺(jué)搜索數(shù)據(jù)庫(kù)53中存儲(chǔ)的圖 像或視頻剪輯進(jìn)行比較的過(guò)程中使用。同樣，視覺(jué)搜索服務(wù)器51可 以執(zhí)行與相機(jī)模塊36所獲取的圖像或視頻剪輯的比較，并且確定這 些圖像或視頻剪輯與視覺(jué)搜索數(shù)據(jù)庫(kù)53中存儲(chǔ)的圖像或視頻剪輯是 否4妾近以及接近的程度。
雖然在圖2中沒(méi)有顯示，但是作為將移動(dòng)終端IO經(jīng)由因特網(wǎng)50 耦合到計(jì)算系統(tǒng)52和/或視覺(jué)搜索服務(wù)器51以及視覺(jué)搜索數(shù)據(jù)庫(kù)53 的補(bǔ)充或替換，移動(dòng)終端10和計(jì)算系統(tǒng)52和/或視覺(jué)搜索服務(wù)器51 以及視覺(jué)搜索數(shù)據(jù)庫(kù)53還可以相互耦合和通信，其中例如，所述通 信依照的是RF、 BT、 IrDA或是多種不同的有線或無(wú)線通信技術(shù)中 的任何一種，這其中包括LAN、 WLAN、 WiMAX和/或UWB技術(shù) 等。作為補(bǔ)充或替換，計(jì)算系統(tǒng)52、視覺(jué)搜索服務(wù)器51和視覺(jué)搜索 數(shù)據(jù)庫(kù)5 3中的 一 個(gè)或多個(gè)可以包括能夠存儲(chǔ)此后能被傳送到移動(dòng)終 端10的內(nèi)容的可移動(dòng)存儲(chǔ)器。更進(jìn)一步，移動(dòng)終端10可以耦合到 一個(gè)或多個(gè)電子設(shè)備，例如打印機(jī)、數(shù)字投影儀和/或其他多媒體捕 獲、生成和/或存儲(chǔ)設(shè)備(例如其他終端)。與計(jì)算系統(tǒng)52、視覺(jué)搜 索服務(wù)器51以及視覺(jué)搜索數(shù)據(jù)庫(kù)53相同，移動(dòng)終端10可以被配置 成與便攜電子設(shè)備進(jìn)行通信，其中例如，所述通信依據(jù)的技術(shù)可以 是RF、 BT、 IrDA或是多種不同有線或無(wú)線通信技術(shù)中的任何一種， 這其中包括USB、 LAN、 WLAN、 WiMAX和/或UWB技術(shù)等。在一個(gè)示例性實(shí)施例中，諸如圖像內(nèi)容之類的內(nèi)容可以經(jīng)由圖2 的系統(tǒng)而在移動(dòng)終端與圖2系統(tǒng)的網(wǎng)絡(luò)設(shè)備之間或者在移動(dòng)終端之 間傳送，其中所述移動(dòng)終端可以與圖1的移動(dòng)終端10相類似。例如， 數(shù)據(jù)庫(kù)可以存儲(chǔ)圖2系統(tǒng)的網(wǎng)絡(luò)設(shè)備處的內(nèi)容，并且移動(dòng)終端IO有 可能希望就特定的內(nèi)容類型而對(duì)內(nèi)容進(jìn)行搜索。但是應(yīng)該理解，圖2 的系統(tǒng)未必用于移動(dòng)終端之間或是網(wǎng)絡(luò)設(shè)備與移動(dòng)終端之間的通 信，相反，圖2僅僅是出于示例目的提供的。此外還應(yīng)該理解，本 發(fā)明的實(shí)施例既可以駐留在移動(dòng)終端IO之類的通信設(shè)備中，也可以 駐留在網(wǎng)絡(luò)設(shè)備或是可以訪問(wèn)通信設(shè)備的其他設(shè)備上。
圖3示出了根據(jù)本發(fā)明示例性實(shí)施例而在搜索系統(tǒng)中確定相關(guān) 度和/或模糊度的設(shè)備的框圖。出于示例目的，將結(jié)合圖1的移動(dòng)終 端10來(lái)描述圖3的系統(tǒng)。然而應(yīng)該指出的是，圖3的設(shè)備同樣可以 與多種其他的移動(dòng)和固定設(shè)備結(jié)合使用，因此，本發(fā)明的實(shí)施例不 應(yīng)該僅限于在圖1的移動(dòng)終端IO之類的設(shè)備上的應(yīng)用。實(shí)際上，本 發(fā)明的實(shí)施例還可以在客戶端-服務(wù)器關(guān)系的上下文中使用，其中客 戶端(例如視覺(jué)搜索客戶端68 )向服務(wù)器(例如視覺(jué)搜索服務(wù)器51 ) 發(fā)布一個(gè)查詢，服務(wù)器則實(shí)施本發(fā)明的實(shí)施例，并且將結(jié)果傳遞給 客戶端。還應(yīng)該指出的是，雖然圖3示出了用于提供與視覺(jué)搜索有 關(guān)的相關(guān)度和/或模糊度信息的設(shè)備配置的 一 個(gè)示例，但是多種其他 配置也可用于實(shí)施本發(fā)明的實(shí)施例。
現(xiàn)在參考圖3,該圖提供了一個(gè)用于在搜索系統(tǒng)中確定相關(guān)度和 /或模糊度的搜索設(shè)備70。在示例性實(shí)施例中，搜索設(shè)備70既可以 在移動(dòng)終端IO和視覺(jué)搜索服務(wù)器51之一處實(shí)現(xiàn)，也可以同時(shí)在這 二者中實(shí)現(xiàn)。換句話說(shuō)，搜索設(shè)備70的某些部分可以駐留在移動(dòng)終 端10上，而其他部分則駐留在視覺(jué)搜索服務(wù)器51上。作為替換， 搜索設(shè)備70可以完全駐留在移動(dòng)終端10和/或視覺(jué)搜索服務(wù)器51 上。搜索設(shè)備70可以包括用戶接口部件72、處理部件74、存儲(chǔ)器 75 (它可以是易失或非易失存儲(chǔ)器)、分類部件76、映射功能77 以及可^L化部件78。在一個(gè)示例性實(shí)施例中，處理部件74可以作為圖l移動(dòng)終端10的控制器20來(lái)實(shí)現(xiàn)，或者作為視覺(jué)搜索服務(wù)器51 的處理器或控制器來(lái)實(shí)現(xiàn)。但作為替換，處理部件74還可以是另一 不同設(shè)備的處理部件。這里描述的處理部件可以用多種方式實(shí)現(xiàn)。 例如，處理部件74可以作為處理器、協(xié)處理器、控制器或是包含了 諸如ASIC (專用集成電路)之類的集成電路的各種其他處理裝置或 設(shè)備來(lái)實(shí)現(xiàn)。
用戶接口部件72可以是用硬件、專欠件或是軟件和石更件的組合實(shí) 現(xiàn)的任何設(shè)備或裝置，并且它能夠接收用戶輸入和/或向用戶提供輸 出。例如，用戶接口部件72可以包括鍵盤(pán)、小鍵盤(pán)、功能鍵、鼠標(biāo)、 滾動(dòng)設(shè)備、觸摸屏或是任何其他可供用戶與搜索設(shè)備70對(duì)接的機(jī)制。 用戶接口部件72還可以包括顯示器、揚(yáng)聲器或是其他用于將用戶輸 出提供給用戶的輸出機(jī)制。在一個(gè)示例性實(shí)施例中，與包含實(shí)際接 收用戶輸入和/或提供用戶輸出的設(shè)備不同，用戶接口部件72可以與 設(shè)備進(jìn)行通信，以便實(shí)際接收用戶輸入和/或提供用戶輸出。同樣， 用戶接口部件72可以被配置成接收來(lái)自輸入設(shè)備的用戶輸入的指 示，和/或提供用于傳遞給輸出設(shè)備的消息。
在一個(gè)示例性實(shí)施例中，用戶接口部件72可以被配置成接收來(lái) 自用戶的查詢80的指示。例如，該查詢80可以是包含了內(nèi)容的圖 像，其中所述內(nèi)容為基于內(nèi)容的圖像檢索操作提供了基礎(chǔ)。就此而 論，查詢80可以是通過(guò)任何方法獲取的圖像(例如查詢圖像)。例 如，查詢80可以是從數(shù)據(jù)庫(kù)、從提供查詢80的設(shè)備的存儲(chǔ)器、從 借助相機(jī)模塊36獲取的圖像等等獲取的圖像。換句話說(shuō)，根據(jù)不同 的示例性實(shí)施例，查詢80既可以是先前存在的圖像，也可以是新創(chuàng) 建的圖像。
用戶接口部件72還可以被配置成接收來(lái)自用戶的相關(guān)度反^t, 例如圖^f象反々貴。就此而"i侖，例如，在一開(kāi)始，分類部件76可以才艮據(jù) 查詢80來(lái)提供關(guān)于一組圖像的圖像分類數(shù)據(jù)，這一點(diǎn)將會(huì)在下文中 進(jìn)行更詳細(xì)的描述。在向用戶提供了圖像分類數(shù)據(jù)之后，用戶能夠 輸入關(guān)于圖像組中的選定部分的圖像反饋(例如借助用戶接口部件72)。在一個(gè)示例性實(shí)施例中，圖像反饋可以向分類部件76提供輸入，以便在重新分類該組圖像的過(guò)程中應(yīng)用。但是，在本發(fā)明的實(shí)施例中，相關(guān)度反饋未必是必需的。并且在某些實(shí)施例中未必請(qǐng)求或提供了所述反饋。
分類部件76可以是用硬件、軟件、或是軟件和硬件的組合實(shí)現(xiàn)的任何設(shè)備或裝置，并且它能夠響應(yīng)于視覺(jué)搜索來(lái)執(zhí)行關(guān)于相關(guān)度和/或模糊度的圖像分類。在一個(gè)示例性實(shí)施例中，分類部件76可以被配置成執(zhí)行關(guān)于查詢圖像(例如查詢80)和一組圖像(例如數(shù)據(jù)庫(kù)內(nèi)部的圖像)的相關(guān)度測(cè)量，并且根據(jù)數(shù)據(jù)庫(kù)中的圖像的特征與查詢圖像的各種特征的對(duì)應(yīng)性(例如根據(jù)哪些圖像最為相關(guān))來(lái)返回一組相關(guān)圖像。就此而論，例如，分類部件76可以被配置成將查詢80的一個(gè)或多個(gè)特征與該組圖像的相應(yīng)特征相比較來(lái)提供分類，其中所述分類依據(jù)的是相對(duì)于圖像組內(nèi)部的每一個(gè)圖像的相關(guān)度。同樣，分類部件76還可以被配置成根據(jù)每一個(gè)圖像相對(duì)于查詢圖像的相關(guān)度來(lái)為圖像組的每一個(gè)圖像指定一個(gè)相關(guān)度分?jǐn)?shù)。在一個(gè)示例性實(shí)施例中，分類部件76可以包括用于從圖像中提取特征信息，以便在比較過(guò)程中加以使用的特征提取部件。
高相關(guān)度分?jǐn)?shù)僅基于查詢圖像與候選圖像的特征之間的對(duì)應(yīng)性來(lái)獲得。例如，根據(jù)圖像之間的顏色對(duì)應(yīng)性，從特定角度獲取并且包含了處于草地上的紅色汽車的候選圖像有可能與包含了位于綠桌布上的紅蘋(píng)果的查詢圖像具有相關(guān)度。此外，另一個(gè)具有位于綠色背景中的紅蘋(píng)果的圖像同樣有可能是高度相關(guān)的。因此，另一量度，即模糊度，可能是一個(gè)重要的因素。模糊度可以被認(rèn)為是一種與圖像之間的對(duì)應(yīng)性相關(guān)聯(lián)的不確定性的量度，這是因?yàn)槿缟鲜龇独?，兩個(gè)獨(dú)立的圖像都是高度相關(guān)的。圖13示出了結(jié)合圖像搜索引擎的圖像模糊度的示例。在一個(gè)示例性實(shí)施例中，作為補(bǔ)充或替換，分類部件76可以被配置成關(guān)于查詢圖像以及圖像組執(zhí)行模糊度測(cè)量。就此而論，分類部件76可以被配置成根據(jù)與每一個(gè)比較相關(guān)聯(lián)的模糊度來(lái)為圖像組沖的每一 個(gè)圖像指定一個(gè)模糊度分?jǐn)?shù)。分類部件76還可以被配置成根據(jù)每一個(gè)相應(yīng)圖像的相關(guān)度和模 糊度分?jǐn)?shù)之 一 或是同時(shí)根據(jù)這兩者來(lái)為圖像組中的每 一 個(gè)圖像確定 一個(gè)匹配分?jǐn)?shù)。該匹配分?jǐn)?shù)可以被認(rèn)為是一個(gè)圖像與另 一個(gè)圖像的
相似程度(例如候選圖像與查詢圖像的相似程度)的量度。相應(yīng)地， 例如，與另 一個(gè)圖像非常相似的圖像有可能具有高相關(guān)度和低模糊
度。由于不同的圖像有可能包含不同的對(duì)象，因此，匹配分?jǐn)?shù)有可 能存在很大差異。同樣，要想提供與相關(guān)度線性關(guān)聯(lián)的匹配分?jǐn)?shù)以 及在同一輸入圖像與具有不同對(duì)象的兩個(gè)圖像相匹配時(shí)顯示匹配分
數(shù)的明確差別是困難的。因此，在這里可以使用映射功能77。
例如，映射功能77可以是在算法或計(jì)算設(shè)備中實(shí)現(xiàn)的功能。就 此而論，映射功能77可以作為硬件、軟件或軟件和硬件的組合來(lái)實(shí) 現(xiàn)，并且它^皮配置成^^據(jù)分類部件76確定的匹配分it (例如相關(guān)度 和模糊度分?jǐn)?shù))來(lái)確定置信度等級(jí)。就此而論，映射功能77可以被 配置成組合所有那些有助于確定特定圖像比較的相關(guān)度和模糊度的 因素，以便根據(jù)候選圖像與查詢圖像的比較來(lái)確定候選圖像的置信 度等級(jí)。
可視化部件78可以是作為硬件、軟件或軟件和硬件的組合實(shí)現(xiàn) 的任何裝置或設(shè)備，并且它被配置成接收來(lái)自映射功能77的置信度 等級(jí)信息，以及根據(jù)匹配分?jǐn)?shù)來(lái)將視覺(jué)搜索結(jié)果可視化(例如驅(qū)動(dòng) 顯示器)。例如，可視化部件78可以被配置成顯示那些匹配分?jǐn)?shù)超 出特定閾值的特定圖像、具有最高匹配分?jǐn)?shù)的圖像、或是類似圖像。 在一個(gè)示例性實(shí)施例中，可—見(jiàn)化部件78還可以被配置成以一種表明 匹配分?jǐn)?shù)特性的方式來(lái)顯示此類圖像。更確切地說(shuō)，可^f見(jiàn)化部件78 可以被配置成根據(jù)與每一個(gè)此類圖像相關(guān)聯(lián)的置信度等級(jí)信息來(lái)顯 示此類圖像。
分類部件76、映射功能77和/或可^f見(jiàn)化部件78既可以作為處理 部件74來(lái)實(shí)現(xiàn)，也可以由處理部件74控制。如上所述，映射功能 77可以被配置成確定與特定候選圖像相關(guān)聯(lián)的置信度等級(jí)。但是， 例如，如圖4-圖7所示，可以使用映射功能77的若干種不同實(shí)施。就此而論，圖4-圖7顯示了用于實(shí)施與確定關(guān)聯(lián)于候選圖像的置信
度等級(jí)的處理相關(guān)聯(lián)的映射功能77的不同示例性實(shí)施例。
圖4示出了根據(jù)示例性實(shí)施例并且基于單個(gè)圖像匹配分?jǐn)?shù)來(lái)確定相關(guān)度和模糊度的映射功能77的實(shí)施。如圖4所示，輸入圖像100(例如查詢圖像)可以被輸入到分類部件76中，并且如在操作102中所示，可以提取圖像特征。然后，在操作104中可以根據(jù)所提取的特征以及與輸入圖像相比較的候選圖像中的每 一 個(gè)相應(yīng)特征的最終匹配分?jǐn)?shù)來(lái)執(zhí)行圖像匹配。在操作106中可以在一個(gè)列表中對(duì)這些匹配分?jǐn)?shù)進(jìn)行排序或是以其他方式進(jìn)行排列。然后，在操作108
可以將每一個(gè)分?jǐn)?shù)(例如分?jǐn)?shù)1、分?jǐn)?shù)2、.......分?jǐn)?shù)K)應(yīng)用于映
射功能，其中所述映射功能可以包括多個(gè)相應(yīng)的變換功能(例如變
換功能110-1、 110-2........ 110-K),用于將每一個(gè)經(jīng)過(guò)排序的圖
像匹配分?jǐn)?shù)映射到置信度間隔
，從而為每一個(gè)圖像產(chǎn)生相應(yīng)的
單個(gè)置信度等級(jí)結(jié)果(例如單個(gè)置信度等級(jí)結(jié)果112-1、 112-2........
112-K)。
圖5示出了根據(jù)示例性實(shí)施例并且基于一組圖像匹配分?jǐn)?shù)來(lái)確定相關(guān)度和模糊度的映射功能77的另一個(gè)實(shí)施。如圖5所示，輸入圖像100可以;故輸入到分類部件76,并且如在操作102中所示，可以提取圖像特征。然后，在操作104中可以根據(jù)所提取的特征以及與輸入圖像相比較的候選圖像中的每一個(gè)相應(yīng)特征的最終匹配分?jǐn)?shù)來(lái)執(zhí)行圖像匹配。在操作106中可以在一個(gè)列表中對(duì)這些匹配分?jǐn)?shù)進(jìn)行排序或是以其他方式進(jìn)行排列。然后，在操作120可以將構(gòu)成
一組分?jǐn)?shù)的每一個(gè)分?jǐn)?shù)(例如分?jǐn)?shù)1、分?jǐn)?shù)2........分?jǐn)?shù)K)應(yīng)用
于映射功能，該映射功能則被配置成對(duì)該組分?jǐn)?shù)進(jìn)行操作，以便產(chǎn)生單個(gè)置信度量度。根據(jù)本示例性實(shí)施例的映射功能可以通過(guò)首先定義(或訓(xùn)練)具有自由參數(shù)的通用映射功能形式來(lái)形成。這些自由參數(shù)可以根據(jù)包括匹配分?jǐn)?shù)和相應(yīng)置信度等級(jí)的實(shí)際數(shù)據(jù)集來(lái)確定。換句話說(shuō)，這些自由參數(shù)可以根據(jù)先前使用的實(shí)際數(shù)據(jù)來(lái)確定。通過(guò)使用所確定的自由參數(shù)，映射功能可以為一個(gè)(或多個(gè))相應(yīng)的輸入匹配分?jǐn)?shù)確定置信度等級(jí)。當(dāng)特定搜索產(chǎn)生了若干個(gè)相似的 匹配分?jǐn)?shù)時(shí)，這種狀況有可能表示的是很高的模糊度。因此，通過(guò) 訓(xùn)練如上所述的映射功能，可以在操作122中產(chǎn)生與用戶感知更為 匹配的改進(jìn)的置信度量度。
圖6示出了根據(jù)示例性實(shí)施例并且基于一組圖像匹配分?jǐn)?shù)以及 視覺(jué)對(duì)象的內(nèi)部鏈接分析來(lái)確定相關(guān)度和模糊度的映射功能77的另 一個(gè)實(shí)施。如圖6所示，輸入圖像100可以-陂輸入到分類部件76, 然后可以在操作130才丸行圖像匹配，以及可以為與輸入圖像相比較 的每一個(gè)相應(yīng)候選圖像確定最終的匹配分?jǐn)?shù)。在操作132,該匹配分 數(shù)可以在一個(gè)列表中進(jìn)行排序或者以別的方式排列。然后，構(gòu)成分
數(shù)集合的每一個(gè)分?jǐn)?shù)(例如分?jǐn)?shù)l、分?jǐn)?shù)2........分?jǐn)?shù)K)可以被
應(yīng)用于映射功能，所述映射功能則被配置成在操作134對(duì)分?jǐn)?shù)集合 執(zhí)行操作，以便產(chǎn)生單個(gè)置信度量度?？梢砸耘c先前示例性實(shí)施例 中描述的映射功能相似的方式訓(xùn)練根據(jù)本示例性實(shí)施例的映射功能 77。在操作136,在整合功能中可以整合從映射功能得到的結(jié)果，并 且可以在操作138中通過(guò)使用內(nèi)部鏈接分析來(lái)對(duì)所述結(jié)果進(jìn)行進(jìn)一 步處理。該整合功能可以采用與在上文中參考圖14描述的映射功能 構(gòu)造相類似的方式來(lái)構(gòu)造。
在 一 個(gè)示例性實(shí)施例中，內(nèi)部鏈接分析可以提供關(guān)于圖像之間 的相似度的信息，所述圖像則是特定視覺(jué)數(shù)據(jù)庫(kù)中的條目(例如候 選圖像)。例如，街道標(biāo)記和庭院中的標(biāo)記有可能看上去相似，并 且預(yù)計(jì)會(huì)與標(biāo)記的輸入圖像非常匹配。但是，這樣做會(huì)因?yàn)榻值罉?biāo) 記與庭院中的標(biāo)記之間的相似度而產(chǎn)生模糊度。內(nèi)部鏈接分析可以 通過(guò)確定視覺(jué)數(shù)據(jù)庫(kù)中每一 個(gè)條目之間的相似度來(lái)執(zhí)行，以便提供 彼此相似的條目的信息。通過(guò)使用內(nèi)部鏈接分析，可以創(chuàng)建與視覺(jué) 數(shù)據(jù)庫(kù)中的每對(duì)條目相對(duì)應(yīng)的混淆矩陣，并且可以在操作140中更 精確地確定置信度等級(jí)。
圖7示出了根據(jù)示例性實(shí)施例并且基于與視覺(jué)對(duì)象流行度信息 相結(jié)合的單個(gè)或一組圖像匹配分?jǐn)?shù)來(lái)確定相關(guān)度和模糊度的映射功能77的另一個(gè)實(shí)施(但是圖7僅僅示出了基于單個(gè)匹配分?jǐn)?shù)的確定)。值得注意的是，圖7的實(shí)施例也可以與圖6的實(shí)施例結(jié)合使用(例如結(jié)合內(nèi)部鏈接分析)。如圖7所示，輸入圖像100可以被輸入到分類部件76,然后則可以在操作150根據(jù)輸入圖像特征來(lái)執(zhí)行圖像匹配，并且可以確定候選圖像的最終匹配分?jǐn)?shù)。在操作152,該匹配分?jǐn)?shù)可以排序或者以別的方式排列在一個(gè)列表中。然后，每
一個(gè)分?jǐn)?shù)(例如分凄tl、分?jǐn)?shù)2........分?jǐn)?shù)K)都可以應(yīng)用于相應(yīng)
的映射功能，該映射功能則被配置成在操作154對(duì)每一個(gè)匹配分?jǐn)?shù)執(zhí)-f亍操作。但是，每一個(gè)相應(yīng)的映射功能可以在操作156接收用于提供頻率或流行度信息的輸入，并且在操作158可以產(chǎn)生單個(gè)置信度等級(jí)。而關(guān)于頻率或流行度的信息則可以使用先前的匹配歷史記錄來(lái)獲取。
流行度或頻率信息可以代表特定視覺(jué)對(duì)象將被用戶匹配的可能性量度。例如，如果來(lái)自用戶的大多數(shù)查詢都涉及街道標(biāo)記而不是庭院中的標(biāo)記，則可以采用有利于街道標(biāo)記的方式來(lái)解析這兩個(gè)標(biāo)記之間的任何模糊度。相應(yīng)地，除了相關(guān)度和模糊度之外，通過(guò)添加流行度或頻率作為用于返回對(duì)搜索響應(yīng)的結(jié)果的另 一個(gè)因素，可以在用戶感知方面提供更好的結(jié)果。
如上所述， 一 旦產(chǎn)生了響應(yīng)于以查詢圖像為基礎(chǔ)的視覺(jué)搜索而返回的候選圖像的置信度等級(jí)，則可視化部件78可以被配置成以一種直觀的方式來(lái)提供作為視覺(jué)搜索結(jié)果返回的信息表示。就此而論，例如 一 旦映射功能7 7返回了候選圖像的置信度等級(jí)，則可以根據(jù)與圖像匹配相關(guān)聯(lián)的置信度等級(jí)來(lái)提供返回結(jié)果的可視化。
在一個(gè)示例性實(shí)施例中，如圖8所示，如果關(guān)于候選圖像200返回的置信度等級(jí)很高，那么所提供的可視化也可以指示這一點(diǎn)。例如，如果發(fā)現(xiàn)精確匹配，則可以在返回的圖像周圍提供一個(gè)方框202,以便表明精確匹配。該方框202既可以是固定不變的，也可以閃爍一段時(shí)間。作為補(bǔ)充或替換，可以顯示完整的相關(guān)性指示符204。所述相關(guān)性指示符204可以類似于與信號(hào)強(qiáng)度指示相聯(lián)系并為用戶所熟悉的信號(hào)條。同樣，更完整的相關(guān)性指示符204(例如更多的條) 可以表明更高的置信度。圖9示出了這樣一個(gè)示例，其中如完整的 相關(guān)性指示符204所示，高置信度等級(jí)與所返回的圖像相關(guān)聯(lián)。從 圖8和圖9中可以看出，涉及返回結(jié)果的鏈接同樣是可以顯示的。
在為給定輸入圖像返回了 一系列置信度等級(jí)之后，用戶有可能 更愿意知道不同搜索結(jié)果。因此，例如，如圖IO所示，如果將Golden Gate Bridge (金門(mén)大橋)誤認(rèn)為是Bay Bridge (海灣大橋)，但是置 信度較低，則可以顯示具有較高相關(guān)度的結(jié)果，同時(shí)照亮相關(guān)性指 示符的較高數(shù)字，其他選項(xiàng)可以按照置信度降低的順序顯示，并且 照亮相關(guān)性指示符中的相對(duì)應(yīng)的較低數(shù)字(或較少部分)。在滾動(dòng) 瀏覽、高亮或選擇了某個(gè)項(xiàng)目之后，可以在高亮或選定的項(xiàng)目周圍 安置突出顯示或選擇窗口 208。
在一個(gè)示例性實(shí)施例中，如圖ll所示，如果模糊度高于特定閾 值或者沒(méi)有發(fā)現(xiàn)匹配，那么例如，所提供的可視化可以指示顯示某 些感興趣的流行鏈接和/或"搜索"，其中在所顯示的圖像周圍沒(méi)有 繪制方框，并且沒(méi)有相關(guān)條。
圖12是根據(jù)本發(fā)明示例性實(shí)施例的系統(tǒng)、方法及程序產(chǎn)品的流 程圖。應(yīng)該理解的是，流程圖中的每一個(gè)方框或步驟以及流程圖中 的方框組合都可以由不同的裝置來(lái)實(shí)施，例如硬件、固件和/或包含 了一個(gè)或多個(gè)計(jì)算機(jī)程序指令的軟件。例如，如上所述的一個(gè)或多 個(gè)過(guò)程可以通過(guò)計(jì)算程序指令來(lái)實(shí)現(xiàn)。就此而論，實(shí)現(xiàn)上述過(guò)程的 計(jì)算機(jī)程序指令可以由移動(dòng)終端或服務(wù)器的存儲(chǔ)器設(shè)備存儲(chǔ)，并且 可以由移動(dòng)終端或服務(wù)器的內(nèi)置處理器來(lái)速行。應(yīng)該了解的是，任 何這樣的計(jì)算機(jī)程序產(chǎn)品都可以加載到計(jì)算機(jī)或其他可編程設(shè)備
(即硬件)上，以便產(chǎn)生一種機(jī)器，由此，在計(jì)算機(jī)或其他可編程 設(shè)備上運(yùn)行的指令將會(huì)創(chuàng)建用于實(shí)施一個(gè)或多個(gè)流程圖方框或步驟 中規(guī)定的功能的裝置。這些計(jì)算機(jī)程序指令還可以存儲(chǔ)在計(jì)算機(jī)可 讀存儲(chǔ)器中，所述計(jì)算機(jī)可讀存儲(chǔ)器則可以指引計(jì)算機(jī)或其他可編 程設(shè)備以特定的方式運(yùn)作，由此，存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中的指令將會(huì)產(chǎn)生一種制品，其中所述制品包含了用于實(shí)施一個(gè)或多個(gè)流程圖方框或步驟中規(guī)定的功能的指令裝置。計(jì)算機(jī)程序指令還可以加載到計(jì)算機(jī)或其他可編程設(shè)備上，以便使得 一 系列操作步驟在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行，從而產(chǎn)生由計(jì)算機(jī)實(shí)施的進(jìn)程，由此，運(yùn)行在計(jì)算機(jī)或其他可編程設(shè)備上的指令將會(huì)提供用于實(shí)施一個(gè)或多個(gè)流程圖方框或步驟中規(guī)定的功能的步驟。
相應(yīng)地，流程圖的方框或步驟支持將用于執(zhí)行特定功能的裝置組合在一起，并且支持將用于執(zhí)行特定功能的步驟以及用于執(zhí)行特定功能的程序指令裝置組合在一起。此外還應(yīng)該理解，流程圖中的每一個(gè)方框或步驟以及流程圖中的方框組合可以由執(zhí)行特定功能或步驟的基于專用硬件的計(jì)算機(jī)系統(tǒng)來(lái)實(shí)施，或者由專用硬件與計(jì)算機(jī)指令的組合來(lái)實(shí)施。應(yīng)該指出的是，雖然圖12描述了包含了以查詢圖像為基礎(chǔ)的視覺(jué)搜索的特定實(shí)施例，但是也可以為任何視覺(jué)媒體執(zhí)行所述搜索。同樣，候選視覺(jué)媒體可以依照下文中概括性描述的本發(fā)明的實(shí)施例來(lái)計(jì)分，其中所述實(shí)施例是作為示例性來(lái)描述的，并且它是不具有限制性的。
就此而論，用于確定視覺(jué)搜索的相關(guān)度和模糊度的方法的 一 個(gè)
實(shí)施例可以包括在操作300，接收查詢圖像，以及在操作310，根據(jù)模糊度和相關(guān)度來(lái)確定搜索結(jié)果，其中所述搜索結(jié)果包含了至少一個(gè)候選圖像相對(duì)于查詢圖像的匹配分?jǐn)?shù)。在操作320,映射功能可以用于提供與搜索結(jié)果相關(guān)聯(lián)的置信度等級(jí)。該方法還可以包括在操作330,根據(jù)置信度等級(jí)來(lái)提供搜索結(jié)果的可視化。在一個(gè)示例性實(shí)施例中，單個(gè)匹配分?jǐn)?shù)可以使用相應(yīng)的獨(dú)立映射功能來(lái)各個(gè)地映射。作為替換，單個(gè)映射功能可以用于映射多個(gè)匹配分?jǐn)?shù)。無(wú)論哪 一 種情況，映射功能都可以與內(nèi)部鏈接分析和/或頻率或流行度信息相關(guān)聯(lián)地使用，以便產(chǎn)生置信度等級(jí)。
上述功能可以采用多種方式來(lái)執(zhí)行。例如，任何用于執(zhí)行每一個(gè)上述功能的適當(dāng)裝置都可以用于執(zhí)行本發(fā)明的實(shí)施例。在 一 個(gè)實(shí)施例中，本發(fā)明的所有部件或 一部分部件通常是在計(jì)算機(jī)程序產(chǎn)品的控制下工作的。用于執(zhí)行本發(fā)明實(shí)施例的方法的計(jì)算機(jī)程序產(chǎn)品 包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例如非易失存儲(chǔ)介質(zhì)，以及包含在計(jì)算
機(jī)可讀存儲(chǔ)介質(zhì)中的計(jì)算機(jī)可讀程序代碼部分，例如一系列計(jì)算機(jī) 指令。
例如，在移動(dòng)瀏覽信息系統(tǒng)中通常會(huì)獲取作為用戶當(dāng)前位置的 上下文信息，在該系統(tǒng)中，當(dāng)游覽上下文信息時(shí)，本發(fā)明的實(shí)施例 會(huì)是有用的。這個(gè)上下文信息連同基于興趣點(diǎn)數(shù)據(jù)庫(kù)的對(duì)象辨別一 起可以為旅游者提供關(guān)于陸標(biāo)的重要信息。本發(fā)明的實(shí)施例可以有
助于用戶理解搜索的相關(guān)度，例如在系統(tǒng)混淆了 Golden Gate Bridge 和Bay Bridge的情況中。諸如位置和圖像特征匹配點(diǎn)之類的參數(shù)可 以在我們的映射功能中使用，以便確定檢索到的結(jié)果相對(duì)于陸標(biāo)的 相關(guān)程度，以及為用戶將所述相關(guān)度可視化。
例如，本發(fā)明的實(shí)施例還可以在用于實(shí)時(shí)導(dǎo)航系統(tǒng)的應(yīng)用中佳L 用，其中所述應(yīng)用可以辨認(rèn)用戶附近的對(duì)象以及檢索諸如GPS地圖 之類的影像和其他導(dǎo)航援助，以便將用戶需要前往的地點(diǎn)指示為目 的地。其他示例性實(shí)施例可以在媒體組織和瀏覽器應(yīng)用中使用。例 如，隨著媒體捕獲設(shè)備及其存儲(chǔ)能力的日益豐富，人們通常會(huì)捕獲 并且在其設(shè)備上存儲(chǔ)數(shù)百?gòu)垐D像，或是將圖像上傳到圖像存儲(chǔ)庫(kù)。 由于人們通常會(huì)在同一地點(diǎn)捕獲彼此相似的多個(gè)圖像，因此，如果 能夠檢索與查詢圖像相似的圖像，那么這種處理將會(huì)具有很大的價(jià) 值。此外，如果有數(shù)百個(gè)圖像是相似的，那么檢索相似集合中的一 個(gè)代表性圖像將會(huì)有助于快速瀏覽。
本發(fā)明的實(shí)施例還可以與電影之類的娛樂(lè)節(jié)目結(jié)合使用。例如， 某一個(gè)應(yīng)用可以辨別與電影相關(guān)聯(lián)的產(chǎn)品，例如DVD封面或電影海 報(bào)，以及檢索諸如故事情節(jié)、演員表、放映該電影的附近影院等等。
對(duì)于本發(fā)明的這些示例性實(shí)施例所附屬的領(lǐng)域中的技術(shù)人員來(lái) 說(shuō)，在得益于先前描述和相關(guān)附圖中給出的教導(dǎo)的情況下，對(duì)本發(fā) 明的眾多修改以及其他實(shí)施例都是可以想到的。由此應(yīng)該理解，本 發(fā)明的實(shí)施例并不局限于所公開(kāi)的具體實(shí)施例，并且這些修改和其他實(shí)施例同樣要包含在附加權(quán)利要求書(shū)的范圍中。雖然在這里使用 了專門(mén)的術(shù)語(yǔ)，但是這些術(shù)語(yǔ)僅僅是以普通和描述性的意義來(lái)使用 的，它們并不具有限制目的。
權(quán)利要求
1.一種方法，包括接收包含查詢的視覺(jué)媒體；根據(jù)模糊度和相關(guān)度來(lái)確定包含了至少一個(gè)候選視覺(jué)媒體相對(duì)于所述查詢的匹配分?jǐn)?shù)的搜索結(jié)果；使用映射功能來(lái)提供與所述搜索結(jié)果相關(guān)聯(lián)的置信度等級(jí)；以及根據(jù)所述置信度等級(jí)來(lái)提供所述搜索結(jié)果的可視化。
2. 根據(jù)權(quán)利要求1的方法，其中使用映射功能包括根據(jù)所述 至少一個(gè)候選視覺(jué)媒體的多個(gè)被提取特征，通過(guò)應(yīng)用變換功能來(lái)確 定所述置信度等級(jí)，其中所述變換功能是使用從先前用過(guò)的數(shù)據(jù)中 確定的參數(shù)訓(xùn)練的。
3. 根據(jù)權(quán)利要求l的方法，其中使用映射功能包括應(yīng)用多個(gè) 經(jīng)過(guò)訓(xùn)練的變換功能，其中每一個(gè)功能都對(duì)應(yīng)于多個(gè)特征中的一個(gè) 相應(yīng)特征，以便確定相對(duì)于所述多個(gè)特征中的每 一 個(gè)特征的對(duì)應(yīng)置 信度等級(jí)。
4. 根據(jù)權(quán)利要求l的方法，其中使用映射功能還包括將鏈接 分析應(yīng)用于所述映射功能的輸出，以便確定所述置信度等級(jí)。
5. 根據(jù)權(quán)利要求4的方法，其中應(yīng)用鏈接分析還包括將定義 了數(shù)據(jù)庫(kù)中的視覺(jué)媒體之間的相似度的信息應(yīng)用于所述映射功能的整合輸出，其中所述至少 一 個(gè)候選視覺(jué)媒體是從所述數(shù)據(jù)庫(kù)中訪問(wèn) 的。
6. 根據(jù)權(quán)利要求l的方法，其中使用缺射功能還包括將關(guān)于 所述至少一個(gè)候選視覺(jué)媒體的先前匹配操作的流行度信息應(yīng)用于所 述映射功能的輸出，以便確定所述置信度等級(jí)。
7. 根據(jù)權(quán)利要求1的方法，其中提供可視化包括提供用于指 示所述置信度等級(jí)的相關(guān)度指示符。
8. 根據(jù)權(quán)利要求l的方法，其中提供可視化包括提供一個(gè)關(guān) 于所述查詢與所述候選視覺(jué)媒體之間的精確匹配的指示。
9 -根據(jù)權(quán)利要求l的方法，其中提供可視化包括為多個(gè)不同 置信度等級(jí)中的每一個(gè)提供一個(gè)不同的可視化部件。
10. —種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包括至少一個(gè)計(jì)算 機(jī)可讀存儲(chǔ)介質(zhì)，并且在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)了計(jì)算機(jī) 可讀程序代碼部分，所述計(jì)算一幾可讀程序代碼部分包括第一可執(zhí)行部分，用于接收包含查詢的視覺(jué)媒體；第二可執(zhí)行部分，用于根據(jù)模糊度和相關(guān)度來(lái)確定包含了至少一 個(gè)候選視覺(jué)媒體相對(duì)于所述查詢的匹配分?jǐn)?shù)的搜索結(jié)果；第三可執(zhí)行部分，用于使用映射功能來(lái)提供與所述搜索結(jié)果相關(guān) 聯(lián)的置信度等級(jí)；以及第四可執(zhí)行部分，用于根據(jù)所述置信度等級(jí)來(lái)提供所述搜索結(jié)果 的可一見(jiàn)化。
11. 根據(jù)權(quán)利要求10的計(jì)算機(jī)程序產(chǎn)品，其中第三可執(zhí)行部分 包括用于根據(jù)所述至少一個(gè)候選視覺(jué)媒體的多個(gè)被提取特征，通 過(guò)應(yīng)用變換功能來(lái)確定所述置信度等級(jí)的指令，其中所述變換功能 是使用從先前用過(guò)的數(shù)據(jù)中確定的參數(shù)訓(xùn)練的。
12. 根據(jù)權(quán)利要求10的計(jì)算機(jī)程序產(chǎn)品，其中第三可執(zhí)行部分 包括用于應(yīng)用多個(gè)經(jīng)過(guò)訓(xùn)練的變換功能來(lái)確定相對(duì)于多個(gè)特征中 的每一個(gè)特征的對(duì)應(yīng)置信度等級(jí)的指令，其中每一個(gè)功能都對(duì)應(yīng)于所述多個(gè)特4正中的 一個(gè)相應(yīng)特4i。
13. 根據(jù)權(quán)利要求10的計(jì)算機(jī)程序產(chǎn)品，其中第三可執(zhí)行部分 包括用于將鏈接分析應(yīng)用于所述映射功能的輸出以便確定所述置 信度等級(jí)的指令。
14，根據(jù)權(quán)利要求13的計(jì)算機(jī)程序產(chǎn)品，其中第三可執(zhí)行部分 包括用于將定義了數(shù)據(jù)庫(kù)中的視覺(jué)媒體之間的相似度的信息應(yīng)用 于所述映射功能的整合輸出的指令，其中所述至少 一個(gè)候選視覺(jué)媒 體是從所述數(shù)據(jù)庫(kù)中訪問(wèn)的。
15.根據(jù)權(quán)利要求10的計(jì)算機(jī)程序產(chǎn)品，其中第三可執(zhí)行部分 包括用于將關(guān)于所述至少 一 個(gè)候選視覺(jué)媒體的先前匹配操作的流行度信息應(yīng)用于所述映射功能的輸出，以便確定所述置信度等級(jí)的 指令。
16. 根據(jù)權(quán)利要求10的計(jì)算機(jī)程序產(chǎn)品，其中第四可執(zhí)行部分 包括用于提供指示了所述置信度等級(jí)的相關(guān)度指示符的指令。
17. 根據(jù)權(quán)利要求10的計(jì)算機(jī)程序產(chǎn)品，其中第四可執(zhí)行部分 包括用于提供 一 個(gè)關(guān)于所述查詢與所述候選視覺(jué)媒體之間的精確 匹配的指示的指令。
18. 根據(jù)權(quán)利要求10的計(jì)算機(jī)程序產(chǎn)品，其中第四可執(zhí)行部分 包括用于為多個(gè)不同置信度等級(jí)中的每一個(gè)提供一個(gè)不同的可視 化部件的指令。
19. 一種設(shè)備，包括處理部件，所述處理部件:故配置成 接收包含查詢的視覺(jué)媒體；根據(jù)模糊度和相關(guān)度來(lái)確定包含了至少 一個(gè)候選視覺(jué)媒體相對(duì) 于所述查詢的匹配分?jǐn)?shù)的搜索結(jié)果；使用映射功能來(lái)提供與所述搜索結(jié)果相關(guān)聯(lián)的置信度等級(jí)；以及 根據(jù)所述置信度等級(jí)來(lái)提供所述搜索結(jié)果的可視化。
20. 根據(jù)權(quán)利要求19的設(shè)備，其中處理部件還被配置成根據(jù) 所述至少 一 個(gè)候選視覺(jué)媒體的多個(gè)被提取特征，通過(guò)應(yīng)用變換功能 來(lái)確定所述置信度等級(jí)，其中所述變換功能是使用從先前用過(guò)的數(shù) 據(jù)中確定的參數(shù)訓(xùn)練的。
21. 根據(jù)權(quán)利要求19的設(shè)備，其中處理部件還被配置成應(yīng)用 多個(gè)經(jīng)過(guò)訓(xùn)練的變換功能，其中每一個(gè)功能都對(duì)應(yīng)于多個(gè)特征中的 一個(gè)相應(yīng)特征，以便確定相對(duì)于所述多個(gè)特征中的每一個(gè)特征的對(duì) 應(yīng)置信度等級(jí)。
22. 根據(jù)權(quán)利要求19的設(shè)備，其中處理部件還被配置成將鏈 接分析應(yīng)用于所述映射功能的輸出，以便確定所述置信度等級(jí)。
23. 根據(jù)權(quán)利要求22的設(shè)備，其中處理部件還被配置成將定 義了數(shù)據(jù)庫(kù)中的視覺(jué)媒體之間的相似度的信息應(yīng)用于所述映射功能 的整合輸出，其中所述至少 一 個(gè)候選視覺(jué)媒體是從所述數(shù)據(jù)庫(kù)中訪問(wèn)的。
24. 根據(jù)權(quán)利要求19的設(shè)備，其中處理部件還被配置成將關(guān) 于所述至少 一 個(gè)候選視覺(jué)媒體的先前匹配操作的流行度信息應(yīng)用于 所述映射功能的輸出，以便確定所述置信度等級(jí)。
25. 根據(jù)權(quán)利要求19的設(shè)備，其中處理部件還被配置成提供 用于指示所述置信度等級(jí)的相關(guān)度指示符。
26. 根據(jù)權(quán)利要求19的設(shè)備，其中處理部件還被配置成提供 一個(gè)關(guān)于所述查詢與所述候選視覺(jué)媒體之間的精確匹配的指示。
27. 根據(jù)權(quán)利要求19的設(shè)備，其中處理部件還被配置成為多 個(gè)不同置信度等級(jí)中的每一個(gè)提供一個(gè)不同的可視化部件。
28. —種設(shè)備，包括用于接收包含查詢圖象的視覺(jué)媒體的裝置；用于根據(jù)模糊度和相關(guān)度來(lái)確定包含了至少一個(gè)候選視覺(jué)媒體 相對(duì)于所述查詢的匹配分?jǐn)?shù)的搜索結(jié)果的裝置；用于使用映射功能來(lái)提供與所述搜索結(jié)果相關(guān)聯(lián)的置信度等級(jí) 的裝置；以及用于根據(jù)所述置信度等級(jí)來(lái)提供所述搜索結(jié)果的可視化的裝置。
29. 根據(jù)權(quán)利要求28的設(shè)備，還包括用于將鏈路分析應(yīng)用于 所述映射功能輸出以便確定所述置信度等級(jí)的裝置。
30. 根據(jù)權(quán)利要求28的設(shè)備，還包括用于將定義了數(shù)據(jù)庫(kù)中 的視覺(jué)媒體之間的相似度的信息應(yīng)用于所述映射功能的整合輸出的 裝置，其中所述至少 一個(gè)候選視覺(jué)媒體是從所述數(shù)據(jù)庫(kù)中訪問(wèn)的。
31. —種方法，包括根據(jù)模糊度和相關(guān)度，對(duì)于包含了查詢的視覺(jué)媒體，使用映射功 能來(lái)提供與包含了至少 一個(gè)候選視覺(jué)媒體的匹配分?jǐn)?shù)的搜索結(jié)果相 關(guān)聯(lián)的置信度等級(jí)，以及根據(jù)所述置信度等級(jí)來(lái)提供在搜索結(jié)果的可視化中使用的信息。
32. —種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括至少一個(gè)計(jì) 算機(jī)可讀存儲(chǔ)介質(zhì)，并且在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)了計(jì)算機(jī)可讀程序代碼部分，所述計(jì)算纟幾可讀程序代碼部分包括第一可執(zhí)行部分，用于根據(jù)模糊度和相關(guān)度并且對(duì)照包含了查詢的視覺(jué)媒體，使用映射功能來(lái)提供與包含了至少一個(gè)候選視覺(jué)媒體的匹配分?jǐn)?shù)的搜索結(jié)果相關(guān)聯(lián)的置信度等級(jí)；以及第二可執(zhí)行部分，用于根據(jù)所述置信度等級(jí)來(lái)提供在所述搜索結(jié)果的可視化中使用的信息。
33. —種設(shè)備，包括處理部件，該處理部件纟皮配置成 根據(jù)模糊度和相關(guān)度，對(duì)于包含了查詢的視覺(jué)媒體，使用映射功能來(lái)提供與包含了至少 一 個(gè)候選視覺(jué)媒體的匹配分?jǐn)?shù)的搜索結(jié)果相關(guān)聯(lián)的置信度等級(jí)，以及根據(jù)所述置信度等級(jí)來(lái)提供在所述搜索結(jié)果的可視化中使用的信息。
全文摘要
一種用于在搜索系統(tǒng)中確定相關(guān)度和/或模糊度的設(shè)備，該設(shè)備可以包括處理部件，其中該處理部件被配置成接收包含查詢的視覺(jué)媒體，根據(jù)模糊度和相關(guān)度來(lái)確定包含了至少一個(gè)候選視覺(jué)媒體相對(duì)于所述查詢的匹配分?jǐn)?shù)的搜索結(jié)果，使用映射功能來(lái)提供與搜索結(jié)果相關(guān)聯(lián)的置信度等級(jí)，以及根據(jù)置信度等級(jí)來(lái)提供搜索結(jié)果的可視化。
文檔編號(hào)G06F17/30GK101681367SQ200880013395
公開(kāi)日2010年3月24日 申請(qǐng)日期2008年4月11日 優(yōu)先權(quán)日2007年4月24日
發(fā)明者E·雷波南, K·普利, P·C·施洛特, V·塞特盧爾, 江 高 申請(qǐng)人:諾基亞公司