專利名稱：基于內(nèi)容的圖像搜索的制作方法
基于內(nèi)容的圖像搜索
背景技術(shù)：
在本領域中已經(jīng)知道用于(比如利用搜索引擎通過因特網(wǎng))搜索及檢索信息的許多方法。這樣的方法通常采用基于文本的搜索?；谖谋镜乃阉鞑捎冒ㄒ粋€或更多諸如單詞或短語之類的文本元素的搜索查詢。所述文本元素被與索引或其他數(shù)據(jù)結(jié)構(gòu)相比較， 以便識別出包括匹配的或者語義上類似的文本內(nèi)容、元數(shù)據(jù)、文件名或其他文本表示的網(wǎng)頁、文檔、圖像等等。已知的基于文本的搜索方法對于基于文本的文檔工作得相對良好，但是其很難應用于圖像文件和數(shù)據(jù)。為了通過基于文本的查詢來搜索圖像文件，所述圖像文件必須與一個或更多文本元素相關(guān)聯(lián)，比如標題、文件名或者其他元數(shù)據(jù)或標簽。針對基于文本的搜索所采用的搜索引擎和算法無法基于圖像的內(nèi)容來搜索圖像文件，并且因此被限制到僅僅基于與圖像相關(guān)聯(lián)的數(shù)據(jù)來識別搜索結(jié)果圖像。此外，這樣的搜索引擎無法施行基于包括圖像的搜索查詢的搜索。已經(jīng)開發(fā)出基于內(nèi)容的圖像搜索方法，其利用對于圖像內(nèi)容的一項或更多項分析來識別視覺上類似的圖像。但是這些方法相當繁瑣，并且在能夠施行搜索之前可能需要來自用戶的大量輸入來表征圖像。此外，這樣的方法效率較低并且無法很好地擴展到大規(guī)模應用，在大規(guī)模應用中例如必須快速搜索幾十億幅圖像以便識別并向用戶提供搜索結(jié)果圖像。

發(fā)明內(nèi)容
本發(fā)明的實施例由所附權(quán)利要求書而非本發(fā)明內(nèi)容限定。為此，在這里提供本發(fā)明的各個方面的高級別總覽，以便提供本公開內(nèi)容的總覽，并且介紹將在后面的詳細描述部分中進一步描述的一些概念。本發(fā)明內(nèi)容不意圖標識出所要求保護的主題內(nèi)容的關(guān)鍵特征或本質(zhì)特征，也不意圖被用來孤立地幫助確定所要求保護的主題內(nèi)容的范圍。本發(fā)明的實施例總體上涉及基于內(nèi)容的圖像搜索。對圖像的內(nèi)容進行分析，并且將其采用來識別搜索結(jié)果。接收到可能包括圖像的搜索查詢。對圖像進行處理，以便識別出其中的感興趣的點。確定用于一個或更多感興趣點的描述符，并且將每個描述符映射到描述符標識符。通過利用描述符標識符作為搜索元素的搜索索引來施行搜索。搜索索引采用基于扁平索引位置空間的逆排索引，一定數(shù)目的被索引圖像的描述符標識符被存儲在所述扁平索引位置空間中，并且通過用于每一幅被索引圖像的描述符標識符之間的文檔末尾指示符分開。從被索引圖像當中識別出包括至少預定數(shù)目的匹配描述符標識符的候選圖像。 響應于搜索查詢對候選圖像進行排序并提供。還可以包括一個或更多文本單詞或基于文本的搜索以基于圖像內(nèi)容識別候選圖像，以及/或者提供一個或更多基于文本的搜索查詢。


下面將參照附圖詳細描述本發(fā)明的說明性實施例，其中
圖1是描繪出適用于本發(fā)明的實施例的示例性計算設備的方框圖；圖2是描繪出適用于本發(fā)明的實施例的示例性網(wǎng)絡環(huán)境的方框圖； 圖3是描繪出根據(jù)本發(fā)明的一個實施例的用于基于內(nèi)容的圖像搜索的系統(tǒng)的方框圖； 圖4是描繪出根據(jù)本發(fā)明的一個實施例的用于生成圖像的內(nèi)容表示以用于基于內(nèi)容的圖像搜索的方法的流程圖5是進一步描繪出根據(jù)本發(fā)明的一個實施例的在圖4中描繪的用于生成圖像的內(nèi)容表示以用于基于內(nèi)容的圖像搜索的方法的流程圖6是描繪出根據(jù)本發(fā)明的一個實施例的用于索引描述符標識符的方法的流程圖； 圖7是描繪出根據(jù)本發(fā)明的一個實施例的用于搜索圖像的方法的流程圖； 圖8是描繪出根據(jù)本發(fā)明的一個實施例的用于提供基于內(nèi)容的候選圖像和基于文本的搜索結(jié)果的方法的流程圖9是描繪出根據(jù)本發(fā)明的一個實施例的用于響應于基于文本的搜索查詢提供基于內(nèi)容的候選圖像的方法的流程圖10是描繪出根據(jù)本發(fā)明的一個實施例的用于為作為搜索查詢接收到的圖像提供基于內(nèi)容的候選圖像的方法的流程圖11是描繪出根據(jù)本發(fā)明的一個實施例的用于施行基于內(nèi)容的圖像查詢的方法的流程圖12是根據(jù)本發(fā)明的一個實施例的圖形圖像的線描表示，其描繪出所述圖像中的多個感興趣點；
圖13是根據(jù)本發(fā)明的一個實施例的圖形圖像的線描表示，其描繪出圍繞所述圖像中的感興趣點的區(qū)段；
圖14是根據(jù)本發(fā)明的一個實施例的從圖13的圖像確定的補片集合的線描表示； 圖15是根據(jù)本發(fā)明的一個實施例的從圖14的補片集合確定的描述符直方圖集合的表
示；
圖16是適用于本發(fā)明的實施例的量化表的表示；以及
圖17是根據(jù)本發(fā)明的一個實施例的用于把已付費搜索結(jié)果與基于圖像的算法搜索結(jié)果相關(guān)聯(lián)的方法的流程圖。
具體實施例方式在這里將具體描述本發(fā)明的實施例的主題內(nèi)容以滿足法規(guī)要求。但是所述描述本身不意圖一定限制權(quán)利要求書的范圍。相反，可以按照其他方式具體實現(xiàn)所要求保護的主題內(nèi)容，以便與其他當前或未來技術(shù)相結(jié)合地包括類似于在本文獻中所描述的其他不同步驟或步驟組合。除非并且除了在明確地描述各個單獨步驟的順序時，否則術(shù)語不應當被解釋為意味著這里所公開的各個步驟當中或之間的任何特定順序。本發(fā)明的實施例包括用于提供基于內(nèi)容的圖像搜索的方法、系統(tǒng)和計算機可讀介質(zhì)。基于內(nèi)容的圖像搜索分析并采用圖像的實際內(nèi)容來施行對于視覺上類似的圖像的搜索。圖像內(nèi)容可以包括顏色、紋理、陰影、形狀當中的一項或更多項，或者可以從圖像中導出的其他特性或信息?；趦?nèi)容的圖像搜索還可以被描述為基于內(nèi)容的圖像檢索(CB^)、通過圖像內(nèi)容的查詢(QBIC)或者基于內(nèi)容的視覺信息檢索(CBVIR)，正如本領域內(nèi)已知的那樣。在一些實施例中，正如下面所描述的那樣，可以從各個來源獲得關(guān)于圖像及其內(nèi)容的附加的基于文本的信息，以便為基于內(nèi)容的搜索提供信息以及與基于內(nèi)容的搜索并行地施行附加的基于文本的搜索。在一個實施例中，提供一種用于搜索圖像的計算機實施的方法。接收搜索查詢。 計算設備基于搜索查詢識別出第一描述符標識符。第一描述符標識符對應于描述圖像中的感興趣點的描述符。通過把第一描述符標識符和與每一幅被索引圖像相關(guān)聯(lián)的第二描述符標識符進行比較來搜索被索引圖像?；谒霰容^對其中一幅或更多幅被索引圖像進行排序。在另一個實施例中，提供其上具體實現(xiàn)了計算機可讀指令的計算機可讀介質(zhì)，當被執(zhí)行時，所述計算機可讀指令施行用于生成圖像的內(nèi)容表示以便進行基于內(nèi)容的圖像搜索的方法。接收圖像。識別出圖像中的各個感興趣點。感興趣點是通過運算符算法識別出的圖像中的點、區(qū)段或區(qū)域。對于每一個感興趣點確定包括圖像區(qū)域的圖像補片，其中所述圖像區(qū)域包括對應的感興趣點。對于每一個補片確定描述符。將每一個描述符映射到描述符標識符。基于所述映射將圖像表示為描述符標識符集合。在另一個實施例中，描述了一種把已付費搜索結(jié)果與基于圖像的算法搜索結(jié)果相關(guān)聯(lián)的方法。接收搜索查詢。由計算設備基于搜索查詢識別出形成第一描述符標識符集合的描述符標識符。每一個描述符標識符對應于描述基于圖像的感興趣點的描述符。通過把第一描述符標識符集合和與被索引圖像相關(guān)聯(lián)的第二描述符標識符集合進行比較來搜索被索引圖像，從而生成搜索結(jié)果。把已付費搜索列表與第一集合當中的至少一個描述符標識符相關(guān)聯(lián)，從而生成已付費搜索結(jié)果。首先具體參照圖1，其中示出了用于實施本發(fā)明的實施例的示例性計算設備并且總體上將其標記為計算設備100。計算設備100僅僅是適當?shù)挠嬎阍O備的一個示例，而不意圖暗示關(guān)于本發(fā)明的實施例的使用或功能范圍的任何限制。計算設備100也不應當被解釋為關(guān)于所示出的任何一個組件或組件組合具有任何依賴性或要求?？梢栽谟嬎銠C代碼或機器可用指令的一般情境中描述本發(fā)明的實施例，其中包括諸如程序模塊之類的計算機可執(zhí)行指令，其由計算機或其他機器執(zhí)行，比如個人數(shù)據(jù)助理或其他手持式設備。一般來說，包括例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等等的程序模塊指代施行特定任務或?qū)嵤┨囟ǔ橄髷?shù)據(jù)類型的代碼。本發(fā)明的實施例可以被實踐在多種系統(tǒng)配置中，其中包括手持式設備、消費電子裝置、通用計算機、更加專用的計算設備等等。本發(fā)明的實施例還可以被實踐在分布式計算環(huán)境中，其中由通過通信網(wǎng)絡鏈接在一起的遠程處理設備施行各項任務。參照圖1，計算設備100包括直接或間接地耦合以下設備的總線110 存儲器112， 一個或更多處理器114，一個或更多呈現(xiàn)組件116，輸入/輸出端口 118，輸入/輸出組件 120，以及說明性電源122?？偩€110可以代表一條或更多條總線(比如地址總線、數(shù)據(jù)總線或其組合)。雖然為了清楚起見用線條示出了圖1的各個方框，實際上各個組件的分界并不是如此清晰，并且作為比喻所述線條更為準確地將是灰色且模糊的。舉例來說，可以把諸如顯示器設備之類的呈現(xiàn)組件視為I/O組件。此外，處理器具有存儲器。應當認識到這就是本領域的性質(zhì)，并且重申圖1的圖示僅僅是為了說明可以與本發(fā)明的一個或更多實施例相結(jié)合地使用的示例性計算設備。在諸如“工作站”、“服務器”、“膝上型計算機”、“手持式設備”等類別之間不做區(qū)分，因為所有這些都被設想在圖1的范圍內(nèi)并且被稱作“計算設備”。
計算設備100通常包括多種計算機可讀介質(zhì)。作為舉例而非限制，計算機可讀介質(zhì)可以包括“隨機存取存儲器(RAM);只讀存儲器(ROM)；電可擦寫可編程只讀存儲器 (EEPR0M)、閃存或其他存儲器技術(shù)；緊致盤只讀存儲器(⑶-ROM)、數(shù)字通用盤(DVD)或其他光學或全息介質(zhì)；磁盒、磁帶、磁盤存儲或其他磁性存儲設備；或者可以被用來編碼所期望的信息并且由計算設備100訪問的任何其他介質(zhì)。存儲器112包括具有易失性和/或非易失性存儲器形式的計算機存儲介質(zhì)。存儲器112可以是可移除的、不可移除的或者其組合。示例性的硬件設備包括固態(tài)存儲器、硬盤驅(qū)動器、光盤驅(qū)動器等等。計算設備100包括一個或更多處理器，其從諸如存儲器112或I/ 0組件120之類的各個實體讀取數(shù)據(jù)。(多個)呈現(xiàn)組件116向用戶或其他設備呈現(xiàn)數(shù)據(jù)指示。示例性的呈現(xiàn)組件116包括顯示器設備、揚聲器、打印組件、振動組件等等。I/O端口 118允許把計算設備100邏輯耦合到包括I/O組件120在內(nèi)的其他設備， 其中一些可以是內(nèi)置的。說明性的組件包括麥克風、操縱桿、游戲手柄、碟形衛(wèi)星天線、掃描儀、打印機、無線設備等等。另外參照圖2，其中描述的方框圖描繪出適用于本發(fā)明的實施例的示例性網(wǎng)絡環(huán)境200。環(huán)境200僅僅是可以被用于本發(fā)明的實施例的環(huán)境的一個示例，并且可以包括多種配置中的任意數(shù)目的組件。這里所提供的對于環(huán)境200的描述是出于說明性目的，而不意圖限制可以在其中實施本發(fā)明的實施例的環(huán)境的配置。環(huán)境200包括網(wǎng)絡202、查詢輸入設備204以及搜索引擎服務器206。網(wǎng)絡202包括任何計算機網(wǎng)絡，作為舉例而非限制比如有因特網(wǎng)、內(nèi)聯(lián)網(wǎng)、私有和公共局部網(wǎng)絡以及無線數(shù)據(jù)或電話網(wǎng)絡。查詢輸入設備204是可以從該處提供搜索查詢的任何計算設備，比如計算設備100。舉例來說，查詢輸入設備204特別可以是個人計算機、膝上型計算機、服務器計算機、無線電話或設備、個人數(shù)字助理(PDA)或者數(shù)字攝影機。在一個實施例中，多個查詢輸入設備204連接到網(wǎng)絡202，比如數(shù)千個或數(shù)百萬個查詢輸入設備204。搜索引擎服務器206包括任何計算設備(比如計算設備100)，并且提供用于提供基于內(nèi)容的搜索引擎的至少一部分功能。在一個實施例中，搜索引擎服務器206的群組共享或分配為用戶群體提供搜索引擎操作所需的功能。在環(huán)境200中還提供圖像處理服務器208。圖像處理服務器208包括任何計算設備(比如計算設備100)，并且被配置成分析、表示及索引圖像的內(nèi)容，正如下面更加全面地描述的那樣。圖像處理服務器208包括存儲在圖像處理服務器208的存儲器中或者可以由圖像處理服務器208遠程訪問的量化表210。量化表210被圖像處理服務器208使用來為圖像內(nèi)容的映射提供信息以便允許進行搜索和索引，正如下面所描述的那樣。搜索引擎服務器206和圖像處理服務器208可通信地耦合到圖像存儲庫212和索引214。圖像存儲庫212和索引214包括任何(或者多個)可用的計算機存儲設備，比如硬盤驅(qū)動器、閃存、光學存儲器設備等等。圖像存儲庫212提供對于可以響應于本發(fā)明的一個實施例的基于內(nèi)容的搜索而提供的圖像文件的數(shù)據(jù)存儲。索引214提供搜索索引以便對存儲在圖像存儲庫212中的圖像進行基于內(nèi)容的搜索。索引214可以利用任何索引數(shù)據(jù)結(jié)構(gòu)或格式，并且優(yōu)選地采用逆排索引格式。逆排索引提供描繪內(nèi)容在數(shù)據(jù)結(jié)構(gòu)中的位置的映射。舉例來說，當針對特定單詞搜索文檔時，在標識所述單詞在文檔中的位置的逆排索引中找到該單詞，而不是搜索文檔以找到所述單詞的各個位置。在一個實施例中，搜索引擎服務器206、圖像處理服務器208、圖像存儲庫212和索引214當中的一項或更多項被集成在單個計算設備中或者直接可通信地耦合，以便允許各個設備之間的直接通信而無需跨越網(wǎng)絡202?，F(xiàn)在參照圖3，其中描述了根據(jù)本發(fā)明的一個實施例的用于基于內(nèi)容的圖像搜索的系統(tǒng)300。系統(tǒng)300可以具體實現(xiàn)在一個或更多計算設備和組件當中以及分布在所述一個或更多計算設備和組件之間，比如前面關(guān)于圖2描述的搜索引擎服務器206、圖像處理服務器208、量化表210、圖像存儲庫212和索引214。系統(tǒng)300包括圖像處理組件302、索引組件304、搜索組件306、排序組件308和呈現(xiàn)組件310。在另一個實施例中，系統(tǒng)300可以包括附加的組件、子組件或者組件302-310當中的一項或更多項的組合。圖像處理組件302接收并處理圖像以便進行基于內(nèi)容的圖像搜索。通過諸如查詢輸入設備204之類的計算設備從用戶接收圖像，以作為搜索查詢或者作為去到諸如圖像存儲庫212之類的數(shù)據(jù)存儲庫的圖像上傳。還可以從與網(wǎng)絡202通信的一個或更多其他計算設備接收或收集圖像。由圖像處理組件302接收的所述(多幅)圖像具有任何電子圖像格式，作為舉例而非限制比如特別有以下格式光柵格式，其中包括聯(lián)合攝影專家組(JPEG)、位圖(BMP)、標記圖像文件格式(TIFF)和未處理圖像格式(RAW)；矢量格式，其中包括計算機圖形元文件 (CGM)和可擴展矢量圖形(SVG);以及三維格式，比如便攜式網(wǎng)絡圖形立體(PNS)、JPEG立體 (JPS)或多畫面對象(ΜΡ0)。圖像的例如圖像尺寸、顏色方案、分辨率、質(zhì)量以及文件尺寸之類的特性不受限制。圖像的內(nèi)容也不受限制，并且例如可以包括攝影、藝術(shù)品、繪畫、掃描媒體等等。此外，在一個實施例中，所述(多幅)圖像可能包括視頻文件、音頻-視頻或者其他多媒體文件?，F(xiàn)在另外參照圖12-16，其中根據(jù)本發(fā)明的一個實施例描述了系統(tǒng)300對示例性圖像1200的處理。在一個實施例中，為了處理所接收到的圖像1200，圖像處理組件302采用一種運算符算法。所述運算符算法識別出圖像1200中的多個感興趣點1202。所述運算符算法包括可以被用來識別圖像1200中的感興趣點1202的任何可用算法。在一個實施例中，所述運算符算法是高斯算法的一種變型或者拉普拉斯算法，正如本領域內(nèi)已知的那樣。 在一個實施例中，所述運算符算法被配置成在二維中分析圖像1200。此外，在另一個實施例中，當圖像1200是彩色圖像時，圖像1200被轉(zhuǎn)換成灰度。感興趣點1202包括如在圖12中描繪的圖像1200中的任何點，以及如在圖13中描繪的圖像1200中的區(qū)段1302、區(qū)域、像素組或特征。為了簡明起見，感興趣點1202和區(qū)段1302在下文中被稱作感興趣點1202，但是在提到感興趣點1202時意圖同時包括感興趣點1202和區(qū)段1302。在一個實施例中，感興趣點1202位于圖像1200中的穩(wěn)定的區(qū)域內(nèi)， 并且包括圖像1200中的明顯的或可識別的特征。舉例來說，感興趣點1202位于圖像的具有尖銳特征的區(qū)域內(nèi)，其中例如在120 和130 處描繪的特征之間具有高對比度。相反， 感興趣點不會位于沒有明顯特征或?qū)Ρ榷鹊膮^(qū)域內(nèi)，比如由1204表示的具有恒定顏色或灰度的區(qū)段。所述運算符算法在圖像1200中識別出任意數(shù)目的感興趣點1202，比如數(shù)千個感興趣點。感興趣點1202可以是圖像1200中的各個點1202和區(qū)段1302的組合，并且其數(shù)目可以是基于圖像1200的尺寸。圖像處理組件302對于每一個感興趣點1202計算量度，并且根據(jù)所述量度對各個感興趣點1202進行排序。所述量度可以包括圖像1200在感興趣點 1202處的信號強度或信噪比的度量。圖像處理組件302基于所述排序選擇感興趣點1202 的子集以進行進一步處理。在一個實施例中，選擇具有最高信噪比的100個最突出的感興趣點1202，但是也可以選擇任意所期望數(shù)目的感興趣點1202。在另一個實施例中，不是選擇一個子集，而是把所有感興趣點都包括在進一步處理中。如圖14中所描繪的那樣，圖像處理組件302識別出對應于所選感興趣點1202的補片集合1400。每一個補片1402對應于單個所選感興趣點1202。補片1402包括圖像1200 的包括對應的感興趣點1202的區(qū)域。將從圖像1200中取得的每一個補片1402的尺寸是基于來自所述運算符算法對于每一個所選感興趣點1202的輸出而確定的。每一個補片1402 可以具有不同尺寸，并且將被包括在補片1402中的圖像1200的各個區(qū)域可以重疊。此外， 補片1402的形狀是任何所期望的形狀，其中包括正方形、矩形、三角形、圓形、橢圓形等等。 在所示實施例中，補片1402的形狀是正方形。圖像處理組件302按照圖14中所描繪的那樣歸一化補片1402。在一個實施例中， 各個補片1402被歸一化從而使得每一個補片1402遵循相等的尺寸，比如X像素乘X像素的正方形補片。將各個補片1402歸一化到相等尺寸特別可以包括增大或減小補片1402的尺寸和/或分辨率的操作。還可以通過一項或更多項其他操作來歸一化補片1402，比如特別有應用對比度增強、清除雜點、銳化以及應用灰度。圖像處理組件302還對于每一個歸一化補片確定描述符。通過計算補片1402中的各個像素的統(tǒng)計量來確定描述符。在一個實施例中，基于補片1402中的各個像素的灰度梯度的統(tǒng)計量來確定描述符。所述描述符可以被視覺地表示為每一個補片的直方圖，比如圖15中描繪的描述符1502 (其中圖14的補片1402對應于圖15中的位置類似的描述符 1502)。所述描述符還可以被描述為多維矢量，作為舉例而非限制比如有代表像素灰度統(tǒng)計量的T2S2 36維矢量。如圖16中所示，圖像處理組件302采用量化表1600來識別用于每一個描述符 1502的描述符標識符1602。量化表1600包括可用來將描述符1502映射到描述符標識符 1602的任何表、索引、圖表或其他數(shù)據(jù)結(jié)構(gòu)。在本領域內(nèi)已經(jīng)知道各種形式的量化表1600， 并且其可以在本發(fā)明的實施例中使用。在一個實施例中，通過首先對例如一百萬幅圖像的大量圖像(例如圖像1200)進行處理從而識別出用于每一幅圖像的描述符1502來生成量化表1600。隨后對從中識別出的描述符1502進行統(tǒng)計分析，以便識別出具有類似的或統(tǒng)計上類似的數(shù)值的描述符1502的群集或群組。舉例來說，T2S2矢量中的變量數(shù)值是類似的。選擇每一個群集的代表性描述符1604并且為之指派量化表1600中的位置以及相應的描述符標識符1602。描述符標識符1602包括可由系統(tǒng)300使用來標識相應的代表性描述符1604 的任何所期望的指示符。舉例來說，描述符標識符1602包括圖16中所描繪的整數(shù)值，或者字母數(shù)字值、數(shù)字值、符號以及文本。圖像處理組件302對于每一個描述符1502識別出量化表1600中的最密切匹配的代表性描述符1604。舉例來說，圖15中描繪的描述符150 最密切對應于圖16中的量化表1600的代表性描述符1604a。從而就把用于每一個描述符1502的描述符標識符1602 與圖像1200相關(guān)聯(lián)(例如描述符150 對應于描述符標識符1602 “1”)。與圖像1200相關(guān)聯(lián)的描述符標識符1602可以分別彼此不同，或者一個或更多描述符標識符1602可以多次與圖像1200相關(guān)聯(lián)(例如圖像1200可以具有“1，2，3，4”或“1，2，2，3”的描述符標識符 1602)。在一個實施例中，為了考慮到諸如圖像變化之類的特性，可以把描述符1502映射到多于一個描述符標識符1602，這是通過識別出與描述符1502最接近匹配的多于一個代表性描述符1604及其對應的描述符標識符1602而實現(xiàn)的。這樣，圖像處理組件302就基于所識別出的感興趣點1202的集合提供代表圖像1200的內(nèi)容的描述符標識符1602的集合。繼續(xù)參照圖3，索引組件304對描述符標識符1602進行索引，并且把所述索引存儲到存儲器，諸如索引214。在一個實施例中，索引組件304采用扁平索引位置空間以作為索引的基礎。扁平索引位置空間(在下文中稱作“扁平索引”)是其中順序地列出各個描述符標識符1602的一維列表或陣列。此外還對于在扁平索引中列出的每一個描述符標識符 1602提供位置標識符，其表明對應的描述符標識符1602在所述扁平索引中的位置。用于圖像1200的各個描述符標識符1602在扁平索引中被順序地列出并且分組在一起。由索引組件304在用于圖像1200的描述符標識符1602之后順序地提供文檔末尾標識符。還為所述文檔末尾標識符提供位置標識符，所述文檔末尾標識符可被用來表明與特定圖像1200相關(guān)聯(lián)的描述符標識符1602的群組的末尾。這樣，當把用于多幅圖像1200 的描述符標識符1602索引到扁平索引中時，用于每一幅圖像1200的描述符標識符1602被分組在一起并且通過位于其間的文檔末尾標識符與另一幅圖像1200的描述符標識符1602 分開。舉例來說，在表1中列出了由五幅圖像(例如圖像1200)及其對應的描述符標識符 (例如描述符標識符1602)構(gòu)成的示例性集合。表1中的描述符標識符是字母字符，但是描述符標識符可以使用任何數(shù)字、符號或字符，正如前面所描述的那樣。表2描繪出五幅圖像的扁平索引表示，其表明扁平索引中的每一個描述符標識符以及用于每一幅圖像的描述符標識符之間的文檔末尾標識符的位置。
權(quán)利要求
1.一種用于搜索多幅圖像的計算機實施的方法，所述方法包括 接收搜索查詢；由計算設備基于所述搜索查詢識別至少一個第一描述符標識符，其中所述至少一個第一描述符標識符對應于描述圖像中的感興趣點的描述符；通過把所述至少一個第一描述符標識符和與每一幅被索引圖像相關(guān)聯(lián)的一個或更多第二描述符標識符進行比較來搜索多幅被索引圖像；以及基于所述比較對一幅或更多幅被索引圖像進行排序。
2.權(quán)利要求1的計算機實施的方法，其中，所述搜索查詢包括圖像。
3.權(quán)利要求1的計算機實施的方法，其中，從搜索引擎逆排索引識別出一幅或更多幅候選圖像，并且其中所述逆排索引是基于扁平索引位置空間，在所述扁平索引位置空間中順序地列出了用于所述多幅被索引圖像當中的每一幅的第二描述符標識符以及用于每一幅被索引圖像的第二描述符標識符之后的文檔末尾標識符，并且每一個第二描述符標識符和文檔末尾標識符包括表明其在扁平索引位置空間內(nèi)的對應位置的位置標識符。
4.權(quán)利要求3的計算機實施的方法，其中，通過把所述至少一個第一描述符標識符和與每一幅被索引圖像相關(guān)聯(lián)的一個或更多第二描述符標識符進行比較來搜索所述多幅被索引圖像的所述步驟還包括遍歷索引以便識別出其位置標識符具有最低數(shù)值的預定數(shù)目的第二描述符標識符； 識別出具有最低位置標識符數(shù)值的所述預定數(shù)目的第二描述符標識符的最大位置標識符數(shù)值之后的文檔末尾位置標識符；識別出用于由文檔末尾位置標識符標識的候選被索引圖像的文檔起始位置數(shù)值；以及當具有最低位置標識符數(shù)值的所有所述預定數(shù)目的描述符標識符的位置標識符都大于或等于所述文檔起始位置數(shù)值時，返回候選被索引圖像以作為候選圖像；或者當具有最低位置標識符數(shù)值的所述預定數(shù)目的第二描述符標識符當中的一個或更多個的位置標識符小于所述文檔起始位置數(shù)值時，對于所述預定數(shù)目的第二描述符標識符當中的一個或更多個的至少其中之一識別出不小于所述文檔起始位置數(shù)值的下一個最低位置標識符數(shù)值。
5.權(quán)利要求4的計算機實施的方法，其中，基于用于候選圖像群組當中的候選圖像的匹配第二描述符標識符的最小總數(shù)，增大第二描述符標識符的預定數(shù)目。
6.權(quán)利要求1的計算機實施的方法，其中，所述搜索查詢包括文本單詞，并且其中識別所述至少一個第一描述符標識符的所述步驟包括識別與所述文本單詞相關(guān)聯(lián)的一個或更多描述符標識符。
7.其上具體實現(xiàn)了計算機可讀指令的一項或更多項計算機可讀介質(zhì)，當被執(zhí)行時，所述計算機可讀指令施行用于生成圖像的內(nèi)容表示以便進行基于內(nèi)容的圖像搜索的方法，所述方法包括接收圖像；識別出圖像中的多個感興趣點，其中感興趣點包括通過運算符算法識別出的圖像中的點、區(qū)段或區(qū)域的其中之一；對于一個或更多感興趣點確定包括圖像區(qū)域的圖像補片，其中所述圖像區(qū)域包括對應的感興趣點；對于每一個補片確定描述符； 將每一個描述符映射到描述符標識符；以及基于所述映射將圖像表示為描述符標識符集合。
8.權(quán)利要求7的計算機可讀介質(zhì)，其還包括 索引用于圖像的描述符標識符。
9.權(quán)利要求7的計算機可讀介質(zhì)，其還包括對于每一個感興趣點歸一化圖像補片，從而以相等的尺寸提供所有補片。
10.權(quán)利要求7的計算機可讀介質(zhì)，其中，所述補片以感興趣點為中心，并且補片的尺寸是從運算符算法的輸出確定的。
11.權(quán)利要求7的計算機可讀介質(zhì)，其中，對于每一個補片確定描述符的所述步驟包括確定代表包含在補片中的像素的矢量。
12.權(quán)利要求7的計算機可讀介質(zhì)，其中，將每一個描述符映射到描述符標識符的所述步驟采用包括與對應的描述符標識符相關(guān)聯(lián)的一個或更多代表性描述符的量化表，并且每一個描述符被映射到其匹配或接近匹配的一個或更多代表性描述符。
13.權(quán)利要求7的計算機可讀介質(zhì)，其還包括基于量度對所述多個感興趣點當中的每一個進行排序；以及基于所述排序選擇所述多個感興趣點當中的子集以進行進一步處理。
14.權(quán)利要求7的計算機可讀介質(zhì)，其還包括把一個或更多描述符標識符映射到一個或更多文本單詞。
15.一種把已付費搜索結(jié)果與基于圖像的算法搜索結(jié)果相關(guān)聯(lián)的方法，其包括以下步驟接收搜索查詢；計算設備基于搜索查詢識別出形成描述符標識符的第一集合的至少一個描述符標識符，其中，每一個描述符標識符對應于描述基于圖像的感興趣點的描述符；通過把描述符標識符的第一集合和與被索引圖像相關(guān)聯(lián)的描述符標識符的第二集合進行比較來搜索多幅被索引圖像，從而生成搜索結(jié)果；把至少一個已付費搜索列表與第一集合當中的至少一個描述符標識符相關(guān)聯(lián)，從而生成至少一個已付費搜索結(jié)果。
全文摘要
本發(fā)明涉及使用圖像描述符標識符來進行基于內(nèi)容的搜索。對于一幅圖像確定多個描述符。所述描述符代表在圖像中識別出的對應感興趣點處的圖像內(nèi)容。所述描述符被映射到對應的描述符標識符。于是可以把圖像表示為描述符標識符集合。利用描述符標識符作為搜索元素在索引上施行搜索。還提供一種用于高效地搜索逆排索引的方法。識別出包括與圖像的描述符標識符相匹配的至少預定數(shù)目的描述符標識符的候選圖像。對候選圖像進行排序，并且將其至少一部分表示為基于內(nèi)容的搜索結(jié)果。
文檔編號G06F17/30GK102576372SQ201080049499
公開日2012年7月11日 申請日期2010年11月2日 優(yōu)先權(quán)日2009年11月2日
發(fā)明者劉鳴, 李鹢, 柯啟發(fā) 申請人:微軟公司