用于比較圖像的方法和系統(tǒng)的制作方法
【專利摘要】一種用于比較第一圖像與第二圖像的方法，包括：標(biāo)識(shí)第一圖像中的第一關(guān)鍵點(diǎn)和第二圖像中的第二關(guān)鍵點(diǎn)；通過將每個(gè)第一關(guān)鍵點(diǎn)與一個(gè)對(duì)應(yīng)的第二關(guān)鍵點(diǎn)關(guān)聯(lián)，形成第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)之間的匹配；計(jì)算多個(gè)第一距離比，每個(gè)第一距離比均基于一對(duì)第一關(guān)鍵點(diǎn)之間的距離與匹配所述一對(duì)第一關(guān)鍵點(diǎn)的對(duì)應(yīng)的一對(duì)第二關(guān)鍵點(diǎn)之間的距離之比；將計(jì)算出的所述多個(gè)第一距離比的值的分布布置在具有依次的多個(gè)區(qū)間的直方圖中，其中每個(gè)區(qū)間對(duì)應(yīng)于第一距離比的值的相應(yīng)間隔，所述直方圖為每個(gè)區(qū)間列舉具有被包括在所述相應(yīng)間隔內(nèi)的值的所述分布的第一距離比的對(duì)應(yīng)數(shù)量；產(chǎn)生外點(diǎn)密度函數(shù)，所述外點(diǎn)密度函數(shù)表達(dá)與第一圖像和第二圖像中的關(guān)鍵點(diǎn)對(duì)的隨機(jī)選擇對(duì)應(yīng)的多個(gè)第二距離比的統(tǒng)計(jì)學(xué)分布，所述多個(gè)第二距離比基于第一圖像中的成對(duì)第一關(guān)鍵點(diǎn)之間的距離和第二圖像中隨機(jī)選擇的對(duì)應(yīng)的成對(duì)第二關(guān)鍵點(diǎn)之間的距離之比；通過針對(duì)所述區(qū)間中的每個(gè)區(qū)間產(chǎn)生對(duì)應(yīng)的外點(diǎn)概率密度值，離散化所述外點(diǎn)密度函數(shù)。所述方法還包括：確定多個(gè)正確關(guān)鍵點(diǎn)匹配，每個(gè)關(guān)鍵點(diǎn)匹配均是通過與第一圖像和第二圖像中描繪的同一對(duì)象的同一點(diǎn)對(duì)應(yīng)的第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)形成的，所述確定多個(gè)正確關(guān)鍵點(diǎn)匹配包括：確定矩陣，所述矩陣的每個(gè)元素對(duì)應(yīng)于相應(yīng)的所述一對(duì)關(guān)鍵點(diǎn)匹配并且每個(gè)元素的值對(duì)應(yīng)于所述直方圖在包括相應(yīng)的所述一對(duì)關(guān)鍵點(diǎn)匹配的距離比的區(qū)間處的值和與所述區(qū)間對(duì)應(yīng)的外點(diǎn)概率密度值之差，用參數(shù)(β)為所述外點(diǎn)概率密度值賦予權(quán)重；確定參數(shù)(β)的值，使得如果所述一對(duì)關(guān)鍵點(diǎn)匹配是正確關(guān)鍵點(diǎn)匹配，則所述矩陣的主特征向量等于具有第一值的元素的向量(r)，如果所述一對(duì)關(guān)鍵點(diǎn)匹配是不正確關(guān)鍵點(diǎn)匹配，則所述矩陣的主特征向量等于具有第二值的元素的向量(r)；確定所述正確關(guān)鍵點(diǎn)匹配的數(shù)量是與所述主特征向量關(guān)聯(lián)的主特征值的表現(xiàn)，其中，為了比較所述第一圖像與所述第二圖像，利用確定正確關(guān)鍵點(diǎn)匹配的數(shù)量。
【專利說明】用于比較圖像的方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像分析領(lǐng)域。

【背景技術(shù)】
[0002] 在圖像分析領(lǐng)域中，常見操作是比較兩個(gè)圖像以在這兩個(gè)圖像包括同一場景或同 一對(duì)象的至少一部分的情況下找到其間發(fā)生的關(guān)系。
[0003] 在大量的應(yīng)用之中，至關(guān)重要的是進(jìn)行圖像比較來校準(zhǔn)屬于多相機(jī)系統(tǒng)的攝像 機(jī)，評(píng)估在所拍攝視頻的兩幀之間發(fā)生的動(dòng)作，并且識(shí)別圖像（例如，照片）內(nèi)的對(duì)象。由 于被專門設(shè)計(jì)成在所謂的可視搜索引擎中利用的對(duì)象識(shí)別算法最近的發(fā)展，導(dǎo)致后一個(gè) 應(yīng)用呈現(xiàn)出越來越重要，即，從照片開始的自動(dòng)化服務(wù)能夠標(biāo)識(shí)其內(nèi)描繪的對(duì)象并且提 供與所標(biāo)識(shí)的對(duì)象相關(guān)的信息。這種類型的已知服務(wù)示例包括Google Goggles、Nokia Point&Find和kooaba Smart Visuals。對(duì)象識(shí)別應(yīng)用被提供用于比較描繪待識(shí)別對(duì)象的 第一圖像（在行業(yè)術(shù)語中，被稱為"查詢圖像"）與多個(gè)參考圖像，每個(gè)參考圖像描繪一個(gè)已 知對(duì)象；這樣允許執(zhí)行在查詢圖像中描繪的對(duì)象和參考圖像中描繪的對(duì)象之間的比較。
[0004] 參考圖像通常被布置在適當(dāng)?shù)膮⒖紨?shù)據(jù)庫中。數(shù)據(jù)庫中包括的參考圖像的數(shù)量越 多，要執(zhí)行的比較操作的次數(shù)就越多。在一些情況下，參考數(shù)據(jù)庫會(huì)變得非常大，從而對(duì)對(duì) 象識(shí)別過程的效率產(chǎn)生負(fù)面影響。例如，如果在在線購物場景中利用對(duì)象識(shí)別（其中，每幅 參考圖像對(duì)應(yīng)于在線商店提供的一個(gè)項(xiàng)目（例如，圖書封面、DVD封面和/或CD封面的照 片）），參考圖像的數(shù)量可超過數(shù)百萬的單位。此外，為了有效管理這樣巨量的數(shù)據(jù)，應(yīng)該通 過設(shè)置有充足處理能力的處理單元執(zhí)行比較操作。
[0005] 在近十年中，已經(jīng)提出了用于縮短執(zhí)行對(duì)象識(shí)別所需的時(shí)間的不同算法。這些算 法被提供用于大量減少參考圖像的數(shù)量，所述參考圖像是包括查詢圖像中描繪的對(duì)象的候 選。
[0006] 用于執(zhí)行兩個(gè)圖像之間的比較操作的一種非常有效的方式被提供用于在第一圖 像中選擇點(diǎn)（在行業(yè)術(shù)語中，被稱為關(guān)鍵點(diǎn)）的集合并隨后將該集合中的每個(gè)關(guān)鍵點(diǎn)與 第二圖像中的一個(gè)對(duì)應(yīng)關(guān)鍵點(diǎn)匹配。通過對(duì)環(huán)繞該點(diǎn)本身的圖像區(qū)域的局部特征加以 考慮，執(zhí)行選擇第一圖像中的哪個(gè)點(diǎn)必須變成關(guān)鍵點(diǎn)的步驟。關(guān)于這一點(diǎn)，參見2004年 International Journal of computer vision(《計(jì)算機(jī)視覺國際期刊》）中 David G. Lowe 所著的"Distinctive image features from scale-invariant keypoints (源自標(biāo)度不變 關(guān)鍵點(diǎn)的不同圖像特征）"。
[0007] 如果第一圖像的關(guān)鍵點(diǎn)和第二圖像的對(duì)應(yīng)關(guān)鍵點(diǎn)之間的匹配是正確的，則在這兩 個(gè)關(guān)鍵點(diǎn)都對(duì)應(yīng)于（在這兩個(gè)圖像中都有所描繪的）同一對(duì)象的同一點(diǎn)的意義上，這種關(guān) 鍵點(diǎn)匹配被稱為"內(nèi)點(diǎn)（inlier)"。
[0008] 相反地，如果第一圖像的關(guān)鍵點(diǎn)和第二圖像的對(duì)應(yīng)關(guān)鍵點(diǎn)之間的匹配是不正確 的，則在這兩個(gè)關(guān)鍵點(diǎn)不對(duì)應(yīng)于同一對(duì)象的同一點(diǎn)的意義上，這種關(guān)鍵點(diǎn)匹配被稱為"外點(diǎn) (outlier)，'。
[0009] 因此，為了得到可靠的結(jié)果，有利地是在已經(jīng)判定關(guān)鍵點(diǎn)匹配之后執(zhí)行能夠區(qū)分 內(nèi)點(diǎn)與外點(diǎn)的程序步驟。
[0010] 在本領(lǐng)域中已經(jīng)獲知這種類型的程序步驟的幾個(gè)示例。
[0011] 最常用的程序步驟利用了在1981年6月的Communications of the ACM (《ACM通 訊》）中的 Martin A. Fischler 和 Robert C.Bolles 所著的"Random sample consensus:A paradigm for outlier fitting with applications to image analysis and automated cartography (隨機(jī)抽樣一致性：與用于進(jìn)行圖像分析和自動(dòng)化制圖的應(yīng)用擬合的外點(diǎn)的 范例）"中公開的RANSAC算法。然而，這種算法由于基于迭代方法而是耗時(shí)的。
[0012] 在 2010 年 10 月在 International Conference on Image Processing(圖像 處理國際會(huì)議）上 Sam S. Tsai> Davide Chen、Gabriel Takacs、Vijay Chandrasekhar、 Ramakrishna Vedantham、Radek Grzeszczuk、Bernd Girod 所著的 "Fast geometric re-ranking for image-based retrieval(用于基于圖像進(jìn)行檢索的快速幾何重排序）" 和國際專利申請W02009/130451中公開的算法基于在平移、旋轉(zhuǎn)和縮放的情況下關(guān)鍵 點(diǎn)的距離之比不變的事實(shí)。在2010年8月的International Conference on Pattern Recognition(圖案識(shí)別國際會(huì)議）上Zhipeng Wu、Qianqian Xu、Shuqiang Jiang、Qingming Huang、Peng Cui、Liang Li所著的"Adding Affine Invariant Geometric Constraint for Partial-Duplicate Image Retrieval (增加用于部分復(fù)制圖像檢索的仿射不變幾何限 制）"（第842至845頁）中和2010年第20屆圖案識(shí)別國際會(huì)議上Daniel Fleck、Zoran 的 "Using Local Affine Invariants to Improve Image Matching (使用本地仿射不變量 改進(jìn)圖像匹配）"（第1844頁至第1847頁）中也公開了這種類型的其它算法。
[0013] 另外，US 2010/0135527 A1公開了包括基于關(guān)鍵點(diǎn)的比較和基于區(qū)域的顏色比較 的圖像識(shí)別算法。一種使用該算法標(biāo)識(shí)目標(biāo)對(duì)象的方法包括：在處理裝置處接收輸入，所述 輸入包括與目標(biāo)圖像相關(guān)的數(shù)據(jù)；執(zhí)行檢索步驟，包括在圖像數(shù)據(jù)庫中檢索圖像，并且直到 該圖像被接受或被拒絕之前，指定該圖像作為候選圖像；執(zhí)行圖像識(shí)別步驟，包括使用處理 裝置對(duì)目標(biāo)和候選圖像執(zhí)行圖像識(shí)別算法，以得到圖像識(shí)別算法輸出；以及執(zhí)行比較步驟： 如果圖像識(shí)別算法輸出在預(yù)先選擇的范圍內(nèi)，則接受候選圖像作為目標(biāo)圖像，如果圖像識(shí) 別算法輸出不在預(yù)先選擇的范圍內(nèi)，則拒絕候選圖像并且重復(fù)進(jìn)行檢索、圖像識(shí)別和比較 步驟。
[0014] US2010/0183229 A1涉及一種用于匹配圖像的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。用特 征點(diǎn)和特征向量和與特征點(diǎn)關(guān)聯(lián)的方向來表示待匹配圖像。首先，通過使用特征向量確定 假定對(duì)應(yīng)關(guān)系。選擇假定對(duì)應(yīng)關(guān)系的子集并且確定該子集的拓?fù)涞葍r(jià)。使用假定對(duì)應(yīng)關(guān)系 的拓?fù)涞葍r(jià)子集創(chuàng)建運(yùn)動(dòng)估計(jì)模型。對(duì)假定對(duì)應(yīng)關(guān)系和所確定的對(duì)應(yīng)運(yùn)動(dòng)估計(jì)變換執(zhí)行方 向一致性測試，以避免不可行的變換。對(duì)滿足方向一致性測試的匹配執(zhí)行覆蓋度測試。拒 絕沒有覆蓋圖像之一的顯著部分的候選匹配。在多個(gè)圖像滿足所有測試要求的情況下，以 匹配度降低的次序提供最終的匹配圖像。
[0015] 柏林海德堡的斯普林格柏林海德堡出版社（SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG)在 2009 年 11 月 30 日的 ADVANCES IN VISUAL COMPUTING (《視覺計(jì)算進(jìn)展》）中第417至429頁的Daniel Fleck等人所著的"An Evaluation of Affine Invariant-Based Classification for Image Matching (評(píng)價(jià)用于 圖像匹配的基于仿射不變的分類）"公開了對(duì)使用仿射不變量進(jìn)行寬基線圖像匹配的方法 的詳細(xì)評(píng)價(jià)。具體地，該方法利用了仿射不變性質(zhì)，即在仿射轉(zhuǎn)換下形狀的面積比是恒定 的。因此，通過隨機(jī)采樣圖像對(duì)中的對(duì)應(yīng)形狀，可以生成面積比直方圖。于是，對(duì)最大直方 圖值列做出貢獻(xiàn)的匹配是候選內(nèi)點(diǎn)。
[0016] 柏林海德堡的斯普林格柏林海德堡出版社的IMAGE ANALYSIS AND RECOGNITION,(《圖像分析和識(shí)別》）在2009年7月6日的Daniel Fleck等人所著的"Affine Invariant-Based Classification of Inliers and Outliers for Image Matching(用于 圖像匹配的基于仿射不變的內(nèi)點(diǎn)和外點(diǎn)分類）"（第268至277頁）公開了一種在寬基線 圖像匹配期間將暫定特征匹配歸類為內(nèi)點(diǎn)或外點(diǎn)的方法。具體地，該方法使用仿射不變性 質(zhì)，即在仿射變換的情況下，形狀的面積比是恒定的。因此，通過隨機(jī)采樣圖像對(duì)中的對(duì)應(yīng) 形狀，可以生成面積比的直方圖。于是，對(duì)最大直方圖值列做出貢獻(xiàn)的匹配是候選內(nèi)點(diǎn)。隨 后過濾候選內(nèi)點(diǎn)，以去除直方圖中頻率低于噪聲水平的任何點(diǎn)。使用所得的內(nèi)點(diǎn)集合產(chǎn)生 圖像之間的非常準(zhǔn)確的變換模型。
[0017] 另外，2011 年 IEEE 國際多媒體會(huì)議及展不（IEEE International Conference on Multimedia and Expo, ICME)上 S. Lepsoy、G. Francini、G. Cordara、P. P. B. de Gusmao 的 "Statistical modelling of outliers for fast visual search(快速可視搜索的外點(diǎn) 的統(tǒng)計(jì)學(xué)建模）"公開了兩個(gè)圖像中存在的關(guān)鍵點(diǎn)的匹配是其中許多匹配可能不正確的不 確定過程。成對(duì)的不正確匹配的對(duì)數(shù)距離比的統(tǒng)計(jì)學(xué)性質(zhì)明顯不同于正確匹配的對(duì)數(shù)距離 比的統(tǒng)計(jì)學(xué)性質(zhì)?；诮y(tǒng)計(jì)學(xué)模型，提出了擬合效果測試（g〇〇dness-〇f-fit test),以確定 兩個(gè)圖像是否包含同一對(duì)象的視圖。這種技術(shù)可以用作用于可視搜索的快速幾何一致性檢 查。


【發(fā)明內(nèi)容】

[0018] 申請人:已經(jīng)發(fā)現(xiàn)用于實(shí)現(xiàn)對(duì)象識(shí)別服務(wù)的上述已知方法中的大部分受幾個(gè)缺陷 影響。具體地，這些方法是耗時(shí)的，基于迭代的程序步驟和/或需要處理巨量的數(shù)據(jù)。
[0019] 申請人:已經(jīng)著手處理如何就耗時(shí)和待處理數(shù)據(jù)量方面改善這些方法的問題。
[0020] 具體地， 申請人:已經(jīng)著手解決該問題，由此提供一種就數(shù)據(jù)處理方面而言是可靠 的并且就耗時(shí)方面而言具有優(yōu)良的性能的圖像比較方法。
[0021] 申請人:已經(jīng)發(fā)現(xiàn)，通過先開始在第一圖像（查詢圖像）上產(chǎn)生關(guān)鍵點(diǎn)集合并且將 其與第二圖像（參考圖像）上產(chǎn)生的對(duì)應(yīng)關(guān)鍵點(diǎn)集合關(guān)聯(lián)以形成對(duì)應(yīng)的關(guān)鍵點(diǎn)匹配集合， 根據(jù)本發(fā)明的一種圖像比較方法能夠評(píng)估整個(gè)關(guān)鍵點(diǎn)匹配集合之中有多少關(guān)鍵點(diǎn)匹配是 內(nèi)點(diǎn)。
[0022] 根據(jù)本發(fā)明的方法還能夠具體地標(biāo)識(shí)哪些關(guān)鍵點(diǎn)匹配是內(nèi)點(diǎn)以及哪些關(guān)鍵點(diǎn)匹 配是外點(diǎn)。
[0023] 更具體地講，根據(jù)本發(fā)明的一方面，一種用于比較第一圖像與第二圖像的方法，包 括：標(biāo)識(shí)第一圖像中的第一關(guān)鍵點(diǎn)和第二圖像中的第二關(guān)鍵點(diǎn)；通過將每個(gè)第一關(guān)鍵點(diǎn)與 一個(gè)對(duì)應(yīng)的第二關(guān)鍵點(diǎn)關(guān)聯(lián)，形成第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)之間的匹配；計(jì)算多個(gè)第一距 離比，每個(gè)第一距離比均基于一對(duì)第一關(guān)鍵點(diǎn)之間的距離與匹配所述一對(duì)第一關(guān)鍵點(diǎn)的對(duì) 應(yīng)的一對(duì)第二關(guān)鍵點(diǎn)之間的距離之比；將計(jì)算出的所述多個(gè)第一距離比的值的分布布置 在具有依次的多個(gè)區(qū)間（bin)的直方圖中，其中每個(gè)區(qū)間對(duì)應(yīng)于第一距離比的值的相應(yīng)間 隔，所述直方圖為每個(gè)區(qū)間列舉了具有被包括在所述相應(yīng)間隔內(nèi)的值的所述分布的第一距 離比的對(duì)應(yīng)數(shù)量；產(chǎn)生外點(diǎn)密度函數(shù)，所述外點(diǎn)密度函數(shù)表達(dá)與第一圖像和第二圖像中的 關(guān)鍵點(diǎn)對(duì)的隨機(jī)選擇對(duì)應(yīng)的多個(gè)第二距離比的統(tǒng)計(jì)學(xué)分布，所述多個(gè)第二距離比基于第一 圖像中的成對(duì)第一關(guān)鍵點(diǎn)之間的距離和第二圖像中隨機(jī)選擇的對(duì)應(yīng)的成對(duì)第二關(guān)鍵點(diǎn)之 間的距離之比；通過針對(duì)所述區(qū)間中的每個(gè)區(qū)間產(chǎn)生一個(gè)對(duì)應(yīng)的外點(diǎn)概率密度值，離散化 所述外點(diǎn)密度函數(shù)。所述方法還包括：確定多個(gè)正確關(guān)鍵點(diǎn)匹配，每個(gè)關(guān)鍵點(diǎn)匹配均是通 過與第一圖像和第二圖像中描繪的同一對(duì)象的同一點(diǎn)對(duì)應(yīng)的第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)形 成的，所述確定多個(gè)正確關(guān)鍵點(diǎn)匹配的步驟包括：確定矩陣，所述矩陣的每個(gè)元素對(duì)應(yīng)于相 應(yīng)的一對(duì)關(guān)鍵點(diǎn)匹配并且每個(gè)元素的值對(duì)應(yīng)于所述直方圖在包括相應(yīng)的所述一對(duì)關(guān)鍵點(diǎn) 匹配的距離比的區(qū)間處的值和與所述區(qū)間對(duì)應(yīng)的外點(diǎn)概率密度值之差，用參數(shù)（β)為所 述外點(diǎn)概率密度值賦予權(quán)重；確定參數(shù)（β)的值，使得如果所述成對(duì)的關(guān)鍵點(diǎn)匹配是正確 關(guān)鍵點(diǎn)匹配，則所述矩陣的主特征向量等于具有第一值的元素的向量（r)，如果所述成對(duì)的 關(guān)鍵點(diǎn)匹配是不正確關(guān)鍵點(diǎn)匹配，則所述矩陣的主特征向量等于具有第二值的元素的向量 (r);確定所述正確關(guān)鍵點(diǎn)匹配的數(shù)量作為與所述主特征向量關(guān)聯(lián)的主特征值的表現(xiàn)。為了 比較所述第一圖像與所述第二圖像，利用確定的正確關(guān)鍵點(diǎn)匹配的數(shù)量。
[0024] 優(yōu)選地，所述確定正確關(guān)鍵點(diǎn)匹配的數(shù)量作為主特征值的表現(xiàn)包括：確定正確關(guān) 鍵點(diǎn)匹配的數(shù)量作為所述主特征值與所述直方圖在包括相應(yīng)的所述一對(duì)關(guān)鍵點(diǎn)匹配的距 離比的區(qū)間處的值和與所述區(qū)間對(duì)應(yīng)的外點(diǎn)概率密度值之差的最大值之比的表現(xiàn)，用確定 的所述參數(shù)（β)為所述外點(diǎn)概率密度值賦予權(quán)重。
[0025] 優(yōu)選地，所述確定正確關(guān)鍵點(diǎn)匹配的數(shù)量作為主特征值的表現(xiàn)包括：確定所述數(shù) 量作為所述主特征值和所述最大值之比加1。
[0026] 有利地，所述方法還包括：通過識(shí)別與正確關(guān)鍵點(diǎn)匹配的所述數(shù)量相等的具有最 高絕對(duì)值的所述主特征向量的元素的數(shù)量，標(biāo)識(shí)哪些關(guān)鍵點(diǎn)匹配最有可能是正確關(guān)鍵點(diǎn)匹 配。
[0027] 優(yōu)選地，所述多個(gè)第一距離比對(duì)應(yīng)于一對(duì)第一關(guān)鍵點(diǎn)之間的距離與匹配所述一對(duì) 第一第一關(guān)鍵點(diǎn)的對(duì)應(yīng)的一對(duì)第二關(guān)鍵點(diǎn)之間的距離之比的對(duì)數(shù)。
[0028] 優(yōu)選地，所述參數(shù)（β)是所述直方圖在所述離散化外點(diǎn)密度函數(shù)上的投影的結(jié) 果。
[0029] 根據(jù)本發(fā)明的另一方面，一種用于比較第一圖像與第二圖像的設(shè)備，所述設(shè)備包 括：第一標(biāo)識(shí)單元，其被構(gòu)造成標(biāo)識(shí)第一圖像中的第一關(guān)鍵點(diǎn)和第二圖像中的第二關(guān)鍵點(diǎn)； 關(guān)聯(lián)單元，其被構(gòu)造成通過將每個(gè)第一關(guān)鍵點(diǎn)與一個(gè)對(duì)應(yīng)的第二關(guān)鍵點(diǎn)關(guān)聯(lián)，形成第一關(guān) 鍵點(diǎn)和第二關(guān)鍵點(diǎn)之間的匹配；計(jì)算單元，其被構(gòu)造成計(jì)算多個(gè)第一距離比，每個(gè)第一距離 比均基于一對(duì)第一關(guān)鍵點(diǎn)之間的距離與匹配所述一對(duì)第一關(guān)鍵點(diǎn)的對(duì)應(yīng)的一對(duì)第二關(guān)鍵 點(diǎn)之間的距離之比；布置單元，其被構(gòu)造成將計(jì)算出的所述多個(gè)第一距離比的值的分布布 置在具有依次的多個(gè)區(qū)間的直方圖中，其中每個(gè)區(qū)間對(duì)應(yīng)于第一距離比的值的相應(yīng)間隔， 所述直方圖為每個(gè)區(qū)間列舉了具有被包括在所述相應(yīng)間隔內(nèi)的值的所述分布的第一距離 比的對(duì)應(yīng)數(shù)量；產(chǎn)生單元，其被構(gòu)造成產(chǎn)生外點(diǎn)密度函數(shù)，所述外點(diǎn)密度函數(shù)表達(dá)與第一圖 像和第二圖像中的成對(duì)關(guān)鍵點(diǎn)的隨機(jī)選擇對(duì)應(yīng)的多個(gè)第二距離比的統(tǒng)計(jì)學(xué)分布，所述多個(gè) 第二距離比基于第一圖像中的成對(duì)第一關(guān)鍵點(diǎn)之間的距離和第二圖像中隨機(jī)選擇的對(duì)應(yīng) 的成對(duì)第二關(guān)鍵點(diǎn)之間的距離之比；離散化單元，其被構(gòu)造成通過針對(duì)每個(gè)區(qū)間產(chǎn)生一個(gè) 對(duì)應(yīng)的外點(diǎn)概率密度值，離散化所述外點(diǎn)密度函數(shù)。所述設(shè)備還包括：確定單元，其被構(gòu)造 成確定多個(gè)正確關(guān)鍵點(diǎn)匹配，每個(gè)關(guān)鍵點(diǎn)匹配均是通過與第一圖像和第二圖像中描繪的同 一對(duì)象的同一點(diǎn)對(duì)應(yīng)的第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)形成的，所述確定單元包括：第一確定子 單元，其被構(gòu)造成確定矩陣，所述矩陣的每個(gè)元素對(duì)應(yīng)于相應(yīng)的一對(duì)關(guān)鍵點(diǎn)匹配并且每個(gè) 元素的值對(duì)應(yīng)于所述直方圖在包括相應(yīng)的所述一對(duì)關(guān)鍵點(diǎn)匹配的距離比的區(qū)間處的值和 與所述區(qū)間對(duì)應(yīng)的外點(diǎn)概率密度值之差，用參數(shù)（β)為所述外點(diǎn)概率密度值賦予權(quán)重；第 二確定子單元，其被構(gòu)造成確定參數(shù)（β)的值，使得如果所述成對(duì)的關(guān)鍵點(diǎn)匹配是正確關(guān) 鍵點(diǎn)匹配，則所述矩陣的主特征向量等于具有第一值的元素的向量（r)，如果所述成對(duì)的 關(guān)鍵點(diǎn)匹配是不正確關(guān)鍵點(diǎn)匹配，則所述矩陣的主特征向量等于具有第二值的元素的向量 (r);第三確定子單元，其被構(gòu)造成確定所述正確關(guān)鍵點(diǎn)匹配的數(shù)量作為與所述主特征向量 關(guān)聯(lián)的主特征值的表現(xiàn)。所述設(shè)備還包括比較單元，所述比較單元被構(gòu)造成利用確定的正 確關(guān)鍵點(diǎn)匹配的數(shù)量來比較第一圖像與第二圖像。
[0030] 優(yōu)選地，所述設(shè)備還包括識(shí)別單元，所述識(shí)別單元被構(gòu)造成通過識(shí)別與正確關(guān)鍵 點(diǎn)匹配的所述數(shù)量相等的具有最高絕對(duì)值的所述主特征向量的元素的數(shù)量，標(biāo)識(shí)哪些關(guān)鍵 點(diǎn)匹配最有可能是正確關(guān)鍵點(diǎn)匹配。
[0031] 本發(fā)明的另一方面提供了一種系統(tǒng)，包括：關(guān)鍵點(diǎn)檢測單元，其被構(gòu)造成接收查詢 圖像并且標(biāo)識(shí)所述圖像中對(duì)應(yīng)的第一關(guān)鍵點(diǎn)；特征計(jì)算單元，其被構(gòu)造成通過對(duì)應(yīng)的第一 本地描述符描述第一關(guān)鍵點(diǎn)的本地方面；參考數(shù)據(jù)庫，其存儲(chǔ)多個(gè)參考圖像，對(duì)于每個(gè)參考 圖像，所述參考數(shù)據(jù)庫還存儲(chǔ)對(duì)應(yīng)的第二關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)的對(duì)應(yīng)的第二本地描述符； 特征匹配單元，其被構(gòu)造成針對(duì)至少一組參考圖像中的每個(gè)參考圖像，比較第一本地描述 符與所述參考圖像的第二本地描述符，并且因此將第一關(guān)鍵點(diǎn)與所述參考圖像的第二關(guān)鍵 點(diǎn)關(guān)聯(lián)，以產(chǎn)生對(duì)應(yīng)的關(guān)鍵點(diǎn)匹配集合；選擇單元，其被構(gòu)造成基于通過所述特征匹配單元 執(zhí)行的比較來選擇參考圖像的子集；以及優(yōu)化單元，其被構(gòu)造成針對(duì)包括查詢圖像和所述 子集的參考圖像的每一對(duì)，通過使用上述設(shè)備計(jì)算正確關(guān)鍵點(diǎn)匹配的數(shù)量。
[0032] 優(yōu)選地，所述系統(tǒng)包括可視搜索服務(wù)器和多個(gè)終端，所述終端被構(gòu)造成通過網(wǎng)絡(luò) 向所述可視搜索服務(wù)器提供查詢圖像，其中，所述可視搜索服務(wù)器包括所述關(guān)鍵點(diǎn)檢測單 元、所述特征計(jì)算單元、所述參考數(shù)據(jù)庫、所述特征匹配單元、所述選擇單元和所述優(yōu)化單 J Li 〇
[0033] 優(yōu)選地，所述系統(tǒng)包括可視搜索服務(wù)器和多個(gè)終端，所述終端被構(gòu)造成通過網(wǎng)絡(luò) 向所述可視搜索服務(wù)器提供查詢圖像，其中：所述可視搜索服務(wù)器包括所述參考數(shù)據(jù)庫、所 述特征匹配單元、所述選擇單元和所述優(yōu)化單元，并且每個(gè)終端均包括相應(yīng)的關(guān)鍵點(diǎn)檢測 單元和相應(yīng)的特征計(jì)算單元。
[0034] 優(yōu)選地，所述系統(tǒng)還包括可視搜索服務(wù)器和多個(gè)終端，所述終端被構(gòu)造成通過網(wǎng) 絡(luò)與所述可視搜索服務(wù)器交換數(shù)據(jù)，其中：所述可視搜索服務(wù)器包括所述參考數(shù)據(jù)庫，并且 每個(gè)終端均包括相應(yīng)的關(guān)鍵點(diǎn)檢測單元、相應(yīng)的特征計(jì)算單元、相應(yīng)的特征匹配單元、相應(yīng) 的選擇單元、相應(yīng)的優(yōu)化單元和相應(yīng)的本地?cái)?shù)據(jù)庫，其中：每個(gè)終端被構(gòu)造成從所述可視搜 索服務(wù)器接收存儲(chǔ)在所述參考數(shù)據(jù)庫中的相應(yīng)的第二關(guān)鍵點(diǎn)集合和第二關(guān)鍵點(diǎn)的對(duì)應(yīng)的 第二本地描述符，所述終端的所述本地?cái)?shù)據(jù)庫被構(gòu)造成存儲(chǔ)接收到的第二關(guān)鍵點(diǎn)集合和第 二本地描述符，存儲(chǔ)的第二關(guān)鍵點(diǎn)集合和第二本地描述符對(duì)應(yīng)于所述至少一組參考圖像中 的參考圖像。
[0035] 根據(jù)本發(fā)明的另一方面，一種檢索圖像的方法包括：接收查詢圖像并且標(biāo)識(shí)所述 圖像中的對(duì)應(yīng)的第一關(guān)鍵點(diǎn)；比較所述查詢圖像與多個(gè)參考圖像，第二關(guān)鍵點(diǎn)與每個(gè)參考 圖像關(guān)聯(lián)，并且因此將第一關(guān)鍵點(diǎn)與所述參考圖像的第二關(guān)鍵點(diǎn)關(guān)聯(lián)，以產(chǎn)生對(duì)應(yīng)的關(guān)鍵 點(diǎn)匹配集合；基于上述方法，確定所述查詢圖像和所述多個(gè)參考圖像中的每個(gè)圖像之間的 多個(gè)正確關(guān)鍵點(diǎn)匹配；選擇參考圖像的子集作為正確關(guān)鍵點(diǎn)匹配的數(shù)量超過預(yù)定閾值所用 的參考圖像。

【專利附圖】

【附圖說明】
[0036] 通過下面結(jié)合附圖閱讀的對(duì)本發(fā)明的一些示例性和非限制性實(shí)施例的描述，本發(fā) 明的這些和其它特征和優(yōu)點(diǎn)將變得顯見，在附圖中：
[0037] 圖1A示出了其中兩個(gè)圖像的關(guān)鍵點(diǎn)彼此關(guān)聯(lián)以形成關(guān)鍵點(diǎn)匹配的示例；
[0038] 圖1B示出了圖1A的示例，其中只描繪了內(nèi)點(diǎn)；
[0039] 圖1C示出了對(duì)應(yīng)于圖1A的示例的LDR直方圖；
[0040] 圖2示出了根據(jù)本發(fā)明的實(shí)施例的外點(diǎn)密度函數(shù)的形狀；
[0041] 圖3A-3F示出了由取自蘇黎世建筑圖像數(shù)據(jù)庫（Zurich Building Image Database)的成對(duì)圖像產(chǎn)生的LDR直方圖的幾個(gè)示例；
[0042] 圖4示出了其中查詢圖像和參考圖像描繪了從極為不同的角度觀察到的同一平 面對(duì)象的示例性情況；
[0043] 圖5A和圖5B示出了其中以具有中度差別的視角所示的幾乎平面對(duì)象的兩個(gè)示例 性情況；
[0044] 圖6示出了本發(fā)明的方法的主要步驟的流程圖；
[0045] 圖7A-7F示出了通過本發(fā)明的方法執(zhí)行的實(shí)驗(yàn)的結(jié)果；
[0046] 圖8示意性地示出了其中可以利用根據(jù)本發(fā)明的實(shí)施例的方法來實(shí)現(xiàn)可視搜索 服務(wù)的可能場景；
[0047] 圖9A示出了根據(jù)本發(fā)明的實(shí)施例的實(shí)現(xiàn)可視搜索服務(wù)的系統(tǒng)；
[0048] 圖9B示出了根據(jù)本發(fā)明的其它實(shí)施例的實(shí)現(xiàn)可視搜索服務(wù)的系統(tǒng)；
[0049] 圖9C示出了根據(jù)本發(fā)明的其它實(shí)施例的實(shí)現(xiàn)可視搜索服務(wù)的系統(tǒng)；
[0050] 圖10是示出了根據(jù)本發(fā)明的實(shí)施例的自動(dòng)攝像機(jī)校準(zhǔn)方法的主要步驟的流程 圖。

【具體實(shí)施方式】
[0051] 如以上已經(jīng)提到的，兩個(gè)圖像之間的比較被提供用于將第一圖像的關(guān)鍵點(diǎn)與第二 圖像的對(duì)應(yīng)關(guān)鍵點(diǎn)進(jìn)行匹配。如果這兩個(gè)圖像的對(duì)應(yīng)關(guān)鍵點(diǎn)對(duì)應(yīng)于（在這兩個(gè)圖像中都有 所描繪的）同一對(duì)象的同一點(diǎn)，則認(rèn)為關(guān)鍵點(diǎn)匹配是正確的（內(nèi)點(diǎn)）；相反地，如果兩個(gè)關(guān) 鍵點(diǎn)不對(duì)應(yīng)于同一對(duì)象的同一點(diǎn)，則認(rèn)為關(guān)鍵點(diǎn)匹配是不正確的（外點(diǎn)）。在其中，個(gè)圖像 是同一對(duì)象（教堂）的照片的圖1A中例示中，每個(gè)關(guān)鍵點(diǎn)匹配用一個(gè)相應(yīng)的實(shí)線描繪。圖 1A的示例性情況下示出的關(guān)鍵點(diǎn)匹配包括內(nèi)點(diǎn)和外點(diǎn)兩者。替代地，在圖1B中描繪了其中 已經(jīng)去除了外點(diǎn)的同一示例性情況的版本。
[0052] 在本說明書的下文中，將描述一種圖像比較方法。通過先開始將被稱為"查詢圖 像"或簡稱為"查詢"的第一圖像上產(chǎn)生的關(guān)鍵點(diǎn)集合與被稱為參考圖像的第二圖像上產(chǎn)生 的對(duì)應(yīng)關(guān)鍵點(diǎn)集合關(guān)聯(lián)以形成對(duì)應(yīng)關(guān)鍵點(diǎn)匹配集合，所提出的方法能夠估計(jì)關(guān)鍵點(diǎn)匹配的 整個(gè)集合之中有多少關(guān)鍵點(diǎn)匹配是內(nèi)點(diǎn)，還能夠具體地標(biāo)識(shí)哪些關(guān)鍵點(diǎn)匹配是內(nèi)點(diǎn)以及哪 些關(guān)鍵點(diǎn)匹配是外點(diǎn)。
[0053] 在本說明書的部分1中，將針對(duì)不正確匹配和正確匹配二者介紹這一方法中使用 的具體統(tǒng)計(jì)學(xué)性質(zhì)和對(duì)數(shù)距離比的概念。后面的兩個(gè)部分（部分2-3)公開了所提出方法 的各階段的數(shù)學(xué)和統(tǒng)計(jì)學(xué)方面。部分4公開了該方法的各階段的主要步驟。最后一個(gè)部分 (部分5)涉及所提出方法的示例性應(yīng)用。
[0054] 部分1-對(duì)數(shù)距離比
[0055] 考慮N個(gè)匹配關(guān)鍵點(diǎn)（匹配）的集合
[0056] (x1； Yi),..., (xi，Yi),..., (xN, yN) (1)
[0057] 其中，Xi包含查詢圖像中的第i個(gè)關(guān)鍵點(diǎn)的坐標(biāo)，并且'包含其在參考圖像中的 匹配關(guān)鍵點(diǎn)的坐標(biāo)。如果這兩個(gè)關(guān)鍵點(diǎn)正確匹配，則坐標(biāo)對(duì)（ Xi，yi)被稱為內(nèi)點(diǎn)。相反地， 如果這兩個(gè)關(guān)鍵點(diǎn)沒有正確匹配，則坐標(biāo)對(duì)被稱為外點(diǎn)。數(shù)量N通常是初始執(zhí)行的匹配過 程的結(jié)果。N的典型值的范圍在5和500之間，優(yōu)選地在20和400之間。如果匹配的數(shù)量 超過以上閾值或與其它方式被認(rèn)為比執(zhí)行根據(jù)本發(fā)明的內(nèi)點(diǎn)選擇過程所需的計(jì)算資源相 對(duì)要高，則本領(lǐng)域的技術(shù)人員可通過選擇匹配數(shù)量Ν'〈N來減少用于執(zhí)行本發(fā)明方法的匹 配的數(shù)量。
[0058] 所提出方法利用了在以上引用的Tsai等人的論文中提出的所謂對(duì)數(shù)距離比（縮 寫是LDR) :
[0059]

【權(quán)利要求】
1. 一種用于比較第一圖像與第二圖像的方法，包括： 標(biāo)識(shí)第一圖像中的第一關(guān)鍵點(diǎn)和第二圖像中的第二關(guān)鍵點(diǎn)； 通過將每個(gè)第一關(guān)鍵點(diǎn)與一個(gè)對(duì)應(yīng)的第二關(guān)鍵點(diǎn)關(guān)聯(lián)，形成第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn) 之間的匹配； 計(jì)算多個(gè)第一距離比，每個(gè)第一距離比均基于一對(duì)第一關(guān)鍵點(diǎn)之間的距離與匹配所述 一對(duì)第一關(guān)鍵點(diǎn)的對(duì)應(yīng)的一對(duì)第二關(guān)鍵點(diǎn)之間的距離之比； 將計(jì)算出的所述多個(gè)第一距離比的值的分布布置在具有依次的多個(gè)區(qū)間的直方圖中， 其中每個(gè)區(qū)間對(duì)應(yīng)于第一距離比的值的相應(yīng)間隔，所述直方圖為每個(gè)區(qū)間列舉具有被包括 在所述相應(yīng)間隔內(nèi)的值的所述分布的第一距離比的對(duì)應(yīng)數(shù)量； 產(chǎn)生外點(diǎn)密度函數(shù)，所述外點(diǎn)密度函數(shù)表達(dá)與第一圖像和第二圖像中的關(guān)鍵點(diǎn)對(duì)的 隨機(jī)選擇對(duì)應(yīng)的多個(gè)第二距離比的統(tǒng)計(jì)學(xué)分布，所述多個(gè)第二距離比基于第一圖像中的成 對(duì)第一關(guān)鍵點(diǎn)之間的距離和第二圖像中隨機(jī)選擇的對(duì)應(yīng)的成對(duì)第二關(guān)鍵點(diǎn)之間的距離之 比； 通過針對(duì)所述區(qū)間中的每個(gè)區(qū)間產(chǎn)生對(duì)應(yīng)的外點(diǎn)概率密度值，離散化所述外點(diǎn)密度函 數(shù)； 其特征在于，所述方法包括： 確定多個(gè)正確關(guān)鍵點(diǎn)匹配，每個(gè)關(guān)鍵點(diǎn)匹配均是通過與第一圖像和第二圖像中描繪的 同一對(duì)象的同一點(diǎn)對(duì)應(yīng)的第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)形成的，所述確定多個(gè)正確關(guān)鍵點(diǎn)匹配 包括： 確定矩陣，所述矩陣的每個(gè)元素對(duì)應(yīng)于相應(yīng)的一對(duì)關(guān)鍵點(diǎn)匹配并且每個(gè)元素的值對(duì)應(yīng) 于所述直方圖在包括相應(yīng)的所述一對(duì)關(guān)鍵點(diǎn)匹配的距離比的區(qū)間處的值和與所述區(qū)間對(duì) 應(yīng)的外點(diǎn)概率密度值之差，用參數(shù)（β)為所述外點(diǎn)概率密度值賦予權(quán)重； 確定參數(shù)（β)的值，使得如果所述一對(duì)關(guān)鍵點(diǎn)匹配是正確關(guān)鍵點(diǎn)匹配，則所述矩陣的 主特征向量等于具有第一值的元素的向量（r)，如果所述一對(duì)關(guān)鍵點(diǎn)匹配是不正確關(guān)鍵點(diǎn) 匹配，則所述矩陣的主特征向量等于具有第二值的元素的向量（r); 確定所述正確關(guān)鍵點(diǎn)匹配的數(shù)量作為與所述主特征向量關(guān)聯(lián)的主特征值的表現(xiàn)， 其中，為了比較所述第一圖像與所述第二圖像，利用確定的正確關(guān)鍵點(diǎn)匹配的數(shù)量。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述確定正確關(guān)鍵點(diǎn)匹配的數(shù)量作為主特征值的 表現(xiàn)包括： 確定正確關(guān)鍵點(diǎn)匹配的數(shù)量作為所述主特征值與所述直方圖在包括相應(yīng)的所述一對(duì) 關(guān)鍵點(diǎn)匹配的距離比的區(qū)間處的值和與所述區(qū)間對(duì)應(yīng)的外點(diǎn)概率密度值之差的最大值之 比的表現(xiàn)，用確定的所述參數(shù)（β)為所述外點(diǎn)概率密度值賦予權(quán)重。
3. 根據(jù)權(quán)利要求2所述的方法，其中所述確定正確關(guān)鍵點(diǎn)匹配的數(shù)量作為主特征值的 表現(xiàn)包括：確定所述數(shù)量作為所述主特征值和所述最大值之比加1。
4. 根據(jù)權(quán)利要求1至3中的任一項(xiàng)所述的方法，還包括通過識(shí)別與正確關(guān)鍵點(diǎn)匹配的 所述數(shù)量相等的具有最高絕對(duì)值的所述主特征向量的元素的數(shù)量，標(biāo)識(shí)哪些關(guān)鍵點(diǎn)匹配最 有可能是正確關(guān)鍵點(diǎn)匹配。
5. 根據(jù)權(quán)利要求1至4中的任一項(xiàng)所述的方法，其中所述多個(gè)第一距離比對(duì)應(yīng)于一對(duì) 第一關(guān)鍵點(diǎn)之間的距離與匹配所述一對(duì)第一第一關(guān)鍵點(diǎn)的對(duì)應(yīng)的一對(duì)第二關(guān)鍵點(diǎn)之間的 距離之比的對(duì)數(shù)。
6. 根據(jù)權(quán)利要求1至5中的任一項(xiàng)所述的方法，其中所述參數(shù)（β )是所述直方圖在所 述離散化外點(diǎn)密度函數(shù)上的投影的結(jié)果。
7. -種用于比較第一圖像與第二圖像的設(shè)備，所述設(shè)備包括： 第一標(biāo)識(shí)單元，其被構(gòu)造成標(biāo)識(shí)第一圖像中的第一關(guān)鍵點(diǎn)和第二圖像中的第二關(guān)鍵 占. 關(guān)聯(lián)單元，其被構(gòu)造成通過將每個(gè)第一關(guān)鍵點(diǎn)與一個(gè)對(duì)應(yīng)的第二關(guān)鍵點(diǎn)關(guān)聯(lián)，形成第 一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)之間的匹配； 計(jì)算單元，其被構(gòu)造成計(jì)算多個(gè)第一距離比，每個(gè)第一距離比均基于一對(duì)第一關(guān)鍵點(diǎn) 之間的距離與匹配所述一對(duì)第一關(guān)鍵點(diǎn)的對(duì)應(yīng)的一對(duì)第二關(guān)鍵點(diǎn)之間的距離之比； 布置單元，其被構(gòu)造成將計(jì)算出的所述多個(gè)第一距離比的值的分布布置在具有依次的 多個(gè)區(qū)間的直方圖中，其中每個(gè)區(qū)間對(duì)應(yīng)于第一距離比的值的相應(yīng)間隔，所述直方圖為每 個(gè)區(qū)間列舉具有被包括在所述相應(yīng)間隔內(nèi)的值的所述分布的第一距離比的對(duì)應(yīng)數(shù)量； 產(chǎn)生單元，其被構(gòu)造成產(chǎn)生外點(diǎn)密度函數(shù)，所述外點(diǎn)密度函數(shù)表達(dá)與第一圖像和第二 圖像中的成對(duì)關(guān)鍵點(diǎn)的隨機(jī)選擇對(duì)應(yīng)的多個(gè)第二距離比的統(tǒng)計(jì)學(xué)分布，所述多個(gè)第二距離 比基于第一圖像中的成對(duì)第一關(guān)鍵點(diǎn)之間的距離和第二圖像中隨機(jī)選擇的對(duì)應(yīng)的成對(duì)第 二關(guān)鍵點(diǎn)之間的距離之比； 離散化單元，其被構(gòu)造成通過針對(duì)每個(gè)區(qū)間產(chǎn)生一個(gè)對(duì)應(yīng)的外點(diǎn)概率密度值，離散化 所述外點(diǎn)密度函數(shù)； 其特征在于，所述設(shè)備包括： 確定單元，其被構(gòu)造成確定多個(gè)正確關(guān)鍵點(diǎn)匹配，每個(gè)關(guān)鍵點(diǎn)匹配均是通過與第一圖 像和第二圖像中描繪的同一對(duì)象的同一點(diǎn)對(duì)應(yīng)的第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)形成的，所述確 定單元包括： 第一確定子單元，其被構(gòu)造成確定矩陣，所述矩陣的每個(gè)元素對(duì)應(yīng)于相應(yīng)的一對(duì)關(guān)鍵 點(diǎn)匹配并且每個(gè)元素的值對(duì)應(yīng)于所述直方圖在包括相應(yīng)的所述一對(duì)關(guān)鍵點(diǎn)匹配的距離比 的區(qū)間處的值和與所述區(qū)間對(duì)應(yīng)的外點(diǎn)概率密度值之差，用參數(shù)（β)為所述外點(diǎn)概率密 度值賦予權(quán)重； 第二確定子單元，其被構(gòu)造成確定參數(shù)（β)的值，使得如果所述成對(duì)的關(guān)鍵點(diǎn)匹配是 正確關(guān)鍵點(diǎn)匹配，則所述矩陣的主特征向量等于具有第一值的元素的向量（r)，如果所述成 對(duì)的關(guān)鍵點(diǎn)匹配是不正確關(guān)鍵點(diǎn)匹配，則所述矩陣的主特征向量等于具有第二值的元素的 向量（r); 第三確定子單元，其被構(gòu)造成確定所述正確關(guān)鍵點(diǎn)匹配的數(shù)量作為與所述主特征向量 關(guān)聯(lián)的主特征值的表現(xiàn)， 其中，所述設(shè)備還包括比較單元，所述比較單元被構(gòu)造成利用確定的正確關(guān)鍵點(diǎn)匹配 的數(shù)量來比較第一圖像與第二圖像。
8. 根據(jù)權(quán)利要求7所述的設(shè)備，還包括 識(shí)別單元，其被構(gòu)造成通過識(shí)別與正確關(guān)鍵點(diǎn)匹配的所述數(shù)量相等的具有最高絕對(duì)值 的所述主特征向量的元素的數(shù)量，標(biāo)識(shí)哪些關(guān)鍵點(diǎn)匹配最有可能是正確關(guān)鍵點(diǎn)匹配。
9. 一種系統(tǒng)，包括： 關(guān)鍵點(diǎn)檢測單元，其被構(gòu)造成接收查詢圖像并且標(biāo)識(shí)所述圖像中對(duì)應(yīng)的第一關(guān)鍵點(diǎn)； 特征計(jì)算單元，其被構(gòu)造成通過對(duì)應(yīng)的第一本地描述符描述第一關(guān)鍵點(diǎn)的本地方面； 參考數(shù)據(jù)庫，其存儲(chǔ)多個(gè)參考圖像，對(duì)于每個(gè)參考圖像，所述參考數(shù)據(jù)庫還存儲(chǔ)對(duì)應(yīng)的 第二關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)的對(duì)應(yīng)的第二本地描述符； 特征匹配單元，其被構(gòu)造成針對(duì)至少一組參考圖像中的每個(gè)參考圖像，比較第一本地 描述符與所述參考圖像的第二本地描述符，并且因此將第一關(guān)鍵點(diǎn)與所述參考圖像的第二 關(guān)鍵點(diǎn)關(guān)聯(lián)，以產(chǎn)生對(duì)應(yīng)的關(guān)鍵點(diǎn)匹配集合； 選擇單元，其被構(gòu)造成基于通過所述特征匹配單元執(zhí)行的比較來選擇參考圖像的子 集；以及 優(yōu)化單元，其被構(gòu)造成針對(duì)包括查詢圖像和所述子集的參考圖像的每一對(duì)，計(jì)算正確 關(guān)鍵點(diǎn)匹配的數(shù)量，其中，所述優(yōu)化單元包括根據(jù)權(quán)利要求7或8中的任一項(xiàng)所述的設(shè)備。
10. 根據(jù)權(quán)利要求9所述的系統(tǒng)，還包括可視搜索服務(wù)器和多個(gè)終端，所述終端被構(gòu)造 成通過網(wǎng)絡(luò)向所述可視搜索服務(wù)器提供查詢圖像，其中： 所述可視搜索服務(wù)器包括所述關(guān)鍵點(diǎn)檢測單元、所述特征計(jì)算單元、所述參考數(shù)據(jù)庫、 所述特征匹配單元、所述選擇單元和所述優(yōu)化單元。
11. 根據(jù)權(quán)利要求9所述的系統(tǒng)，還包括可視搜索服務(wù)器和多個(gè)終端，所述終端被構(gòu)造 成通過網(wǎng)絡(luò)向所述可視搜索服務(wù)器提供查詢圖像，其中： 所述可視搜索服務(wù)器包括所述參考數(shù)據(jù)庫、所述特征匹配單元、所述選擇單元和所述 優(yōu)化單元，并且 每個(gè)終端包括相應(yīng)的關(guān)鍵點(diǎn)檢測單元和相應(yīng)的特征計(jì)算單元。
12. 根據(jù)權(quán)利要求9所述的系統(tǒng)，還包括可視搜索服務(wù)器和多個(gè)終端，所述終端被構(gòu)造 成通過網(wǎng)絡(luò)與所述可視搜索服務(wù)器交換數(shù)據(jù)，其中： 所述可視搜索服務(wù)器包括所述參考數(shù)據(jù)庫，并且 每個(gè)終端包括相應(yīng)的關(guān)鍵點(diǎn)檢測單元、相應(yīng)的特征計(jì)算單元、相應(yīng)的特征匹配單元、相 應(yīng)的選擇單元、相應(yīng)的優(yōu)化單元和相應(yīng)的本地?cái)?shù)據(jù)庫，其中： 每個(gè)終端被構(gòu)造成從所述可視搜索服務(wù)器接收存儲(chǔ)在所述參考數(shù)據(jù)庫中的相應(yīng)的第 二關(guān)鍵點(diǎn)集合和第二關(guān)鍵點(diǎn)的對(duì)應(yīng)的第二本地描述符， 所述終端的所述本地?cái)?shù)據(jù)庫被構(gòu)造成存儲(chǔ)接收到的第二關(guān)鍵點(diǎn)集合和第二本地描述 符，存儲(chǔ)的第二關(guān)鍵點(diǎn)集合和第二本地描述符對(duì)應(yīng)于所述至少一組參考圖像中的參考圖 像。
13. -種檢索圖像的方法，包括： 接收查詢圖像并且標(biāo)識(shí)所述圖像中的對(duì)應(yīng)的第一關(guān)鍵點(diǎn)； 比較所述查詢圖像與多個(gè)參考圖像，第二關(guān)鍵點(diǎn)與每個(gè)參考圖像關(guān)聯(lián)，并且因此將第 一關(guān)鍵點(diǎn)與所述參考圖像的第二關(guān)鍵點(diǎn)關(guān)聯(lián)，以產(chǎn)生對(duì)應(yīng)的關(guān)鍵點(diǎn)匹配集合； 基于根據(jù)權(quán)利要求1至6中的任一項(xiàng)所述的方法，確定所述查詢圖像和所述多個(gè)參考 圖像中的每個(gè)圖像之間的多個(gè)正確關(guān)鍵點(diǎn)匹配； 選擇參考圖像的子集作為正確關(guān)鍵點(diǎn)匹配的數(shù)量超過預(yù)定閾值所用的參考圖像。
【文檔編號(hào)】G06K9/62GK104115161SQ201280069517
【公開日】2014年10月22日 申請日期:2012年1月2日 優(yōu)先權(quán)日:2012年1月2日
【發(fā)明者】G·弗朗西尼, S·萊珀索伊 申請人:意大利電信股份公司