本發(fā)明屬于計算機視覺領域，更具體地，涉及一種超大規(guī)模圖像特征點匹配方法及系統(tǒng)。

背景技術：

大規(guī)模無序圖片集的三維重建在最近幾十年一直是計算機視覺領域比較熱門的一個研究課題。該項技術可以用于城市數(shù)字地圖的搭建、數(shù)字博物館的構建和災后建筑的重建等。對于大規(guī)模無序圖片數(shù)據(jù)集的三維重建，近年來，一整套比較成熟且被學術界認可的重建流程已經(jīng)搭建完成，主要包含以下步驟：1)圖片特征點提取，2)圖像之間的特征匹配，3)對圖像匹配對進行幾何校驗，4)根據(jù)匹配估計相機姿態(tài)和稀疏三維點云。大部分研究者遵照這樣的一個大體流程，對于其中的分步驟進行改進。

按照上面的流程，對于大規(guī)模數(shù)據(jù)集而言，算法的主要瓶頸出現(xiàn)在第二步，為了避免兩兩進行匹配而帶來大量的時間浪費，這里涉及到圖像之間是否有匹配關系的問題，目前很多針對大規(guī)模無序圖片集的三維重建的工作正是為了解決這個問題。他們的主要途徑都是通過某種高效率方式近似地找到有場景重疊的圖像對，從而減少總的匹配時間。其中比較經(jīng)典的方法是Agarwal提出的Vocabulary tree詞匯樹搜索近鄰的方法，主要思想是通過圖像的特征點訓練得到一個詞匯樹，通過這個樹用一種檢索機制來找到每幅圖像的近鄰，特征點匹配只在近鄰圖像間進行。

目前對于第二步的改進工作主要解決的是在特征匹配之前如何減少圖像對的數(shù)量。但是對于大規(guī)模圖像數(shù)據(jù)集合來說，在特征匹配的過程中，內存和效率同樣需要進行較大的改進。對于多個圖像對的特征匹配，最理想的情況是把所有的圖像特征點一次性放入內存中，這樣就能保證所有圖像之間能進行特征匹配。但是對于超大規(guī)模圖像集來說，把所有圖像的特征點一次性放入內存中將會造成內存溢出。另外還有一種思路是需要用到哪副圖像進行匹配時就加載那副圖片的特征點，用完之后就釋放掉。這樣就能保證內存不會溢出，但是這樣就會出現(xiàn)頻繁的I/O操作，大大降低了算法的效率。

技術實現(xiàn)要素：

針對現(xiàn)有技術的以上缺陷或改進需求，本發(fā)明提供了一種超大規(guī)模圖像特征點匹配方法及系統(tǒng)，在過濾得到有場景重疊的圖像對之后，通過廣度優(yōu)先排序把有場景重疊的圖像聚集在一起，從而保證在圖像匹配的過程中圖像特征點一次讀取、局部完全利用，可以在內存不會溢出的同時，保證了算法的效率。由此解決現(xiàn)有技術中存在的內存溢出以及頻繁的I/O交換導致效率下降的技術問題。

為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種超大規(guī)模圖像特征點匹配方法，包括：

(1)特征點提取和圖像對的初始過濾：對每幅圖像提取特征點，然后采用圖像檢索的方法找到每幅圖像的近鄰，剔除不相關的圖像對，得到有場景重疊的圖像對；

(2)廣度優(yōu)先遍歷重排圖像和圖像對序列：在得到有場景重疊的圖像對之后，以圖像為節(jié)點、圖像對形成邊，構成一個無向圖，以其中匹配數(shù)目最多的圖像為起點，進行廣度優(yōu)先排序，得到排序之后的圖像序列和圖像對序列；

(3)分塊保存排序后的特征點：根據(jù)排序之后的圖像序列對特征點進行重排，并分塊保存成二進制文件；

(4)加載初始塊的特征點并進行匹配：讀取起始的二進制文件信息，根據(jù)排序后的圖像對序列進行特征匹配，釋放無用的特征信息所占用的內存資源；

(5)迭代加載后續(xù)塊的特征點并進行匹配：迭代的讀取后續(xù)的二進制文件信息、再進行特征匹配，直到所有的圖像對完成匹配，并把匹配結果保存到文件中。

優(yōu)選地，步驟(2)具體包括以下子步驟：

(2.1)以圖像為節(jié)點、圖像對形成邊，構成一個無向圖，以其中匹配數(shù)目最多的圖像為起點，進行廣度優(yōu)先遍歷；

(2.2)在廣度優(yōu)先遍歷的過程中，依次經(jīng)過若干個節(jié)點和邊，對應著圖像和圖像對，經(jīng)過一次遍歷之后，得到圖像序列H和圖像對序列S，其中，將一條邊連接的兩幅圖像中每幅圖像的匹配圖像數(shù)目分別記為M_i、M_j，其中i、j對應邊連接的兩幅圖像中每幅圖像的索引號。

優(yōu)選地，步驟(3)具體包括以下子步驟：

(3.1)在圖像序列H中，依次將每n個圖像的特征點信息保存成一個二進制文件，最后不足n個的圖像保存成一個二進制文件，其中，n為正整數(shù)；

(3.2)記錄每張圖像特征點信息的起始位置相對該圖像對應的二進制文件起始位置的偏移量。

優(yōu)選地，步驟(4)具體包括以下子步驟：

(4.1)從保存的所有二進制文件中讀取初始的p個二進制文件，并加載所述p個二進制文件中的圖像，其中，p為正整數(shù)；

(4.2)加載圖像對序列S，從S的起始索引開始，不斷遍歷圖像對，并進行特征匹配，直到圖像對中至少有一幅圖像沒有被加載，則終止遍歷，記錄下此時S的索引位置s₁，在特征匹配過程中如果圖像對中的任一幅圖像的已匹配圖像數(shù)目達到步驟(2.2)中記錄的該圖像的匹配圖像數(shù)目，則釋放掉該圖像所占用的內存資源。

優(yōu)選地，步驟(5)具體包括以下子步驟：

(5.1)繼續(xù)讀取后續(xù)的q個二進制文件，并加載所述q個二進制文件中的圖像，其中，q為正整數(shù)；

(5.2)從S的索引位置s₁開始，不斷遍歷圖像對，并進行特征匹配，直到圖像對中至少有一幅圖像沒有被加載，則終止遍歷，同時記錄下此時S的索引位置s₂，將s₂的值賦予s₁，在特征匹配過程中如果圖像對中的任一幅圖像的已匹配圖像數(shù)目達到步驟(2.2)中記錄的該圖像的匹配圖像數(shù)目，則釋放掉該圖像所占用的內存資源；

(5.3)重復執(zhí)行(5.1)和(5.2)直到S中的圖像對全部匹配完成；

(5.4)保存所有的匹配結果到文件中。

按照本發(fā)明的另一方面，提供了一種超大規(guī)模圖像特征點匹配系統(tǒng)，包括：

圖像對確定模塊，用于對每幅圖像提取特征點，然后采用圖像檢索的方法找到每幅圖像的近鄰，剔除不相關的圖像對，得到有場景重疊的圖像對；

廣度優(yōu)先排序模塊，用于在得到有場景重疊的圖像對之后，以圖像為節(jié)點、圖像對形成邊，構成一個無向圖，以其中匹配數(shù)目最多的圖像為起點，進行廣度優(yōu)先排序，得到排序之后的圖像序列和圖像對序列；

存儲模塊，用于根據(jù)排序之后的圖像序列對特征點進行重排，并分塊保存成二進制文件；

匹配模塊，用于讀取起始的二進制文件信息，根據(jù)排序后的圖像對序列進行特征匹配，釋放無用的特征信息所占用的內存資源；

迭代匹配模塊，用于迭代的讀取后續(xù)的二進制文件信息、再進行特征匹配，直到所有的圖像對完成匹配，并把匹配結果保存到文件中。

優(yōu)選地，所述廣度優(yōu)先排序模塊包括：

第一廣度優(yōu)先排序子模塊，用于以圖像為節(jié)點、圖像對形成邊，構成一個無向圖，以其中匹配數(shù)目最多的圖像為起點，進行廣度優(yōu)先遍歷；

第二廣度優(yōu)先排序子模塊，用于在廣度優(yōu)先遍歷的過程中，依次經(jīng)過若干個節(jié)點和邊，對應著圖像和圖像對，經(jīng)過一次遍歷之后，得到圖像序列H和圖像對序列S，其中，將一條邊連接的兩幅圖像中每幅圖像的匹配圖像數(shù)目分別記為M_i、M_j，其中i、j對應邊連接的兩幅圖像中每幅圖像的索引號。

優(yōu)選地，所述存儲模塊包括：

第一存儲模塊，用于在圖像序列H中，依次將每n個圖像的特征點信息保存成一個二進制文件，最后不足n個的圖像保存成一個二進制文件，其中，n為正整數(shù)；

第二存儲模塊，用于記錄每張圖像特征點信息的起始位置相對該圖像對應的二進制文件起始位置的偏移量。

優(yōu)選地，所述匹配模塊包括：

第一加載模塊，用于從保存的所有二進制文件中讀取初始的p個二進制文件，并加載所述p個二進制文件中的圖像，其中，p為正整數(shù)；

第一圖像對遍歷模塊，用于加載圖像對序列S，從S的起始索引開始，不斷遍歷圖像對，并進行特征匹配，直到圖像對中至少有一幅圖像沒有被加載，則終止遍歷，記錄下此時S的索引位置s₁，在特征匹配過程中如果圖像對中的任一幅圖像的已匹配圖像數(shù)目達到所述第二廣度優(yōu)先排序子模塊中記錄的該圖像的匹配圖像數(shù)目，則釋放掉該圖像所占用的內存資源。

優(yōu)選地，所述迭代匹配模塊包括：

第二加載模塊，用于繼續(xù)讀取后續(xù)的q個二進制文件，并加載所述q個二進制文件中的圖像，其中，q為正整數(shù)；

第二圖像對遍歷模塊，用于從S的索引位置s₁開始，不斷遍歷圖像對，并進行特征匹配，直到圖像對中至少有一幅圖像沒有被加載，則終止遍歷，同時記錄下此時S的索引位置s₂，將s₂的值賦予s₁，在特征匹配過程中如果圖像對中的任一幅圖像的已匹配圖像數(shù)目達到所述第二廣度優(yōu)先排序子模塊中記錄的該圖像的匹配圖像數(shù)目，則釋放掉該圖像所占用的內存資源；

迭代匹配子模塊，用于重復執(zhí)行所述第二加載模塊和所述第二圖像對遍歷模塊的操作直到S中的圖像對全部匹配完成；

結果保存模塊，用于保存所有的匹配結果到文件中。

總體而言，通過本發(fā)明所構思的以上技術方案與現(xiàn)有技術相比，主要有以下的技術優(yōu)點：本發(fā)明對圖像和圖像對進行排序之后，把相關的圖像特征信息保存在一起，提高了文件的讀取效率；同時特征信息在局部被完整利用，大大減少了亂序匹配中頻繁的I/O操作；另外特征信息在局部被利用完之后，占用的資源能得到及時的釋放，保證了算法較低的內存占用。本發(fā)明針對大規(guī)模圖像特征匹配，在時間復雜度和內存占用這兩方面做了較大改進，在保證較低的內存占用的同時，減少了頻繁的I/O操作，大大提高了效率。

附圖說明

圖1為本發(fā)明實施例公開的一種超大規(guī)模圖像特征點匹配方法的流程示意圖；

圖2為本發(fā)明實施例公開的一種基于廣度優(yōu)先遍歷得到二進制文件的流程示意圖；

圖3為本發(fā)明實施例公開的一種圖像對迭代特征匹配流程示意圖；

圖4為本發(fā)明實施例公開的一種超大規(guī)模圖像特征點匹配系統(tǒng)的結構示意圖。

具體實施方式

為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術特征只要彼此之間未構成沖突就可以相互組合。

該方法涉及到特征點提取、大規(guī)模圖像對過濾、快速hash特征點匹配算法、廣度優(yōu)先遍歷、內存的有效管理和高效的核外特征匹配等技術，在較低內存占用的情況下，保證了大規(guī)模圖像特征匹配的整體效率，最終得到的匹配信息保存成文件的形式可用于后續(xù)三維重建。

如圖1所示為本發(fā)明實施例公開的一種超大規(guī)模圖像特征點匹配方法的流程示意圖。在圖1中，核心創(chuàng)新包括兩大部分：一是廣度優(yōu)先遍歷來對圖像和圖像對進行排序；二是基于高效內存管理的核外特征匹配。最終得到的匹配信息保存成文件可用于后續(xù)三維重建。其具體實施方式如下：

(1)特征點提取和圖像對的初始過濾：對每幅圖像提取尺度不變特征變換(Scale-invariant feature transform，SIFT)特征點，然后用一種圖像檢索的方法來找到圖像近鄰，剔除不相關的圖像對，得到有場景重疊的圖像對；

(2)廣度優(yōu)先遍歷重排圖像和圖像對序列：以圖像為節(jié)點、圖像對形成邊，構成一個無向圖，以其中匹配數(shù)目最多的圖像為起點，進行廣度優(yōu)先排序，得到排序之后的節(jié)點(圖像序列)和邊(圖像對序列)；

(3)分塊保存排序后的特征點：根據(jù)排序之后的圖像序列對特征點進行重排，并分塊保存成二進制文件；

(4)加載初始塊的特征點并進行匹配：首先讀取起始的特征點二進制文件信息，并根據(jù)排序后的圖像對序列進行特征匹配，并及時釋放后續(xù)無用的特征信息所占用的內存資源；

(5)迭代加載后續(xù)塊的特征點并進行匹配：迭代的讀取特征信息、再進行特征匹配，直到所有的圖像對完成匹配，并把匹配結果保存到文件中用于后續(xù)重建。

在本發(fā)明的一個實施例中，步驟(1)具體包括：

(1.1)用SIFT特征提取算法提取圖像的特征點；

(1.2)用SIFT特征訓練得到一個詞匯樹(vocabulary tree)，通過詞匯樹搜索得到每個圖像的k個近鄰，這樣就得到了有場景重疊的圖像匹配對。

在本發(fā)明的一個實施例中，步驟(2)具體包括：

(2.1)以圖像為節(jié)點、圖像對形成邊，構成一個無向圖，以其中匹配數(shù)目最多的圖像為起點，如圖2所示，圖中左上角為原始的圖像匹配圖，S₄的匹配數(shù)目最多，以S₄為起點，進行廣度優(yōu)先遍歷，得到圖中右上角的廣度優(yōu)先遍歷圖；

(2.2)在遍歷的過程中，會依次經(jīng)過一些節(jié)點和邊，對應著圖像和圖像對，經(jīng)過一次遍歷之后，就得到了圖像序列H和圖像對序列S，對應圖2中的右下角，分別把這兩個序列保存成文件，另外在圖像序列文件中同時保存著每張圖像i的匹配圖像數(shù)目，記為M(i)。

在本發(fā)明的一個實施例中，所述步驟(3)具體包括：

(3.1)根據(jù)(2)中得到的圖像序列H，每n個圖像的特征點保存成一個二進制文件，把所有圖像的特征點信息分塊保存，如圖2中左下角所示，每3張圖像的特征點保存成一個特征點文件，最后兩個圖像不足3個，但也保存成一個特征點文件；

(3.2)另外，我們在保存特征點信息的同時，記錄下每張圖像特征點信息的起始位置相對文件起始位置的偏移量。

在本發(fā)明的一個實施例中，步驟(4)具體包括：

(4.1)讀取(3)中得到的最開始的p個二進制文件，并記錄相應的圖像已經(jīng)加載完成，如圖3所示，這里最開始只加載1個特征點文件；

(4.2)如圖3所示，根據(jù)(2)中得到的圖像對序列S，從S的起始索引0開始，不斷遍歷其中的圖像對，用傳統(tǒng)的特征匹配算法進行特征匹配，直到圖像對中至少有一幅圖像沒有被加載，則終止遍歷，同時記錄下此時S的索引位置s，另外，在這個過程中如果圖像對＜p,q＞的圖像p,q的已匹配圖像數(shù)目N(p)達到了M(p)，或者N(q)達到了M(q)，則釋放掉對應圖像所占用的內存資源。

在本發(fā)明的一個實施例中，步驟(5)具體包括：

(5.1)延續(xù)(4)的步驟，繼續(xù)讀取后續(xù)的q個二進制特征點文件，并記錄相應的圖像已經(jīng)加載完成，如圖3所示，這里只加載后續(xù)的1個特征點文件；

(5.2)從S的索引位置s開始，不斷遍歷其中圖像對，用傳統(tǒng)的特征匹配算法進行特征匹配，直到圖像對中至少有一幅圖像沒有被加載，則終止遍歷，同時記錄下此時S的索引位置并將其賦給s，另外，在這個過程中如果圖像對＜p,q＞的圖像p,q的已匹配圖像數(shù)目N(p)達到了M(p)，或者N(q)達到了M(q)，則釋放掉對應圖像所占用的內存資源；

(5.3)如圖3所示，重復執(zhí)行(5.1)和(5.2)直到S中的圖像對全部匹配完成；

(5.4)保存所有的匹配結果到文件中，用于后續(xù)重建。

本領域的技術人員容易理解，以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發(fā)明的保護范圍之內。