一種基于子空間融合和一致性約束的準稠密匹配擴展方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，具體涉及一種基于子空間融合和一致性約束的 準稠密匹配擴展方法，該方法涉及到圖像匹配、多視圖幾何、三維重建等領(lǐng)域，可直接用于 在較少圖像情況下對目標場景進行準確、稠密三維點云重建的過程。
【背景技術(shù)】
[0002] 基于多視角圖像的三維重建技術(shù)已經(jīng)被廣泛地應(yīng)用在自主導(dǎo)航、文物保護、三維 地圖、虛擬現(xiàn)實等領(lǐng)域。運動恢復(fù)結(jié)構(gòu)（Structure from motion, SFM)算法是當前的主流 方法，一個典型的SFM算法由以下四個步驟組成：首先，用一個或多個相機從不同的位置和 視角拍攝目標場景的多幅圖像；其次，計算所有圖像之間的特征匹配，構(gòu)建匹配關(guān)系圖；然 后，根據(jù)圖像之間的匹配，求出每幅圖像對應(yīng)的相機參數(shù)；最后，利用估計的相機參數(shù)重建 稀疏三維點云。
[0003] 圖像匹配作為三維重建的一個核心步驟，得到了廣泛而深入的研宄。圖像之間的 匹配點是指三維空間中的同一個點在不同圖像上的投影。通過檢測圖像上具有顯著性的稀 疏特征點并計算對應(yīng)特征描述符的相似性，可以得到圖像之間的稀疏匹配。尺度不變特征 (Scale Invariant Feature Transform, SIFT)算法及其改進算法被證明是最有效的圖像 特征匹配方法。該方法在特征空間內(nèi)尋找一幅圖像上的某個點在另一幅圖像上的最近鄰， 如果次近距離與最近距離的比值大于預(yù)設(shè)閾值，則保留該對匹配。
[0004] 除了基于稀疏特征點的圖像匹配，學(xué)者們還提出了基于匹配傳播（或者叫匹配擴 展）的準稠密圖像匹配算法。匹配的傳播過程開始于一些稀疏但可靠的種子匹配。算法不 斷地從種子周圍發(fā)掘出新的匹配，并把新的匹配加入種子集合繼續(xù)傳播，直到找不到新的 匹配。然而，現(xiàn)有的擴展算法大都假設(shè)場景表面可由許多小的平面區(qū)域來近似，并采用局部 平面模型（如仿射變換）來描述擴展區(qū)域。這種思路簡單易行，但對于表面非平面且深度 變化較大的場景會導(dǎo)致性能的急劇下降。
[0005] 和基于特征點的稀疏圖像匹配相比，準稠密圖像匹配算法的優(yōu)勢在于它使利用較 少的圖像得到較為稠密的重建結(jié)果成為可能，因此具有很廣闊的應(yīng)用前景。然而，現(xiàn)有的準 稠密圖像匹配算法大都假設(shè)擴展區(qū)域可用局部平面近似，當場景表面有較大深度變化時會 導(dǎo)致性能的急劇下降。因此，很有必要對擴展模型進行進一步研宄，找到更通用更魯棒的擴 展模型。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明旨在克服現(xiàn)有準稠密擴展算法的缺陷，提供一種基于子空間融合和一致性 約束的準稠密匹配擴展方法，從而使該算法對于表面深度信息復(fù)雜的場景獲得準確的匹配 擴展結(jié)果，該算法可用于在較少圖像情況下對場景進行準確、稠密的三維重建。
[0007] 為了解決上述技術(shù)問題，本發(fā)明提供了一種基于子空間融合和一致性約束的準稠 密匹配擴展方法，包括如下步驟：
[0008] (1)對兩幅待匹配圖像進行稀疏特征點匹配，得到種子匹配集合；
[0009] (2)如果種子匹配集合不為空，則執(zhí)行步驟（3);如果為空，則轉(zhuǎn)步驟（8);
[0010] (3)在種子匹配集合中選取一對種子匹配作為待擴展種子匹配，并在該待擴展種 子匹配兩端選取待擴展區(qū)域；
[0011] (4)分別在所述兩幅待匹配圖像的待擴展區(qū)域中選取待擴展點集X和Y ;
[0012] (5)對所述兩個待擴展點集X和Y進行空間信息和特征信息的子空間融合，得到X 和Y對應(yīng)于新的子空間的點集P和Q ;
[0013] (6)對步驟（5)得到的子空間中的兩個點集P和Q應(yīng)用一致性約束尋找點集之間 的匹配，子空間中點集P和Q之間的匹配結(jié)果等價于原空間中點集X和Y之間的匹配結(jié)果；
[0014] (7)對步驟（6)的結(jié)果進行進一步優(yōu)化，即過濾掉其中可能包含的不可靠的匹配， 多對一、一對多的匹配，甚至是錯誤的匹配，并輸出優(yōu)化后的匹配結(jié)果，轉(zhuǎn)步驟（2);
[0015] (8)統(tǒng)計本輪次擴展得到的所有匹配，判斷在該輪次中新增加的匹配數(shù)量是否小 于預(yù)設(shè)閾值，如果是，則算法結(jié)束；如果不是，則執(zhí)行步驟（9);
[0016] (9)若步驟⑶中判斷新增加的匹配數(shù)量大于預(yù)設(shè)閾值，則獲取已匹配區(qū)域的外 輪廓，并在外輪廓上采樣新的匹配作為新的種子匹配集合，并轉(zhuǎn)步驟（2)對新的種子匹配 集合進行下一輪擴展；其中所述已匹配區(qū)域是指所有已經(jīng)匹配的像素點在圖像上構(gòu)成的若 干個聯(lián)通的區(qū)域。
[0017] 在本發(fā)明的一個實施例中，所述步驟（4)中選取待擴展點集具體包括：
[0018] (4. 1)對待擴展區(qū)域中的每一個不在當前待擴展點集中的像素點，執(zhí)行步驟 (4. 2)至（4. 5);
[0019] (4. 2)判斷該像素點是否位于圖像的紋理區(qū)域，如果是，繼續(xù)執(zhí)行步驟（4. 3);如 果不是，返回步驟（4. 1);
[0020] (4.3)判斷該像素點是否找到匹配點，如果未找到，繼續(xù)執(zhí)行步驟（4.4);如果已 找到，返回步驟（4. 1);
[0021] (4. 4)判斷該像素點在之前的擴展中是否被處理過，如果未被處理過，繼續(xù)執(zhí)行步 驟（4. 5)，如果被處理過，返回步驟（4. 1);
[0022] (4. 5)將該像素點加入待擴展點集；
[0023] 在本發(fā)明的一個實施例中，所述步驟（5)具體包括：
[0024] (5. 1)分別對所述兩個待擴展點集X和Y中的每個像素點提取稠密SIFT特征信 息，執(zhí)行步驟（5.2);
[0025] (5. 2)根據(jù)步驟（5. 1)中得到的待擴展點集的特征信息和步驟（4)中得到的待擴 展點集的位置信息，計算相似度矩陣A ;相似度矩陣A由四個子相似度矩陣構(gòu)成：
[0026]
【主權(quán)項】
1. 一種基于子空間融合和一致性約束的準稠密匹配擴展方法，其特征在于，所述方法 包括如下步驟： (1) 對兩幅待匹配圖像進行稀疏特征點匹配，得到種子匹配集合； (2) 如果種子匹配集合不為空，則執(zhí)行步驟（3);如果為空，則轉(zhuǎn)步驟（8); (3) 在種子匹配集合中選取一對種子匹配作為待擴展種子匹配，并在該待擴展種子匹 配兩端選取待擴展區(qū)域； (4