專利名稱：一種基于二維圖像序列的目標對象的三維重建方法
技術領域：
本發(fā)明涉及一種目標對象的三維重建方法。
背景技術：
隨著計算機技術和圖像處理技術的發(fā)展，計算機視覺技術獲得了極大地發(fā)展。目 標的特征點匹配與立體重建是計算機視覺技術中的基礎與重點。圖像匹配就是在兩幅或多 幅圖像之間尋找同一點或同一部分的過程。圖像匹配在諸如計算機視覺、模式識別、工業(yè)檢 測、軍事、醫(yī)學等領域有極大的應用價值。圖像匹配通常分為基于灰度的圖像匹配和基于特征的圖像匹配兩種方法。特征匹 配作為圖像匹配的一種，與基于灰度的圖像匹配方法不同，它并不直接利用灰度信息，而是 在提取圖像本質(zhì)特征(常用的匹配特征有點、線、特征區(qū)域等)的基礎上，再進行匹配計算。該類方法首先提取圖像的一些顯著的特征，這些特征對噪聲，拍攝條件的變化等 干擾具有一定的魯棒性，這些特征表達了對圖像更深層次的理解。主要的優(yōu)點是很大程度 上壓縮了數(shù)據(jù)量，使得計算量減小，速度加快，同時減小了噪聲的影響，且對灰度值的變化， 物體的形變等具有一定的魯棒性。該方法在圖像內(nèi)容豐富時，可以提取較多的特征，因此具 有一定的優(yōu)勢。2004年，Lowe提出了基于SIFT特征的圖像特征點匹配算法，其全稱是kale Invariant Feature ^Transform，即尺度不變特征變換，簡稱SIFT。SIFT算法是一種提取局 部特征的算法，其原理是在尺度空間尋找極值點，提取位置、尺度、旋轉不變量，生成關鍵點 特征描述符，然后根據(jù)這些不變量特征進行匹配。由于SIFT特征點提取算法檢測出的特征點具有尺度不變的特性，可以實現(xiàn)圖像 間發(fā)生尺度、旋轉變化時的匹配，同時對光照的變化、噪聲和小視角的變化具有一定的魯棒 性。由于其匹配能力強，精確度很高，因此SIFT算法在物體識別、機器人導航、圖像匹配、圖 像拼接、3D建模、手勢識別與視頻跟蹤等方面取得了廣泛的應用?？陀^世界是一個三維空間，而圖像采集裝置所獲取的圖像是二維的。盡管二維圖 像中含有某些形式的三維空間信息，但要真正在計算機中利用這些信息并進行下一步的應 用處理，就必須采用三維重建技術從二維圖像中合理地提取并表達這些三維信息。20世紀80年代，MIT的Marr教授提出了一套較為完整機器視覺理論，該理論強調(diào) 計算機視覺的目的是從圖像中建立物體形狀和位置的描述，它把視覺過程主要規(guī)定為從二 維圖像信息中定量地恢復出圖像所反映場景中的三維物體的形狀和空間位置，即立體重建 或3D重建。計算機視覺的最終目的是實現(xiàn)對三維場景的感知、識別和理解。三維重建技術 能夠從二維圖像出發(fā)構造具有真實感的三維圖形，為進一步的場景變化和組合運算奠定基 石出。傳統(tǒng)的采用激光掃描的重建技術具有系統(tǒng)操作復雜，成本較高，攜帶不便等缺陷。 而基于圖像的三維重建技術所需成本低，靈活性好。在人們不充分掌握場景數(shù)據(jù)，如場景中 物體的大小比例，相對位置等信息的情況下，就可以實現(xiàn)三維重建，且具有設備造價低廉等優(yōu)點。目前大多基于圖像的三維重建方法存在著需要重建的點數(shù)量多，計算量大，重建 精度不高等弱點。

發(fā)明內(nèi)容
本發(fā)明是為了解決現(xiàn)有基于圖像的三維重建方法中存在的需要重建的點數(shù)量多、 計算量大導致重建精度低的問題，提供了一種基于二維圖像序列的目標對象的三維重建方 法。一種基于二維圖像序列的目標對象的三維重建方法，它由以下步驟實現(xiàn)步驟一、采用相機獲取目標對象的二維圖像序列；步驟二、通過SIFT算法對步驟一中獲得的二維圖像序列中的每幅圖像進行計算， 獲得每幅圖像的特征點；對圖像獲得的特征點進行匹配，獲得SIFT匹配點；所述SIFT算法 在實現(xiàn)過程中會生成包含每幅圖像的高斯尺度金字塔；步驟三、根據(jù)步驟二獲得的SIFT匹配點計算步驟一中所述二維圖像序列中每幅 圖像之間的幾何關系，所述幾何關系包括約束每兩幅圖像之間關系的基礎矩陣以及由基礎 矩陣獲得的相機投影矩陣；步驟四、對步驟二中所述高斯尺度金字塔中的每幅圖像進行角點檢測，從而完成 多尺度的角點檢測，獲得每幅圖像的角點特征，并對每幅圖像的角點特征建立特征描述 符；步驟五、以步驟二獲得的SIFT匹配點為中心，在約束距離限制范圍內(nèi)搜索步驟四 中獲得的每幅圖像的角點特征符對應的角點，并對每幅圖像獲得的角點進行匹配，獲得匹 配后的角點；步驟六、根據(jù)步驟三獲得的相機投影矩陣對步驟五獲得的匹配后角點進行三維重 建，實現(xiàn)目標對象的三維重建。步驟一中所述采用相機獲取目標對象的二維圖像序列包括獲取目標對象的方法 為如果目標對象為對稱對象，則至少獲取沿對稱軸一側的目標的二維圖像序列；如果目 標對象為非對稱對象，則獲得待重建部分的二維圖像序列。步驟三中根據(jù)步驟二獲得的SIFT匹配點計算步驟一中所述二維圖像序列中每幅 圖像之間的幾何關系的具體方法是采用歸一化八點算法求取約束每兩幅圖像之間關系的 基礎矩陣；相機經(jīng)過標定后，其歐式意義下的投影矩陣為P和P'，即Ρ = Κ[Ι|0]和P'= K[R|t]；式中，K為相機參數(shù)矩陣，R為相機旋轉矩陣，t為相機平移矩陣。步驟四中所實現(xiàn)的多尺度角點檢測方法為通過對步驟二中計算SIFT特征點過程 中生成的高斯尺度金字塔中的每幅圖像進行角點檢測實現(xiàn)。步驟五中所述以步驟二獲得的SIFT匹配點為中心，在約束距離限制范圍內(nèi)搜索 步驟四中獲得的每幅圖像的角點特征符，獲得對應的角點，具體方法包括以下步驟步驟A、以SIFT匹配點為中心，在約束距離限制范圍內(nèi)搜索步驟四中獲得的每幅 圖像的角點特征符對應的角點；步驟B、判斷步驟A搜索到的角點數(shù)量是否大于預設的最小值且小于預設的最大值，如果判斷結果為否，則執(zhí)行步驟Bi，如果判斷結果為是，則將搜索到的角點做為角點特 征符對應的角點，結束角點搜索；步驟Bi、判斷步驟A搜索到的角點數(shù)量是否大于或等于預設的最大值，如果判斷 結果為是，則執(zhí)行步驟Bll ；如果判斷結果為否，則執(zhí)行步驟B12 ；步驟B11、將約束距離限制范圍縮小，并返回執(zhí)行步驟A ；步驟B12、將約束距離限制范圍擴大，并返回執(zhí)行步驟A。有益效果本發(fā)明提供一種SIFT特征點和角點相結合的匹配方法，該方法具有匹 配精度高、魯棒性能優(yōu)越、提取特征豐富、目標輪廓結構信息描述精確等優(yōu)點，并在此基礎 上利用SIFT特征點計算圖像序列之間的幾何關系，包括約束兩幅圖像之間幾何關系的基 礎矩陣，以及相機投影矩陣。根據(jù)已求解出的幾何參數(shù)，重建過程中選用位于邊角等對目標 結構輪廓具有關鍵作用的位置點進行重建，既解決了重建點多，計算量大的不足，同時又精 確的描述了目標三維結構信息，實現(xiàn)目標對象的高效三維重建。


圖1是本發(fā)明方法的流程示意圖2是本發(fā)明所述高斯尺度金字塔的原理示意圖； 圖3是具體實施方式
一中雙視幾何的原理示意圖4是具體實施方式
一中依據(jù)SIFT匹配點搜索距離約束范圍內(nèi)的角點的原理示意圖，其 中，標記41為角點，標記42為SIFT匹配點； 圖5是本發(fā)明的角點搜索流程示意圖。
具體實施例方式具體實施方式
一、結合圖1說明本具體實施方式
，一種基于二維圖像序列的目標 對象的三維重建方法，它由以下步驟實現(xiàn)步驟一、采用相機獲取目標對象的二維圖像序列；步驟二、通過SIFT算法對步驟一中獲得的二維圖像序列中的每幅圖像進行計算， 獲得每幅圖像的特征點；對圖像獲得的特征點進行匹配，獲得SIFT匹配點；所述SIFT算法 在實現(xiàn)過程中會生成包含每幅圖像的高斯尺度金字塔；步驟三、根據(jù)步驟二獲得的SIFT匹配點計算步驟一中所述二維圖像序列中每幅 圖像之間的幾何關系，所述幾何關系包括約束每兩幅圖像之間關系的基礎矩陣以及由基礎 矩陣獲得的相機投影矩陣；步驟四、對步驟二中所述高斯尺度金字塔中的每幅圖像進行角點檢測，從而完成 多尺度的角點檢測，獲得每幅圖像的角點特征，并對每幅圖像的角點特征建立特征描述 符；步驟五、以步驟二獲得的SIFT匹配點為中心，在約束距離限制范圍內(nèi)搜索步驟四 中獲得的每幅圖像的角點特征符對應的角點，并對每幅圖像獲得的角點進行匹配，獲得匹 配后的角點；步驟六、根據(jù)步驟三獲得的相機投影矩陣對步驟五獲得的匹配后角點進行三維重 建，實現(xiàn)目標對象的三維重建。
步驟一中所述采用相機獲取目標對象的二維圖像序列包括獲取目標對象的方法 為如果目標對象為對稱對象，則至少獲取沿對稱軸一側的目標的二維圖像序列；如果目 標對象為非對稱對象，則獲得待重建部分的二維圖像序列。步驟三中根據(jù)步驟二獲得的SIFT匹配點計算步驟一中所述二維圖像序列中每幅 圖像之間的幾何關系的具體方法是采用歸一化八點算法求取約束每兩幅圖像之間關系的 基礎矩陣；相機經(jīng)過標定后，其歐式意義下的投影矩陣為P和P'，即Ρ = Κ[Ι|0]和P'= K[R|t]；式中，K為相機參數(shù)矩陣，R為相機旋轉矩陣，t為相機平移矩陣。步驟四中所實現(xiàn)的多尺度角點檢測方法為通過對步驟二中計算SIFT特征點過程 中生成的高斯尺度金字塔中的每幅圖像進行角點檢測實現(xiàn)。步驟五中所述以步驟二獲得的SIFT匹配點為中心，在約束距離限制范圍內(nèi)搜索 步驟四中獲得的每幅圖像的角點特征符，獲得對應的角點，具體方法包括以下步驟步驟A、以SIFT匹配點為中心，在約束距離限制范圍內(nèi)搜索步驟四中獲得的每幅 圖像的角點特征符對應的角點；步驟B、判斷步驟A搜索到的角點數(shù)量是否大于預設的最小值且小于預設的最大 值，如果判斷結果為否，則執(zhí)行步驟Bi，如果判斷結果為是，則將搜索到的角點做為角點特 征符對應的角點，結束角點搜索；步驟Bi、判斷步驟A搜索到的角點數(shù)量是否大于或等于預設的最大值，如果判斷 結果為是，則執(zhí)行步驟Bll ；如果判斷結果為否，則執(zhí)行步驟B12 ；步驟B11、將約束距離限制范圍縮小，并返回執(zhí)行步驟A ；步驟B12、將約束距離限制范圍擴大，并返回執(zhí)行步驟A。本發(fā)明的方法中的主要三部分為一、步驟二中獲得SIFT匹配點和匹配角點的原理和過程為匹配點的獲得分為兩部分一部分是匹配的SIFT特征點，另一部分是匹配的角
點ο在匹配SIFT特征點的過程中，首先獲取圖像序列并提取每幅圖像的SIFT特征點， 進行匹配獲得SIFT匹配點。在計算SIFT特征點的過程中，對每幅圖像建立高斯尺度金字塔，如圖2所示，在此 基礎上增加角點檢測步驟，便實現(xiàn)多尺度的角點檢測，獲得多尺度下的角點信息。因而既可 以獲得較多數(shù)量的角點，同時并不顯著的增加計算量。以SIFT匹配點為中心，在距離約束范圍內(nèi)搜索角點，如圖4所示，約束范圍內(nèi)的角 點作為進一步匹配的候選點。在建立角點特征向量時，可以采用多種方法，比如直方圖統(tǒng)計，或者類似SIFT的 特征向量。在后繼的匹配過程中，由于將通常角點匹配方法中待匹配點的搜索范圍從全局 縮小到了局部，因此候選點的數(shù)量較小，可以直接采用逐一計算相似度的方法，以相似度最 大的作為匹配點。二、步驟三種所述的基礎矩陣與相機投影矩陣的計算原理和過程為1、基礎矩陣的計算原理和過程為如圖3所示，已知X點是三維空間中的點，分別投影到兩個像平面上，即像平面X和像平面X'，由雙視幾何的原理可知同一相機拍攝的兩幅圖像之間存在約束關系，即 x' TFx = 0，其中F為基礎矩陣。如果已知的匹配點數(shù)量足夠多(八對匹配點)則可以線 性求解出基礎矩陣。本發(fā)明中采用八點歸一化算法來計算基礎矩陣，即在計算之前首先將 上一步得到的SIFT匹配點進行歸一化，以減小輸入數(shù)據(jù)的波動(即匹配點坐標的變化)對 求解F的影響。歸一化的具體步驟1)、左右視圖中的匹配點分別被平移，使得左右視圖中的匹配點的坐標的中心都 在原點；2)、左右視圖中的匹配點分別進行各向同性的尺度變化，使得左右視圖中的匹配 點到各自原點的距離的平均等于λ/ ；由歸一化后的數(shù)據(jù)求出的F還得進行反歸一化，最終求得的F才是實際視圖中的
基本矩陣。線性求解過程χ' tFx = O(1)雙視幾何中存在以上等式關系。χ和χ'都用齊次坐標形式表示，即χ = (x,y,l),x' = (x'，y'，1)?？傻贸鋈?下等式xx' fn+xy' f21+xf31+yx' f12+yy' f22+yf32+x' f13+y'= 0 (2)由所有的對應點對可以組成一個列數(shù)為9的系數(shù)矩陣，有
權利要求
1.一種基于二維圖像序列的目標對象的三維重建方法，其特征是它由以下步驟實現(xiàn)步驟一、采用相機獲取目標對象的二維圖像序列；步驟二、通過SIFT算法對步驟一中獲得的二維圖像序列中的每幅圖像進行計算，獲得 每幅圖像的特征點；對圖像獲得的特征點進行匹配，獲得SIFT匹配點；所述SIFT算法在實 現(xiàn)過程中會生成包含每幅圖像的高斯尺度金字塔；步驟三、根據(jù)步驟二獲得的SIFT匹配點計算步驟一中所述二維圖像序列中每幅圖像 之間的幾何關系，所述幾何關系包括約束每兩幅圖像之間關系的基礎矩陣以及由該基礎矩 陣獲得的相機投影矩陣；步驟四、對步驟二中所述高斯尺度金字塔中的每幅圖像進行角點檢測，從而完成多尺 度的角點檢測，獲得每幅圖像的角點特征，并對每幅圖像的角點特征建立特征描述符；步驟五、以步驟二獲得的SIFT匹配點為中心，在約束距離限制范圍內(nèi)搜索步驟四中獲 得的每幅圖像的角點特征符對應的角點，并對每幅圖像獲得的角點進行匹配，獲得匹配后 的角點；步驟六、根據(jù)步驟三獲得的相機投影矩陣對步驟五獲得的匹配后角點進行三維重建， 實現(xiàn)目標對象的三維重建。
2.根據(jù)權利要求1所述的一種基于二維圖像序列的目標對象的三維重建方法，其特征 在于步驟一中所述的采用相機獲取目標對象的二維圖像序列的方法為如果目標對象為對 稱對象，則至少獲取沿對稱軸一側的目標的二維圖像序列；如果目標對象為非對稱對象，則 獲得待重建部分的二維圖像序列。
3.根據(jù)權利要求1所述的一種基于二維圖像序列的目標對象的三維重建方法，其特征 在于步驟三中，根據(jù)步驟二獲得的SIFT匹配點計算步驟一中所述二維圖像序列中每幅圖 像之間的幾何關系的具體方法是采用歸一化八點算法求取約束每兩幅圖像之間關系的基 礎矩陣；相機經(jīng)過標定后，其歐式意義下的投影矩陣為P和P'，即Ρ = Κ[Ι|0]和P'= K[R|t]；式中，K為相機參數(shù)矩陣，R為相機旋轉矩陣，t為相機平移矩陣。
4.根據(jù)權利要求1所述的一種基于二維圖像序列的目標對象的三維重建方法，其特征 在于步驟四中，所述多尺度角點檢測方法為通過對步驟二中計算SIFT特征點過程中生成 的高斯尺度金字塔中的每幅圖像進行角點檢測。
5.根據(jù)權利要求1所述的一種基于二維圖像序列的目標對象的三維重建方法，其特征 在于步驟五中，所述以步驟二獲得的SIFT匹配點為中心，在約束距離限制范圍內(nèi)搜索步驟 四中獲得的每幅圖像的角點特征符對應的角點，具體方法包括以下步驟步驟A、以SIFT匹配點為中心，在約束距離限制范圍內(nèi)搜索步驟四中獲得的每幅圖像 的角點特征符對應的角點；步驟B、判斷步驟A搜索到的角點數(shù)量是否大于預設的最小值且小于預設的最大值，如 果判斷結果為否，則執(zhí)行步驟Bi，如果判斷結果為是，則將搜索到的角點做為角點特征符對 應的角點，結束角點搜索；步驟Bi、判斷步驟A搜索到的角點數(shù)量是否大于或等于預設的最大值，如果判斷結果 為是，則執(zhí)行步驟Bll ；如果判斷結果為否，則執(zhí)行步驟B12 ；步驟B11、將約束距離限制范圍縮小，并返回執(zhí)行步驟A ； 步驟B12、將約束距離限制范圍擴大，并返回執(zhí)行步驟A。
全文摘要
一種基于二維圖像序列的目標對象的三維重建方法，涉及一種目標對象的三維重建方法。它解決了現(xiàn)有基于圖像的三維重建方法中存在的需要重建的點數(shù)量多、計算量大導致重建精度低的問題。其方法采用相機獲取目標對象的二維圖像序列，通過SIFT算法對每幅圖像進行計算并匹配，并計算圖像之間的幾何關系；對SIFT算法實現(xiàn)過程生成的高斯尺度金字塔中的每幅圖像進行角點檢測，獲得圖像的多尺度角點特征；以獲得的SIFT匹配點為中心，在約束距離限制范圍內(nèi)搜索每幅圖像對應的角點，并對每幅圖像獲得的角點進行匹配，獲得匹配后的角點；根據(jù)相機投影矩陣對匹配后角點進行三維重建，實現(xiàn)目標對象的三維重建。本發(fā)明適用于目標對象的三維重建。
文檔編號G06T7/00GK102074015SQ201110044738
公開日2011年5月25日 申請日期2011年2月24日 優(yōu)先權日2011年2月24日
發(fā)明者吳立剛, 李旭濤, 楊成胡, 趙鴻燕 申請人:哈爾濱工業(yè)大學