基于多視角自適應(yīng)特征配準(zhǔn)的三維重建方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)一種基于多視角自適應(yīng)特征配準(zhǔn)的三維重建方法，包含由包含以下步驟：A.選中每幅二維圖像的種子點(diǎn)；B.采用區(qū)域生長(zhǎng)法對(duì)二維圖像進(jìn)行圖像分割，得到每幅圖像每個(gè)圖形的邊界點(diǎn)集合；C.結(jié)合分割圖像的邊界點(diǎn)集合和極線幾何約束理論，自適應(yīng)的對(duì)角度鄰近的兩幅圖像進(jìn)行立體配準(zhǔn)；D.根據(jù)邊界點(diǎn)的視差圖像，進(jìn)行三維重建。本發(fā)明充分利用了圖像分割的區(qū)域生長(zhǎng)方法、極線幾何約束理論，有效解決了特征點(diǎn)選取、立體配準(zhǔn)的需求，適用于三維重建系統(tǒng)的實(shí)施。
【專(zhuān)利說(shuō)明】基于多視角自適應(yīng)特征配準(zhǔn)的三維重建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種計(jì)算機(jī)圖像處理的方法，具體是通過(guò)對(duì)像素的處理以獲取三維圖像數(shù)據(jù)的方法。
【背景技術(shù)】
[0002]由多角度的視察圖像進(jìn)行三維重建，關(guān)鍵是確定場(chǎng)景中同一物點(diǎn)在不同圖像中的對(duì)應(yīng)關(guān)系，解決該問(wèn)題的方法之一是選擇合適的圖像特征并進(jìn)行匹配。特征是像素或像素集合或它們的抽象表達(dá)，常用的匹配特征主要有點(diǎn)特征、線狀特征和區(qū)域特征等。一般來(lái)講，大尺度特征含有較豐富的信息，本身數(shù)據(jù)較少，易于得到快速匹配，但對(duì)它們的提取和描述相對(duì)復(fù)雜，定位精度也差；而小尺度特征本身的定位精高，表達(dá)描述簡(jiǎn)單，但數(shù)目眾多，所含信息量卻較少，因而在匹配時(shí)需要采用較強(qiáng)的約束準(zhǔn)則和匹配策略。因此合理的選擇匹配特征對(duì)立體匹配工作有十分重要的意義，應(yīng)綜合考慮各種因素，根據(jù)不同的景物特點(diǎn)和應(yīng)用要求選擇。一般的，對(duì)于包含有大量非規(guī)則形狀和高度突變的場(chǎng)景，比較適合提取點(diǎn)狀特征，因?yàn)樘崛‰U(xiǎn)段、區(qū)域等特征既困難又會(huì)引入誤差；對(duì)于具有規(guī)則結(jié)構(gòu)的場(chǎng)景，若線段和區(qū)域特征的提取和描述比較容易且誤差較少，應(yīng)提取線段特征以實(shí)現(xiàn)快速匹配。

【發(fā)明內(nèi)容】

[0003]本發(fā)明主要是針對(duì)現(xiàn)有對(duì)ニ維圖像進(jìn)行三維重建的方法中存在運(yùn)算量大、魯棒性不強(qiáng)等缺陷，提出一種基于多視角圖像區(qū)域生長(zhǎng)的自適應(yīng)特征配準(zhǔn)的三維重建方法，它是一個(gè)將成組的像素或區(qū)域發(fā)展成更大區(qū)域的過(guò)程，這些點(diǎn)的區(qū)域增長(zhǎng)是通過(guò)將與每個(gè)種子點(diǎn)具有相似屬性如強(qiáng)度、灰度、紋理顏色等的相鄰像素合并到給定區(qū)域，因此它是ー個(gè)不斷迭代的過(guò)程，其通常能將具有相同特征的連通區(qū)域分割出來(lái)，提供很好的邊界信息和分割結(jié)果，并且簡(jiǎn)單易實(shí)現(xiàn)。本方法主要通過(guò)在多視角的ニ維圖像基礎(chǔ)上，采用圖像區(qū)域生長(zhǎng)的方式得到特征點(diǎn)，然后進(jìn)行自適應(yīng)特征配準(zhǔn)，最后得到視差圖像，進(jìn)行三維重建。
[0004]本發(fā)明所采用的技術(shù)方案為:
包括如下步驟:
A.選中每幅ニ維圖像的種子點(diǎn)；
B.采用區(qū)域生長(zhǎng)法對(duì)ニ維圖像進(jìn)行圖像分割，得到每幅圖像每個(gè)圖形的邊界點(diǎn)集合；
C.結(jié)合分割圖像的邊界點(diǎn)集合和極線幾何約束理論，自適應(yīng)的對(duì)角度鄰近的兩幅圖像進(jìn)行立體配準(zhǔn)；
D.根據(jù)邊界點(diǎn)的視差圖像，進(jìn)行三維重建。
[0005]所述選中每幅ニ維圖像種子點(diǎn)步驟，由用戶(hù)采用人工的方式選定各個(gè)區(qū)域的種子點(diǎn)，以備后續(xù)的圖像分割使用。這樣的方法避免了選擇輪廓或者選擇特征點(diǎn)的過(guò)多的人為方式。區(qū)域生長(zhǎng)法的人工選擇種子點(diǎn)，可以在一大片相同屬性的像素中選擇ー個(gè)就可以，大大降低了人為參與的干擾度。
[0006]所述的采用區(qū)域生長(zhǎng)法對(duì)ニ維圖像進(jìn)行圖像分割，得到每幅圖像每個(gè)圖形的邊界點(diǎn)集合的步驟，是先將ニ維彩色圖像轉(zhuǎn)換到HIS空間上，在HIS空間中，亮度分量I類(lèi)似與彩色圖像灰度化后的值，對(duì)人眼的感知最接近于原先的彩色圖像，然后通過(guò)I分量，計(jì)算種子點(diǎn)相鄰八個(gè)像素的差值；如果都小于閾值T，說(shuō)明該點(diǎn)仍然是區(qū)域內(nèi)的點(diǎn)，反之，說(shuō)明該點(diǎn)已經(jīng)處于某個(gè)方向上的邊界點(diǎn)。對(duì)小于閾值T的相鄰點(diǎn)，將其壓入堆棧，作為新的種子點(diǎn)；通過(guò)上述方法的反復(fù)迭代，最終得到區(qū)域的邊界點(diǎn)集合。
[0007]所述結(jié)合分割圖像的邊界點(diǎn)集合和極線幾何約束理論，自適應(yīng)的對(duì)角度鄰近的兩幅圖像進(jìn)行立體配準(zhǔn)的步驟，根據(jù)前ー步驟得到的邊界點(diǎn)集合，運(yùn)用極線幾何約束理論，對(duì)角度相鄰的兩幅圖像進(jìn)行自適應(yīng)立體配準(zhǔn)。
[0008]所述極線幾何約束理論，即當(dāng)給定一點(diǎn)P，它的匹配點(diǎn)一定出現(xiàn)在它所對(duì)應(yīng)的極線上，由此，可以將我們的搜索空間壓縮到ー維的直線，即極線上。求得極線后，對(duì)圖像上沿極線方向上的像素點(diǎn)匹配，能很方便的找出該點(diǎn)在對(duì)應(yīng)圖像上的匹配點(diǎn)。
[0009]所述自適應(yīng)立體配準(zhǔn)，即由極線幾何約束理論得到的極線，必然與區(qū)域產(chǎn)生交點(diǎn)，結(jié)合圖像的拍攝角度，系統(tǒng)可以的自適應(yīng)的求出對(duì)應(yīng)的交點(diǎn)即為需要配準(zhǔn)的特征點(diǎn)。
[0010]所述根據(jù)邊界點(diǎn)的視差圖像，進(jìn)行三維重建步驟，當(dāng)通過(guò)立體匹配得到邊界點(diǎn)視差圖像后，就可以確定深度圖像并恢復(fù)邊界點(diǎn)場(chǎng)景3D信息了，因?yàn)榍笆鲞\(yùn)用區(qū)域生長(zhǎng)的分割方法，區(qū)域內(nèi)的圖像I分量比較類(lèi)似，采用種子點(diǎn)的像素色彩對(duì)區(qū)域內(nèi)的三維表面進(jìn)行插值重建。
[0011]本發(fā)明采用以上技術(shù)方案的有益效果是:
(1)通過(guò)區(qū)域生長(zhǎng)法得到區(qū)域的邊界點(diǎn)集合，從而作為圖像配準(zhǔn)的特征點(diǎn)，極大的避免了人為選擇特征的隨意性和誤差；
(2)結(jié)合區(qū)域邊界點(diǎn)集合作為特征點(diǎn)、極線幾何約束理論以及相鄰圖像的角度關(guān)系，快速、高效的得到配準(zhǔn)點(diǎn)。
[0012]本發(fā)明充分利用了圖像分割的區(qū)域生長(zhǎng)方法、極線幾何約束理論，有效解決了特征點(diǎn)選取、立體配準(zhǔn)的需求，適用于三維重建系統(tǒng)的實(shí)施。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0013]圖1為本實(shí)施例的框架示意圖；
圖2為本實(shí)施例采用的圖像分割法涉及的函數(shù)方法示意圖；
圖3為本實(shí)施例采用的區(qū)域生長(zhǎng)圖像分割法的示意圖；
圖4為本實(shí)施例運(yùn)用極線幾何約束理論的立體配準(zhǔn)示意圖。
【具體實(shí)施方式】
[0014]本發(fā)明提出的基于多視角自適應(yīng)特征配準(zhǔn)的三維重建方法，在本部門(mén)結(jié)合具體實(shí)施例及附圖詳細(xì)說(shuō)明。
[0015]如圖1所示，本發(fā)明提出的方法，包括完整的五個(gè)步驟:
第一歩，人工選定圖像區(qū)域的種子點(diǎn)。通過(guò)人工選定的種子點(diǎn)的方式，既降低了自動(dòng)計(jì)算的復(fù)雜度，又為后續(xù)的特征點(diǎn)選擇提供了很高的準(zhǔn)確率；
第二步，對(duì)ニ維圖像進(jìn)行圖像分割。采用區(qū)域生長(zhǎng)法，基于選定的種子，逐步擴(kuò)展，得到圖像區(qū)域； 第三歩，獲取圖像的區(qū)域邊界，作為圖像配準(zhǔn)的特征點(diǎn)；
第四步，利用極線幾何約束理論進(jìn)行立體配準(zhǔn)，由于特征點(diǎn)都是在邊界上的，那么通過(guò)利用圖像分割區(qū)域的邊界和極線的交點(diǎn)，很容易得出配準(zhǔn)點(diǎn)；
第五步，將得到的視差圖像進(jìn)行三維重建。
[0016]人工選定圖像區(qū)域的種子點(diǎn)步驟，需要對(duì)所有的ニ維圖像進(jìn)行種子點(diǎn)選擇，當(dāng)然，為了簡(jiǎn)單、準(zhǔn)確、高效，我們采用從某ー視點(diǎn)開(kāi)始的ニ維圖像開(kāi)始，基于同一個(gè)旋轉(zhuǎn)方向，依次對(duì)對(duì)應(yīng)的ニ維圖像進(jìn)行種子點(diǎn)的選擇。
[0017]對(duì)ニ維圖像進(jìn)行圖像分割步驟，主要是采用基于區(qū)域生長(zhǎng)的方法來(lái)進(jìn)行圖像分害I]，如圖2所示，基于區(qū)域生長(zhǎng)的方法包括以下幾個(gè)部分:
(1)主函數(shù)main，該函數(shù)是整個(gè)方法的總控函數(shù)，完全種子點(diǎn)數(shù)據(jù)的輸入，調(diào)用其它部分，采取多種判斷、循環(huán)操作，最終完成圖像區(qū)域的分割；
(2)設(shè)置堆棧stackl，用于存放擴(kuò)充選入待判斷的像素點(diǎn)，同時(shí)進(jìn)行相應(yīng)的操作；
(3)設(shè)置堆棧stack2，用于存放滿(mǎn)足生成規(guī)則的像素點(diǎn)，并待進(jìn)一步處理；
(4)排序函數(shù)arrange，用于對(duì)stackl中的數(shù)據(jù)進(jìn)行排序。
[0018]如圖3所示，ニ維圖像具體分割方法由以下幾個(gè)步驟組成:
(1)輸入選定的種子點(diǎn)和區(qū)域生長(zhǎng)準(zhǔn)則T，生成ニ維矩陣Cut，對(duì)應(yīng)著二位圖像的每個(gè)象素，初始值為255 ；
(2)基于種子點(diǎn)坐標(biāo)，設(shè)定Cut矩陣中對(duì)應(yīng)的標(biāo)志值為0;
(3)將種子點(diǎn)周?chē)?個(gè)點(diǎn)壓入堆棧stackl，并標(biāo)記對(duì)應(yīng)的Cut矩陣中的標(biāo)志為125，對(duì)stackl進(jìn)行排序；
(4)根據(jù)區(qū)域生長(zhǎng)準(zhǔn)則T，針對(duì)堆棧stackl，逐個(gè)判斷是否符合該區(qū)域生長(zhǎng)準(zhǔn)則；
(5)將堆棧stackl中滿(mǎn)足區(qū)域生長(zhǎng)準(zhǔn)則的點(diǎn)壓入堆棧stack2，并刪除stackl中對(duì)應(yīng)的點(diǎn)，將指針sp2指向新壓入的第一個(gè)點(diǎn)；
(6)依次取出新壓入堆棧stack2中的點(diǎn)，將Cut矩陣中對(duì)應(yīng)的標(biāo)志值設(shè)為0，搜索與之相鄰的8個(gè)點(diǎn)；
(7)檢查與之相鄰的這8個(gè)點(diǎn)對(duì)應(yīng)Cut矩陣中的標(biāo)志值是否為255，如果為255說(shuō)明該點(diǎn)還沒(méi)有處理過(guò)；
(8)將檢查出來(lái)的沒(méi)有處理過(guò)的點(diǎn)加入stackl，并標(biāo)記對(duì)應(yīng)Cut矩陣中的標(biāo)志值為125。當(dāng)(5)步提取出來(lái)的點(diǎn)都處理完以后，令sp2=0。
[0019]獲取每個(gè)圖像的邊界步驟，根據(jù)上ー步驟分割得到的圖像區(qū)域，得到該區(qū)域ニ維座標(biāo)的最大最小值(XMIN，YMIN, XMAX, YMAX)。在(XMIN，YMIN)和(XMAX，YMAX)所規(guī)定的矩形內(nèi)，逐行進(jìn)行掃描，每個(gè)點(diǎn)與堆棧stack2中的點(diǎn)進(jìn)行比較，如果在X軸上是本行內(nèi)第一個(gè)或者最后ー個(gè)在堆棧stack2中存在的點(diǎn)，該點(diǎn)即為邊界點(diǎn)，壓入堆棧stack3。
[0020]應(yīng)用極線幾何約束理論進(jìn)行立體配準(zhǔn)步驟(如圖4)，具體分為以下幾個(gè)實(shí)施步驟:
(1)選定一幅ニ維圖作為起點(diǎn)匹配圖，并將其分割圖像區(qū)域的邊界點(diǎn)作為特征點(diǎn)，相鄰的一幅圖作為待配準(zhǔn)的圖；
(2)求出特征點(diǎn)在待配準(zhǔn)圖上的對(duì)應(yīng)的極線；
(3)將(2)中求出的極線與待配準(zhǔn)圖上的各個(gè)區(qū)域邊界進(jìn)行比較，得到一系列的交點(diǎn)； (4)將(3)中得到的交點(diǎn)像素色彩與特征點(diǎn)的色彩進(jìn)行比較，由于選擇種子點(diǎn)的時(shí)候，已經(jīng)確定不同區(qū)域的色彩有明顯不同，因此色彩相近的點(diǎn)即為配準(zhǔn)點(diǎn)。如果在同一個(gè)配準(zhǔn)區(qū)域上有多個(gè)交點(diǎn)，根據(jù)兩幅圖像旋轉(zhuǎn)的角度，得出對(duì)應(yīng)的點(diǎn)為配準(zhǔn)點(diǎn)；
(5)重復(fù)步驟(2)，即可以求出兩幅相鄰的ニ維圖像所有的配準(zhǔn)點(diǎn)；
(6 )按照相同的角度，對(duì)相鄰的圖像依次進(jìn)行配準(zhǔn)。
[0021]進(jìn)行三維重建步驟，ー舉以上得到的視差圖像，對(duì)所有的特征點(diǎn)進(jìn)行三維重建。因?yàn)槲覀兦笆鲞\(yùn)用區(qū)域生長(zhǎng)的分割方法，區(qū)域內(nèi)的圖像I分量比較類(lèi)似，采用種子點(diǎn)的像素色彩對(duì)區(qū)域內(nèi)的三維表面進(jìn)行插值重建。最終完成這個(gè)模型從多角度ニ維圖像向三維的重建工作。
[0022]上述的【具體實(shí)施方式】只是示例性的，是為了更好的使本領(lǐng)域技術(shù)人員能夠理解本專(zhuān)利，不能理解為是對(duì)本專(zhuān)利包括范圍的限制；只要是根據(jù)本專(zhuān)利公開(kāi)的技術(shù)方案所做出的技術(shù)內(nèi)容實(shí)質(zhì)相同或等同的任何的變更或修飾，均落入本專(zhuān)利包括的范圍。
【權(quán)利要求】
1.一種基于多視角自適應(yīng)特征配準(zhǔn)的三維重建方法，其特征在于:包含以下步驟: 選中每幅ニ維圖像的種子點(diǎn)； 采用區(qū)域生長(zhǎng)法對(duì)ニ維圖像進(jìn)行圖像分割，得到每幅圖像每個(gè)圖形的邊界點(diǎn)集合； 結(jié)合分割圖像的邊界點(diǎn)集合和極線幾何約束理論，自適應(yīng)的對(duì)角度鄰近的兩幅圖像進(jìn)行立體配準(zhǔn)； 根據(jù)邊界點(diǎn)的視差圖像，進(jìn)行三維重建。
2.如權(quán)利要求1所述的基于多視角自適應(yīng)特征配準(zhǔn)的三維重建方法，其特征在于:所述步驟A，由用戶(hù)采用人工的方式選定各個(gè)區(qū)域的種子點(diǎn)，以備后續(xù)的圖像分割使用。
3.如權(quán)利要求1所述的基于多視角自適應(yīng)特征配準(zhǔn)的三維重建方法，其特征在于:所述的步驟B，是先將ニ維彩色圖像轉(zhuǎn)換到HIS空間上，在HIS空間中，亮度分量I類(lèi)似與彩色圖像灰度化后的值，對(duì)人眼的感知最接近于原先的彩色圖像，然后通過(guò)I分量，計(jì)算種子點(diǎn)相鄰八個(gè)像素的差值；如果都小于閾值T，說(shuō)明該點(diǎn)仍然是區(qū)域內(nèi)的點(diǎn)，反之，說(shuō)明該點(diǎn)已經(jīng)處于某個(gè)方向上的邊界點(diǎn)；對(duì)小于閾值T的相鄰點(diǎn)，將其壓入堆棧，作為新的種子點(diǎn)；通過(guò)上述方法的反復(fù)迭代，最終得到區(qū)域的邊界點(diǎn)集合。
4.如權(quán)利要求1所述的基于多視角自適應(yīng)特征配準(zhǔn)的三維重建方法，其特征在于:所述的步驟C，根據(jù)前ー步驟得到的邊界點(diǎn)集合，運(yùn)用極線幾何約束理論，對(duì)角度相鄰的兩幅圖像進(jìn)行自適應(yīng)立體配準(zhǔn)。
5.如權(quán)利要求4所述的基于多視角自適應(yīng)特征配準(zhǔn)的三維重建方法，其特征在于:所述極線幾何約束理論，即當(dāng)給定一點(diǎn)P，它的匹配點(diǎn)一定出現(xiàn)在它所對(duì)應(yīng)的極線上，由此，可以將我們的搜索空間壓縮到ー維的直線，即極線上；求得極線后，對(duì)圖像上沿極線方向上的像素點(diǎn)匹配，能很方便的找出該點(diǎn)在對(duì)應(yīng)圖像上的匹配點(diǎn)。
6.如權(quán)利要求4所述的基于多視角自適應(yīng)特征配準(zhǔn)的三維重建方法，其特征在于:所述自適應(yīng)立體配準(zhǔn)，即由極線幾何約束理論得到的極線，必然與區(qū)域產(chǎn)生交點(diǎn)，結(jié)合圖像的拍攝角度，系統(tǒng)可以的自適應(yīng)的求出對(duì)應(yīng)的交點(diǎn)即為我們需要配準(zhǔn)的特征點(diǎn)。
7.如權(quán)利要求1所述的基于多視角自適應(yīng)特征配準(zhǔn)的三維重建方法，其特征在于:所述的步驟D，通過(guò)立體匹配得到邊界點(diǎn)視差圖像，確定深度圖像并恢復(fù)邊界點(diǎn)場(chǎng)景3D信息。
【文檔編號(hào)】G06T17/00GK103514625SQ201210204510
【公開(kāi)日】2014年1月15日 申請(qǐng)日期:2012年6月20日 優(yōu)先權(quán)日:2012年6月20日
【發(fā)明者】謝劍鋒, 周智明 申請(qǐng)人:上海路同信息科技有限公司