一種基于全局線性方法的三維模型重建方法
【專利摘要】本發(fā)明公開(kāi)了一種基于全局線性方法的三維模型重建方法。本方法為：首先，通過(guò)兩兩相機(jī)之間的相對(duì)旋轉(zhuǎn)關(guān)系求解得到所有相機(jī)的朝向矩陣；其次，通過(guò)非線性優(yōu)化的技術(shù)得到穩(wěn)定的相機(jī)三元組重建，求解三元組中的線性關(guān)系；再次，根據(jù)三元組提供的方程組成一個(gè)線性方程組，通過(guò)數(shù)值方法即可求解得到準(zhǔn)確的相機(jī)姿態(tài)，最后通過(guò)集束調(diào)整的技術(shù)對(duì)重建結(jié)果進(jìn)行最后的優(yōu)化。本文提出的方法經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證是快速、魯棒和準(zhǔn)確的。
【專利說(shuō)明】一種基于全局線性方法的三維模型重建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于全局線性方法的三維模型重建方法，屬于計(jì)算機(jī)軟件【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]近年來(lái)有很多人在研究利用大量無(wú)序的網(wǎng)上照片集合來(lái)重建景物的三維模型，而運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(sfm)是這些重建流程中的關(guān)鍵步驟。三維重建的流程包括:1.對(duì)所有的圖片做圖像特征提取(一般采用SIFT特征)；2.對(duì)特征點(diǎn)進(jìn)行匹配(找到相機(jī)間看到的共同的點(diǎn))；3.初始化相機(jī)群的姿態(tài)和特征點(diǎn)的三維坐標(biāo)；4.調(diào)整相機(jī)姿態(tài)和場(chǎng)景結(jié)構(gòu)(bundleadjustment)。其中第3步,傳統(tǒng)的方法[Snavely06], [Li08], [Agarwal09]在初步重建相機(jī)姿態(tài)和特征點(diǎn)三維坐標(biāo)都采用增量捆綁調(diào)整(incremental bundle adjustment),即初始選擇聯(lián)系最密切的兩張圖片，還原兩個(gè)相機(jī)的姿態(tài)和特征點(diǎn)位置，然后調(diào)整去除誤差；再添加一張圖片，還原這個(gè)相機(jī)的姿態(tài)和特征點(diǎn)的位置，這樣不斷的重復(fù)直到所有的圖片對(duì)應(yīng)的相機(jī)姿態(tài)以及特征點(diǎn)的三維坐標(biāo)被還原出來(lái)。這種方法對(duì)于很多場(chǎng)景的重建效果還不錯(cuò)。
[0003]David采用的方法[David Crandal 12011]則把運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(sfm)看成是對(duì)馬爾科夫模型求能量最小化，一次性求解所有相機(jī)的姿態(tài)以及特征點(diǎn)的三維坐標(biāo)。David聲稱他的方法比目前任何一種增量集束調(diào)整(IBA)方法都要快，并且對(duì)于重建中的錯(cuò)誤更有魯棒性。David的方法首先利用所有的圖片計(jì)算出初始的所有相機(jī)姿態(tài)，然后用集束調(diào)整做一次最后的場(chǎng)景結(jié)構(gòu)修正。但是，David的算法對(duì)于大規(guī)模的圖像數(shù)據(jù)的重建效果較好，因?yàn)檫@種情況下人們對(duì)于相機(jī)姿態(tài)的準(zhǔn)確性要求不高，只關(guān)注整體效果。但是，David的算法對(duì)于求解精確的相機(jī)姿態(tài)有致命的缺陷，即算法假設(shè)所有的相機(jī)都在同一平面上，這導(dǎo)致相機(jī)的姿態(tài)不可能完全精確。
[0004]近幾年一些人提出了新的全局求解運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的算法，[Sinha]設(shè)計(jì)了一個(gè)魯棒的多流程的線性算法，利用兩個(gè)相機(jī)對(duì)重建之間在已經(jīng)相機(jī)朝向的情況的線性關(guān)系，全局的求解相機(jī)姿態(tài)和特征點(diǎn)坐標(biāo)。[Jiang]同樣設(shè)計(jì)一種新穎魯棒的線性算法，在已知相機(jī)朝向的情況下，算法最小化相機(jī)中心之間距離的幾何誤差，全局線性求解出一個(gè)好的初始重建。但是上述兩種方法都對(duì)兩兩相機(jī)重建的對(duì)極幾何的準(zhǔn)確性依賴極高，如果不能準(zhǔn)確的篩除錯(cuò)誤的對(duì)角幾何，算法將會(huì)崩潰。
[0005]傳統(tǒng)方法:很多著名的Sfm系統(tǒng)都是先兩兩相機(jī)計(jì)算相對(duì)姿態(tài)，采用按次序或者分層的方法一個(gè)個(gè)地把相機(jī)添加到整體的重建中。他們的共同缺陷就是，1.每次添加相機(jī)需要做一次集束調(diào)整，這嚴(yán)重影響算法的運(yùn)算速度2.如果增量集束調(diào)整的初始種子沒(méi)有選擇好，那么重建的效果會(huì)受到影響；3.對(duì)于大廣角的場(chǎng)景，增量添加相機(jī)不可避免帶來(lái)累積誤差，導(dǎo)致后添加的相機(jī)姿態(tài)變形，特征點(diǎn)位置不精確。
[0006]全局的方法:一些全局的算法是分兩步來(lái)計(jì)算相機(jī)在世界坐標(biāo)系中的姿態(tài)，他們先計(jì)算相機(jī)的朝向，然后再計(jì)算相機(jī)光心的位置。[Crandal 12011]和[Jiang2013][sinha2010]都屬于這種方法，[Crandal 12011]利用相機(jī)自帶的GPS信息，建立MRF模型，把相機(jī)的朝向和光心位置看成是隱變量，采用置信傳播算法求解能量最小化可以重建城市級(jí)別的SFM。[sinha2010]和[Jiang2013]都是先用[Martinec2007]線性地求解得到所有相機(jī)在世界坐標(biāo)系中的朝向，該方法被驗(yàn)證證明結(jié)果相當(dāng)穩(wěn)定和準(zhǔn)確。但是相機(jī)光心在世界坐標(biāo)系中的位置并不容易求解，因?yàn)閮蓛上鄼C(jī)重建[Nister05]之間的尺度差異未知。[sinha2010]利用兩個(gè)相機(jī)重建(I，j)，(j, k)之間存在線性關(guān)系(包括尺度和偏移)，先求解所有合法的兩兩重建間的線性關(guān)系，然后利用線性方程組全局地求解所有兩兩重建相對(duì)全局世界坐標(biāo)的尺度和偏移，從而兩兩重建中的相機(jī)光心的位置也可以輕松得到。這種方法避免了多次的集束調(diào)整，算法時(shí)間上有了很大的提高，但是根據(jù)[Arie-NaChimsOn2012]，這個(gè)方法產(chǎn)生的結(jié)果準(zhǔn)確性無(wú)法和傳統(tǒng)的方法比較。[Jiang2013]考察每個(gè)共享特征點(diǎn)的三視圖，利用線性方程優(yōu)化三個(gè)相機(jī)間的幾何距離關(guān)系，同樣可以聯(lián)立所有的三視圖求解得到所有相機(jī)的光心位置。但是這種方法過(guò)于重視相機(jī)間的幾何約束(包括相機(jī)間的旋轉(zhuǎn)角度和基線比例)，忽視了特征點(diǎn)的投影誤差，本文經(jīng)過(guò)實(shí)踐證明[jiang2013]方法對(duì)于三元組優(yōu)化所得相機(jī)重建結(jié)果的平均投影誤差達(dá)到30-200不等，相機(jī)三元組的重建投影誤差就如此之大，對(duì)于算法最后求解的重建，投影誤差依然存在，對(duì)于有些數(shù)據(jù)集，由于投影誤差太大，即使做集束調(diào)整也無(wú)法得到相對(duì)好的結(jié)果。

【發(fā)明內(nèi)容】

[0007]針對(duì)現(xiàn)有技術(shù)中存在的技術(shù)問(wèn)題，本發(fā)明的目的在于提供一種基于全局線性方法的三維模型重建方法。
[0008]本發(fā)明根據(jù)全局線性方法從無(wú)序、大規(guī)模圖像數(shù)據(jù)中重建穩(wěn)定的三維模型方法。傳統(tǒng)的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)方法，一個(gè)個(gè)地按次序添加相機(jī)的視圖，這種方法可能會(huì)導(dǎo)致中間過(guò)程的誤差累積，影響重建質(zhì)量。相反，全局線性的方法可以從全局分擔(dān)這些錯(cuò)誤，從而保證整體的重建效果。本文提出一種新的非線性優(yōu)化的方法，可以得到穩(wěn)定的相機(jī)三元組的視圖重建，接著再用全局線性的方法求解相機(jī)的姿態(tài)以及相片中特征點(diǎn)的三維坐標(biāo)。首先，我們通過(guò)兩兩相機(jī)之間的相對(duì)旋轉(zhuǎn)關(guān)系求解得到所有相機(jī)的朝向矩陣；其次，我們通過(guò)非線性優(yōu)化的技術(shù)得到穩(wěn)定的相機(jī)三元組重建，求解三元組中的線性關(guān)系；再次，足夠多的三元組提供的方程，可以組成一個(gè)線性方程組，通過(guò)數(shù)值方法即可求解得到準(zhǔn)確的相機(jī)姿態(tài)，最后通過(guò)集束調(diào)整的技術(shù)對(duì)重建結(jié)果進(jìn)行最后的優(yōu)化。本文提出的方法經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證是快速、魯棒和準(zhǔn)確的。
[0009]與現(xiàn)有技術(shù)相比，本發(fā)明的積極效果為:
[0010]本文提出了一種新的魯棒的線性方法，它把[Sinha]和[Jiang]的方法做了綜合，使得在全局求解時(shí)能夠得到更精確的相機(jī)三元組。就像大部分的方法一樣，我們首先計(jì)算相機(jī)的朝向，使用[Martinec]描述的方法。然后，我們利用[Jiang]的方法,通過(guò)最小化相機(jī)中心之間的幾何誤差來(lái)求解相機(jī)的位置。但是實(shí)踐證明這個(gè)方法并不像其論文中所說(shuō)的那么準(zhǔn)確，本文發(fā)現(xiàn)其算法對(duì)于三元組的優(yōu)化后，其特征點(diǎn)三角化后的結(jié)果并不理想，平均誤差不可接受。因此，在這一步之后，我們利用[Sinha]的關(guān)于兩兩相機(jī)重建之間存在的線性關(guān)系對(duì)Jiang得到的三元組的初始解做進(jìn)一步的優(yōu)化。然后利用兩兩重建間的線性關(guān)系得到線性方程求解，得到初步的重建結(jié)果，最后做一次集束調(diào)整。我們的算法相當(dāng)有效和魯棒，而且易于并行。
【專利附圖】

【附圖說(shuō)明】
[0011]圖1為Rbc到Rab的4自由度的線性變換關(guān)系；
[0012]圖2為Ck的最優(yōu)值求解圖。
【具體實(shí)施方式】
[0013]本文提出的是一種全局求解SFM的方法，步驟與[sinha2010] [Jiang2013]類似。Sinha的方法重視相機(jī)三元組中兩兩重建之間的線性關(guān)系，這線性關(guān)系由最大似然估計(jì)求解，求解的原理是重視投影誤差最小化；Jiang的方法重視相機(jī)光心之間的幾何關(guān)系，包括夾角以及幾何比例；本文提出的方法是將二者的優(yōu)點(diǎn)結(jié)合在一起，避免二者的缺點(diǎn)。首先利用[martinec2007]的方法快速準(zhǔn)確的求解所有相機(jī)的朝向。構(gòu)造合適的三元組，這些三元組共享一些特征點(diǎn)，然后用非線性最小二乘法(LM)估計(jì)三元組中三個(gè)相機(jī)光心的位置，使得一方面使得sinha方法中的平均投影誤差較小，同時(shí)Jiang方法中的三元組相機(jī)光心幾何誤差較小，從而得到準(zhǔn)確的相機(jī)兩兩重建之間的線性關(guān)系。最后通過(guò)上一步求出的相機(jī)兩兩重建之間的線性關(guān)系 ，建立線性方程組，全局求解所有兩兩重建的全局尺度和偏移，從而求解得到所有相機(jī)的光心位置。
[0014]I)求解相機(jī)朝向
[0015]一對(duì)相機(jī)之間相對(duì)的姿態(tài)Rij可以通過(guò)5點(diǎn)法來(lái)計(jì)算，求解所有相機(jī)的朝向可以被看成是尋找朝向集合Ri，i = 1，2，…，η,他們之間的關(guān)系通過(guò)Rij給定，即
[0016]事實(shí)上，公式I包含了三個(gè)小方程，最后的相機(jī)朝向矩陣的解可以通過(guò)Eigen提供的最小二乘法求解線性方程組得到。
[0017]只要對(duì)相機(jī)匹配圖中尋找到一個(gè)生成樹(shù)，那么所有相機(jī)的朝向都可以獲得，為了讓最后的結(jié)果更準(zhǔn)確，我們需要在生成樹(shù)的基礎(chǔ)上添加更多的可信的EG邊構(gòu)成可信邊集合。首先，我們根據(jù)ijEG邊的特征點(diǎn)匹配數(shù)目的多少，建立匹配圖的最大生成樹(shù)；然后在添加新的可信邊到最大生成樹(shù)中，其標(biāo)準(zhǔn)是如果一個(gè)相機(jī)三元組(I，j，k)，其中(I，j)和(j, k)都在可信邊集合中，那么邊(I，k)也可以被添加進(jìn)可信邊集合。這樣構(gòu)成的可信邊集合被認(rèn)為是可靠的，并且可以求解得到精確的相機(jī)朝向。
[0018]由于精確的相機(jī)朝向非常重要，我們通過(guò)[zach2010]關(guān)于匹配圖環(huán)路限制的算法來(lái)剔除匹配圖中不準(zhǔn)確的EG。
[0019]2)求解三元組中的線性關(guān)系
[0020]首先假設(shè)所有的EG邊都沒(méi)有誤差，一方面，已知相機(jī)的朝向，每一個(gè)兩兩重建Rab (包含相機(jī)a，b)，與全局重建相差4個(gè)自由度，包括未知的尺度s和三維偏移向量t。假設(shè)Rbc和Rab共享相機(jī)b以及一些特征點(diǎn)，那么我們可以求得Rbc到Rab的4自由度的線性變換關(guān)系，如圖1所示，優(yōu)化特征點(diǎn)Xj通過(guò)變換后的投影誤差，即可得到s，t的值，變換后的投影誤差為:
[0021]Tkd(xkJ/^iS-nf)} +(I)
[0022]其中，函數(shù)S?將3維特征點(diǎn)投影到相機(jī)二元組(a, b)的重建坐標(biāo)系中的相機(jī)的二維平面，k e {a，b} ,/r的定義與類似；d是關(guān)于特征點(diǎn)投影到相機(jī)平面上的位置與特征點(diǎn)所在相機(jī)平面的原始位置Xw的距離函數(shù)。
[0023]另一方面，已知相機(jī)的朝向，考察相機(jī)三兀組，相機(jī)光心之間的相對(duì)的偏移向量ci j, cjk, cik已知。我們想要估計(jì)相機(jī)光心坐標(biāo)ci, cj, ck。理想狀況下,cij, cik和cjk應(yīng)該是共面的。但是各種各樣的噪聲使得在真實(shí)數(shù)據(jù)中是不共面的。我們先考慮cij是正確的并最小化ck到兩條線I (ci，cik)和I (cj，cjk)的歐式距離。這里I (p，q)代表一條線以q的朝向穿過(guò)點(diǎn)P。那么最優(yōu)化的Ck的解應(yīng)該是兩個(gè)共同點(diǎn)AB的中點(diǎn)，如圖2所示。
[0024]Ck最優(yōu)化的解可以通過(guò)下列公式計(jì)算:
【權(quán)利要求】
1.一種基于全局線性方法的三維模型重建方法，其步驟為: 1)通過(guò)兩兩相機(jī)之間的相對(duì)旋轉(zhuǎn)關(guān)系求解得到所有相機(jī)的朝向矩陣； 2)通過(guò)非線性優(yōu)化的技術(shù)得到穩(wěn)定的相機(jī)三元組重建，求解三元組中的線性關(guān)系； 3)根據(jù)三元組提供的方程組成一個(gè)線性方程組，通過(guò)數(shù)值方法求解得到準(zhǔn)確的相機(jī)姿態(tài)； 4)通過(guò)集束調(diào)整的技術(shù)對(duì)重建結(jié)果進(jìn)行最后的優(yōu)化。
2.如權(quán)利要求1所述的方法，其特征在于相機(jī)朝向的求解方法為:首先，根據(jù)ijEG邊的特征點(diǎn)匹配數(shù)目的多少，建立匹配圖的最大生成樹(shù)；然后在添加新的可信邊到最大生成樹(shù)中，其標(biāo)準(zhǔn)是如果一個(gè)相機(jī)三元組(I，j, k)，其中(I，j)和(j，k)都在可信邊集合中，那么邊(I，k)也被添加進(jìn)可信邊集合；然后根據(jù)可信邊集合求解得到精確的相機(jī)朝向。
3.如權(quán)利要求1所述的方法，其特征在于通過(guò)非線性最小二乘法求解得到三個(gè)相機(jī)光心位置Ci，Cj, Ck,并利用公式可以得到兩兩重建之間的尺度和偏移關(guān)系。
【文檔編號(hào)】G06T17/00GK103985154SQ201410171960
【公開(kāi)日】2014年8月13日 申請(qǐng)日期:2014年4月25日 優(yōu)先權(quán)日:2014年4月25日
【發(fā)明者】林嘉 申請(qǐng)人:北京大學(xué)