本發(fā)明屬于反求圖像控制技術(shù)領(lǐng)域，涉及一種單機(jī)分束雙目被動(dòng)立體視覺(jué)精確重構(gòu)與細(xì)分?jǐn)M合方法。

背景技術(shù)：

隨著產(chǎn)品競(jìng)爭(zhēng)的全球化，產(chǎn)品快速與創(chuàng)新設(shè)計(jì)愈來(lái)愈顯示出重要性。反求工程是實(shí)現(xiàn)產(chǎn)品再創(chuàng)新開(kāi)發(fā)及快速設(shè)計(jì)的重要技術(shù)之一，反求工程的首要任務(wù)是獲得對(duì)象表面的三維信息，在被動(dòng)雙目立體視覺(jué)中，為精確獲得密集三維重構(gòu)點(diǎn)云信息，通常首先需要搭建短基線的平行光軸系統(tǒng)來(lái)進(jìn)行立體圖像對(duì)采集，以滿足共軛點(diǎn)周圍小鄰域可視為相互平移的假設(shè)。繼而通過(guò)頻域中的圖像平移不變性等理論實(shí)現(xiàn)共軛點(diǎn)精確配準(zhǔn)。然而，在實(shí)踐中運(yùn)用雙機(jī)構(gòu)建的平行雙目系統(tǒng)會(huì)遇到以下三個(gè)問(wèn)題：1)由于視差等因素，不能充分有效地利用像素資源；2)由于拍攝不精確同步所引起抖動(dòng)或環(huán)境改變等因素導(dǎo)致的匹配困難；3)雙機(jī)系統(tǒng)組裝后的魯棒性不高，又由于雙機(jī)存在物理特性差異，因此需要進(jìn)行自適應(yīng)校正，從而導(dǎo)致系統(tǒng)結(jié)構(gòu)和匹配等算法變得更為復(fù)雜。因此，通過(guò)一般的雙目被動(dòng)系統(tǒng)獲得物體表面的密集三維點(diǎn)云信息變得十分困難，通常情況，只能重建出物體少數(shù)的三維特征點(diǎn)，然后用差值、變分等技術(shù)結(jié)合先驗(yàn)知識(shí)修改模型，因此難以達(dá)到自動(dòng)建模的效果。

而單機(jī)分束系統(tǒng)，仿照立體電影攝影系統(tǒng)，通過(guò)在單機(jī)物鏡前加裝分光偏轉(zhuǎn)裝置，將有視差的“立體圖對(duì)”同時(shí)記錄在相機(jī)CCD靶面上。然而，目前的系統(tǒng)均存在以下一種或幾種不足：1)光線相互干擾造成像質(zhì)下降；2)為獲得較大的重疊視場(chǎng)而使模擬雙目光軸形成一定角度，在基于圖像對(duì)平移性假設(shè)的密集點(diǎn)云重構(gòu)中，算法的魯棒性得不到保證；3)由于大都運(yùn)用單一的棱鏡組進(jìn)行分光，使得像差難以控制而造成像質(zhì)下降。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種單機(jī)分束雙目被動(dòng)立體視覺(jué)精確重構(gòu)與細(xì)分?jǐn)M合方法，解決了現(xiàn)有技術(shù)中存在像質(zhì)下降、算法的魯棒性差、計(jì)算量大的問(wèn)題。

本發(fā)明的技術(shù)方案是，一種單機(jī)分束雙目被動(dòng)立體視覺(jué)精確重構(gòu)與細(xì)分?jǐn)M合方法，按照以下步驟實(shí)施：

步驟1、建立相機(jī)的模型

1.1)建立相機(jī)的線性針孔模型；

1.2)建立相機(jī)的非線性模型；

步驟2、建立相機(jī)動(dòng)態(tài)對(duì)焦內(nèi)部參數(shù)模型

2.1)建立聚焦?fàn)顟B(tài)下的內(nèi)部參數(shù)模型；

2.2)建立離焦?fàn)顟B(tài)下的內(nèi)部參數(shù)模型；

2.3)設(shè)置標(biāo)定靶；

2.4)實(shí)施標(biāo)定；

步驟3、自適應(yīng)面具的快速稠密立體匹配；

步驟4、基于立體視覺(jué)的密集點(diǎn)云三維反求

4.1)對(duì)應(yīng)點(diǎn)精確匹配與點(diǎn)云反求；

4.2)重建三維曲面；

4.2.1)重建基于神經(jīng)網(wǎng)絡(luò)的曲面；

4.2.2)重建細(xì)分曲面；

4.2.2.1)重建細(xì)分曲面；

4.2.2.2)誤差分析與加細(xì)。

本發(fā)明的有益效果是，從構(gòu)建一種虛擬光軸嚴(yán)格平行并且基線長(zhǎng)度可調(diào)的單機(jī)分束雙目系統(tǒng)出發(fā)，涉及到虛擬基線長(zhǎng)度的自適應(yīng)驅(qū)動(dòng)、雙目系統(tǒng)基線與焦距可變的標(biāo)定與校正、雙目視覺(jué)基于特征與頻域融合的自適應(yīng)模板層次亞像素非特征密集點(diǎn)云配準(zhǔn)，并將自適應(yīng)平行雙目被動(dòng)立體視覺(jué)精確重構(gòu)與擬合原型系統(tǒng)進(jìn)行了應(yīng)用驗(yàn)證。創(chuàng)新性主要包括以下幾點(diǎn)：

1)提出改進(jìn)的POC算法對(duì)圖像對(duì)實(shí)施密集匹配?？紤]順序匹配約束、連續(xù)性約束和相關(guān)性約束條件，通過(guò)函數(shù)波峰擬和與亞像素位移因子迭代，對(duì)圖像進(jìn)行多分辨區(qū)域匹配，獲得對(duì)應(yīng)點(diǎn)的亞像素級(jí)實(shí)時(shí)配準(zhǔn)效果。

2)構(gòu)建一種自適應(yīng)的雙目被動(dòng)立體視覺(jué)系統(tǒng)，可根據(jù)被測(cè)物體的采樣距離與所需精度等參數(shù)通過(guò)單片機(jī)自適應(yīng)地驅(qū)動(dòng)基線長(zhǎng)度。另外，為解決傳統(tǒng)雙相機(jī)精確同步采樣困難的問(wèn)題，構(gòu)建了一種基于單相機(jī)的雙目被動(dòng)立體視覺(jué)系統(tǒng)。

附圖說(shuō)明

圖1是本發(fā)明方法采集的腳型上下圖對(duì)原圖；

圖2是本發(fā)明方法腳型重建三維點(diǎn)云的示意圖；

圖3是本發(fā)明方法對(duì)內(nèi)套一及其反求結(jié)果示意圖；

圖4是本發(fā)明方法對(duì)內(nèi)套二及其反求結(jié)果示意圖；

圖5是本發(fā)明方法對(duì)精密螺桿與反求結(jié)果示意圖；

圖6是本發(fā)明方法對(duì)內(nèi)套一曲面簡(jiǎn)化后的重建結(jié)果示意圖；

圖7是本發(fā)明方法對(duì)內(nèi)套二曲面簡(jiǎn)化后的重建結(jié)果示意圖；

圖8是本發(fā)明方法對(duì)精密螺桿曲面簡(jiǎn)化后的重建結(jié)果示意圖。

具體實(shí)施方式

本發(fā)明方法，基于立體視覺(jué)方法進(jìn)行三維重構(gòu)，是指由兩幅或多幅圖像恢復(fù)物體的三維幾何形狀，對(duì)于空間物體表面任意一點(diǎn)P，如果用C₁相機(jī)觀察，看到它在C₁相機(jī)的圖像點(diǎn)為P₁，但無(wú)法由P₁得知P的三維位置。但是，如果用C₁相機(jī)和C₂相機(jī)同時(shí)觀察P點(diǎn)，并且如果能確定，在C₁相機(jī)圖像上的點(diǎn)P₁與在C₂相機(jī)圖像上的點(diǎn)P₂是空間同一點(diǎn)P的圖像點(diǎn)(即P₁與P₂為對(duì)應(yīng)點(diǎn))，那么空間點(diǎn)P即是O₁P₁與O₂P₂兩條直線的交點(diǎn)，即它的三維位置是唯一確定的，此即為立體視覺(jué)的基本原理。

本發(fā)明的單機(jī)分束雙目被動(dòng)立體視覺(jué)精確重構(gòu)與細(xì)分?jǐn)M合方法，具體按照以下步驟實(shí)施：

步驟1、建立相機(jī)的模型

1.1)建立相機(jī)的線性針孔模型

針孔模型作為相機(jī)成像的理想簡(jiǎn)化，能夠近似表示空間任何一點(diǎn)P在圖像上的成像位置，即假設(shè)物體表面的反射光都經(jīng)過(guò)一個(gè)小孔而投影到像平面上，即滿足光的直線傳播條件，此時(shí)物點(diǎn)、光心以及像點(diǎn)共線。

針孔模型中三維點(diǎn)與其像的關(guān)系又稱為中心射影或透視投影，由相似性可得：

其中，(x,y)為投影點(diǎn)p的圖像坐標(biāo)，Xc，Yc，Zc分別為空間點(diǎn)P在相機(jī)坐標(biāo)系下的坐標(biāo)，f為成像平面到小孔的距離，用齊次坐標(biāo)與矩陣表示上述透視投影關(guān)系是：

相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系可以用旋轉(zhuǎn)矩陣R與平移向量t來(lái)描述，通過(guò)坐標(biāo)變換，將相機(jī)坐標(biāo)統(tǒng)一到世界坐標(biāo)系中，則P點(diǎn)坐標(biāo)與其投影點(diǎn)p的坐標(biāo)(u，v)的關(guān)系是：

其中，α_x＝f/dx，稱為x方向的像素焦距；α_y＝f/dy，稱為y方向的像素焦距；dx,dy則是一個(gè)像素在x軸與y軸方向上的物理尺寸；M為3×4矩陣，稱為投影矩陣；M₁完全由線性模型參數(shù)α_x,α_y,u₀,v₀決定，(u₀,v₀)稱為主點(diǎn)；由于線性模型參數(shù)α_x,α_y,u₀,v₀只與相機(jī)內(nèi)部結(jié)構(gòu)有關(guān)，稱這些參數(shù)為相機(jī)內(nèi)部參數(shù)；M₂完全由相機(jī)相對(duì)于世界坐標(biāo)系的方位決定，稱為相機(jī)外部參數(shù)，確定某一相機(jī)的內(nèi)外參數(shù)，稱為相機(jī)標(biāo)定。

在許多情況下，為便于計(jì)算，需要對(duì)投影關(guān)系進(jìn)行歸一化，使得相機(jī)焦距等于1，代入公式(2.1)與(2.2)，則歸一化后的坐標(biāo)應(yīng)為：

而透視投影值應(yīng)為：

公式(2.2)另外變換成以下形式：

(Xc，Yc，Zc)為空間點(diǎn)P在相機(jī)坐標(biāo)系下的坐標(biāo)，對(duì)(x,y)進(jìn)行坐標(biāo)變換：

代入公式(2.6)，得：

將公式(2.8)與公式(2.5)進(jìn)行比較，得到歸一化圖像齊次坐標(biāo)(x_n,y_n,1)：

根據(jù)公式(2.9)，當(dāng)已知相機(jī)內(nèi)部參數(shù)時(shí)，可將歸一化坐標(biāo)轉(zhuǎn)換成實(shí)際的圖像坐標(biāo)。

1.2)建立相機(jī)的非線性模型

在實(shí)際成像系統(tǒng)中，存在各種幾何畸變，如徑向畸變、離心畸變、薄棱鏡畸變等，因此，線性模型不能準(zhǔn)確地描述成像的幾何關(guān)系；為獲得更高的重建精度，最早由Brown于1966年引入所謂"Plumb Bob"的畸變模型，其定義如下：

根據(jù)針孔成像模型，記其歸一化圖像坐標(biāo)為令r²＝x²+y²，由于考慮鏡頭幾何畸變，新的歸一化坐標(biāo)x_d被定義為：

其中，dx為離心畸變,kc(1),kc(2),kc(3),kc(4),kc(5)均為非線性畸變參數(shù)，則有：

根據(jù)公式(2.9)，計(jì)算考慮鏡頭畸變后的實(shí)際像素點(diǎn)坐標(biāo)為：

此時(shí)線性模型參數(shù)α_x,α_y,u₀,v₀與非線性畸變參數(shù)kc(1),kc(2),kc(3),kc(4),kc(5)一起構(gòu)成了非線性模型完整的相機(jī)內(nèi)部參數(shù)；

一般情況下，只考慮徑向畸變就已能足夠描述非線性畸變，Tsai曾指出，由于在考慮非線性畸變時(shí)對(duì)相機(jī)標(biāo)定需要使用非線性優(yōu)化算法，引入過(guò)多的非線性參數(shù)往往不僅不能提高精度，反而引起解的不穩(wěn)定。但當(dāng)實(shí)用廣角鏡時(shí)，引入離心畸變和薄棱鏡畸變能提高模型的精度。

步驟2、建立相機(jī)動(dòng)態(tài)對(duì)焦內(nèi)部參數(shù)模型

2.1)建立聚焦?fàn)顟B(tài)下的內(nèi)部參數(shù)模型

對(duì)于單相機(jī)情況，雖然不易直接獲取采樣物距，但通過(guò)測(cè)量對(duì)焦環(huán)旋轉(zhuǎn)角度的方式間接獲取聚焦距離，本方法首先在對(duì)焦環(huán)上安裝角度傳感器，通過(guò)角度傳感器來(lái)獲取相機(jī)自動(dòng)聚焦后對(duì)焦環(huán)所轉(zhuǎn)過(guò)的角度θ，然后以該角度作為變量來(lái)驅(qū)動(dòng)整個(gè)內(nèi)部參數(shù)模型，

本方法通過(guò)整體平移鏡頭方式實(shí)現(xiàn)外對(duì)焦，因此理論上像距與角度θ應(yīng)滿足線性關(guān)系：

f_x＝A₁+B₁θ (3.1)

f_y＝A₂+B₂θ (3.2)

當(dāng)對(duì)焦至無(wú)窮遠(yuǎn)時(shí)，成像平面位于焦平面上，此時(shí)不妨記對(duì)焦環(huán)的旋轉(zhuǎn)角度為0°，那么，根據(jù)薄透鏡公式則有：

式中s為對(duì)焦距離即物距，Δ_x、Δ_y分別為x、y方向的單位像素尺寸，f為焦距，β為常數(shù)；根據(jù)Magill模型，對(duì)焦于物距s時(shí)的徑向畸變系數(shù)為：

其中，

分別為對(duì)焦于物距s₁、s₂時(shí)的徑向畸變系數(shù)，

將公式(3.3)帶入公式(3.5)得：

由于公式(3.4)與(3.6)是線性的，因此k_is與θ也是線性的，記作：

k_is＝E_i+F_iθ；i＝1,2,3； (3.7)

2.2)建立離焦?fàn)顟B(tài)下的內(nèi)部參數(shù)模型

離焦與對(duì)焦?fàn)顟B(tài)下物體的畸變系數(shù)是會(huì)發(fā)生改變的，處于不同物距的物體，相機(jī)只能對(duì)焦于某一距離，位于其他物距的像點(diǎn)將處于離焦?fàn)顟B(tài)；

設(shè)物距為s_p處的光線經(jīng)過(guò)鏡頭發(fā)生徑向畸變，最終成像到物距為s的對(duì)焦平面上時(shí)，由三角形相似和薄透鏡公式得到離焦時(shí)的畸變系數(shù)為：

其中因此，其徑向畸變?yōu)椋?/p>

根據(jù)公式(3.8)可知，當(dāng)對(duì)焦點(diǎn)的畸變系數(shù)為已知時(shí)，只需獲得對(duì)焦點(diǎn)和其余像點(diǎn)的深度信息s與s_p，再根據(jù)公式(3.3)、(3.7)計(jì)算每一點(diǎn)所對(duì)應(yīng)的與k_is，從而得到相應(yīng)的畸變系數(shù)因此獲取每一像點(diǎn)的深度信息成為精確校正的關(guān)鍵；

2.3)設(shè)置標(biāo)定靶

標(biāo)定的過(guò)程即為對(duì)公式(3.1)、(3.2)、(3.3)、(3.7)、(3.8)中系數(shù)A₁,B₁,A₂,B₂,u₀,v₀,f,β,p₁,p₂,E_i,F_i；i＝1,2,3的估計(jì)過(guò)程，由于一張平面標(biāo)定板照片能夠獲得關(guān)于內(nèi)部參數(shù)的兩個(gè)約束條件：

和

假設(shè)H＝[h₁ h₂ h₃]為其相應(yīng)的單應(yīng)性矩陣，因此對(duì)于有固定內(nèi)部參數(shù)的傳統(tǒng)相機(jī)模型，至少需要三張非線性相關(guān)平面標(biāo)定板采樣的單應(yīng)性矩陣來(lái)求解內(nèi)部參數(shù)矩陣A，進(jìn)而通過(guò)迭代來(lái)擬合畸變系數(shù)；但是當(dāng)對(duì)本發(fā)明設(shè)想的離焦?fàn)顟B(tài)下的內(nèi)部參數(shù)模型進(jìn)行標(biāo)定時(shí)，每次拍攝都進(jìn)行自動(dòng)對(duì)焦，因此需要引入新的變量θ驅(qū)動(dòng)的內(nèi)部參數(shù)矩陣A(θ)，這在很大程度上增加了標(biāo)定過(guò)程的復(fù)雜度與求解的不穩(wěn)定性。

為解決該問(wèn)題以獲得單次對(duì)焦?fàn)顟B(tài)下的標(biāo)定結(jié)果，設(shè)計(jì)互成角度的三平面立體標(biāo)定靶：即把3張平面標(biāo)定板拼接組合在一起，兩兩各成108°；之所以選擇大于90°的拼合方式，是希望通過(guò)減少標(biāo)定靶物距景深的方式，使所有標(biāo)定板都盡可能落在相機(jī)焦點(diǎn)附近，從而獲得更多清晰準(zhǔn)確的角點(diǎn)信息，此時(shí)，能夠通過(guò)對(duì)立體標(biāo)定靶進(jìn)行一次拍攝而獲得關(guān)于相應(yīng)對(duì)焦環(huán)旋轉(zhuǎn)角度θ的全部?jī)?nèi)部參數(shù)解析解；

考慮到畸變等因素，只通過(guò)一次拍攝所獲得的標(biāo)定結(jié)果是十分粗糙且不穩(wěn)定的，為提高內(nèi)部參數(shù)求解的魯棒性，需為其提供較為準(zhǔn)確的初值信息。對(duì)不同距離采樣的幾組標(biāo)定圖統(tǒng)一進(jìn)行傳統(tǒng)固定內(nèi)部參數(shù)標(biāo)定，獲得的標(biāo)定結(jié)果作為該初值，從而有望避免后繼病態(tài)迭代解的產(chǎn)生。另外還需注意，圖像中的畸變量隨著遠(yuǎn)離主點(diǎn)而增大，在接近主點(diǎn)區(qū)域，畸變量是很小的，因此當(dāng)只采用少量標(biāo)定圖進(jìn)行畸變系數(shù)估計(jì)時(shí)，為避免得到病態(tài)解，在標(biāo)定靶的采樣時(shí)，需盡量使其遠(yuǎn)離光心以獲得較大的畸變量。

最后，通過(guò)計(jì)算立體標(biāo)定靶圖像每一角點(diǎn)的重投影值到實(shí)際點(diǎn)的距離平方和來(lái)估計(jì)標(biāo)定誤差，在標(biāo)定過(guò)程中，采用L-M(Levenberg-Marquardt)算法來(lái)最小化該誤差。

2.4)實(shí)施標(biāo)定

具體標(biāo)定過(guò)程按照以下步驟實(shí)施：

步驟1)對(duì)不同距離的立體標(biāo)定靶進(jìn)行自動(dòng)對(duì)焦，確保對(duì)焦在標(biāo)定靶上后進(jìn)行拍攝采樣，獲取n張照片并記錄相應(yīng)的對(duì)焦環(huán)旋轉(zhuǎn)角度θ_ii＝1,2,...,n；

總共含有3n張平面標(biāo)定板圖，運(yùn)用張正友的方法對(duì)該3n張平面標(biāo)定板圖進(jìn)行固定參數(shù)的標(biāo)定求解，獲得標(biāo)定結(jié)果

步驟2)利用步驟1)的標(biāo)定結(jié)果作為初值，分別求解這n張照片的內(nèi)部參數(shù)值i＝1,2,...,n；

步驟3)對(duì)步驟2)得到的內(nèi)部參數(shù)值根據(jù)公式(3.1)、(3.2)、(3.7)運(yùn)用最小二乘法求解，獲得系數(shù)A₁,B₁,A₂,B₂,u₀,v₀,E₁,F₁,E₂,F₂,E₃,F₃，重新代入公式解得新的內(nèi)部參數(shù)值i＝1,2,...,n；

步驟4)將結(jié)果更新為步驟2)的初值，重復(fù)步驟2)、步驟3)，至內(nèi)部參數(shù)值A(chǔ)₁,B₁,A₂,B₂,u₀,v₀,E₁,F₁,E₂,F₂,E₃,F₃收斂或超出迭代次數(shù)；

步驟5)根據(jù)步驟4)所獲得的內(nèi)部參數(shù)值重投影每個(gè)角點(diǎn)到三維空間，求出每組立體標(biāo)定靶中角點(diǎn)的平均深度作為該次采樣的對(duì)焦距離；

步驟6)將步驟5)所得對(duì)焦距離作為初值，結(jié)合相應(yīng)θ_i，i＝1,2,...,n,代入公式(3.3)，運(yùn)用最小二乘法求解，獲得系數(shù)f,β，將各θ_i代入公式獲得相應(yīng)的對(duì)焦距離s_i；

步驟7)將各角點(diǎn)的真實(shí)深度信息及由步驟6)計(jì)算獲得的對(duì)焦距離代入公式(3.8)，計(jì)算每個(gè)角點(diǎn)的離焦徑向畸變系數(shù)；

步驟8)估計(jì)標(biāo)定誤差，并固定各張照片所對(duì)應(yīng)的內(nèi)部參數(shù)矩陣A(θ_i)，用L-M算法優(yōu)化對(duì)焦距離s_i；

步驟9)以步驟8)優(yōu)化后的對(duì)焦距離作為初值，代入步驟6)，重復(fù)步驟6)、步驟7)、步驟8)，直到步驟8)中誤差估計(jì)小于給定精度要求或超出迭代步數(shù)；

步驟10)將所得離焦徑向畸變系數(shù)對(duì)每個(gè)角點(diǎn)進(jìn)行校正，通過(guò)解析法分別求解這n張照片的內(nèi)部參數(shù)矩陣A(θ_i)，根據(jù)公式(3.1)、(3.2)運(yùn)用最小二乘法求解，獲得系數(shù)代入公式(3.1)、(3.2)，解得新的更新A(θ_i)；

步驟11)固定內(nèi)部參數(shù)矩陣A(θ_i)及f,β，估計(jì)標(biāo)定誤差，用L-M算法優(yōu)化對(duì)焦時(shí)的畸變量

步驟12)根據(jù)公式(3.7)運(yùn)用最小二乘法求解，獲得系數(shù)E₁,F₁,E₂,F₂,E₃,F₃，代入公式解得新的

步驟13)估計(jì)標(biāo)定誤差，以這些新的畸變量為初值對(duì)每幅標(biāo)定靶圖分別進(jìn)行L-M全局優(yōu)化

步驟14)將步驟13)優(yōu)化結(jié)果作為初值，重復(fù)步驟10)、步驟11)、步驟12)、步驟13)，直到步驟13)中誤差估計(jì)小于給定精度要求或超出迭代步數(shù)，最終完成標(biāo)定。

步驟3、自適應(yīng)面具的快速稠密立體匹配

在對(duì)應(yīng)點(diǎn)匹配中，POC算法在提供較高魯棒性及精確度的同時(shí)，所付出的計(jì)算代價(jià)也是高昂的，每一立體點(diǎn)的視差計(jì)算，都對(duì)所在窗口區(qū)域進(jìn)行至少2次2D傅里葉變換及1次2D傅里葉反變換。在實(shí)際操作中，為獲得更佳的魯棒性，通常采用金字塔式由粗到細(xì)的匹配策略，而多層匹配使計(jì)算代價(jià)變得更高。為確保匹配的精確度與魯棒性，在對(duì)應(yīng)點(diǎn)的匹配過(guò)程中，需要考慮更多的相鄰像素區(qū)域，即更大的表面區(qū)域進(jìn)行匹配；然而物體表面并不具有相同的深度，不可將對(duì)應(yīng)點(diǎn)附近較大的物理鄰域近似視為一個(gè)相互平移，因此，過(guò)分?jǐn)U大物理區(qū)域?qū)o(wú)法保證匹配算法的可信度。相反地，為了滿足對(duì)應(yīng)點(diǎn)鄰近區(qū)域?yàn)橄嗷テ揭频募僭O(shè)，而只考慮點(diǎn)周圍很小的區(qū)域，匹配精度又將迅速下降。在以往的工作中，試圖通過(guò)提高圖像采集器的分辨率來(lái)解決這對(duì)矛盾，這樣待匹配點(diǎn)周圍較大的像素區(qū)域仍可視為相互的一個(gè)平移；但是，這種通過(guò)增大匹配窗口區(qū)域來(lái)獲得更多有效紋理的思想受到了昂貴計(jì)算代價(jià)的挑戰(zhàn)，整個(gè)匹配過(guò)程變得遠(yuǎn)離實(shí)時(shí)性。事實(shí)上，POC算法的速度瓶頸主要來(lái)自傅里葉變換，由于需要計(jì)算的是稠密點(diǎn)云信息，對(duì)于1600×1600像素的立體圖對(duì)，如果采用4層金字塔來(lái)進(jìn)行逐層逐點(diǎn)計(jì)算，至少需要進(jìn)行1千萬(wàn)次2DFFT的運(yùn)算，即使選取31×31像素的小窗口，花費(fèi)的整個(gè)計(jì)算量也是驚人的。但是，這些FFT運(yùn)算中充滿著重復(fù)的計(jì)算信息，其中絕大部分是重疊的，這也就意味著，如果需要獲取其傅里葉變換，無(wú)需分別計(jì)算兩次。

在立體匹配中，為獲得正確的匹配結(jié)果，希望匹配區(qū)域整體具有相同的視差，但是考慮到實(shí)際物體表面并非足夠平坦，在物體表面深度變化明顯的區(qū)域，要么出現(xiàn)黑色的失配情況，要么得到很大的誤差，最終導(dǎo)致匹配的可信度低下。從傳統(tǒng)的思想來(lái)看，一方面，為獲得更魯棒的匹配結(jié)果，需要考慮更大的區(qū)域窗口；而另一方面，考慮到物體表面一般并不具有相同的深度，因此為增加匹配精度，需要考慮盡可能小的物體表面區(qū)域來(lái)近似擬合同一深度。為解決以上矛盾，如上文所述，可通過(guò)采用更高像素的圖像采集器來(lái)解決，但更大的匹配窗口區(qū)域?qū)⒋蠓黾悠ヅ渌惴ǖ臅r(shí)間開(kāi)銷。

為此，有學(xué)者提出為匹配區(qū)域增加圓型面具來(lái)提高匹配精度的思想，并取得了一定的成效，該面具的使用基于以下假設(shè)條件：中心區(qū)域附近近似認(rèn)為具有相似視差，從而整體減弱遠(yuǎn)離中心區(qū)域的匹配權(quán)重。但在上述假設(shè)條件不成立的情況下，就等效地降低了整體匹配魯棒性。事實(shí)上，對(duì)于普遍的情況，該方法只對(duì)減弱傅里葉變換周期性引起的邊界跳躍現(xiàn)象起到一定的作用，真正期望獲得的效果是：在匹配窗口大小不變的情況下，盡可能多地保留與中心匹配點(diǎn)具有相似視差區(qū)域的匹配權(quán)重，從而相應(yīng)地大幅減弱或者抵消視差變化較大區(qū)域的匹配權(quán)重。

假設(shè)待匹配物體表面為一張光滑的無(wú)遮擋曲面，即可顯示地表示為高程曲面z＝Z(x,y)的形式，這一點(diǎn)通過(guò)前期的圖像分割預(yù)處理做到，其梯度方向grad Z(x₀,y₀)＝Z_x(x₀,y₀)i+Z_y(x₀,y₀)j為Z(x,y)增加最快的方向；當(dāng)(x,y)沿梯度正交方向變化時(shí)，函數(shù)的變化率為零。因此能夠認(rèn)為，在鄰近區(qū)域內(nèi)，沿著該方向上的點(diǎn)具有很相似的視差，于是為使這些具有相近視差的點(diǎn)獲得更大的匹配權(quán)重，定義如下的面具與匹配區(qū)域相乘：

其中，匹配窗口區(qū)域?yàn)?2M+1)×(2M+1)的正方形，(-k,1)為中心梯度方向，

在由視差決定的高程圖中，箭頭所標(biāo)的方向即為相應(yīng)點(diǎn)的梯度方向，理論上，這樣的梯度方向是任意的，但考慮到前述的快速POC算法，將所有的向量離散為上下左右及45度斜角總共八個(gè)方向。在實(shí)際算法中，在梯度模較大的情況下，采用4個(gè)離散化面具模板(即45°面具、-45°面具、水平面具、垂直面具)進(jìn)行計(jì)算；在未知梯度的情況下，如金字塔頂層的匹配過(guò)程，由于計(jì)算量不大，采用圓形面具進(jìn)行常規(guī)的POC算法。

除最頂層外，對(duì)于每一個(gè)待匹配點(diǎn)，需要對(duì)其梯度方向進(jìn)行估計(jì)，由于采用由粗到細(xì)的逐層匹配策略，因此對(duì)于當(dāng)前匹配層，將對(duì)上一層的視差圖進(jìn)行分析，假設(shè)對(duì)于第一層和第三層的匹配視差圖，對(duì)其進(jìn)行等高線提取，得到取樣等高線。值得注意的是，這一提取過(guò)程中，將設(shè)定較大的等高線差值，以消除一些由于誤匹配情況所引起的擾動(dòng)，然后再進(jìn)行等高線插值，獲得每點(diǎn)的梯度，以此作為下一層匹配面具的選取依據(jù)，以獲得自適應(yīng)選取面具的效果。

步驟4、基于立體視覺(jué)的密集點(diǎn)云三維反求

4.1)對(duì)應(yīng)點(diǎn)精確匹配與點(diǎn)云反求

基于上述的論述，對(duì)物體圖像進(jìn)行5層復(fù)小波分解，在像素匹配階段采用簡(jiǎn)化的算法：從最底層開(kāi)始，運(yùn)用前述的相位相關(guān)算法，只比對(duì)中心附近的點(diǎn)，找出最大值，而由該最大值作為σ的近似，其位置即為相應(yīng)的視差估計(jì)，放大后代入上一層作為新的初始估計(jì)，進(jìn)行新的計(jì)算，直到最頂層為止，因此，在進(jìn)行亞像素匹配時(shí)，視差估計(jì)的誤差應(yīng)該小于1個(gè)像素；然后通過(guò)幾次非線性最小二乘擬合迭代過(guò)程，獲得最終的亞像素級(jí)視差估計(jì)，這樣的迭代過(guò)程進(jìn)行兩次就可趨于收斂。

根據(jù)上述的匹配方式，對(duì)于大部分點(diǎn)都可自動(dòng)獲得正確的視差估計(jì)，然而由于遮擋、噪聲以及缺少紋理等因素的影響，在由粗到細(xì)的匹配過(guò)程中，對(duì)于某些點(diǎn)對(duì)將出現(xiàn)錯(cuò)誤估計(jì)，進(jìn)而導(dǎo)致亞像素匹配無(wú)法收斂等情況，不僅降低了自動(dòng)配準(zhǔn)的魯棒性，而且減弱了三維重建的可靠性和精準(zhǔn)度。為克服這些因素的干擾，引入順序匹配、連續(xù)性、相關(guān)性以及外極線約束條件，作為對(duì)匹配關(guān)系的可信度評(píng)估；其中順序匹配約束是指，對(duì)于上圖中的兩點(diǎn)，其下圖中的匹配點(diǎn)應(yīng)保持原來(lái)的順序；連續(xù)性是指，對(duì)于上圖中接近的兩點(diǎn)，其下圖中的相應(yīng)視差也應(yīng)該相似；相關(guān)性約束可用σ值來(lái)表示，當(dāng)σ值越大，說(shuō)明這兩點(diǎn)的匹配相關(guān)性越大；外極線約束是指匹配點(diǎn)將擁有基本相似的橫坐標(biāo)。

據(jù)此，整個(gè)匹配過(guò)程按照以下步驟實(shí)施：

步驟一)對(duì)于每一層，匹配并估計(jì)每一未標(biāo)記點(diǎn)的σ值，如果σ小于某一閾值，則對(duì)該點(diǎn)進(jìn)行標(biāo)記并轉(zhuǎn)入步驟二)；否則，考慮其順序約束，取與其同列并已匹配的最近未標(biāo)記點(diǎn)；如果順序匹配錯(cuò)誤，則進(jìn)行標(biāo)記并轉(zhuǎn)入步驟二)；否則，考慮其連續(xù)約束情況，取其附近5×5以內(nèi)所有已匹配而未標(biāo)記點(diǎn)，取其視差平均，比較與該點(diǎn)差的絕對(duì)值，如大于某一閾值，則對(duì)該點(diǎn)標(biāo)記轉(zhuǎn)入步驟二)；最后，如果匹配點(diǎn)偏離外極線過(guò)大，則標(biāo)記該點(diǎn)并轉(zhuǎn)入步驟二)；

步驟二)對(duì)于標(biāo)記的點(diǎn)，考慮其附近5×5以內(nèi)所有未標(biāo)記點(diǎn)，取其關(guān)于σ值的相對(duì)加權(quán)平均作為該點(diǎn)的初始估計(jì)，然后進(jìn)行亞像素匹配，對(duì)其結(jié)果進(jìn)行相應(yīng)的約束檢測(cè)；如仍被標(biāo)記，則將初始估計(jì)作為其相應(yīng)視差。

運(yùn)用以上約束條件，能夠自動(dòng)獲得精確而魯棒性強(qiáng)的匹配點(diǎn)對(duì)，重建出密集的三維點(diǎn)云，圖1為照相機(jī)拍攝的上下圖對(duì)，圖2為對(duì)應(yīng)的三維重建點(diǎn)云。

4.2)重建三維曲面

4.2.1)重建基于神經(jīng)網(wǎng)絡(luò)的曲面

將上述獲取的三維點(diǎn)云信息的x，y方向坐標(biāo)作為神經(jīng)網(wǎng)絡(luò)的輸入，而將z方向坐標(biāo)作為輸出，構(gòu)成二輸入、一輸出的網(wǎng)絡(luò)系統(tǒng)，網(wǎng)絡(luò)的輸入與輸出形成映射關(guān)系，設(shè)這樣的映射關(guān)系為一有限支單值連續(xù)函數(shù)X＝[x，y]，

事實(shí)上，對(duì)于2層單輸出MLFN(multilayer feedforward neural network)，無(wú)論隱層取Sigmoid函數(shù)、小波函數(shù)還是RBF，輸出層皆取線性函數(shù)，只要隱層神經(jīng)元足夠多，就能以任意精度逼近任何有限支單值連續(xù)函數(shù)；但是，由于函數(shù)不是非常平滑，如采用局部接收?qǐng)龅腞BF或小波網(wǎng)絡(luò)，網(wǎng)絡(luò)規(guī)模(即隱層神經(jīng)元數(shù))隨輸入向量維數(shù)的增加而指數(shù)增加，為控制規(guī)模，采用全局接收?qǐng)龅腟igmoid函數(shù)，

假設(shè)2層單輸出且隱層取Sigmoid函數(shù)、輸出取線性函數(shù)的MLFN，其映射函數(shù)表示為：

其中，f_s[I]＝[1+e^-I]^-1為Sigmoid函數(shù)；的下標(biāo)N₁表示隱層神經(jīng)元數(shù)，ξ表示所有權(quán)和閾值參數(shù)構(gòu)成的向量；Barron指出，網(wǎng)絡(luò)所實(shí)現(xiàn)的函數(shù)與被逼近函數(shù)之間的最小均方逼近誤差隨N₁的增加按1/N₁的速率下降，則有：

其中，S≥1，在為S階可導(dǎo)時(shí)為有限值，并假設(shè)X的定義域包含原點(diǎn)，且處于一個(gè)半徑為r的超球B_r之內(nèi)，因此，N₁只需隨N線性增加；但比起小波網(wǎng)絡(luò)，網(wǎng)絡(luò)學(xué)習(xí)過(guò)程需要更多的訓(xùn)練樣本。

由于不需要太多的隱含層神經(jīng)元即可獲得好的人臉逼近效果，但考慮到每一點(diǎn)對(duì)的匹配估計(jì)值σ決定對(duì)應(yīng)重建三維點(diǎn)的位置可信度，因此，為獲得更精確的網(wǎng)絡(luò)逼近結(jié)果，設(shè)置可信度越高的點(diǎn)參加越多次數(shù)的訓(xùn)練過(guò)程。

具體情況是，對(duì)每一點(diǎn)對(duì)所反求的三維訓(xùn)練樣本，令其參加前N次訓(xùn)練循環(huán)過(guò)程：

其中，ε為匹配拒判閾值，C為與最大循環(huán)次數(shù)有關(guān)的常數(shù)，優(yōu)選取值為ε＝0.5，C＝100；

4.2.2)重建細(xì)分曲面

細(xì)分法是一種產(chǎn)生具有內(nèi)置多分辨結(jié)構(gòu)的光滑曲面的迭代方法，被廣泛應(yīng)用到計(jì)算機(jī)輔助幾何設(shè)計(jì)的曲面造型領(lǐng)域，細(xì)分法還與小波基以及相關(guān)的快速岸壁算法關(guān)聯(lián)。細(xì)分法由可被視為給定多面體曲面頂點(diǎn)的離散數(shù)據(jù)構(gòu)成的初始集合開(kāi)始，按照某種線性規(guī)則，初始集合遞歸地產(chǎn)生新的數(shù)據(jù)集，這個(gè)規(guī)則被定義為面具；如果規(guī)則選取合適，新的數(shù)據(jù)集將收斂到連續(xù)的曲面，因此，對(duì)于由固定有限支集的實(shí)序列面具{a(α):α∈Z^s}定義的細(xì)分法，應(yīng)用下面的規(guī)則會(huì)遞歸地得到序列v_k：

適當(dāng)?shù)剡x擇面具，由定義的多面體將趨于光滑的曲面，表示為φ是細(xì)分函數(shù)，是膨脹方程有緊支集的唯一解；

將前述過(guò)程獲得的密集點(diǎn)云信息作為起點(diǎn)，尋找這樣的多邊形頂點(diǎn)作為起始網(wǎng)格，在給定面具作用下，使得其細(xì)分極限曲面能夠擬合所有這些點(diǎn)云；

4.2.2.1)重建細(xì)分曲面

按照以下步驟實(shí)施：

步驟A：對(duì)雙目系統(tǒng)從不同角度拍攝并獲取的三維重建密集點(diǎn)云進(jìn)行拼合、去噪、補(bǔ)洞，形成被測(cè)體完整的密集點(diǎn)云信息，設(shè)這樣的點(diǎn)云為Q；

步驟B：對(duì)被測(cè)體的點(diǎn)云信息進(jìn)行簡(jiǎn)化與點(diǎn)云均勻化操作，依據(jù)選用面具的大小、被測(cè)物體的復(fù)雜程度以及最終細(xì)分曲面重建擬合精度等因素，對(duì)點(diǎn)云進(jìn)行一定比例的簡(jiǎn)化處理；

對(duì)于較為簡(jiǎn)單的面具，如Loop，Catmull-Clark等，簡(jiǎn)化后的點(diǎn)云數(shù)目為原始數(shù)目的1％左右將獲得較好的擬合效果；而對(duì)于更為復(fù)雜的面具，所需的簡(jiǎn)化后點(diǎn)云數(shù)將更少；

步驟C：將簡(jiǎn)化并均勻化的點(diǎn)云作為細(xì)分法的起始控制網(wǎng)格，對(duì)其進(jìn)行一次細(xì)分操作，考慮新的控制網(wǎng)格上每一個(gè)頂點(diǎn)，計(jì)算其在極限曲面上的位置，通過(guò)誤差估計(jì)E，調(diào)整細(xì)分原始控制網(wǎng)格使E＜ε，其中ε為預(yù)先設(shè)定的誤差容許閾值；

對(duì)于簡(jiǎn)單的面具，如Loop等，其細(xì)分函數(shù)φ是已知的，因此能夠直接獲得其極限位置：

其中，

然而對(duì)于更為一般的面具，通常其細(xì)分函數(shù)是未知的，其極限位置需通過(guò)多次細(xì)分迭代的方式來(lái)獲得；因此，作為更普遍的方法，需對(duì)控制網(wǎng)格進(jìn)行多次細(xì)分操作，而近似認(rèn)為此時(shí)的細(xì)分網(wǎng)格已經(jīng)在極限曲面上；

步驟D：對(duì)調(diào)整后的網(wǎng)格進(jìn)行再一次的細(xì)分操作，對(duì)新的控制網(wǎng)格上每一個(gè)頂點(diǎn)計(jì)算其極限位置，并通過(guò)誤差估計(jì)調(diào)整上一層的控制網(wǎng)格，直到誤差小于給定閾值為止；

對(duì)于調(diào)整后的控制網(wǎng)格，需進(jìn)一步優(yōu)化其上一層的網(wǎng)格直到起始網(wǎng)格為止，當(dāng)優(yōu)化多次后仍然不能收斂時(shí)，需進(jìn)行局部加細(xì)處理，通過(guò)對(duì)起始控制網(wǎng)格的局部加細(xì)，來(lái)獲得理想的擬合效果；

步驟E：重復(fù)以上細(xì)分與優(yōu)化過(guò)程，直到細(xì)分頂點(diǎn)數(shù)目大于某一預(yù)先設(shè)定的值為止，通常這個(gè)值就是原始點(diǎn)云的數(shù)目；

4.2.2.2)誤差分析與加細(xì)

細(xì)分操作后，對(duì)于所有的網(wǎng)格頂點(diǎn)，記為M，對(duì)于i∈M，其極限位置為在點(diǎn)云Q中尋找與其距離最小的點(diǎn)q_i∈Q，定義誤差函數(shù)E為：

其中，

事實(shí)上，細(xì)分曲面具有局部可控性，對(duì)每一個(gè)采樣頂點(diǎn)i,只有周圍的一些控制頂點(diǎn)能夠影響其最終的極限位置，這些頂點(diǎn)的多少與影響方式取決于面具的選擇，因此，通過(guò)每一點(diǎn)的誤差來(lái)迭代地優(yōu)化對(duì)其具有影響的控制頂點(diǎn)位置，但并非所有的情況都能收斂；當(dāng)經(jīng)過(guò)多次迭代曲面仍不能收斂于點(diǎn)云Q時(shí)，需進(jìn)行局部加細(xì)操作，對(duì)于局部難以擬合的復(fù)雜區(qū)域，對(duì)其原始控制網(wǎng)格進(jìn)行局部加細(xì)；加細(xì)的方法有很多，所需擬合的曲面越復(fù)雜，加細(xì)的程度越大。

單機(jī)分束立體視覺(jué)三維反求模型的應(yīng)用

專用螺桿以及成型內(nèi)外套件是高密度成型設(shè)備中的重要部件，為能壓制出符合要求的高密度棒料，在選用高硬度高耐磨性合金鋼材的同時(shí)，需對(duì)精密螺桿進(jìn)行包括螺旋尺寸、螺距、螺旋角度、加料段與壓縮段比例等方面的優(yōu)化設(shè)計(jì)，而此過(guò)程需在已有實(shí)物機(jī)型的基礎(chǔ)上進(jìn)行改進(jìn)與提高，因此，進(jìn)行實(shí)物螺桿及內(nèi)外套重建是優(yōu)化設(shè)計(jì)的基礎(chǔ)。根據(jù)本發(fā)明提出的理論和方法，開(kāi)發(fā)了單機(jī)分束立體視覺(jué)三維反求系統(tǒng)，包括復(fù)雜產(chǎn)品的立體圖像采集、點(diǎn)云重建、點(diǎn)云拼合、曲面擬合與曲面簡(jiǎn)化等功能模塊。

螺桿及內(nèi)套點(diǎn)云重建

由于被重建復(fù)雜產(chǎn)品能夠保持靜止?fàn)顟B(tài)，因此在使用用三腳架固定雙目系統(tǒng)的前提下，可采用雙相機(jī)對(duì)實(shí)物螺桿內(nèi)外套進(jìn)行立體采樣。

由于外套模型屬于規(guī)則造型，通過(guò)簡(jiǎn)單測(cè)量既可精確建模，因此，本系統(tǒng)只針對(duì)結(jié)構(gòu)更為復(fù)雜的內(nèi)套與螺桿進(jìn)行雙目立體視覺(jué)反求?？紤]到內(nèi)套的對(duì)稱性，因此只需對(duì)部分區(qū)域進(jìn)行反求，那些遮擋部分可用鏡像的方法獲取。

從不同角度對(duì)物體進(jìn)行立體拍攝，獲取相應(yīng)的反求點(diǎn)云，運(yùn)用ICP(Iterative Colsest Point)算法對(duì)齊點(diǎn)云后，刪除冗余點(diǎn)，獲得完整點(diǎn)云信息，整個(gè)過(guò)程基本可自動(dòng)完成。如圖3、圖4、圖5所示，分別為內(nèi)套一、內(nèi)套二、精密螺桿的點(diǎn)云反求結(jié)果，其中，圖3中左上圖為內(nèi)套一的原始照片，右圖為點(diǎn)云反求俯視圖，左下圖為點(diǎn)云反求立體圖；圖4中上排中圖為內(nèi)套二的原始照片，左上圖為點(diǎn)云反求立體圖一，右上圖為點(diǎn)云反求立體圖二，中下圖為點(diǎn)云反求俯視圖；圖5中左上圖為精密螺桿的原始照片，右上圖為點(diǎn)云反求立體圖；右下圖為點(diǎn)云反求主視圖；

螺桿及內(nèi)套的曲面重建與簡(jiǎn)化，對(duì)圖3、圖4、圖5中所重建的點(diǎn)云進(jìn)行簡(jiǎn)化并適當(dāng)人機(jī)交互，得到最終的精密重建結(jié)果圖，如圖6、圖7、圖8所示，即成。