專利名稱：三維主動視覺傳感器的多視點姿態(tài)估計和自標(biāo)定方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種三維主動視覺傳感器的多視點姿態(tài)估計和自標(biāo)定方法，屬于三維數(shù)字成像及造型技術(shù)。
背景技術(shù)：
三維數(shù)字成像及造型(3DIM-3D Digital Imaging and Modeling)是近年來國際上活躍研究的一個新興交叉學(xué)科領(lǐng)域。它被廣泛的應(yīng)用到反向工程，文物保護(hù)，醫(yī)學(xué)診斷，工業(yè)檢測以及虛擬現(xiàn)實等諸多方面。作為獲取三維信息的主要手段之一，基于相位映射的三維主動視覺傳感器具有速度快、分辨率高、非接觸、和全場數(shù)據(jù)獲取等優(yōu)點而受到廣泛關(guān)注和研究。求解傳感器的運動方向，估計傳感器在不同視點的位置姿態(tài)是一項重要工作。由于深度傳感器的視場有限，并且受到觀察方向和物體本身形狀的限制，不可能一次得到描述物體形狀的全部信息。在實際應(yīng)用中，需要把物體放在傳感器前的工作區(qū)域內(nèi)，從一個視點得到描述物體形狀的深度圖像，然后移動傳感器，在新的視點得到物體其他部分的深度信息。重復(fù)此過程，直到獲得物體的全部深度信息為止。因此，準(zhǔn)確提供各個視點的位置姿態(tài)信息是保證在統(tǒng)一坐標(biāo)系中校準(zhǔn)和融合多視點采集的深度圖像數(shù)據(jù)的關(guān)鍵。
另外，在使用三維視覺傳感器進(jìn)行三維測量之前，傳感器必須經(jīng)過精確的標(biāo)定以獲得傳感器的內(nèi)部參數(shù)和傳感器的結(jié)構(gòu)參數(shù)。傳統(tǒng)的標(biāo)定方法自動化程度低，需要一個已知精確坐標(biāo)的二維標(biāo)定靶，和一個高精度的平移臺沿二維標(biāo)靶的垂直方向移動，以完成三維空間的標(biāo)定。Hu等人(Optical Engineering，Vol.42，No.2，2003，pp487-493)和邵雙運等(光學(xué)學(xué)報，Vol.25，No.2，2005，pp 203-206)都采用了該方法。對于這類方法，如果測量系統(tǒng)的結(jié)構(gòu)參數(shù)發(fā)生變化，例如工作距離發(fā)生變化，則整個傳感器必須重新進(jìn)行標(biāo)定，從而無法實現(xiàn)方便的、流動式的測量。而這對于需要經(jīng)常性調(diào)整傳感器位置來進(jìn)行多視點測量的場合，頻繁的重復(fù)標(biāo)定使這樣的傳感器幾乎很難實用。
因此，我們希望三維視覺傳感器能夠具有同步自動姿態(tài)估計和自動標(biāo)定的功能，不再需要使用標(biāo)準(zhǔn)標(biāo)定設(shè)備獲取外部的三維數(shù)據(jù)。有了這樣的能力，無論視覺傳感器移動到任何視點，都能夠自動得到該視點的姿態(tài)位置，并且自動完成標(biāo)定，使三維測量可以不中斷地進(jìn)行下去。
近年來，對視覺傳感器的自標(biāo)定技術(shù)的研究受到很大關(guān)注，但這些可行方法中的多數(shù)是對被動視覺傳感器標(biāo)定方法(如立體視覺)和基于運動的深度感知的發(fā)展。而對基于相位映射的三維主動視覺傳感器，標(biāo)定方法大多是靜態(tài)的人工操作，而且現(xiàn)有的攝像機(jī)自標(biāo)定方法，如Zhang(IEEE Transactions on Robotics and Automation，Vol.12，No.1，1996，pp103-113)，也不能直接應(yīng)用在三維主動視覺傳感器。
可對比的技術(shù)文獻(xiàn)有下以五篇[1]發(fā)明專利申請?zhí)?2156599.6[2]發(fā)明專利申請?zhí)?00510061174.x[3]Hu Q.，Huang P.S.，F(xiàn)u Q.，et al.Calibration of a three-dimensional shape measurementsystem[J].Opt.Eng.，2003，42(2)487-4938[4]邵雙運，蘇顯渝，王華等.調(diào)制度測量輪廓術(shù)的系統(tǒng)標(biāo)定.光學(xué)學(xué)報，2005，25(2)203-206[5]Zhang Z.，Luong Q.，F(xiàn)augeras O..Motion of an uncalibrated stereo rigself-calibration andmetric reconstruction.IEEE Transactions on Robotics and Automation，1996，12(1)103-11
發(fā)明內(nèi)容本發(fā)明的目的在于提供一種三維主動視覺傳感器的多視點姿態(tài)估計和自標(biāo)定方法，該方法能夠提高三維主動視覺傳感器的多視點姿態(tài)估計的精度及同步自標(biāo)定傳感器參數(shù)，改善和提高了三維主動視覺傳感器的實用性。
本發(fā)明是通過以下技術(shù)方案加以實現(xiàn)的一種三維主動視覺傳感器的多視點姿態(tài)估計和自標(biāo)定方法，所述的視覺傳感器是由數(shù)字投影儀和攝像機(jī)組成，它們位置相對固定，在測量范圍內(nèi)對放置物體進(jìn)行測量，其特征在于包括以下步驟1.傳感器在V1視點位置上，順序進(jìn)行如下投射和采集過程1)由攝像機(jī)采集被測物體的紋理圖像，并存儲到計算機(jī)中；2)由計算機(jī)生成一組豎直條紋圖像，用數(shù)字投影儀向被測物體投射，由于物體的深度變化導(dǎo)致編碼條紋圖像的產(chǎn)生，由攝像機(jī)采集豎直編碼條紋圖像，并存儲到計算機(jī)中，然后通過條紋自動分析技術(shù)，解碼獲得物體的相對相位圖像；3)由計算機(jī)生成一幅位于圖像的橫向中心處且只有一條豎直線的圖像，用數(shù)字投影儀將該圖像投射到被測物體表面，并用攝像機(jī)采集后存儲到計算機(jī)中，通過這條輔助的豎直中心線，將相對相位圖像轉(zhuǎn)換為絕對相位圖像；4)將豎直條紋圖像，旋轉(zhuǎn)90度成水平條紋圖像，再由數(shù)字投影儀向被測物體投射，攝像機(jī)采集該水平編碼條紋圖像，存儲到計算機(jī)中；5)同樣，將豎直中心線圖像，旋轉(zhuǎn)90度成水平中心線圖像，用數(shù)字投影儀將該圖像投射到被測物體表面，并用攝像機(jī)采集后存儲到計算機(jī)中；2.對步驟1得到的物體的紋理圖像、豎直編碼條紋圖像、豎直中心線圖像、水平編碼條紋圖像以及水平中心線圖像，進(jìn)行如下處理1)對紋理圖像進(jìn)行特征分析提取物體特征點的二維圖像坐標(biāo)，即特征點在攝像機(jī)成像平面上的坐標(biāo)(u，v)；2)對豎直編碼條紋圖像進(jìn)行條紋自動分析用FFT方法從變形條紋圖中解調(diào)出主值范圍內(nèi)相位函數(shù)，然后用相位展開算法提取展開相位圖Φu；3)對豎直中心線圖像進(jìn)行特征分析對圖像二值化后，提取中心線所占的二維圖像坐標(biāo)；4)利用相位到坐標(biāo)的變換算法，得到特征點在投影儀投射平面上的橫向坐標(biāo)，該算法為先將豎直條紋的展開相位圖Φu結(jié)合豎直中心線，變換為絕對相位圖Φa，Φa(x,y)=Φu(x,y)-Φuk(i,j),]]>其中Φuk為中心線所在象素位置(i，j)的相位值；然后，得到任意特征點M在投影平面上的對應(yīng)位置的橫坐標(biāo)u′，u′=ΦaM(u,v)2πp,]]>其中ΦaM為特征點M的絕對相位，p是投射條紋的空間周期；5)同理，重復(fù)本步驟的2)、3)、4)過程，處理水平編碼條紋圖像以及水平中心線圖像，得到任意特征點M在投影平面上的對應(yīng)位置的縱坐標(biāo)v′，v′=ΦaM(u,v)2πp,]]>此處的ΦaM(u，v)通過處理水平編碼條紋圖像以及水平中心線圖像得到；6)至此，得到物體上任意特征點M在成像平面和投影平面上的對應(yīng)坐標(biāo)，(u，v)和(u′，v′)，為利用極線幾何約束，作好數(shù)據(jù)的初始化準(zhǔn)備；3.在傳感器測量范圍內(nèi)，且確保與前一個視點采集的圖像有重合區(qū)域的前題下，自由移動傳感器到新的視點V2，對物體進(jìn)行投射和采集過程，重復(fù)步驟1和步驟2，在視點V2下，得到物體上任意特征點M在成像平面和投影平面上的對應(yīng)坐標(biāo)(u，v)和(u′，v′)；4.利用極線幾何約束，即以極線方程m~2TFm~1=0,]]>其中 和 是成像平面和投影面上的對應(yīng)點的齊次坐標(biāo)表示，F(xiàn)稱為基本矩陣，F(xiàn)=Kp-T[t]×RKc-1,]]>考慮數(shù)據(jù)噪聲影響建立優(yōu)化方程minKc,Kp,R*,t*,R,t[Σj=1p(m~2jTF12m~1j)2],]]>其中p表示特征點的個數(shù)，F(xiàn)12表示平面1和平面2之間的基本矩陣，得到該視點相對于物體坐標(biāo)系的旋轉(zhuǎn)矩陣R和平移矩陣t，傳感器的內(nèi)部參數(shù)(Kc，Kp)，以及傳感器的結(jié)構(gòu)參數(shù)(R*，t*)。其中求解Kc，Kp，R*，t*為傳感器參數(shù)的自標(biāo)定，求解R，t稱為視點姿態(tài)估計；5.將多視點位置姿態(tài)進(jìn)行存儲，用于后續(xù)的多視點深度圖像匹配及合成使用。
本發(fā)明的優(yōu)點是本發(fā)明首次將極線幾何約束原理，應(yīng)用到基于相位映射的三維主動視覺傳感器的多視點姿態(tài)估計和同步自動標(biāo)定傳感器參數(shù)的研究上。提出了“相位-坐標(biāo)”的變換方法，利用投射正交的條紋圖像，快速尋找成像平面和投影平面上的對應(yīng)點。在此基礎(chǔ)上將極線約束應(yīng)用于主動三維視覺傳感器，建立了優(yōu)化方程的數(shù)學(xué)模型，求解傳感器在多視點運動姿態(tài)和三維傳感器結(jié)構(gòu)參數(shù)。本方法不需要輔助標(biāo)定設(shè)備，可以提高標(biāo)定效率，特別適合于三維視覺傳感器的現(xiàn)場多視點姿態(tài)估計和自標(biāo)定傳感器參數(shù)。另外，該方法對諸如復(fù)雜物體的自動化檢驗、機(jī)器人定位等領(lǐng)域的應(yīng)用都有重要意義。


圖1是實現(xiàn)本發(fā)明方法的三維主動視覺傳感器布置示意圖。圖中，101為數(shù)字投影儀，103為攝像機(jī)，102為數(shù)字投影儀101的投影鏡的出瞳P，104為攝像機(jī)103的成像透鏡的入瞳E，調(diào)節(jié)桿105用來調(diào)節(jié)攝像機(jī)103的高度和角度，106為計算機(jī)。
圖2是在立體視覺里極線幾何約束圖。
圖3是豎直條紋圖像。
圖4是水平條紋圖像。
圖5是豎直中心線圖像。
圖6是水平中心線圖像。
圖7實例紋理圖像。
圖8是兩個視點對物體進(jìn)行測量的示意圖。圖中V1和V2表示兩個視點，在第一個視點V1，攝像機(jī)和投影儀的成像平面和投影平面分別為I1，I2，在第二個視點V2，相應(yīng)的成像平面和投影平面為I3，I4。C1和C3表示攝像機(jī)的入瞳，C2和C4表示投影儀的出瞳，mi(i＝1，...，4)，表示空間點M在4個平面上的對應(yīng)點。(R*t*)表示攝像機(jī)與投影儀之間的傳感器結(jié)構(gòu)參數(shù)，(Rltl)表示深度傳感器由視點V1變換到視點V2時，攝像機(jī)的位置變換，(Rrtr)表示深度傳感器由視點V1變換到視點V2時，投影儀的位置變換。
圖9視點V1的采集得到的點云圖像(深度圖像)。
圖10視點V2的采集得到的點云圖像(深度圖像)。
圖11為變換到同一個坐標(biāo)系下，匹配后的網(wǎng)格圖像。
具體實施例方式
下面對本發(fā)明方法做進(jìn)一步詳細(xì)說明。極線約束是立體視覺的重要原理之一。但是它不能直接應(yīng)用到主動視覺傳感器。本發(fā)明首次將極線幾何約束原理，應(yīng)用到基于相位映射的三維主動視覺傳感器的多視點姿態(tài)估計和同步自動標(biāo)定傳感器參數(shù)上。如圖2所示，在雙目立體視覺里極線幾何約束的圖示。當(dāng)兩個攝像機(jī)同時對物體拍攝時，獲得圖像I1和I2。如果m1和m2是空間一點M在兩圖像上的投影點，稱m1和m2為對應(yīng)點。令C1和C2分別是兩個攝像機(jī)的光心，點m2在線l2上，稱l2為在圖像I2上對應(yīng)于點m1(位于圖像I1上)的極線。點m1在線l1上，稱l1為圖像I1上對應(yīng)于點m2的極線。令(Rt)為第二個攝像機(jī)相對于第一攝像機(jī)的位置變換，K1，K2分別為兩攝像機(jī)的內(nèi)參矩陣，R，K1，K2是3×3的矩陣，t是3×1的矩陣。由針孔模型推出m~2TFm~1=0---(1)]]>F=K2-T[t]×RK1-1---(2)]]>公式(1)稱為極線方程。 和 是對應(yīng)點m1和m2的齊次表示。m1的極線l2表示為l2=Fm~1=(α,β,γ),]]>m2的極線l1表示為l1=FTm~2.]]>可以看出，只要知道空間任意點在兩個攝像機(jī)成像平面上的對應(yīng)點，就可以利用極線幾何約束求出兩個攝像機(jī)的內(nèi)部參數(shù)K1，K2和兩個攝像機(jī)的相對姿態(tài)位置Rt。
相位到坐標(biāo)的變換因為投影儀的投射過程是攝像機(jī)的成像過程的逆過程，因此，我們可以將極線幾何約束原理應(yīng)用到三維主動視覺傳感器。而空間任意點在投影儀的投射平面和攝像機(jī)的成像平面上的對應(yīng)點，可以通過相位到坐標(biāo)的變換方法求出。我們利用5幅圖像(物體的紋理圖像，豎直編碼條紋圖像，豎直中心線圖像，水平編碼條紋圖像以及水平中心線圖像)，就可以確定出空間任意點在投影儀的投射平面和攝像機(jī)的成像平面上的對應(yīng)點。
紋理圖像提供物體上特征點的二維圖像坐標(biāo)(u，v)。由豎直編碼條紋圖像和豎直中心線圖像，計算絕對相位圖像Φa，Φa(x,y)=Φu(x,y)-Φuk(i,j),]]>進(jìn)而得到特征點在投影儀投射平面上的橫坐標(biāo)u′，u′=ΦaM(u,v)2πp.]]>同理，由水平編碼條紋圖像和水平中心線圖像，再次計算絕對相位圖像Φa，進(jìn)而得到特征點在投影儀投射平面上的縱坐標(biāo)v′。從而得到空間任意點在投影儀的投射平面和攝像機(jī)的成像平面上的對應(yīng)點(u，v)和(u′，v′)。
多視點姿態(tài)估計和自標(biāo)定KcKp，攝像機(jī)和投影儀的內(nèi)部參數(shù)；R*t*，攝像機(jī)和投影儀的相對位置關(guān)系；Riti，各個視點的運動參數(shù)。如圖8，以兩個視點為例。共有攝像機(jī)的2個成像平面，投影儀的2個投射平面。則空間任意點在4個平面上都有對應(yīng)點，可以利用極線幾何約束，在任意兩個平面間的建立優(yōu)化方程minKc,Kp,R*,t*,R,t[Σj=1p(m~2jTF12m~1j)2]---(3)]]>將4幅圖像，兩兩組合后，6個優(yōu)化方程(3)累加到一起組成方程組，用Levenberg-Marquart(LM)優(yōu)化方法求解?？梢缘玫矫恳粋€視點位置的姿態(tài)位置和傳感器的參數(shù)。
本發(fā)明方法的具體步驟如下以實物(如圖7)為例，在兩個視點進(jìn)行采集。求解出視點的姿態(tài)位置，同時標(biāo)定傳感器參數(shù)。
1.傳感器在第1個視點位置上，順序操作如下投射，采集過程1)由攝像機(jī)采集被測物體的紋理圖像，并存儲到計算機(jī)中(如圖7)；2)由計算機(jī)生成一組豎直條紋圖案(如圖3)。用數(shù)字投影儀向被測物體投射，由于物體的深度變化導(dǎo)致編碼條紋圖像的產(chǎn)生，由攝像機(jī)采集豎直編碼條紋圖，并存儲到計算機(jī)中。然后通過條紋自動分析技術(shù)解碼可以獲得物體的相對相位圖像；3)由計算機(jī)生成一幅位于圖像的橫向中心處且只有一條豎直線的圖像(如圖5)。用數(shù)字投影儀將該圖像投射到被測物體表面，并用攝像機(jī)采集后存儲到計算機(jī)中。通過這條輔助的中心線，將相對相位圖像轉(zhuǎn)換為絕對相位圖像；4)將豎直的條紋圖案，旋轉(zhuǎn)90度成水平，即正交方向(如圖4)。再由數(shù)字投影儀向被測物體投射，攝像機(jī)采集水平編碼條紋圖像，存儲到計算機(jī)中；5)同樣，將豎直中心線圖像，旋轉(zhuǎn)90度成水平中心線圖像(如圖6)。用數(shù)字投影儀將該圖像投射到被測物體表面，并用攝像機(jī)采集后存儲到計算機(jī)中；2.對步驟1得到的物體的紋理圖像，豎直編碼條紋圖像，豎直中心線圖像，水平編碼條紋圖像以及水平中心線圖像，然后對圖像進(jìn)行處理1)對紋理圖像進(jìn)行特征分析提取物體特征點的二維圖像坐標(biāo)，即特征點在攝像機(jī)成像平面上的坐標(biāo)(u，v)；2)對豎直編碼條紋圖像進(jìn)行條紋自動分析用FFT方法從變形條紋圖中解調(diào)出主值范圍內(nèi)相位函數(shù)，然后用相位展開算法提取展開相位圖Φu；3)對豎直中心線圖像進(jìn)行特征分析對圖像二值化后，提取中心線所占的二維圖像坐標(biāo)；4)利用相位到坐標(biāo)的變換算法，得到特征點在投影儀投射平面上的橫向坐標(biāo)。該算法為先將豎直條紋的展開相位圖Φu結(jié)合豎直中心線，變換為絕對相位圖Φa，Φa(x,y)=Φu(x,y)-Φuk(i,j),]]>Φuk為中心線所在象素位置(i，j)的相位值。然后，可以得到任意特征點M在投影平面上的對應(yīng)位置的橫坐標(biāo)u′，u′=ΦaM(u,v)2πp,]]>其中ΦaM為特征點M的絕對相位，p是投射條紋的空間周期；5)同理，重復(fù)本步驟的2)、3)、4)過程，處理水平相位圖和水平中心線，可以得到任意特征點M在投影平面上的對應(yīng)位置的縱坐標(biāo)v′，v′=ΦaM(u,v)2πp,]]>此處的ΦaM(u，v)通過處理水平編碼條紋圖以及水平中心線圖像得到；6)至此，得到物體上任意特征點M在成像平面和投影平面上的對應(yīng)坐標(biāo)，(u，v)和(u′，v′)，為利用極線幾何約束，作好數(shù)據(jù)的初始化準(zhǔn)備；3.在傳感器測量范圍內(nèi)，且確保與前一個視點采集的圖像有重合區(qū)域的前題下，自由移動傳感器到新的視點V2并對物體進(jìn)行采集，重復(fù)步驟1和步驟2得到新的視點下，特征點在成像平面和投影平面上的對應(yīng)坐標(biāo)(u，v)和(u′，v′)；4.兩個視點，共有攝像機(jī)的2個成像平面，投影儀的2個投射平面。則空間任意點在4個平面上都有對應(yīng)點，利用極線幾何約束，建立優(yōu)化方程minKc,Kp,R*,t*,R,t[Σj=1p(m~2jTF12m~1j)2+(m~3jTF13m~1j)2+(m~4jTF14m~1j)2+(m~3jTF23m~2j)2+(m~4jTF24m~2j)2+(m~4jTF34m~3j)2]---(4)]]>(其中p表示特征點的個數(shù)，F(xiàn)12，F(xiàn)13，F(xiàn)14，F(xiàn)23，F(xiàn)24，F(xiàn)34表示兩兩平面之間的基本矩陣， 是對應(yīng)點的齊次坐標(biāo)表示)，得到兩個視點分別相對于物體坐標(biāo)系的姿態(tài)位置(R1，t1)和(R2，t2)，傳感器的內(nèi)部參數(shù)(Kc，Kp)，以及傳感器的結(jié)構(gòu)參數(shù)(R*，t*)。
5.存儲兩個視點位置姿態(tài)，以備后續(xù)的多視點深度圖像匹配及合成使用。
實施例實際設(shè)計的三維視覺傳感器的結(jié)構(gòu)如圖1所示。101為數(shù)字投影儀，103為攝像機(jī)。102為數(shù)字投影儀101的投影鏡的出瞳P，104為攝像機(jī)103的成像透鏡的入瞳E。調(diào)節(jié)桿105用來調(diào)節(jié)攝像機(jī)103的高度和角度，106為計算機(jī)。
按照上面敘述的步驟，在兩個視點對實物(如圖7)進(jìn)行采集。求解出視點的姿態(tài)位置，同時標(biāo)定傳感器參數(shù)。
標(biāo)定的結(jié)果為(1)攝像機(jī)的內(nèi)部參數(shù)Kc=3564.36-5.99209252.12703552.63229.525001pixel]]>投影儀的內(nèi)部參數(shù)Kp=3044.83-5.30216366.42503023.41176.327001pixel]]>投影儀和攝像機(jī)之間的傳感器結(jié)構(gòu)參數(shù)R*=0.98960.01170.1437-0.00321-0.0585-0.1434-0.05240.9880---t*=-15.000440.3660.085]]>(2)視點1的姿態(tài)位置為R1=0.991861-0.01286530.126676-0.00945275-0.999577-0.02750330.1269770.026082-0.991563---t1=-26.3503-43.86321277.3]]>視點2的姿態(tài)位置為
R2=0.999781-0.0118122-0.017255-0.0123243-0.999478-0.0298786-0.01689310.0300847-0.999405---t2=-52.1421-41.29821332.25]]>(3)設(shè)定一個精確的三維標(biāo)定參照物，檢驗標(biāo)定的結(jié)果。在x，y，z三個方向的誤差標(biāo)準(zhǔn)差分別為0.0927mm，0.0750mm和0.2562mm。
(4)對一個真實物體在兩個視點測量，利用求得的視點姿態(tài)，將兩個視點的圖像，變換到同一坐標(biāo)系內(nèi)。圖9和圖10分別為兩個視點的采集得到的點云圖像(深度圖像)。圖11為變換到同一個坐標(biāo)系下，匹配后的網(wǎng)格圖像。
權(quán)利要求
1.一種三維主動視覺傳感器的多視點姿態(tài)估計和自標(biāo)定方法，所述的視覺傳感器是由數(shù)字投影儀和攝像機(jī)組成，它們位置相對固定，在測量范圍內(nèi)對放置物體進(jìn)行測量，其特征在于包括以下步驟1)在V1視點位置上，順序進(jìn)行如下投射和采集過程(1)攝像機(jī)采集被測物體的紋理圖像，并存儲到計算機(jī)中；(2)由計算機(jī)生成一組豎直條紋圖像，用數(shù)字投影儀向被測物體投射，由于物體的深度變化導(dǎo)致編碼條紋圖像的產(chǎn)生，由攝像機(jī)采集豎直編碼條紋圖像，并存儲到計算機(jī)中，然后通過條紋自動分析技術(shù)，解碼獲得物體的相對相位圖像；(3)由計算機(jī)生成一幅位于圖像的橫向中心處且只有一條豎直線的圖像，用數(shù)字投影儀將該圖像投射到被測物體表面，并用攝像機(jī)采集后存儲到計算機(jī)中，通過這條輔助的豎直中心線，將相對相位圖像轉(zhuǎn)換為絕對相位圖像；(4)將豎直條紋圖像，旋轉(zhuǎn)90度成水平條紋圖像，再由數(shù)字投影儀向被測物體投射，攝像機(jī)采集該水平編碼條紋圖像，存儲到計算機(jī)中；(5)同樣，將豎直中心線圖像，旋轉(zhuǎn)90度成水平中心線圖像，用數(shù)字投影儀將該圖像投射到被測物體表面，并用攝像機(jī)采集后存儲到計算機(jī)中；2)對步驟1)得到的物體的紋理圖像、豎直編碼條紋圖像、豎直中心線圖像、水平編碼條紋圖像以及水平中心線圖像，進(jìn)行如下處理(1)對紋理圖像進(jìn)行特征分析提取物體特征點的二維圖像坐標(biāo)，即特征點在攝像機(jī)成像平面上的坐標(biāo)(u，v)；(2)對豎直編碼條紋圖像進(jìn)行條紋自動分析用FFT方法從變形條紋圖中解調(diào)出主值范圍內(nèi)相位函數(shù)，然后用相位展開算法提取展開相位圖Φu；(3)對豎直中心線圖像進(jìn)行特征分析對圖像二值化后，提取中心線所占的二維圖像坐標(biāo)；(4)利用相位到坐標(biāo)的變換算法，得到特征點在投影儀投射平面上的橫向坐標(biāo)，該算法為先將豎直條紋的展開相位圖Φu結(jié)合豎直中心線，變換為絕對相位圖Φa，Φa(x,y)=Φu(x,y)-Φuk(i,j),]]>其中Φuk為中心線所在象素位置(i，j)的相位值；然后，得到任意特征點M在投影平面上的對應(yīng)位置的橫坐標(biāo)u′，u′=ΦaM(u,v)2πp,]]>其中ΦaM為特征點M的絕對相位，p是投射條紋的空間周期；(5)同理，重復(fù)本步驟的(2)、(3)、(4)過程，處理水平編碼條紋圖以及水平中心線圖像，得到任意特征點M在投影平面上的對應(yīng)位置的縱坐標(biāo)v′，v′=ΦaM(u,v)2πp,]]>此處的ΦaM(u，v)通過處理水平編碼條紋圖以及水平中心線圖像得到；(6)至此，得到物體上任意特征點M在成像平面和投影平面上的對應(yīng)坐標(biāo)，(u，v)和(u′，v′)，為利用極線幾何約束，作好數(shù)據(jù)的初始化準(zhǔn)備；3)在傳感器測量范圍內(nèi)，且確保與前一個視點采集的圖像有重合區(qū)域的前題下，自由移動傳感器到新的視點V2，對物體進(jìn)行投射和采集過程，重復(fù)步驟1)和步驟2)，在視點V2下，得到物體上任意特征點M在成像平面和投影平面上的對應(yīng)坐標(biāo)(u，v)和(u′，v′)；4)利用極線幾何約束，即以極線方程m~2TFm~1=0,]]>其中 和 是成像平面和投影平面上的對應(yīng)點的齊次坐標(biāo)表示，F(xiàn)稱為基本矩陣，F(xiàn)=Kp-T[t]×RKc-1,]]>建立優(yōu)化方程minKc,Kp,R*,t*,R,t[Σj=1p(m~2jTF12m~1j)2],]]>其中p表示特征點的個數(shù)，F(xiàn)12表示平面1和平面2之間的基本矩陣，得到該視點相對于物體坐標(biāo)系的旋轉(zhuǎn)矩陣R和平移矩陣t，傳感器的內(nèi)部參數(shù)(Kc，Kp)，以及傳感器的結(jié)構(gòu)參數(shù)(R*，t*)，其中求解Kc，Kp，R*，t*稱為傳感器參數(shù)的自標(biāo)定，求解R，t稱為視點姿態(tài)估計；5)將多視點位置姿態(tài)進(jìn)行存儲，用于后續(xù)的多視點深度圖像匹配及合成使用。
全文摘要
本發(fā)明公開了一種三維主動視覺傳感器的多視點姿態(tài)估計和自標(biāo)定方法，屬于三維數(shù)字成像及造型技術(shù)。所述的三維主動視覺傳感器由位置相對固定的數(shù)字投影儀和攝像機(jī)組成。該方法的步驟為采集物體紋理圖像；向物體先后投射一組相互正交的條紋圖，并采集相應(yīng)的編碼條紋圖像；計算紋理圖像的特征點二維坐標(biāo)和編碼條紋圖像的相位值；利用相位到坐標(biāo)的變換算法求取物體的特征點在數(shù)字投影儀的投射平面和攝像機(jī)的成像平面上的對應(yīng)關(guān)系；變換視點，重復(fù)上述步驟，利用極線幾何約束原理，建立優(yōu)化方程，自動估計多視點位置姿態(tài)和自標(biāo)定三維視覺傳感器參數(shù)。該方法結(jié)果準(zhǔn)確，且自動，特別適合于三維視覺傳感器的現(xiàn)場多視點姿態(tài)估計和傳感器參數(shù)自標(biāo)定。
文檔編號G06T7/00GK1888814SQ20061001490
公開日2007年1月3日 申請日期2006年7月25日 優(yōu)先權(quán)日2006年7月25日
發(fā)明者彭翔, 丁雅斌, 田勁東 申請人:深圳大學(xué)