專利名稱：一種基于立體視覺的實(shí)拍低紋理圖像重建方法
技術(shù)領(lǐng)域：
本發(fā)明屬于雙目立體視覺技術(shù)領(lǐng)域，涉及到基于立體視覺的實(shí)拍低紋理圖像重建 問(wèn)題，尤其涉及到一種在自適應(yīng)多邊形匹配窗口內(nèi)引入基于基準(zhǔn)圖像中像素點(diǎn)的特異性和 基準(zhǔn)圖像和配準(zhǔn)圖像間像素點(diǎn)對(duì)的不相似性計(jì)算匹配度及基于樹形動(dòng)態(tài)規(guī)劃算法來(lái)獲得 實(shí)拍低紋理圖像三維點(diǎn)云的方法。
背景技術(shù)：
雙目立體視覺技術(shù)是一種被動(dòng)式的三維測(cè)量技術(shù)，要解決的主要任務(wù)有攝像機(jī) 標(biāo)定，立體匹配和三維信息恢復(fù)。被動(dòng)式立體視覺技術(shù)可以獲得稠密的三維點(diǎn)云坐標(biāo)，無(wú)需 向被測(cè)物體投影光柵等輔助信息，具有人機(jī)交互友好，硬件配置要求低，成本便宜及自動(dòng)化 程度較高等優(yōu)點(diǎn)，是三維重建領(lǐng)域中比較流行的一種技術(shù)。立體匹配是立體視覺中最重要 的步驟，主要任務(wù)是首先通過(guò)雙目或多目圖像匹配得到視差圖，然后通過(guò)三角測(cè)量關(guān)系得 到物體的景深。根據(jù)約束方式的不同匹配方法分為兩種一種是對(duì)圖像周圍小區(qū)域進(jìn)行約 束的局部匹配方法，另一種是對(duì)掃描線甚至整個(gè)圖像進(jìn)行約束的全局匹配方法。局部匹配 方法的優(yōu)點(diǎn)是計(jì)算量小速度快，但由于局部尋優(yōu)，對(duì)低紋理及遮擋區(qū)域比較敏感，全局匹配 方法的優(yōu)點(diǎn)是正確匹配率較高，主要有動(dòng)態(tài)規(guī)劃，置信度傳播和圖割等，但計(jì)算量比局部匹 配方法大，耗時(shí)久，其中動(dòng)態(tài)規(guī)劃兼具計(jì)算效率高，匹配效果較好的特點(diǎn)，利于實(shí)拍圖像的 重建?，F(xiàn)有的基于雙目立體視覺的實(shí)拍低紋理圖像重建算法存在以下幾個(gè)方面的缺占.
^ \\\ ·(1)在匹配度的計(jì)算中單純的在長(zhǎng)方形或正方形支撐窗口中采用方差和、絕對(duì)差 和、零均值歸一化及自適應(yīng)權(quán)重測(cè)度等匹配測(cè)度函數(shù)計(jì)算；支撐窗口過(guò)小則不足以包含足 夠的灰度變化來(lái)指導(dǎo)匹配而錯(cuò)誤估計(jì)視差值；過(guò)大則會(huì)包含相同不同視差范圍內(nèi)的點(diǎn)使得 匹配度達(dá)到極值時(shí)并不代表正確匹配位置并模糊區(qū)域邊界信息；而且上述測(cè)度函數(shù)在低紋 理區(qū)域可能不足以區(qū)分模糊像素點(diǎn)導(dǎo)致多對(duì)一的錯(cuò)誤匹配；(2)單純的采用傳統(tǒng)動(dòng)態(tài)規(guī)劃全局最優(yōu)算法，傳統(tǒng)的動(dòng)態(tài)規(guī)劃單獨(dú)掃描每一條掃 描線，缺乏水平連續(xù)性約束和垂直連續(xù)性約束的融合，單點(diǎn)像素的誤匹配時(shí)會(huì)影響同一條 掃描線上后續(xù)像素的匹配而產(chǎn)生明顯的條紋效應(yīng)；而且對(duì)于灰度實(shí)拍圖像紋理不夠充分而 且存在噪聲的情況下，低紋理及視差跳變區(qū)域的待匹配點(diǎn)在正確的匹配上不能捕捉到足夠 的正確紋理信息就容易導(dǎo)致錯(cuò)誤的匹配結(jié)果，導(dǎo)致重建點(diǎn)云結(jié)果不平滑及邊界不清晰。由于存在以上缺點(diǎn)，現(xiàn)有的實(shí)拍低紋理圖像重建算法在實(shí)際應(yīng)用中并不能得到令 人滿意的重建效果。

發(fā)明內(nèi)容
技術(shù)問(wèn)題本發(fā)明的目的是提供一種基于雙目立體視覺的實(shí)拍低紋理圖像重建方 法，能夠準(zhǔn)確快速自動(dòng)重建低紋理實(shí)拍圖像三維點(diǎn)云。
技術(shù)方案首先進(jìn)行攝像機(jī)標(biāo)定，然后采集兩幅圖像，根據(jù)標(biāo)定數(shù)據(jù)進(jìn)行對(duì)極線校 正和圖像變換，然后經(jīng)過(guò)高斯濾波后在灰度信息和空間距離的約束下計(jì)算每個(gè)像素點(diǎn)的自 適應(yīng)多邊形支撐窗口，利用一種基于像素點(diǎn)自身的特異性和像素點(diǎn)間相似性的匹配測(cè)度函 數(shù)計(jì)算像素點(diǎn)間的匹配度，增大低紋理區(qū)域及重復(fù)紋理區(qū)域像素間匹配代價(jià)的區(qū)分度；根 據(jù)得到的匹配度分別以左右圖像為匹配基元采用一種全局意義上的樹形動(dòng)態(tài)規(guī)劃對(duì)圖像 進(jìn)行逐點(diǎn)匹配，之后在左右一致性準(zhǔn)則的基礎(chǔ)上運(yùn)用一種簡(jiǎn)單有效的視差校正方法消除誤 匹配得到最終視差圖；最后利用標(biāo)定數(shù)據(jù)和匹配結(jié)果重建出人臉三維點(diǎn)云坐標(biāo)并顯示。該重建方法依次含有下列步驟步驟1:圖像獲取使用雙目攝像機(jī)獲取圖像，首先調(diào)整雙目攝像機(jī)使其光軸基本平行并使左右鏡角 度處于合適的位置，然后同時(shí)各拍攝一幅圖像，其中左鏡頭拍攝的為左圖像，右鏡頭拍攝的 為右圖像；步驟2:攝像機(jī)標(biāo)定分別對(duì)兩臺(tái)攝像機(jī)進(jìn)行標(biāo)定，獲得各自的內(nèi)參數(shù)矩陣~、AK和外參數(shù)矩陣風(fēng)tj、 [Rr tJ ；步驟3 對(duì)極線幾何校正及圖像變換采用步驟2得到的內(nèi)外參運(yùn)用極線校正方法對(duì)所拍攝的左右圖像進(jìn)行極線校正 得到平行式雙目視覺模型，使匹配像素對(duì)處于同一掃描線上；步驟4:計(jì)算視差空間圖，步驟5 樹形動(dòng)態(tài)規(guī)劃完成稠密匹配以像素點(diǎn)px, y為基準(zhǔn)，用箭頭表示一種前驅(qū)后繼關(guān)系，箭頭從前驅(qū)節(jié)點(diǎn)出發(fā)指 向后繼節(jié)點(diǎn)；在以y為縱坐標(biāo)的圖像行上從最左邊的像素點(diǎn)開始用箭頭指向其右邊像素 點(diǎn)直到Px,y，從最右邊的像素點(diǎn)開始用箭頭指向其左邊的像素點(diǎn)直到Px,y，然后在以χ為 橫坐標(biāo)的圖像列上從最上邊的像素點(diǎn)開始用箭頭指向其下方的像素點(diǎn)直到Px,y，從最下 面的相似度開始用箭頭指向其上方的像素點(diǎn)直到Px, y ；這樣就構(gòu)造了以像素點(diǎn)Px, y為根 節(jié)點(diǎn)的樹，在根節(jié)點(diǎn)為px,y的樹上用傳統(tǒng)動(dòng)態(tài)規(guī)劃算法搜索匹配路徑來(lái)最優(yōu)化能量函數(shù)
)完成圖像對(duì)像素點(diǎn)的稠密匹配；式中前
一項(xiàng)m(px,y，d)表示px, y視差為d時(shí)的匹配度，由步驟4可得到；后一項(xiàng)是節(jié)點(diǎn)Px, y所有子 節(jié)點(diǎn)的數(shù)據(jù)累積代價(jià)，其中s( ·)代表相鄰像素點(diǎn)之間的平滑代價(jià)，取為相鄰像素點(diǎn)ρ和q 的視差dp和d,之差的絕對(duì)值，即s (dp，dq) = I dp-dq I ；sub (px, y)表示px, y所有相鄰子節(jié)點(diǎn) 集合，即四個(gè)前驅(qū)節(jié)點(diǎn)Pny，Pj^1，Px+1,y，Px,y+1，則Px,y的視差值為 步驟6:視差校正步驟6. 1 標(biāo)記視差不可靠點(diǎn)分別以左右圖像為基準(zhǔn)圖像計(jì)算視差圖D1, Dp運(yùn)用左右一致性準(zhǔn)則，將滿足 d1(p)-dr(q) I ( 1的點(diǎn)標(biāo)記為視差可靠點(diǎn)，并使DisPartiy(P) = ((I1 (p)+dr(q))/2 ；否則標(biāo)
記為視差不可靠點(diǎn)，并標(biāo)記DisPartiy(P) = 0 ；其中ρ點(diǎn)為基準(zhǔn)圖像中像素點(diǎn)，q點(diǎn)為配準(zhǔn) 圖像中P點(diǎn)的匹配點(diǎn)，Cl1(P) e D1為像素點(diǎn)P點(diǎn)的視差值，dr(q) e Dr為像素點(diǎn)q的視差， Dispartiy (ρ)為ρ點(diǎn)最終視差值；
步驟6. 2 填充視差不可靠點(diǎn)將基準(zhǔn)圖像中坐標(biāo)(x，y)的視差不可靠像素點(diǎn)ρ八鄰域的像素點(diǎn)標(biāo)記為Npi，其中 (Xi, Yi)為Npi的圖像坐標(biāo)，ζ· = 1,2...識(shí)(屮=8);將Npi的灰度值與P點(diǎn)灰度值相減，得到灰度 差值，并將灰度差值按從小到大的順序排序；按照從灰度差值最小的像素到最大的像素的 順序來(lái)依次判斷是否存在像素Npi滿足如下三個(gè)條件(I)Npi為視差可靠點(diǎn)；(2) Npi e Wp, 其中Wp為步驟4. 1中計(jì)算得到的ρ點(diǎn)自適應(yīng)多邊形支撐窗口 ；(3) Il1Ui, yi)-I,(Xi+d， Yi)彡s，其中IJ ·)，Ir( ·)表示基準(zhǔn)圖像和配準(zhǔn)圖像中像素點(diǎn)的灰度值，d = Cl1(Npi)為 Npi的視差值，s為設(shè)定的閾值；若存在Npi滿足上面三個(gè)條件則將ρ點(diǎn)標(biāo)記為可靠點(diǎn)，并使DisPartiy(P)= Cl1(Npi)；否則將條件(3)替換為I1(x,y)-I1(x+m,y+n) |彡s重新計(jì)算，如果存在Npi滿足 條件則將P標(biāo)記為視差可靠點(diǎn)并使視差DiSpartiy(p) = (I1(Npi)；其中m，η e (-1,0,1), m, η不同時(shí)為0 ；經(jīng)過(guò)此步驟得到最終的視差圖；步驟7 三維信息還原根據(jù)步驟2得到的攝像機(jī)內(nèi)參數(shù)矩陣~、ΑΚ和外參數(shù)矩陣風(fēng)tj、[Re tE]，以及步 驟6得到的視差圖中匹配點(diǎn)對(duì)關(guān)系，計(jì)算得到圖像的三維點(diǎn)云坐標(biāo)。步驟4的計(jì)算視差空間圖包括以下四個(gè)子步驟，步驟4. 1 對(duì)兩幅圖像進(jìn)行高斯濾波，消除噪聲影響改善圖像質(zhì)量；步驟4.2 計(jì)算自適應(yīng)多邊形匹配窗口任取兩幅圖像中一幅為基準(zhǔn)圖像，另一幅為配準(zhǔn)圖像，對(duì)經(jīng)過(guò)步驟3對(duì)極線校正 變換后得到的圖像，通過(guò)公式
計(jì)算基準(zhǔn)圖像中坐標(biāo)為(X，y)的任 意像素點(diǎn)P的八鄰域方向步長(zhǎng)h( θ k)，其中ACwwi,.為步長(zhǎng)為比的像素點(diǎn)與ρ點(diǎn)的灰度差，
為步長(zhǎng)為Iii的像素點(diǎn)與ρ點(diǎn)的空間距離，當(dāng)滿足式^^ &時(shí)，h( θ k) = hi; a為常 系數(shù)，τ為閾值，hi e {1,2,4,6,12,17}, θ k(k = 0，1，2.. 7)為八鄰域方向；連接ρ點(diǎn)八鄰 域步長(zhǎng)h( θ k)的頂點(diǎn)，形成ρ點(diǎn)的自適應(yīng)多邊形支撐窗口 Wp ；4. 3:計(jì)算匹配度步驟4. 3包括以下三個(gè)子步驟步驟4. 3. 1 經(jīng)過(guò)步驟4. 2的計(jì)算，基準(zhǔn)圖像中坐標(biāo)為(x，y)的任意像素點(diǎn)ρ的 自適應(yīng)多邊形支撐窗口為Wp，在配準(zhǔn)圖像中視差范圍D內(nèi)計(jì)算其在對(duì)應(yīng)極線上可能的匹配 點(diǎn)q的自適應(yīng)多邊形支撐窗口為Wq ；如果基準(zhǔn)圖像為左圖像配準(zhǔn)圖像為右圖像，則q點(diǎn)坐標(biāo) (x-d, y)，如果基準(zhǔn)圖像為右圖像配準(zhǔn)圖像為左圖像則q點(diǎn)坐標(biāo)(x+d，y)，其中d e D，D = [dmin，dmax]，dmin為最大視差值，dmax為最小視差值；步驟4. 3. 2 分別計(jì)算像素點(diǎn)p，q的特異性Q (P)，Q (q)，其中
Wp = {(p+d) |dmin-dmax彡d彡dmax-dmin} ；f ( ·)選取對(duì)光照及噪聲魯棒性較強(qiáng)的零均值歸一 化算子(ZNCC)，支撐窗口的選取大小及形狀與Wp和\的交集窗口 一致；步驟4. 3. 3 計(jì)算對(duì)應(yīng)像素點(diǎn)ρ，ρ的匹配度，記為m(p，d)， 步驟4. 4 在基準(zhǔn)圖像全圖范圍內(nèi)重復(fù)計(jì)算步驟4. 1，步驟4. 2得到全圖像素點(diǎn)在視差范圍內(nèi)的匹配度，得到視差空間圖。步驟5的樹形動(dòng)態(tài)規(guī)劃分為六個(gè)步驟來(lái)完成步驟5. 1 構(gòu)造水平樹及垂直樹動(dòng)態(tài)規(guī)劃路徑以所有橫坐標(biāo)為χ的像素點(diǎn)為根節(jié)點(diǎn)構(gòu)造樹，則圖像中所有像素點(diǎn)形成水平樹動(dòng)態(tài)規(guī)劃路徑；為所有縱坐標(biāo)為y的像素點(diǎn)為根節(jié)點(diǎn)構(gòu)造樹，則圖像中所有像素點(diǎn)形成了垂 直樹動(dòng)態(tài)規(guī)劃路徑；為簡(jiǎn)化E(px,y，d)的優(yōu)化過(guò)程，將樹形動(dòng)態(tài)規(guī)劃分為水平樹動(dòng)態(tài)規(guī)劃路 徑和垂直樹動(dòng)態(tài)規(guī)劃路徑；步驟5. 2 水平掃描線上動(dòng)態(tài)規(guī)劃最優(yōu)能量函數(shù)首先使用傳統(tǒng)動(dòng)態(tài)規(guī)劃算法在每一水平掃描線內(nèi)單獨(dú)進(jìn)行優(yōu)化得到當(dāng)px, y視差 為d時(shí)最優(yōu)匹配能量值C(px,y，d)，水平掃描線上每一點(diǎn)的最優(yōu)能量值C(px,y，d)即為分 別沿前向路徑和后向路徑的匹配度累計(jì)值，前向路徑為圖像中每一行從最左邊像素延伸 到最右邊像素的路徑，后向路徑為圖像中每一行從最右邊像素延伸到最左邊像素的路徑; 其中F(pxy, d) = m(px y, d) + mm{Xs{d, ) + F(px_l y, /)) m(px,y，d)表示px,y視差為d時(shí)的匹配度，由步驟4得到，Hsub(px,y)表示px,y點(diǎn)的 水平方向子節(jié)點(diǎn)ΡΧ-Μ，ΡΧ+Μ的集合；F(px,y，d)為前向路徑最優(yōu)匹配值，B(px,y，d)為后向路 徑最優(yōu)匹配值，λ為權(quán)重系數(shù)；步驟5. 3 水平樹動(dòng)態(tài)規(guī)劃最優(yōu)能量函數(shù)接下來(lái)運(yùn)用所得到的每一行掃描線的最優(yōu)能量值來(lái)優(yōu)化水平樹結(jié)構(gòu)， H (ρx, y，d)為以ρx, y為樹的根節(jié)點(diǎn)，視差為d時(shí)的水平樹的最優(yōu)能量值；由公式 H(px’y,d) = m(pxy,d)+ Yd min(A5(i/,i) + H(q,0)可推得 由上式可看出水平樹的能量?jī)?yōu)化實(shí)際上歸結(jié)為當(dāng)數(shù)據(jù)匹配度為步驟5. 2中所得 水平掃描線上匹配值C(px,y，d)時(shí)，在px, y所在位置的垂直掃描線上進(jìn)行動(dòng)態(tài)規(guī)劃，其中 Vsub (px, y)表示px, y點(diǎn)的垂直方向子節(jié)點(diǎn)px, 和px, y+1的集合；在以y為縱坐標(biāo)的垂直掃 描線上執(zhí)行傳統(tǒng)動(dòng)態(tài)規(guī)劃算法即得到水平樹最優(yōu)能量值H (px, y，d)；步驟5. 4 垂直樹動(dòng)態(tài)規(guī)劃最優(yōu)能量函數(shù)同理根據(jù)步驟5. 2，步驟5. 3的方法先計(jì)算垂直掃描線上像素的匹配度再在水平 掃描線上進(jìn)行動(dòng)態(tài)規(guī)劃得到可得到以Px,y為根節(jié)點(diǎn)的垂直樹最優(yōu)路徑能量值V(px,y，d)；步驟5. 5 得到像素點(diǎn)視差值首先計(jì)算垂直樹結(jié)構(gòu)最優(yōu)路徑能量值V (px, y，d)，然后將結(jié)果傳遞到水平樹結(jié)構(gòu)，
使用式=
將 px,y 的匹配度 rn(px,y，d)更
新為m' (px, y，d)來(lái)計(jì)算水平樹上的最優(yōu)路徑能量H(px,y，d)，其中ξ為權(quán)重系數(shù)；如果 視差d不是垂直樹上所得最優(yōu)視差，則施加懲罰用以加大匹配代價(jià)，差值越大則懲罰越大，這樣就可以使水平樹上的動(dòng)態(tài)規(guī)劃路徑不經(jīng)過(guò)視差為d的像素點(diǎn)，最終得到Px, y的視差值 步驟5. 6 重復(fù)計(jì)算全圖匹配點(diǎn)對(duì)應(yīng)關(guān)系，得到視差圖。有益效果；與現(xiàn)有技術(shù)相比，本發(fā)明具有下面的優(yōu)點(diǎn)自適應(yīng)多邊形支撐窗口利 用灰度及空間距離同時(shí)約束窗口的大小及形狀，包含足夠的有效灰度信息的同時(shí)防止那些 在視差邊界變化區(qū)域的點(diǎn)的支撐窗口覆蓋不同視差范圍內(nèi)的像素，這樣既使紋理稀疏的區(qū) 域能夠獲得準(zhǔn)確的視差，點(diǎn)云更加平滑，又不至于使視差邊界產(chǎn)生模糊的過(guò)平滑現(xiàn)象。為待 匹配點(diǎn)選取了合適的支撐窗口后，計(jì)算像素點(diǎn)之間的匹配度時(shí)，不僅將不同圖中兩像素間 的相似度作為匹配準(zhǔn)則，同時(shí)也考慮了同一圖像同一區(qū)域中像素點(diǎn)之間的差異，認(rèn)為只有 既滿足特異性高又滿足相似度高的像素點(diǎn)才可能是匹配共軛點(diǎn)，兩者的比值增大了匹配度 的變化梯度，明顯增大了匹配度之間的差異，提高了匹配度的區(qū)別能力，結(jié)合自適應(yīng)多邊形 支撐窗口，對(duì)無(wú)紋理區(qū)域以及重復(fù)區(qū)域的像素有很好的辨識(shí)度，后續(xù)的樹形動(dòng)態(tài)規(guī)劃充分 利用的整幅圖像所有像素點(diǎn)的紋理信息來(lái)尋找最優(yōu)解最小化能量函數(shù)，減小了由于匹配錯(cuò) 誤及誤差向后傳播而導(dǎo)致條紋產(chǎn)生的可能，提高了低紋理圖像的匹配精度。


圖1本發(fā)明完整流程圖。圖2系統(tǒng)模型及原理示意圖。圖3像素點(diǎn)自適應(yīng)多邊形支撐窗口示意圖。圖4對(duì)極線校正示意圖。 圖5樹形動(dòng)態(tài)規(guī)劃候選路徑示意圖。圖6由匹配關(guān)系和標(biāo)定數(shù)據(jù)計(jì)算圖像上物點(diǎn)的空間三維坐標(biāo)示意圖。
具體實(shí)施例方式下面參照附圖，對(duì)本發(fā)明具體實(shí)施方案做更為詳細(xì)的描述。編程實(shí)現(xiàn)工具選用 VC++6.0，室內(nèi)環(huán)境中拍攝了兩幅低紋理建筑物圖像作為待重構(gòu)的圖像。圖1為本發(fā)明的完整流程圖。圖2為本發(fā)明的系統(tǒng)模型及原理示意圖。使用兩個(gè)CCD分別從兩個(gè)不同角度同時(shí) 各拍攝一幅建筑物圖像，C\、0K分別為兩臺(tái)攝像機(jī)的光心，Ip Ik分別為兩臺(tái)攝像機(jī)的成像平 面，P為待重構(gòu)的建筑物上的一個(gè)空間物點(diǎn)，PL, Pe為物點(diǎn)P分別在兩臺(tái)攝像機(jī)成像平面上 所成的像點(diǎn)。這種由同一空間物點(diǎn)在不同攝像機(jī)成像平面上所成的像點(diǎn)為一對(duì)匹配點(diǎn)。任 取其中一幅為基準(zhǔn)圖像，另一幅為配準(zhǔn)圖像，為基準(zhǔn)圖像中的每個(gè)像素點(diǎn)在對(duì)準(zhǔn)圖像中搜 索對(duì)應(yīng)的匹配點(diǎn)的過(guò)程稱為立體匹配。得到像素點(diǎn)的匹配關(guān)系后，根據(jù)系統(tǒng)模型，結(jié)合標(biāo)定 得到的攝像機(jī)內(nèi)外參數(shù)，進(jìn)行逆向運(yùn)算，就可得到對(duì)應(yīng)物點(diǎn)的空間三維坐標(biāo)，從而實(shí)現(xiàn)圖像 的三維重構(gòu)。圖3是像素點(diǎn)自適應(yīng)多邊形支撐窗口示意圖。如圖3(a)所示，ρ為基準(zhǔn)圖像I1中 一個(gè)像素點(diǎn)，Wp為以P為中心像素點(diǎn)的一個(gè)自適應(yīng)多邊形窗口區(qū)域；圖3(b)配準(zhǔn)圖像Ir中， 虛線框內(nèi)區(qū)域?yàn)镻對(duì)應(yīng)的匹配點(diǎn)的視差范圍即搜索范圍，P的匹配點(diǎn)落在這個(gè)范圍內(nèi)，q為 搜索范圍中的一個(gè)像素點(diǎn)，Wq為以q為中心點(diǎn)的自適應(yīng)多邊形匹配窗口區(qū)域，圖3(c)中虛線區(qū)域&為
中大小及形狀與自適應(yīng)多邊形窗口 Wp和\的交集窗口一致的窗口 ；圖3 (d) 中虛線區(qū)域K為仁中大小及形狀與自適應(yīng)多邊形窗口 和Wq的交集窗口一致的窗口。I1 中像素點(diǎn)P和仁中與其視差距離為d的像素點(diǎn)q的匹配度m(p，d)定義為下面公式(1) ,j、 Q(P)xQi^) 其中 本發(fā)明的方法具體包括以下幾個(gè)步驟步驟1:圖像獲取使用雙目攝像機(jī)獲取圖像，首先調(diào)整雙目攝像機(jī)使其光軸基本平行并使左右鏡角 度處于合適的位置，然后同時(shí)各拍攝一幅圖像，其中左鏡頭拍攝的為左圖像，右鏡頭拍攝的 為右圖像；步驟2 攝像機(jī)標(biāo)定本發(fā)明中采用參考文獻(xiàn)"AFlexible New Technique for CameraCalibration"(Zhang Z Y,IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 20 (11) =1330-1334)中提出的一種稱為平面模板法的標(biāo)定算法分別 對(duì)兩臺(tái)攝像機(jī)進(jìn)行標(biāo)定，獲得各自的內(nèi)參數(shù)矩陣4、AK和外參數(shù)矩陣tj、[RK tK]。步驟3 對(duì)極幾何校正及圖像變換如圖4所示是對(duì)極線校正示意圖。根據(jù)步驟2中標(biāo)定過(guò)程得到的內(nèi)外參數(shù)，采用 參考文獻(xiàn)"A compact algorithm for rectification of stereo pairs. Machine Vision andApplications”(Fusiello A, Trucco E，Verri A. 2000,12(1) 16-22)中的提出的極線 校正方法對(duì)所拍攝的左右圖像進(jìn)行極線校正，如果變換后圖像中的像素點(diǎn)坐標(biāo)對(duì)應(yīng)到原始 圖像中的非整數(shù)坐標(biāo)上時(shí)，則進(jìn)行通過(guò)灰度雙線性插值，最后得到平行式雙目視覺模型，使 匹配像素對(duì)處于同一掃描線上，降低匹配的空間復(fù)雜度，經(jīng)過(guò)校正后的圖像無(wú)失真，校正準(zhǔn) 確率高，誤差小于一個(gè)像素。步驟4 計(jì)算視差空間圖，包括以下四個(gè)子步驟步驟4. 1 對(duì)兩幅圖像進(jìn)行高斯濾波，消除噪聲影響改善圖像質(zhì)量。步驟4.2 計(jì)算自適應(yīng)多邊形匹配窗口任取兩幅圖像中一幅為基準(zhǔn)圖像，另一幅為配準(zhǔn)圖像，對(duì)經(jīng)過(guò)步驟3對(duì)極線校正 變換后得到的圖像，通過(guò)公式‘
,計(jì)算基準(zhǔn)圖像中坐標(biāo)為(X，y)的任 意像素點(diǎn)P的八鄰域方向步長(zhǎng)h( θ k)，其中
為步長(zhǎng)為hi的像素點(diǎn)與ρ點(diǎn)的灰度差， △gy仏為步長(zhǎng)為比的像素點(diǎn)與ρ點(diǎn)的空間距離，當(dāng)滿足式
時(shí)，h( θ k) = hi; a為常 系數(shù)，τ為閾值，hi e {1,2,4,6,12,17}, θ k(k = 0，1，2.. 7)為八鄰域方向；連接ρ點(diǎn)八鄰 域步長(zhǎng)h( θ k)的頂點(diǎn)，形成ρ點(diǎn)的自適應(yīng)多邊形支撐窗口 Wp。
4. 3 計(jì)算匹配度步驟4. 3包括以下三個(gè)子步驟步驟4. 3. 1 經(jīng)過(guò)步驟4. 2的計(jì)算，基準(zhǔn)圖像中坐標(biāo)為(x，y)的任意像素點(diǎn)ρ的 自適應(yīng)多邊形支撐窗口為Wp，在配準(zhǔn)圖像中視差范圍D內(nèi)計(jì)算其在對(duì)應(yīng)極線上可能的匹配 點(diǎn)q的自適應(yīng)多邊形支撐窗口為Wq ；如果基準(zhǔn)圖像為左圖像配準(zhǔn)圖像為右圖像，則q點(diǎn)坐標(biāo) (x-d, y)，如果基準(zhǔn)圖像為右圖像配準(zhǔn)圖像為左圖像則q點(diǎn)坐標(biāo)(x+d，y)，其中d e D，D = [dmin，dmax]，其中dmin為最大視差值，dmax為最小視差值。步驟4. 3. 2 分別計(jì)算像素點(diǎn)p，q的特異性Q (P)，Q (q)，其中
；f ( ·)選取對(duì)光照及噪聲魯棒性較強(qiáng)的零均值歸一 化算子(ZNCC)，支撐窗口的選取大小及形狀與Wp和\的交集窗口 一致；
,,、Q(p)xQi^)步驟4. 3. 3 計(jì)算對(duì)應(yīng)像素點(diǎn)ρ的匹配度，記為m(p， )； 步驟4. 4 在基準(zhǔn)圖像全圖范圍內(nèi)重復(fù)計(jì)算步驟4. 1，步驟4. 2得到全圖像素點(diǎn)在 視差范圍內(nèi)的匹配度，得到視差空間圖。步驟5 樹形動(dòng)態(tài)規(guī)劃完成稠密匹配以像素點(diǎn)px, y為基準(zhǔn)，用箭頭表示一種前驅(qū)后繼關(guān)系，箭頭從前驅(qū)節(jié)點(diǎn)出發(fā)指 向后繼節(jié)點(diǎn)；在以y為縱坐標(biāo)的圖像行上從最左邊的像素點(diǎn)開始用箭頭指向其右邊像素 點(diǎn)直到Px,y，從最右邊的像素點(diǎn)開始用箭頭指向其左邊的像素點(diǎn)直到Px,y，然后在以χ為 橫坐標(biāo)的圖像列上從最上邊的像素點(diǎn)開始用箭頭指向其下方的像素點(diǎn)直到Px,y，從最下 面的相似度開始用箭頭指向其上方的像素點(diǎn)直到px, y。這樣就構(gòu)造了以像素點(diǎn)Px,y為根 節(jié)點(diǎn)的樹，在根節(jié)點(diǎn)為px,y的樹上用傳統(tǒng)動(dòng)態(tài)規(guī)劃算法搜索匹配路徑來(lái)最優(yōu)化能量函數(shù)
完成圖像對(duì)像素點(diǎn)的稠密匹配；式中前
一項(xiàng)m(px,y，d)表示px, y視差為d時(shí)的匹配度，由步驟4可得到；后一項(xiàng)是節(jié)點(diǎn)Px, y所有子 節(jié)點(diǎn)的數(shù)據(jù)累積代價(jià)，其中s( ·)代表相鄰像素點(diǎn)之間的平滑代價(jià)，取為相鄰像素點(diǎn)ρ和q 的視差dp和d,之差的絕對(duì)值，即s (dp，dq) = I dp-dq I ；sub (px, y)表示px, y所有相鄰子節(jié)點(diǎn) 集合，即四個(gè)前驅(qū)節(jié)點(diǎn)Ρ^，Pj^1，Px+1,y，Px,y+1，則Px,y的視差值為=^rgrmnE(pxy,d)；將步驟5的樹形動(dòng)態(tài)規(guī)劃分為六個(gè)步驟來(lái)完成
步驟5. 1 構(gòu)造水平樹及垂直樹動(dòng)態(tài)規(guī)劃路徑以所有橫坐標(biāo)為χ的像素點(diǎn)為根節(jié)點(diǎn)構(gòu)造樹，則圖像中所有像素點(diǎn)形成水平樹動(dòng) 態(tài)規(guī)劃路徑，如圖5 (b)所示；為所有縱坐標(biāo)為y的像素點(diǎn)為根節(jié)點(diǎn)構(gòu)造樹，則圖像中所有像 素點(diǎn)形成了垂直樹動(dòng)態(tài)規(guī)劃路徑，如圖5(c)所示；為簡(jiǎn)化E(px,y，d)的優(yōu)化過(guò)程，將樹形動(dòng) 態(tài)規(guī)劃分為水平樹動(dòng)態(tài)規(guī)劃路徑和垂直樹動(dòng)態(tài)規(guī)劃路徑。步驟5. 2 水平掃描線上動(dòng)態(tài)規(guī)劃最優(yōu)能量函數(shù)首先使用傳統(tǒng)動(dòng)態(tài)規(guī)劃算法在每一水平掃描線內(nèi)單獨(dú)進(jìn)行優(yōu)化得到當(dāng)px,y視差為 d時(shí)最優(yōu)匹配能量值C (px,y，d)，水平掃描線上每一點(diǎn)的最優(yōu)能量值C (px,y，d)即為分別沿前 向路徑和后向路徑的匹配度累計(jì)值，如圖5(a)所示前向路徑為圖像中每一行從最左邊像 素延伸到最右邊像素的路徑，后向路徑為圖像中每一行從最右邊像素延伸到最左邊像素的 其中
FOpyO) m(px,y，d)表示px,y視差為d時(shí)的匹配度，由步驟4得到，Hsub(px,y)表示px,y點(diǎn)的 水平方向子節(jié)點(diǎn)ΡΧ-Μ，ΡΧ+Μ的集合；F(px,y，d)為前向路徑最優(yōu)匹配值，B(px,y，d)為后向路 徑最優(yōu)匹配值，λ為權(quán)重系數(shù)；步驟5. 3 水平樹動(dòng)態(tài)規(guī)劃最優(yōu)能量函數(shù)接下來(lái)運(yùn)用所得到的每一行掃描線的最優(yōu)能量值來(lái)優(yōu)化水平樹結(jié)構(gòu)，H(px,y，d)為 以Px,y為樹的根節(jié)點(diǎn)，視差為d時(shí)的水平樹的最優(yōu)能量值；由公式丑
可推得 由上式可看出水平樹的能量?jī)?yōu)化實(shí)際上歸結(jié)為當(dāng)數(shù)據(jù)匹配度為步驟5. 2中所得 水平掃描線上匹配值C(px,y，d)時(shí)，在px, y所在位置的垂直掃描線上進(jìn)行動(dòng)態(tài)規(guī)劃，其中 Vsub (px, y)表示px, y點(diǎn)的垂直方向子節(jié)點(diǎn)px, 和px, y+1的集合；在以y為縱坐標(biāo)的垂直掃 描線上執(zhí)行傳統(tǒng)動(dòng)態(tài)規(guī)劃算法即得到水平樹最優(yōu)能量值H (px, y，d)；步驟5. 4 垂直樹動(dòng)態(tài)規(guī)劃最優(yōu)能量函數(shù)同理根據(jù)步驟5. 2，步驟5. 3的方法先計(jì)算垂直掃描線上像素的匹配度再在水平 掃描線上進(jìn)行動(dòng)態(tài)規(guī)劃得到可得到以Px,y為根節(jié)點(diǎn)的垂直樹最優(yōu)路徑能量值V(px,y，d)；步驟5. 5 得到像素點(diǎn)視差值首先計(jì)算垂直樹結(jié)構(gòu)最優(yōu)路徑能量值V (px, y，d)，然后將結(jié)果傳遞到水平樹結(jié)構(gòu)， 使用式歷
d)更
新為m' (px, y，d)來(lái)計(jì)算水平樹上的最優(yōu)路徑能量H(px,y，d)，其中ξ為權(quán)重系數(shù)；如果 視差d不是垂直樹上所得最優(yōu)視差，則施加懲罰用以加大匹配代價(jià)，差值越大則懲罰越大， 這樣就可以使水平樹上的動(dòng)態(tài)規(guī)劃路徑不經(jīng)過(guò)視差為d的像素點(diǎn)，最終得到px,y的視差值 =argl^mpVdh步驟5. 6 重復(fù)計(jì)算全圖匹配點(diǎn)對(duì)應(yīng)關(guān)系，得到視差圖；步驟6 視差校正，分為以下兩個(gè)子步驟步驟6. 1 標(biāo)記視差不可靠點(diǎn)分別以左右圖像為基準(zhǔn)圖像計(jì)算視差圖D1, Dp運(yùn)用左右一致性準(zhǔn)則，將滿足 d1(p)-dr(q) I ( 1的點(diǎn)標(biāo)記為視差可靠點(diǎn)，并使DisPartiy(P) = ((I1 (p)+dr(q))/2 ；否則標(biāo)
記為視差不可靠點(diǎn)，并標(biāo)記DisPartiy(P) = O ；其中ρ點(diǎn)為基準(zhǔn)圖像中像素點(diǎn)，q點(diǎn)為配準(zhǔn) 圖像中P點(diǎn)的匹配點(diǎn)，Cl1(P) e D1為像素點(diǎn)P點(diǎn)的視差值，dr(q) e Dr為像素點(diǎn)q的視差， Dispartiy (ρ)為ρ點(diǎn)最終視差值；步驟6. 2 填充視差不可靠點(diǎn)將基準(zhǔn)圖像中坐標(biāo)(x，y)的視差不可靠像素點(diǎn)ρ八鄰域的像素點(diǎn)標(biāo)記為Npi，其中(Xi, Yi)為Npi的圖像坐標(biāo)，
將Npi的灰度值與ρ點(diǎn)灰度值相減，得到灰度 差值，并將灰度差值按從小到大的順序排序；按照從灰度差值最小的像素到最大的像素的 順序來(lái)依次判斷是否存在像素Npi滿足如下三個(gè)條件(I)Npi為視差可靠點(diǎn)；(2) Npi e Wp, 其中Wp為步驟4. 1中計(jì)算得到的ρ點(diǎn)自適應(yīng)多邊形支撐窗口 ；(3) Il1Ui, yi)-I,(Xi+d， Yi)≤s，其中IJ ·)，Ir( ·)表示基準(zhǔn)圖像和配準(zhǔn)圖像中像素點(diǎn)的灰度值，d = Cl1(Npi)為 Npi的視差值，s為設(shè)定的閾值；若存在Npi滿足上面三個(gè)條件則將ρ點(diǎn)標(biāo)記為可靠點(diǎn)，并使DisPartiy(P)= Cl1(Npi)；否則將條件(3)替換為I1(x,y)-I1(x+m,y+n) |≤s重新計(jì)算，如果存在Npi滿足 條件則將P標(biāo)記為視差可靠點(diǎn)并使視差DiSpartiy(p) = (I1(Npi)；其中m，η e (-1,0,1), m, η不同時(shí)為0 ；經(jīng)過(guò)此步驟得到最終的視差圖；步驟7:三維信息還原根據(jù)步驟2得到的攝像機(jī)內(nèi)參數(shù)矩陣~、Ak和外參數(shù)矩陣風(fēng)tJ、[RK tj，以及步 驟4和步驟5得到的匹配點(diǎn)對(duì)應(yīng)關(guān)系，通過(guò)空間交匯法就可以計(jì)算出圖像上物點(diǎn)的三維坐 標(biāo)。
圖6是空間交匯法的示意圖，空間中任意一點(diǎn)？禮乂義，1)分別與雙目攝像機(jī)兩 光心(\、0Κ的所成的直線(\P，OeP在成像平面上的交點(diǎn)就是其在圖像平面的投影PJu1, ν)， Pe(u2, ν)，通過(guò)空間點(diǎn)的左右圖像坐標(biāo)根據(jù)公式(3)可得到直線(\P，OkP的方程，其交點(diǎn)就 是P點(diǎn)世界坐標(biāo)，兩條直線如果異面不相交，則取其公垂線的中點(diǎn)。
權(quán)利要求
一種基于立體視覺的實(shí)拍低紋理圖像重建方法，其特征在于該重建方法依次含有下列步驟步驟1圖像獲取使用雙目攝像機(jī)獲取圖像，首先調(diào)整雙目攝像機(jī)使其光軸基本平行并使左右鏡角度處于合適的位置，然后同時(shí)各拍攝一幅圖像，其中左鏡頭拍攝的為左圖像，右鏡頭拍攝的為右圖像；步驟2攝像機(jī)標(biāo)定分別對(duì)兩臺(tái)攝像機(jī)進(jìn)行標(biāo)定，獲得各自的內(nèi)參數(shù)矩陣AL、AR和外參數(shù)矩陣[RL tL]、[RR tR]；步驟3對(duì)極線幾何校正及圖像變換采用步驟2得到的內(nèi)外參運(yùn)用極線校正方法對(duì)所拍攝的左右圖像進(jìn)行極線校正得到平行式雙目視覺模型，使匹配像素對(duì)處于同一掃描線上；步驟4計(jì)算視差空間圖，步驟5樹形動(dòng)態(tài)規(guī)劃完成稠密匹配以像素點(diǎn)px，y為基準(zhǔn)，用箭頭表示一種前驅(qū)后繼關(guān)系，箭頭從前驅(qū)節(jié)點(diǎn)出發(fā)指向后繼節(jié)點(diǎn)；在以y為縱坐標(biāo)的圖像行上從最左邊的像素點(diǎn)開始用箭頭指向其右邊像素點(diǎn)直到px，y，從最右邊的像素點(diǎn)開始用箭頭指向其左邊的像素點(diǎn)直到px，y，然后在以x為橫坐標(biāo)的圖像列上從最上邊的像素點(diǎn)開始用箭頭指向其下方的像素點(diǎn)直到px，y，從最下面的相似度開始用箭頭指向其上方的像素點(diǎn)直到px，y；這樣就構(gòu)造了以像素點(diǎn)px，y為根節(jié)點(diǎn)的樹，在根節(jié)點(diǎn)為px，y的樹上用傳統(tǒng)動(dòng)態(tài)規(guī)劃算法搜索匹配路徑來(lái)最優(yōu)化能量函數(shù)完成圖像對(duì)像素點(diǎn)的稠密匹配；式中前一項(xiàng)m(px，y，d)表示px，y視差為d時(shí)的匹配度，由步驟4可得到；后一項(xiàng)是節(jié)點(diǎn)px，y所有子節(jié)點(diǎn)的數(shù)據(jù)累積代價(jià)，其中s(·)代表相鄰像素點(diǎn)之間的平滑代價(jià)，取為相鄰像素點(diǎn)p和q的視差dp和dq之差的絕對(duì)值，即s(dp，dq)＝|dp-dq|；sub(px，y)表示px，y所有相鄰子節(jié)點(diǎn)集合，即四個(gè)前驅(qū)節(jié)點(diǎn)px-1，y，px，y-1，px+1，y，px，y+1，則px，y的視差值為步驟6視差校正步驟6.1標(biāo)記視差不可靠點(diǎn)分別以左右圖像為基準(zhǔn)圖像計(jì)算視差圖Dl，Dr，運(yùn)用左右一致性準(zhǔn)則，將滿足|dl(p)-dr(q)|≤1的點(diǎn)標(biāo)記為視差可靠點(diǎn)，并使Dispartiy(p)＝(dl(p)+dr(q))/2；否則標(biāo)記為視差不可靠點(diǎn)，并標(biāo)記Dispartiy(p)＝0；其中p點(diǎn)為基準(zhǔn)圖像中像素點(diǎn)，q點(diǎn)為配準(zhǔn)圖像中p點(diǎn)的匹配點(diǎn)，dl(p)∈Dl為像素點(diǎn)p點(diǎn)的視差值，dr(q)∈Dr為像素點(diǎn)q的視差，Dispartiy(p)為p點(diǎn)最終視差值；步驟6.2填充視差不可靠點(diǎn)將基準(zhǔn)圖像中坐標(biāo)(x，y)的視差不可靠像素點(diǎn)p八鄰域的像素點(diǎn)標(biāo)記為Npi，其中(xi，yi)為Npi的圖像坐標(biāo)，將Npi的灰度值與p點(diǎn)灰度值相減，得到灰度差值，并將灰度差值按從小到大的順序排序；按照從灰度差值最小的像素到最大的像素的順序來(lái)依次判斷是否存在像素Npi滿足如下三個(gè)條件(1)Npi為視差可靠點(diǎn)；(2)Npi∈Wp，其中Wp為步驟4.1中計(jì)算得到的p點(diǎn)自適應(yīng)多邊形支撐窗口；(3)|Il(xi，yi)-Ir(xi+d，yi)|≤s，其中Il(·)，Ir(·)表示基準(zhǔn)圖像和配準(zhǔn)圖像中像素點(diǎn)的灰度值，d＝dl(Npi)為Npi的視差值，s為設(shè)定的閾值；若存在Npi滿足上面三個(gè)條件則將p點(diǎn)標(biāo)記為可靠點(diǎn)，并使Dispartiy(p)＝dl(Npi)；否則將條件(3)替換為|Il(x，y)-Il(x+m，y+n)|≤s重新計(jì)算，如果存在Npi滿足條件則將p標(biāo)記為視差可靠點(diǎn)并使視差Dispartiy(p)＝dl(Npi)；其中m，n∈(-1，0，1)，m，n不同時(shí)為0；經(jīng)過(guò)此步驟得到最終的視差圖；步驟7三維信息還原根據(jù)步驟2得到的攝像機(jī)內(nèi)參數(shù)矩陣AL、AR和外參數(shù)矩陣[RL tL]、[RR tR]，以及步驟6得到的視差圖中匹配點(diǎn)對(duì)關(guān)系，計(jì)算得到圖像的三維點(diǎn)云坐標(biāo)。FSA00000160363100011.tif,FSA00000160363100012.tif,FSA00000160363100021.tif
2.根據(jù)權(quán)利要求1所述的基于立體視覺的實(shí)拍低紋理圖像重建方法，其特征在于步驟 4的計(jì)算視差空間圖包括以下四個(gè)子步驟，步驟4. 1 對(duì)兩幅圖像進(jìn)行高斯濾波，消除噪聲影響改善圖像質(zhì)量；步驟4.2 計(jì)算自適應(yīng)多邊形匹配窗口任取兩幅圖像中一幅為基準(zhǔn)圖像，另一幅為配準(zhǔn)圖像，對(duì)經(jīng)過(guò)步驟3對(duì)極線校正變換 后得到的圖像，通過(guò)公式&zAQ^+ciAgy^計(jì)算基準(zhǔn)圖像中坐標(biāo)為(x，y)的任意像素 點(diǎn)P的八鄰域方向步長(zhǎng)h( θ k)，其中為步長(zhǎng)為hi的像素點(diǎn)與ρ點(diǎn)的灰度差，為 步長(zhǎng)為Iii的像素點(diǎn)與ρ點(diǎn)的空間距離，當(dāng)滿足式、，;^ 時(shí)，h( θ k) = hi; a為常系數(shù)，τ 為閾值，{1,2,4,6,12,17}, θ k(k = 0，1，2.. 7)為八鄰域方向；連接ρ點(diǎn)八鄰域步長(zhǎng) h(ek)的頂點(diǎn)，形成ρ點(diǎn)的自適應(yīng)多邊形支撐窗口 Wp;4. 3 計(jì)算匹配度步驟4. 3包括以下三個(gè)子步驟步驟4. 3. 1 經(jīng)過(guò)步驟4. 2的計(jì)算，基準(zhǔn)圖像中坐標(biāo)為(x，y)的任意像素點(diǎn)ρ的自適應(yīng) 多邊形支撐窗口為Wp，在配準(zhǔn)圖像中視差范圍D內(nèi)計(jì)算其在對(duì)應(yīng)極線上可能的匹配點(diǎn)q的 自適應(yīng)多邊形支撐窗口為Wq ；如果基準(zhǔn)圖像為左圖像配準(zhǔn)圖像為右圖像，則q點(diǎn)坐標(biāo)(x-d， y)，如果基準(zhǔn)圖像為右圖像配準(zhǔn)圖像為左圖像則q點(diǎn)坐標(biāo)(x+d, y)，其中d e D，D = [dmin， dfflax]，dmin為最大視差值，dmax為最小視差值；步驟4. 3. 2 分別計(jì)算像素點(diǎn)p，q的特異性Q(P)，(^⑷，其中^…)=,= ^/…，")，、={(p+d) |dmin-dmax ( d ( dmax_dmin} ；f( ·)選取對(duì)光照及噪聲魯棒性較強(qiáng)的零均值歸一化 算子(ZNCC)，支撐窗口的選取大小及形狀與Wp和\的交集窗口 一致；步驟4. 3. 3 計(jì)算對(duì)應(yīng)像素點(diǎn)ρ，ρ的匹配度，記為m(p，d)，m(P,d),湘·’ f(p,q)步驟4. 4 在基準(zhǔn)圖像全圖范圍內(nèi)重復(fù)計(jì)算步驟4. 1，步驟4. 2得到全圖像素點(diǎn)在視差 范圍內(nèi)的匹配度，得到視差空間圖。
3.根據(jù)權(quán)利要求1所述的基于立體視覺的實(shí)拍低紋理圖像重建方法，其特征在于步驟 5的樹形動(dòng)態(tài)規(guī)劃分為六個(gè)步驟來(lái)完成步驟5. 1 構(gòu)造水平樹及垂直樹動(dòng)態(tài)規(guī)劃路徑以所有橫坐標(biāo)為χ的像素點(diǎn)為根節(jié)點(diǎn)構(gòu)造樹，則圖像中所有像素點(diǎn)形成水平樹動(dòng)態(tài)規(guī)劃路徑；為所有縱坐標(biāo)為y的像素點(diǎn)為根節(jié)點(diǎn)構(gòu)造樹，則圖像中所有像素點(diǎn)形成了垂直樹 動(dòng)態(tài)規(guī)劃路徑；為簡(jiǎn)化E (px, y，d)的優(yōu)化過(guò)程，將樹形動(dòng)態(tài)規(guī)劃分為水平樹動(dòng)態(tài)規(guī)劃路徑和 垂直樹動(dòng)態(tài)規(guī)劃路徑；步驟5. 2 水平掃描線上動(dòng)態(tài)規(guī)劃最優(yōu)能量函數(shù)首先使用傳統(tǒng)動(dòng)態(tài)規(guī)劃算法在每一水平掃描線內(nèi)單獨(dú)進(jìn)行優(yōu)化得到當(dāng)Px, y視差為 d時(shí)最優(yōu)匹配能量值C(px,y，d)，水平掃描線上每一點(diǎn)的最優(yōu)能量值C(px,y，d)即為分別 沿前向路徑和后向路徑的匹配度累計(jì)值，前向路徑為圖像中每一行從最左邊像素延伸到 最右邊像素的路徑，后向路徑為圖像中每一行從最右邊像素延伸到最左邊像素的路徑； = mip^ + ^ } ^iMd, O + 0) c (ρχ y，d) = ρ (Ρχ y，d) +B (Px,y，d) -m(px,y，d)其中: m(px,y，d)表示px,y視差為d時(shí)的匹配度，由步驟4得到，Hsub(px,y)表示px,y點(diǎn)的水平 方向子節(jié)點(diǎn)Ρχ-μ，Ρχ+μ的集合；F(px,y，d)為前向路徑最優(yōu)匹配值，B(px,y，d)為后向路徑最 優(yōu)匹配值，λ為權(quán)重系數(shù)；步驟5. 3 水平樹動(dòng)態(tài)規(guī)劃最優(yōu)能量函數(shù)接下來(lái)運(yùn)用所得到的每一行掃描線的最優(yōu)能量值來(lái)優(yōu)化水平樹結(jié)構(gòu)， H (ρ x, y，d)為以ρx, y為樹的根節(jié)點(diǎn)，視差為d時(shí)的水平樹的最優(yōu)能量值；由公式 可推得 由上式可看出水平樹的能量?jī)?yōu)化實(shí)際上歸結(jié)為當(dāng)數(shù)據(jù)匹配度為步驟5. 2中所得水平 掃描線上匹配值C (px,y，d)時(shí)，在px,y所在位置的垂直掃描線上進(jìn)行動(dòng)態(tài)規(guī)劃，其中Vsub (px, y)表示Px,y點(diǎn)的垂直方向子節(jié)點(diǎn)和Px,y+1的集合；在以y為縱坐標(biāo)的垂直掃描線上執(zhí) 行傳統(tǒng)動(dòng)態(tài)規(guī)劃算法即得到水平樹最優(yōu)能量值H(px,y，d)； 步驟5. 4 垂直樹動(dòng)態(tài)規(guī)劃最優(yōu)能量函數(shù)同理根據(jù)步驟5. 2，步驟5. 3的方法先計(jì)算垂直掃描線上像素的匹配度再在水平掃描 線上進(jìn)行動(dòng)態(tài)規(guī)劃得到可得到以Px, y為根節(jié)點(diǎn)的垂直樹最優(yōu)路徑能量值V (px,y，d)； 步驟5. 5 得到像素點(diǎn)視差值首先計(jì)算垂直樹結(jié)構(gòu)最優(yōu)路徑能量值V(px, y，d)，然后將結(jié)果傳遞到水平樹結(jié)構(gòu)，使用式 y的匹配度m(px,y，d)更新為m' (px, y，d)來(lái)計(jì)算水平樹上的最優(yōu)路徑能量H(px,y，d)，其中ξ為權(quán)重系數(shù)；如果視 差d不是垂直樹上所得最優(yōu)視差，則施加懲罰用以加大匹配代價(jià)，差值越大則懲罰越大， 這樣就可以使水平樹上的動(dòng)態(tài)規(guī)劃路徑不經(jīng)過(guò)視差為d的像素點(diǎn)，最終得到px,y的視差值 = ar^nNipxyiC/);步驟5. 6 重復(fù)計(jì)算全圖匹配點(diǎn)對(duì)應(yīng)關(guān)系，得到視差圖。
全文摘要
一種基于雙目立體視覺的實(shí)拍低紋理圖像重構(gòu)方法，其實(shí)現(xiàn)步驟為(1)使用兩臺(tái)攝像機(jī)從兩個(gè)合適角度同時(shí)各拍攝一幅圖像，取其中一幅為基準(zhǔn)圖像，另外一幅為配準(zhǔn)圖像；(2)分別對(duì)兩臺(tái)攝像機(jī)的內(nèi)、外參數(shù)矩陣進(jìn)行標(biāo)定；(3)根據(jù)標(biāo)定數(shù)據(jù)進(jìn)行對(duì)極線校正、圖像變換及高斯濾波；(4)為矯正后的兩幅圖像中每一點(diǎn)計(jì)算其自適應(yīng)多邊形支撐窗口，計(jì)算像素點(diǎn)的匹配度，得到視差空間圖；(5)在全圖范圍內(nèi)逐像素執(zhí)行樹形動(dòng)態(tài)規(guī)劃算法來(lái)完成稠密匹配；(6)采用左右一致性準(zhǔn)則提取錯(cuò)誤匹配點(diǎn)，并進(jìn)行視差校正得到最終視差圖；(7)根據(jù)標(biāo)定數(shù)據(jù)和匹配關(guān)系計(jì)算圖像上實(shí)際物點(diǎn)的三維坐標(biāo)，從而重建出物體的三維點(diǎn)云。
文檔編號(hào)G06T7/00GK101887589SQ201010201709
公開日2010年11月17日 申請(qǐng)日期2010年6月13日 優(yōu)先權(quán)日2010年6月13日
發(fā)明者達(dá)飛鵬, 邵靜 申請(qǐng)人:東南大學(xué)