專利名稱：雙目立體視覺系統(tǒng)中場景立體深度與視差的關(guān)系建立方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種任意配置的立體視覺系統(tǒng)的場景深度恢復(fù)和三維重建方法，具體涉及ー種平行式雙目立體視覺系統(tǒng)中場景立體深度與視差的一般關(guān)系的模型，適用于機(jī)器視覺和攝影測量中的場景立體深度恢復(fù)和三維重建。屬于先進(jìn)制造與自動(dòng)化領(lǐng)域。
背景技術(shù)：
雙目立體視覺的研究是機(jī)器視覺領(lǐng)域的熱點(diǎn)問題之一，利用雙目立體視覺系統(tǒng)可以實(shí)現(xiàn)場景點(diǎn)的立體深度恢復(fù)和三維重建。場景的立體深度恢復(fù)是根據(jù)場景點(diǎn)在立體視覺系統(tǒng)中的對應(yīng)圖像點(diǎn)的像素坐標(biāo)求出場景點(diǎn)相對于某個(gè)攝像機(jī)沿主光軸方向的距離。而三維重建就是在深度恢復(fù)的基礎(chǔ)上，進(jìn)ー步求出場景點(diǎn)在某一攝像機(jī)坐標(biāo)系下的三維坐標(biāo)。雙目立體視覺一般分為匯聚式和平行式，其中平行式雙目立體視覺是匯聚式雙目立體視覺模型的ー種特例。標(biāo)準(zhǔn)的平行式雙目立體視覺系統(tǒng)中左、右兩個(gè)攝像機(jī)特性完全相同，攝像機(jī)坐標(biāo)系之間不存在旋轉(zhuǎn)關(guān)系，即兩個(gè)攝像機(jī)的光軸需要完全平行，且左、右兩個(gè)攝像機(jī)坐標(biāo)系僅沿著某個(gè)方向存在平移關(guān)系，平移量通常稱為基線長度，對于標(biāo)準(zhǔn)的平行式雙目立體視覺系統(tǒng)，場景立體深度與視差的關(guān)系模型是立體視覺領(lǐng)域所熟知的。但是，在現(xiàn)實(shí)條件下，標(biāo)準(zhǔn)的平行式雙目立體視覺系統(tǒng)的理想化配置難以實(shí)現(xiàn)，其主要原因有兩方面一方面，左、右兩個(gè)攝像機(jī)的內(nèi)部參數(shù)不能達(dá)到不完全相同；另一方面，通過機(jī)械方法將左、右兩個(gè)攝像機(jī)的位置關(guān)系調(diào)整到完全平行放置是不可能的。對于非標(biāo)準(zhǔn)的平行式雙目立體視覺系統(tǒng)，雙目立體視覺系統(tǒng)中主要存在著鏡頭畸變、透視誤差和系統(tǒng)誤差等誤差來源，導(dǎo)致雙目立體視覺系統(tǒng)的場景立體深度與視差關(guān)系模型發(fā)生了一定的變化，使得場景立體深度恢復(fù)和三維重建的精確度有所降低。目前，由于還沒有ー種方法可以直接進(jìn)行場景深度恢復(fù)和三維重建，所以現(xiàn)有的方法都是采用間接的方法進(jìn)行場景深度恢復(fù)和三維重建的，主要分為兩類第一類是通過圖像校正的方法將非平行軸立體視覺系統(tǒng)中的圖像轉(zhuǎn)化為標(biāo)準(zhǔn)平行軸立體視覺系統(tǒng)中的圖像，然后調(diào)用標(biāo)準(zhǔn)平行軸立體視覺系統(tǒng)的深度恢復(fù)和三維重建方法；另ー第二類是將場景點(diǎn)在兩個(gè)攝像機(jī)中的投影線反向延長，然后通過最優(yōu)化方法在場景中尋找與兩條投影線距離最近的一點(diǎn)來進(jìn)行深度恢復(fù)和三維重建。第二類方法通常需要先進(jìn)行初值估計(jì)，然后進(jìn)行迭代尋優(yōu)，既費(fèi)時(shí)又容易收斂到局部最優(yōu)解，因而在實(shí)際應(yīng)用中很少采用。所以，目前在立體視覺中進(jìn)行場景深度恢復(fù)和三維重建普遍采用第一類方法，但在采用第一類方法吋需要先進(jìn)行圖像校正，這也是一個(gè)費(fèi)時(shí)的步驟，而且會(huì)在圖像校正的變換過程中產(chǎn)生誤差，影響場景立體深度和視差關(guān)系模型，同樣使得場景立體深度恢復(fù)和三維重建的精確度降低。因此，本領(lǐng)域需要ー種適用于任意配置的平行式雙目立體視覺系統(tǒng)的場景立體深度與視差的一般模型。

發(fā)明內(nèi)容
為解決上述問題，本發(fā)明的目的是針對平行式雙目立體視覺系統(tǒng)存在的主要誤差對場景立體深度與視差關(guān)系模型的影響，提出ー種平行式雙目立體視覺系統(tǒng)中場景立體深度與視差的一般關(guān)系模型，以實(shí)現(xiàn)場景立體深度的準(zhǔn)確恢復(fù)和三維重建，且既不需要對雙目立體視覺系統(tǒng)的圖像對進(jìn)行極線校正，也不需要進(jìn)行初值估計(jì)和迭代尋優(yōu)，具有直接、簡單、準(zhǔn)確的優(yōu)點(diǎn)。為解決上述問題，本發(fā)明是采取以下的技術(shù)方案來實(shí)現(xiàn)的ー種雙目立體視覺系統(tǒng)中場景立體深度與視差的關(guān)系建立方法，其特征在于，包括以下步驟I)通過單目攝像機(jī)標(biāo)定和雙目立體視覺系統(tǒng)標(biāo)定的方法，求出左右攝像機(jī)的內(nèi)參數(shù)和相對旋轉(zhuǎn)矩陣與平移矢量；2)由攝像機(jī)透視成像的針孔模型，根據(jù)雙目立體視覺系統(tǒng)基線長度和視差的變化，建立雙目立體視覺系統(tǒng)的場景立體深度與視差的一般關(guān)系模型；3)通過選取一定數(shù)目的標(biāo)定點(diǎn)，通過激光測距儀獲得深度信息，進(jìn)行基于最小ニ 乘法的標(biāo)定，求出給定雙目立體視覺系統(tǒng)場景立體深度與視差的關(guān)系模型；4)對于左右攝像機(jī)所獲取同一場景的兩幅圖像，通過對應(yīng)點(diǎn)匹配的方法，求出左右圖像中的場景視差；5)通過場景視差，實(shí)現(xiàn)場景立體深度的精確恢復(fù)和三維重建。前述的雙目立體視覺系統(tǒng)中場景立體深度與視差的關(guān)系建立方法，其特征在于，在所述步驟2)中，雙目立體視覺系統(tǒng)的場景立體深度與視差的一般關(guān)系模型步驟為21)在只考慮模型誤差情況下，雙目立體視覺系統(tǒng)的場景立體深度與視差的一般關(guān)系t吳型如式(18)z = a + —(18)
d其中，a和b為常數(shù)，其求解通過采集ー些標(biāo)定點(diǎn)的深度信息及其對應(yīng)的視差信息利用最小二乗法得到；22 )在同時(shí)考慮模型誤差和匹配誤差情況下，完成步驟21)后，雙目立體視覺系統(tǒng)的場景立體深度與視差的一般關(guān)系模型為式(20)
權(quán)利要求
1.ー種雙目立體視覺系統(tǒng)中場景立體深度與視差的關(guān)系建立方法，其特征在于，包括以下步驟 1)通過單目攝像機(jī)標(biāo)定和雙目立體視覺系統(tǒng)標(biāo)定的方法，求出左右攝像機(jī)的內(nèi)參數(shù)和相對旋轉(zhuǎn)矩陣與平移矢量； 2)由攝像機(jī)透視成像的針孔模型，根據(jù)雙目立體視覺系統(tǒng)基線長度和視差的變化，建立雙目立體視覺系統(tǒng)的場景立體深度與視差的一般關(guān)系模型； 3)通過選取一定數(shù)目的標(biāo)定點(diǎn)，通過激光測距儀獲得深度信息，進(jìn)行基于最小二乗法的標(biāo)定，求出給定雙目立體視覺系統(tǒng)場景立體深度與視差的關(guān)系模型； 4)對于左右攝像機(jī)所獲取同一場景的兩幅圖像，通過對應(yīng)點(diǎn)匹配的方法，求出左右圖像中的場景視差； 5)通過場景視差，實(shí)現(xiàn)場景立體深度的精確恢復(fù)和三維重建。
2.根據(jù)權(quán)利要求I所述的雙目立體視覺系統(tǒng)中場景立體深度與視差的關(guān)系建立方法，其特征在于，在所述步驟2)中，雙目立體視覺系統(tǒng)的場景立體深度與視差的一般關(guān)系模型步驟為 21)在只考慮模型誤差情況下，雙目立體視覺系統(tǒng)的場景立體深度與視差的一般關(guān)系模型如式(18)
3.利用雙目立體視覺系統(tǒng)中立體深度與視差的關(guān)系實(shí)現(xiàn)立體深度恢復(fù)和三維重建的方法，其特征在于，包括以下步驟 (O通過單目攝像機(jī)標(biāo)定和雙目立體視覺系統(tǒng)標(biāo)定的方法，求出左右攝像機(jī)的內(nèi)參數(shù)和相對旋轉(zhuǎn)矩陣與平移矢量； (2)由攝像機(jī)透視成像的針孔模型，根據(jù)平行式雙目立體視覺系統(tǒng)基線長度和視差的變化，建立雙目立體視覺系統(tǒng)的場景立體深度與視差的一般關(guān)系模型； (3)對于左右攝像機(jī)所獲得的同一場景中標(biāo)定板的兩幅圖像，通過點(diǎn)匹配的方法，提取對應(yīng)的匹配點(diǎn)，獲取對應(yīng)點(diǎn)的像素坐標(biāo)，并通過歐氏距離求取對應(yīng)點(diǎn)的視差。
(4)對激光測距儀進(jìn)行標(biāo)定，使激光測距儀與標(biāo)定模板保持垂直，同時(shí)保證攝像機(jī)坐標(biāo)系與激光測距儀處于同一坐標(biāo)系中，從而獲取當(dāng)前視差下，攝像機(jī)到標(biāo)定板之間的深度； (5)移動(dòng)光學(xué)平移臺，重復(fù)(3)-(4)的操作，獲取多組視差和深度的數(shù)據(jù)，在移動(dòng)過程中，標(biāo)定板與攝像機(jī)及激光測距儀保持垂直。(6)由對應(yīng)點(diǎn)的視差以及場景點(diǎn)在攝像機(jī)坐標(biāo)系中的深度值作為ー對數(shù)據(jù)進(jìn)行最小ニ乘擬合，從而得到相應(yīng)的參數(shù)，求出給定雙目立體視覺系統(tǒng)的場景立體深度與視差的關(guān)系模型； (7)對于左右攝像機(jī)所獲取同一場景的兩幅圖像，通過對應(yīng)定匹配的方法，求出左右圖像中的場景視差； (8 )通過場景視差，完成場景立體深度的精確恢復(fù)和三維重建。
4.根據(jù)權(quán)利要求3所述的利用雙目立體視覺系統(tǒng)中立體深度與視差的關(guān)系實(shí)現(xiàn)立體深度恢復(fù)和三維重建的方法，其特征在于，在所述步驟2)中，雙目立體視覺系統(tǒng)的場景立體深度與視差的一般關(guān)系模型步驟為 21)在只考慮模型誤差情況下，雙目立體視覺系統(tǒng)的場景立體深度與視差的一般關(guān)系模型如式(18)
全文摘要
本發(fā)明公開了一種雙目立體視覺系統(tǒng)中場景立體深度與視差的關(guān)系建立方法，先求出左右攝像機(jī)的內(nèi)參數(shù)和相對旋轉(zhuǎn)矩陣與平移矢量；然后分析雙目立體視覺系統(tǒng)的主要誤差來源與誤差模型；接著分析主要誤差對平行式雙目立體視覺系統(tǒng)的基線長度和視差的影響；然后建立雙目立體視覺系統(tǒng)的場景立體深度與視差的一般關(guān)系模型；再選取一定量的標(biāo)定點(diǎn)，由激光測距儀獲得深度信息，進(jìn)行基于最小二乘法的標(biāo)定，求出給定雙目立體視覺系統(tǒng)場景立體深度與視差的關(guān)系模型；最后通過對應(yīng)定匹配的方法，求出左右圖像中的場景視差，從而實(shí)現(xiàn)場景立體深度的精確恢復(fù)和三維重建。本發(fā)明的有益之處在于直接、簡單、準(zhǔn)確，極大地提高了立體深度恢復(fù)和三維重建的精確度。
文檔編號G06T17/00GK102867304SQ20121032457
公開日2013年1月9日 申請日期2012年9月4日 優(yōu)先權(quán)日2012年9月4日
發(fā)明者魏許, 徐貴力, 王彪, 郭瑞鵬, 田裕鵬 申請人:南京航空航天大學(xué)