專利名稱：一種三維重構(gòu)的雙攝像機(jī)標(biāo)定方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種三維重構(gòu)的雙攝像機(jī)標(biāo)定方法，是一種以三維重構(gòu)為應(yīng)用背景的雙攝像機(jī)標(biāo)定方法。發(fā)屬于視覺檢測技術(shù)領(lǐng)域。

背景技術(shù)：
視覺檢測系統(tǒng)中，為了從圖像的象素點(diǎn)計(jì)算出空間物點(diǎn)的三維坐標(biāo)，需要進(jìn)行攝像機(jī)標(biāo)定。攝像機(jī)標(biāo)定就是根據(jù)選定的攝像機(jī)模型，求解攝像機(jī)內(nèi)部的幾何和光學(xué)特性，即內(nèi)參數(shù)，以及攝像機(jī)坐標(biāo)系相對世界坐標(biāo)系的位姿變化，即外參數(shù)。
對于精度要求較高的領(lǐng)域均采用非線性攝像機(jī)模型，文獻(xiàn)“J.Weng，P.Cohen and M.Herniou.Calibration of stereo camerasusing a non-linear distortion model. Proc. Int. Confer. onPattern Recognition，p246～253，1990.”對非線性攝像機(jī)的鏡頭畸變進(jìn)行了較為完善的描述。眾多的學(xué)者針對非線性攝像機(jī)的標(biāo)定展開了研究，例如文獻(xiàn)“Roger Y. Tsai. A versatile camera calibrationtechnique for high-accuracy 3d machine vision metrology usingoff-the-shelf TV cameras and lenses. IEEE journal of Roboticsand Automation，1987 3(4)，323～343.”在只考慮攝像機(jī)鏡頭的徑向幾何畸變情況下，提出了著名的兩步法；文獻(xiàn)“G. Q. Wei and S.D.Ma.Implicit and explicit camera calibrationtheory andexperiment.PRMI，1994，16(5).”提出一種雙平面攝像機(jī)模型，該方法將線性參數(shù)和非線性參數(shù)組合成中間參數(shù)，然后進(jìn)行線性求解，簡化了計(jì)算過程；文獻(xiàn)“Zhengyou Zhang. A flexible new techniquefor camera calibration. Technical Report MSR-TR-98-71.”提出一種平面模板標(biāo)定方法，通過獲取平面標(biāo)定板在任意不同方位的幾幅圖像來進(jìn)行攝像機(jī)內(nèi)外參數(shù)的標(biāo)定。
這些方法在一定程度上解決了攝像機(jī)的標(biāo)定問題，但它們主要是針對單攝像機(jī)標(biāo)定，以空間點(diǎn)重投影的誤差最小為標(biāo)定計(jì)算的目標(biāo)函數(shù)(如圖1中所示的直線p1q1)，或目標(biāo)函數(shù)沒有明顯的幾何意義。由于標(biāo)定誤差的存在，用兩個單獨(dú)標(biāo)定的攝像機(jī)在進(jìn)行立體視覺測量時，其外參數(shù)的標(biāo)定誤差必然會引起較大的測量誤差。


發(fā)明內(nèi)容
本發(fā)明的目的，是為了克服現(xiàn)有技術(shù)用用兩個單獨(dú)標(biāo)定的攝像機(jī)在進(jìn)行立體視覺測量標(biāo)定存在較大的測量誤差的缺點(diǎn)，提供一種三維重構(gòu)誤差最小的雙攝像機(jī)標(biāo)定方法。
本發(fā)明的目的可以通過采取如下措施達(dá)到 一種三維重構(gòu)的雙攝像機(jī)標(biāo)定方法，其特點(diǎn)是以空間標(biāo)定點(diǎn)的三維重建誤差最小為目標(biāo)函數(shù)，對雙攝像機(jī)的相對位姿進(jìn)行標(biāo)定，包括如下步驟 1)獲得攝像機(jī)內(nèi)參數(shù)和外參數(shù)的初值 打開兩個攝像機(jī)，同時獲取關(guān)于標(biāo)定物點(diǎn)的一系列圖像，采用傳統(tǒng)的單攝像機(jī)標(biāo)定方法，分別對兩個攝像機(jī)進(jìn)行標(biāo)定； 2)建立雙攝像機(jī)的立體標(biāo)定模型 以雙攝像機(jī)視線的公垂線的中點(diǎn)為三維重構(gòu)的空間物點(diǎn)，建立三維重構(gòu)的代數(shù)表達(dá)式，以物點(diǎn)的三維重構(gòu)誤差最小為目標(biāo)函數(shù)，以上一步獲得的內(nèi)、外參數(shù)為初值，通過迭代求解，對雙攝像機(jī)的相對位姿進(jìn)行標(biāo)定； 3)對第2)步建立的立體標(biāo)定模型進(jìn)行數(shù)值化求解，完成雙攝像機(jī)標(biāo)定過程。
本發(fā)明的目的還可以通過采取如下措施達(dá)到 本發(fā)明的一種實(shí)施方式是采用如下兩種標(biāo)定方法來獲得攝像機(jī)內(nèi)參數(shù)和外參數(shù)初值； 1)采用Tsai的兩步法，要求所有的標(biāo)定點(diǎn)不能共面； 2)采用Zhang的平面模板標(biāo)定方法，要求處于不同位姿的圖像數(shù)量不能少于3幅。
本發(fā)明的一種實(shí)施方式是在整個圖像采集的過程中，雙攝像機(jī)之間的相對位姿不能改變；在雙攝像機(jī)采集每一對圖像的過程中，標(biāo)定物點(diǎn)的位姿不能改變。
對獲得的圖像進(jìn)行特征提取和特征識別，建立空間物點(diǎn)與圖像象素點(diǎn)之間的對應(yīng)關(guān)系，然后根據(jù)選擇的標(biāo)定方法進(jìn)行計(jì)算，獲得攝像機(jī)內(nèi)、外參數(shù)的初值；利用攝像機(jī)標(biāo)定獲得的內(nèi)參數(shù)，對標(biāo)定圖像進(jìn)行幾何畸變校正。
本發(fā)明的一種實(shí)施方式是所建立的雙攝像機(jī)的立體標(biāo)定模型由如下方程式表達(dá) 本發(fā)明的一種實(shí)施方式是立體標(biāo)定模型進(jìn)行數(shù)值化求解方法為，采取以下策略進(jìn)行數(shù)值求解 1)直接基于矩陣代數(shù)方程推導(dǎo)出線性迭代公式； 2)線性化過程中利用矩陣方程的所有信息，構(gòu)造出矛盾線性方程組，然后采取矛盾方程組的求解技術(shù)進(jìn)行求解。
采本發(fā)明具有如下有益效果 本發(fā)明是利用雙攝像機(jī)以三維重構(gòu)為應(yīng)用背景，采用一種以三維重構(gòu)誤差最小為誤差評判準(zhǔn)則的雙攝像機(jī)標(biāo)定方法。本發(fā)明首先利用傳統(tǒng)的攝像機(jī)標(biāo)定方法，如Tsai方法、Zhang方法等，對單攝像機(jī)進(jìn)行標(biāo)定，獲得攝像機(jī)內(nèi)外參數(shù)的初值；然后以雙攝像機(jī)視線的公垂線的中點(diǎn)為三維重構(gòu)的空間物點(diǎn)，以物點(diǎn)的三維重構(gòu)誤差最小為誤差評判準(zhǔn)則，對雙攝像機(jī)的相對位置進(jìn)行標(biāo)定。本發(fā)明克服現(xiàn)有技術(shù)用用兩個單獨(dú)標(biāo)定的攝像機(jī)在進(jìn)行立體視覺測量標(biāo)定存在較大的測量誤差的缺點(diǎn)，具有標(biāo)定準(zhǔn)確、誤差最小的突出的有益效果。



圖1對單攝像機(jī)標(biāo)定時，以標(biāo)定物點(diǎn)重投影誤差最小為目標(biāo)函數(shù)。
圖2對雙攝像機(jī)標(biāo)定時，本發(fā)明以空間點(diǎn)三維重構(gòu)的誤差最小為目標(biāo)函數(shù)。
圖3對雙攝像機(jī)標(biāo)定時，本發(fā)明以雙攝像機(jī)視線垂線的中點(diǎn)為對應(yīng)的空間標(biāo)定點(diǎn)。

具體實(shí)施例方式 下面結(jié)合實(shí)例對本發(fā)明進(jìn)行詳細(xì)描述 (1)圖像采集與攝像機(jī)初值獲取 如前所述，可以采用不同的標(biāo)定方法來獲得攝像機(jī)內(nèi)參數(shù)和外參數(shù)初值。根據(jù)所選擇方法的不同，對標(biāo)定點(diǎn)的空間分布、圖像數(shù)量等有不同的要求，例如采用Tsai的兩步法，要求所有的標(biāo)定點(diǎn)不能共面；Zhang的平面模板標(biāo)定方法要求處于不同位姿的圖像數(shù)量不能少于3幅等。對于這部分具體的要求，根據(jù)選用方法的不同，可參考相關(guān)的參考文獻(xiàn)。
在整個圖像采集的過程中，雙攝像機(jī)之間的相對位姿不能改變；在雙攝像機(jī)采集每一對圖像的過程中，標(biāo)定物點(diǎn)的位姿不能改變。
對獲得的圖像進(jìn)行特征提取和特征識別，建立空間物點(diǎn)與圖像象素點(diǎn)之間的對應(yīng)關(guān)系，然后根據(jù)選擇的標(biāo)定方法進(jìn)行計(jì)算，獲得攝像機(jī)內(nèi)、外參數(shù)的初值；利用攝像機(jī)標(biāo)定獲得的內(nèi)參數(shù)，對標(biāo)定圖像進(jìn)行幾何畸變校正。
(2)雙攝像機(jī)的立體標(biāo)定模型 由于各種誤差的存在，直線R1，R2并不能真正相交，其幾何關(guān)系為異面的空間直線?？梢越⒁粭l線段同時垂直R1，R2，并分別交兩直線于點(diǎn)p1，p2，這條線段的中點(diǎn)P是最靠近直線R1，R2點(diǎn)，可以把它作為像點(diǎn)p1，p2對應(yīng)的標(biāo)定點(diǎn)，如圖3所示。點(diǎn)P1，P2，O1，O2之間的關(guān)系可以表示為 以單攝像機(jī)標(biāo)定的內(nèi)、外參數(shù)為初值，將式(1)改寫為第一個攝像機(jī)坐標(biāo)系中的方程 其中

為空間點(diǎn)P在第一個攝像機(jī)坐標(biāo)系中的坐標(biāo)向量，

為空間點(diǎn)P在第二個攝像機(jī)坐標(biāo)系中的坐標(biāo)向量，這兩個坐標(biāo)值可以用單攝像機(jī)標(biāo)定的結(jié)果作為初值，通過坐標(biāo)變化獲得。R，T表示第二個攝像機(jī)相對第一個攝像機(jī)的旋轉(zhuǎn)、平移矩陣，λ為對應(yīng)空間點(diǎn)P的未知量。式(2)是一個關(guān)于旋轉(zhuǎn)矢量(α，β，γ)、平移矢量(tx，ty，tz)和λ的非線性方程，用矩陣形式表示為 其中，(x1，y1，z1)，(x2，y2，z2)分別表示標(biāo)定物點(diǎn)在第一、第二個攝像機(jī)坐標(biāo)系中的坐標(biāo)。由等式的第三行，可以得到λ的表達(dá)式 簡記為λ＝λ(α，β，λ，tx，ty，tz) 將上式(4)帶入式(3)，可得 對于給定的n個空間點(diǎn)，組成非線性方程組 X(i)＝A(i) (6) i＝1，…，n 其中，X(i)為第i個點(diǎn)對應(yīng)式(5)的左邊部分，A(i)為第i個點(diǎn)對應(yīng)式(5)的右邊部分。
(3)模型的數(shù)值化求解 式(6)是一個矩陣形式非線性方程組，由該方程很難直接尋找到有效代數(shù)方程，因此，采取以下策略進(jìn)行數(shù)值求解1)直接基于矩陣代數(shù)方程推導(dǎo)出線性迭代公式；2)線性化過程中利用矩陣方程的所有信息，構(gòu)造出矛盾線性方程組，然后采取矛盾方程組的求解技術(shù)進(jìn)行求解。
為討論方便，將旋轉(zhuǎn)矢量(α，β，γ)、平移矢量(tx，ty，tz)中的變量統(tǒng)一記為x，對之作一階泰勒展開 由高斯-塞德爾迭代法(李慶揚(yáng).等數(shù)字分析.華中理工大學(xué)出版社，1986.)求解上式，獲得全部的旋轉(zhuǎn)矢量(α，β，γ)、平移矢量(tx，ty，tz)。理論上，當(dāng)n≥3可完成立體標(biāo)定，在實(shí)際標(biāo)定中應(yīng)該使方程的個數(shù)遠(yuǎn)遠(yuǎn)超過誤差的個數(shù)，以降低誤差造成的影響。
在標(biāo)定實(shí)踐中，對于兩個單獨(dú)標(biāo)定的攝像機(jī)，在標(biāo)定的過程中只考慮了單攝像機(jī)相對標(biāo)定物點(diǎn)的內(nèi)、外參數(shù)，標(biāo)定的結(jié)果是對單攝像機(jī)內(nèi)、外參數(shù)的最優(yōu)。而立體視覺測量需要用到兩個攝像機(jī)的內(nèi)、外參數(shù)，單攝像機(jī)的內(nèi)、外參數(shù)最優(yōu)，并不能保證最后測量的結(jié)果最優(yōu)，原因如下 對于兩個單獨(dú)標(biāo)定的攝像機(jī)，兩個攝像機(jī)之間的相對位姿是通過標(biāo)定物點(diǎn)建立的一種間接的幾何位姿關(guān)系，由于單攝像機(jī)標(biāo)定存在誤差，因此所建立的幾何位姿關(guān)系也是存在誤差的。而立體視覺測量是一個誤差放大的過程，特別是外參數(shù)的標(biāo)定誤差對測量精度的影響尤為明顯，因此，兩個單獨(dú)標(biāo)定的攝像機(jī)在進(jìn)行立體視覺測量時必然會一起較大的測量誤差。
三維重建就是針對一個具體的實(shí)物模型，采用某種方法，獲得大量的關(guān)于模型幾何外形的點(diǎn)數(shù)據(jù)，然后根據(jù)這些點(diǎn)數(shù)據(jù)，在計(jì)算機(jī)中建立一個數(shù)字模型。
本發(fā)明所提出的立體視覺標(biāo)定方法，在標(biāo)定過程中以三維重構(gòu)的誤差最小為攝像機(jī)標(biāo)定的目標(biāo)函數(shù)，通過對外參數(shù)的優(yōu)化，來有效的減小立體視覺測量的誤差。
本發(fā)明是利用標(biāo)定物點(diǎn)，同時對兩個攝像機(jī)進(jìn)行標(biāo)定。
攝像機(jī)內(nèi)參數(shù)主要包括焦距、中心點(diǎn)位置以及像素的比例因子等，外參數(shù)主要是指攝像機(jī)坐標(biāo)系相對參考坐標(biāo)系的旋轉(zhuǎn)、平移等位姿變換。
權(quán)利要求
1.一種三維重構(gòu)的雙攝像機(jī)標(biāo)定方法，其特征是以空間標(biāo)定點(diǎn)的三維重建誤差最小為目標(biāo)函數(shù)，對雙攝像機(jī)的相對位姿進(jìn)行標(biāo)定，包括如下步驟
1)獲得攝像機(jī)內(nèi)參數(shù)和外參數(shù)的初值
打開兩個攝像機(jī)，同時獲取關(guān)于標(biāo)定物點(diǎn)的一系列圖像，采用傳統(tǒng)的單攝像機(jī)標(biāo)定方法，分別對兩個攝像機(jī)進(jìn)行標(biāo)定；
2)建立雙攝像機(jī)的立體標(biāo)定模型
以雙攝像機(jī)視線的公垂線的中點(diǎn)為三維重構(gòu)的空間物點(diǎn)，建立三維重構(gòu)的代數(shù)表達(dá)式，以物點(diǎn)的三維重構(gòu)誤差最小為目標(biāo)函數(shù)，以上一步獲得的內(nèi)、外參數(shù)為初值，通過迭代求解，對雙攝像機(jī)的相對位姿進(jìn)行標(biāo)定；
3)對第2)步建立的立體標(biāo)定模型進(jìn)行數(shù)值化求解，完成雙攝像機(jī)標(biāo)定過程。
2.根據(jù)權(quán)利要求1所述一種三維重構(gòu)的雙攝像機(jī)標(biāo)定方法，其特征是采用Tsai的兩步法來獲得攝像機(jī)內(nèi)參數(shù)和外參數(shù)初值，要求所有的標(biāo)定點(diǎn)不能共面；或者采用Zhang的平面模板標(biāo)定方法來獲得攝像機(jī)內(nèi)參數(shù)和外參數(shù)初值，要求處于不同位姿的圖像數(shù)量不能少于3幅。
3.根據(jù)權(quán)利要求1所述一種三維重構(gòu)的雙攝像機(jī)標(biāo)定方法，其特征是在整個圖像采集的過程中，雙攝像機(jī)之間的相對位姿不能改變；在雙攝像機(jī)采集每一對圖像的過程中，標(biāo)定物點(diǎn)的位姿不能改變。
4.根據(jù)權(quán)利要求1所述一種三維重構(gòu)的雙攝像機(jī)標(biāo)定方法，其特征是對獲得的圖像進(jìn)行特征提取和特征識別，建立空間物點(diǎn)與圖像象素點(diǎn)之間的對應(yīng)關(guān)系，然后根據(jù)選擇的標(biāo)定方法進(jìn)行計(jì)算，獲得攝像機(jī)內(nèi)、外參數(shù)的初值；利用攝像機(jī)標(biāo)定獲得的內(nèi)參數(shù)，對標(biāo)定圖像進(jìn)行幾何畸變校正。
5.根據(jù)權(quán)利要求1所述一種三維重構(gòu)的雙攝像機(jī)標(biāo)定方法，其特征是所建立的雙攝像機(jī)的立體標(biāo)定模型由如下方程式表達(dá)
6.根據(jù)權(quán)利要求1所述一種三維重構(gòu)的雙攝像機(jī)標(biāo)定方法，其特征是立體標(biāo)定模型進(jìn)行數(shù)值化求解方法為，采取以下策略進(jìn)行數(shù)值求解
1)直接基于矩陣代數(shù)方程推導(dǎo)出線性迭代公式；
2)線性化過程中利用矩陣方程的所有信息，構(gòu)造出矛盾線性方程組，然后采取矛盾方程組的求解技術(shù)進(jìn)行求解。
全文摘要
本發(fā)明涉及一種三維重構(gòu)的雙攝像機(jī)標(biāo)定方法，其特征是以空間標(biāo)定點(diǎn)的三維重建誤差最小為目標(biāo)函數(shù)，對雙攝像機(jī)的相對位姿進(jìn)行標(biāo)定，包括如下步驟1)打開兩個攝像機(jī)，同時獲取關(guān)于標(biāo)定物點(diǎn)的一系列圖像，采用傳統(tǒng)的單攝像機(jī)標(biāo)定方法，分別對兩個攝像機(jī)進(jìn)行標(biāo)定；2)以雙攝像機(jī)視線的公垂線的中點(diǎn)為三維重構(gòu)的空間物點(diǎn)，建立三維重構(gòu)的代數(shù)表達(dá)式，以物點(diǎn)的三維重構(gòu)誤差最小為目標(biāo)函數(shù)，以上一步獲得的內(nèi)、外參數(shù)為初值，通過迭代求解，對雙攝像機(jī)的相對位姿進(jìn)行標(biāo)定；對第2)步建立的立體標(biāo)定模型進(jìn)行數(shù)值化求解，完成雙攝像機(jī)標(biāo)定過程。本發(fā)明具有標(biāo)定準(zhǔn)確、誤差最小的有益效果。
文檔編號G06T7/00GK101149836SQ200710031249
公開日2008年3月26日 申請日期2007年11月5日 優(yōu)先權(quán)日2007年11月5日
發(fā)明者歐陽祥波, 宗志堅(jiān), 熊會元 申請人:中山大學(xué)