專利名稱：一種攝像機(jī)參數(shù)的魯棒性估計(jì)算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于測(cè)量技術(shù)領(lǐng)域，涉及一種攝像機(jī)參數(shù)的魯棒性估計(jì)算法，能夠在標(biāo)定圖像局部質(zhì)量較差的情況下準(zhǔn)確地確定出攝像機(jī)參數(shù)。
背景技術(shù)：
攝像機(jī)標(biāo)定是視覺(jué)測(cè)量中一個(gè)重要而關(guān)鍵的環(huán)節(jié)，其主要任務(wù)在于通過(guò)靶標(biāo)特征點(diǎn)的二維圖像坐標(biāo)與對(duì)應(yīng)的三維世界坐標(biāo)求解攝像機(jī)參數(shù)。攝像機(jī)標(biāo)定結(jié)果的準(zhǔn)確程度對(duì)于整個(gè)機(jī)器視覺(jué)系統(tǒng)的測(cè)量結(jié)果有著重要的影響。如果標(biāo)定的攝像機(jī)參數(shù)不能準(zhǔn)確反映真實(shí)的攝像機(jī)模型，則由該參數(shù)參與計(jì)算得到的物體三維重構(gòu)形狀將會(huì)變形失真，對(duì)物體的位置和姿態(tài)的估計(jì)將會(huì)出現(xiàn)偏差，獲取的被測(cè)物的幾何特征精度將會(huì)下降。攝像機(jī)標(biāo)定過(guò)程中，由于標(biāo)定圖像的拍攝受到外界環(huán)境的干擾，部分靶標(biāo)圖像的特征點(diǎn)坐標(biāo)常常難以準(zhǔn)確提取，這將導(dǎo)致計(jì)算得到的攝像機(jī)參數(shù)誤差增大。如果采用恰當(dāng)?shù)姆椒z測(cè) 并去除含有粗大誤差的特征點(diǎn)，并對(duì)最初得到的攝像機(jī)參數(shù)進(jìn)行重新估計(jì)，則會(huì)大大提高標(biāo)定結(jié)果的精度。目前，針對(duì)采用三維立體靶標(biāo)和直接線性變換法的攝像機(jī)標(biāo)定過(guò)程，WuYihong等人采用基于6點(diǎn)不變量的評(píng)價(jià)函數(shù)和RANSAC方法(隨機(jī)抽樣一致算法，參見(jiàn)Random sample consensus:a paradigm for model fitting with applications to imageanalysis and automated cartography. Communications of ACM[J]. 1981, 24:381 - 395)成功地檢測(cè)并剔除了粗大誤差點(diǎn)(參見(jiàn)Detecting and handling unreliablepoints for camera parameter estimation. International Journal of ComputerVision [J], 2008, 79:209 - 223)。然而，由于構(gòu)成三維立體靶標(biāo)的不同平面之間的相互遮擋以及高精度三維靶標(biāo)加工困難，三維靶標(biāo)逐漸被二維平面靶標(biāo)取代。對(duì)于更為常用的采用二維平面祀標(biāo)的標(biāo)定方法(參見(jiàn) A flexible new technique for camera calibration.IEEE Transactions on Pattern Analysis and Machine Intelligence[J]. 2000, 22(11):1330 - 1334)，現(xiàn)在尚無(wú)一種能夠有效檢測(cè)并剔除粗大誤差點(diǎn)的攝像機(jī)參數(shù)魯棒性估計(jì)算法。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問(wèn)題是克服現(xiàn)有技術(shù)的不足，提供一種基于二維靶標(biāo)的攝像機(jī)參數(shù)魯棒性估計(jì)算法，該算法能夠有效解決由于標(biāo)定圖像局部質(zhì)量較差導(dǎo)致標(biāo)定的攝像機(jī)參數(shù)精度下降的問(wèn)題。本發(fā)明的技術(shù)解決方案為一種攝像機(jī)參數(shù)的魯棒性估計(jì)算法，其特征在于該方法包含以下步驟I、自由移動(dòng)靶標(biāo)至少3個(gè)位置，每移動(dòng)一個(gè)位置，拍攝一幅圖像，靶標(biāo)內(nèi)所有特征點(diǎn)應(yīng)該包含在拍攝圖像內(nèi)，提取圖像所含特征點(diǎn)的坐標(biāo)，利用特征點(diǎn)的圖像坐標(biāo)與已知的世界坐標(biāo)的對(duì)應(yīng)關(guān)系求解攝像機(jī)參數(shù)的初始值；2、利用獲取的攝像機(jī)參數(shù)計(jì)算每個(gè)特征點(diǎn)的重投影誤差Ept，并與設(shè)定的閾值Tpt進(jìn)行比較，剔除滿足條件Ept>Tpt的特征點(diǎn)，利用剩余的特征點(diǎn)進(jìn)行攝像機(jī)參數(shù)的非線性優(yōu)化，步驟2將反復(fù)進(jìn)行直到剩余的所有特征點(diǎn)均滿足Ept ( Tpt ；3、利用步驟2得到的攝像機(jī)參數(shù)計(jì)算每幅圖像的重投影誤差Eimg，根據(jù)每幅圖像的Eimg設(shè)定閾值T_，采用RANSAC算法檢測(cè)出每幅圖像的粗大誤差特征點(diǎn)，利用剔除后的剩余特征點(diǎn)對(duì)攝像機(jī)參數(shù)再次進(jìn)行優(yōu)化。步驟I所述的靶標(biāo)為玻璃材質(zhì)的棋盤(pán)格平面靶標(biāo)，靶標(biāo)特征點(diǎn)為平面上的36X36個(gè)格點(diǎn)，格點(diǎn)之間的最小距離為2mm ；步驟2和步驟3所述的非線性優(yōu)化均采用Levenberg-Marquardt算法處理目標(biāo)函數(shù)的極小化問(wèn)題。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于
針對(duì)基于二維靶標(biāo)的攝像機(jī)參數(shù)標(biāo)定過(guò)程，本發(fā)明利用閾值剔除和RANSAC算法相結(jié)合的手段，能夠有效地檢測(cè)到標(biāo)定圖像中存在的粗大誤差特征點(diǎn)，剔除后剩余的特征點(diǎn)將用于攝像機(jī)參數(shù)的優(yōu)化。采用本發(fā)明所提出的魯棒性估計(jì)算法，尤其適用于標(biāo)定圖像局部質(zhì)量受損的情形，能夠大大提高攝像機(jī)參數(shù)的標(biāo)定精度和測(cè)量精度。


圖I為本發(fā)明涉及的攝像機(jī)參數(shù)魯棒性估計(jì)算法流程示意圖；圖2為本發(fā)明實(shí)施例中用于攝像機(jī)標(biāo)定的一幅靶標(biāo)圖像；圖3為本發(fā)明實(shí)施例中用于標(biāo)定結(jié)果測(cè)試的一幅靶標(biāo)圖像。
具體實(shí)施例方式下面對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。本發(fā)明針對(duì)標(biāo)定圖像中含有部分粗大誤差特征點(diǎn)的情況，首次采用閾值剔除和RANSAC算法相結(jié)合的手段，消除了粗大誤差特征點(diǎn)對(duì)標(biāo)定結(jié)果的影響，實(shí)現(xiàn)了攝像機(jī)參數(shù)的魯棒性估計(jì)。攝像機(jī)模型以拍攝的靶標(biāo)平面為參考建立世界坐標(biāo)系，以攝像機(jī)所在位姿為參考建立攝像機(jī)坐標(biāo)系。設(shè)任意一個(gè)特征點(diǎn)在世界坐標(biāo)系下的坐標(biāo)為M，對(duì)應(yīng)的圖像點(diǎn)坐標(biāo)為m，則理想的針孔成像模型表示為Xm = A[R\t^M[1]其中入為不為零的比例因子,沿和愈為齊次坐標(biāo)表示,R和t為世界坐標(biāo)系與攝像機(jī)坐標(biāo)的變換，分別表示3X3的旋轉(zhuǎn)矩陣和3X I的平移向量，A為內(nèi)部參數(shù)矩陣
/.X 0 W0A= 0 f V0
0 0 I其中fx和fy為攝像機(jī)的有效焦距，(Uc^vtl)為攝像機(jī)的主點(diǎn)坐標(biāo)。考慮攝像機(jī)鏡頭的一階和二階徑向畸變，設(shè)點(diǎn)m對(duì)應(yīng)的實(shí)際圖像坐標(biāo)為md，則理想圖像坐標(biāo)到實(shí)際圖像坐標(biāo)的變換，即攝像機(jī)鏡頭的崎變1吳型為md = [!+Ii1T2+k2r4]m[2]其中Ic1和k2分別為一階和二階徑向畸變系數(shù)，r為理想圖像點(diǎn)m到主點(diǎn)坐標(biāo)的距離。下面詳細(xì)闡述一種攝像機(jī)參數(shù)魯棒性估計(jì)算法的具體步驟I、自由移動(dòng)靶標(biāo)至少3個(gè)位置，每移動(dòng)一個(gè)位置，在自然光照環(huán)境下拍攝一幅圖像，稱為標(biāo)定圖像，靶標(biāo)內(nèi)所有特征點(diǎn)應(yīng)該包含在拍攝圖像內(nèi)，共獲取K幅靶標(biāo)圖像，并提取圖像中各個(gè)特征點(diǎn)的坐標(biāo)。所采用的靶 標(biāo)為玻璃材質(zhì)的棋盤(pán)格平面靶標(biāo)，靶標(biāo)特征點(diǎn)為平面上的36X36個(gè)格點(diǎn)，格點(diǎn)之間的最小間距為5mm。為了便于公式表達(dá)，設(shè)每幅圖像含有L個(gè)特征點(diǎn)，特征點(diǎn)圖像坐標(biāo)提取方法參見(jiàn)《模式識(shí)別中的特征提取與計(jì)算機(jī)視覺(jué)不變量》(孫即祥、王曉華、種山著，國(guó)防工業(yè)出版社，2001年)。2、利用特征點(diǎn)的圖像坐標(biāo)與已知的世界坐標(biāo)的對(duì)應(yīng)關(guān)系求解攝像機(jī)參數(shù)的初始值，包括內(nèi)部參數(shù)、外部參數(shù)和畸變系數(shù)，具體算法參見(jiàn)Zhang Zhengyou的論文“Aflexible new technique for camera calibration. IEEE Transactions on PatternAnalysis and Machine Intelligence[J]. 2000，22(11) :1330 - 1334”。3、利用獲取的攝像機(jī)參數(shù)，將特征點(diǎn)在世界坐標(biāo)系中的坐標(biāo)M重投影到圖像平面，重投影的坐標(biāo)表示為mp，并計(jì)算每個(gè)特征點(diǎn)的實(shí)際圖像坐標(biāo)md與mp的距離，即重投影誤差Ept。將Ept與設(shè)定的閾值Tpt=2pixel進(jìn)行比較，逐個(gè)剔除滿足條件Ept>Tpt的特征點(diǎn)，并利用剩余的特征點(diǎn)進(jìn)行攝像機(jī)參數(shù)的非線性優(yōu)化，其優(yōu)化的目標(biāo)函數(shù)為
K h2mdj.j ~ mpJJ ^fx ->fV5 55 )[3]
,=1/=1"其中i表不標(biāo)定圖像的序號(hào)，j表不標(biāo)定圖像中特征點(diǎn)的序號(hào)，K表不標(biāo)定圖像的幅數(shù)，Li表示第i幅圖像剔除粗大誤差特征點(diǎn)后剩余的特征點(diǎn)個(gè)數(shù)。步驟3將反復(fù)進(jìn)行直到剩余的所有特征點(diǎn)均滿足Ept ( Tpto4、利用步驟3得到的攝像機(jī)參數(shù)計(jì)算每幅圖像的重投影誤差Eimg (參見(jiàn)《MultipleView Geometry in Computer Vision》，H. Richard and A. Zisserman, CambridgeUniversity Press, 2003年),根據(jù)每幅圖像的Eimg設(shè)定相應(yīng)的閾值T e=L 2Eimg,并初始化RANSAC算法的參數(shù)采樣次數(shù)上限值N ，野值點(diǎn)(即RANSAC中的粗大誤差特征點(diǎn))比例e =100%，隨機(jī)樣本中至少有一次沒(méi)有野值點(diǎn)的概率p=99%,樣本大小s=4，采樣次數(shù)n=l，以上參數(shù)滿足的關(guān)系為N= 1 嘩(1 —尸)[4]
L 」 Iog(HUs)1」5、對(duì)于第i幅標(biāo)定圖像，按照?qǐng)D像特征點(diǎn)的分布，將特征點(diǎn)均勻地分為4個(gè)區(qū)域，從每個(gè)區(qū)域中都隨機(jī)選取一個(gè)特征點(diǎn)組成一個(gè)樣本。根據(jù)隨機(jī)選取的4個(gè)特征點(diǎn)以及步驟3得到的內(nèi)部參數(shù)和畸變系數(shù)計(jì)算該樣本對(duì)應(yīng)的外部參數(shù)，并根據(jù)以上參數(shù)計(jì)算該幅圖像每個(gè)特征點(diǎn)的重投影誤差E_。6、滿足條件Ere。( Trsc的特征點(diǎn)定義為內(nèi)點(diǎn)，內(nèi)點(diǎn)的集合表示為Sin,內(nèi)點(diǎn)個(gè)數(shù)表
示為Num(Sin);不滿足條件Ere。( Trsc的特征點(diǎn)定義為野值點(diǎn),野值點(diǎn)的集合表示為Stjut,野
值點(diǎn)個(gè)數(shù)表示為Num(Swt)。根據(jù)公式[5]計(jì)算該樣本對(duì)應(yīng)的野值點(diǎn)比例若滿足條件
e *〈 e，則令e = e *,并根據(jù)公式[4]更新N的數(shù)值。
I7vml F* 二 ^um(Saat)「51—Ntm(Sin)+Ntm(Som)1 J
7、如果采樣次數(shù)n大于上限值N，則在所有內(nèi)點(diǎn)集合Sin中選出內(nèi)點(diǎn)個(gè)數(shù)最大的集合，稱為最大一致集S_。如果有兩個(gè)以上的內(nèi)點(diǎn)集合Sin具有最大的內(nèi)點(diǎn)個(gè)數(shù)，則選取其中內(nèi)點(diǎn)重投影誤差均值較小的集合為最大一致集。如果采樣次數(shù)n小于或等于上限值N，則令n=n+l,返回到步驟5。8、如果當(dāng)前處理的標(biāo)定圖像序號(hào)i=K，即所有圖像的特征點(diǎn)均處理完畢，則最終參
與標(biāo)定的內(nèi)點(diǎn)集合C由每幅圖像的最大一致集構(gòu)成，即C = 。根據(jù)公式[3]，集合C中
/=1
的所有特征點(diǎn)將用于攝像機(jī)參數(shù)的非線性優(yōu)化。如果當(dāng)前處理的標(biāo)定圖像序號(hào)i〈K，則令i=i+1，返回到步驟5，處理下一幅圖像。實(shí)施例采用Point grey FL2-20S4M/C相機(jī)和12mm Computar鏡頭組成待標(biāo)定的攝像機(jī)，圖像分辨率為1280pixelSX960pixelS。實(shí)施例中采用的靶標(biāo)為玻璃材質(zhì)的棋盤(pán)格平面靶標(biāo)，靶標(biāo)特征點(diǎn)為平面上的36X36個(gè)格點(diǎn)，格點(diǎn)之間的最小間距為2mm，間距的制作精度為
0.001mm。在自然光照條件下，自由移動(dòng)靶標(biāo)到10個(gè)不同的位置，每移動(dòng)一個(gè)位置，拍攝一幅圖像，靶標(biāo)上所有的特征點(diǎn)應(yīng)包含在拍攝圖像內(nèi)，共獲取10幅靶標(biāo)圖像作為標(biāo)定圖像(圖2所示為用于標(biāo)定的一幅圖像)。在背光源照明條件下，采用同樣的拍攝手段，得到5幅靶標(biāo)圖像作為測(cè)試圖像(圖3所示為用于測(cè)試的一幅圖像)，用于評(píng)定標(biāo)定結(jié)果的測(cè)量精度。按照具體實(shí)施方法中所述的步驟2得到攝像機(jī)參數(shù)的初始值，由步驟8即本發(fā)明方法得到魯棒性估計(jì)值(見(jiàn)表一)。其中，標(biāo)定精度的評(píng)價(jià)方法為利用已標(biāo)定的攝像機(jī)參數(shù)結(jié)果，得到10幅標(biāo)定圖像中特征點(diǎn)的重投影坐標(biāo)，計(jì)算其與對(duì)應(yīng)的實(shí)際圖像坐標(biāo)的均方根誤差。測(cè)量精度的評(píng)價(jià)方法為采用未標(biāo)定的5幅圖像作為測(cè)試圖像，運(yùn)用參數(shù)的標(biāo)定數(shù)值，計(jì)算出每幅測(cè)試圖像的靶標(biāo)平面位姿參數(shù)，再將每幅測(cè)試圖像的圖像特征點(diǎn)反投射到靶標(biāo)平面形成交點(diǎn)，計(jì)算其與所有空間特征點(diǎn)之間的距離的均方根誤差(見(jiàn)表二)。
權(quán)利要求
1. 一種攝像機(jī)參數(shù)的魯棒性估計(jì)算法，其特征在于該方法包含以下步驟 I. I、自由移動(dòng)靶標(biāo)至少3個(gè)位置，每移動(dòng)一個(gè)位置，拍攝一幅圖像，靶標(biāo)內(nèi)所有特征點(diǎn)應(yīng)該包含在拍攝圖像內(nèi)，提取圖像所含特征點(diǎn)的坐標(biāo)，利用特征點(diǎn)的圖像坐標(biāo)與已知的世界坐標(biāo)的對(duì)應(yīng)關(guān)系求解攝像機(jī)參數(shù)的初始值； I. 2、利用獲取的攝像機(jī)參數(shù)計(jì)算每個(gè)特征點(diǎn)的重投影誤差Ept，并與設(shè)定的閾值Tpt進(jìn)行比較，剔除滿足條件EptXTpt的特征點(diǎn)，利用剩余的特征點(diǎn)進(jìn)行攝像機(jī)參數(shù)的非線性優(yōu)化，步驟I. 2將反復(fù)進(jìn)行直到剩余的所有特征點(diǎn)均滿足Ept ( Tpt ； 1.3、利用步驟I. 2得到的攝像機(jī)參數(shù)計(jì)算每幅圖像的重投影誤差Eimg，根據(jù)每幅圖像的Eimg設(shè)定閾值T_，采用RANSAC算法檢測(cè)出每幅圖像的粗大誤差特征點(diǎn)，利用剔除后的剩余特征點(diǎn)對(duì)攝像機(jī)參數(shù)再次進(jìn)行優(yōu)化。
2.根據(jù)權(quán)利要求I所述的一種攝像機(jī)參數(shù)的魯棒性估計(jì)算法，其特征在于步驟I.I所述的靶標(biāo)為玻璃材質(zhì)的平面靶標(biāo)，靶標(biāo)特征點(diǎn)為平面上的36X36個(gè)格點(diǎn)，格點(diǎn)之間的最小距離為2mm。
3.根據(jù)權(quán)利要求I所述的一種攝像機(jī)參數(shù)的魯棒性估計(jì)算法，其特征在于步驟I.2和I. 3所述的非線性優(yōu)化采用Levenberg-Marquardt優(yōu)化算法處理目標(biāo)函數(shù)的極小化問(wèn)題。
全文摘要
本發(fā)明屬于測(cè)量技術(shù)領(lǐng)域，將提供一種攝像機(jī)參數(shù)的魯棒性估計(jì)算法。本發(fā)明首先利用提取到的所有圖像特征點(diǎn)進(jìn)行攝像機(jī)參數(shù)的標(biāo)定；然后計(jì)算每個(gè)特征點(diǎn)的重投影誤差，并與設(shè)定的閾值進(jìn)行比較，剔除含有粗大誤差的特征點(diǎn)，利用剩余的特征點(diǎn)進(jìn)行攝像機(jī)參數(shù)的非線性優(yōu)化；最后，依次針對(duì)每幅圖像，計(jì)算該圖像的重投影誤差，采用RANSAC算法剔除每幅圖像包含的粗大誤差特征點(diǎn)，并再次利用剩余的特征點(diǎn)進(jìn)行攝像機(jī)參數(shù)的非線性優(yōu)化。本發(fā)明提出的攝像機(jī)參數(shù)估計(jì)方法實(shí)現(xiàn)簡(jiǎn)單，魯棒性強(qiáng)，能夠有效提高攝像機(jī)參數(shù)的標(biāo)定精度和測(cè)量精度，適合標(biāo)定圖像局部質(zhì)量較差，導(dǎo)致部分特征點(diǎn)坐標(biāo)提取不準(zhǔn)確的情況。
文檔編號(hào)G06T7/00GK102800096SQ20121025053
公開(kāi)日2012年11月28日 申請(qǐng)日期2012年7月19日 優(yōu)先權(quán)日2012年7月19日
發(fā)明者周富強(qiáng), 崔毅 申請(qǐng)人:北京航空航天大學(xué)