專利名稱：一種用于視覺測量的攝像機(jī)參數(shù)優(yōu)化方法
技術(shù)領(lǐng)域：
本發(fā)明屬于測量技術(shù)領(lǐng)域，涉及一種用于視覺測量的攝像機(jī)參數(shù)優(yōu)化方法。
背景技術(shù)：
攝像機(jī)標(biāo)定是視覺測量中一個(gè)重要而關(guān)鍵的環(huán)節(jié)，所謂攝像機(jī)標(biāo)定就是指根據(jù)攝像機(jī)模型，利用特征點(diǎn)的提取圖像坐標(biāo)和已知世界坐標(biāo)求解模型參數(shù)，從而建立物體空間和圖像平面的映射關(guān)系。攝像機(jī)模型參數(shù)通常分為內(nèi)部參數(shù)和外部參數(shù)，其中內(nèi)部參數(shù)為攝像機(jī)固有參數(shù)，不會因?yàn)閿z像機(jī)位置變化而改變，外部參數(shù)則反映的是攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的位置關(guān)系。為了獲得較高的標(biāo)定精度，一般需要采用優(yōu)化方法估計(jì)出攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)。傳統(tǒng)的攝像機(jī)參數(shù)優(yōu)化方法是根據(jù)攝像機(jī)模型，將已知物空間特征點(diǎn)投影到圖像平面上，得到特征點(diǎn)的模型圖像坐標(biāo)，模型圖像坐標(biāo)與攝像機(jī)實(shí)際探測到的圖像坐標(biāo)存在偏差，通過非線性優(yōu)化的過程使得這種偏差達(dá)到最小，從而求出偏差最小時(shí)的參數(shù)，即攝像機(jī)參數(shù)的最優(yōu)解。例如Weng Juyang, et al.的論文“Camera calibration with distortionmodels and accuracy evaluation.IEEE Transactions on Pattern Analysis andMachine Intelligence [J] · 1992，14 (10) :965_980”和 Zhang Zhengyou 的論文“A flexiblenew technique for camera calibration. IEEE Transactions on Pattern Analysis andMachine Intelligence [J] · 2000，22 (11) :1330_1334”，上述兩篇論文釆用的是不同的攝像機(jī)標(biāo)定方法，但是攝像機(jī)參數(shù)的優(yōu)化均是在二維圖像平面內(nèi)討論根據(jù)攝像機(jī)模型以及參數(shù)的初始估計(jì)值將特征點(diǎn)在測量空間中的坐標(biāo)重投影到圖像平面，得到一系列模型像素坐標(biāo)，將模型像素坐標(biāo)與采用圖像處理方法獲取的實(shí)際圖像坐標(biāo)逐一比較，兩種坐標(biāo)對應(yīng)點(diǎn)的偏差之和作為優(yōu)化目標(biāo)函數(shù)，利用非線性優(yōu)化算法(例如Levenberg-Marquardt算法或Newton-Raphson算法)求解目標(biāo)函數(shù)最小化時(shí)的模型參數(shù)，即攝像機(jī)參數(shù)的最優(yōu)解。傳統(tǒng)的攝像機(jī)參數(shù)優(yōu)化方法是建立在二維圖像平面上，以最小化圖像像素距離誤差作為目標(biāo)函數(shù)，反復(fù)迭代搜索獲取參數(shù)的最優(yōu)解。然而，實(shí)際的視覺測量流程是在三維物體空間中進(jìn)行的，例如最基本的距離和角度測量都需要在世界坐標(biāo)系或者攝像機(jī)坐標(biāo)系下進(jìn)行，傳統(tǒng)的參數(shù)優(yōu)化過程與實(shí)際測量流程各自的坐標(biāo)系并不一致，會帶來測量精度下降等問題。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問題是克服現(xiàn)有技術(shù)的不足，提供一種用于視覺測量的攝像機(jī)參數(shù)優(yōu)化方法。本發(fā)明的技術(shù)解決方案為一種用于視覺測量的攝像機(jī)參數(shù)優(yōu)化方法，其特征在于該方法包含以下步驟I、在攝像機(jī)的視場范圍內(nèi)，自由移動靶標(biāo)至少3個(gè)位置，每移動一個(gè)位置，拍攝一幅圖像，稱為標(biāo)定圖像，靶標(biāo)上所有的特征點(diǎn)應(yīng)包含在標(biāo)定圖像中；提取標(biāo)定圖像中的特征點(diǎn)的圖像坐標(biāo)，并與特征點(diǎn)的世界坐標(biāo)對應(yīng)；2、利用步驟I提取的所有特征點(diǎn)的圖像坐標(biāo)與對應(yīng)的世界坐標(biāo)標(biāo)定攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)，攝像機(jī)內(nèi)部參數(shù)包括攝像機(jī)的有效焦距、主點(diǎn)及畸變系數(shù)；采用以圖像特征點(diǎn)重投影誤差最小為目 標(biāo)函數(shù)的傳統(tǒng)優(yōu)化方法對攝像機(jī)參數(shù)進(jìn)行初次優(yōu)化，優(yōu)化結(jié)果作為第二次優(yōu)化計(jì)算的初始值；3、利用步驟2標(biāo)定的攝像機(jī)畸變參數(shù)對特征點(diǎn)的圖像坐標(biāo)進(jìn)行畸變矯正，求出特征點(diǎn)的無畸變圖像坐標(biāo)；4、以投影中心為端點(diǎn)，連接投影中心與無畸變圖像特征點(diǎn)的射線稱為投影射線，在攝像機(jī)坐標(biāo)系下，計(jì)算投影射線的方程；5、在攝像機(jī)坐標(biāo)系下，計(jì)算步驟I所述的不同拍攝位置的靶標(biāo)平面方程，并計(jì)算投影射線與對應(yīng)靶標(biāo)平面的交點(diǎn)，將交點(diǎn)稱為計(jì)算特征點(diǎn)；6、計(jì)算各個(gè)已知特征點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)，將其與步驟5獲得的攝像機(jī)坐標(biāo)系下的計(jì)算特征點(diǎn)的坐標(biāo)比較，以二者距離和最小作為目標(biāo)函數(shù)對攝像機(jī)參數(shù)再次進(jìn)行非線性優(yōu)化。步驟I所述的靶標(biāo)為玻璃材質(zhì)的平面靶標(biāo)，靶標(biāo)特征點(diǎn)為平面上的10X10個(gè)格點(diǎn)，格點(diǎn)之間的最小距離為9mm,其距離精度為O. OOlmm O. 01mm。步驟2和步驟6所述的非線性優(yōu)化均采用Levenberg-Marquardt算法處理目標(biāo)函數(shù)的極小化問題。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于采用基于三維測量坐標(biāo)系的攝像機(jī)標(biāo)定參數(shù)優(yōu)化方法，對初次優(yōu)化的攝像機(jī)參數(shù)進(jìn)行二次優(yōu)化，參數(shù)的二次優(yōu)化準(zhǔn)則更接近實(shí)際的測量誤差準(zhǔn)則，避免了參數(shù)優(yōu)化坐標(biāo)系與視覺測量坐標(biāo)系不一致帶來的測量精度下降等問題。


圖I為攝像機(jī)的數(shù)學(xué)模型示意圖；圖2為本發(fā)明涉及的攝像機(jī)參數(shù)優(yōu)化方法流程示意圖；圖3為本發(fā)明涉及的用于攝像機(jī)標(biāo)定的平面靶標(biāo)示意圖；圖4為本發(fā)明實(shí)施例中用于攝像機(jī)標(biāo)定的一幅圖像。
具體實(shí)施例方式下面對本發(fā)明做進(jìn)一步詳細(xì)說明。本發(fā)明首次采用基于三維測量坐標(biāo)系的參數(shù)優(yōu)化方法對攝像機(jī)參數(shù)進(jìn)行二次優(yōu)化，實(shí)現(xiàn)了高精度的攝像機(jī)標(biāo)定。圖I所示為攝像機(jī)的數(shù)學(xué)模型示意圖。omz。為攝像機(jī)坐標(biāo)系，Ow-Xw7wZw為建立在靶標(biāo)平面上的世界坐標(biāo)系，ou-xuyu為無畸變圖像坐標(biāo)系，on-xnyn為歸一化圖像坐標(biāo)系。\為歸一化圖像平面，n u為無畸變圖像平面，O。為投影中心，Op是直線0。2。與\的交點(diǎn)，稱為攝像機(jī)的主點(diǎn)。定義OcZc丄nu，π n//JI u，ocxy/ouxu//onxn和(^//。^//。丄。任意物點(diǎn)M在31 u上的投影為像點(diǎn)m。設(shè)點(diǎn)M的世界坐標(biāo)為Mw = (xw, yw, zw)T,攝像機(jī)坐標(biāo)為M。=U。，lc，zc)T，貝U ow-xwywzw 到 O-XJcZc 的變換為Mc = RMw+t[I]
式中R為3X3的正交旋轉(zhuǎn)矩陣，t為3X I的平移矢量。設(shè)隊(duì)=(xn, yn)T為點(diǎn)m的歸一化圖像坐標(biāo)，mu為相應(yīng)的無畸變圖像像素坐標(biāo),攝像機(jī)在x、y方向上的有效焦距為仁和fy，攝像機(jī)的主點(diǎn)坐標(biāo)為(Utl, Vc/,則有mn = (xc/zc, yc/zc)T[2]mu = (fxxn+u0, fyyn+v0)T[3]
若考慮攝像機(jī)鏡頭的一次和二次徑向畸變，設(shè)點(diǎn)m的畸變圖像坐標(biāo)為mg，則有= [I + Ic1T2 + k2r4]mu[4]其中k1; k2為徑向畸變系數(shù)，r為無畸變圖像點(diǎn)mu到主點(diǎn)(Utl, v0)τ的距離。公式[I] [4]表示了空間點(diǎn)到圖像平面的透視投影模型和畸變模型。攝像機(jī)參數(shù)包括兩個(gè)部分①內(nèi)部參數(shù)有效焦距fx、fy，主點(diǎn)坐標(biāo)(uQ，V0)τ以及徑向畸變系數(shù)Ic1和k2 ;②外部參數(shù)旋轉(zhuǎn)矩陣R和平移向量t。根據(jù)攝像機(jī)模型，空間中任意一點(diǎn)可以確定唯一的圖像投影點(diǎn)。反之，如果已知攝像機(jī)內(nèi)部參數(shù)，根據(jù)公式[4]，對直接檢測到的圖像點(diǎn)首先進(jìn)行畸變矯正獲取理想圖像點(diǎn)，再根據(jù)公式[I] [3]可以求出空間點(diǎn)投影到歸一化平面上的坐標(biāo)，從而可以獲得投影點(diǎn)在攝像機(jī)坐標(biāo)系omz。下的坐標(biāo)。圖2所示為本發(fā)明涉及的攝像機(jī)參數(shù)優(yōu)化方法流程示意圖。圖3為本發(fā)明涉及的用于攝像機(jī)標(biāo)定的平面靶標(biāo)示意圖。下面結(jié)合圖I、圖2、圖3闡述一種用于視覺測量的攝像機(jī)參數(shù)優(yōu)化方法的具體步驟I、調(diào)整攝像機(jī)鏡頭的焦距和光圈，保證攝像機(jī)在測量范圍內(nèi)能夠拍攝到清晰的圖像，自由移動靶標(biāo)至少3個(gè)位置，每移動一個(gè)位置，拍攝一幅圖像，稱為標(biāo)定圖像，靶標(biāo)內(nèi)所有特征點(diǎn)應(yīng)該包含在拍攝圖像內(nèi)，共獲取k幅標(biāo)定圖像(k> 3)，并提取圖像中各個(gè)特征點(diǎn)的坐標(biāo)。如圖3所示，所采用的靶標(biāo)為玻璃材質(zhì)的平面靶標(biāo)，靶標(biāo)特征點(diǎn)為平面上的10X10個(gè)格點(diǎn)，格點(diǎn)之間的最小距離為9mm。為了便于公式表達(dá)，設(shè)每幅圖像含有η個(gè)特征點(diǎn)(n ^ 4)，特征點(diǎn)圖像坐標(biāo)提取方法參見《模式識別中的特征提取與計(jì)算機(jī)視覺不變量》(孫即祥、王曉華、種山著，國防工業(yè)出版社，2001年)。2、利用所有特征點(diǎn)的圖像坐標(biāo)與對應(yīng)的世界坐標(biāo)求解每個(gè)視角中世界坐標(biāo)系ow_xwywzw與圖像坐標(biāo)系的ou-xuyu之間的單應(yīng)矩陣，單應(yīng)矩陣表示為H。利用旋轉(zhuǎn)矩陣的正交性可以分解H,求解出攝像機(jī)的內(nèi)部參數(shù)fx, fy, u0, V0, k1； k2和外部參數(shù)R, to單應(yīng)矩陣以及內(nèi)外參數(shù)的具體算法參見Zhang Zhengyou的論文“A flexible new techniquefor camera calibration. IEEETransactions on Pattern Analysis and MachineIntelligence [J] · 2000，22(11) : 1330-1334”。3、根據(jù)攝像機(jī)的數(shù)學(xué)模型以及步驟2得到的內(nèi)外參數(shù)值，將特征點(diǎn)在靶標(biāo)世界坐標(biāo)系中的坐標(biāo)重投影到圖像平面，求出第i幅(i = l，...，k)圖像的第j個(gè)(j = I,...η)
特征點(diǎn)的模型像素坐標(biāo)濟(jì)，將模型像素坐標(biāo)與采用圖像處理方法獲取的實(shí)際圖像坐標(biāo) 逐一比較，建立以特征點(diǎn)重投影誤差為最小的目標(biāo)函數(shù)If=I- rhi,ij(JxJy> u0, v0, U1, k2, Ri, t^ll2[5]內(nèi)外參數(shù)的初始估計(jì)值由步驟2給出，畸變系數(shù)值很小，可將kp k2的初始估計(jì)值均設(shè)置為零。使用Levenberg-Marquardt算法對公式[5]進(jìn)行非線性優(yōu)化，以最小化圖像像素距離誤差作為目標(biāo)函數(shù)，反復(fù)迭代搜索獲取參數(shù)的最優(yōu)解。Levenberg-Marquardt算法參見《最優(yōu)化理論與方法》(袁亞湘、孫文瑜著，科學(xué)出版社，1999年)。4、步驟3初次優(yōu)化的結(jié)果將作為步驟4 8第二次優(yōu)化計(jì)算的初始值。對k幅靶標(biāo)圖像中檢測到的共計(jì)nXk個(gè)畸變圖像特征點(diǎn)進(jìn)行畸變矯正，求出特征點(diǎn)的無畸變圖像坐標(biāo)mu。5、在攝像機(jī)坐標(biāo)系Omzc下，可得到投影中心和無畸變圖像特征點(diǎn)的歸一化坐標(biāo)0。、m。，從而求解以投影中心為端點(diǎn)并連接投影中心與無畸變圖像特征點(diǎn)的投影射線方程 omc。6、利用獲取的外部參數(shù)R，t，將每個(gè)靶標(biāo)平面方程在世界坐標(biāo)系下的表示Jiw轉(zhuǎn)換為攝像機(jī)坐標(biāo)系下的表示η。，計(jì)算投影射線方程om。與對應(yīng)靶標(biāo)平面π。的交點(diǎn)。7、本發(fā)明所采用的平面靶標(biāo)的物理尺寸均為已知量，因此可以得到特征點(diǎn)在不同靶標(biāo)平面位置上對應(yīng)的世界坐標(biāo)Mw。利用獲取的外部參數(shù)R，t，將不同世界坐標(biāo)系下的特征點(diǎn)坐標(biāo)Mw統(tǒng)一到攝像機(jī)坐標(biāo)系下的表示M。。8、將步驟7計(jì)算出的坐標(biāo)Mc與步驟6所述的交點(diǎn)坐標(biāo)Me比較，設(shè)第i幅圖像的第j個(gè)特征點(diǎn)分別表示為Μ。,,,」和Mc,~·。在統(tǒng)一的測量坐標(biāo)系，即攝像機(jī)坐標(biāo)系下，把Μ?！?，j作為假定真實(shí)值，Mcjijj和的均方差作為目標(biāo)函數(shù)
權(quán)利要求
I. 一種用于視覺測量的攝像機(jī)參數(shù)優(yōu)化方法，其特征在于該方法的具體步驟如下 I. I、在攝像機(jī)的視場范圍內(nèi)，自由移動靶標(biāo)至少3個(gè)位置，每移動一個(gè)位置，拍攝一幅圖像，稱為標(biāo)定圖像，靶標(biāo)上所有的特征點(diǎn)應(yīng)包含在標(biāo)定圖像中；提取標(biāo)定圖像中的特征點(diǎn)的圖像坐標(biāo),并與特征點(diǎn)的世界坐標(biāo)對應(yīng)； I. 2、利用步驟I. I提取的所有特征點(diǎn)的圖像坐標(biāo)與對應(yīng)的世界坐標(biāo)標(biāo)定攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)，攝像機(jī)內(nèi)部參數(shù)包括攝像機(jī)的有效焦距、主點(diǎn)及畸變系數(shù)；采用以圖像特征點(diǎn)重投影誤差最小為目標(biāo)函數(shù)的傳統(tǒng)優(yōu)化方法對攝像機(jī)參數(shù)進(jìn)行初次優(yōu)化，優(yōu)化結(jié)果作為第二次優(yōu)化計(jì)算的初始值； I. 3、利用步驟I. 2標(biāo)定的攝像機(jī)畸變系數(shù)對特征點(diǎn)的圖像坐標(biāo)進(jìn)行畸變矯正，求出特征點(diǎn)的無畸變圖像坐標(biāo)； I. 4、以投影中心為端點(diǎn)，連接投影中心與無畸變圖像特征點(diǎn)的射線稱為投影射線，在攝像機(jī)坐標(biāo)系下，計(jì)算投影射線的方程； I.5、在攝像機(jī)坐標(biāo)系下，計(jì)算步驟I. I所述的不同拍攝位置的靶標(biāo)平面方程，并計(jì)算投影射線與對應(yīng)靶標(biāo)平面的交點(diǎn)，將交點(diǎn)稱為計(jì)算特征點(diǎn)； 1.6、計(jì)算各個(gè)已知特征點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)，將其與步驟I. 5獲得的攝像機(jī)坐標(biāo)系下的計(jì)算特征點(diǎn)的坐標(biāo)比較，以二者距離和最小作為目標(biāo)函數(shù)對攝像機(jī)參數(shù)再次進(jìn)行非線性優(yōu)化。
2.根據(jù)權(quán)利要求I所述的一種用于視覺測量的攝像機(jī)參數(shù)優(yōu)化方法，其特征在于步驟I. I所述的靶標(biāo)為玻璃材質(zhì)的平面靶標(biāo)，靶標(biāo)特征點(diǎn)為平面上的IOX 10個(gè)格點(diǎn)，格點(diǎn)之間的最小距離為9mm,其距離精度為O. OOlmm O. 01mm。
3.根據(jù)權(quán)利要求I所述的一種用于視覺測量的攝像機(jī)參數(shù)優(yōu)化方法，其特征在于步驟I. 2和I. 6所述的非線性優(yōu)化采用Levenberg-Marquardt優(yōu)化算法處理目標(biāo)函數(shù)的極小化問題。
全文摘要
本發(fā)明屬于測量技術(shù)領(lǐng)域，將提供一種用于視覺測量的攝像機(jī)參數(shù)優(yōu)化方法。包括以下步驟拍攝至少3幅包含平面靶標(biāo)的標(biāo)定圖像，提取標(biāo)定圖像中的特征點(diǎn)的圖像坐標(biāo)；求解攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)，對參數(shù)進(jìn)行初次優(yōu)化，將優(yōu)化結(jié)果作為第二次優(yōu)化計(jì)算的初始值；對特征點(diǎn)的圖像坐標(biāo)進(jìn)行畸變矯正，計(jì)算連接投影中心與無畸變圖像特征點(diǎn)的投影射線方程；計(jì)算各個(gè)靶標(biāo)平面在攝像機(jī)坐標(biāo)系下的方程，計(jì)算投影射線與對應(yīng)靶標(biāo)平面的交點(diǎn)；計(jì)算各個(gè)特征點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)，將其與交點(diǎn)的計(jì)算坐標(biāo)比較，以二者距離作為目標(biāo)函數(shù)對攝像機(jī)參數(shù)進(jìn)行優(yōu)化搜索。本發(fā)明提出的攝像機(jī)參數(shù)優(yōu)化方法是以特征點(diǎn)在三維空間中的誤差作為目標(biāo)函數(shù)，較傳統(tǒng)的參數(shù)優(yōu)化過程更接近測量過程，具有更高的標(biāo)定精度和測量精度。
文檔編號G06T7/00GK102622747SQ201210035098
公開日2012年8月1日 申請日期2012年2月16日 優(yōu)先權(quán)日2012年2月16日
發(fā)明者周富強(qiáng), 崔毅 申請人:北京航空航天大學(xué)