專利名稱：一種多攝像機陣列的聯(lián)合標(biāo)定方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種屬于攝像機標(biāo)定領(lǐng)域的不同分辨率攝像機陣列的標(biāo)定方法。

背景技術(shù)：
使用多攝像機陣列系統(tǒng)進(jìn)行測量，必須首先進(jìn)行攝像機陣列的標(biāo)定，只有獲得了魯棒和高精度的攝像機參數(shù)值，才能保證整個系統(tǒng)的測量精度。標(biāo)定所需得到的參數(shù)一般為各攝像機的內(nèi)部參數(shù)以及攝像機之間的轉(zhuǎn)化關(guān)系。
傳統(tǒng)的多攝像機標(biāo)定方法一般需要電子經(jīng)緯儀等設(shè)備，以用于建立世界總體坐標(biāo)系，其缺點是增加了系統(tǒng)的成本和復(fù)雜性。在計算各攝像機間轉(zhuǎn)換關(guān)系時，現(xiàn)有方法多是將單攝像頭標(biāo)定的數(shù)據(jù)直接計算得到，這種計算方法會存在參數(shù)一致性的問題。而當(dāng)系統(tǒng)中含有不同分辨率的攝像機時，這種方法的系統(tǒng)標(biāo)定精度受低分辨率攝像機影響，標(biāo)定精度較低，且不能保證魯棒性。


發(fā)明內(nèi)容
為克服現(xiàn)有技術(shù)的上述缺陷，本發(fā)明的目的在于提供一種多攝像機陣列系統(tǒng)的聯(lián)合標(biāo)定方法，這種方法的標(biāo)定精度高，保證了魯棒性，且適用于具有不同分辨率的攝像機陣列系統(tǒng)。
本發(fā)明的設(shè)計思路如下由于多攝像機陣列系統(tǒng)中的攝像機擁有不同的分辨率，故本發(fā)明人把陣列系統(tǒng)視作一個整體進(jìn)行考慮，以系統(tǒng)優(yōu)化的思路對陣列中的各攝像機進(jìn)行聯(lián)合優(yōu)化，解決參數(shù)的一致性問題，提高系統(tǒng)的魯棒性，達(dá)到陣列總體誤差最小意義下的最優(yōu)標(biāo)定。另外，由于低分辨率攝像機會對系統(tǒng)整體精度的產(chǎn)生影響，本發(fā)明還采用高分辨攝像機與低分辨率攝像機分開處理的策略。即先標(biāo)定好高分辨率的攝像機，然后對高分辨率攝像機和低分辨率攝像機進(jìn)行聯(lián)合優(yōu)化，利用高分辨率攝像機的結(jié)果提高低分辨率攝像機的參數(shù)精度。通過使用本方法，陣列系統(tǒng)標(biāo)定的整體誤差大大減小，各參數(shù)的魯棒性顯著提高。
為此，本發(fā)明擬采用的技術(shù)方案如下 一種多攝像機陣列的聯(lián)合標(biāo)定方法，它由不同分辨率的攝像機組成多攝像機陣列系統(tǒng)，假設(shè)共有w個高分辨率攝像機，各攝像機對一個含有m個特征點的平面模板同步地拍攝n幅圖像，進(jìn)行單攝像機標(biāo)定，獲得了各自的內(nèi)、外參數(shù)，外參數(shù)共有n組，分別對應(yīng)拍攝的n幅圖像，并且已獲得特征點在各攝像機成像平面上像素坐標(biāo)的測量值。該聯(lián)合標(biāo)定方法包括如下步驟 步驟1、對高分辨率攝像機兩兩間進(jìn)行標(biāo)定，以得到各高分辨率攝像機的內(nèi)參數(shù)初值和各高分辨率攝像機間轉(zhuǎn)換參數(shù)的初值； 步驟2、對各高分辨率攝像機進(jìn)行聯(lián)合標(biāo)定，以得到各高分辨率攝像機的內(nèi)參數(shù)和各高分辨率攝像機間轉(zhuǎn)換參數(shù)的最終值； 步驟3、對高分辨率攝像機與低分辨率攝像機進(jìn)行聯(lián)合標(biāo)定，以得到低分辨率攝像機內(nèi)參數(shù)和低分辨率攝像機與各高分辨率攝像機間轉(zhuǎn)換參數(shù)的最終值。
所述步驟1的對高分辨率攝像機兩兩間進(jìn)行標(biāo)定包括如下步驟 步驟11、對各高分辨率攝像機進(jìn)行編號，記為攝像機1、攝像機2、…、攝像機w，w為攝像機數(shù)； 步驟12、任取一對高分辨率攝像機，將編號小的攝像機作為左攝像機，將編號大的攝像機作為右攝像機； 步驟13、將預(yù)先通過單攝像機標(biāo)定獲得的內(nèi)、外參數(shù)作為左攝像機、右攝像機內(nèi)、外參數(shù)的初值； 步驟14、對左、右攝像機的參數(shù)進(jìn)行非線性最小二乘優(yōu)化； 步驟15、對每一對攝像機重復(fù)執(zhí)行步驟12至步驟14； 步驟16、對得到的參數(shù)進(jìn)行魯棒性處理； 經(jīng)過上述步驟的優(yōu)化，得到每個高分辨率攝像機的內(nèi)參數(shù)的初值，攝像機1的外參數(shù)的初值，攝像機1到其他高分辨率攝像機的轉(zhuǎn)換矢量的初值。
所述步驟14的對左、右攝像機的參數(shù)進(jìn)行非線性最小二乘優(yōu)化包括如下步驟 步驟141、由左、右攝像機外參數(shù)的初值，計算其轉(zhuǎn)換關(guān)系，作為左攝像機到右攝像機的轉(zhuǎn)換參數(shù)的初值； 步驟142、由左、右攝像機的內(nèi)、外參數(shù)的初值，計算模板特征點在左、右攝像機成像平面上的像素坐標(biāo)，并將此計算值與特征點在左右攝像機成像平面上像素坐標(biāo)的測量值相減求差； 步驟143、對左、右攝像機內(nèi)參數(shù)和左攝像機外參數(shù)，以及步驟141得到的左攝像機到右攝像機的轉(zhuǎn)換參數(shù)，進(jìn)行非線性最小二乘優(yōu)化。
所述步驟141包括如下步驟 步驟1411、將左、右攝像機的外參數(shù)分別用Rl、tl和Rr、tr表示，其中Rl、Rr表示旋轉(zhuǎn)矩陣，tl、tr表示平移矩陣，則左攝像機到右攝像機的轉(zhuǎn)換參數(shù)即旋轉(zhuǎn)矩陣和平移矩陣Rl2r、tl2r為 tl2r＝tr-Rl2rtl (1) 步驟1412、對拍攝的n幅圖像，即n組外參數(shù)，重復(fù)步驟1411； 步驟1413、對步驟1412得到的n組Rl2r、tl2r參數(shù)進(jìn)行中值濾波，將結(jié)果作為左攝像機到右攝像機的轉(zhuǎn)換參數(shù)的初值。
所述步驟142包括如下步驟 步驟1421、由左、右攝像機的外參數(shù)，計算特征點在左、右攝像機坐標(biāo)系下的坐標(biāo)，方法如下 設(shè)XX＝[X；Y；Z]代表點P在世界坐標(biāo)系中的坐標(biāo)，XXC＝[XC；YC；ZC]代表點P在攝像機坐標(biāo)系下的坐標(biāo)，那么XX與XXC的關(guān)系可以用如下剛體運動轉(zhuǎn)化來表示 XXc＝rodrigues(om)*XX+T(2) 其中，rodrigues(.)表示對括號內(nèi)容輸入Rodrigues公式； om、T分別表示攝像機外參數(shù)中的旋轉(zhuǎn)矢量和平移矢量； 步驟1422、計算特征點歸一化針孔投影的坐標(biāo)Xn 步驟1423、計算考慮鏡頭畸變影響后的歸一化點坐標(biāo)xd 其中，畸變包括徑向畸變與偏心畸變的切向分量，用5×1的矢量kc表示，其中k(1)、k(2)、k(5)分別是徑向畸變的二次、四次和六次項，k(3)和k(4)分別是兩個切向畸變系數(shù)； 步驟1424、計算特征點P在圖像平面上最終的像素坐標(biāo)pixel＝[xp，yp] 其中KK表示攝像機的內(nèi)參數(shù)矩陣 其中f、c、alpha分別表示焦距、主點坐標(biāo)、傾斜因子； 步驟1425、將特征點在左右攝像機成像平面上像素坐標(biāo)的計算值與測量值相減求差。
所述步驟143包括 對左、右攝像機內(nèi)參數(shù)和左攝像機外參數(shù)，以及左攝像機到右攝像機的轉(zhuǎn)換參數(shù)的初值進(jìn)行非線性最小二乘優(yōu)化，使如下代價函數(shù) 最小，即 其中，param為需要優(yōu)化的攝像機參數(shù) param＝(fl；cl；alphal；kl；fr；cr；alphar；kr；oml2r；Tl2r；oml1；Tl1；...；omln；Tln)；

為第j個特征點Mj在在第k個攝像機的第i幅圖像上的投影的測量值，m(param，Mj，k，i)為相應(yīng)的計算值，即為步驟142計算得到的差值；(fl，cl，alphal，kl)(fr，cr，alphar，kr)分別表示左、右攝像機的內(nèi)參數(shù)；oml2r，Tl2r表示左攝像機到右攝像機的轉(zhuǎn)換參數(shù)；omli，Tli表示左攝像機第i幅圖像對應(yīng)的外參數(shù)； 優(yōu)化的方法采用Gauss-Newton迭代，迭代的步長應(yīng)滿足 JTWJδ＝-αJTWε 其中阻尼系數(shù)α取為1；加權(quán)矩陣W取單位陣I；J是ε對param的一階導(dǎo)數(shù)； 其中， 所述的步驟16包括如下步驟 步驟161、記錄攝像機1到其他攝像機的轉(zhuǎn)換參數(shù)； 步驟162、對攝像機1的w-1組外參數(shù)進(jìn)行中值濾波； 步驟163、對每一個攝像機的w-1組內(nèi)參數(shù)進(jìn)行中值濾波。最終得到的參數(shù)為各攝像機的內(nèi)參數(shù)、攝像機1的外參數(shù)、攝像機1到其他攝像機的轉(zhuǎn)換參數(shù)。
所述步驟2包括如下步驟 步驟21由步驟11-16所得到的各參數(shù)初值，計算特征點在各高分辨率攝像機成像平面上的像素坐標(biāo)，并將此計算值與特征點在各高分辨率攝像機成像平面上像素坐標(biāo)的測量值相減求差； 步驟22對各個參數(shù)進(jìn)行非線性最小二乘優(yōu)化，得到各高分辨率攝像機的內(nèi)參數(shù)、攝像機1的外參數(shù)和攝像機1到其他攝像機的轉(zhuǎn)換參數(shù)的最終值。
至此，高分辨率攝像機的標(biāo)定工作完成，我們得到了高精度、具有較好魯棒性的攝像機參數(shù)，包括各高分辨率攝像機的內(nèi)參數(shù)，攝像機1的外參數(shù)，攝像機1到其他攝像機的轉(zhuǎn)換參數(shù)。這些參數(shù)在后面的步驟中不再做調(diào)整。
所述的步驟21，包括 步驟211由攝像機1的外參數(shù)與攝像機1到其他攝像機的轉(zhuǎn)換參數(shù)，計算其他各攝像機的外參數(shù)； 設(shè)兩個攝像機C1和C2的外參數(shù)分別用R1、t1和R2、t2表示，攝像機C1到C2的旋轉(zhuǎn)矢量和平移矢量用R、t表示，則 R2＝RR1 t2＝t+Rt1　　　　　　　　　　　　　 (8) 步驟212由各攝像機的內(nèi)參數(shù)初值和步驟211得到的各攝像機外參數(shù)，計算特征點在各攝像機成像平面上的像素坐標(biāo)，并將此計算值與特征點在左右攝像機成像平面上像素坐標(biāo)的測量值相減求差。計算的方法與步驟142所述方法相同。
所述步驟22包括 對各攝像機內(nèi)參數(shù)和攝像機1的外參數(shù)，以及攝像機1到其他各攝像機的轉(zhuǎn)換參數(shù)進(jìn)行非線性最小二乘優(yōu)化，使如下代價函數(shù) 最小，即 其中param為需要優(yōu)化的攝像機參數(shù) param＝(f1；c1；alpha1；k1；...；fw-1；cw-1；alphaw；kw；om1；T1；...； omw-1；Tw-1；om11，T11；...om1n；T1n) 其中

為第j個特征點Mj在在第k個攝像機的第i幅圖像上的投影的測量值，m(param，Mj，k，i)為相應(yīng)的計算值，即為步驟21計算得到的差值。fk，ck，alphak，kk表示第k個攝像機的內(nèi)參數(shù)；omj，Tj表示攝像機1到第j+1個像機的轉(zhuǎn)換參數(shù)；omli，Tli表示攝像機1的第i幅圖像對應(yīng)的外參數(shù)； 優(yōu)化的方法采用Gauss-Newton迭代，迭代的步長應(yīng)滿足 JTWJδ＝-αJTWε J是e對param的一階導(dǎo)數(shù)， 所述的步驟3，包括 步驟31、計算每個高分辨率攝像機到其他高分辨率攝像機的轉(zhuǎn)換參數(shù)； 步驟32、將預(yù)先通過單攝像機標(biāo)定獲得的數(shù)據(jù)作為低分辨率攝像機內(nèi)、外參數(shù)的初值； 步驟33、由低分辨率攝像機的內(nèi)、外參數(shù)初值，計算特征點在低分辨率攝像機成像平面上的像素坐標(biāo)，并將此計算值與特征點在低分辨率攝像機成像平面上像素坐標(biāo)的測量值相減，求得差值，記為e_l，計算的方法與步驟142所述方法相同； 步驟34、進(jìn)行低分辨率攝像機與高分辨率攝像機的聯(lián)合標(biāo)定。
所述步驟34包括如下步驟 步驟341、任取一個高分辨率攝像機，記為Cam_h； 步驟342、利用低分辨率攝像機的參數(shù)和Cam_h的參數(shù)重新計算各高分辨率攝像機的外參數(shù)； 步驟343、用各高分辨率攝像機的內(nèi)參數(shù)與步驟342得到的各高分辨率攝像機的外參數(shù)，計算特征點在各高分辨率攝像機成像平面上的像素坐標(biāo)，并將此計算值與特征點在各高分辨率分辨率攝像機成像平面上像素坐標(biāo)的測量值相減，求得差值，記為e_h，計算的方法與步驟142所述方法相同； 步驟344、綜合考慮e_l和e_h，對低分辨率攝像機的內(nèi)、外參數(shù)，以及低分辨率攝像機到各高分辨率攝像機的轉(zhuǎn)換參數(shù)進(jìn)行非線性最小二乘優(yōu)化； 步驟345、將剩下的w-1個高分辨率攝像機依次取為Cam_h，重復(fù)執(zhí)行步驟342至步驟344； 步驟346、對得到的w組參數(shù)進(jìn)行魯棒性處理，得到最終參數(shù)，包括低分辨率攝像機的內(nèi)、外參數(shù)，以及低分辨率攝像機到各高分辨率攝像機的轉(zhuǎn)換參數(shù)。
所述的步驟342包括如下步驟 步驟3421、用低分辨率攝像機的外參數(shù)初值和Cam_h的外參數(shù)，計算低分辨率攝像機到Cam_h的轉(zhuǎn)換參數(shù)，計算方法與步驟1411所述方法相同； 步驟3422、用低分辨率攝像機到Cam_h的轉(zhuǎn)換參數(shù)和Cam_h到其他高分辨率攝像機的轉(zhuǎn)換參數(shù)，計算低分辨率攝像機到其他高分辨率攝像機的轉(zhuǎn)換參數(shù)； 假設(shè)攝像機C1到攝像機C2的轉(zhuǎn)換參數(shù)為(R12，t12)，攝像機C2到攝像機C3的轉(zhuǎn)換參數(shù)為(R23，t23)，則攝像機C1到攝像機C3的轉(zhuǎn)換參數(shù)(R13，t13)為 R13＝R23R12 t13＝R23t12+t23 (10) 步驟3423、由低分辨率攝像機外參數(shù)的初值和步驟3422得到的低分辨率攝像機到其他高分辨率攝像機的轉(zhuǎn)換參數(shù)，重新計算除Cam_h以外的各高分辨率攝像機的外參數(shù)。計算方法與步驟211所述方法相同。
所述步驟344包括 對低分辨率攝像機的內(nèi)、外參數(shù)，以及低分辨率攝像機到各高分辨率攝像機的轉(zhuǎn)換參數(shù)進(jìn)行非線性最小二乘優(yōu)化，使如下代價函數(shù) 最小，即 其中param為需要優(yōu)化的攝像機參數(shù) param＝(fl；cl；alphal；kl；oml；Tl；...；omw；Tw；oml1；Tl1；...；omln；Tln) 其中

為第j個特征點Mj在在第k個攝像機的第i幅圖像上的投影的測量值，m(param，Mj，k，i)為相應(yīng)的計算值，即為e＝[e_l，e_h]，(fl，cl，alphal，kl)表示低分辨率攝像機的內(nèi)參數(shù)；omj，Tj表示低分辨率攝像機到第j個高分辨率攝像機的轉(zhuǎn)換參數(shù)；omli，Tli表示低分辨率攝像機的第i幅圖像對應(yīng)的外參數(shù)； 優(yōu)化的方法采用Gauss-Newton迭代，迭代的步長應(yīng)滿足JTWJδ＝-αJTWε J是e對param的一階導(dǎo)數(shù)， 所述的步驟346包括對得到的w組低分辨率攝像機的內(nèi)、外參數(shù)，以及低分辨率攝像機到各高分辨率攝像機的轉(zhuǎn)換參數(shù)，分別進(jìn)行中值濾波。
本發(fā)明的有益效果是1、使用本方法進(jìn)行多攝像機陣列系統(tǒng)的標(biāo)定，除平面模板外無需其他設(shè)備，節(jié)省了成本，且方便易行。
2、本方法適用于含有不同分辨率的攝像機陣列系統(tǒng)。
3、使用本方法可以顯著提高標(biāo)定的精度。使用各標(biāo)定參數(shù)對模板特征點進(jìn)行重投影，可以看出使用本方法前，各高分辨率攝像機和低分辨率攝像機均存在較大誤差；而使用本方法后，高分辨率攝像機的誤差達(dá)到了亞像素級別，低分辨率攝像機的精度也有了很大的提高。例如，對由D1分辨率的高分辨率攝像機和QVGA分辨率的低分辨率攝像機組成的陣列系統(tǒng)，運用本聯(lián)合標(biāo)定方法的結(jié)果如下所示 1、用高分辨率攝像機的參數(shù)進(jìn)行重投影的誤差 表1各攝像機x方向的平均誤差 表1是用高分辨率攝像機的參數(shù)進(jìn)行重投影得到的各攝像機x方向的平均誤差，單位為像素。
表2各攝像機y方向的平均誤差 表2是用高分辨率攝像機的參數(shù)進(jìn)行重投影得到的各攝像機x方向的平均誤差，單位為像素。
2、用低分辨率攝像機的參數(shù)進(jìn)行重投影的誤差 表3各攝像機x方向的平均誤差 表3是用低分辨率攝像機的參數(shù)進(jìn)行重投影得到的各攝像機x方向的平均誤差，單位為像素。
表4各攝像機y方向的平均誤差 表4是用低分辨率攝像機的參數(shù)進(jìn)行重投影得到的各攝像機y方向的平均誤差，單位為像素。
從表中可以看出，使用本聯(lián)合標(biāo)定方法后，用高分辨率攝像機和低分辨率攝像機參數(shù)進(jìn)行重投影的誤差都大為減小，標(biāo)定精度有了很大提高。



圖1為本發(fā)明一種多CCD攝像機與TOF攝像機組成的陣列系統(tǒng)實施例結(jié)構(gòu)圖； 圖2為本發(fā)明一種多攝像機陣列聯(lián)合標(biāo)定方法實施例的總體框圖； 圖3為本發(fā)明一種高分辨率攝像機兩兩間標(biāo)定方法實施例的流程圖； 圖4為本發(fā)明一種各高分辨率攝像機聯(lián)合標(biāo)定方法實施例的流程圖； 圖5為本發(fā)明一種低分辨率攝像機與高分辨率攝像機聯(lián)合標(biāo)定方法實施例的流程圖。

具體實施例方式 下面，結(jié)合附圖進(jìn)一步說明本發(fā)明的具體實施方式
。
以由6個高分辨率的CCD攝像機和1個低分辨率的TOF(Time of Flight)攝像機組成的陣列系統(tǒng)為例，進(jìn)行具體說明。該陣列系統(tǒng)的結(jié)構(gòu)如圖1所示。該陣列的所有攝像機位于同一平面上。假設(shè)平面模板上有100個特征點，各CCD攝像機和TOF攝像機同步地對模板拍攝了10張圖像，進(jìn)行單攝像機標(biāo)定，獲得了各自的內(nèi)、外參數(shù)，并且已獲得特征點在各攝像機成像平面上像素坐標(biāo)的測量值。
如圖2所示，本方法先使用單攝像機標(biāo)定得到的數(shù)據(jù)對CCD攝像機和TOF攝像機的內(nèi)、外參數(shù)進(jìn)行初始化。然后先對CCD攝像機進(jìn)行處理，包括CCD攝像機兩兩間的標(biāo)定和各CCD攝像機的聯(lián)合標(biāo)定。最后對TOF攝像機和各CCD攝像機進(jìn)行聯(lián)合標(biāo)定。
下面，分階段對各步驟進(jìn)行具體介紹。
第一階段，CCD攝像機兩兩間的標(biāo)定。其總體流程如圖3所示。
設(shè)CCD攝像機已編號為Cam1，Cam2，…，Cam6。
步驟1任取6個CCD攝像機中的一對，將編號小的攝像機作為左攝像機，將編號大的攝像機作為右攝像機。由單標(biāo)定得到的數(shù)據(jù)對左、右攝像機參數(shù)進(jìn)行初始化，包括fl，cl，alphal，kl，omli，Tli和fr，cr，alphar，kr，omri，Tri，i＝1，...，10。
步驟2根據(jù)公式(1)，計算左攝像機到右攝像機的轉(zhuǎn)換參數(shù)(oml2r，Tl2r)。
步驟3對10張圖像，重復(fù)步驟1至步驟2。寫成偽代碼，即是 for i＝1n，％此處n＝10 Ri＝rodrigues(omri)*inv(rodrigues(omli)) omi＝rodrigues(Ri) Ti＝Tri-RiTli end； 步驟4對步驟3得到的10組(omi，Ti)參數(shù)進(jìn)行中值濾波，得到左攝像機到右攝像機的轉(zhuǎn)換參數(shù)初值。寫成偽代碼，即是 oml2r＝median((om1，om2，...，omn)T)T (n＝10) Tl2r＝median((T1，T2，...，Tn)T)T 步驟5由左、右攝像機的內(nèi)、外參數(shù)的初始值，計算模板特征點在左、右攝像機成像平面上的像素坐標(biāo)。
設(shè)XX＝[X；Y；Z]代表點P在世界坐標(biāo)系中的坐標(biāo)，XXc＝[Xc；Yc；Zc]代表點P在攝像機坐標(biāo)系下的坐標(biāo)，按公式(2)(3)(4)(5)進(jìn)行計算。
步驟6對參數(shù) param＝(fl；cl；alphal；kl；fr；cr；alphar；kr；oml2r；Tl2r；oml1；Tl1；...；om1n；T1n)，按公式(6)進(jìn)行迭代優(yōu)化。其中fl，cl，alphal，kl為左攝像機內(nèi)參數(shù)(分別為攝像機焦距、主點坐標(biāo)、傾斜因子、畸變系數(shù))；fr，cr，alphar，kr為右攝像機內(nèi)參數(shù)；oml2r，Tl2r為左攝像機到右攝像機的旋轉(zhuǎn)矢量和平移矢量；omli，Tli，i＝1，...，10為左攝像機的外參數(shù)。
步驟7對每一對攝像機重復(fù)步驟1至步驟5。此處共有6*(6-1)/2＝15對。
步驟8對每一個攝像機，通過步驟6得到了5組內(nèi)參數(shù)，對其進(jìn)行中值濾波。
步驟9紀(jì)錄Cam1到其他攝像機的轉(zhuǎn)換參數(shù)，并對Cam1的5組外參數(shù)進(jìn)行中值濾波。
經(jīng)過這一階段的優(yōu)化，便得到了param的較好初始值。
第二階段，各CCD攝像機間的聯(lián)合標(biāo)定。其總體流程如圖4所示。
步驟1用第一階段獲得的較好的初值對各參數(shù)進(jìn)行初始化。
步驟2用Cam1的外參數(shù)與Cam1到其他5個CCD攝像機的轉(zhuǎn)換矢量(omltoi，Tltoi)，i＝2，3，...，6，依據(jù)公式(9)計算Cam2至Cam6的外參數(shù)。
步驟3用步驟2獲得的外參數(shù)與第一階段獲得的內(nèi)參數(shù)，根據(jù)公式(2)(3)(4)(5)，計算世界坐標(biāo)系下各特征點在各高分辨率成像平面上的像素坐標(biāo)。
步驟4對參數(shù)按公式(10)(7)進(jìn)行迭代優(yōu)化，其中fk，ck，alphak，kk表示攝像機Camk的內(nèi)參數(shù)；omj，Tj表示Cam1到Camj的轉(zhuǎn)換參數(shù)；omli，Tli表示Cam1的第i幅圖像對應(yīng)的外參數(shù)。
即為 ε＝((1)ε，...，(10)ε)T 其中，(i)e ＝((i)e1l，...，(i)e1m；(i)e2l，...，(i)e2m；...；(i)ekj；...；(i)e6l，...，(i)e6m)T，i＝1，...，10；m＝100。
其中，(i)ekj＝((i)x’kj-(i)xkj，(i)y’kj-(i)ykj)T，i＝1，...，10；k＝1，...，6；j＝1，...，100。
其中，((i)x’kj，(i)y’kj)T表示第k個攝像機第i幀中的第j個特征點的計算值在圖像平面的坐標(biāo)；((i)xkj，(i)ykj)T表示第k個攝像機第i幀中的第j個特征點的測量值在圖像平面的坐標(biāo)。
第三階段，CCD攝像機與TOF攝像機的聯(lián)合標(biāo)定。其總體流程如圖5所示。
步驟1計算出6個CCD攝像機間的轉(zhuǎn)換參數(shù)。選取Cam1為Cam_CCD，并用單標(biāo)定數(shù)據(jù)對TOF攝像機的內(nèi)、外參數(shù)進(jìn)行初始化，包括(ftof，ctof，alphatof，ktof，omtofi，Ttofi)，i＝1，...，10。
步驟2根據(jù)公式(1)計算TOF到Cam_CCD的轉(zhuǎn)換參數(shù)，進(jìn)而根據(jù)公式(11)計算出TOF攝像機到其他CCD攝像機的轉(zhuǎn)換參數(shù)。
步驟3根據(jù)公式(9)，由TOF攝像機的外參數(shù)與步驟2得到的轉(zhuǎn)換參數(shù)，重新計算各CCD攝像機(除了Cam_CCD)的外參數(shù)。
步驟4由步驟3得到的各CCD攝像機外參數(shù)與第二階段得到的各CCD攝像機內(nèi)參數(shù)，根據(jù)公式(2)(3)(4)(5)重新計算特征點在各CCD攝像機成像平面上的坐標(biāo)，并將計算值與測量值相減得到e_ccd。
步驟5由TOF攝像機的內(nèi)外參數(shù)，根據(jù)公式(2)(3)(4)(5)重新計算特征點在各TOF攝像機成像平面上的坐標(biāo)，并將計算值與測量值相減得到e_tof。
步驟6對參數(shù)按公式(12)(7)進(jìn)行迭代優(yōu)化，其中ftof，ctof，alphatof，ktof)表示TOF攝像機的內(nèi)參數(shù)；omj，Tj表示TOF攝像機到第j個CCD攝像機的轉(zhuǎn)換參數(shù)；omtofi，Ttofi表示TOF攝像機的第i幅圖像對應(yīng)的外參數(shù)。
為TOF與CCD兩方面誤差之和，即為e＝[e_tof，e_ccd]，即ε＝((1)ε，...，(n)ε)T。
其中，(i)ε＝((i)etof1，...，(i)etofm，(i)eccd11，...，(i)eccd1m，...，(i)eccd6l...，(i)eccd6m)T， i＝1，...，10；m＝100。
其中

和((i)xccdkj，(i)yccdkj)表示第k個CCD攝像機的第i幀的第j個特征點的圖像坐標(biāo)計算值和測量值。

和

表示TOF攝像機的第i幀的第j個特征點的圖像坐標(biāo)計算值和測量值。
步驟7將剩余5個CCD攝像機依次取為Cam_CCD，重復(fù)步驟2至步驟6。
步驟8將步驟7得到的6組param進(jìn)行中值濾波，得到最終的魯棒性的參數(shù)。
權(quán)利要求
1、一種多攝像機陣列的聯(lián)合標(biāo)定方法，它由不同分辨率的攝像機組成多攝像機陣列系統(tǒng)，其技術(shù)特征在于，包括如下步驟
步驟1、對高分辨率攝像機兩兩間進(jìn)行標(biāo)定，以得到各高分辨率攝像機的內(nèi)參數(shù)初值和各高分辨率攝像機間轉(zhuǎn)換參數(shù)的初值；
步驟2、對各高分辨率攝像機進(jìn)行聯(lián)合標(biāo)定，以得到各高分辨率攝像機的內(nèi)參數(shù)和各高分辨率攝像機間轉(zhuǎn)換參數(shù)的最終值；
步驟3、對高分辨率攝像機與低分辨率攝像機進(jìn)行聯(lián)合標(biāo)定，以得到低分辨率攝像機與各高分辨率攝像機間轉(zhuǎn)換參數(shù)的最終值。
2、如權(quán)利要求1所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟1包括如下步驟
步驟11、對各高分辨率攝像機進(jìn)行編號，記為攝像機1、攝像機2、…、攝像機w，w為攝像機數(shù)；
步驟12、任取一對高分辨率攝像機，將編號小的攝像機作為左攝像機，將編號大的攝像機作為右攝像機；
步驟13、將預(yù)先通過單攝像機標(biāo)定獲得的內(nèi)、外參數(shù)作為左攝像機、右攝像機內(nèi)、外參數(shù)的初值；
步驟14、對左、右攝像機的參數(shù)進(jìn)行非線性最小二乘優(yōu)化；
步驟15、對每一對攝像機重復(fù)執(zhí)行步驟12至步驟14；
步驟16、對得到的參數(shù)進(jìn)行魯棒性處理；
經(jīng)過上述步驟的優(yōu)化，得到每個高分辨率攝像機的內(nèi)參數(shù)的初值，攝像機1的外參數(shù)的初值，攝像機1到其他高分辨率攝像機的轉(zhuǎn)換矢量的初值。
3、如權(quán)利要求2所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟14包括如下步驟
步驟141、由左、右攝像機外參數(shù)的初值，計算其轉(zhuǎn)換關(guān)系，作為左攝像機到右攝像機的轉(zhuǎn)換參數(shù)的初值；
步驟142、由左、右攝像機的內(nèi)、外參數(shù)的初值，計算模板特征點在左、右攝像機成像平面上的像素坐標(biāo)，并將此計算值與特征點在左右攝像機成像平面上像素坐標(biāo)的測量值相減求差；
步驟143、對左、右攝像機內(nèi)參數(shù)和左攝像機外參數(shù)，以及步驟141得到的左攝像機到右攝像機的轉(zhuǎn)換參數(shù)，進(jìn)行非線性最小二乘優(yōu)化。
4、如權(quán)利要求3所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟141包括如下步驟
步驟1411、將左、右攝像機的外參數(shù)分別用Rl、tl和Rr、tr表示，其中Rl、Rr表示旋轉(zhuǎn)矩陣，tl、tr表示平移矩陣，則左攝像機到右攝像機的轉(zhuǎn)換參數(shù)即旋轉(zhuǎn)矩陣和平移矩陣Rl2r、tl2r為
tl2r＝tr-Rl2rtl (1)
步驟1412、對拍攝的n幅圖像，即n組外參數(shù)，重復(fù)步驟1411；
步驟1413、對步驟1412得到的n組Rl2r、tl2r參數(shù)進(jìn)行中值濾波，將結(jié)果作為左攝像機到右攝像機的轉(zhuǎn)換參數(shù)的初值。
5、如權(quán)利要求3所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟142包括如下步驟
步驟1421、由左、右攝像機的外參數(shù)，計算特征點在左、右攝像機坐標(biāo)系下的坐標(biāo)，方法如下
設(shè)XX＝[X；Y；Z]代表點P在世界坐標(biāo)系中的坐標(biāo)，XXC＝[XC；YC；ZC]代表點P在攝像機坐標(biāo)系下的坐標(biāo)，那么XX與XXC的關(guān)系可以用如下剛體運動轉(zhuǎn)化來表示
XXc＝rodrigues(om)*XX+T (2)
其中，rodrigues(.)表示對括號內(nèi)容輸入Rodrigues公式；
om、T分別表示攝像機外參數(shù)中的旋轉(zhuǎn)矢量和平移矢量；
步驟1422、計算特征點歸一化針孔投影的坐標(biāo)Xn
r2＝x2+y2 (3)
步驟1423、計算考慮鏡頭畸變影響后的歸一化點坐標(biāo)xd
其中，畸變包括徑向畸變與偏心畸變的切向分量，用5×1的矢量kc表示，其中k(1)、k(2)、k(5)分別是徑向畸變的二次、四次和六次項，k(3)和k(4)分別是兩個切向畸變系數(shù)；
步驟1424、計算特征點P在圖像平面上最終的像素坐標(biāo)pixel＝[xp，yp]
其中KK表示攝像機的內(nèi)參數(shù)矩陣
其中f、c、alpha分別表示焦距、主點坐標(biāo)、傾斜因子；
步驟1425、將特征點在左右攝像機成像平面上像素坐標(biāo)的計算值與測量值相減求差。
6、如權(quán)利要求3所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟143包括
對左、右攝像機內(nèi)參數(shù)和左攝像機外參數(shù)，以及左攝像機到右攝像機的轉(zhuǎn)換參數(shù)的初值進(jìn)行非線性最小二乘優(yōu)化，使如下代價函數(shù)
最小，即
其中，param為需要優(yōu)化的攝像機參數(shù)
param＝(fl；cl；alphal；kl；fr；cr；alphar；kr；oml2r；Tl2r；oml1；Tl1；...；omln；Tln)
為第j個特征點Mj在在第k個攝像機的第i幅圖像上的投影的測量值，m(param，Mj，k，i)為相應(yīng)的計算值；(fl，cl，alphal，kl)(fr，cr.alphar.kr)分別表示左、右攝像機的內(nèi)參數(shù)；oml2r，Tl2r表示左攝像機到右攝像機的轉(zhuǎn)換參數(shù)；omli，Tli表示左攝像機第i幅圖像對應(yīng)的外參數(shù)；
優(yōu)化的方法采用Gauss-Newton迭代，迭代的步長應(yīng)滿足
JTWJδ＝-αJTWε
其中阻尼系數(shù)α取為1；加權(quán)矩陣W取單位陣I；J是ε對param的一階導(dǎo)數(shù)；
其中，
7、如權(quán)利要求2所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟16包括如下步驟
步驟161、記錄攝像機1到其他攝像機的轉(zhuǎn)換參數(shù)；
步驟162、對攝像機1的w-1組外參數(shù)進(jìn)行中值濾波；
步驟163、對每一個攝像機的w-1組內(nèi)參數(shù)進(jìn)行中值濾波。
8、如權(quán)利要求2所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的對各高分辨率攝像機進(jìn)行聯(lián)合標(biāo)定步驟如下
步驟21由權(quán)利要求2所得到的各參數(shù)初值，計算特征點在各高分辨率攝像機成像平面上的像素坐標(biāo)，并將此計算值與特征點在各高分辨率攝像機成像平面上像素坐標(biāo)的測量值相減求差；
步驟22對各個參數(shù)進(jìn)行非線性最小二乘優(yōu)化，得到各高分辨率攝像機的內(nèi)參數(shù)、攝像機1的外參數(shù)華和攝像機1到其他攝像機的轉(zhuǎn)換參數(shù)的最終值。
9、如權(quán)利要求8所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟21，包括
步驟211由攝像機1的外參數(shù)與攝像機1到其他攝像機的轉(zhuǎn)換參數(shù)，計算其他各攝像機的外參數(shù)；
設(shè)兩個攝像機C1和C2的外參數(shù)分別用R1、t1和R2、t2表示，攝像機C1到C2的旋轉(zhuǎn)矢量和平移矢量用R、t表示，則
R2＝RR1
t2＝t+Rt1 (8)
步驟212由各攝像機的內(nèi)參數(shù)初值和步驟211得到的各攝像機外參數(shù)，計算特征點在各攝像機成像平面上的像素坐標(biāo)，并將此計算值與特征點在左右攝像機成像平面上像素坐標(biāo)的測量值相減求差。
10、如權(quán)利要求8所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟22包括
對各攝像機內(nèi)參數(shù)和攝像機1的外參數(shù)，以及攝像機1到其他各攝像機的轉(zhuǎn)換參數(shù)進(jìn)行非線性最小二乘優(yōu)化，使如下代價函數(shù)
最小，即
其中param為需要優(yōu)化的攝像機參數(shù)
param＝(f1；c1；alpha1；k1；...；fw-1；cw-1；alphaw；kw；om1；T1；...；
omw-1；Tw-1；oml1，Tl1...omlx；Tlx)
其中
為第j個特征點Mj在在第k個攝像機的第i幅圖像上的投影的測量值，m(param，Mj，k，i)為相應(yīng)的計算值；fk，ck，alphak，kk表示第k個攝像機的內(nèi)參數(shù)；omj，Tj表示攝像機1到第j+1個像機的轉(zhuǎn)換參數(shù)；omli，Tli表示攝像機1的第i幅圖像對應(yīng)的外參數(shù)；
優(yōu)化的方法采用Gauss-Newton迭代，迭代的步長應(yīng)滿足
JTWJδ＝-αJTWε
J是e對param的一階導(dǎo)數(shù)，
11、如權(quán)利要求1所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟3，包括
步驟31、計算每個高分辨率攝像機到其他高分辨率攝像機的轉(zhuǎn)換參數(shù)；
步驟32、將預(yù)先通過單攝像機標(biāo)定獲得的數(shù)據(jù)作為低分辨率攝像機內(nèi)、外參數(shù)的初值；
步驟33、由低分辨率攝像機的內(nèi)、外參數(shù)初值，計算特征點在低分辨率攝像機成像平面上的像素坐標(biāo)，并將此計算值與特征點在低分辨率攝像機成像平面上像素坐標(biāo)的測量值相減，求得差值，記為e1；
步驟34、進(jìn)行低分辨率攝像機與高分辨率攝像機的聯(lián)合標(biāo)定。
12、如權(quán)利要求11所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟34包括如下步驟
步驟341、任取一個高分辨率攝像機，記為Cam_h；
步驟342、利用低分辨率攝像機的參數(shù)和Cam_h的參數(shù)重新計算各高分辨率攝像機的外參數(shù)；
步驟343、用各高分辨率攝像機的內(nèi)參數(shù)與步驟342得到的各高分辨率攝像機的外參數(shù)，計算特征點在各高分辨率攝像機成像平面上的像素坐標(biāo)，并將此計算值與特征點在各高分辨率分辨率攝像機成像平面上像素坐標(biāo)的測量值相減，求得差值，記為e_h；
步驟344、綜合考慮e_l和e_h，對低分辨率攝像機的內(nèi)、外參數(shù)，以及低分辨率攝像機到各高分辨率攝像機的轉(zhuǎn)換參數(shù)進(jìn)行非線性最小二乘優(yōu)化；
步驟345、將剩下的w-1個高分辨率攝像機依次取為Cam_h，重復(fù)執(zhí)行步驟342至步驟344；
步驟346、對得到的w組參數(shù)進(jìn)行魯棒性處理，得到最終參數(shù)，包括低分辨率攝像機的內(nèi)、外參數(shù)，以及低分辨率攝像機到各高分辨率攝像機的轉(zhuǎn)換參數(shù)。
13、如權(quán)利要求12所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟342包括如下步驟
步驟3421、用低分辨率攝像機的外參數(shù)初值和Cam_h的外參數(shù)，計算低分辨率攝像機到Cam_h的轉(zhuǎn)換參數(shù)；
步驟3422、用低分辨率攝像機到Cam_h的轉(zhuǎn)換參數(shù)和Cam_h到其他高分辨率攝像機的轉(zhuǎn)換參數(shù)，計算低分辨率攝像機到其他高分辨率攝像機的轉(zhuǎn)換參數(shù)；
假設(shè)攝像機C1到攝像機C2的轉(zhuǎn)換參數(shù)為(R12，t12)，攝像機C2到攝像機C3的轉(zhuǎn)換參數(shù)為(R23，t23)，則攝像機C1到攝像機C3的轉(zhuǎn)換參數(shù)(R13，t13)為
R13＝R23R12
t13＝R23t12+t23(10)
步驟3423、由低分辨率攝像機外參數(shù)的初值和步驟3422得到的低分辨率攝像機到其他高分辨率攝像機的轉(zhuǎn)換參數(shù)，重新計算除Cam_h以外的各高分辨率攝像機的外參數(shù)。
14、如權(quán)利要求12所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟344包括
對低分辨率攝像機的內(nèi)、外參數(shù)，以及低分辨率攝像機到各高分辨率攝像機的轉(zhuǎn)換參數(shù)進(jìn)行非線性最小二乘優(yōu)化，使如下代價函數(shù)
最小，即
其中param為需要優(yōu)化的攝像機參數(shù)
param＝(fl；cl；alphal；kl；oml；Tl；...；omw；Tw；omll；Tll；...；omln；Tln)
其中
為第j個特征點Mj在在J投影的測量值，m(param，Mj，k，i)為相應(yīng)的計算值， 為e＝[e_l，e_h]，(fl，cl，alphal，kl)表示低分辨率攝像機的內(nèi)參數(shù)；omj，Tj表示低分辨率攝像機到第j個高分辨率攝像機的轉(zhuǎn)換參數(shù)；omli，Tli表示低分辨率攝像機的第i幅圖像對應(yīng)的外參數(shù)；
優(yōu)化的方法采用Gauss-Newton迭代，迭代的步長應(yīng)滿足
JTWJδ＝-αJTWε
J是e對param的一階導(dǎo)數(shù)，
15、如權(quán)利要求12所述的多攝像機陣列的聯(lián)合標(biāo)定方法，其特征在于，所述的步驟346包括對得到的w組低分辨率攝像機的內(nèi)、外參數(shù)，以及低分辨率攝像機到各高分辨率攝像機的轉(zhuǎn)換參數(shù)，分別進(jìn)行中值濾波。
全文摘要
本發(fā)明公開了一種多攝像機陣列的聯(lián)合標(biāo)定方法，它由不同分辨率的攝像機組成多攝像機陣列系統(tǒng)，包括如下步驟1.對高分辨率攝像機兩兩間進(jìn)行標(biāo)定，以得到各高分辨率攝像機的內(nèi)參數(shù)初值和各高分辨率攝像機間轉(zhuǎn)換參數(shù)的初值；2.對各高分辨率攝像機進(jìn)行聯(lián)合標(biāo)定，以得到各高分辨率攝像機的內(nèi)參數(shù)和各高分辨率攝像機間轉(zhuǎn)換參數(shù)的最終值；3.對高分辨率攝像機與低分辨率攝像機進(jìn)行聯(lián)合標(biāo)定，以得到低分辨率攝像機與各高分辨率攝像機間轉(zhuǎn)換參數(shù)的最終值。采用本發(fā)明標(biāo)定方法的優(yōu)點是標(biāo)定精度高，保證了魯棒性，且適用于具有不同分辨率的攝像機陣列系統(tǒng)。
文檔編號H04N5/222GK101420520SQ20081016252
公開日2009年4月29日 申請日期2008年12月1日 優(yōu)先權(quán)日2008年12月1日
發(fā)明者晴 雷, 劉云海, 于慧敏 申請人:浙江大學(xué)