專利名稱：機器人足目標定方法和標定裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于機器人視覺導(dǎo)航技術(shù)領(lǐng)域，涉及對攝像機與機器人位置關(guān)系標定方法的改進。

背景技術(shù)：
在工業(yè)機器人應(yīng)用研究中，手爪平臺坐標系和與之固聯(lián)的攝像機坐標系之間的位置關(guān)系需要事先確定，為此，手眼定標技術(shù)得到了深入的研究。文獻“Calibration of Wrist Mounted Robotic Sensors bySolving Homogeneous Transform Equations of the Form AX＝XB”(Shiu，1989)給出了經(jīng)典算法，要求控制手爪平臺作兩次非純平移運動，而且兩次運動旋轉(zhuǎn)軸不平行，這樣才能獲取(R，T)的唯一解。Tsai等人也對機器人手眼定標進行了研究，仍然把標定問題歸結(jié)于方程AX＝XB的求解，可參見文獻“A New Technique for Fully Autonomous and Efficient 3DRobotics Hand/Eye Calibration”(Tsai，1989)。
在移動機器人視覺導(dǎo)航系統(tǒng)中，通常把機器人坐標系建立在里程計航位推算中心上，因此傳感器與機器人兩個坐標系不統(tǒng)一。二者之間的旋轉(zhuǎn)平移關(guān)系也需標定，這類問題可稱為足目標定。足目標定類似于手眼定標，但與之不同，不能用手眼定標方法解決。這是因為，對于工業(yè)機器人末端執(zhí)行器，即攝像機所在平臺，一般具有較多的旋轉(zhuǎn)自由度，滿足“兩次運動旋轉(zhuǎn)軸不平行”這一條件，而移動機器人一般在某一平面上運動，其旋轉(zhuǎn)方向始終垂直于運動平面，不滿足手眼定標條件。目前足目標定的大多數(shù)解決方案是把標定問題簡化，因此限制了其應(yīng)用。例如在文獻“一種新穎實用的基于視覺導(dǎo)航的三維重建算法”(林強，2004)中，作者借助平面靶標為中間橋梁，以攝像機的精確安裝和靶標垂直于地面為假設(shè)前提，把攝像機坐標系與車體坐標系之間的三個自由度的旋轉(zhuǎn)關(guān)系簡化為俯仰方向一個自由度，再用視覺方法標定出俯仰角大小，該方法的主要問題在于過多的簡化。目前，該問題在移動機器人應(yīng)用中一直未能較好解決。


發(fā)明內(nèi)容
本發(fā)明的目的是提出一種簡便有效的視覺標定方法和標定裝置，該方法可用于標定攝像機與單旋轉(zhuǎn)運動自由度的移動平臺相對位置關(guān)系，而且不需以攝像機的精確安裝為前提。
本發(fā)明的技術(shù)方案是機器人足目標定方法，基于以下的標定裝置，一個帶有車載計算機的可移動車體，在該可移動車體上固定著攝像機，其特征在于，在可移動車體上分布著10～30個位置固定的特征點，這些特征點是車體棱邊的交點或者固定在車體上的機械構(gòu)件棱邊的交點或者固定在車體上的攝像機支架棱邊的交點，上述特征點在機器人坐標系下的坐標是已知的，構(gòu)成特征點集Θ；在機器人前方放置有一面平面反射鏡靶標M，使車體上特征點的鏡像點集Θ′能夠在攝像機中成像，在平面鏡靶標M上有四個已知特征點，它們是一個矩形的四個頂點；標定的步驟如下 1、建立坐標系； 符號說明下文出現(xiàn)的下標字母代表不同的坐標系c-攝像機坐標系，m-平面鏡坐標系，om-輔助坐標系，ri-鏡像坐標系，r機器人坐標系； 1.1、建立機器人坐標系Or-xryrzr；以可移動車體前后輪軸中心連線的中點為原點Or，yr，zr軸分別與車軸平行和垂直，按右手規(guī)則規(guī)定xr的方向； 1.2、建立攝像機坐標系Oc-xcyczc；以攝像機光心為原點Oc，xc，yc軸分別與成像面的橫、縱軸平行，zc軸即光軸； 1.3、建立鏡像坐標系Ori-xriyrizri；以車體坐標系原點Or的鏡像點Ori為原點，yri與zri軸分別和yr與zr軸關(guān)于平面鏡中心對稱，xri與xr軸方向相反； 1.4、建立平面鏡坐標系Om-xmymzm；以平面鏡左上角的特征點為坐標原點，xm與ym軸在鏡平面Ω上，與鏡平面Ω上四個特征點構(gòu)成的矩形的兩邊重合，按右手規(guī)則規(guī)定zm軸的方向； 1.5、在平面鏡的反面Ω′上建立輔助坐標系Oom-xomyomzom；其原點與平面鏡坐標系Om-xmymzm的原點重合，xom和zom分別與xm和zm相反，yom與ym重合； 2、標定過程；下面文字中的Xi＝(xiyizi)T(i＝c，m，…)表示坐標系i下的三維點坐標，i表示上述建立的5個坐標系的下標其中之一；Rij(i＝c，m，…，j＝m，om，…)與Tij(i＝c，m，…，j＝m，om，…)分別表示坐標系j到坐標系i的旋轉(zhuǎn)和平移矩陣，j也表示上述建立的5個坐標系的下標其中之一，但是i不同于j； 2.1、標定攝像機坐標系與平面鏡坐標系之間的歐氏變換關(guān)系； 根據(jù)已標定的攝像機內(nèi)部參數(shù)，確定攝像機坐標系Oc-xcyczc與平面鏡坐標系Om-xmymzm間的Rcm和Tcm，使得 Xc＝RcmXm+Tcm[1] 2.2、標定攝像機坐標系與鏡像坐標系之間的歐氏變換關(guān)系； 以平面鏡中的反射鏡像點集Θ′為標定點，使用攝像機標定方法，確定Oc-xcyczc與Ori-xriyrizri間的Rcri和Tcri，使得 Xc＝RcriXri+Tcri[2] 2.3、標定平面鏡坐標系與鏡像坐標系之間的歐氏變換關(guān)系； 由[1]和[2]式，得出Ori-xriyrizri到Om-xmymzm的歐氏變換關(guān)系為 2.4、標定機器人坐標系與平面鏡坐標系之間的歐氏變換關(guān)系； 在平面鏡兩側(cè)，Ori-xriyrizri和Om-xmymzm之間的關(guān)系與Or-xryrzr和Oom--xomyomzom的關(guān)系關(guān)于平面鏡中心對稱，因此可由(Rmri，Tmri)得到(Romr，Tomr) 設(shè)由鏡面反射成像關(guān)系得出 Oom-xomyomzom繞yom軸逆時針旋轉(zhuǎn)180°即是Om-xmymzm，因此兩個坐標系之間相差一個旋轉(zhuǎn)矩陣
以O(shè)om-xomyomzom為中介坐標系，由式[4]～[5]得到Or-xryrzr與Om-xmymzm的歐氏變換關(guān)系為 Rmr＝Rmom·Romr，Tmr＝Rmom·Tomr[6] 2.5、標定足眼關(guān)系； 由以上2。1～2。4各標定步驟，機器人坐標系到攝像機坐標系間的中間坐標系轉(zhuǎn)換關(guān)系都已確定，根據(jù)中介坐標統(tǒng)一方法，機器人坐標系到攝像機坐標系之間的歐氏變換矩陣Rcr和Tcr即可確定 Rcr＝Rcm·Rmr，Tcr＝Rcm·Tmr+Tcm[7] 而攝像機坐標系到機器人坐標系的歐氏變換矩陣Rrc和Trc為 如上面所述方法所使用的機器人足目標定裝置，包括一個帶有車載計算機的可移動車體，在該可移動車體上固定著攝像機，其特征在于，在可移動車體上分布著10～30個位置固定的特征點，這些特征點是車體棱邊的交點或者固定在車體上的機械構(gòu)件棱邊的交點或者固定在車體上的攝像機支架棱邊的交點，上述特征點在機器人坐標系下的坐標是已知的，構(gòu)成特征點集Θ；在機器人前方放置有一面平面反射鏡M，使車體上特征點的鏡像點集Θ′能夠在攝像機中成像，在平面鏡M上有四個已知特征點，它們是一個矩形的四個頂點。
本發(fā)明的優(yōu)點是 1、解決了移動機器人系統(tǒng)的足目標定問題，不需要簡化待標定參數(shù)，對攝像機固聯(lián)平臺的運動自由度沒有要求，也可用于手眼定標。
2、在標定出攝像機內(nèi)部參數(shù)的前提下，則只需在合適位置拍攝一幅平面鏡圖像即可完成標定任務(wù)，簡單實用，可實現(xiàn)現(xiàn)場標定。
3、本發(fā)明的標定裝置，結(jié)構(gòu)簡單，加工、維護和使用方便，標定過程不需復(fù)雜的安裝、調(diào)整過程。



圖1是本發(fā)明足目標定方法和裝置的原理圖。
圖2是本發(fā)明中的平面反射鏡靶標的結(jié)構(gòu)示意圖。
圖3是本發(fā)明中標定過程中所使用的標定圖像。

具體實施例方式 下面對本發(fā)明做進一步詳細說明。參見圖1～3，足目標定過程即確定攝像機坐標系(Oc-xcyczc)和移動機器人車體坐標系(Or-xryrzr)之間的位置關(guān)系。本發(fā)明的機器人足目標定方法，基于以下的標定裝置，一個帶有車載計算機的可移動車體，在該可移動車體上固定著攝像機，其特征在于，在可移動車體上分布著10～30個位置固定的特征點，這些特征點是車體棱邊的交點或者固定在車體上的機械構(gòu)件棱邊的交點或者固定在車體上的攝像機支架棱邊的交點，上述特征點在機器人坐標系下的坐標是已知的，構(gòu)成特征點集Θ。在機器人前方放置有一面平面反射鏡靶標M，使車體上特征點的鏡像點集Θ′能夠在攝像機中成像。參見圖2，在平面鏡靶標M上有四個已知特征點A、B、C、D，它們是一個矩形的四個頂點。由這四個已知特征點確定了兩條對角線及其交點，基于交比不變原理(可參考Calibration approach for structured-light-stripevision sensor based on the invariance of double cross-ratio，Zhenzhong Wei，2003)生成兩條直線上的若干標定點，例如P點，因而平面鏡可用作二維靶標。其標定點位置可變，數(shù)量可擴展。標定的步驟如下 1、建立坐標系； 符號說明下文出現(xiàn)的下標字母代表不同的坐標系c-攝像機坐標系，m-平面鏡坐標系，om-輔助坐標系，ri-鏡像坐標系，r機器人坐標系； 1.1、建立機器人坐標系Or-xryrzr；以可移動車體前后輪軸中心連線的中點為原點Or，yr，zr軸分別與車軸平行和垂直，按右手規(guī)則規(guī)定xr的方向； 1.2、建立攝像機坐標系哦Oc-xcyczc；以攝像機光心為原點Oc，xc，yc軸分別與成像面的橫、縱軸平行，zc軸即光軸； 1.3、建立鏡像坐標系Ori-xriyrizri；以車體坐標系原點Or的鏡像點Ori為原點，yri與zri軸分別和yr與zr軸關(guān)于平面鏡中心對稱，xri與xr軸方向相反； 1.4、建立平面鏡坐標系om-xmymzm；以平面鏡左上角的特征點為坐標原點，xm與ym軸在鏡平面Ω上，與鏡平面Ω上四個特征點構(gòu)成的矩形的兩邊重合，按右手規(guī)則規(guī)定zm軸的方向； 1.5、在平面鏡的反面Ω′上建立輔助坐標系Oom-xomyomzom；其原點與平面鏡坐標系Om-xmymzm的原點重合，xom和zom分別與xm和zm相反，yom與ym重合； 2、標定過程；下面文字中的Xi＝(xiyizi)T(i＝c，m，…)表示坐標系i下的三維點坐標，i表示上述建立的5個坐標系的下標其中之一；Rij(i＝c，m，…，j＝m，om，…)與Tij(i＝c，m，…，j＝m，om，…)分別表示坐標系j到坐標系i的旋轉(zhuǎn)和平移矩陣，j也表示上述建立的5個坐標系的下標其中之一，但是i不同于j； 2.1、標定攝像機坐標系與平面鏡坐標系之間的歐氏變換關(guān)系； 帶有標志點的平面鏡是一面二維靶標，因此，根據(jù)已標定出的攝像機內(nèi)部參數(shù)，可確定攝像機坐標系Oc-xcyczc與平面鏡坐標系om-xmymzm間的歐氏變換關(guān)系Rcm，Tcm，使得 Xc＝RcmXm+Tcm [1] 具體方法可參考文章“A Flexible New Technique for CameraCalibration”(Zhang，1999)。
2.2、標定攝像機坐標系與鏡像坐標系之間的歐氏變換關(guān)系； 以平面鏡中的反射鏡像點集Θ′為標定點，使用攝像機標定方法，確定Oc-xcyczc與Ori-xriyrizri間歐氏變換關(guān)系Rcri，Tcri，使得 Xc＝RcriXri+Tcri[2] 具體方法參見“A versatile camera calibration technique forhigh-accuracy 3D machine vision metrology using off-the-shelf TVcameras and lenses”(Tsai，1987)。
2.3、標定平面鏡坐標系與鏡像坐標系之間的歐氏變換關(guān)系； 由[1]和[2]式，得出Ori-xriyrizri到Om-xmymzm的歐氏變換關(guān)系為 2.4、標定機器人坐標系與平面鏡坐標系之間的歐氏變換關(guān)系； 在平面鏡兩側(cè)，Ori-xriyrizri和Om-xmymzm之間的關(guān)系與Or-xryrzr和Oom-xomyomzom的關(guān)系關(guān)于平面鏡中心對稱，因此可由(Rmri，Tmri)得到(Romr，Tomr) 設(shè)由鏡面反射成像關(guān)系得出 Oom-xomyomzom繞yom軸逆時針旋轉(zhuǎn)180°即是Om-xmymzm，因此兩個坐標系之間相差一個旋轉(zhuǎn)矩陣
以O(shè)om-xomyomzom為中介坐標系，由式(4)～(5)得到Or-xryrzr與Om-xmymzm的歐氏變換關(guān)系 Rmr＝Rmom·Romr，Tmr＝Rmom·Tomr[6] 上述推導(dǎo)方法的原理參見“光電測試技術(shù)”(張廣軍，2003)。
2.5、標定足眼關(guān)系； 由以上2.1～2.4各標定步驟，機器人坐標系到攝像機坐標系間的中間坐標系轉(zhuǎn)換關(guān)系都已確定，根據(jù)中介坐標統(tǒng)一方法，機器人坐標系到攝像機坐標系之間的歐氏變換矩陣Rcr和Tcr可確定 Rcr＝Rcm·Rmr，Tcr＝Rcm·Tmr+Tcm[7] 而攝像機坐標系到機器人坐標系的歐氏變換矩陣Rrc和Trc為 有關(guān)中介坐標統(tǒng)一方法可參考“多傳感器機器視覺測量系統(tǒng)的研究與應(yīng)用”(羅明，天津大學(xué)博士研究生論文，1996)。
如上面所述方法所使用的機器人足目標定裝置，包括一個帶有車載計算機的可移動車體，在該可移動車體上固定著攝像機。其特征在于，在可移動車體上分布著10～30個位置固定的特征點，這些特征點是車體棱邊的交點或者固定在車體上的機械構(gòu)件棱邊的交點或者固定在車體上的攝像機支架棱邊的交點，上述特征點在機器人坐標系下的坐標是已知的，構(gòu)成特征點集Θ。在機器人前方放置有一面平面反射鏡M，參見圖2，使車體上特征點的鏡像點集Θ′能夠在攝像機中成像。在平面鏡M上有四個已知特征點，它們是一個矩形的四個頂點。
實施例 本發(fā)明標定裝置的一個實施例如圖1所示，所說的可移動車體的外殼是一個六面體，其上表面的周邊有導(dǎo)角。其前表面上固定著一個小六面體，在小六面體的前表面上固定著2～6個六面體。上述各個六面體的頂點都是坐標已知的特征點。所說的平面鏡M上有四個已知特征點，它們是一個366×256mm矩形的四個頂點。
在上述標定裝置的基礎(chǔ)上進行了標定實驗。
已知的攝像機內(nèi)部參數(shù)為 內(nèi)參矩陣兩階徑向畸變系數(shù)k1＝-0.28900，k2＝-0.06639，兩個切向畸變系數(shù)k3＝0.0005，k4＝0.00072。
標定裝置放置好以后，車載攝像機拍攝到圖3中的標定圖像。
由式[1]計算平面鏡坐標系到攝像機坐標系的旋轉(zhuǎn)與平移矩陣 Tcm＝[-194.9056-193.4822 1648.6289]T 同理，求解鏡像坐標系到攝像機坐標系的旋轉(zhuǎn)與平移矩陣 Tcri＝[-23.2453 163.1634 3506.1842]T 按照本發(fā)明的各標定步驟，最終確定攝像機坐標系到機器人坐標系的旋轉(zhuǎn)與平移關(guān)系 Trc＝[583.7428-8.9876 269.5506]T。
權(quán)利要求
1、機器人足目標定方法，基于以下的標定裝置，一個帶有車載計算機的可移動車體，在該可移動車體上固定著攝像機，其特征在于，在可移動車體上分布著10～30個位置固定的特征點，這些特征點是車體棱邊的交點或者固定在車體上的機械構(gòu)件棱邊的交點或者固定在車體上的攝像機支架棱邊的交點，上述特征點在機器人坐標系下的坐標是已知的，構(gòu)成特征點集Θ；在機器人前方放置有一面平面反射鏡靶標M，使車體上特征點的鏡像點集Θ′能夠在攝像機中成像，在平面鏡靶標M上有四個已知特征點，它們是一個矩形的四個頂點；標定的步驟如下
1.1、建立坐標系；
符號說明下文出現(xiàn)的下標字母代表不同的坐標系c-攝像機坐標系，m-平面鏡坐標系，om-輔助坐標系，ri-鏡像坐標系，r機器人坐標系；
1.1.1、建立機器人坐標系Or-xryrzr；以可移動車體前后輪軸中心連線的中點為原點Or，yr、zr軸分別與車軸平行和垂直，按右手規(guī)則規(guī)定xr的方向；
1.1.2、建立攝像機坐標系Oc-xcyczc；以攝像機光心為原點Oc，xc、yc軸分別與成像面的橫、縱軸平行，zc軸即光軸；
1.1.3、建立鏡像坐標系Ori-xriyrizri；以車體坐標系原點Or的鏡像點Ori為原點，yri與zri軸分別和yr與zr軸關(guān)于平面鏡中心對稱，xri與xr軸方向相反；
1.1.4、建立平面鏡坐標系Om-xmymzm；以平面鏡左上角的特征點為坐標原點，xm與ym軸在鏡平面Ω上，與鏡平面Ω上四個特征點構(gòu)成的矩形的兩邊重合，按右手規(guī)則規(guī)定zm軸的方向；
1.1.5、在平面鏡的反面Ω′上建立輔助坐標系Oom-xomyomzom；其原點與平面鏡坐標系Om-xmymzm的原點重合，xom和xom分別與xm和zm相反，yom與ym重合；
1.2、標定過程；下面文字中的Xi＝(xiyizi)T(i＝c，m，…)表示坐標系i下的三維點坐標，i表示上述建立的5個坐標系的下標其中之一；Rij(i＝c，m，…，j＝m，om，…)與Tij(i＝c，m，…，j＝m，om，…)分別表示坐標系j到坐標系i的旋轉(zhuǎn)和平移矩陣，j也表示上述建立的5個坐標系的下標其中之一，但是i不同于j；
1.2.1、標定攝像機坐標系與平面鏡坐標系之間的歐氏變換關(guān)系；
根據(jù)已標定的攝像機內(nèi)部參數(shù)，確定攝像機坐標系Oc-xcyczc與平面鏡坐標系Om-xmymzm間的Rcm和Tcm，使得
Xc＝RcmXm+Tcm[1]
1.2.2、標定攝像機坐標系與鏡像坐標系之間的歐氏變換關(guān)系；
以平面鏡中的反射鏡像點集Θ′為標定點，使用攝像機標定方法，確定Oc-xcyczc與Ori-xriyrizri間的Rcri和Tcri，使得
Xc＝RcriXri+Tcri[2]
1.2.3、標定平面鏡坐標系與鏡像坐標系之間的歐氏變換關(guān)系；
由[1]和[2]式，得出Ori-xriyrizri到Om-xmymzm的歐氏變換關(guān)系為
1.2.4、標定機器人坐標系與平面鏡坐標系之間的歐氏變換關(guān)系；
在平面鏡兩側(cè)，Ori-xriyrizri和Om-xmymzm之間的關(guān)系與Or-xryrzr和Oom-xomyomzom的關(guān)系關(guān)于平面鏡中心對稱，因此可由(Rmri，Tmri)得到(Romr，Tomr)
設(shè)由鏡面反射成像關(guān)系得出
Oom-xomyomzom繞yom軸逆時針旋轉(zhuǎn)180°即是Om-xmymzm，因此兩個坐標系之間相差一個旋轉(zhuǎn)矩陣
以O(shè)om-xomyomzom為中介坐標系，由式[4]～[5]得到Or-xryrzr與Om-xmymzm的歐氏變換關(guān)系
Rmr＝Rmom·Romr，Tmr＝Rmom·Tomr[6]
1.2.5、標定足眼關(guān)系；
由以上1.2.1～1.2.4各標定步驟，機器人坐標系到攝像機坐標系間的中間坐標系轉(zhuǎn)換關(guān)系都已確定，根據(jù)中介坐標統(tǒng)一方法，機器人坐標系到攝像機坐標系之間的歐氏變換矩陣Rcr和Tcr即可確定
Rcr＝Rcm·Rmr，Tcr＝Rcm·Tmr+Tcm[7]
而攝像機坐標系到機器人坐標系的歐氏變換矩陣Rrc和Trc為
2、如權(quán)利要求1所述方法所使用的機器人足目標定裝置，包括一個帶有車載計算機的可移動車體，在該可移動車體上固定著攝像機，其特征在于，在可移動車體上分布著10～30個位置固定的特征點，這些特征點是車體棱邊的交點或者固定在車體上的機械構(gòu)件棱邊的交點或者固定在車體上的攝像機支架棱邊的交點，上述特征點在機器人坐標系下的坐標是已知的，構(gòu)成特征點集Θ；在機器人前方放置有一面平面反射鏡靶標M，使車體上特征點的鏡像點集Θ′能夠在攝像機中成像，在平面鏡靶標M上有四個已知特征點，它們是一個矩形的四個頂點。
全文摘要
本發(fā)明屬于機器人視覺導(dǎo)航技術(shù)領(lǐng)域，涉及對攝像機與機器人位置關(guān)系標定方法的改進?；谝粋€帶有車載計算機的可移動車體和攝像機，其特征在于，在可移動車體上分布著10～30個位置固定的特征點，在機器人前方放置有一面平面反射鏡靶標M，標定的步驟如下1.建立坐標系；2.以平面鏡為中介，建立攝像機坐標系與機器人坐標系的位置關(guān)系。本發(fā)明解決了移動機器人系統(tǒng)的足目標定問題，不需要簡化待標定參數(shù)，對攝像機固聯(lián)平臺的運動自由度沒有要求，也可用于手眼定標。在標定出攝像機內(nèi)部參數(shù)的前提下，則只需在合適位置拍攝一幅平面鏡圖像即可完成標定任務(wù)，簡單實用，可實現(xiàn)現(xiàn)場標定。
文檔編號B25J13/00GK101096101SQ200610086639
公開日2008年1月2日 申請日期2006年6月26日 優(yōu)先權(quán)日2006年6月26日
發(fā)明者張廣軍, 李秀智, 魏振忠, 周富強 申請人:北京航空航天大學(xué)