本發(fā)明屬于電力技術(shù)領(lǐng)域，具體涉及一種基于雙目視覺的帶電作業(yè)機(jī)器人目標(biāo)跟蹤方法。

背景技術(shù)：

隨著機(jī)器人技術(shù)的蓬勃發(fā)展，機(jī)器人在現(xiàn)代生產(chǎn)生活中的地位越來越重要。將帶電作業(yè)機(jī)器人引入到電力產(chǎn)業(yè)中，代替人工進(jìn)行電力維護(hù)檢修工作，可以有效避免帶電作業(yè)時(shí)人員傷亡事故的發(fā)生，并且能極大提高電力維護(hù)檢修的作業(yè)效率。

采用機(jī)器人進(jìn)行帶電作業(yè)，作業(yè)人員可利用視覺系統(tǒng)采集并反饋的工作環(huán)境信息，遠(yuǎn)程監(jiān)控機(jī)器人，完成帶電作業(yè)。其中，目標(biāo)跟蹤用于將目標(biāo)與背景區(qū)分出來，從而實(shí)現(xiàn)目標(biāo)的精確定位。然而，在帶電作業(yè)現(xiàn)場，環(huán)境較為復(fù)雜，設(shè)備器具較多，且這些設(shè)備器具顏色單一，不易與背景環(huán)境區(qū)分，這些因素造成了目標(biāo)跟蹤的困難。目前常用的跟蹤方法例如基于均值偏移的目標(biāo)跟蹤方法一般采用顏色概率密度分布作為目標(biāo)描述，在帶電作業(yè)環(huán)境顏色特征不明顯的情況下對(duì)目標(biāo)的識(shí)別度不高，當(dāng)場景中的光照變化時(shí)，目標(biāo)的顏色分布也會(huì)發(fā)生變化，從而導(dǎo)致模型的不穩(wěn)定和目標(biāo)跟蹤的失??；且這種方法對(duì)于目標(biāo)尺度變化的適應(yīng)性較差，當(dāng)目標(biāo)在圖像中的尺度發(fā)生變化時(shí)，目標(biāo)跟蹤無法正常進(jìn)行。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提出一種基于雙目視覺的帶電作業(yè)機(jī)器人目標(biāo)跟蹤方法，可以提高帶電作業(yè)機(jī)器人作業(yè)過程中對(duì)目標(biāo)的識(shí)別率。

為了解決上述技術(shù)問題，本發(fā)明提出一種基于雙目視覺的帶電作業(yè)機(jī)器人目標(biāo)跟蹤方法，步驟如下：

步驟1，采集雙目攝像頭包括目標(biāo)在內(nèi)的當(dāng)前幀圖像；

步驟2，判斷雙目攝像頭中左攝像頭圖像中是否存在標(biāo)記好的目標(biāo)區(qū)域，若是，則直接執(zhí)行步驟3；若否，則標(biāo)記并初始化目標(biāo)，然后執(zhí)行步驟3；所述初始化目標(biāo)是指，獲取目標(biāo)中心點(diǎn)在左攝像頭圖像中的位置以及目標(biāo)在左相機(jī)圖像中的尺度信息；

步驟3，采用顏色紋理融合特征描述目標(biāo)區(qū)域，具體為：

步驟3-1，選取目標(biāo)hsv模型中的h分量作為目標(biāo)的顏色特征，并對(duì)該特征分量進(jìn)行降維處理；

步驟3-2，將雙目左攝像頭圖像灰度化，采用加入抗擾因子的具有灰度尺度和旋轉(zhuǎn)不變等價(jià)lbp紋理模型作為目標(biāo)的紋理特征分量如下式所示，

其中，函數(shù)p為以左攝像頭圖像任意像素點(diǎn)nc為中心，半徑為r個(gè)像素的環(huán)形鄰域上的像素點(diǎn)個(gè)數(shù)，gc為像素點(diǎn)nc的灰度值，gp為像素點(diǎn)nc環(huán)形鄰域上第p個(gè)像素點(diǎn)的灰度值，p∈p，a為抗擾因子，riu2代表了旋轉(zhuǎn)不變等價(jià)模式，u(lbpp,r)是用來度量用二進(jìn)制數(shù)表示的lbp值在空間上0與1模式的變換次數(shù)；

步驟3-3，由步驟3-1獲取的目標(biāo)顏色特征分量和步驟3-2獲取的目標(biāo)紋理特征分量計(jì)算目標(biāo)顏色紋理融合特征直方圖；

步驟4，采用基于均值偏移的目標(biāo)跟蹤方法對(duì)左攝像頭圖像的目標(biāo)區(qū)域進(jìn)行跟蹤，獲得目標(biāo)在左攝像頭當(dāng)前幀圖像中的位置和尺度信息；在所述基于均值偏移的目標(biāo)跟蹤方法中，采用顏色紋理融合特征直方圖作為目標(biāo)模型的特征直方圖；

步驟5，采用模板匹配的方法獲取目標(biāo)在右攝像頭圖像中的位置，并根據(jù)雙目立體視覺三維測量原理計(jì)算目標(biāo)在世界坐標(biāo)系下的坐標(biāo)；

步驟6，獲取雙目攝像頭下一幀圖像；

步驟7，利用左攝像頭當(dāng)前幀圖像中目標(biāo)的尺度信息，采用基于成像原理和移動(dòng)約束的尺度估計(jì)方法對(duì)目標(biāo)在左攝像頭圖像中的尺度進(jìn)行估計(jì)，對(duì)左攝像頭下一幀圖像中需要跟蹤的目標(biāo)區(qū)域進(jìn)行尺度矯正。

進(jìn)一步，步驟5中，所述模板匹配方法采用歸一化相關(guān)系數(shù)法，歸一化相關(guān)系數(shù)表示為：

其中，

式中，t為模板圖像，i為待匹配圖像，m、n為模板圖像的寬和高，t(x′,y′)為模板圖像中坐標(biāo)為(x′,y′)的像素值，t(x″,y″)為模板圖像中(x″,y″)的像素值，i(x+x′,y+y′)為待匹配圖像坐標(biāo)為(x+x′,y+y′)的像素值，i(x+x″,y+y″)為待匹配圖像坐標(biāo)為(x+x″,y+y″)的像素值，t′(x′,y′)、i′(x+x′,y+y′)為中間計(jì)算量，r(x,y)為待匹配圖像中以(x,y)為左上角點(diǎn)坐標(biāo)并與模板圖像同樣大小的待匹配區(qū)域的歸一化相關(guān)系數(shù)，以此作為待匹配區(qū)域的匹配度。

進(jìn)一步，步驟7中，對(duì)左攝像頭下一幀圖像中需要跟蹤的目標(biāo)區(qū)域進(jìn)行尺度矯正的方法為：

步驟7-1，建立左攝像頭圖像像素坐標(biāo)系o-uv、左攝像頭圖像物理坐標(biāo)系o-xy，左攝像頭坐標(biāo)系oc-xcyczc，運(yùn)用幾何關(guān)系運(yùn)算獲取目標(biāo)尺寸與其在左攝像頭當(dāng)前幀圖像中尺度的關(guān)系，關(guān)系公式如下：

式中，zc為步驟5中計(jì)算得到的目標(biāo)在左攝像頭坐標(biāo)系下的坐標(biāo)，f為攝像頭焦距，w、h分別為目標(biāo)實(shí)際寬和高，wl、hl為目標(biāo)在左攝像頭圖像中的寬和高，對(duì)于wl、hl有：其中，px、py分別為目標(biāo)在左攝像頭圖像中寬和高占的像素個(gè)數(shù)，dx和dy分別是每個(gè)像素在u軸和v軸方向上的物理長度，dx和dy由標(biāo)定得出；

步驟7-2，使用下式對(duì)下一幀圖像中的目標(biāo)尺度進(jìn)行估計(jì)：

其中，vz為雙目攝像頭在左攝像頭坐標(biāo)系zc軸上相對(duì)目標(biāo)的瞬時(shí)速度，dt為取幀時(shí)間間隔，為目標(biāo)在左攝像頭下一幀圖像中的寬和高的估計(jì)值，對(duì)于和分別有：

步驟7-3，根據(jù)下式計(jì)算獲得下一幀圖像中目標(biāo)寬和高所占像素個(gè)數(shù)的估計(jì)和以和作為左攝像頭下一幀圖像中目標(biāo)尺度的估計(jì)值，對(duì)下一幀跟蹤的目標(biāo)范圍進(jìn)行矯正，

作為一個(gè)實(shí)施例，使用上述方法的帶電作業(yè)機(jī)器人包括絕緣斗臂車，搭載在絕緣斗臂車上的機(jī)器人平臺(tái)，安裝在機(jī)器人平臺(tái)上的機(jī)械臂，括數(shù)據(jù)采集系統(tǒng)以及數(shù)據(jù)處理和控制系統(tǒng)；所述數(shù)據(jù)采集系統(tǒng)包括設(shè)置在機(jī)器人平臺(tái)上的攝像機(jī)，攝像機(jī)用于采集機(jī)械臂作業(yè)場景圖像，并將所述作業(yè)場景圖像發(fā)送給數(shù)據(jù)處理和控制系統(tǒng)；所述數(shù)據(jù)處理和控制系統(tǒng)根據(jù)所述作業(yè)場景圖像生成3d虛擬作業(yè)場景或者規(guī)劃出機(jī)械臂空間路徑。

進(jìn)一步，所述數(shù)據(jù)處理和控制系統(tǒng)包括第一工控機(jī)、第二工控機(jī)，第二工控機(jī)內(nèi)置圖像處理器和帶電作業(yè)動(dòng)作序列庫；所述帶電作業(yè)動(dòng)作序列庫中預(yù)先存儲(chǔ)有各項(xiàng)帶電作業(yè)對(duì)應(yīng)的動(dòng)作序列數(shù)據(jù)；所述攝像機(jī)采集的作業(yè)場景圖像發(fā)送給第二工控機(jī)，圖像處理器對(duì)作業(yè)場景圖像進(jìn)行處理后獲的機(jī)械臂與作業(yè)對(duì)象之間的相對(duì)位置關(guān)系，第二工控機(jī)所述相對(duì)位置關(guān)系以及具體帶電作業(yè)所對(duì)應(yīng)的動(dòng)作序列規(guī)劃機(jī)械臂的空間路徑，并將所述機(jī)械臂的空間路徑數(shù)據(jù)發(fā)送給第一工控機(jī)；第一工控機(jī)根據(jù)所述機(jī)械臂的空間路徑控制機(jī)械臂動(dòng)作。

進(jìn)一步，所述絕緣斗臂車上設(shè)置有控制室，所述數(shù)據(jù)處理和控制系統(tǒng)包括第一工控機(jī)、第二工控機(jī)、顯示屏和主操作手，第二工控機(jī)內(nèi)置圖像處理器，顯示屏和主操作手位于控制室內(nèi)；主操作手與機(jī)械臂為主從操作關(guān)系，通過改變主操作手的姿態(tài)控制機(jī)械臂運(yùn)動(dòng)；所述攝像機(jī)采集的作業(yè)場景圖像發(fā)送給第二工控機(jī)，圖像處理器對(duì)作業(yè)場景圖像進(jìn)行處理后獲的3d虛擬作業(yè)場景，并送顯示器顯示。

本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)在于：

(1)本發(fā)明采用顏色紋理融合描述子對(duì)目標(biāo)進(jìn)行描述，對(duì)顏色特征不明顯的帶電作業(yè)目標(biāo)設(shè)備零件，如螺栓等，具有較好的跟蹤性能，并對(duì)光照變化具有較強(qiáng)的魯棒性；

(2)本發(fā)明采用基于成像原理和移動(dòng)約束的尺度估計(jì)方法對(duì)目標(biāo)尺度進(jìn)行估計(jì)，能有效解決目標(biāo)尺度變化較大時(shí)目標(biāo)跟蹤丟失的問題。

附圖說明

圖1為本發(fā)明帶電作業(yè)機(jī)器人的整體結(jié)構(gòu)示意圖；

圖2為本發(fā)明中絕緣斗臂車的系統(tǒng)組成框圖；

圖3為本發(fā)明中機(jī)器人平臺(tái)的結(jié)構(gòu)示意圖；

圖4為本發(fā)明中機(jī)械臂的結(jié)構(gòu)示意圖。

圖5為本發(fā)明基于雙目視覺的帶電作業(yè)機(jī)器人目標(biāo)跟蹤流程圖。

圖6為雙目立體視覺三維測量原理示意圖。

具體實(shí)施方式

容易理解，依據(jù)本發(fā)明的技術(shù)方案，在不變更本發(fā)明的實(shí)質(zhì)精神的情況下，本領(lǐng)域的一般技術(shù)人員可以想象出本發(fā)明基于雙目視覺的帶電作業(yè)機(jī)器人目標(biāo)跟蹤方法的多種實(shí)施方式。因此，以下具體實(shí)施方式和附圖僅是對(duì)本發(fā)明的技術(shù)方案的示例性說明，而不應(yīng)當(dāng)視為本發(fā)明的全部或者視為對(duì)本發(fā)明技術(shù)方案的限制或限定。

結(jié)合附圖，帶電作業(yè)機(jī)器人包括絕緣斗臂車1、控制室2、伸縮臂3、機(jī)器人平臺(tái)4。其中，絕緣斗臂車1上架設(shè)控制室2和伸縮臂3，伸縮臂3末端連接機(jī)器人平臺(tái)4，機(jī)器人平臺(tái)4與控制室2之間采用光纖以太網(wǎng)通信或者無線網(wǎng)絡(luò)通信。

絕緣斗臂車1可供操作人員駕駛，從而將機(jī)器人平臺(tái)4運(yùn)輸?shù)阶鳂I(yè)現(xiàn)場。絕緣斗臂車1上裝有支撐腿，支撐腿可以展開，從而將絕緣斗臂車1與地面穩(wěn)固支撐。絕緣斗臂車1上裝有發(fā)電機(jī)，從而給控制室2及伸縮臂3供電。

伸縮臂3設(shè)有沿伸縮方向的驅(qū)動(dòng)裝置，操作人員可以通過控制驅(qū)動(dòng)裝置，從而將機(jī)器人平臺(tái)4升降到作業(yè)高度。該伸縮臂3由絕緣材料制成，用于實(shí)現(xiàn)機(jī)器人平臺(tái)4與控制室2的絕緣。在本發(fā)明中，伸縮臂3可有由剪叉式升降機(jī)構(gòu)或其他機(jī)構(gòu)代替。

作為一種實(shí)施方式，控制室2中設(shè)置有第二工控機(jī)、顯示屏、第一主操作手、第二主操作手、輔助主操作手以及通信模塊等。

作為一種實(shí)施方式，機(jī)器人平臺(tái)4包括絕緣子46、第一機(jī)械臂43、第二機(jī)械臂44、輔助機(jī)械臂42、第一工控機(jī)48、雙目攝像頭45、全景攝像頭41、深度攝像頭410、蓄電池49、專用工具箱47、通信模塊。

機(jī)器人平臺(tái)4的絕緣子46用于支撐第一機(jī)械臂43、第二機(jī)械臂44、輔助機(jī)械臂42，將這三個(gè)機(jī)械臂的外殼與機(jī)器人平臺(tái)4絕緣。

蓄電池49為第一工控機(jī)48、第一機(jī)械臂43、第二機(jī)械臂44、輔助機(jī)械臂42、全景攝像頭41、雙目攝像頭45、深度攝像頭410、通信模塊供電。

作為一種實(shí)施方式，雙目攝像頭45一共有三個(gè)，分別安裝在第一機(jī)械臂43、第二機(jī)械臂44和輔助機(jī)械臂42的腕關(guān)節(jié)437上，負(fù)責(zé)采集作業(yè)場景的圖像數(shù)據(jù)，并將圖像數(shù)據(jù)發(fā)送給第二工控機(jī)。雙目攝像頭45由兩個(gè)光軸平行的工業(yè)相機(jī)組成，平行光軸之間的距離固定。

深度攝像頭410安裝在機(jī)器人平臺(tái)4正對(duì)作業(yè)場景的側(cè)面，負(fù)責(zé)采集作業(yè)場景的景深數(shù)據(jù)，將景深數(shù)據(jù)發(fā)送給第二工控機(jī)。

全景攝像頭41通過支架安裝在機(jī)器人平臺(tái)4的上方，負(fù)責(zé)采集作業(yè)場景的全景圖像數(shù)據(jù)，將圖像數(shù)據(jù)發(fā)送給第二工控機(jī)，并顯示在顯示器上，作業(yè)人員可以通過全景圖像監(jiān)控作業(yè)場景。

專用工具箱47是放置抓具、扳手等作業(yè)工具的場所。機(jī)械臂末端安裝有工具快換裝置。機(jī)械臂根據(jù)作業(yè)任務(wù)的類型到專用工具箱47中使用工具快換裝置獲取作業(yè)工具。

控制室2中第一主操作手、第二主操作手以及輔助主操作手是一種用于人工遠(yuǎn)程操作機(jī)械臂的操作裝置，他們與第一機(jī)械臂43、第二機(jī)械臂44和輔助機(jī)械臂42構(gòu)成主從操作關(guān)系。機(jī)械臂和主操作手具有相同的結(jié)構(gòu)，只是主操作手尺寸規(guī)格比機(jī)械臂小，以便于操作人員操作。機(jī)械臂和主操作手擁有六個(gè)關(guān)節(jié)，每個(gè)關(guān)節(jié)都有光電編碼器采集角度數(shù)據(jù)，各主操作手的微型控制器通過串口將六個(gè)關(guān)節(jié)的角度數(shù)據(jù)發(fā)送給第二工控機(jī)。

作為本發(fā)明一個(gè)實(shí)施例，所述機(jī)械臂為六自由度機(jī)構(gòu)，包括基座431，旋轉(zhuǎn)軸方向與基座平面垂直的腰關(guān)節(jié)432，與腰關(guān)節(jié)432連接的肩關(guān)節(jié)433，與肩關(guān)節(jié)433連接的大臂434，與大臂434連接的肘關(guān)節(jié)435，與肘關(guān)節(jié)435連接的小臂436，與小臂436連接的腕關(guān)節(jié)437，腕關(guān)節(jié)437由三個(gè)旋轉(zhuǎn)關(guān)節(jié)組成，分別為腕俯仰關(guān)節(jié)、腕搖擺關(guān)節(jié)和腕旋轉(zhuǎn)關(guān)節(jié)；所述六自由度機(jī)構(gòu)中各個(gè)關(guān)節(jié)均具有相應(yīng)的正交旋轉(zhuǎn)編碼器31和伺服驅(qū)動(dòng)電機(jī)，正交旋轉(zhuǎn)編碼器31用于采集各個(gè)關(guān)節(jié)的角度數(shù)據(jù)，伺服驅(qū)動(dòng)電機(jī)用于控制各關(guān)節(jié)的運(yùn)動(dòng)；第一工控機(jī)根據(jù)所述機(jī)械臂的空間路徑解算出各關(guān)節(jié)的運(yùn)動(dòng)角度，控制伺服驅(qū)動(dòng)電機(jī)按照所述運(yùn)動(dòng)角度控制機(jī)械臂各關(guān)節(jié)運(yùn)動(dòng)。

作為一種實(shí)施方式，機(jī)器人平臺(tái)4與控制室2之間的數(shù)據(jù)傳輸通過光纖有線傳輸，或者使用無線網(wǎng)絡(luò)傳輸。機(jī)器人平臺(tái)4上的通信模塊是光纖收發(fā)器，光纖收發(fā)器用于實(shí)現(xiàn)光纖中的光信號(hào)與雙絞線中的電信號(hào)的相互轉(zhuǎn)換，從而在通信上實(shí)現(xiàn)機(jī)器人平臺(tái)4與控制室2的電氣隔離?？刂剖?中的通信模塊是光纖收發(fā)器，光纖收發(fā)器用于實(shí)現(xiàn)光纖中的光信號(hào)與雙絞線中的電信號(hào)的相互轉(zhuǎn)換，從而在通信上實(shí)現(xiàn)機(jī)器人平臺(tái)4與控制室2的電氣隔離。

作為一種實(shí)施方式，第二工控機(jī)可以完成以下任務(wù)：

建立動(dòng)作序列庫。預(yù)先將各項(xiàng)帶電作業(yè)任務(wù)分解為作用序列，組成動(dòng)作序列庫，存儲(chǔ)在第二工控機(jī)中，用于機(jī)械臂路徑規(guī)劃。

建立作業(yè)對(duì)象模型庫。預(yù)先制作各項(xiàng)帶電作業(yè)任務(wù)所涉及的作業(yè)對(duì)象的三維模型和目標(biāo)識(shí)別模型，例如，根據(jù)電力塔桿、電線、耐張絕緣子、隔離刀閘、避雷器等器件實(shí)物，制作三維模型和目標(biāo)識(shí)別模型，用于帶電作業(yè)機(jī)器人自動(dòng)識(shí)別作業(yè)對(duì)象，構(gòu)建作業(yè)場景三維虛擬場景。

建立機(jī)械臂和專用工具模型庫。預(yù)先制作機(jī)械臂和專用工具的三維模型和目標(biāo)識(shí)別模型，例如，扳手等，用于帶電作業(yè)機(jī)器人自動(dòng)構(gòu)建作業(yè)場景三維虛擬場景，規(guī)劃機(jī)械臂空間路徑。

獲取圖像數(shù)據(jù)。獲取全景圖像、深度圖像和雙目圖像的數(shù)據(jù)信息。

根據(jù)圖像數(shù)據(jù)識(shí)別和跟蹤作業(yè)目標(biāo)。

獲取主操作手的角度、角速度和角加速度數(shù)據(jù)，獲取機(jī)械臂的角度、角速度和角加速度數(shù)據(jù)。

對(duì)相關(guān)圖像數(shù)據(jù)進(jìn)行處理和計(jì)算，獲取機(jī)械臂位置，獲取作業(yè)對(duì)象的位置，獲取機(jī)械臂與作業(yè)對(duì)象之間的相對(duì)位置，并根據(jù)相對(duì)位置和作業(yè)任務(wù)規(guī)劃機(jī)械臂的空間路徑。

根據(jù)圖像數(shù)據(jù)構(gòu)建作業(yè)對(duì)象三維場景，根據(jù)機(jī)械臂角度信息和作業(yè)對(duì)象三維場景獲得機(jī)械臂與作業(yè)對(duì)象的相對(duì)位置，并根據(jù)相對(duì)位置和作業(yè)任務(wù)規(guī)劃機(jī)械臂的空間路徑。

對(duì)相關(guān)圖像數(shù)據(jù)進(jìn)行處理和計(jì)算，構(gòu)建3d虛擬作業(yè)場景，送顯示器顯示，操作人員根據(jù)3d虛擬作業(yè)場景監(jiān)控作業(yè)過程。與全景圖像相比，3d虛擬作業(yè)場景綜合和深度圖像信息和雙目圖像信息，對(duì)機(jī)器臂與作業(yè)對(duì)象之間、機(jī)械臂之間、作業(yè)對(duì)象與作業(yè)環(huán)境之間的相對(duì)位置的判斷更精確，且不會(huì)存在視覺死角。因此，操作人員通過3d虛擬作業(yè)場景進(jìn)行作業(yè)監(jiān)控，操作精度更高，可以防止碰撞發(fā)生，提高了安全性。同時(shí)，3d虛擬作業(yè)場景顯示在控制室2中的顯示器上，遠(yuǎn)離機(jī)械臂作業(yè)現(xiàn)場，提高了人作業(yè)人員的人身安全。

作為一種實(shí)施方式，第一工控機(jī)可以完成以下任務(wù)：

根據(jù)第二工控機(jī)發(fā)送的主操作手各關(guān)節(jié)的角度信息，控制機(jī)械臂各關(guān)節(jié)的運(yùn)動(dòng)。

獲取第二工控機(jī)發(fā)送的機(jī)械臂的空間路徑數(shù)據(jù)，根據(jù)作業(yè)任務(wù)的動(dòng)作序列，解算出機(jī)械臂各關(guān)節(jié)的角度數(shù)據(jù)運(yùn)動(dòng)量，并控制機(jī)械臂各關(guān)節(jié)運(yùn)動(dòng)。

本發(fā)明中，第一機(jī)械臂和第二機(jī)械臂相互配合，可以模仿人的兩個(gè)手的作業(yè)順序完成帶電作業(yè)?？紤]到靈活性，可以再增加一個(gè)強(qiáng)壯的輔助機(jī)械臂，此時(shí)，輔助機(jī)械臂專司器件夾持等力道大的動(dòng)作，第一機(jī)械臂和第二機(jī)械臂則進(jìn)行相關(guān)業(yè)務(wù)操作。

根據(jù)第二工控機(jī)和第一工控機(jī)完成的不同任務(wù)的組合，本發(fā)明帶電作業(yè)機(jī)器人既可以由作業(yè)人員進(jìn)行遠(yuǎn)程搖操作以完成帶電作業(yè)，又可以進(jìn)行自主帶電作業(yè)。在進(jìn)行帶電作業(yè)之前，作業(yè)人員先通過觀察全景圖像，將機(jī)器人平臺(tái)4移動(dòng)至作業(yè)對(duì)象附近。

如果選擇人工遠(yuǎn)程搖操作，則由第二工控機(jī)根據(jù)數(shù)目圖像和深度圖像構(gòu)建3d虛擬作業(yè)場景并送顯示器顯示，作業(yè)人員通過3d虛擬作業(yè)場景監(jiān)控操作過程，通過主操作手控制機(jī)械臂的動(dòng)作，以完成帶電作業(yè)。在此過程中，作業(yè)人員改變主操作手姿態(tài)后，主操作手中各關(guān)節(jié)的光電編碼器采集各關(guān)節(jié)角度，各主操作手的微型控制器通過串口將各關(guān)節(jié)的角度數(shù)據(jù)發(fā)送給第二工控機(jī)。第二工控機(jī)將主操作手各關(guān)節(jié)的角度數(shù)據(jù)作為機(jī)械臂各關(guān)節(jié)角度的期望值發(fā)送給第一工控機(jī)，第一工控機(jī)根據(jù)角度期望值通過伺服電機(jī)控制機(jī)械臂各關(guān)節(jié)的運(yùn)動(dòng)，已完成帶電作業(yè)。

如果選擇自主作業(yè)，則由第二工控機(jī)根據(jù)數(shù)目圖像和深度圖像計(jì)算獲取作業(yè)對(duì)象和機(jī)械臂之間的相對(duì)位置關(guān)系，然后依據(jù)作業(yè)任務(wù)所對(duì)應(yīng)的動(dòng)作序列進(jìn)行機(jī)械臂空間路徑規(guī)劃，并將空間路徑發(fā)送給第一工控機(jī)，第一工控機(jī)解算出機(jī)械臂各關(guān)節(jié)需要轉(zhuǎn)動(dòng)的角度數(shù)據(jù)作為機(jī)械臂各關(guān)節(jié)角度的期望值，通過伺服電機(jī)控制機(jī)械臂各關(guān)節(jié)的運(yùn)動(dòng)，已完成帶電作業(yè)。

結(jié)合附圖，帶電作業(yè)機(jī)器人在進(jìn)行各種作業(yè)任務(wù)操作過程中，首先要做的就是對(duì)作業(yè)目標(biāo)進(jìn)行識(shí)別。本發(fā)明對(duì)作業(yè)目標(biāo)進(jìn)行識(shí)別的方法包括以下步驟：

步驟1，采集雙目攝像頭包括目標(biāo)在內(nèi)的圖像第一幀；

步驟2，判斷雙目攝像頭中左攝像頭圖像中是否存在標(biāo)記好的目標(biāo)區(qū)域，若是，則直接執(zhí)行步驟3；若否，則標(biāo)記并初始化目標(biāo)，然后執(zhí)行步驟3；

所述初始化目標(biāo)是指，獲取目標(biāo)中心點(diǎn)在左攝像頭圖像中的位置以及目標(biāo)在左相機(jī)圖像中的尺度信息；

步驟3，采用顏色紋理融合特征描述目標(biāo)區(qū)域，具體步驟如下：

步驟3-1，選取目標(biāo)hsv模型中的h(色調(diào))分量作為目標(biāo)的顏色特征，并對(duì)該特征分量進(jìn)行降維處理，使顏色特征分量范圍為0～35；

步驟3-2，將雙目左攝像頭圖像灰度化，采用加入抗擾因子的具有灰度尺度和旋轉(zhuǎn)不變等價(jià)lbp紋理模型作為目標(biāo)的紋理特征分量：

以左攝像頭圖像任意像素點(diǎn)nc為中心，在半徑為r(r取1個(gè)像素)的環(huán)形鄰域上，有p(p＝8)個(gè)像素點(diǎn)均勻分布，gc為像素點(diǎn)nc的灰度值，gp為像素點(diǎn)nc環(huán)形鄰域上第p個(gè)像素點(diǎn)的灰度值，p∈p，則加入抗擾因子a的具有灰度尺度和旋轉(zhuǎn)不變等價(jià)lbp紋理模型的表達(dá)式如下所示：

其中，

函數(shù)

中，上標(biāo)riu2代表了旋轉(zhuǎn)不變等價(jià)模式，它表示lbp數(shù)是旋轉(zhuǎn)不變的且在空間上0與1變換次數(shù)少于2，u(lbpp,r)是用來度量用二進(jìn)制數(shù)表示的lbp值在空間上0與1模式的變換次數(shù)?？箶_因子a使模型能有效區(qū)分圖像中的平坦區(qū)域。至此，這種方法獲得的lbp模式種類為5種。

步驟3-3，由步驟3-1獲取的目標(biāo)顏色特征分量和步驟3-2獲取的目標(biāo)紋理特征分量計(jì)算目標(biāo)顏色紋理融合特征直方圖，該特征直方圖的維數(shù)為36×5；

步驟4，采用基于均值偏移的目標(biāo)跟蹤方法對(duì)左攝像頭圖像的目標(biāo)區(qū)域進(jìn)行跟蹤，獲得目標(biāo)在左攝像頭當(dāng)前幀圖像中的位置和尺度信息；

在所述基于均值偏移的目標(biāo)跟蹤方法中，采用顏色紋理融合特征直方圖代替顏色直方圖，將其作為目標(biāo)模型的特征直方圖；

步驟5，采用模板匹配的方法獲取目標(biāo)在右攝像頭圖像中的位置，并根據(jù)雙目立體視覺三維測量原理計(jì)算目標(biāo)在世界坐標(biāo)系下的坐標(biāo)；

所述模板匹配方法采用歸一化相關(guān)系數(shù)法，歸一化相關(guān)系數(shù)表示為：

其中，

式中，t為模板圖像，i為待匹配圖像，m、n為模板圖像的寬和高，t(x′,y′)為模板圖像中坐標(biāo)為(x′,y′)的像素值，t(x″,y″)為模板圖像中(x″,y″)的像素值，i(x+x′,y+y′)為待匹配圖像坐標(biāo)為(x+x′,y+y′)的像素值，i(x+x″,y+y″)為待匹配圖像坐標(biāo)為(x+x″,y+y″)的像素值，t′(x′,y′)、i′(x+x′,y+y′)為中間計(jì)算量，r(x,y)為待匹配圖像中以(x,y)為左上角點(diǎn)坐標(biāo)并與模板圖像同樣大小的待匹配區(qū)域的歸一化相關(guān)系數(shù)，以此作為待匹配區(qū)域的匹配度。

歸一化相關(guān)系數(shù)法對(duì)光照變化不敏感，利用該方法進(jìn)行匹配將會(huì)降低光照變化對(duì)匹配結(jié)果的影響；

如圖2所示，所述雙目立體視覺三維測量原理為：

通過目標(biāo)跟蹤和目標(biāo)匹配可獲得目標(biāo)中心在左、右圖像平面上的圖像物理坐標(biāo)分別為(xl,yl)，(xr,yr)，設(shè)目標(biāo)在左、右攝像頭坐標(biāo)系下的坐標(biāo)分別為p(xc,yc,zc)，

p(xc-b,yc,zc)?；€距離b是兩相機(jī)的投影中心連線的距離。由于左右像平面行對(duì)準(zhǔn)，則目標(biāo)中心點(diǎn)在左右圖像的圖像物理縱坐標(biāo)相同，即yl＝y(tǒng)r＝y(tǒng)，由三角幾何關(guān)系可得：

視差d＝xl-xr，根據(jù)視差原理，計(jì)算得到目標(biāo)中心點(diǎn)p以左攝像頭坐標(biāo)系原點(diǎn)為世界坐標(biāo)系原點(diǎn)的三維坐標(biāo)：

式中，f為攝像頭焦距；

步驟6，獲取雙目攝像頭下一幀圖像；

步驟7，利用左攝像頭當(dāng)前幀圖像中目標(biāo)的尺度信息，采用基于成像原理和移動(dòng)約束的尺度估計(jì)方法對(duì)目標(biāo)在左攝像頭圖像中的尺度進(jìn)行估計(jì)，對(duì)左攝像頭下一幀圖像中需要跟蹤的目標(biāo)區(qū)域進(jìn)行尺度矯正。該方法的原理為：

步驟7-1，如圖3所示，o-uv為左攝像頭圖像像素坐標(biāo)系，o-xy為左攝像頭圖像物理坐標(biāo)系，oc-xcyczc為左攝像頭坐標(biāo)系。運(yùn)用幾何關(guān)系運(yùn)算獲取目標(biāo)尺寸與其在左攝像頭當(dāng)前幀圖像中尺度的關(guān)系，公式如下：

式中，zc為步驟5中計(jì)算得到的目標(biāo)在左攝像頭坐標(biāo)系下的坐標(biāo)，f為攝像頭焦距，w、h分別為目標(biāo)實(shí)際寬和高，wl、hl為目標(biāo)在左攝像頭圖像中的寬和高，對(duì)于wl、hl有：

其中，px、py分別為目標(biāo)在左攝像頭圖像中寬和高占的像素個(gè)數(shù)(當(dāng)前幀圖像中目標(biāo)的尺度信息)，dx和dy分別是每個(gè)像素在u軸和v軸方向上的物理長度，dx和dy由標(biāo)定得出；

步驟7-2，考慮機(jī)械臂帶動(dòng)雙目攝像頭移動(dòng)，則需獲取雙目攝像頭在zc軸(左攝像頭坐標(biāo)系)上相對(duì)目標(biāo)的瞬時(shí)速度，這可由機(jī)械臂腕部瞬時(shí)相對(duì)速度代替，記為vz，取幀時(shí)間間隔記為dt，則對(duì)下一幀的目標(biāo)尺度估計(jì)有：

其中，為目標(biāo)在左攝像頭下一幀圖像中的寬和高的估計(jì)值。對(duì)于和分別有：

步驟7-3，計(jì)算可得下一幀的目標(biāo)寬和高的所占像素個(gè)數(shù)估計(jì)和為：

以和作為左攝像頭下一幀圖像中目標(biāo)尺度的估計(jì)值，對(duì)下一幀跟蹤的目標(biāo)范圍進(jìn)行矯正；

步驟8，判斷是否跟蹤結(jié)束，若是，結(jié)束跟蹤，若否，返回步驟二，繼續(xù)跟蹤目標(biāo)。