基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制系統(tǒng)及方法
【專利摘要】本發(fā)明公開了基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制系統(tǒng)及方法，包括遙控端和作業(yè)端；遙控端包括主計算機(jī)，所述主計算機(jī)為系統(tǒng)控制總樞紐，其接收主手信息采集單元上送的主手位置信息，并將該信息下發(fā)到從手控制計算機(jī)，實現(xiàn)從手的運(yùn)動控制；其接收從手控制計算機(jī)上送的從手運(yùn)動信息；其接受圖像處理計算機(jī)通過圖像采集單元采集的機(jī)器人運(yùn)行環(huán)境中各設(shè)備的位置和姿態(tài)信息，通過現(xiàn)實虛擬技術(shù)控制作業(yè)端的從手運(yùn)動實現(xiàn)虛擬與現(xiàn)實的實時同步。采用現(xiàn)實虛擬互動技術(shù)，提高了機(jī)器人操作人機(jī)接口友好程度，簡化操作流程。
【專利說明】基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種機(jī)器人控制系統(tǒng)，尤其涉及一種基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制系統(tǒng)及方法。
【背景技術(shù)】
[0002]隨著社會數(shù)字化、信息化的不斷發(fā)展，電力供應(yīng)的連續(xù)性和可靠性顯得尤為重要。高壓帶電作業(yè)作為一種在高壓電氣設(shè)備不停電情況下進(jìn)行檢修、測試的作業(yè)方法，是避免檢修停電，保證正常供電的有效措施。
[0003]傳統(tǒng)的高壓帶電作業(yè)時，作業(yè)人員位于接地的桿塔或構(gòu)架上，直接接觸高壓帶電體，或通過高壓作業(yè)工具間接與高壓帶電接觸，此時作業(yè)人員都處于高電壓、高空環(huán)境中，具有作業(yè)勞動量大，條件惡劣，作業(yè)危險性大等缺點。
[0004]隨著機(jī)器人技術(shù)的發(fā)展，近二三十年內(nèi)國內(nèi)外出現(xiàn)使用機(jī)器人代替人來完成高壓帶電作業(yè)業(yè)務(wù)相關(guān)研究，如國家知識產(chǎn)權(quán)局公告的專利號201210096179.6的“高壓帶電作業(yè)機(jī)器人主從式液壓機(jī)械臂系統(tǒng)”。該發(fā)明采用位置伺服閉環(huán)控制方式，并通過光纖將高壓電場與人隔離，操作人員操控主手遙控機(jī)械臂夾持專用工具接觸線路完成各種高壓帶電作業(yè)。該研究取得了一定程度上的有益效果，作業(yè)人員無需與高壓設(shè)備直接接觸，但作業(yè)人員仍需在高空環(huán)境中作業(yè)，依然存在一定的作業(yè)風(fēng)險。
[0005]為使作業(yè)人員徹底擺脫高壓、高空、高危的工作環(huán)境，有機(jī)構(gòu)提出可以通過視頻監(jiān)控的方法來實現(xiàn)，如國家知識產(chǎn)權(quán)局公告的專利號為201320046972.5的“一種用于高壓帶電作業(yè)機(jī)器人的視覺系統(tǒng)”。該發(fā)明通過在機(jī)器人作業(yè)端安裝多個攝像機(jī)將作業(yè)現(xiàn)場視頻傳輸?shù)降孛娴目刂贫?，操作人員通過觀看現(xiàn)場作業(yè)視頻畫面來完成高壓帶電作業(yè)業(yè)務(wù)。該發(fā)明使作業(yè)人員徹底擺脫了高危的工作環(huán)境，但從操作端回傳的視頻，不能完全覆蓋作業(yè)的所有細(xì)節(jié)，無法保證操作過程中出現(xiàn)作業(yè)機(jī)器人與周圍設(shè)備發(fā)生碰撞等意外情況的出現(xiàn)，且作業(yè)人員通過觀察視頻來完成機(jī)器人的控制，控制過程繁瑣，且無法保證精度。

【發(fā)明內(nèi)容】

[0006]為解決現(xiàn)有技術(shù)存在的不足，本發(fā)明公開了一種基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制系統(tǒng)及方法，高壓帶電作業(yè)環(huán)境因為設(shè)備和安裝方式幾乎是固定的，可以認(rèn)為是結(jié)構(gòu)化環(huán)境。本發(fā)明基于該結(jié)構(gòu)化環(huán)境，采用虛擬現(xiàn)實技術(shù)建立機(jī)器人本體及工作環(huán)境的虛擬模型，以該模型為原型，利用機(jī)器人本體上安裝的狀態(tài)及環(huán)境信息采集傳感器，實現(xiàn)原型參數(shù)的自適應(yīng)調(diào)整，實現(xiàn)虛擬與現(xiàn)實的實時同步。以同步虛擬模型為遙操作終端，實現(xiàn)機(jī)器人的遙操作。
[0007]本發(fā)明基于高壓帶電作業(yè)機(jī)器人，所述高壓帶電作業(yè)機(jī)器人為山東電力研究院發(fā)明的專利號201210096179.6的“高壓帶電作業(yè)機(jī)器人主從式液壓機(jī)械臂系統(tǒng)”中所述機(jī)器人。
[0008]為實現(xiàn)上述目的，本發(fā)明的具體方案如下:[0009]基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制系統(tǒng)，包括遙控端和作業(yè)端，所述遙控端安裝于地面操作室內(nèi)，所述作業(yè)端安裝于液壓升降平臺上方的絕緣斗中；
[0010]所述遙控端包括主計算機(jī)，所述主計算機(jī)為系統(tǒng)控制總樞紐，首先其接收主手信息采集單元上送的主手位置信息，并將該信息下發(fā)到從手控制計算機(jī)，實現(xiàn)從手的運(yùn)動控制；其次其接收從手控制計算機(jī)上送的從手運(yùn)動信息，再次其接受圖像處理計算機(jī)通過圖像采集單元采集的機(jī)器人運(yùn)行環(huán)境中各設(shè)備的位置和姿態(tài)信息，通過現(xiàn)實虛擬技術(shù)控制作業(yè)端的從手運(yùn)動實現(xiàn)虛擬與現(xiàn)實的實時同步；
[0011]所述作業(yè)端包括從手控制計算機(jī)和雙目相機(jī)，所述從手控制計算機(jī)通過從手控制卡控制從手的運(yùn)動，雙目相機(jī)通過圖像采集單元采集的圖像傳送給圖像處理計算機(jī)，圖像處理計算機(jī)處理完后傳送給主機(jī)算計。
[0012]所述主手為所述高壓帶電作業(yè)機(jī)器人機(jī)械臂6自由度主手，其上的每個關(guān)節(jié)轉(zhuǎn)軸處均帶有電位器。
[0013]所述主手信息采集單元采集主手電位器的位置信息并實時地將位置信息發(fā)送主計算機(jī)。
[0014]所述主計算機(jī)上安裝有數(shù)據(jù)庫軟件，數(shù)據(jù)庫中存儲有從手和機(jī)器人運(yùn)行環(huán)境中各設(shè)備的三維模型原型，所述主計算機(jī)為系統(tǒng)控制總樞紐，首先其接收主手信息采集單元上送的主手位置信息，并將該信息下發(fā)到從手控制計算機(jī)，實現(xiàn)從手的運(yùn)動控制；其次其接收從手控制計算機(jī)上送的從手運(yùn)動信息，利用該信息實現(xiàn)現(xiàn)實中從手與虛擬模型中的從手狀態(tài)的實時同步；再次其接受圖像處理計算機(jī)上送的機(jī)器人運(yùn)行環(huán)境中各設(shè)備的位置和姿態(tài)信息，對數(shù)據(jù)庫中的設(shè)備模型參數(shù)的自適應(yīng)調(diào)整，實現(xiàn)虛擬與現(xiàn)實的實時同步；最后主計算機(jī)利用同步三維模型信息，對從手的運(yùn)動進(jìn)行預(yù)判，實現(xiàn)對主手控制命令的預(yù)處理，防止出現(xiàn)從手與周圍設(shè)備的碰撞。
[0015]所述顯示單元實現(xiàn)從手和機(jī)器人運(yùn)行環(huán)境中個設(shè)備三維模型的三維模型的可視
化展示。
[0016]所述圖像處理計算機(jī)接收雙目相機(jī)采集的圖像，通過圖像處理算法實現(xiàn)機(jī)器人運(yùn)行環(huán)境中各個設(shè)備的自動識別，并通過雙目視覺算法實現(xiàn)各設(shè)備的準(zhǔn)確的定位和測量。所述圖像處理計算機(jī)通過RJ45線與主計算機(jī)連接，并向主計算機(jī)上送各設(shè)備的位置和姿態(tài)信息。
[0017]所述從手為所述高壓帶電作業(yè)機(jī)器人機(jī)械臂7自由度機(jī)械臂，機(jī)械臂各關(guān)節(jié)處安裝有角度傳感器，各角度傳感器和液壓伺服閥通過串口與從手控制卡連接。
[0018]從手的機(jī)械臂各關(guān)節(jié)處安裝有角度傳感器，采集機(jī)器人各關(guān)節(jié)間的相對角度關(guān)系，機(jī)械臂各關(guān)節(jié)的運(yùn)動通過相應(yīng)的液壓執(zhí)行器來執(zhí)行；每個執(zhí)行器與相應(yīng)的液壓伺服閥連接實現(xiàn)對執(zhí)行器的控制。
[0019]所述各角度傳感器和液壓伺服閥通過串口與從手控制卡連接，實現(xiàn)從手角度信息的采集和從手運(yùn)動的控制。
[0020]從手控制計算機(jī)實現(xiàn)對采集的從手信息的匯總和組織，將匯總后的信息以統(tǒng)一的格式發(fā)送到主計算機(jī)，并實現(xiàn)對主計算機(jī)下發(fā)的從手控制命令的緩存和預(yù)處理。
[0021]基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制方法，包括以下步驟:
[0022]步驟一、首先對從手和機(jī)器人運(yùn)行環(huán)境中各設(shè)備提前建模，并存儲在主計算機(jī)數(shù)據(jù)庫中；
[0023]步驟二、在控制實現(xiàn)過程中，主計算機(jī)接收從手控制卡采集從手的運(yùn)動信息和圖像處理計算機(jī)通過處理獲取環(huán)境中各設(shè)備的位置和尺度信息，通過設(shè)備定位測量算法實現(xiàn)從手運(yùn)行環(huán)境中設(shè)備模型與實際設(shè)備的位置和尺度的同步，并將該虛擬場景通過現(xiàn)實單元展示；
[0024]步驟三、操作者從過觀察現(xiàn)實單元中的虛擬場景，操作主手運(yùn)動，主手信息采集單元采集主手電位器的位置信息并實時地將位置信息發(fā)送給主計算機(jī)，主計算機(jī)利用現(xiàn)有三維模型實現(xiàn)運(yùn)動碰撞的提前檢測，當(dāng)虛擬場景中無碰撞發(fā)生，則將該控制命令下發(fā)到從手控制計算機(jī)，通過從手控制計算機(jī)的緩存，將命令下發(fā)到從手控制卡，控制從手運(yùn)動狀態(tài)與主手的運(yùn)動狀態(tài)一致，實現(xiàn)高壓帶電作業(yè)機(jī)器人的遙操作。
[0025]所述步驟二中設(shè)備定位測量算法包括以下四個步驟:
[0026]( I)設(shè)備模板庫的建立；
[0027](2)實時場景圖像中設(shè)備的識別；
[0028](3)雙目立體視覺獲取場景的三維空間信息；[0029](4)各設(shè)備位置和尺度獲取。
[0030]所述設(shè)備模型庫的建立即實現(xiàn)手動選取從手運(yùn)行環(huán)境圖像內(nèi)存在的各個設(shè)備的圖像信息，將此圖像依此存儲在數(shù)據(jù)庫中，并以不同的編號區(qū)分各個設(shè)備，建立設(shè)備模板庫。
[0031]所述實時場景中設(shè)備的識別是利用上一步建立好的模板庫，采用模板匹配算法實現(xiàn)實時場景中設(shè)備的自動識別。
[0032]所述模板匹配算法，公式如下:
[0033]
【權(quán)利要求】
1.基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制系統(tǒng)，其特征是，包括遙控端和作業(yè)端; 所述遙控端包括主計算機(jī)，所述主計算機(jī)為系統(tǒng)控制總樞紐，它接收主手信息采集單元上送的主手位置信息，并將該信息下發(fā)到從手控制計算機(jī)，實現(xiàn)從手的運(yùn)動控制；接收從手控制計算機(jī)上送的從手運(yùn)動信息；接受圖像處理計算機(jī)通過圖像采集單元采集的機(jī)器人運(yùn)行環(huán)境中各設(shè)備的位置和姿態(tài)信息，通過現(xiàn)實虛擬技術(shù)控制作業(yè)端的從手運(yùn)動實現(xiàn)虛擬與現(xiàn)實的實時同步； 所述作業(yè)端包括從手控制計算機(jī)和雙目相機(jī)，所述從手控制計算機(jī)通過從手控制卡控制從手的運(yùn)動，雙目相機(jī)通過圖像采集單元采集的圖像傳送給圖像處理計算機(jī)，圖像處理計算機(jī)處理完后傳送給主機(jī)算計。
2.如權(quán)利要求1所述的基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制系統(tǒng)，其特征是，所述主手為所述高壓帶電作業(yè)機(jī)器人機(jī)械臂6自由度主手，其上的每個關(guān)節(jié)轉(zhuǎn)軸處均帶有電位器。
3.如權(quán)利要求1所述的基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制系統(tǒng)，其特征是，所述從手為所述高壓帶電作業(yè)機(jī)器人機(jī)械臂7自由度機(jī)械臂，機(jī)械臂各關(guān)節(jié)處安裝有角度傳感器，各角度傳感器和液壓伺服閥通過串口與從手控制卡連接； 所述各角度傳感器和液壓伺服閥通過串口與從手控制卡連接，實現(xiàn)從手角度信息的采集和從手運(yùn)動的控制。
4.基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制方法，其特征是，包括以下步驟: 步驟一、首先對從手和機(jī)器人運(yùn)行環(huán)境中各設(shè)備提前建模，并存儲在主計算機(jī)數(shù)據(jù)庫中；` 步驟二、在控制實現(xiàn)過程中，主計算機(jī)接收從手控制卡采集從手的運(yùn)動信息和圖像處理計算機(jī)通過處理獲取環(huán)境中各設(shè)備的位置和尺度信息，通過設(shè)備定位測量算法實現(xiàn)從手運(yùn)行環(huán)境中設(shè)備模型與實際設(shè)備的位置和尺度的同步，并將該虛擬場景通過現(xiàn)實單元展示； 步驟三、操作者通過觀察現(xiàn)實單元中的虛擬場景，操作主手運(yùn)動，主手信息采集單元采集主手電位器的位置信息并實時地將位置信息發(fā)送給主計算機(jī)，主計算機(jī)利用現(xiàn)有三維模型實現(xiàn)運(yùn)動碰撞的提前檢測，當(dāng)虛擬場景中無碰撞發(fā)生，則將該控制命令下發(fā)到從手控制計算機(jī)，通過從手控制計算機(jī)的緩存，將命令下發(fā)到從手控制卡，控制從手運(yùn)動狀態(tài)與主手的運(yùn)動狀態(tài)一致，實現(xiàn)高壓帶電作業(yè)機(jī)器人的遙操作。
5.如權(quán)利要求4所述的基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制方法，其特征是，所述步驟二中設(shè)備定位測量算法包括以下四個步驟: (1)設(shè)備模板庫的建立； (2)、實時場景圖像中設(shè)備的識別； (3)雙目立體視覺獲取場景的三維空間信息； (4)各設(shè)備位置和尺度獲取。
6.如權(quán)利要求5所述的基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制方法，其特征是，所述設(shè)備模型庫的建立即實現(xiàn)手動選取從手運(yùn)行環(huán)境圖像內(nèi)存在的各個設(shè)備的圖像信息，將此圖像依此存儲在數(shù)據(jù)庫中，并以不同的編號區(qū)分各個設(shè)備，建立設(shè)備模板庫。
7.如權(quán)利要求5所述的基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制方法，其特征是，所述實時場景中設(shè)備的識別是利用上一步建立好的模板庫，采用模板匹配算法實現(xiàn)實時場景中設(shè)備的自動識別。
8.如權(quán)利要求7所述的基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制方法，其特征是，所述模板匹配算法，公式如下:

9.如權(quán)利要求5所述的基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制方法，其特征是，所述雙目立體視覺獲取場景的三維空間信息即利用同一場景在雙目相機(jī)左目和右目中的兩種不同投影圖像，利用搜索算法尋找左右圖像中的同一場景點的不同投影點，計算其在左右目圖像中的位差，利用位差數(shù)據(jù)和相機(jī)內(nèi)參計算該場景點與相機(jī)的距離信息，進(jìn)而計算出場景的三維點云信息。
10.如權(quán)利要求5所述的基于現(xiàn)實虛擬技術(shù)的高壓帶電作業(yè)機(jī)器人控制方法，其特征是，所述各設(shè)備位置和尺度獲取是在利用雙目立體視覺獲取場景三維點云信息后，結(jié)合之前提取的各個設(shè)備在圖像中的區(qū)域，得到設(shè)備的三維位置和尺度信息，將該信息上送至主計算機(jī)實現(xiàn)設(shè)備模型的實時同步。
【文檔編號】B25J9/18GK103481285SQ201310422848
【公開日】2014年1月1日 申請日期:2013年9月16日 優(yōu)先權(quán)日:2013年9月16日
【發(fā)明者】王振利, 魯守銀, 王濱海, 李健, 呂曦晨 申請人:國家電網(wǎng)公司, 國網(wǎng)山東省電力公司電力科學(xué)研究院, 山東魯能智能技術(shù)有限公司