專利名稱:新型遙操作遠(yuǎn)端機(jī)器人控制平臺及方法
技術(shù)領(lǐng)域:
本發(fā)明屬于遠(yuǎn)端機(jī)器人控制技術(shù)領(lǐng)域,具體涉及一種新型遙操作遠(yuǎn)端機(jī)器人控制臺。
背景技術(shù):
目前,人機(jī)交互技術(shù)仍然是遙遠(yuǎn)端機(jī)器人控制系統(tǒng)的研究熱點(diǎn)之一。傳統(tǒng)的主從 式人及交互控制系統(tǒng)通常被認(rèn)為是一種有效的遙操作方法,實際上是人、機(jī)協(xié)作系統(tǒng),借助 人的智能及經(jīng)驗完成復(fù)雜環(huán)境下的作業(yè),其操作質(zhì)量由操作人員決定,不僅要花費(fèi)長時間 訓(xùn)練操作人員,而且操作員工作時勞動強(qiáng)度大,易疲勞,難以完成高精度操作。虛擬現(xiàn)實系統(tǒng)的發(fā)展推升出了 AR技術(shù),其通過計算機(jī)生成虛擬的環(huán)境,借助虛擬 現(xiàn)實外設(shè)操作者可以與環(huán)境進(jìn)行很好的交互,是操作者有一種身臨其境的感覺。國內(nèi)外很 多學(xué)者將虛擬現(xiàn)實技術(shù)用于遙操作,使得傳統(tǒng)的遙操作控制更加高效。AR技術(shù)將計算機(jī)生 成的虛擬信息融合到現(xiàn)實世界中,實現(xiàn)對現(xiàn)實世界的補(bǔ)充,使得虛擬信息從感官上成為周 圍真實世界的組成部分,但是AR技術(shù)只是實現(xiàn)對現(xiàn)實世界的補(bǔ)充而不是完全替代現(xiàn)實環(huán) 境,還是有一定的局限性。視頻融合技術(shù)的應(yīng)用對遙遠(yuǎn)端機(jī)器人控制系統(tǒng)的發(fā)展起到了一定的推動作用,它 將執(zhí)行端反饋回的視頻信息和虛擬操作模型圖形在同一顯示窗口中進(jìn)行融合,使操作者更 容易更直接的進(jìn)行觀測,它改善了建模誤差和運(yùn)動累加誤差和運(yùn)動累加誤差,在一定程度 上提高了系統(tǒng)的安全性、精度性,減少了作業(yè)時間。但其仍然存在一定的不足1)視頻融合 技術(shù)是依賴虛擬模型和視頻的融合顯示進(jìn)行控制,視頻信息的傳輸存在信息量大和傳輸時 延大、不易進(jìn)行時延補(bǔ)償;2)由于視頻融合后攝像頭的坐標(biāo)不易改變,因此從某一角的觀 察的誤差情況并不一定能反映真實的誤差情況,若只采用視頻融合技術(shù)不能很好的完成作 業(yè)。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種具有集視頻融合技術(shù)、虛擬模型顯示技術(shù)、遠(yuǎn)程控制 Internet為一體的對Motoman工業(yè)機(jī)器手臂進(jìn)行控制,提出雙虛擬模型疊加顯示的新型遙 操作遠(yuǎn)端機(jī)器人控制平臺。上述發(fā)明的目的通過以下的技術(shù)方案實現(xiàn)新型遙操作遠(yuǎn)端機(jī)器人控制平臺,其組成包括客戶機(jī)端和服務(wù)器,所述的客戶機(jī) 端通過網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)椒?wù)器,所述的客戶機(jī)端包括人機(jī)交互設(shè)備,所述的人機(jī)交互設(shè)備 同時連接視頻顯示、數(shù)據(jù)比較和疊加在一起的虛擬操作模型和虛擬反饋模型;所述的服務(wù) 器包括遠(yuǎn)端機(jī)器人控制單元,所述的遠(yuǎn)端機(jī)器人控制單元連接遠(yuǎn)端機(jī)器人,所述的遠(yuǎn)端機(jī) 器人連接數(shù)據(jù)采集單元和視頻監(jiān)視設(shè)備。所述的新型遙操作遠(yuǎn)端機(jī)器人控制平臺,所述的虛擬操作模型和虛擬反饋模型連 接視頻顯示,所述的虛擬反饋模型連接數(shù)據(jù)比較。
所述的新型遙操作遠(yuǎn)端機(jī)器人控制平臺的操作方法,在同一顯示窗口疊加顯示兩 個虛擬模型——虛擬操作模型和虛擬虛擬反饋模型;所述的虛擬虛擬反饋模型與真實遠(yuǎn)端機(jī)器人的運(yùn)動是同步的,操作者通過虛擬操 作模型模擬遠(yuǎn)端機(jī)器人的運(yùn)動,并將運(yùn)動信息發(fā)送給遠(yuǎn)端遠(yuǎn)端機(jī)器人,而虛擬虛擬反饋模 型的運(yùn)動是由遠(yuǎn)端遠(yuǎn)端機(jī)器人的運(yùn)動反饋信息進(jìn)行控制;所述的反饋信息為實時的關(guān)節(jié)運(yùn)動傳感器信息,數(shù)據(jù)小,時延小,并且可以通過模 型角度補(bǔ)償彌補(bǔ)時延造成的運(yùn)動累加誤差,使得虛擬虛擬反饋模型的運(yùn)動與真實遠(yuǎn)端機(jī)器 人的運(yùn)動狀況保持一致;所述的雙虛擬模型顯示與遠(yuǎn)端視頻反饋信息的融合,可以通過視頻監(jiān)視窗口實時 監(jiān)視真實遠(yuǎn)端機(jī)器人的作業(yè)狀況,進(jìn)行更加容易與直觀的控制檢測;所述的虛擬操作模型和虛擬虛擬反饋模型之間的最終位置重合是控制系統(tǒng)通過 數(shù)據(jù)來判定的,重合判定是精確的,如果運(yùn)動完成未重合,系統(tǒng)則根據(jù)數(shù)據(jù)加入運(yùn)動補(bǔ)償;所述的控制程序可按作業(yè)所需,實時繪制兩虛擬模型末端執(zhí)行器的軌跡,根據(jù)所 繪制的顯示窗口軌跡,能判斷真實遠(yuǎn)端機(jī)器人運(yùn)動的有效性;所述的虛擬虛擬反饋模型能更容易體現(xiàn)出多種現(xiàn)實信息,通過顏色變化直觀反映 執(zhí)行短的受力情況;所述的兩個虛擬模型能任意角度旋轉(zhuǎn)調(diào)整和局部放大,能從不同角度的各個距離 去觀測兩個模型之間的位置關(guān)系。所述的新型遙操作機(jī)器人控制方法,雙虛擬模型疊加顯示控制;控制虛擬操作模 型在已知作業(yè)空間運(yùn)動,通過模型顯示窗口觀察其運(yùn)行狀況;若滿足作業(yè)要求,發(fā)送指令到 遠(yuǎn)端的遙機(jī)器人,使其按照虛擬操作模型的運(yùn)動軌跡進(jìn)行實際運(yùn)動;虛擬反饋模型在顯示 窗口上實時顯示真實機(jī)器人的運(yùn)動狀況;可以通過視頻監(jiān)視窗口監(jiān)視真實機(jī)器人的作業(yè)情 況。操作者可以遙控遠(yuǎn)端機(jī)器人完成高精度和相對復(fù)雜的作業(yè),從而實現(xiàn)人類在危險有害 及動態(tài)環(huán)境下的安全可靠作業(yè)。這個技術(shù)方案有以下有益效果1.本發(fā)明的具有反饋傳輸時延小、能加入反饋時延補(bǔ)償、能從任意角度反映遠(yuǎn)端 機(jī)器人的運(yùn)動狀況、能顯示更多運(yùn)動信息、與視頻融合技術(shù)的巧妙結(jié)合、同時還能直觀的觀 測出虛擬和現(xiàn)實遠(yuǎn)端機(jī)器人的運(yùn)動狀況的特點(diǎn),與傳統(tǒng)的遙操作系統(tǒng)相比,作業(yè)等待時間 大大縮短,提高了遙操作的精確度和安全性,使作業(yè)效率大幅度提高。2.本發(fā)明通過雙虛擬模型疊加顯示技術(shù),操作者可以遙控遠(yuǎn)端遠(yuǎn)端機(jī)器人完成高 精度和相對復(fù)雜的作業(yè),從而實現(xiàn)人類在危險有害及動態(tài)環(huán)境下的安全可靠作業(yè)。
圖1是本發(fā)明的新型遙操作遠(yuǎn)端機(jī)器人控制平臺框架框圖。圖2是本發(fā)明的控制程序操作流程圖。本發(fā)明的
具體實施例方式實施例1 新型遙操作遠(yuǎn)端機(jī)器人控制平臺,其組成包括客戶機(jī)端1和服務(wù)器2,所述的客 戶機(jī)端1通過網(wǎng)絡(luò)數(shù)據(jù)傳輸3到服務(wù)器2,所述的客戶機(jī)端1包括人機(jī)交互設(shè)備4,所述的
4人機(jī)交互設(shè)備4同時連接視頻顯示5、數(shù)據(jù)比較6和疊加13在一起的虛擬操作模型7和虛 擬反饋模型8 ;所述的服務(wù)器2包括遠(yuǎn)端機(jī)器人控制單元9,所述的遠(yuǎn)端機(jī)器人控制單元9 連接遠(yuǎn)端機(jī)器人10,所述的遠(yuǎn)端機(jī)器人10連接數(shù)據(jù)采集單元11和視頻監(jiān)視設(shè)備12。所述的新型遙操作遠(yuǎn)端機(jī)器人控制平臺,所述的虛擬操作模型和虛擬反饋模型連 接視頻顯示,所述的虛擬反饋模型連接數(shù)據(jù)比較。實施例2 實施例1所述的新型遙操作遠(yuǎn)端機(jī)器人控制平臺的操作方法,所述的操作流程, 在同一顯示窗口疊加顯示兩個虛擬模型——虛擬操作模型和虛擬虛擬反饋模型;所述的虛擬虛擬反饋模型與真實遠(yuǎn)端機(jī)器人的運(yùn)動是同步的,操作者通過虛擬操 作模型模擬遠(yuǎn)端機(jī)器人的運(yùn)動,并將運(yùn)動信息發(fā)送給遠(yuǎn)端遠(yuǎn)端機(jī)器人,而虛擬虛擬反饋模 型的運(yùn)動是由遠(yuǎn)端遠(yuǎn)端機(jī)器人的運(yùn)動反饋信息進(jìn)行控制;所述的反饋信息為實時的關(guān)節(jié)運(yùn)動傳感器信息,數(shù)據(jù)小,時延小,并且可以通過模 型角度補(bǔ)償彌補(bǔ)時延造成的運(yùn)動累加誤差,使得虛擬虛擬反饋模型的運(yùn)動與真實遠(yuǎn)端機(jī)器 人的運(yùn)動狀況保持一致;所述的雙虛擬模型顯示與遠(yuǎn)端視頻反饋信息的融合,可以通過視頻監(jiān)視窗口實時 監(jiān)視真實遠(yuǎn)端機(jī)器人的作業(yè)狀況,進(jìn)行更加容易與直觀的控制檢測;所述的虛擬操作模型和虛擬虛擬反饋模型之間的最終位置重合是控制系統(tǒng)通過 數(shù)據(jù)來判定的,重合判定是精確的,如果運(yùn)動完成未重合,系統(tǒng)則根據(jù)數(shù)據(jù)加入運(yùn)動補(bǔ)償;所述的控制程序可按作業(yè)所需,實時繪制兩虛擬模型末端執(zhí)行器的軌跡,根據(jù)所 繪制的顯示窗口軌跡,可以判斷真實遠(yuǎn)端機(jī)器人運(yùn)動的有效性;所述的虛擬虛擬反饋模型可以更容易體現(xiàn)出多種現(xiàn)實信息,通過顏色變化直觀反 映執(zhí)行短的受力情況;所述的兩個虛擬模型可以任意角度旋轉(zhuǎn)調(diào)整和局部放大,可以從不同角度的各個 距離去觀測兩個模型之間的位置關(guān)系。實施例3 實施例1或2所述的新型遙操作遠(yuǎn)端機(jī)器人控制平臺的操作方法,所述的操作流 程,(1)開啟系統(tǒng)伺服電源,規(guī)劃遠(yuǎn)端機(jī)器人作業(yè)軌跡,客戶機(jī)端控制虛擬操作模型, 運(yùn)動觀察其運(yùn)行軌跡是否符合作業(yè)要求,包括躲避障礙物是否平滑、最終位姿定位是否準(zhǔn) 確。若要詳細(xì)觀查虛擬操作模型的運(yùn)動狀況,選擇繪制軌跡進(jìn)行詳細(xì)的軌跡繪制,在顯示窗 口可得到清晰的虛擬操作模型的軌跡。(2)若虛擬操作模型滿足相應(yīng)的作業(yè)要求,客戶機(jī)端發(fā)送運(yùn)行指令給遠(yuǎn)端真實遠(yuǎn) 端機(jī)器人,真實遠(yuǎn)端機(jī)器人運(yùn)動同時實時發(fā)回數(shù)據(jù)到虛擬虛擬反饋模型,保證虛擬虛擬反 饋模型與真實遠(yuǎn)端機(jī)器人的同步;若虛擬操作模型的運(yùn)動不滿足作業(yè)要求,可手動調(diào)整虛 擬操作模型的關(guān)節(jié)角度或在笛卡爾空間坐標(biāo)系位移,使運(yùn)動軌跡合理化。(3)選則繪制軌跡,可精確繪制出虛擬虛擬反饋模型的運(yùn)動軌跡,其軌跡同時也為 真實遠(yuǎn)端機(jī)器人運(yùn)動軌跡。(4)與操作顯示窗口并行工作的,還有視頻監(jiān)測窗口,可依作業(yè)要求打開視頻監(jiān)測 設(shè)備,應(yīng)用視頻融合技術(shù)對作業(yè)空間實時監(jiān)測,防止意外發(fā)生,保證作業(yè)安全。
(5)按作業(yè)需要,調(diào)整觀測角度滑塊、局部放大滑塊,從不同角度、遠(yuǎn)近對兩虛擬模 型進(jìn)行仔細(xì)觀察。(6)完成作業(yè)后,選擇工作原點(diǎn),虛擬操作模型與虛擬虛擬反饋模型先后回到作業(yè) 原點(diǎn),并精確重合。實施例4 實施例1、2或3所述的新型遙操作機(jī)器人控制方法,雙虛擬模型疊加顯示控制;控 制虛擬操作模型在已知作業(yè)空間運(yùn)動,通過模型顯示窗口觀察其運(yùn)行狀況;若滿足作業(yè)要 求,發(fā)送指令到遠(yuǎn)端的遙機(jī)器人,使其按照虛擬操作模型的運(yùn)動軌跡進(jìn)行實際運(yùn)動;虛擬反 饋模型在顯示窗口上實時顯示真實機(jī)器人的運(yùn)動狀況;可以通過視頻監(jiān)視窗口監(jiān)視真實機(jī) 器人的作業(yè)情況。操作者可以遙控遠(yuǎn)端機(jī)器人完成高精度和相對復(fù)雜的作業(yè),從而實現(xiàn)人 類在危險有害及動態(tài)環(huán)境下的安全可靠作業(yè)。
權(quán)利要求
1.一種新型遙操作遠(yuǎn)端機(jī)器人控制平臺,其組成包括客戶機(jī)端和服務(wù)器,其特征是 所述的客戶機(jī)端通過網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)椒?wù)器,所述的客戶機(jī)端包括人機(jī)交互設(shè)備,所述的 人機(jī)交互設(shè)備同時連接視頻顯示、數(shù)據(jù)比較和疊加在一起的虛擬操作模型和虛擬反饋模 型;所述的服務(wù)器包括遠(yuǎn)端機(jī)器人控制單元,所述的遠(yuǎn)端機(jī)器人控制單元連接遠(yuǎn)端機(jī)器人, 所述的遠(yuǎn)端機(jī)器人連接數(shù)據(jù)采集單元和視頻監(jiān)視設(shè)備。
2.根據(jù)權(quán)利要求1所述的新型遙操作遠(yuǎn)端機(jī)器人控制平臺,其特征是所述的虛擬操 作模型和虛擬反饋模型連接視頻顯示,所述的虛擬反饋模型連接數(shù)據(jù)比較。
3.一種新型遙操作遠(yuǎn)端機(jī)器人控制平臺的操作方法,其特征是所述的操作流程,在 同一顯示窗口疊加顯示兩個虛擬模型——虛擬操作模型和虛擬虛擬反饋模型;所述的虛擬虛擬反饋模型與真實遠(yuǎn)端機(jī)器人的運(yùn)動是同步的,操作者通過虛擬操作模 型模擬遠(yuǎn)端機(jī)器人的運(yùn)動,并將運(yùn)動信息發(fā)送給遠(yuǎn)端遠(yuǎn)端機(jī)器人,而虛擬虛擬反饋模型的 運(yùn)動是由遠(yuǎn)端遠(yuǎn)端機(jī)器人的運(yùn)動反饋信息進(jìn)行控制;所述的反饋信息為實時的關(guān)節(jié)運(yùn)動傳感器信息,數(shù)據(jù)小,時延小,并且能通過模型角度 補(bǔ)償彌補(bǔ)時延造成的運(yùn)動累加誤差,使得虛擬虛擬反饋模型的運(yùn)動與真實遠(yuǎn)端機(jī)器人的運(yùn) 動狀況保持一致;所述的雙虛擬模型顯示與遠(yuǎn)端視頻反饋信息的融合,能通過視頻監(jiān)視窗口實時監(jiān)視真 實遠(yuǎn)端機(jī)器人的作業(yè)狀況,進(jìn)行更加容易與直觀的控制檢測;所述的虛擬操作模型和虛擬虛擬反饋模型之間的最終位置重合是控制系統(tǒng)通過數(shù)據(jù) 來判定的,重合判定是精確的,如果運(yùn)動完成未重合,系統(tǒng)則根據(jù)數(shù)據(jù)加入運(yùn)動補(bǔ)償;所述的控制程序可按作業(yè)所需,實時繪制兩虛擬模型末端執(zhí)行器的軌跡,根據(jù)所繪制 的顯示窗口軌跡,能判斷真實遠(yuǎn)端機(jī)器人運(yùn)動的有效性;所述的虛擬虛擬反饋模型能更容易體現(xiàn)出多種現(xiàn)實信息,通過顏色變化直觀反映執(zhí)行 短的受力情況;所述的兩個虛擬模型能任意角度旋轉(zhuǎn)調(diào)整和局部放大,能從不同角度的各個距離去觀 測兩個模型之間的位置關(guān)系。
4.一種所述的新型遙操作機(jī)器人控制方法,其特征是雙虛擬模型疊加顯示控制;控 制虛擬操作模型在已知作業(yè)空間運(yùn)動,通過模型顯示窗口觀察其運(yùn)行狀況;若滿足作業(yè)要 求,發(fā)送指令到遠(yuǎn)端的遙機(jī)器人,使其按照虛擬操作模型的運(yùn)動軌跡進(jìn)行實際運(yùn)動;虛擬反 饋模型在顯示窗口上實時顯示真實機(jī)器人的運(yùn)動狀況;可以通過視頻監(jiān)視窗口監(jiān)視真實機(jī) 器人的作業(yè)情況,操作者可以遙控遠(yuǎn)端機(jī)器人完成高精度和相對復(fù)雜的作業(yè),從而實現(xiàn)人 類在危險有害及動態(tài)環(huán)境下的安全可靠作業(yè)。
全文摘要
新型遙操作遠(yuǎn)端機(jī)器人控制平臺及方法。傳統(tǒng)的主從式人及交互控制系統(tǒng)通常被認(rèn)為是一種有效的遙操作方法,操作質(zhì)量由操作人員決定,不僅要花費(fèi)長時間訓(xùn)練操作人員,而且操作員工作時勞動強(qiáng)度大,易疲勞,難以完成高精度操作。本發(fā)明,其組成包括客戶機(jī)端(1)和服務(wù)器(2),客戶機(jī)端通過網(wǎng)絡(luò)數(shù)據(jù)傳輸(3)到服務(wù)器,客戶機(jī)端包括人機(jī)交互設(shè)備(4),人機(jī)交互設(shè)備同時連接視頻顯示(5)、數(shù)據(jù)比較(6)和疊加(13)在一起的虛擬操作模型(7)和虛擬反饋模型(8);服務(wù)器包括遠(yuǎn)端機(jī)器人控制單元(9),遠(yuǎn)端機(jī)器人控制單元連接遠(yuǎn)端機(jī)器人(10),遠(yuǎn)端機(jī)器人連接數(shù)據(jù)采集單元(11)和視頻監(jiān)視設(shè)備(12)。本發(fā)明用于遙控操作機(jī)器人。
文檔編號B25J19/00GK102120325SQ201010032439
公開日2011年7月13日 申請日期2010年1月8日 優(yōu)先權(quán)日2010年1月8日
發(fā)明者尤波, 李東潔, 肖萬哲, 鄒宇 申請人:哈爾濱理工大學(xué)