專利名稱：一種基于視覺的機(jī)器人控制方法
技術(shù)領(lǐng)域：
本發(fā)明屬于機(jī)器人人機(jī)交互領(lǐng)域，特別涉及一種一種基于視覺的機(jī)器人控制方法。
背景技術(shù)：
隨著機(jī)器人應(yīng)用領(lǐng)域的日益擴(kuò)大，特別是機(jī)器人進(jìn)入人們的日常生活，人和機(jī)器人對等交互(peer-to-peer interaction)研究越來越被重視，在對等交互中，人和機(jī)器人更多的是伙伴關(guān)系，而不是簡單的人和工具關(guān)系。遙操作機(jī)器人系統(tǒng)和全自主機(jī)器人系統(tǒng)存在一些不足，使得人-機(jī)器人協(xié)作系統(tǒng)具有很大的潛力。在這類系統(tǒng)中，人和機(jī)器人成員根據(jù)自身能力相互協(xié)作共同完成目標(biāo)任務(wù)，這種團(tuán)隊(duì)模式的優(yōu)勢在于集成人和機(jī)器人的智能來有效的完成目標(biāo)任務(wù)。人-機(jī)器人交互主題的研究涉及許多不同領(lǐng)域，例如不同的交互模式、認(rèn)知模型以及評價(jià)方法等。在交互模式研究中，符合人際交流習(xí)慣的交互模式是當(dāng)前研究的熱點(diǎn)，手勢作為一種自然而直觀的人際交流模式而被重視，其中手勢跟蹤是手勢識(shí)別的基礎(chǔ)。另外由于手勢本事具有的多樣性、多義性、以及時(shí)間和空間上的差異性等特點(diǎn)，當(dāng)前實(shí)用的手勢交互往往根據(jù)應(yīng)用特點(diǎn)設(shè)計(jì)特定語義庫，以保證手勢交互的準(zhǔn)確性和有效性。機(jī)械臂作業(yè)需要一系列復(fù)雜的指令，簡單的特定語義庫并不能滿足機(jī)械臂的控制要求。機(jī)械臂操作的難點(diǎn)在于姿態(tài)的控制。由于機(jī)械臂仿效人手的結(jié)構(gòu)進(jìn)行設(shè)計(jì)，那么用人手控制機(jī)械臂是一個(gè)很直觀的方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種靈活自然的一種基于視覺的機(jī)器人控制方法。為達(dá)上述目的，本發(fā)明采用如下的技術(shù)方案—種基于視覺的機(jī)器人控制方法，其特征在于，包括如下步驟Si、通過攝像機(jī)獲取人手手勢圖像；S2、提取手勢圖像中人手的特征點(diǎn)；S3、對特征點(diǎn)進(jìn)行三維重建，得到人手特征點(diǎn)在三維空間的位置關(guān)系；S4、把人手特征點(diǎn)對應(yīng)的坐標(biāo)點(diǎn)變換到機(jī)器人基坐標(biāo)下；S5、利用人手在機(jī)器人基坐標(biāo)系下的位姿關(guān)系進(jìn)行反解計(jì)算，得到機(jī)器人的關(guān)節(jié)角度；S6、利用計(jì)算得到的關(guān)節(jié)角度驅(qū)動(dòng)機(jī)器人運(yùn)動(dòng)。2、根據(jù)權(quán)利要求1所述的基于視覺的機(jī)器人控制方法，其特征在于，所述步驟Sl 包括根據(jù)雙目定位原理，在人手的上方安裝兩個(gè)攝像頭，實(shí)時(shí)捕捉人手運(yùn)動(dòng)圖像。上述基于視覺的機(jī)器人控制方法中，所述步驟S2包括根據(jù)人手圖像中人手特征的特點(diǎn)，通過特征點(diǎn)提取的方法進(jìn)行圖像處理，得到人手特征點(diǎn)的像素區(qū)域，然后提取人手特征區(qū)域的中心點(diǎn)作為人手特征點(diǎn)。在特征點(diǎn)提取中需要用到M位的(R，G，B)顏色模型，
5在RGB顏色模型中，所有顏色都可以由R，G，B三種顏色組成，不同的組合呈現(xiàn)不同的顏色。 為了能識(shí)別圖像中的特征點(diǎn)，利用紅顏色標(biāo)記手部的特征點(diǎn)，而黃色的手套是為了便于上色，下面給出特征點(diǎn)提取的具體顏色模型。假設(shè)圖像中像素i(i取正整數(shù))的值為(Ri, Gi, Bi),那么識(shí)別圖中紅色像素的模型為
權(quán)利要求
1.一種基于視覺的機(jī)器人控制方法，其特征在于，包括如下步驟51、通過攝像機(jī)獲取人手手勢圖像；52、提取手勢圖像中人手的特征點(diǎn)；53、對特征點(diǎn)進(jìn)行三維重建，得到人手特征點(diǎn)在三維空間的位置關(guān)系；54、把人手特征點(diǎn)對應(yīng)的坐標(biāo)點(diǎn)變換到機(jī)器人基坐標(biāo)下；55、利用人手在機(jī)器人基坐標(biāo)系下的位姿關(guān)系進(jìn)行反解計(jì)算，得到機(jī)器人的關(guān)節(jié)角度；56、利用計(jì)算得到的關(guān)節(jié)角度驅(qū)動(dòng)機(jī)器人運(yùn)動(dòng)。
2.根據(jù)權(quán)利要求1所述的基于視覺的機(jī)器人控制方法，其特征在于，所述步驟Sl包括 根據(jù)雙目定位原理，在人手的上方安裝兩個(gè)攝像頭，實(shí)時(shí)捕捉人手運(yùn)動(dòng)圖像。
3.根據(jù)權(quán)利要求1所述的基于視覺的機(jī)器人控制方法，其特征在于，所述步驟S2包括根據(jù)人手圖像中人手特征的特點(diǎn)，通過特征點(diǎn)提取的方法進(jìn)行圖像處理，得到人手特征點(diǎn)的像素區(qū)域，然后提取人手特征區(qū)域的中心點(diǎn)作為人手特征點(diǎn)；在特征點(diǎn)提取中需要用到 24位的RGB顏色模型，在RGB顏色模型中，所有顏色由R，G，B三種顏色組成，不同的組合呈現(xiàn)不同的顏色；為了能識(shí)別圖像中的特征點(diǎn)，利用紅顏色標(biāo)記手部的特征點(diǎn)，而黃色的手套是為了便于上色，下面給出特征點(diǎn)提取的具體顏色模型假設(shè)圖像中像素i的值為(Ri, Gi, Bi)，i取正整數(shù)，那么識(shí)別圖中紅色像素的模型為
4.根據(jù)權(quán)利要求1所述的基于視覺的機(jī)器人控制方法，其特征在于，所述步驟S3包括 在步驟S2中得到紅色標(biāo)記點(diǎn)在左右圖像中的位置，為了重建出標(biāo)記點(diǎn)的三維坐標(biāo)，采用雙目重建原理進(jìn)行三維重建，雙目定位深度計(jì)算
5.根據(jù)權(quán)利要求1所述的基于視覺的機(jī)器人控制方法，其特征在于，步驟S4包括包括以下步驟541、通過人手控制機(jī)器人的位置變化；542、通過人手控制機(jī)器人的姿態(tài)變化；543、人手姿態(tài)與機(jī)器人末端姿態(tài)進(jìn)行映射。
6.根據(jù)權(quán)利要求5所述的基于視覺的機(jī)器人控制方法，其特征在于，步驟S41包括 首先在初始化機(jī)械臂后，通過正解算法可以得到手抓末端的初始位置(Xp，yp, Zp)，接下來在攝像機(jī)拍攝范圍內(nèi)規(guī)定一個(gè)工作空間，人手只能在該工作空間運(yùn)動(dòng)，否則指令失效，然后再定義一個(gè)方向空間，方向空間與工作空間形成一個(gè)空隙，該空隙用于改變機(jī)械臂的位置
7.根據(jù)權(quán)利要求5所述的基于視覺的機(jī)器人控制方法，其特征在于，步驟S42包括 手抓末端的姿態(tài)與人手中拇指端、食指端和拇指根部與食指根部之間的凹槽點(diǎn)三點(diǎn)組成的姿態(tài)是一致的。
8.根據(jù)權(quán)利要求5所述的基于視覺的機(jī)器人控制方法，其特征在于，步驟S43包括 假設(shè)人手坐標(biāo)系與控制臺(tái)坐標(biāo)系的原點(diǎn)重合；變換矩陣為一個(gè)3X3的矩陣Μ，則在人手坐標(biāo)系中的一個(gè)點(diǎn)Α，變換到控制臺(tái)基坐標(biāo)系中為A'，有A' =MA, 其中
9.根據(jù)權(quán)利要求1所述的基于視覺的機(jī)器人控制方法，其特征在于，步驟S5包括包括以下步驟在Denavit-Hartenberg表示法中，Ai表示從坐標(biāo)系i_l到坐標(biāo)系i的齊次坐標(biāo)變換陣，i取正整數(shù)，有
10.根據(jù)權(quán)利要求1所述的基于視覺的機(jī)器人控制方法，其特征在于，步驟S6包括利用步驟S5計(jì)算得到η個(gè)關(guān)節(jié)角角度驅(qū)動(dòng)機(jī)器人運(yùn)動(dòng)，從而使得機(jī)器人末端達(dá)到期望位置。
全文摘要
本發(fā)明提供一種基于視覺的機(jī)器人控制方法，包括步驟(1)通過攝像機(jī)獲取人手手勢圖像；(2)提取手勢圖像中人手的特征點(diǎn)；(3)對特征點(diǎn)進(jìn)行三維重建，得到人手特征點(diǎn)在三維空間的位置關(guān)系；(4)把人手特征點(diǎn)對應(yīng)的坐標(biāo)點(diǎn)變換到機(jī)器人基坐標(biāo)下。(5)利用人手在機(jī)器人基坐標(biāo)系下的位姿關(guān)系進(jìn)行反解計(jì)算，得到機(jī)器人的關(guān)節(jié)角度；(6)利用計(jì)算得到的關(guān)節(jié)角度驅(qū)動(dòng)機(jī)器人運(yùn)行。本發(fā)明的優(yōu)點(diǎn)在于1)控制直觀，機(jī)器人手抓姿態(tài)直接對應(yīng)人手姿態(tài)；2)控制靈活，無需與繁重的交換工具接觸；3)利用虛擬現(xiàn)實(shí)技術(shù)可以輔助操作者更準(zhǔn)確更安全地進(jìn)行操作；4)允許中途中斷恢復(fù)或更換操作者；5)操作者無需大范圍走動(dòng)，減少操作者的操作壓力。
文檔編號(hào)B25J9/16GK102350700SQ20111027720
公開日2012年2月15日 申請日期2011年9月19日 優(yōu)先權(quán)日2011年9月19日
發(fā)明者張平, 杜廣龍 申請人:華南理工大學(xué)