專利名稱：基于Kinect攝像機的人機協(xié)作裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理和目標跟蹤技術(shù)，特別涉及一種安全的人機協(xié)作。
背景技術(shù)：
傳統(tǒng)的研究人機交接系統(tǒng)，主要是依靠參與者來配合機器人的工作，而且要求試驗者高度的集中精力，以免在實驗的過程中發(fā)生危險，這樣給試驗者帶來了很大的壓力。一般的跟蹤技術(shù)大都是基于二維圖片技術(shù)來的，以前大多數(shù)利用HMM方法來識別人手的動作，Weinland等在2007年將HMM方法和三維建模結(jié)合起來識別人的運動，由于上述是基于2維空間即使沒有干擾下精度也不是很高。Wu等在2007年利用RFID方法在試驗者手腕貼標簽的方法來跟蹤和識別。常用來進行目標檢測的方法主要有三種，包括背景相減法、光流計算法和幀差法。其中光流法的優(yōu)勢是在攝像機運動的情況下檢測出獨立運動的目標，但其抗噪性差且計算量較大，不適合實時處理；幀差法的優(yōu)勢是可以很好的適應(yīng)動態(tài)環(huán)境，但由于位置不準確，不能很好的提取出運動目標的所有相關(guān)點；傳統(tǒng)的背景相減法首先要在沒有目標出現(xiàn)的場景中提取一個背景模型，并保存為背景圖像，然后將當前幀與背景模型相減。如果象素值相減的結(jié)果大于某一特定值(即閾值)，則可確定該象素點是運動目標上的某點，否則屬于背景圖像。背景相減法得到的結(jié)果可以確定出目標的位置以及形狀等信息，然而此方法對外界環(huán)境比如光線、天氣等的變化比較敏感，同時容易受到目標運動過程陰影的影響。傳統(tǒng)的路徑規(guī)劃算法有多邊形擬合法、柵格法、人工勢場法、遺傳算法等。但這些方法都需要在個確定的空間內(nèi)對障礙物進行建模，計算復雜度與機器人自由度呈指數(shù)關(guān)系，不適合解決多自由度機器人在復雜環(huán)境中的規(guī)劃。新的基于快速擴展隨機樹(RRT)的路徑規(guī)劃算法，通過對狀態(tài)空間中 的采樣點進行碰撞檢測，避免了對空間的建模，能夠有效地解決高維空間和復雜約束的路徑規(guī)劃問題。該方法的特點是能夠快速有效地搜索高維空間，通過狀態(tài)空間的隨機采樣點，把搜索導向空白區(qū)域，從而尋找到一條從起始點到目標點的規(guī)劃路徑，適合解決多自由度機器人在復雜環(huán)境下和動態(tài)環(huán)境中的路徑規(guī)劃。但是，基于關(guān)節(jié)空間的RRT方法有以下的不足:1.基于關(guān)節(jié)空間的RRT法無法解決CP(Continue-path_problem,連續(xù)路徑問題)問題和準CT問題(quas1-continuoustrajectory problem,即僅部分限定末端執(zhí)行器的運動軌跡)。2.基于關(guān)節(jié)空間的RRT法無法預知機械臂末端執(zhí)行器運動軌跡，造成末端執(zhí)行器運動與關(guān)節(jié)運動分離，不利于任務(wù)的完成?？偟膩碚f，如果需要控制或者約束機械臂末端執(zhí)行器的運動軌跡，基于關(guān)節(jié)空間的RRT法是無能為力的
發(fā)明內(nèi)容
針對上述問題，本發(fā)明所涉及的一種基于KinecU 攝像機的人機協(xié)作的裝置及
其方法，可以精確的對空間位置進行定位，可通過人體骨骼的提取方法可以容易的獲取人體信息，可通過圖像計算中的聚類方法可以精確的得到目標物的位置信息，可利用基于工作空間的快速擴展隨機算法可以得到較好的壁障效果，可以為雙臂機器人協(xié)作打下基礎(chǔ)。本發(fā)明為了實現(xiàn)上述目的，可以使用以下方案:
本發(fā)明提供了一種與試驗員協(xié)作從而實現(xiàn)對目標物進行跟蹤和協(xié)作的人機協(xié)作裝置，其特征在于，具有:至少I個機械手，用于抓握目標物；至少I個機械臂，機械臂的底
部為基座，機械臂的末端安裝有機械手;至少I個Kinecti)攝像機，對空間位置進行立體
定位，采集彩色圖像信息、深度圖像信息和試驗員的骨骼信息；至少I個棋盤格，用于標定機械臂末端的位置；以及至少I臺計算機，其中，計算機用于處理彩色圖像信息、深度圖像信息和骨骼信息，處理空間位置的相互關(guān)系，實現(xiàn)對目標物進行跟蹤和與試驗員進行協(xié)作，計算機與機械臂通過控制器局域網(wǎng)絡(luò)總線連接，并且控制機械臂的運動與機械手的運動。本發(fā)明所涉及的人機協(xié)作裝置所實現(xiàn)的人機協(xié)作的方法，其特征在于，具有以下步驟:將基座的中心點作為三維空間坐標系的基準點建立基準坐標系，將末端作為中心點
建立末端坐標系；采用Kirmcl. 攝像機發(fā)射紅外激光，采集彩色圖像信息和深度圖像信息，然后對空間位置進行立體定位，從而建立以K inocU 攝像機為中心點的Rineet 攝像機坐標系；將棋盤格安裝在末端，采用Kineet 攝像機采集棋盤格的格點的彩色圖像信息和深度圖像信息,得到棋盤格在Kinect 攝像機坐標系的坐標位置，從而標定末端在Kineet 攝像機坐標系的坐標；采用Kinect+ 攝像機發(fā)射紅外激光識別目標物和試驗員的運動，Ki'nuct+ 攝像機將采集的骨骼信息，實現(xiàn)對目標物和試驗員的人體骨骼的跟蹤，
快速獲取試驗員的手腕位置，定位目標物的大致位置信息；采用Kinect 攝像機獲取目標
物周圍的彩色圖像信息和深度圖像信息，采用計算機基于目標物周圍的彩色圖像信息和深度圖像信息通過圖像處理技術(shù)中的聚類算法提取試驗員手中目標物的坐標位置信息；采用
計算機將基準坐標系,末端坐標系和Kinect 攝像機坐標系相互之間通過旋轉(zhuǎn)矩陣和平
移矩陣的方法統(tǒng)一到一個坐標系中；采用計算機根據(jù)末端相對于基準坐標系的坐標位置、姿態(tài)和速度關(guān)系，并根據(jù)平移矩陣，旋轉(zhuǎn)矩陣和速度矩陣的參數(shù)，精確控制機械臂的坐標位置、姿態(tài)、速度；采用計算機根據(jù)目標物的坐標位置，調(diào)整末端姿態(tài)使得機械手靠近目標物，并完成機械手對目標物的抓取。
在本發(fā)明所涉及的人機協(xié)作方法，計算機對機械臂的運動進行基于工作空間的快速擴展隨機樹路徑規(guī)劃算法，先確定機械臂末端的運動路徑，然后確定機械臂各個關(guān)節(jié)的運動路徑。發(fā)明效果本發(fā)明提供的人機協(xié)作的裝置及方法，其具有:機械臂，機械手，KinocU 攝像
機，棋盤格以及計算機。通過Kinect 攝像機可以對空間位置進行精確定位，并通過獲得
人體骨骼運動的節(jié)點和聚類的圖像處理技術(shù)，快速確定目標物的精確位置，解決了抗噪性差、計算量較大和定位不準確的問題，同時不容易受到目標物運動過程陰影的影響，利用基于工作空間的快速擴展隨機數(shù)路徑規(guī)劃算法，模擬了人的手臂的運動規(guī)律，適合解決多自由度機器人在復雜環(huán)境中的規(guī)劃。


圖1是人機協(xié)作裝置的示意圖。圖2是人機協(xié)作裝置中Power Cube模塊化機械臂通訊結(jié)構(gòu)圖。圖3是人機協(xié)作裝置中Barrett Hand機械手的外形及尺寸圖。圖4是人機協(xié)作裝置中Kinect, 及其圖像坐標系與各坐標系的變換關(guān)系圖。圖5是人機協(xié)作裝置中Kinect 人體骨骼檢測流程圖。圖6是8 X 8棋盤格標定示意圖。圖7是Kinect 人體骨骼檢測示意圖。圖8是基于工作空間的快速擴展隨機樹路徑規(guī)劃算法(RRT算法)節(jié)點擴展過程示意圖。具體實施方法以下結(jié)合附圖對本發(fā)明涉及的一種基于Kinect 攝像機的人機協(xié)作裝置及方法
的優(yōu)選實施例做詳細闡述，但本發(fā)明并不僅限于該實施例。為了使公眾對本發(fā)明有徹底的了解，在以下本發(fā)明優(yōu)選實施例中詳細說明了就具體的細節(jié)。圖1為人機協(xié)作裝置的示意圖。如圖1所示，本發(fā)明所涉及的人機協(xié)作裝置包括了Kinect 攝像機101，計算機
102，模塊化機械臂103，以及機械手104。在以Kinoct 攝像機為中心點建立了攝像機坐
標系，以位于機械臂底部的基座的中心為中心點建立基準坐標系，計算機通過控制器局域網(wǎng)絡(luò)總線(CAN)對機械臂的姿態(tài)，速度和運動軌跡進行規(guī)劃和控制。
圖2為人機協(xié)作裝置中Power Cube模塊化機械臂通訊結(jié)構(gòu)圖。如圖2所示，本發(fā)明所涉及的機械臂是德國Schunk公司開發(fā)并生產(chǎn)七自由度機械手臂，由7個完全獨立的PowerCube模塊組合而成，每一個關(guān)節(jié)模塊都是完全獨立的運動單元。所有的模塊都通過CAN總線與控制計算機相連，模塊之間采用串行通訊接口，這個接口傳遞所有的運動控制、參數(shù)設(shè)置以及監(jiān)控命令。采用CAN通訊可增加其抗干擾能力，而工控機一般只有PCI插槽，通過轉(zhuǎn)接卡可將CAN信號直接傳遞給工業(yè)控制計算機，電源系統(tǒng)采用自保護電路，提供驅(qū)動電源與邏輯電源。該計算機可以通過控制每個Power Cube模塊來實現(xiàn)對機械臂運動姿態(tài)、速度和運動軌跡進行規(guī)劃和控制。圖3為人機協(xié)作裝置中Barrett Hand機械手的外形及尺寸圖。如圖3所示，該機械手為美國Barrett Technology公司生產(chǎn)的BH8.280靈巧手，該靈巧手是一個可編程的多手指抓持器，功能強大，結(jié)構(gòu)緊湊，具有非常高的靈活性，可以抓取不同形狀、大小及姿態(tài)的目標物體，并且手指和手掌表面有壓力傳感器，可以用于目標物抓取好壞的判斷。圖4為人機協(xié)作裝置中Kinect 及其圖像坐標系與各坐標系的變換關(guān)系圖。如圖4所示，KInccI 攝像機是微軟公司推出的一款用于X-B0X360的體感攝像
機。使用Kinoct 攝像機，我們可以獲得一幅分辨率為640*480的RGB彩色圖像和一幅與
之對相應(yīng)的深度圖像。利用獲得的深度信息，我們可以通過轉(zhuǎn)換得到相應(yīng)環(huán)境的3D模型，此時的三維坐標系為世界坐標系E2，轉(zhuǎn)換后的三維坐標系如圖4，原點為攝像機所在位置，Z軸正方向為攝像機正前 方，為攝像機坐標系E2。KI nect 攝像機的標定及坐標系之間的轉(zhuǎn)換:由于Kinect 攝像機可安放在環(huán)
境中的任意位置，在環(huán)境中選擇一個坐標系來描述攝像機的位置，并用它描述環(huán)境中任何物體的位置，該坐標系稱為世界坐標系El。它由1&1 、71^1 、21 ￥1 軸組成。攝像機坐標系E2與世界坐標系El之間的關(guān)系可以用旋轉(zhuǎn)矩陣R與平移向量T來描述?？臻g中某一點P在世界坐標系與攝像機坐標系下的齊次坐標如果分別是X= (xw，yff, zff, I)τ與X= (X，y, z, 1)τ,于是存在如下關(guān)系:
卜] [.'▼ I, =[, T1 =MJ⑴
z L0 1J -卜其中，R為3X3正交單位矩陣；T為三維平移向量；0=(0，O, 0)τ ；Μ2為4X4矩陣。從世界坐標系El到圖像坐標系Ε5的完整變換可以分如下步驟進行:物點從世界坐標系El到攝像機三維坐標系Ε2的平移矩陣T和旋轉(zhuǎn)變換矩陣R中的外參數(shù)共有6個,它們是相應(yīng)于R的用歐拉角表示的側(cè)傾角Φ、俯仰角Θ、旋轉(zhuǎn)角滬,以及相應(yīng)于平移矢量T的三個分量Tx，Ty，Τζ。旋轉(zhuǎn)矩陣R可以表示為Φ、Θ、-的函數(shù)。
權(quán)利要求
1.一種與試驗員協(xié)作從而實現(xiàn)對目標物進行跟蹤和協(xié)作的人機協(xié)作裝置，其特征在于，具有: 至少I個機械手，用于抓握所述目標物； 至少I個機械臂，所述機械臂的底部為基座，所述機械臂的末端安裝有所述機械手； 至少I個Kinect 攝像機，對空間位置進行立體定位，采集彩色圖像信息、深度圖像信息和所述試驗員的骨骼信息； 至少I個棋盤格，用于標定所述末端的位置；以及 至少I臺計算機， 其中，所述計算機用于處理所述彩色圖像信息、所述深度圖像信息和所述骨骼信息，處理所述空間位置的相互關(guān)系，實現(xiàn)對所述目標物進行跟蹤和與所述試驗員進行協(xié)作，所述計算機與所述機械臂通過控制器局域網(wǎng)絡(luò)總線連接，并且控制所述機械臂的運動與所述機械手的運動。
2.一種用根據(jù)權(quán)利要求1所述的人機協(xié)作裝置實現(xiàn)人機協(xié)作的方法，其特征在于，具有以下步驟: 將所述基座的中心點作為三維空間坐標系的基準點建立基準坐標系，將所述末端作為中心點建立末端坐標系； 采用所述攝像機發(fā)射紅外激光，采集彩色圖像信息和深度圖像信息，然后對所述空間位置進行立體定位，從而建立以Kinecti)攝像機為中心點的Kinecti 攝像機坐標系； 將所述棋盤格安裝在所述末端，采用所述Kinect 攝像機采集所述棋盤格的格點的彩色圖像信息和深度圖像信息，得到所述棋盤格在所述KinccI 攝像機坐標系的坐標位置，從而標定所述末端在所述K incc I 攝像機坐標系的坐標； 采用所述Kinccl 攝像機發(fā)射紅外激光識別所述目標物和所述試驗員的運動，所述Kinecte攝像機將采集的所述骨骼信息，實現(xiàn)對所述目標物和所述試驗員的人體骨骼的跟蹤，快速獲取所述試驗員的手腕位置，定位所述目標物的大致位置信息； 采用所述Kinect 攝像機獲取所述目標物周圍的彩色圖像信息和深度圖像信息，采用所述計算機基于所述目標物周圍的彩色圖像信息和深度圖像信息通過圖像處理技術(shù)中的聚類算法提取所述試驗員手中所述目標物的坐標位置信息；采用所述計算機將所述基準坐標系，所述末端坐標系和所述Kinec I 攝像機坐標系相互之間通過旋轉(zhuǎn)矩陣和平移矩陣的方法統(tǒng)一到一個坐標系中； 采用所述計算機根據(jù)所述末端相對于所述基準坐標系的坐標位置、姿態(tài)和速度關(guān)系，并根據(jù)平移矩陣，旋轉(zhuǎn)矩陣和速度矩陣的參數(shù)，精確控制所述機械臂的坐標位置、姿態(tài)、速度； 采用所述計算機根據(jù)所述目標物的坐標位置，調(diào)整所述末端姿態(tài)使得所述機械手靠近所述目標物，并完成所述機械手對所述目標物的抓取。
3.根據(jù)權(quán)利要求2所述的人機協(xié)作方法，其特征在于: 所述計算機對所述機械臂的運動進行基于工作空間的快速擴展隨機樹路徑規(guī)劃算法，先確定所述機械臂 末端的運動路徑，然后確定所述機械臂各個關(guān)節(jié)的運動路徑。
全文摘要
本發(fā)明主要基于近期微軟公司推出的一款Kinect 的體感攝像機，來實現(xiàn)人體目標的檢測和跟蹤，本文利用Kinect 的人體骨架檢測技術(shù)能精確判斷出目標物的位置以及試驗者的意圖，避免交接時候出現(xiàn)危險，而且提出了基于工作空間的RRT算法來實現(xiàn)路徑規(guī)劃。通過反復試驗驗證本系統(tǒng)可以安全的進行人際交接。
文檔編號B25J9/16GK103170973SQ20131010325
公開日2013年6月26日 申請日期2013年3月28日 優(yōu)先權(quán)日2013年3月28日
發(fā)明者黃誠, 胡彩虹, 賀波, 許偉明, 張磊, 朱記全, 邱展輝, 張大慶 申請人:上海理工大學