一種基于Kinect的無(wú)標(biāo)定人機(jī)交互控制系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于信息無(wú)障礙工程技術(shù)領(lǐng)域，具體地說，涉及一種基于Kinect的無(wú)標(biāo)定 人機(jī)交互控制系統(tǒng)及方法。
【背景技術(shù)】
[0002] 主從遙操作機(jī)械臂控制系統(tǒng)廣泛應(yīng)用于核反應(yīng)堆維護(hù)、載人航天、醫(yī)療手術(shù)的模 擬訓(xùn)練等高危險(xiǎn)性作業(yè)中，手部是人體最常用的一個(gè)部位。因此，實(shí)現(xiàn)機(jī)械臂跟隨手部運(yùn)動(dòng) 可以很大程度上提高了人的感知能力和行為能力。研宄手部的各種運(yùn)動(dòng)，手部與機(jī)械臂的 交互方式，具有重要的理論意義和現(xiàn)實(shí)意義。
[0003] 目前，現(xiàn)有的手部跟蹤定位技術(shù)主要有兩種，基于數(shù)據(jù)手套技術(shù)和基于圖像視覺 處理的手勢(shì)識(shí)別。數(shù)據(jù)手套技術(shù)由于本身及其電路連線較為笨重，不方便使用，加上價(jià)格昂 貴等因素限制了其應(yīng)用。Weinland等人提出將3D建模和HMM方法識(shí)別人手的運(yùn)動(dòng)。Liu 等利用RFID方法在試驗(yàn)者手腕處貼標(biāo)簽的方法來(lái)跟蹤和識(shí)別手部狀態(tài)，這種方法可以確 定試驗(yàn)者的手腕位置。但是，彩色圖像容易受光照條件影響，而且傳統(tǒng)的基于視覺的運(yùn)動(dòng)目 標(biāo)跟蹤需要對(duì)攝像頭內(nèi)外參數(shù)進(jìn)行標(biāo)定，但在實(shí)際情況下無(wú)法精確標(biāo)定。

【發(fā)明內(nèi)容】

[0004] 為了克服現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明提供一種基于Kinect的無(wú)標(biāo)定人機(jī)交 互控制系統(tǒng)及方法，Kinect是一臺(tái)體感攝像機(jī)，可以在獲取的每一幀深度圖像上進(jìn)行背景 相減獲得人體各關(guān)節(jié)3D坐標(biāo)，即人體骨骼信息，并從人體骨骼信息中無(wú)標(biāo)定獲取人手的位 置信息。鑒于此，本發(fā)明利用Kinect骨骼追蹤技術(shù)獲取人手運(yùn)動(dòng)信息，并構(gòu)建其與機(jī)械臂 的運(yùn)動(dòng)映射關(guān)系，就它們之間的主從控制方式進(jìn)行研宄。其技術(shù)方案如下：
[0005] 一種基于Kinect的無(wú)標(biāo)定人機(jī)交互控制系統(tǒng)，主要有四部分構(gòu)成包括操作者、 Kinect傳感器，計(jì)算機(jī)軟件系統(tǒng)和機(jī)械臂控制系統(tǒng)，其中操作者處于Kinect的工作空間 內(nèi)，Kinect通過USB數(shù)據(jù)線計(jì)算機(jī)系統(tǒng)連接，機(jī)械臂控制系統(tǒng)通過RS232與計(jì)算機(jī)系統(tǒng)連 接，整個(gè)系統(tǒng)主要包含四大功能模塊，分別是人體深度圖像信息獲取模塊、人體骨骼點(diǎn)追蹤 模塊、逆運(yùn)動(dòng)學(xué)分析模塊和下位機(jī)通訊模塊，人體深度圖像信息獲取模塊主要由Kinect傳 感器完成，它以每秒30幀的速度把深度圖像傳送給計(jì)算機(jī)系統(tǒng)；人體骨骼點(diǎn)追蹤模塊由計(jì) 算機(jī)軟件系統(tǒng)完成，主要完成的工作包括圖像預(yù)處理、人體關(guān)節(jié)點(diǎn)識(shí)別和骨骼數(shù)據(jù)的平滑 處理；逆運(yùn)動(dòng)學(xué)計(jì)算模塊主要工作包括人手相對(duì)于自身髖骨中心的運(yùn)動(dòng)與機(jī)械臂相對(duì)于基 座運(yùn)動(dòng)之間的映射轉(zhuǎn)換以及機(jī)械臂逆運(yùn)動(dòng)學(xué)分析與求解；下位機(jī)通訊模塊主要完成控制指 令的生成、規(guī)范指令格式和指令的收發(fā)工作。
[0006] 優(yōu)選地，為了保證系統(tǒng)的實(shí)時(shí)性，深度圖像采用640*480的分辨率，幀率為30f/s; 為了保證深度距離的準(zhǔn)確性，操作者應(yīng)處于傳感器光軸左右57°，上下43°的工作范圍， 同時(shí)使用了閾值方法過濾深度數(shù)據(jù)至1220mm-3810mm這一范圍內(nèi)。
[0007] 一種基于Kinect的無(wú)標(biāo)定人機(jī)交互控制方法，包括以下步驟：
[0008] 第一步：人體深度圖像信息獲?。?br>[0009] 第二步：圖像預(yù)處理、人體關(guān)節(jié)點(diǎn)識(shí)別和骨骼數(shù)據(jù)的平滑處理；
[0010] 第三步：人手相對(duì)于自身髖骨中心的運(yùn)動(dòng)與機(jī)械臂相對(duì)于基座運(yùn)動(dòng)之間的映射轉(zhuǎn) 換以及機(jī)械臂逆運(yùn)動(dòng)學(xué)分析與求解；
[0011] 第四步：控制指令的生成、規(guī)范指令格式和指令的收發(fā)。
[0012] 本發(fā)明的有益效果：
[0013] 本發(fā)明是一種新型的人機(jī)交互方式，利用Kinect傳感器骨骼追蹤技術(shù)處理景深 數(shù)據(jù)獲取手部位置，構(gòu)建手部相對(duì)于髖骨中心與末端執(zhí)行器相對(duì)于機(jī)械臂基座的運(yùn)動(dòng)映射 關(guān)系進(jìn)行主從控制，實(shí)現(xiàn)人手與機(jī)器臂的實(shí)時(shí)交互。并針對(duì)手部抖動(dòng)消除和異常值處理，提 出了一種基于位置增量的移動(dòng)平均軌跡平滑算法。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)能夠很好的完成手 部跟蹤和主從控制任務(wù)，具有較高的實(shí)時(shí)性和交互性。
【附圖說明】
[0014] 圖1是基于Kinect的無(wú)標(biāo)定人機(jī)交互控制系統(tǒng)的框架圖；
[0015] 圖2是基于Kinect的無(wú)標(biāo)定人機(jī)交互控制方法的流程圖；
[0016] 圖3是人體20個(gè)骨骼關(guān)節(jié)點(diǎn)的定義；
[0017] 圖4是末端平滑處理實(shí)現(xiàn)過程；
[0018] 圖5是五軸機(jī)械臂連桿坐標(biāo)系。
【具體實(shí)施方式】
[0019] 下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步詳細(xì)地說明。
[0020] 1系統(tǒng)框架
[0021] 系統(tǒng)框圖如下圖1所示：
[0022] 人體深度圖像信息獲取主要由Kinect傳感器2完成。計(jì)算機(jī)軟件系統(tǒng)3運(yùn)用骨 骼追蹤技術(shù)處理獲取的景深數(shù)據(jù)，建立人體20個(gè)骨骼點(diǎn)的3D坐標(biāo)。機(jī)械臂控制系統(tǒng)4獲 取計(jì)算機(jī)系統(tǒng)轉(zhuǎn)換發(fā)出的控制指令，控制末端執(zhí)行器跟隨手部運(yùn)動(dòng)，實(shí)現(xiàn)人手對(duì)機(jī)械臂末 端執(zhí)行器的實(shí)時(shí)引導(dǎo)。其中操作者1處于Kinect的工作空間內(nèi).
[0023] 2獲取手部信息及主從控制方法
[0024] 2.IKinect簡(jiǎn)介
[0025] Kinect是微軟公司開發(fā)的一款能夠?qū)崟r(shí)獲取彩色圖像和深度圖像數(shù)據(jù)的設(shè)備，同 時(shí)支持實(shí)時(shí)的全身和半身骨骼跟蹤模式，并可以識(shí)別一系列的動(dòng)作。它由RGB彩色攝像頭、 紅外線發(fā)射器和紅外線COMS攝像機(jī)（IR)三部分組成。
[0026] 2. 2人體檢測(cè)及手部信息的獲取
[0027] 本發(fā)明主從控制系統(tǒng)中，一個(gè)關(guān)鍵技術(shù)就是人手位姿的精確獲取。目前運(yùn)動(dòng)目標(biāo) 檢測(cè)和跟蹤常用的方法有：幀間差分法、光流法和背景差分法。光流法的缺點(diǎn)是需要多次迭 代才可以收斂，計(jì)算量大，難以滿足實(shí)時(shí)性要求；幀差法的問題是前后幀運(yùn)動(dòng)重疊的區(qū)域會(huì) 有空洞產(chǎn)生，檢測(cè)效果不精確，而且閾值的選擇對(duì)結(jié)果影響較大，閾值過大會(huì)形成空洞，閾 值過小則會(huì)產(chǎn)生噪聲。傳統(tǒng)的背景差分法通過建立背景模型，將當(dāng)前幀圖像與背景模型相 減，可以確定目標(biāo)的位置以及形狀信息。然而彩色圖像易受光照變化、復(fù)雜背景的影響，導(dǎo) 致目標(biāo)追蹤困難以及分割不精確。有一些學(xué)者利用Kinect生成的深度圖像上進(jìn)行背景相 減，得到了分割化的人體深度圖像，取得很好的效果。為此，作者提出了一種利用Kinect人 體骨骼追蹤技術(shù)非接觸獲取人手運(yùn)動(dòng)信息的方法，具體過程是：將分割化的人體深度圖像 傳送到辨別人體部位的動(dòng)作捕捉機(jī)器學(xué)習(xí)系統(tǒng)中，利用隨機(jī)森林的分類方法設(shè)計(jì)了身體組 件的中間表示，將姿勢(shì)估計(jì)問題映射為逐像素分類問題。通過重投影分類器（身體組件估 計(jì)）的結(jié)果，生成人體關(guān)節(jié)的可信3D估計(jì)。處理流程的最后根據(jù)追蹤到的20個(gè)關(guān)節(jié)點(diǎn)構(gòu) 建人體骨架系統(tǒng)，圖3顯示對(duì)骨骼點(diǎn)的定義。獲取人體骨骼數(shù)據(jù)后，很容易得到人手相對(duì)于 自身髖骨中心的位置信息。
[0028] 本方法省去復(fù)雜的攝像頭標(biāo)定過程，相對(duì)于通過攝像頭標(biāo)定獲取手部位置方法能 夠獲得精度較高的手部位置信息。
[0029] 2. 3坐標(biāo)數(shù)據(jù)平滑處理
[0030] 由于Kinect硬件的性能不穩(wěn)定、操作者動(dòng)作不夠連貫等問題，通過上述方法估計(jì) 骨骼關(guān)節(jié)點(diǎn)的相對(duì)位置可能在幀與幀之間變動(dòng)很大，骨骼數(shù)據(jù)序列中可能含有異常值。因 此，在進(jìn)行逆運(yùn)動(dòng)學(xué)求解前必須要先對(duì)異常值予以識(shí)別和剔除，并且對(duì)骨骼數(shù)據(jù)進(jìn)行降噪 和平滑處理。
[0031] 移動(dòng)平均軌跡平滑算法的原理是將當(dāng)前時(shí)刻的人手位置信息與前N-1個(gè)采樣周 期內(nèi)的人手位置信息的平均值作為當(dāng)前時(shí)刻的主從控制位置信息，并按照時(shí)間序列以步長(zhǎng) N對(duì)Kinect采集到的位置信息進(jìn)行逐項(xiàng)推移，最終得到整個(gè)主從控制過程中期望的位置 值，實(shí)現(xiàn)對(duì)從機(jī)械臂末端位置的控制。該算法可以濾除周期性的變動(dòng)對(duì)位置曲線平滑性的 影響，軌跡平滑處理的實(shí)現(xiàn)過程如圖4所示。
[0032] 移動(dòng)平均軌跡平滑處理算法在消除人手周期性抖動(dòng)及其他隨機(jī)干擾的同時(shí)，也有 可能會(huì)濾除操作者期望的位置操作信息。為了在消除人手抖動(dòng)的同時(shí)，盡可能保留操作者 期望的位置信息，本發(fā)明在移動(dòng)平滑算法的基礎(chǔ)上提高當(dāng)前位置信息在平滑處理后位置中 所占的權(quán)重。假定軌跡平滑處理算法的時(shí)間平移步長(zhǎng)為N，i為當(dāng)前位置信息在規(guī)劃位置信 息中的權(quán)重，則當(dāng)k多N時(shí)，k時(shí)刻的規(guī)劃位置可由下式計(jì)算獲得：
[0033]
【主權(quán)項(xiàng)】
1. 一種基于Kinect的無(wú)標(biāo)定人機(jī)交互控制系統(tǒng)，其特征在于：主要有四部分構(gòu)成包 括操作者、Kinect傳感器，計(jì)算機(jī)軟件系統(tǒng)和機(jī)械臂控制系統(tǒng)；其中操作者處于Kinect的 工作空間內(nèi)，Kinect通過USB數(shù)據(jù)線計(jì)算機(jī)系統(tǒng)連接，機(jī)械臂控制系統(tǒng)通過RS232與計(jì)算 機(jī)系統(tǒng)連接；整個(gè)系統(tǒng)主要包含四大功能模塊，分別是人體深度圖像信息獲取模塊、人體骨 骼點(diǎn)追蹤模塊、逆運(yùn)動(dòng)學(xué)分析模塊和下位機(jī)通訊模塊；人體深度圖像信息獲取模塊主要由 Kinect傳感器完成，它以每秒30幀的速度把深度圖像傳送給計(jì)算機(jī)系統(tǒng)；人體骨骼點(diǎn)追蹤 模塊由計(jì)算機(jī)軟件系統(tǒng)完成，主要完成的工作包括圖像預(yù)處理、人體關(guān)節(jié)點(diǎn)識(shí)別和骨骼數(shù) 據(jù)的平滑處理；逆運(yùn)動(dòng)學(xué)計(jì)算模塊主要工作包括人手相對(duì)于自身髖骨中心的運(yùn)動(dòng)與機(jī)械臂 相對(duì)于基座運(yùn)動(dòng)之間的映射轉(zhuǎn)換以及機(jī)械臂逆運(yùn)動(dòng)學(xué)分析與求解；下位機(jī)通訊模塊主要完 成控制指令的生成、規(guī)范指令格式和指令的收發(fā)工作。
2. 根據(jù)權(quán)利要求1所述的基于Kinect的無(wú)標(biāo)定人機(jī)交互控制系統(tǒng)，其特征在于：所 述深度圖像采用640*480的分辨率，幀率為30f/s ;為了保證深度距離的準(zhǔn)確性，操作者 應(yīng)處于傳感器光軸左右57°，上下43°的工作范圍，同時(shí)使用了閾值方法過濾深度數(shù)據(jù) 1 220mm-381 Omm 這一范圍內(nèi)。
3. -種基于Kinect的無(wú)標(biāo)定人機(jī)交互控制方法，其特征在于，包括以下步驟： 第一步：人體深度圖像信息獲?。? 第二步：圖像預(yù)處理、人體關(guān)節(jié)點(diǎn)識(shí)別和骨骼數(shù)據(jù)的平滑處理； 第三步：人手相對(duì)于自身髖骨中心的運(yùn)動(dòng)與機(jī)械臂相對(duì)于基座運(yùn)動(dòng)之間的映射轉(zhuǎn)換以 及機(jī)械臂逆運(yùn)動(dòng)學(xué)分析與求解； 第四步：控制指令的生成、規(guī)范指令格式和指令的收發(fā)。
【專利摘要】本發(fā)明公開了一種基于Kinect的無(wú)標(biāo)定人機(jī)交互控制系統(tǒng)及方法，該系統(tǒng)包括人體骨骼信息獲取、計(jì)算機(jī)軟件系統(tǒng)、機(jī)械臂，人體深度圖像信息獲取主要由Kinect傳感器完成。計(jì)算機(jī)軟件系統(tǒng)運(yùn)用骨骼追蹤技術(shù)處理獲取的景深數(shù)據(jù)，建立人體20個(gè)骨骼點(diǎn)的3D坐標(biāo)。機(jī)械臂的控制系統(tǒng)獲取計(jì)算機(jī)系統(tǒng)轉(zhuǎn)換發(fā)出的控制指令，控制末端執(zhí)行器跟隨手部運(yùn)動(dòng)，實(shí)現(xiàn)人手對(duì)機(jī)械臂末端執(zhí)行器的實(shí)時(shí)引導(dǎo)。本發(fā)明構(gòu)建手部相對(duì)于髖骨中心與末端執(zhí)行器相對(duì)于機(jī)械臂基座的運(yùn)動(dòng)映射關(guān)系進(jìn)行主從控制，實(shí)現(xiàn)人手與機(jī)器臂的實(shí)時(shí)交互。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)能夠很好的完成手部跟蹤和主從控制任務(wù)，具有較高的實(shí)時(shí)性和交互性。
【IPC分類】G05D3-12, G05B13-04
【公開號(hào)】CN104570731
【申請(qǐng)?zhí)枴緾N201410733412
【發(fā)明人】林海波, 王浩, 張毅, 羅元, 譚帥, 周庭
【申請(qǐng)人】重慶郵電大學(xué), 林海波
【公開日】2015年4月29日
【申請(qǐng)日】2014年12月4日