本發(fā)明涉及智能控制技術領域，具體而言，涉及一種語義式人機自然交互控制方法及系統(tǒng)。

背景技術：

手勢識別技術是新一代自然人機交互的一項關鍵技術，相對于傳統(tǒng)的鼠標，鍵盤等接觸式的操作方式，手勢具有自然直觀、容易理解、操作簡單、體驗性好等優(yōu)點，更加符合人類日常交流習慣，手勢識別已經(jīng)成為人機交互方案的研究熱點。手勢作為一門自然、方便的語言，在情感上和實用性上都非常適合用于人機交互。手勢識別技術的研究意義在于將手勢這種自然且直觀的交流方式應用到人機交互的接口技術上，使得人機接口更加接近于人類的使用習慣，進而使得人機交互變得更自然方便。隨著機器人控制技術的發(fā)展，人與機器人之間的交互活動變得越來越普遍。利用手勢來控制機器人可方便地操縱機器人，向機器人發(fā)布命令，與機器人進行交互。

手勢是指人手產(chǎn)生的各種姿勢和動作，廣義的手勢可分為兩種，一種為由連續(xù)手部動作組成的動態(tài)手勢，另一種為靜態(tài)的手部姿勢。靜態(tài)手勢識別考慮某個時間點上手勢的外形特征，動態(tài)手勢關注一段時間內(nèi)手部及手臂的一系列動作，增加了時間信息和動作特征。研究靜態(tài)手勢對于理解分析動態(tài)手勢具有重要的意義。由于動態(tài)手勢的識別可以歸結為幾個靜態(tài)姿勢識別的綜合，所以兩種手勢識別的過程和方法基本一致。但是，動態(tài)手勢的識別需要考慮時間、空間等因素，即不同因素會造成手勢軌跡在時間上的非線性波動，因此，動態(tài)手勢識別必須考慮如何消除這些波動的影響，比靜態(tài)手勢識別更富有技術挑戰(zhàn)性。

目前，國外雖然目前已有許多肌電傳感器(EMG)信號識別的研究結果，但絕大多數(shù)研究，僅能識別靜態(tài)手勢，無法識別動態(tài)手勢。造成這種局面的主要原因是沒有將EMG信號與手臂的宏觀運動狀態(tài)相結合識別。在國內(nèi)，對基于手勢的人機自然交互控制主要采用數(shù)據(jù)手套的交互方式或采用外部攝像頭結合Kinect組件的交互方式。在采用數(shù)據(jù)手套對手勢進行識別方面，哈爾濱工業(yè)大學的吳江琴等在中國手語研究中，使用18個傳感器的Cyber Glover數(shù)據(jù)手套，結合人工神經(jīng)網(wǎng)絡，但這只對部分手語動作進行了識別。在采用外部攝像頭結合Kinect組件的手勢識別方面，上海海事大學、蘭州理工大學、北京交通大學、浙江大學、哈爾濱工業(yè)大學、華中師范大學也只對靜態(tài)手勢進行了識別。另外，現(xiàn)有的人機交互識別中，對手勢的編碼可靠性不高，容易存在誤觸發(fā)。

無人機是目前智能控制領域研究的熱點，具有成本低廉、可垂直起降、易于操控等優(yōu)點，在搜索、救援、測繪、農(nóng)業(yè)、航拍等領域具有廣闊的應用前景。研究操控者與無人機之間的人機交互具有良好的應用前景。

技術實現(xiàn)要素：

為解決上述問題，本發(fā)明的目的在于提供一種語義式人機自然交互控制方法及系統(tǒng)，可識別動態(tài)手勢，并且識別可靠性高，能準確實現(xiàn)對無人機的實時交互控制。

本發(fā)明提供了一種語義式人機自然交互控制方法，該方法包括：

步驟1，根據(jù)被控裝備的控制模態(tài)，通過操控者的手勢對這些控制模態(tài)進行表示，建立操控者手勢庫與被控裝備控制指令庫對應的映射關系；

步驟2，采集操控者佩戴的肌電傳感器和慣導傳感器的信息，并融合肌電傳感器和慣導傳感器的傳感數(shù)據(jù)，獲取操控者的手勢信息，實現(xiàn)對操控者手勢的識別；

步驟3，根據(jù)步驟1中的映射關系，將步驟2中識別的手勢信息轉(zhuǎn)化成對所述被控裝備的控制指令；

步驟4，將步驟3中的控制指令通過無線網(wǎng)絡傳輸給所述被控裝備，實現(xiàn)對所述被控裝備的實時控制。

作為本發(fā)明進一步的改進，步驟1中，所述被控裝備的控制模態(tài)分為基本控制、復合控制、任務控制；

其中，

所述基本控制是指對所述被控裝備實現(xiàn)最常用狀態(tài)的控制，采用符合人類表述習慣的基本手勢直接對這些最常用狀態(tài)進行表示，其中，最常用狀態(tài)包括起飛、降落、前進、后退、返航、左轉(zhuǎn)彎、右轉(zhuǎn)彎，對應的基本手勢為左手手背向上平抬、左手手背向上平降、左手手背正對操控者向前平推、左手手背正對操控者向后收回、左手手掌正對操控者向前揮動、左手食指逆時針轉(zhuǎn)動、左手食指順時針轉(zhuǎn)動；

所述復合控制是指對所述被控裝備實現(xiàn)定量狀態(tài)的控制，采用基本手勢+表示數(shù)字的手勢的組合手勢對這些定量狀態(tài)進行表示，其中，定量狀態(tài)包括以某一速度起飛、降落、前進、后退、返航，或以某一角度左轉(zhuǎn)彎、右轉(zhuǎn)彎，對應的組合手勢為左手手背向上平抬+右手手指指示速度數(shù)字、左手手背向上平降+右手手指指示速度數(shù)字、左手手背正對操控者向前平推+右手手指指示速度數(shù)字、左手手背正對操控者向后收回+右手手指指示速度數(shù)字、左手手掌正對操控者向前揮動+右手手指指示速度數(shù)字，或左手食指逆時針轉(zhuǎn)動+右手手指指示轉(zhuǎn)動角度數(shù)字、左手食指順時針轉(zhuǎn)動+右手手指指示轉(zhuǎn)動角度數(shù)字；

所述任務控制是指對所述被控裝備實現(xiàn)某項具體任務的執(zhí)行狀態(tài)的控制，采用約定手勢+表示確認的手勢的組合手勢對這些執(zhí)行狀態(tài)進行表示，其中，執(zhí)行狀態(tài)包括火力打擊，對應的組合手勢為左手拇指食指比劃打槍+右手握拳向下。

作為本發(fā)明進一步的改進，步驟2具體包括：

步驟201，通過操控者身上安裝的多路電極，分別采集左右手臂上的肌電傳感器的電流信號，并通過信號處理和運算，提取操控者雙手的手指、手掌、手腕和手臂在小范圍內(nèi)的運動狀態(tài)信息；

步驟202，采集所述慣導傳感器的加速度信號和角速度信號，通過信號處理和運算，提取操控者雙手的手指、手掌、手腕和手臂在大范圍內(nèi)的運動狀態(tài)信息；

步驟203，融合步驟201和步驟202提取的運動狀態(tài)信息，實現(xiàn)對操控者手勢的識別。

作為本發(fā)明進一步的改進，還包括：

通過震動的方式反饋被控裝備的重要狀態(tài)信息，根據(jù)狀態(tài)信息的重要等級給操控者以不同的震動觸覺反饋，并將這種狀態(tài)信息和振動模式的映射歸入步驟1中的映射關系庫；

在需要對被控裝備進行重要狀態(tài)的操控時，操控者啟動相應的震動模式，將震動信息轉(zhuǎn)化成對所述被控裝備的控制指令，并將該控制指令傳輸給所述被控裝備，實現(xiàn)對所述被控裝備的實時控制。

本發(fā)明還提供了一種語義式人機自然交互控制系統(tǒng)，該系統(tǒng)包括：

交互編碼模塊，根據(jù)被控裝備的控制模態(tài)，通過操控者的手勢對這些控制模態(tài)進行表示，建立操控者手勢庫與被控裝備控制指令庫對應的映射關系；

采集處理模塊，采集操控者佩戴的肌電傳感器和慣導傳感器的信息，并融合肌電傳感器和慣導傳感器的傳感數(shù)據(jù)，獲取操控者的手勢信息，實現(xiàn)對操控者手勢的識別；

實時解碼模塊，根據(jù)所述交互編碼模塊中的映射關系，將所述采集處理模塊中識別的手勢信息轉(zhuǎn)化成對所述被控裝備的控制指令；

無線傳輸模塊，將所述實時解碼模塊中的控制指令通過無線網(wǎng)絡傳輸給所述被控裝備，實現(xiàn)對所述被控裝備的實時控制。

作為本發(fā)明進一步的改進，所述交互編碼模塊中，所述被控裝備的控制模態(tài)分為基本控制、復合控制、任務控制；

其中，

所述基本控制是指對所述被控裝備實現(xiàn)最常用狀態(tài)的控制，采用符合人類表述習慣的基本手勢直接對這些最常用狀態(tài)進行表示，其中，最常用狀態(tài)包括起飛、降落、前進、后退、返航、左轉(zhuǎn)彎、右轉(zhuǎn)彎，對應的基本手勢為左手手背向上平抬、左手手背向上平降、左手手背正對操控者向前平推、左手手背正對操控者向后收回、左手手掌正對操控者向前揮動、左手食指逆時針轉(zhuǎn)動、左手食指順時針轉(zhuǎn)動；

所述復合控制是指對所述被控裝備實現(xiàn)定量狀態(tài)的控制，采用基本手勢+表示數(shù)字的手勢的組合手勢對這些定量狀態(tài)進行表示，其中，定量狀態(tài)包括以某一速度起飛、降落、前進、后退、返航，或以某一角度左轉(zhuǎn)彎、右轉(zhuǎn)彎，對應的組合手勢為左手手背向上平抬+右手手指指示速度數(shù)字、左手手背向上平降+右手手指指示速度數(shù)字、左手手背正對操控者向前平推+右手手指指示速度數(shù)字、左手手背正對操控者向后收回+右手手指指示速度數(shù)字、左手手掌正對操控者向前揮動+右手手指指示速度數(shù)字，或左手食指逆時針轉(zhuǎn)動+右手手指指示轉(zhuǎn)動角度數(shù)字、左手食指順時針轉(zhuǎn)動+右手手指指示轉(zhuǎn)動角度數(shù)字；

所述任務控制是指對所述被控裝備實現(xiàn)某項具體任務的執(zhí)行狀態(tài)的控制，采用約定手勢+表示確認的手勢的組合手勢對這些執(zhí)行狀態(tài)進行表示，其中，執(zhí)行狀態(tài)包括火力打擊，對應的組合手勢為左手拇指食指比劃打槍+右手握拳向下。

作為本發(fā)明進一步的改進，采集處理模塊包括：

肌電傳感器采集處理模塊，通過操控者身上安裝的多路電極，分別采集左右手臂上的肌電傳感器的電流信號，并通過信號處理和運算，提取操控者雙手的手指、手掌、手腕和手臂在小范圍內(nèi)的運動狀態(tài)信息；

慣導傳感器采集處理模塊，采集所述慣導傳感器的加速度信號和角速度信號，通過信號處理和運算，提取操控者雙手的手指、手掌、手腕和手臂在大范圍內(nèi)的運動狀態(tài)信息；

融合處理模塊，融合肌電傳感器采集處理模塊和慣導傳感器采集處理模塊提取的運動狀態(tài)信息，實現(xiàn)對操控者手勢的識別。

作為本發(fā)明進一步的改進，還包括觸覺反饋模塊，通過震動的方式反饋被控裝備的重要狀態(tài)信息，根據(jù)狀態(tài)信息的重要等級給操控者以不同的震動觸覺反饋，并將這種狀態(tài)信息和振動模式的映射歸入交互編碼模塊中的映射關系庫，在需要對被控裝備進行重要狀態(tài)的操控時，操控者啟動相應的震動模式，將震動信息轉(zhuǎn)化成對所述被控裝備的控制指令，并將該控制指令傳輸給所述被控裝備，實現(xiàn)對所述被控裝備的實時控制。

本發(fā)明的有益效果為：

1、通過手臂表面的肌肉電流信號可精確識別小范圍內(nèi)的雙手手指、手掌、手腕和手臂的運動姿態(tài)；

2、通過慣導傳感器的加速度信號和角速度信號可精確識別大范圍內(nèi)的雙手手指、手掌、手腕和手臂的運動姿態(tài)；

3、建立了符合人類表述習慣的映射關系，這種編碼的方式形象、簡單、便捷、可靠性高，誤觸發(fā)率低，提高了對被控設備的控制準確度和可靠度。

附圖說明

圖1為本發(fā)明實施例所述的一種語義式人機自然交互控制方法的流程示意圖；

圖2為本發(fā)明實施例所述的一種語義式人機自然交互控制系統(tǒng)的結構示意圖。

具體實施方式

下面通過具體的實施例并結合附圖對本發(fā)明做進一步的詳細描述。

實施例1，如圖1所示，本發(fā)明實施例的一種語義式人機自然交互控制方法，該方法包括：

步驟1，根據(jù)被控裝備的控制模態(tài)，通過操控者的手勢對這些控制模態(tài)進行表示，建立操控者手勢庫與被控裝備控制指令庫對應的映射關系。

其中，被控裝備的控制模態(tài)分為基本控制、復合控制、任務控制。

基本控制是指對被控裝備實現(xiàn)最常用狀態(tài)的控制，采用符合人類表述習慣的基本手勢直接對這些最常用狀態(tài)進行表示，這種表示形象、簡單、便捷。其中，被控裝備為無人機時，其最常用狀態(tài)包括起飛、降落、前進、后退、返航、左轉(zhuǎn)彎、右轉(zhuǎn)彎，操控者對應控制的基本手勢為左手手背向上平抬、左手手背向上平降、左手手背正對操控者向前平推、左手手背正對操控者向后收回、左手手掌正對操控者向前揮動、左手食指逆時針轉(zhuǎn)動、左手食指順時針轉(zhuǎn)動。例如，控制無人機降落時，操控者的左手手背朝上并且左手整體向下降落。

復合控制是指對被控裝備實現(xiàn)定量狀態(tài)的控制，采用基本手勢+表示數(shù)字的手勢的組合手勢對這些定量狀態(tài)進行表示，其中，定量狀態(tài)包括以某一速度起飛、降落、前進、后退、返航，或以某一角度左轉(zhuǎn)彎、右轉(zhuǎn)彎，對應的組合手勢為左手手背向上平抬+右手手指指示速度數(shù)字、左手手背向上平降+右手手指指示速度數(shù)字、左手手背正對操控者向前平推+右手手指指示速度數(shù)字、左手手背正對操控者向后收回+右手手指指示速度數(shù)字、左手手掌正對操控者向前揮動+右手手指指示速度數(shù)字，或左手食指逆時針轉(zhuǎn)動+右手手指指示轉(zhuǎn)動角度數(shù)字、左手食指順時針轉(zhuǎn)動+右手手指指示轉(zhuǎn)動角度數(shù)字。例如，控制無人機以3m/s的速度返航，操控者左手手掌正對操控者，左手向操控者方向揮動，同時右手手指指示3。

任務控制是指對被控裝備實現(xiàn)某項具體任務的執(zhí)行狀態(tài)的控制，采用約定手勢+表示確認的手勢的組合手勢對這些執(zhí)行狀態(tài)進行表示，其中，執(zhí)行狀態(tài)包括但不局限于火力打擊，火力打擊對應的組合手勢為左手拇指食指比劃打槍+右手握拳向下。例如，控制無人機進行火力打擊時，操控者左手拇指食指比劃打槍(即大寫的八字，并且八字開口朝上)，同時右手握拳從上向下滑動。

上述三種控制狀態(tài)僅僅列舉了無人機部分典型的狀態(tài)，以及對應的手勢組合，在實際操控中，并不僅僅限于上述列舉的狀態(tài)及手勢組合，只要采用本發(fā)明的編碼方法能實現(xiàn)手勢和狀態(tài)的對應即可。另外，采用本方法操控的被控裝備也不僅僅局限于無人機，機器人等均可，只需重根據(jù)本發(fā)明的編碼方法重新調(diào)整映射關系。

步驟2，采集操控者佩戴的肌電傳感器和慣導傳感器的信息，并融合肌電傳感器和慣導傳感器的傳感數(shù)據(jù)，獲取操控者的手勢信息，實現(xiàn)對操控者手勢的識別。具體包括：

步驟201，通過操控者身上安裝的多路電極，分別采集左右手臂上的肌電傳感器的電流信號，并通過信號處理和運算，提取操控者雙手的手指、手掌、手腕和手臂在小范圍內(nèi)的運動狀態(tài)信息；

步驟202，采集慣導傳感器的加速度信號和角速度信號，通過信號處理和運算，提取操控者雙手的手指、手掌、手腕和手臂在大范圍內(nèi)的運動狀態(tài)信息；

步驟203，融合步驟201和步驟202提取的運動狀態(tài)信息，實現(xiàn)對操控者手勢的識別。在對兩類傳感器的信息進行融合時，可采用神經(jīng)網(wǎng)絡算法、卡爾曼濾波算法等。

步驟3，根據(jù)步驟1中的映射關系，將步驟2中識別的手勢信息轉(zhuǎn)化成對被控裝備的控制指令。

步驟4，將步驟3中的控制指令通過無線網(wǎng)絡傳輸給被控裝備，實現(xiàn)對被控裝備的實時控制。

進一步的，為了實現(xiàn)對被控裝備重要狀態(tài)的簡單快速控制，還包括：通過震動的方式反饋被控裝備的重要狀態(tài)信息，根據(jù)狀態(tài)信息的重要等級給操控者以不同的震動觸覺反饋，并將這種狀態(tài)信息和振動模式的映射歸入步驟1中的映射關系庫；在需要對被控裝備進行重要狀態(tài)的操控時，操控者啟動相應的震動模式，將震動信息轉(zhuǎn)化成對被控裝備的控制指令，并將該控制指令傳輸給被控裝備，實現(xiàn)對被控裝備的實時控制。

實施例2，如圖2所示，本發(fā)明還提供了一種語義式人機自然交互控制系統(tǒng)，其特征在于，該系統(tǒng)包括：

交互編碼模塊，根據(jù)被控裝備的控制模態(tài)，通過操控者的手勢對這些控制模態(tài)進行表示，建立操控者手勢庫與被控裝備控制指令庫對應的映射關系。

其中，被控裝備的控制模態(tài)分為基本控制、復合控制、任務控制。

基本控制是指對被控裝備實現(xiàn)最常用狀態(tài)的控制，采用符合人類表述習慣的基本手勢直接對這些最常用狀態(tài)進行表示，其中，最常用狀態(tài)包括起飛、降落、前進、后退、返航、左轉(zhuǎn)彎、右轉(zhuǎn)彎，對應的基本手勢為左手手背向上平抬、左手手背向上平降、左手手背正對操控者向前平推、左手手背正對操控者向后收回、左手手掌正對操控者向前揮動、左手食指逆時針轉(zhuǎn)動、左手食指順時針轉(zhuǎn)動。例如，控制無人機降落時，操控者的左手手背朝上并且左手整體向下降落。

復合控制是指對被控裝備實現(xiàn)定量狀態(tài)的控制，采用基本手勢+表示數(shù)字的手勢的組合手勢對這些定量狀態(tài)進行表示，其中，定量狀態(tài)包括以某一速度起飛、降落、前進、后退、返航，或以某一角度左轉(zhuǎn)彎、右轉(zhuǎn)彎，對應的組合手勢為左手手背向上平抬+右手手指指示速度數(shù)字、左手手背向上平降+右手手指指示速度數(shù)字、左手手背正對操控者向前平推+右手手指指示速度數(shù)字、左手手背正對操控者向后收回+右手手指指示速度數(shù)字、左手手掌正對操控者向前揮動+右手手指指示速度數(shù)字，或左手食指逆時針轉(zhuǎn)動+右手手指指示轉(zhuǎn)動角度數(shù)字、左手食指順時針轉(zhuǎn)動+右手手指指示轉(zhuǎn)動角度數(shù)字。例如，控制無人機以3m/s的速度返航，操控者左手手掌正對操控者，左手向操控者方向揮動，同時右手手指指示3。

任務控制是指對被控裝備實現(xiàn)某項具體任務的執(zhí)行狀態(tài)的控制，采用約定手勢+表示確認的手勢的組合手勢對這些執(zhí)行狀態(tài)進行表示，其中，執(zhí)行狀態(tài)包括火力打擊，對應的組合手勢為左手拇指食指比劃打槍+右手握拳向下。例如，控制無人機進行火力打擊時，操控者左手拇指食指比劃打槍(即大寫的八字，并且八字開口朝上)，同時右手握拳從上向下滑動。

采集處理模塊，采集操控者佩戴的肌電傳感器和慣導傳感器的信息，并融合肌電傳感器和慣導傳感器的傳感數(shù)據(jù)，獲取操控者的手勢信息，實現(xiàn)對操控者手勢的識別。具體包括：

肌電傳感器采集處理模塊，通過操控者身上安裝的多路電極，分別采集左右手臂上的肌電傳感器的電流信號，并通過信號處理和運算，提取操控者雙手的手指、手掌、手腕和手臂在小范圍內(nèi)的運動狀態(tài)信息；

慣導傳感器采集處理模塊，采集慣導傳感器的加速度信號和角速度信號，通過信號處理和運算，提取操控者雙手的手指、手掌、手腕和手臂在大范圍內(nèi)的運動狀態(tài)信息；

融合處理模塊，融合肌電傳感器采集處理模塊和慣導傳感器采集處理模塊提取的運動狀態(tài)信息，實現(xiàn)對操控者手勢的識別。

實時解碼模塊，根據(jù)交互編碼模塊中的映射關系，將采集處理模塊中識別的手勢信息轉(zhuǎn)化成對被控裝備的控制指令。

無線傳輸模塊，將實時解碼模塊中的控制指令通過無線網(wǎng)絡傳輸給被控裝備，實現(xiàn)對被控裝備的實時控制。

進一步的，還包括觸覺反饋模塊，通過震動的方式反饋被控裝備的重要狀態(tài)信息，根據(jù)狀態(tài)信息的重要等級給操控者以不同的震動觸覺反饋，并將這種狀態(tài)信息和振動模式的映射歸入交互編碼模塊中的映射關系庫，在需要對被控裝備進行重要狀態(tài)的操控時，操控者啟動相應的震動模式，將震動信息轉(zhuǎn)化成對被控裝備的控制指令，并將該控制指令傳輸給被控裝備，實現(xiàn)對被控裝備的實時控制。

以上僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領域的技術人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。