專利名稱：以用戶手部命令控制機(jī)器人的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種控制機(jī)器人的方法，尤其是涉及一種以用戶手部命令控制機(jī)器人的方法。
背景技術(shù)：
手勢(shì)是一種符合人類(lèi)日常習(xí)慣的人機(jī)交互媒介，以人手直接作為計(jì)算機(jī)系統(tǒng)的輸入設(shè)備，可以通過(guò)預(yù)先定義的特定手勢(shì)來(lái)對(duì)周?chē)氖挛镞M(jìn)行控制。手勢(shì)是人手或者手和臂結(jié)合產(chǎn)生的各種姿勢(shì)或動(dòng)作，包括靜態(tài)手勢(shì)(指姿態(tài)，單個(gè)手形)和動(dòng)態(tài)手勢(shì)(指動(dòng)作，由一系列姿態(tài)組成)。隨著計(jì)算機(jī)視覺(jué)技術(shù)在各個(gè)領(lǐng)域的應(yīng)用日益廣泛，如何實(shí)現(xiàn)自然和諧的人機(jī)交互成為備受關(guān)注的研究熱點(diǎn)，相關(guān)研究包括面部表情識(shí)別、手勢(shì)辨識(shí)、頭部運(yùn)動(dòng)跟蹤以及背影識(shí)別等。其中，手勢(shì)辨識(shí)作為高級(jí)人機(jī)交互系統(tǒng)的關(guān)鍵技術(shù)，在計(jì)算機(jī)視覺(jué)、視頻會(huì)議、機(jī)器人等領(lǐng)域有著廣闊的應(yīng)用前景。隨著計(jì)算機(jī)技術(shù)的發(fā)展，人機(jī)交互技術(shù)也越來(lái)越多地受到人們的重視，國(guó)內(nèi)外已有許多學(xué)者從不同的角度、不同的層次對(duì)手勢(shì)識(shí)別及其應(yīng)用進(jìn)行了研究，其中，Lee、Kim的論文比較經(jīng)典，詳細(xì)地介紹了所提出的手勢(shì)識(shí)別方法，其識(shí)別達(dá)到了 93. 14%。Triesch給出了識(shí)別指向和手勢(shì)的服務(wù)機(jī)器人，但其能夠識(shí)別的動(dòng)作較少。美國(guó)CMU機(jī)器人實(shí)驗(yàn)室給出了一種能按手勢(shì)做出簡(jiǎn)單動(dòng)作的清掃機(jī)器人。目前，針對(duì)手勢(shì)識(shí)別的人機(jī)交互的研究主要側(cè)重于皮膚顏色建模、連續(xù)動(dòng)態(tài)手勢(shì)的基于圖像屬性的魯棒特征提取等。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種以用戶手部命令控制機(jī)器人的方法，該方法利用攝像頭對(duì)用戶當(dāng)前整體動(dòng)作中手部位置進(jìn)行識(shí)別，在日常生活中為人們提供便利。本發(fā)明采用的技術(shù)方案的步驟如下
1)機(jī)器人頭部的攝像頭將當(dāng)前用戶的整體動(dòng)作圖像拍攝下來(lái)，作為圖像信號(hào)傳送給機(jī)器人體內(nèi)的信號(hào)識(shí)別裝置；
2)信號(hào)識(shí)別裝置接收到整體動(dòng)作圖像信號(hào)后，對(duì)整體動(dòng)作圖像信號(hào)進(jìn)行識(shí)別，判斷整體動(dòng)作圖像上用戶的手位于哪個(gè)位置，臉部、腰部、腳部或者自然垂下，判斷完以后將整體動(dòng)作圖像信號(hào)發(fā)送給機(jī)器人體內(nèi)的信號(hào)轉(zhuǎn)換裝置；
3)信號(hào)轉(zhuǎn)換裝置接收到整體動(dòng)作圖像信號(hào)后，信號(hào)轉(zhuǎn)換裝置將整體動(dòng)作圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，又傳輸給機(jī)器人的主控芯片；
4)主控芯片接收數(shù)字信號(hào)后，對(duì)該數(shù)字信號(hào)進(jìn)行判斷，確定該數(shù)字信號(hào)的代表意義，讀取相應(yīng)的運(yùn)動(dòng)軌跡，隨后向機(jī)器人執(zhí)行裝置發(fā)送執(zhí)行的數(shù)字信號(hào)；
5)執(zhí)行裝置接收到數(shù)字信號(hào)后就執(zhí)行用戶需要的指令。所述步驟1)中的機(jī)器人頭部的攝像頭，能捕捉用戶當(dāng)前的動(dòng)作圖像，以用戶當(dāng)前的手部位置控制不同功能的執(zhí)行。所述步驟2)中的整體動(dòng)作圖像中，識(shí)別系統(tǒng)運(yùn)用圖像識(shí)別判斷出用戶手部所處的區(qū)域，以整體動(dòng)作圖像中用戶當(dāng)前的手部所處位置來(lái)作為主控芯片中各指令的輸入信號(hào)，從而執(zhí)行不同的指令動(dòng)作。 所述步驟4)中的相應(yīng)的運(yùn)動(dòng)軌跡是預(yù)先設(shè)定的，臉部、腰部或者腳部的指令具有各自不同的運(yùn)動(dòng)軌跡，以防止機(jī)器人執(zhí)行指令出錯(cuò)；機(jī)器人沿運(yùn)動(dòng)軌跡獲得目標(biāo)物體后必須能沿原軌跡返回，回到用戶面前。所述步驟5)中的執(zhí)行裝置，即本體結(jié)構(gòu)，其一只手臂具有7個(gè)運(yùn)動(dòng)自由度，一條腿具有5個(gè)自由度，能穩(wěn)定行走和夾持各種物品。本發(fā)明具有的有益效果是
該機(jī)器人包括頭部，手臂，軀干和腿部等結(jié)構(gòu)，具有豐富的自由度，機(jī)器人頭部的攝像頭輸入用戶當(dāng)前的圖像，隨后識(shí)別裝置對(duì)圖像中用戶手的位置進(jìn)行識(shí)別，從而控制機(jī)器人讀取相應(yīng)軌跡，完成相應(yīng)功能。這種機(jī)器人可用用戶手部命令控制，在日常生活中可為人們提供便利。


圖1是本發(fā)明機(jī)器人的總控制圖。圖2是機(jī)器人主控芯片atmega32單片機(jī)最小系統(tǒng)原理圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做進(jìn)一步說(shuō)明 參照?qǐng)D1所示，本發(fā)明的步驟如下
1)機(jī)器人頭部的攝像頭將當(dāng)前用戶的整體動(dòng)作圖像拍攝下來(lái)，作為圖像信號(hào)傳送給機(jī)器人體內(nèi)的信號(hào)識(shí)別裝置；
2)信號(hào)識(shí)別裝置接收到整體動(dòng)作圖像信號(hào)后，對(duì)整體動(dòng)作圖像信號(hào)進(jìn)行識(shí)別，判斷整體動(dòng)作圖像上用戶的手位于哪個(gè)位置，臉部、腰部、腳部或者自然垂下，判斷完以后將整體動(dòng)作圖像信號(hào)發(fā)送給機(jī)器人體內(nèi)的信號(hào)轉(zhuǎn)換裝置；
3)信號(hào)轉(zhuǎn)換裝置接收到整體動(dòng)作圖像信號(hào)后，信號(hào)轉(zhuǎn)換裝置將整體動(dòng)作圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，又傳輸給機(jī)器人的主控芯片；
4)主控芯片接收數(shù)字信號(hào)后，對(duì)該數(shù)字信號(hào)進(jìn)行判斷，確定該數(shù)字信號(hào)的代表意義，讀取相應(yīng)的運(yùn)動(dòng)軌跡，隨后向機(jī)器人執(zhí)行裝置發(fā)送執(zhí)行的數(shù)字信號(hào)；
5)執(zhí)行裝置接收到數(shù)字信號(hào)后就執(zhí)行用戶需要的指令。所述步驟1)中的機(jī)器人頭部的攝像頭，能捕捉用戶當(dāng)前的動(dòng)作圖像，以用戶當(dāng)前的手部位置控制不同功能的執(zhí)行。所述步驟2)中的整體動(dòng)作圖像中，識(shí)別系統(tǒng)運(yùn)用圖像識(shí)別判斷出用戶手部所處的區(qū)域，以整體動(dòng)作圖像中用戶當(dāng)前的手部所處位置來(lái)作為主控芯片中各指令的輸入信號(hào)，從而執(zhí)行不同的指令動(dòng)作。所述步驟4)中的相應(yīng)的運(yùn)動(dòng)軌跡是預(yù)先設(shè)定的，臉部、腰部或者腳部的指令具有各自不同的運(yùn)動(dòng)軌跡，以防止機(jī)器人執(zhí)行指令出錯(cuò)；機(jī)器人沿運(yùn)動(dòng)軌跡獲得目標(biāo)物體后必須能沿原軌跡返回，回到用戶面前。所述步驟5)中的執(zhí)行裝置，即本體結(jié)構(gòu)，其一只手臂具有7個(gè)運(yùn)動(dòng)自由度，一條腿具有5個(gè)自由度，能穩(wěn)定行走和夾持各種物品。機(jī)器人的一只手臂 有7個(gè)自由度，其中，手上有兩個(gè)手指，每個(gè)手指有兩個(gè)轉(zhuǎn)動(dòng)自由度，手腕有一個(gè)轉(zhuǎn)動(dòng)自由度，肘部和肩上各有一個(gè)轉(zhuǎn)動(dòng)自由度；一條腿有5個(gè)自由度，腳踝處有兩個(gè)轉(zhuǎn)動(dòng)自由度，膝蓋處有兩個(gè)轉(zhuǎn)動(dòng)自由度，髖部有一個(gè)轉(zhuǎn)動(dòng)自由度。攝像頭捕捉到的整體動(dòng)作圖像信號(hào)必須經(jīng)過(guò)信號(hào)轉(zhuǎn)換系統(tǒng)變成數(shù)字信號(hào)，成為主控芯片的輸入信號(hào)。機(jī)器人由執(zhí)行裝置、主控芯片、輸入裝置、信號(hào)識(shí)別裝置和信號(hào)轉(zhuǎn)換傳輸裝置組成。輸入裝置主要是機(jī)器人頭部的攝像頭，它能拍下用戶當(dāng)前的手部運(yùn)動(dòng)狀況形成圖像信號(hào)，以此控制主控系統(tǒng)，是人機(jī)交互的主要工具。此處采用的是CCD攝像頭，CCD是一種半導(dǎo)體器件，能夠把光學(xué)影像轉(zhuǎn)換為數(shù)字信號(hào)。信號(hào)識(shí)別裝置是確定輸入信號(hào)代表意義的重要部分，它能確定圖像中用戶手部的位置，并將這個(gè)信息“告訴”主控系統(tǒng)，確保其能理解用戶的用意。信號(hào)轉(zhuǎn)換傳輸裝置是信號(hào)從輸入裝置到主控系統(tǒng)的通道，信號(hào)轉(zhuǎn)換裝置將輸入的圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，然后通過(guò)傳輸裝置傳給主控系統(tǒng)，即攝像頭中的CCD。信號(hào)轉(zhuǎn)換傳輸裝置是機(jī)器人系統(tǒng)中極其重要的一部分，是信號(hào)傳輸?shù)闹饕ǖ?。主控芯片是機(jī)器人的主要控制部分，控制著機(jī)器人執(zhí)行裝置的動(dòng)作，通過(guò)輸入信號(hào)實(shí)現(xiàn)機(jī)器人與操作者的交互。其中，主控芯片的內(nèi)存單元中必須包括信號(hào)數(shù)據(jù)理解庫(kù)，以對(duì)輸入的信號(hào)進(jìn)行識(shí)別。輸入的信號(hào)在信號(hào)數(shù)據(jù)理解庫(kù)中與其中的信號(hào)進(jìn)行比對(duì)，確定其代表意義后主控系統(tǒng)就向相應(yīng)的執(zhí)行裝置發(fā)出執(zhí)行命令。此處采用的是atmel公司生產(chǎn)的atmega32系列，該單片機(jī)性能高，運(yùn)轉(zhuǎn)速度快，適用于一般模塊化機(jī)器人的主控芯片，其最小系統(tǒng)原理圖見(jiàn)圖2所示。執(zhí)行裝置主要就是機(jī)器人的本體結(jié)構(gòu)，包括了機(jī)器人的頭部、軀干、手部、腿部結(jié)構(gòu)和各運(yùn)動(dòng)關(guān)節(jié)。執(zhí)行裝置是執(zhí)行各個(gè)指令的最終單元，決定著命令的實(shí)現(xiàn)與否及執(zhí)行是否到位。該機(jī)器人通過(guò)檢測(cè)用戶手部所處的位置來(lái)決定執(zhí)行哪條指令。若判斷出用戶的手在臉部位置，代表用戶要洗臉，機(jī)器人去拿毛巾；若判斷出用戶的手在腰部位置，代表用戶要休息，機(jī)器人去拿靠枕；若判斷出用戶的手在腳部位置，代表用戶要出門(mén)，機(jī)器人去拿鞋； 若判斷出用戶的手自然垂下，則無(wú)輸入信號(hào)。用戶的手不可能每次都放在同一位置，只能每次判斷一個(gè)大概的位置，因此機(jī)器人判斷用戶手部所處位置時(shí)，位置是有一定范圍的，例如只要手在頭部上就算是在臉部位置，只要在上半身就算是腰部位置的命令。這里，為保證機(jī)器人的指令順利實(shí)現(xiàn)，機(jī)器人的軌跡都已預(yù)先在程序中設(shè)定，即機(jī)器人的軌跡是定的，故用戶需要的東西必須放置在固定位置，確保機(jī)器人能拿到東西。另夕卜，為了防止機(jī)器人出現(xiàn)拿錯(cuò)東西的情況，在設(shè)定時(shí)，幾條運(yùn)動(dòng)軌跡是不同的，即不同的物品放在不同的位置。另外，機(jī)器人的軀干上裝有電源開(kāi)關(guān)，當(dāng)機(jī)器人執(zhí)行完用戶的指令后，為防止用戶的隨意的動(dòng)作對(duì)機(jī)器人造成錯(cuò)誤的指令，用戶可將電源開(kāi)關(guān)關(guān)掉，等要執(zhí)行下一次指令時(shí)再將開(kāi)關(guān)打開(kāi)。
例如用戶早上起床后，想要機(jī)器人拿來(lái)毛巾，用戶就將手放在臉部位置。機(jī)器人頭部的攝像頭將用戶當(dāng)前的圖像拍下，形成了圖像信號(hào)。此時(shí)機(jī)器人的信號(hào)識(shí)別系統(tǒng)要對(duì)圖像信號(hào)進(jìn)行識(shí)別，確定圖像中用戶手部所處的位置是臉部，并將這一識(shí)別結(jié)果發(fā)給信號(hào)裝換裝置。識(shí)別后的信號(hào)來(lái)到信號(hào)轉(zhuǎn)換裝置，經(jīng)轉(zhuǎn)換裝置變?yōu)橹骺匦酒山邮盏臄?shù)字信號(hào)，數(shù)字信號(hào)又通過(guò)信號(hào)傳輸裝置傳給了主控芯片，主控芯片接收數(shù)字信號(hào)后，先對(duì)在信號(hào)理解數(shù)據(jù)庫(kù)中比對(duì)輸入信號(hào)與數(shù)據(jù)庫(kù)中的信號(hào)，確定該輸入信號(hào)的代表意義是拿毛巾。隨后，主控芯片發(fā)送特定信號(hào)給執(zhí)行裝置，執(zhí)行裝置確定該命令下機(jī)器人的運(yùn)動(dòng)軌跡，按照事先設(shè)定的路線軌跡來(lái)到物品放置的位置取得毛巾，然后又按照原定路線返回原來(lái)的位置，將取得的物品交給用戶。 又例如用戶在工作一段時(shí)間后想要休息一會(huì)，想要機(jī)器人拿來(lái)靠枕，用戶就將手放在腰部位置。同樣，機(jī)器人的攝像頭能捕捉到用戶的動(dòng)作圖像，形成圖像信號(hào)。圖像信號(hào)經(jīng)圖像識(shí)別裝置的識(shí)別，可判斷出用戶的手處于腰部位置，識(shí)別裝置將這一信息包含在信號(hào)中然后把信號(hào)傳輸給信號(hào)轉(zhuǎn)換裝置，信號(hào)轉(zhuǎn)換裝置將圖像信號(hào)變換為數(shù)字信號(hào)以便主控芯片的識(shí)別，數(shù)字信號(hào)又通過(guò)信號(hào)傳輸裝置來(lái)到主控芯片。主控芯片中包括有信號(hào)理解數(shù)據(jù)庫(kù)，故先將數(shù)字信號(hào)在信號(hào)理解數(shù)據(jù)庫(kù)中進(jìn)行比對(duì)，確定圖像識(shí)別的結(jié)果是手部位于腰部位置，而這代表著用戶想要靠枕。隨后，主控芯片發(fā)出數(shù)字信號(hào)給執(zhí)行裝置，執(zhí)行裝置確定該數(shù)字信號(hào)下的運(yùn)動(dòng)軌跡，并按該軌跡到達(dá)特定的物品放置位置取得靠枕，取得物品后按原軌跡返回將靠枕交給用戶。
權(quán)利要求
1.一種以用戶手部命令控制機(jī)器人的方法，其特征在于該方法的步驟如下1)機(jī)器人頭部的攝像頭將當(dāng)前用戶的整體動(dòng)作圖像拍攝下來(lái)，作為圖像信號(hào)傳送給機(jī)器人體內(nèi)的信號(hào)識(shí)別裝置；2)信號(hào)識(shí)別裝置接收到整體動(dòng)作圖像信號(hào)后，對(duì)整體動(dòng)作圖像信號(hào)進(jìn)行識(shí)別，判斷整體動(dòng)作圖像上用戶的手位于哪個(gè)位置，臉部、腰部、腳部或者自然垂下，判斷完以后將整體動(dòng)作圖像信號(hào)發(fā)送給機(jī)器人體內(nèi)的信號(hào)轉(zhuǎn)換裝置；3)信號(hào)轉(zhuǎn)換裝置接收到整體動(dòng)作圖像信號(hào)后，信號(hào)轉(zhuǎn)換裝置將整體動(dòng)作圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，又傳輸給機(jī)器人的主控芯片；4)主控芯片接收數(shù)字信號(hào)后，對(duì)該數(shù)字信號(hào)進(jìn)行判斷，確定該數(shù)字信號(hào)的代表意義，讀取相應(yīng)的運(yùn)動(dòng)軌跡，隨后向機(jī)器人執(zhí)行裝置發(fā)送執(zhí)行的數(shù)字信號(hào)；5)執(zhí)行裝置接收到數(shù)字信號(hào)后就執(zhí)行用戶需要的指令。
2.根據(jù)權(quán)利要求1所述的以用戶手部命令控制機(jī)器人的方法，其特征在于所述步驟1)中的機(jī)器人頭部的攝像頭，能捕捉用戶當(dāng)前的動(dòng)作圖像，以用戶當(dāng)前的手部位置控制不同功能的執(zhí)行。
3.根據(jù)權(quán)利要求1所述的以用戶手部命令控制機(jī)器人的方法，其特征在于所述步驟2)中的整體動(dòng)作圖像中，識(shí)別系統(tǒng)運(yùn)用圖像識(shí)別判斷出用戶手部所處的區(qū)域，以整體動(dòng)作圖像中用戶當(dāng)前的手部所處位置來(lái)作為主控芯片中各指令的輸入信號(hào)，從而執(zhí)行不同的指令動(dòng)作。
4.根據(jù)權(quán)利要求1所述以用戶手部命令控制機(jī)器人的方法，其特征在于所述步驟4) 中的相應(yīng)的運(yùn)動(dòng)軌跡是預(yù)先設(shè)定的，臉部、腰部或者腳部的指令具有各自不同的運(yùn)動(dòng)軌跡， 以防止機(jī)器人執(zhí)行指令出錯(cuò)；機(jī)器人沿運(yùn)動(dòng)軌跡獲得目標(biāo)物體后必須能沿原軌跡返回，回到用戶面前。
5.根據(jù)權(quán)利要求1所述的以用戶手部命令控制機(jī)器人的方法，其特征在于所述步驟 5)中的執(zhí)行裝置，即本體結(jié)構(gòu)，其一只手臂具有7個(gè)運(yùn)動(dòng)自由度，一條腿具有5個(gè)自由度，能穩(wěn)定行走和夾持各種物品。
全文摘要
本發(fā)明公開(kāi)了一種以用戶手部命令控制機(jī)器人的方法。機(jī)器人頭部的攝像頭將當(dāng)前用戶的整體動(dòng)作圖像拍攝下來(lái)，對(duì)整體動(dòng)作圖像信號(hào)進(jìn)行識(shí)別，隨后信號(hào)轉(zhuǎn)換系統(tǒng)將整體動(dòng)作圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，又傳輸給機(jī)器人的主控芯片，對(duì)數(shù)字信號(hào)進(jìn)行判斷，隨后執(zhí)行指令。該方法能控制機(jī)器人為用戶完成多項(xiàng)任務(wù)。該機(jī)器人包括頭部，手臂，軀干和腿部等結(jié)構(gòu)，具有豐富的自由度，機(jī)器人頭部的攝像頭輸入用戶當(dāng)前的圖像，隨后識(shí)別裝置對(duì)圖像中用戶手的位置進(jìn)行識(shí)別，從而控制機(jī)器人讀取相應(yīng)軌跡，完成相應(yīng)功能。這種機(jī)器人可用用戶手部命令控制，在日常生活中可為人們提供便利。
文檔編號(hào)B25J19/00GK102179814SQ201110070579
公開(kāi)日2011年9月14日 申請(qǐng)日期2011年3月23日 優(yōu)先權(quán)日2011年3月23日
發(fā)明者繆赟晨, 趙亮 申請(qǐng)人:浙江大學(xué)