專利名稱：一種手勢(shì)控制系統(tǒng)及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機(jī)交互控制領(lǐng)域，特別涉及手勢(shì)控制系統(tǒng)及其控制方法。
背景技術(shù)：
在非接觸式人機(jī)交互系統(tǒng)中，基于手勢(shì)控制的人機(jī)交互是一個(gè)重要的環(huán)節(jié)?；谑謩?shì)控制的人機(jī)交互具有簡(jiǎn)單、方便的特點(diǎn)，其常用的操作方式為手勢(shì)漫游。手勢(shì)漫游，是指將手勢(shì)在物理空間中的運(yùn)動(dòng)映射到被控制對(duì)象的界面中，實(shí)現(xiàn)對(duì)被控制對(duì)象的操作?，F(xiàn)有的手勢(shì)運(yùn)動(dòng)映射方式主要為二維運(yùn)動(dòng)，如使用鼠標(biāo)在屏幕上畫出軌跡，以操作應(yīng)用，此種方式與人類在三維空間運(yùn)動(dòng)的習(xí)慣有所差異，人機(jī)交互的直觀感受較低。即便一些新型的利用深度攝像頭的三維操作應(yīng)用系統(tǒng)，其操作過程較符合人類三維空間運(yùn)動(dòng)特點(diǎn)，但操作也較為復(fù)雜緩慢，處理時(shí)間較久，難以控制，令使用者易感疲勞。

發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種三維操作界面的手勢(shì)控制系統(tǒng)，操作更加簡(jiǎn)便。本發(fā)明的另一目的在于提供上述手勢(shì)控制系統(tǒng)的手勢(shì)控制方法。本發(fā)明的目的通過以下技術(shù)方案實(shí)現(xiàn)一種手勢(shì)控制系統(tǒng)，包括兩臺(tái)帶時(shí)鐘同步的手勢(shì)捕捉傳感器，其中一臺(tái)用于捕獲操作者的手勢(shì)的前后運(yùn)動(dòng)；另一臺(tái)用于捕獲操作者的手勢(shì)的左右運(yùn)動(dòng)；一臺(tái)處理器，用于分析手勢(shì)捕捉傳感器捕捉到的圖像序列，得出圖像序列每一幀圖像中手勢(shì)的位置信息和當(dāng)前手勢(shì)運(yùn)動(dòng)的速度信息，并根據(jù)所獲得的操作信息，將需投影的界面分為左投影區(qū)和右投影區(qū)；兩臺(tái)三維立體投影儀，相對(duì)置于手勢(shì)捕捉傳感器的左前方及右前方；分別用于接收左投影區(qū)數(shù)據(jù)和右投影區(qū)數(shù)據(jù)，并進(jìn)行投影。所述手勢(shì)捕捉傳感器為彩色攝像頭或深度攝像頭。上述手勢(shì)控制系統(tǒng)的手勢(shì)控制方法，包括以下步驟(I)啟動(dòng)系統(tǒng)后，兩臺(tái)帶時(shí)鐘同步的手勢(shì)捕捉傳感器同步對(duì)操作者的手勢(shì)進(jìn)行捕捉，將捕捉到的圖像序列傳輸?shù)教幚砥鳎?2)處理器對(duì)圖像序列進(jìn)行分析，得出圖像序列每一幀圖像中手勢(shì)的位置信息和當(dāng)前手勢(shì)運(yùn)動(dòng)的速度信息，根據(jù)所獲得的操作信息，將需投影的界面分為左投影區(qū)和右投影區(qū)；(3)兩臺(tái)三維立體投影儀分別接收左投影區(qū)數(shù)據(jù)和右投影區(qū)數(shù)據(jù)，進(jìn)行投影，并對(duì)三維操作界面進(jìn)行操作。步驟(3)所述對(duì)三維操作界面進(jìn)行操作，具體為三維操作界面呈魔方結(jié)構(gòu)，長(zhǎng)寬高為60cmX60cmX60cm，其一面正對(duì)操作者，中心位置空出，各操作模塊置于四周，以棋盤格式圍繞中心位置；當(dāng)手勢(shì)為向左擺動(dòng)手掌，則三維操作界面向左翻轉(zhuǎn)；當(dāng)手勢(shì)為向右擺動(dòng)手掌，則三維操作界面向右翻轉(zhuǎn)；當(dāng)手勢(shì)為向上擺動(dòng)手掌，則三維操作界面向上翻轉(zhuǎn)；當(dāng)手勢(shì)為向下擺動(dòng)手掌，則三維操作界面向下翻轉(zhuǎn)；當(dāng)手勢(shì)為向前移動(dòng)手掌，則三維操作界面放大；當(dāng)手勢(shì)為向后移動(dòng)手掌，則三維操作界面縮小；當(dāng)手勢(shì)為伸手抓取，則三維操作界面的中的操作模塊被抓??；
當(dāng)手勢(shì)為雙掌合并，則三維操作界面關(guān)閉；當(dāng)操作模塊被抓取時(shí)，該操作模塊圍繞中心收縮成圓形；當(dāng)操作模塊被選中時(shí)，該操作模塊被放大；當(dāng)操作模塊被抓取并被移動(dòng)到三維操作界面的中心位置時(shí)，該操作模塊啟動(dòng)。步驟(3)所述對(duì)三維操作界面進(jìn)行操作過程中，系統(tǒng)以提示音的方式提醒操作者進(jìn)行操作，并于提示音后對(duì)操作者的手勢(shì)進(jìn)行檢測(cè)，每次提示音后輸入一種手勢(shì)，檢測(cè)成功后對(duì)三維操作界面進(jìn)行操作，等待時(shí)間結(jié)束后發(fā)出提示音提示操作者變換手勢(shì)，若不成功則只發(fā)出提示音；若超過I分鐘操作者未操作，系統(tǒng)將再次產(chǎn)生提示音。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)和有益效果(I)本發(fā)明通過自然的空間手勢(shì)語(yǔ)言進(jìn)行三維操作界面進(jìn)行操作，解決了現(xiàn)有的三維手勢(shì)操作方法手勢(shì)復(fù)雜不自然的問題；(2)本發(fā)明通過三維操作界面的設(shè)計(jì)，使操作界面易于理解，用戶能夠快速使用；(3)本發(fā)明通過在操作者的前方和一側(cè)分別設(shè)置帶有時(shí)鐘同步的攝像頭，不需采用深度攝像頭，圖像序列經(jīng)處理器同步處理，進(jìn)行識(shí)別操作，解決了現(xiàn)有的三維手勢(shì)操作方法的三維空間方向識(shí)別問題。(4)本發(fā)明通過設(shè)置提示音，并在檢測(cè)時(shí)間內(nèi)只輸入一種手勢(shì)，降低了誤識(shí)別率。


圖I為本發(fā)明的實(shí)施例的手勢(shì)控制系統(tǒng)的組成示意圖。圖2為本發(fā)明的實(shí)施例的手勢(shì)控制方法的流程圖。圖3為操作模塊最多時(shí)的三維操作界面示意圖。圖4為一般情況下的三維操作界面示意圖。圖5為控制三維操作界面向左翻轉(zhuǎn)的手勢(shì)。圖6為控制三維操作界面向右翻轉(zhuǎn)的手勢(shì)。圖7為控制三維操作界面向上翻轉(zhuǎn)的手勢(shì)。圖8為控制三維操作界面向下翻轉(zhuǎn)的手勢(shì)。圖9為控制三維操作界面放大的手勢(shì)。圖10為控制三維操作界面縮小的手勢(shì)。圖11為抓取的手勢(shì)。圖12為控制三維操作界面關(guān)閉的手勢(shì)。圖13為三維操作界面無操作時(shí)的示意。
圖14為操作模塊被選中時(shí)的示意圖。圖15為操作模塊被抓取時(shí)的示意圖。圖16為多個(gè)操作模塊最小化時(shí)的示意圖。
具體實(shí)施例方式下面結(jié)合實(shí)施例及附圖，對(duì)本發(fā)明作進(jìn)一步地詳細(xì)說明，但本發(fā)明的實(shí)施方式不限于此。實(shí)施例如圖I所示，本發(fā)明的手勢(shì)控制系統(tǒng)，包括兩臺(tái)帶時(shí)鐘同步的彩色攝像頭、一臺(tái)處理器和兩臺(tái)三維立體投影儀。其中，彩色攝像頭103用于捕獲操作者的手勢(shì)101的前后運(yùn)動(dòng)；彩色攝像頭器102用于捕獲操作者的手勢(shì)的左右運(yùn)動(dòng)；處理器用于分析手勢(shì)捕捉傳感器捕捉到的圖像序列，得出圖像序列每一幀圖像中手勢(shì)的位置信息和當(dāng)前手勢(shì)運(yùn)動(dòng)的速度信息，并根據(jù)所獲得的操作信息，將需投影的界面分為左投影區(qū)和右投影區(qū)； 三維立體投影儀105和106，相對(duì)置于彩色攝像頭102 103的左前方及右前方；分別用于接收左投影區(qū)數(shù)據(jù)和右投影區(qū)數(shù)據(jù)，并進(jìn)行投影。如圖2所示，上述手勢(shì)控制系統(tǒng)的手勢(shì)控制方法，包括以下步驟(I)啟動(dòng)系統(tǒng)后，兩臺(tái)帶時(shí)鐘同步的手勢(shì)捕捉傳感器同步對(duì)操作者的手勢(shì)進(jìn)行捕捉，將捕捉到的圖像序列傳輸?shù)教幚砥鳌?2)處理器對(duì)圖像序列進(jìn)行分析，得出圖像序列每一幀圖像中手勢(shì)的位置信息和當(dāng)前手勢(shì)運(yùn)動(dòng)的速度信息；并根據(jù)所獲得的操作信息，將需投影的界面分為左投影區(qū)和右投影區(qū)。(3)兩臺(tái)立體三維投影儀分別接收左投影區(qū)數(shù)據(jù)和右投影區(qū)數(shù)據(jù)，進(jìn)行投影，并對(duì)三維操作界面進(jìn)行操作，具體為如圖3 4所示，三維操作界面呈魔方結(jié)構(gòu)，長(zhǎng)寬高為60cmX60cmX60cm，其一面正對(duì)操作者，中心位置空出，各操作模塊置于四周，以棋盤格式圍繞中心位置；其中圖3為操作模塊最多時(shí)的三維操作界面；圖4為一般情況下的三維操作界面。當(dāng)手勢(shì)為向左擺動(dòng)手掌(如圖5所示)，則三維操作界面向左翻轉(zhuǎn)；當(dāng)手勢(shì)為向右擺動(dòng)手掌(如圖6所示)，則三維操作界面向右翻轉(zhuǎn)；當(dāng)手勢(shì)為向上擺動(dòng)手掌(如圖7所示)，則三維操作界面向上翻轉(zhuǎn)；當(dāng)手勢(shì)為向下擺動(dòng)手掌(如圖8所示)，則三維操作界面向下翻轉(zhuǎn)；當(dāng)手勢(shì)為向前移動(dòng)手掌(如圖9所示)，則三維操作界面放大；當(dāng)手勢(shì)為向后移動(dòng)手掌(如圖I0所示)，則三維操作界面縮小；當(dāng)手勢(shì)為伸手抓取(如圖11所示)，則三維操作界面的中的操作模塊被抓取；當(dāng)手勢(shì)為雙掌合并(如圖12所示)，則三維操作界面關(guān)閉。向左、右、上、下翻轉(zhuǎn)時(shí)，界面圍繞中軸旋轉(zhuǎn)；放大、縮小操作時(shí)，界面以質(zhì)心為原點(diǎn)放大縮小。圖13為界面無操作時(shí)的示意圖，其中a, b, c，d, e, f, g, h為操作模塊。
如圖14所示，當(dāng)操作模塊被選中時(shí)，該操作模塊被放大，其余操作模塊縮小；如圖15所示，當(dāng)操作模塊被抓取時(shí)，該操作模塊圍繞中心收縮成圓形。圖16所示為多個(gè)操作模塊最小化時(shí)的示意圖。當(dāng)操作模塊被抓取并被移動(dòng)到三維操作界面的中心位置時(shí)，該操作模塊啟動(dòng)。對(duì)三維操作界面進(jìn)行操作過程中，系統(tǒng)以提示音的方式提醒操作者進(jìn)行操作，并于提示音后對(duì)操作者的手勢(shì)進(jìn)行檢測(cè)，每次提示音后輸入一種手勢(shì)，檢測(cè)成功后對(duì)三維操作界面進(jìn)行操作，等待時(shí)間結(jié)束后發(fā)出提示音提示操作者變換手勢(shì)，若不成功則只發(fā)出提示音；若超過I分鐘操作者未操作，系統(tǒng)將再次產(chǎn)生提示音。上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受所 述實(shí)施例的限制，如彩色攝像頭也可替換為深度攝像頭等，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種手勢(shì)控制系統(tǒng)，其特征在于，包括 兩臺(tái)帶時(shí)鐘同步的手勢(shì)捕捉傳感器，其中一臺(tái)用于捕獲操作者的手勢(shì)的前后運(yùn)動(dòng)；另一臺(tái)用于捕獲操作者的手勢(shì)的左右運(yùn)動(dòng)； 一臺(tái)處理器，用于分析手勢(shì)捕捉傳感器捕捉到的圖像序列，得出圖像序列每一幀圖像中手勢(shì)的位置信息和當(dāng)前手勢(shì)運(yùn)動(dòng)的速度信息，并根據(jù)所獲得的操作信息，將需投影的界面分為左投影區(qū)和右投影區(qū)； 兩臺(tái)三維立體投影儀，相對(duì)置于手勢(shì)捕捉傳感器的左前方及右前方；分別用于接收左投影區(qū)數(shù)據(jù)和右投影區(qū)數(shù)據(jù)，并進(jìn)行投影。
2.根據(jù)權(quán)利要求I所述的手勢(shì)控制系統(tǒng)，其特征在于，所述手勢(shì)捕捉傳感器為彩色攝像頭或深度攝像頭。
3.如權(quán)利要求I所述手勢(shì)控制系統(tǒng)的手勢(shì)控制方法，其特征在于，包括以下步驟 (1)啟動(dòng)系統(tǒng)后，兩臺(tái)帶時(shí)鐘同步的手勢(shì)捕捉傳感器同步對(duì)操作者的手勢(shì)進(jìn)行捕捉，將捕捉到的圖像序列傳輸?shù)教幚砥鳎? (2)處理器對(duì)圖像序列進(jìn)行分析，得出圖像序列每一幀圖像中手勢(shì)的位置信息和當(dāng)前手勢(shì)運(yùn)動(dòng)的速度信息，根據(jù)所獲得的操作信息，將需投影的界面分為左投影區(qū)和右投影區(qū)； (3)兩臺(tái)三維立體投影儀分別接收左投影區(qū)數(shù)據(jù)和右投影區(qū)數(shù)據(jù)，進(jìn)行投影，并對(duì)三維操作界面進(jìn)行操作。
4.根據(jù)權(quán)利要求3所述的手勢(shì)控制方法，其特征在于，步驟(3)所述對(duì)三維操作界面進(jìn)行操作，具體為 三維操作界面呈魔方結(jié)構(gòu)，長(zhǎng)寬高為60cmX60cmX60cm，其一面正對(duì)操作者，中心位置空出，各操作模塊置于四周，以棋盤格式圍繞中心位置； 當(dāng)手勢(shì)為向左擺動(dòng)手掌，則三維操作界面向左翻轉(zhuǎn)； 當(dāng)手勢(shì)為向右擺動(dòng)手掌，則三維操作界面向右翻轉(zhuǎn)； 當(dāng)手勢(shì)為向上擺動(dòng)手掌，則三維操作界面向上翻轉(zhuǎn)； 當(dāng)手勢(shì)為向下擺動(dòng)手掌，則三維操作界面向下翻轉(zhuǎn)； 當(dāng)手勢(shì)為向前移動(dòng)手掌，則三維操作界面放大； 當(dāng)手勢(shì)為向后移動(dòng)手掌，則三維操作界面縮??； 當(dāng)手勢(shì)為伸手抓取，則三維操作界面的中的操作模塊被抓??； 當(dāng)手勢(shì)為雙掌合并，則三維操作界面關(guān)閉； 當(dāng)操作模塊被抓取時(shí)，該操作模塊圍繞中心收縮成圓形； 當(dāng)操作模塊被選中時(shí)，該操作模塊被放大； 當(dāng)操作模塊被抓取并被移動(dòng)到三維操作界面的中心位置時(shí)，該操作模塊啟動(dòng)。
5.根據(jù)權(quán)利要求3所述的手勢(shì)控制方法，其特征在于，步驟(3)所述對(duì)三維操作界面進(jìn)行操作過程中，系統(tǒng)以提示音的方式提醒操作者進(jìn)行操作，并于提示音后對(duì)操作者的手勢(shì)進(jìn)行檢測(cè)，每次提示音后輸入一種手勢(shì)，檢測(cè)成功后對(duì)三維操作界面進(jìn)行操作，等待時(shí)間結(jié)束后發(fā)出提示音提示操作者變換手勢(shì)，若不成功則只發(fā)出提示音；若超過I分鐘操作者未操作，系統(tǒng)將再次產(chǎn)生提示音。
全文摘要
本發(fā)明公開了一種手勢(shì)控制系統(tǒng)，包括兩臺(tái)帶時(shí)鐘同步的手勢(shì)捕捉傳感器，其中一臺(tái)用于捕獲操作者的手勢(shì)的前后運(yùn)動(dòng)；另一臺(tái)用于捕獲操作者的手勢(shì)的前后運(yùn)動(dòng)與左右運(yùn)動(dòng)；一臺(tái)處理器，用于分析手勢(shì)捕捉傳感器捕捉到的圖像序列，得出圖像序列每一幀圖像中手勢(shì)的位置信息和當(dāng)前手勢(shì)運(yùn)動(dòng)的速度信息，根據(jù)所獲得的操作信息，將需投影的界面分為左投影區(qū)和右投影區(qū)；兩臺(tái)三維立體投影儀，相對(duì)置于手勢(shì)捕捉傳感器的左前方及右前方；分別用于接收左投影區(qū)數(shù)據(jù)和右投影區(qū)數(shù)據(jù)，并進(jìn)行投影。本發(fā)明還公開了上述系統(tǒng)的控制方法。與現(xiàn)有技術(shù)相比，本發(fā)明操作更加簡(jiǎn)便，手勢(shì)簡(jiǎn)單自然，誤識(shí)率低。
文檔編號(hào)G06F3/01GK102902356SQ20121035025
公開日2013年1月30日 申請(qǐng)日期2012年9月18日 優(yōu)先權(quán)日2012年9月18日
發(fā)明者徐向民, 李文軒, 李敘瓊, 裘索, 徐桂從 申請(qǐng)人:華南理工大學(xué)