一種基于視覺跟蹤和手勢(shì)識(shí)別的人機(jī)交互方法
【專利摘要】本發(fā)明公開了一種基于視覺跟蹤和手勢(shì)識(shí)別的人機(jī)交互方法,本發(fā)明包括一個(gè)可變焦的高清紅外攝像頭以及多個(gè)高清紅外攝像頭。本發(fā)明裝置安裝在屏幕的邊框或邊框上方。其中可變焦的高清紅外攝像頭采集視覺的信息，再通過視覺觀察屏幕的位置和拍攝的圖像進(jìn)行標(biāo)定，最后通過本發(fā)明裝置的專用處理器實(shí)現(xiàn)瞳孔的識(shí)別，從而實(shí)現(xiàn)本發(fā)明方法的第一步視覺跟蹤。本發(fā)明的第二步在視覺跟蹤之后，多個(gè)高清紅外攝像頭在視覺觀察屏幕的區(qū)域?qū)崿F(xiàn)手勢(shì)的識(shí)別，即完成人機(jī)交互。再通過攝像頭對(duì)屏幕進(jìn)行標(biāo)定，對(duì)手勢(shì)進(jìn)行三維成像，并判斷手勢(shì)觸摸點(diǎn)的位置和動(dòng)作。本發(fā)明實(shí)現(xiàn)了具有視覺跟蹤的手勢(shì)識(shí)別人機(jī)交互系統(tǒng)，提供了智能的非接觸式的人機(jī)交互方式。
【專利說明】一種基于視覺跟蹤和手勢(shì)識(shí)別的人機(jī)交互方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)人工智能【技術(shù)領(lǐng)域】，更具體地，涉及一種基于視覺跟蹤和手勢(shì)識(shí)別的人機(jī)交互方法。
【背景技術(shù)】
[0002]技術(shù)的進(jìn)步使人與計(jì)算機(jī)之間的交互越來越接近自然方式的交互，也就是人們大力倡導(dǎo)的“自然交互”。觸摸技術(shù)這種輕松的人機(jī)交互方式已經(jīng)被推向了眾多的領(lǐng)域，除了應(yīng)用在個(gè)人便攜式數(shù)碼產(chǎn)品之外，它還被廣泛地應(yīng)用在信息家電、公共信息、電子游戲、辦公室自動(dòng)化設(shè)備以及工業(yè)設(shè)備等領(lǐng)域。利用觸摸技術(shù)，用戶只需要用手勢(shì)輕輕觸碰屏幕上的文字或圖標(biāo)就能夠?qū)崿F(xiàn)與計(jì)算機(jī)的交互，使得人與機(jī)器之間的交互更加直觀便捷。
[0003]而現(xiàn)有的觸摸技術(shù)必須通過人手接觸屏幕從而完成人機(jī)交互的過程。這種接觸式的觸摸技術(shù)當(dāng)人遠(yuǎn)離屏幕時(shí)無法實(shí)現(xiàn)與屏幕的自然交互，必須通過遙控器等裝置控制屏幕，不能提供良好的人機(jī)交互體驗(yàn)，因此上述觸摸技術(shù)在人工智能應(yīng)用中存在局限性。視覺跟蹤技術(shù)利用視覺的變化代替人手在觸摸屏上的運(yùn)動(dòng)，使人遠(yuǎn)離屏幕時(shí)仍可以定位屏幕上的任意區(qū)域。通過眼睛的運(yùn)動(dòng)使用觸摸屏，減少了許多步驟，加速以人為中心的智能化人機(jī)交互的發(fā)展與實(shí)現(xiàn)。目前這種技術(shù)還僅限于眼動(dòng)儀，人臉識(shí)別等方面的應(yīng)用，還未應(yīng)用在觸摸【技術(shù)領(lǐng)域】。

【發(fā)明內(nèi)容】

[0004]針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于視覺跟蹤和手勢(shì)識(shí)別的人機(jī)交互方法，其目的在于，能夠在任意具有屏幕特性的屏幕例如電腦液晶屏、普通液晶屏、投影儀屏幕、大型顯示器上實(shí)現(xiàn)視覺跟蹤，并實(shí)現(xiàn)非接觸式控制屏幕的人機(jī)交互方式。
[0005]為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于視覺跟蹤和手勢(shì)識(shí)別的人機(jī)交互方法，包括以下步驟:
[0006](I))將紅外光源、用于進(jìn)行視覺跟蹤的可變焦高清紅外攝像頭、以及多個(gè)用于進(jìn)行手勢(shì)識(shí)別的高清紅外攝像頭安裝在屏幕邊框處；
[0007](2)可變焦高清紅外攝像頭采集人臉圖像，并對(duì)采集的人臉圖像進(jìn)行人臉輪廓提?。?br> [0008](3)計(jì)算步驟(2)獲得的人臉輪廓中左、右瞳孔中心的像素坐標(biāo)(ueU vj和
(UeR，VeR);
[0009](4)根據(jù)人臉輪廓中左右瞳孔中心的像素坐標(biāo)以及屏幕四個(gè)角的坐標(biāo)計(jì)算左右瞳孔的投影矩陣Mel和Mer ；
[0010](5)通過步驟(4)得到的左右瞳孔的投影矩陣Mel和Mer以及左右瞳孔的中心像素坐標(biāo)值計(jì)算左、右瞳孔在屏幕上的物理坐標(biāo)值，該物理坐標(biāo)值所對(duì)應(yīng)的區(qū)域?yàn)橛脩魣?zhí)行手勢(shì)操作的區(qū)域:[0011 ]
【權(quán)利要求】
1.一種基于視覺跟蹤和手勢(shì)識(shí)別的人機(jī)交互方法，其特征在于，包括以下步驟: (1))將紅外光源、用于進(jìn)行視覺跟蹤的可變焦高清紅外攝像頭、以及多個(gè)用于進(jìn)行手勢(shì)識(shí)別的高清紅外攝像頭安裝在屏幕邊框處； (2)可變焦高清紅外攝像頭采集人臉圖像，并對(duì)采集的人臉圖像進(jìn)行人臉輪廓提??； (3)計(jì)算步驟(2)獲得的人臉輪廓中左、右瞳孔中心的像素坐標(biāo)vj和(UeK，Vdi)； (4)根據(jù)人臉輪廓中左右瞳孔中心的像素坐標(biāo)以及屏幕四個(gè)角的坐標(biāo)計(jì)算左右瞳孔的投影矩陣Mel和Mer ； (5)通過步驟(4)得到的左右瞳孔的投影矩陣Mel和Mer以及左右瞳孔的中心像素坐標(biāo)值計(jì)算左、右瞳孔在屏幕上的物理坐標(biāo)值，該物理坐標(biāo)值所對(duì)應(yīng)的區(qū)域?yàn)橛脩魣?zhí)行手勢(shì)操作的區(qū)域:

2.根據(jù)權(quán)利要求1所述的人機(jī)交互方法，其特征在于，步驟(2)包括以下子步驟: (2-1)利用可變焦高清紅外攝像頭采集人臉圖像，并用掩膜法對(duì)采集的人臉圖像去噪； (2-2)利用Sobel算子對(duì)人臉圖像上的像素點(diǎn)做梯度變換，以得到人臉輪廓。
3.根據(jù)權(quán)利要求2所述的人機(jī)交互方法，其特征在于，步驟(3)具體為，在步驟(2)獲得的人臉輪廓中使用SOBEL算子得到左瞳孔的左右像素坐標(biāo)值為ulel、uHeL,左瞳孔的上下像素坐標(biāo)值為νlel、νhel，左瞳孔的中心像素坐標(biāo)值(uel,vel)為(ulel+uhel/2,，vlel+vhel/2)，右瞳孔的中心像素坐標(biāo)值(uer, ver)為(uLer+uHer/2, vLer+vHer/2)。
4.根據(jù)權(quán)利要求1所述的人機(jī)交互方法，其特征在于，步驟(6)具體為，利用張正友標(biāo)定對(duì)屏.進(jìn)行標(biāo)定，以獲得標(biāo)定物在左右聞清紅外攝像頭上的像素坐標(biāo)，每個(gè)標(biāo)定物在左右高清紅外攝像頭上的像素坐標(biāo)(Ulm，Vlm)、(u2m, V2m)，其中m為標(biāo)定點(diǎn)的個(gè)數(shù)，并利用以下等式分別獲得左高清紅外攝像頭的投影矩陣Ml和右高清紅外攝像頭的投影矩陣Mr:
5.根據(jù)權(quán)利要求1所述的人機(jī)交互方法，其特征在于，步驟(7)具體包括以下子步驟: (7-1)左、右高清紅外攝像頭分別采集用戶手勢(shì)觸摸屏幕的圖像，并將采集到的圖像與初始化幀的圖像對(duì)應(yīng)點(diǎn)上像素點(diǎn)相減，以組成新的圖像； (7-2)對(duì)步驟(7-1)獲得的新的圖像進(jìn)行圖像去噪； (7-3)利用Sobel算子對(duì)圖像上的像素點(diǎn)做梯度變換，以得到邊緣檢測(cè)圖； (7-4)根據(jù)步驟(7-3)獲取的邊緣檢測(cè)圖對(duì)左、右高清紅外攝像頭上的像素點(diǎn)進(jìn)行K曲率判別，以獲得用戶的手勢(shì)在左、右高清紅外攝像頭上的成像坐標(biāo)(u1F，v1F)和(u2F，v2F)。
6.一種基于視覺跟蹤和手勢(shì)識(shí)別的人機(jī)交互方法，其特征在于，包括以下步驟: (1))將紅外光源、用于進(jìn)行視覺跟蹤的可變焦高清紅外攝像頭、以及多個(gè)用于進(jìn)行手勢(shì)識(shí)別的高清紅外攝像頭安裝在屏幕邊框處； (2)可變焦高清紅外攝像頭采集人臉圖像，并對(duì)采集的人臉圖像進(jìn)行人臉輪廓提??； (3)計(jì)算步驟(2)獲得的人臉輪廓中左、右瞳孔中心的像素坐標(biāo)vj和(UeK，Vdi)； (4)根據(jù)人臉輪廓中左右瞳孔中心的像素坐標(biāo)以及屏幕四個(gè)角的坐標(biāo)計(jì)算左右瞳孔的投影矩陣Mel和Mer ； (5)通過步驟(4)得到的左右瞳孔的投影矩陣Mel和Mer以及左右瞳孔的中心像素坐標(biāo)值計(jì)算左、右瞳孔在屏幕上的物理坐標(biāo)值，該物理坐標(biāo)值所對(duì)應(yīng)的區(qū)域?yàn)橛脩魣?zhí)行手勢(shì)操作的區(qū)域:
【文檔編號(hào)】G06K9/60GK103713738SQ201310693150
【公開日】2014年4月9日 申請(qǐng)日期:2013年12月17日 優(yōu)先權(quán)日:2013年12月17日
【發(fā)明者】何輝, 李磊, 劉凌志, 汪志冰 申請(qǐng)人:武漢拓寶電子系統(tǒng)有限公司