本發(fā)明涉及智能硬件人機(jī)交互技術(shù)領(lǐng)域，更具體地說(shuō)，涉及一種眼動(dòng)方向識(shí)別方法及裝置。

背景技術(shù)：

在人機(jī)交互技術(shù)領(lǐng)域，盡管當(dāng)前已經(jīng)有許多新興交互方式的嘗試，比如體感交互、眼動(dòng)跟蹤、語(yǔ)音交互、生物識(shí)別等方式，但大部分的交互方式使用率都不是非常高，也還未進(jìn)入真正意義上的商業(yè)應(yīng)用普及中，更沒(méi)有哪種人機(jī)交互方式，能夠達(dá)到人可以毫無(wú)障礙、隨心所欲地和設(shè)備(機(jī)器)交流的水平。除了逐漸普及了的多點(diǎn)觸控交互方式以外，其他大部分的人機(jī)交互方式在技術(shù)以及使用穩(wěn)定性上還有待突圍。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題在于，針對(duì)現(xiàn)有技術(shù)的上述缺陷，提供一種更加易于實(shí)施的基于圖像分析方法的眼動(dòng)方向識(shí)別方法及裝置。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：

構(gòu)造一種眼動(dòng)方向識(shí)別方法，其中，包括以下步驟：

步驟1：通過(guò)攝像頭以預(yù)設(shè)時(shí)間間隔持續(xù)獲取眼部圖片；

步驟2：讀取眼部圖片，判斷當(dāng)前幀圖片是否為眨眼圖片，若是，則忽略該幀圖片，否則執(zhí)行步驟3；所述眨眼圖片包括人眼正常狀態(tài)下自然眨眼的正常眨眼圖片和用于輸出控制指令的控制眨眼圖片，所述正常眨眼圖片與所述控制眨眼圖片的區(qū)別在于，每次正常眨眼產(chǎn)生的連續(xù)正常眨眼圖片幀數(shù)少于每次用于輸出控制指令的控制眨眼圖片幀數(shù)；

步驟3：對(duì)當(dāng)前幀眼部圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算當(dāng)前幀眼部圖片的瞳孔周?chē)鷪D片面積，并存儲(chǔ)，所述瞳孔周?chē)鷪D片包括眼眶內(nèi)側(cè)邊緣與瞳孔外側(cè)邊緣之間的圖片；

步驟4：重復(fù)執(zhí)行步驟2和步驟3，根據(jù)所存儲(chǔ)的多個(gè)眼動(dòng)狀態(tài)下瞳孔周?chē)鷪D片面積的變化趨勢(shì)判斷眼動(dòng)方向。

本發(fā)明所述的眼動(dòng)方向識(shí)別方法，其中，所述步驟2具體包括：計(jì)數(shù)連續(xù)的眨眼圖片幀數(shù)，在該幀數(shù)大于預(yù)設(shè)值時(shí)，判斷當(dāng)前連續(xù)的數(shù)幀圖片為控制眨眼圖片，在該幀數(shù)小于預(yù)設(shè)值時(shí)，判斷當(dāng)前連續(xù)的數(shù)幀圖片為正常眨眼圖片，并在檢測(cè)到控制眨眼圖片時(shí)，輸出相應(yīng)的控制指令。

本發(fā)明所述的眼動(dòng)方向識(shí)別方法，其中，所述步驟3中，提取瞳孔周?chē)鷪D片具體包括：提取瞳孔左側(cè)圖片、提取瞳孔右側(cè)圖片；

計(jì)算瞳孔周?chē)鷪D片面積具體包括：計(jì)算瞳孔左側(cè)圖片面積、計(jì)算瞳孔右側(cè)圖片面積。

本發(fā)明所述的眼動(dòng)方向識(shí)別方法，其中，所述步驟3中，提取瞳孔周?chē)鷪D片進(jìn)一步具體包括：提取瞳孔上側(cè)圖片、提取瞳孔下側(cè)圖片；

計(jì)算瞳孔周?chē)鷪D片面積具體包括：計(jì)算瞳孔上側(cè)圖片面積、計(jì)算瞳孔下側(cè)圖片面積。

本發(fā)明所述的眼動(dòng)方向識(shí)別方法，其中，所述步驟4具體包括：

根據(jù)所述瞳孔左側(cè)圖片面積大小和所述瞳孔右側(cè)圖片面積大小的變化趨勢(shì)判斷眼部左右動(dòng)作。

本發(fā)明所述的眼動(dòng)方向識(shí)別方法，其中，所述步驟4具體包括：

根據(jù)所述瞳孔上側(cè)圖片面積大小和所述瞳孔下側(cè)圖片面積大小的變化趨勢(shì)判斷眼部上下動(dòng)作。

本發(fā)明所述的眼動(dòng)方向識(shí)別方法，其中，所述步驟4具體包括：

依次計(jì)算同一幀圖片中的所述瞳孔左側(cè)圖片面積和瞳孔右側(cè)圖片面積比例值，并存儲(chǔ)于第一隊(duì)列中；

根據(jù)所述第一隊(duì)列中存儲(chǔ)的多個(gè)比例值繪制瞳孔移動(dòng)坐標(biāo)曲線圖；

根據(jù)所述瞳孔移動(dòng)坐標(biāo)曲線圖判斷眼部左右動(dòng)作方向。

本發(fā)明所述的眼動(dòng)方向識(shí)別方法，其中，所述步驟4具體包括：

依次計(jì)算同一幀圖片中的所述瞳孔上側(cè)圖片面積和瞳孔下側(cè)圖片面積比例值，并存儲(chǔ)于第二隊(duì)列中；

根據(jù)所述第二隊(duì)列中存儲(chǔ)的多個(gè)比例值繪制瞳孔移動(dòng)坐標(biāo)曲線圖；

根據(jù)所述瞳孔移動(dòng)坐標(biāo)曲線圖判斷眼部上下動(dòng)作方向。

本發(fā)明還提供了一種眼動(dòng)方向識(shí)別裝置，其中，包括：

攝像模塊，用于通過(guò)攝像頭以預(yù)設(shè)時(shí)間間隔持續(xù)獲取眼部圖片；

判斷模塊，用于判斷當(dāng)前幀圖片是否為眨眼圖片；

圖片分析模塊，用于對(duì)當(dāng)前幀眼部圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算當(dāng)前幀眼部圖片的瞳孔周?chē)鷪D片面積，并存儲(chǔ)，所述瞳孔周?chē)鷪D片包括眼眶內(nèi)側(cè)邊緣與瞳孔外側(cè)邊緣之間的圖片；

判斷模塊，用于根據(jù)所述第1眼動(dòng)狀態(tài)和所述第n+1眼動(dòng)狀態(tài)下瞳孔周?chē)鷪D片面積的變化趨勢(shì)判斷眼動(dòng)方向。

本發(fā)明的有益效果在于：通過(guò)提取其中瞳孔周?chē)鷪D片，計(jì)算眼部圖片的瞳孔周?chē)鷪D片面積，忽略正常眨眼圖片，同時(shí)可根據(jù)控制眨眼圖片輸出眨眼控制指令，根據(jù)連續(xù)眼動(dòng)狀態(tài)下瞳孔周?chē)鷪D片面積的變化趨勢(shì)可實(shí)現(xiàn)對(duì)眼動(dòng)方向的判斷，與現(xiàn)有眼動(dòng)方向判斷方法相比，本方法能節(jié)省大量運(yùn)算，提高計(jì)算速度并降低硬件實(shí)現(xiàn)成本。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明，下面描述中的附圖僅僅是本發(fā)明的部分實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他附圖：

圖1是本發(fā)明較佳實(shí)施例的眼動(dòng)方向識(shí)別方法流程圖；

圖2a、2b、2c、2d是本發(fā)明較佳實(shí)施例的持續(xù)獲取的4幀眼部圖片示意圖；

圖3a、3b、3c、3d是本發(fā)明較佳實(shí)施例的持續(xù)獲取的4幀眼部圖片示意圖；

圖4是本發(fā)明較佳實(shí)施例的第一左右眼動(dòng)方向趨勢(shì)示意圖；

圖5是本發(fā)明較佳實(shí)施例的第二左右眼動(dòng)方向趨勢(shì)示意圖；

圖6是本發(fā)明較佳實(shí)施例的第一上下眼動(dòng)方向趨勢(shì)示意圖；

圖7是本發(fā)明較佳實(shí)施例的第二上下眼動(dòng)方向趨勢(shì)示意圖。

具體實(shí)施方式

為了使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整的描述，顯然，所描述的實(shí)施例是本發(fā)明的部分實(shí)施例，而不是全部實(shí)施例。基于本發(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有付出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明的保護(hù)范圍。

本發(fā)明較佳實(shí)施例的眼動(dòng)方向識(shí)別方法流程如圖1所示，包括以下步驟：

步驟s1：通過(guò)攝像頭以預(yù)設(shè)時(shí)間間隔持續(xù)獲取眼部圖片；

步驟s2：讀取眼部圖片，判斷當(dāng)前幀圖片是否為眨眼圖片，若是，則忽略該幀圖片，否則執(zhí)行步驟s3；所述眨眼圖片包括人眼正常狀態(tài)下自然眨眼的正常眨眼圖片和用于輸出控制指令的控制眨眼圖片，所述正常眨眼圖片與所述控制眨眼圖片的區(qū)別在于，每次正常眨眼產(chǎn)生的連續(xù)正常眨眼圖片幀數(shù)少于每次用于輸出控制指令的控制眨眼圖片幀數(shù)；

步驟s3：對(duì)當(dāng)前幀眼部圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算當(dāng)前幀眼部圖片的瞳孔周?chē)鷪D片面積，并存儲(chǔ)，所述瞳孔周?chē)鷪D片包括眼眶內(nèi)側(cè)邊緣與瞳孔外側(cè)邊緣之間的圖片；

步驟s4：重復(fù)執(zhí)行步驟s2和步驟s3，根據(jù)所存儲(chǔ)的多個(gè)眼動(dòng)狀態(tài)下瞳孔周?chē)鷪D片面積的變化趨勢(shì)判斷眼動(dòng)方向。

本發(fā)明通過(guò)提取其中瞳孔周?chē)鷪D片，計(jì)算眼部圖片的瞳孔周?chē)鷪D片面積，忽略正常眨眼圖片，同時(shí)可根據(jù)控制眨眼圖片輸出眨眼控制指令，根據(jù)連續(xù)眼動(dòng)狀態(tài)下瞳孔周?chē)鷪D片面積的變化趨勢(shì)可實(shí)現(xiàn)對(duì)眼動(dòng)方向的判斷，與現(xiàn)有眼動(dòng)方向判斷方法相比，本方法能節(jié)省大量運(yùn)算，提高計(jì)算速度并降低硬件實(shí)現(xiàn)成本。

上述眼動(dòng)方向識(shí)別方法中，步驟s2具體包括：計(jì)數(shù)連續(xù)的眨眼圖片幀數(shù)，在該幀數(shù)大于預(yù)設(shè)值時(shí)，判斷當(dāng)前連續(xù)的數(shù)幀圖片為控制眨眼圖片，在該幀數(shù)小于預(yù)設(shè)值時(shí)，判斷當(dāng)前連續(xù)的數(shù)幀圖片為正常眨眼圖片，并在檢測(cè)到控制眨眼圖片時(shí)，輸出相應(yīng)的控制指令。

進(jìn)一步地，上述步驟s2和步驟s3中，如圖2a、2b、2c、2d所示，提取瞳孔周?chē)鷪D片具體包括：提取瞳孔左側(cè)圖片a-1、a-2、a-3、a-4,提取瞳孔右側(cè)圖片b-1、b-2、b-3、b-4；

計(jì)算瞳孔周?chē)鷪D片面積具體包括：計(jì)算瞳孔左側(cè)圖片面積pa-1、pa-2、pa-3、pa-4，計(jì)算瞳孔右側(cè)圖片面積pb-1、pb-2、pb-3、pb-4。

上述計(jì)算方法，與現(xiàn)有眼動(dòng)方向判斷方法相比，本方法能節(jié)省大量運(yùn)算，提高計(jì)算速度并降低硬件實(shí)現(xiàn)成本。

進(jìn)一步地，上述步驟s2和步驟s3中，如圖3a、3b、3c、3d所示，提取瞳孔周?chē)鷪D片進(jìn)一步具體包括：提取瞳孔上側(cè)圖片c-1、c-2、c-3、c-4,提取瞳孔下側(cè)圖片d-1、d-2、d-3、d-4；

計(jì)算瞳孔周?chē)鷪D片面積具體包括：計(jì)算瞳孔上側(cè)圖片面積pc-1、pc-2、pc-3、pc-4，計(jì)算瞳孔下側(cè)圖片面積pd-1、pd-2、pd-3、pd-4。

進(jìn)一步地，上述步驟s4具體包括：根據(jù)瞳孔左側(cè)圖片面積大小和瞳孔右側(cè)圖片面積大小的變化趨勢(shì)判斷眼部左右動(dòng)作。如圖2a、2b、2c、2d所示，瞳孔左側(cè)圖片面積pa-1、pa-2、pa-3、pa-4逐漸變小，瞳孔右側(cè)圖片面積pb-1、pb-2、pb-3、pb-4則逐漸變大，則可以判斷出瞳孔移動(dòng)方向。

進(jìn)一步地，上述步驟s4具體包括：根據(jù)瞳孔上側(cè)圖片面積大小和瞳孔下側(cè)圖片面積大小的變化趨勢(shì)判斷眼部上下動(dòng)作。如圖3a、3b、3c、3d所示，瞳孔上側(cè)圖片面積pc-1、pc-2、pc-3、pc-4依次變小，瞳孔下側(cè)圖片面積pd-1、pd-2、pd-3、pd-4依次變大，則可以判斷出瞳孔向上移動(dòng)了。

進(jìn)一步地，上述步驟s4具體包括：

依次計(jì)算同一幀圖片中的瞳孔左側(cè)圖片面積和瞳孔右側(cè)圖片面積比例值，并存儲(chǔ)于第一隊(duì)列中，如下表1所示；

根據(jù)第一隊(duì)列中存儲(chǔ)的多個(gè)比例值繪制瞳孔移動(dòng)坐標(biāo)曲線圖；

根據(jù)瞳孔移動(dòng)坐標(biāo)曲線圖判斷眼部左右動(dòng)作方向。

表1第一隊(duì)列

進(jìn)一步地，上述步驟s4具體包括：

依次計(jì)算同一幀圖片中的瞳孔上側(cè)圖片面積和瞳孔下側(cè)圖片面積比例值，并存儲(chǔ)于第二隊(duì)列中，如下表2所示；

根據(jù)第二隊(duì)列中存儲(chǔ)的多個(gè)比例值繪制瞳孔移動(dòng)坐標(biāo)曲線圖；

根據(jù)瞳孔移動(dòng)坐標(biāo)曲線圖判斷眼部上下動(dòng)作方向。

表2第二隊(duì)列

進(jìn)一步地，上述步驟s1中，預(yù)設(shè)時(shí)間間隔為30ms。

在一個(gè)具體的實(shí)施例中，通過(guò)攝像頭以30ms時(shí)間間隔持續(xù)獲取4幀眼部圖片，獲取順序依次為圖2a—2b—2c—2d所示；對(duì)第1幀眼部圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算第1幀眼部圖片的瞳孔周?chē)鷪D片面積，包括瞳孔左側(cè)圖片面積、瞳孔右側(cè)圖片面積，并存儲(chǔ)為第1眼動(dòng)狀態(tài)；依次對(duì)第2、3、4幀圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算該第2、3、4幀眼部圖片的瞳孔周?chē)鷪D片面積，并存儲(chǔ)第第2、3、4眼動(dòng)狀態(tài)；根據(jù)第1、2、3、4眼動(dòng)狀態(tài)下瞳孔周?chē)鷪D片面積的變化趨勢(shì)判斷眼動(dòng)方向。其中，第1眼動(dòng)狀態(tài)下，pa-1/pb-1＝1，第2眼動(dòng)狀態(tài)下pa-2/pb-2＝0.9，第3眼動(dòng)狀態(tài)下pa-3/pb-3＝0.8，第4眼動(dòng)狀態(tài)下pa-4/pb-4＝0.7。根據(jù)4個(gè)狀態(tài)下的比值，可繪制出瞳孔移動(dòng)坐標(biāo)曲線圖，如圖4所示。

在另一個(gè)具體的實(shí)施例中，如圖2a、2b、2c、2d，通過(guò)攝像頭以30ms時(shí)間間隔持續(xù)獲取4幀眼部圖片，獲取順序依次為圖2d—2c—2b—2a所示；對(duì)第1幀眼部圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算第1幀眼部圖片的瞳孔周?chē)鷪D片面積，包括瞳孔左側(cè)圖片面積、瞳孔右側(cè)圖片面積，并存儲(chǔ)為第1眼動(dòng)狀態(tài)；依次對(duì)第2、3、4幀圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算該第2、3、4幀眼部圖片的瞳孔周?chē)鷪D片面積，并存儲(chǔ)第第2、3、4眼動(dòng)狀態(tài)；根據(jù)第1、2、3、4眼動(dòng)狀態(tài)下瞳孔周?chē)鷪D片面積的變化趨勢(shì)判斷眼動(dòng)方向。其中，第1眼動(dòng)狀態(tài)下，pa-1/pb-1＝0.7，第2眼動(dòng)狀態(tài)下pa-2/pb-2＝0.8，第3眼動(dòng)狀態(tài)下pa-3/pb-3＝0.9，第4眼動(dòng)狀態(tài)下pa-4/pb-4＝1。根據(jù)4個(gè)狀態(tài)下的比值，可繪制出瞳孔移動(dòng)坐標(biāo)曲線圖，如圖5所示。

在另一個(gè)具體的實(shí)施例中，通過(guò)攝像頭以30ms時(shí)間間隔持續(xù)獲取4幀眼部圖片，獲取順序依次為圖3a—3b—3c—3d所示；對(duì)第1幀眼部圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算第1幀眼部圖片的瞳孔周?chē)鷪D片面積，包括瞳孔左側(cè)圖片面積、瞳孔右側(cè)圖片面積、瞳孔上側(cè)圖片面積和瞳孔下側(cè)圖片面積，并存儲(chǔ)為第1眼動(dòng)狀態(tài)；依次對(duì)第2、3、4幀圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算該第2、3、4幀眼部圖片的瞳孔周?chē)鷪D片面積，并存儲(chǔ)第第2、3、4眼動(dòng)狀態(tài)；根據(jù)第1、2、3、4眼動(dòng)狀態(tài)下瞳孔周?chē)鷪D片面積的變化趨勢(shì)判斷眼動(dòng)方向。其中，第1眼動(dòng)狀態(tài)下，pa-1/pb-1＝1、pc-1/pd-1＝1，第2眼動(dòng)狀態(tài)下pa-2/pb-2＝0.9、pc-1/pd-1＝0.9，第3眼動(dòng)狀態(tài)下pa-3/pb-3＝0.8、pc-1/pd-1＝0.8，第4眼動(dòng)狀態(tài)下pa-4/pb-4＝0.7、pc-1/pd-1＝0.7。根據(jù)4個(gè)狀態(tài)下的比值，可繪制出瞳孔移動(dòng)坐標(biāo)曲線圖，左右眼動(dòng)方向如圖3所示，上下眼動(dòng)方向如圖6所示。

在另一個(gè)具體的實(shí)施例中，通過(guò)攝像頭以30ms時(shí)間間隔持續(xù)獲取4幀眼部圖片，獲取順序依次為圖3d—3c—3b—3a所示；對(duì)第1幀眼部圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算第1幀眼部圖片的瞳孔周?chē)鷪D片面積，包括瞳孔左側(cè)圖片面積、瞳孔右側(cè)圖片面積、瞳孔上側(cè)圖片面積和瞳孔下側(cè)圖片面積，并存儲(chǔ)為第1眼動(dòng)狀態(tài)；依次對(duì)第2、3、4幀圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算該第2、3、4幀眼部圖片的瞳孔周?chē)鷪D片面積，并存儲(chǔ)第第2、3、4眼動(dòng)狀態(tài)；根據(jù)第1、2、3、4眼動(dòng)狀態(tài)下瞳孔周?chē)鷪D片面積的變化趨勢(shì)判斷眼動(dòng)方向。其中，第1眼動(dòng)狀態(tài)下，pa-1/pb-1＝0.7、pc-1/pd-1＝0.7，第2眼動(dòng)狀態(tài)下pa-2/pb-2＝0.8、pc-1/pd-1＝0.8，第3眼動(dòng)狀態(tài)下pa-3/pb-3＝0.9、pc-1/pd-1＝0.9，第4眼動(dòng)狀態(tài)下pa-4/pb-4＝1、pc-1/pd-1＝1。根據(jù)4個(gè)狀態(tài)下的比值，可繪制出瞳孔移動(dòng)坐標(biāo)曲線圖，左右眼動(dòng)方向如圖4所示，上下眼動(dòng)方向如圖7所示。

在本發(fā)明的另一實(shí)施例中，還提供了本發(fā)明還包括一種眼動(dòng)方向識(shí)別裝置，包括：攝像模塊，用于通過(guò)攝像頭以預(yù)設(shè)時(shí)間間隔持續(xù)獲取眼部圖片；圖片分析模塊，用于對(duì)第1幀眼部圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算第1幀眼部圖片的瞳孔周?chē)鷪D片面積，并存儲(chǔ)為第1眼動(dòng)狀態(tài)，瞳孔周?chē)鷪D片包括眼眶內(nèi)側(cè)邊緣與瞳孔外側(cè)邊緣之間的圖片；以及，用于對(duì)第n+1幀眼部圖片進(jìn)行分析，提取其中瞳孔周?chē)鷪D片，計(jì)算該第n+1幀眼部圖片的瞳孔周?chē)鷪D片面積，并存儲(chǔ)第n+1眼動(dòng)狀態(tài)，n為自然數(shù)；判斷模塊，用于根據(jù)第1眼動(dòng)狀態(tài)和第n+1眼動(dòng)狀態(tài)下瞳孔周?chē)鷪D片面積的變化趨勢(shì)判斷眼動(dòng)方向。具體實(shí)現(xiàn)方式參見(jiàn)上述各方法實(shí)施例，在此不贅述。

應(yīng)當(dāng)理解的是，對(duì)本領(lǐng)域普通技術(shù)人員來(lái)說(shuō)，可以根據(jù)上述說(shuō)明加以改進(jìn)或變換，而所有這些改進(jìn)和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。