一種人機(jī)交互方法及裝置制造方法
【專利摘要】本發(fā)明實(shí)施例公開(kāi)了一種人機(jī)交互方法及裝置，該方法包括：捕捉視線方向；根據(jù)所述視線方向判斷視線與屏幕之間夾角的變化和/或用戶與所述屏幕之間距離的變化；根據(jù)所述夾角的變化和/或所述距離的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作。與上述方法相對(duì)應(yīng)，上述裝置包括：視線追蹤單元，處理單元和執(zhí)行單元。本發(fā)明能夠不依賴于重力感應(yīng)判斷出用戶的動(dòng)作并對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作。
【專利說(shuō)明】一種人機(jī)交互方法及裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及顯示內(nèi)容的操作，具體涉及一種人機(jī)交互方法及裝置。
【背景技術(shù)】
[0002]隨著電子技術(shù)的發(fā)展和用戶要求的提高，目前判斷電子產(chǎn)品優(yōu)劣的條件已經(jīng)遠(yuǎn)遠(yuǎn)不是停留在硬件指標(biāo)和技術(shù)指標(biāo)上，注重用戶體驗(yàn)和感受才是廠商贏得市場(chǎng)的關(guān)鍵。現(xiàn)有的很多電子產(chǎn)品如手機(jī)、平板電腦、MP3、MP4、游戲機(jī)等都能根據(jù)用戶的相應(yīng)動(dòng)作做出相應(yīng)的操作，如當(dāng)用戶翻轉(zhuǎn)機(jī)身時(shí)自動(dòng)翻轉(zhuǎn)屏幕，甩動(dòng)機(jī)身時(shí)切換界面、歌曲、視頻，傾斜機(jī)身時(shí)屏幕中圖像隨之移動(dòng)，賽車游戲中根據(jù)用戶對(duì)機(jī)身左右搖擺控制屏幕中賽車方向等等。這些相比起以前只能通過(guò)鍵盤或者觸屏操作的電子產(chǎn)品來(lái)說(shuō)，用戶體驗(yàn)大大的提高了。
[0003]現(xiàn)有技術(shù)實(shí)現(xiàn)上述功能的方法多是基于重力感應(yīng)原理，即利用壓電效應(yīng)，通過(guò)測(cè)量?jī)?nèi)部一片重物(目前電子產(chǎn)品內(nèi)部多是采用重力感應(yīng)芯片，重物和壓電片做成一體)重力正交兩個(gè)方向的分力大小來(lái)判斷方向，從而判斷用戶的動(dòng)作。重力感應(yīng)的缺陷在于產(chǎn)品要在重力范圍內(nèi)使用，脫離重力范圍后這些功能就會(huì)喪失。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所述解決的技術(shù)問(wèn)題是提供一種人機(jī)交互的方法及裝置，能夠不依賴于重力感應(yīng)判斷出用戶的動(dòng)作并對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作。
[0005]本申請(qǐng)第一方面提供一種人機(jī)交互方法，包括:
[0006]捕捉視線方向；
[0007]根據(jù)所述視線方向判斷視線與屏幕之間夾角的變化和/或用戶與所述屏幕之間距離的變化；
[0008]根據(jù)所述夾角的變化和/或所述距離的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作。
[0009]在第一種可能的實(shí)現(xiàn)方式中，所述捕捉視線方向包括:
[0010]根據(jù)瞳孔-角膜反射方法提取視線特征參數(shù)，所述視線特征參數(shù)包括瞳孔中心到角膜反射的向量；
[0011]根據(jù)所述瞳孔中心到角膜反射的向量計(jì)算所述視線方向在所述屏幕上的坐標(biāo)位置。
[0012]結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述視線特征參數(shù)還包括視線特征向量，根據(jù)所述視線方向判斷視線與屏幕之間夾角的變化和/或用戶與所述屏幕之間距離的變化包括:
[0013]根據(jù)所述視線特征向量計(jì)算用戶和所述屏幕之間距離；
[0014]根據(jù)所述用戶和所述屏幕之間距離和所述坐標(biāo)位置計(jì)算所述視線與屏幕之間夾角。
[0015]結(jié)合第一方面及第一方面的第一種、第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述夾角的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作包括:[0016]根據(jù)所述夾角的變化控制屏幕顯示內(nèi)容沿屏幕豎直方向、水平方向或者對(duì)角線方向移動(dòng)。
[0017]結(jié)合第一方面及第一方面的第一種、第二種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述夾角的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作包括:
[0018]根據(jù)所述夾角的變化控制屏幕顯示內(nèi)容向上一頁(yè)或者下一頁(yè)切換。
[0019]結(jié)合第一方面及第一方面的第一種、第二種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述距離的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作包括:
[0020]根據(jù)所述距離的變化調(diào)節(jié)屏幕顯示內(nèi)容的大小。
[0021]本申請(qǐng)第二方面提供一種人機(jī)交互裝置，包括:
[0022]視線追蹤單元，用于捕捉視線方向；
[0023]處理單元，用于根據(jù)所述視線方向判斷視線與屏幕之間夾角的變化和/或用戶與所述屏幕之間距離的變化；
[0024]執(zhí)行單元，用于根據(jù)所述夾角的變化和/或所述距離的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作。
[0025]在第一種可能的實(shí)現(xiàn)方式中，所述視線追蹤單元包括視線特征參數(shù)提取模塊和坐標(biāo)位置計(jì)算模塊，其中:
[0026]所述視線特征參數(shù)提取模塊用于根據(jù)瞳孔-角膜反射方法提取視線特征參數(shù)，所述視線特征參數(shù)包括瞳孔中心到角膜反射的向量；
[0027]所述坐標(biāo)位置計(jì)算模塊用于根據(jù)所述瞳孔中心到角膜反射的向量計(jì)算所述視線方向在所述屏幕上的坐標(biāo)位置。
[0028]結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述視線特征參數(shù)還包括視線特征向量，所述處理單元包括距離計(jì)算模塊和夾角計(jì)算模塊，其中:
[0029]所述距離計(jì)算模塊用于根據(jù)所述視線特征向量計(jì)算用戶和所述屏幕之間距離；
[0030]所述夾角計(jì)算模塊用于根據(jù)所述用戶和所述屏幕之間距離和所述坐標(biāo)位置計(jì)算所述視線與屏幕之間夾角。
[0031]結(jié)合第二方面及第二方面的第一種、第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述執(zhí)行單元根據(jù)所述夾角的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作的具體方式為:
[0032]所述執(zhí)行單元用于根據(jù)所述夾角的變化控制屏幕顯示內(nèi)容沿屏幕豎直方向、水平方向或者對(duì)角線方向移動(dòng)。
[0033]結(jié)合第二方面及第二方面的第一種、第二種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，，所述執(zhí)行單元根據(jù)所述夾角的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作的具體方式為:
[0034]所述執(zhí)行單元用于根據(jù)所述夾角的變化控制屏幕顯示內(nèi)容向上一頁(yè)或者下一頁(yè)切換。
[0035]結(jié)合第二方面及第二方面的第一種、第二種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，所述執(zhí)行單元根據(jù)所述距離的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作的具體方式為:
[0036]所述執(zhí)行單元用于根據(jù)所述距離的變化調(diào)節(jié)屏幕顯示內(nèi)容的大小。[0037]本申請(qǐng)?zhí)峁┑娜藱C(jī)交互方法及裝置根據(jù)用戶視線與屏幕夾角和用戶與屏幕之間的距離的變化來(lái)對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)的操作，不依賴于重力感應(yīng)，在脫離重力范圍后用戶仍能方便的操作屏幕，而且操作不需要用手控制，人機(jī)交互方式新穎，尤其適合殘障人士閱讀電子文檔、查看圖片、欣賞視頻等。
【專利附圖】

【附圖說(shuō)明】
[0038]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0039]圖1是本申請(qǐng)實(shí)施例提供的一種人機(jī)交互方法的流程圖；
[0040]圖2是視線追蹤的不意圖；
[0041]圖3為屏幕劃分25個(gè)點(diǎn)示意圖；
[0042]圖4是視線與視線法向線重合時(shí)視線與屏幕之間夾角的示意圖；
[0043]圖5?圖8是不同類型的視線與屏幕之間夾角的示意圖；
[0044]圖9是本申請(qǐng)實(shí)施例提供的一種人機(jī)交互裝置的結(jié)構(gòu)圖；
[0045]圖10是本申請(qǐng)實(shí)施例提供的另一種人機(jī)交互裝置的結(jié)構(gòu)圖；
[0046]圖11是本申請(qǐng)實(shí)施例提供的另一種人機(jī)交互裝置的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0047]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0048]請(qǐng)參考圖1，圖1是本申請(qǐng)實(shí)施例提供的一種人機(jī)交互方法的流程圖，包括:
[0049]SlOl、捕捉視線方向。
[0050]其中，捕捉用戶眼睛的視線方向可以采用視線追蹤技術(shù)，如圖2所示，通過(guò)安裝在顯示器或者機(jī)身上的一個(gè)攝像頭203和一個(gè)紅外光源發(fā)射器202捕捉視線方向。視線追蹤技術(shù)的方案可以采用基于眼睛視頻分析(Video OculoGraphic, V0G)的非侵入式視線追蹤技術(shù)，其基本原理是利用眼球轉(zhuǎn)動(dòng)時(shí)相對(duì)位置不變的某些眼部結(jié)構(gòu)和特征作為參照，在位置變化特征和這些不變特征之間提取視線(Line of sight/point ofregard, L0S/P0R)變化參數(shù)，然后通過(guò)幾何模型或映射模型獲取視線方向。基于VOG的視線追蹤技術(shù)分為視線特征參數(shù)提取和視線估計(jì)模型建立兩個(gè)組成部分。
[0051]視線特征參數(shù)是視線追蹤的必要過(guò)程和前提，根據(jù)視線追蹤方法的不同，提取的特征可以包括瞳孔中心與角膜反射的向量，角膜反射矩陣，虹膜的橢圓邊界等。基于VOG的視線追蹤技術(shù)普遍使用瞳孔-角膜反射方法。當(dāng)紅外光源與攝像頭同軸時(shí)，瞳孔將比虹膜更亮(亮瞳)；當(dāng)紅外光源與攝像頭分離時(shí)，瞳孔比虹膜更暗(暗瞳)?；谕?角膜反射方法的視線追蹤方法通過(guò)控制紅外光源的紅外線發(fā)射方向進(jìn)行視線特征檢測(cè)，使其產(chǎn)生亮瞳和暗瞳現(xiàn)象，并利用亮暗瞳圖像進(jìn)行圖像差分技術(shù)提取瞳孔特征，可以在整幅臉部圖像中快速捕捉眼部位置和在眼部圖像中精細(xì)準(zhǔn)確地分割瞳孔。
[0052]捕捉視線方向的方法可以為:控制紅外光源的紅外線發(fā)射方向或控制紅外光源交替亮暗，產(chǎn)生亮瞳和暗瞳隔幀交替出現(xiàn)的視頻序列，利用相鄰亮瞳和暗瞳圖像做差分消除背景的影響，在閾值化后的差分圖像中檢測(cè)瞳孔，具體步驟為:
[0053]亮瞳與暗瞳圖像相減得到差分圖像，對(duì)差分圖像做濾波，得到瞳孔區(qū)域；
[0054]檢測(cè)瞳孔區(qū)域的邊緣并在眼睛區(qū)域附近基于灰度搜索角膜反射；
[0055]通過(guò)求質(zhì)心的方法可以定位角膜反射中心，并對(duì)瞳孔邊緣做濾波，消除角膜反射對(duì)瞳孔邊緣輪廓的影響；
[0056]采用橢圓擬合定位瞳孔中心，得到中心坐標(biāo)，提取的視線特征向量L。
[0057]其中，
[0058]
【權(quán)利要求】
1.一種人機(jī)交互方法，其特征在于，包括: 捕捉視線方向； 根據(jù)所述視線方向判斷視線與屏幕之間夾角的變化和/或用戶與所述屏幕之間距離的變化； 根據(jù)所述夾角的變化和/或所述距離的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述捕捉視線方向包括: 根據(jù)瞳孔-角膜反射方法提取視線特征參數(shù)，所述視線特征參數(shù)包括瞳孔中心到角膜反射的向量； 根據(jù)所述瞳孔中心到角膜反射的向量計(jì)算所述視線方向在所述屏幕上的坐標(biāo)位置。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述視線特征參數(shù)還包括視線特征向量，根據(jù)所述視線方向判斷視線與屏幕之間夾角的變化和/或用戶與所述屏幕之間距離的變化包括: 根據(jù)所述視線特征向量計(jì)算用戶和所述屏幕之間距離； 根據(jù)所述用戶和所述屏幕之間距離和所述坐標(biāo)位置計(jì)算所述視線與屏幕之間夾角。
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述夾角的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作 包括: 根據(jù)所述夾角的變化控制屏幕顯示內(nèi)容沿屏幕豎直方向、水平方向或者對(duì)角線方向移動(dòng)。
5.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述夾角的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作包括: 根據(jù)所述夾角的變化控制屏幕顯示內(nèi)容向上一頁(yè)或者下一頁(yè)切換。
6.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述距離的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作包括: 根據(jù)所述距離的變化調(diào)節(jié)屏幕顯示內(nèi)容的大小。
7.—種人機(jī)交互裝置，其特征在于，包括: 視線追蹤單元，用于捕捉視線方向； 處理單元，用于根據(jù)所述視線方向判斷視線與屏幕之間夾角的變化和/或用戶與所述屏幕之間距離的變化； 執(zhí)行單元，用于根據(jù)所述夾角的變化和/或所述距離的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述視線追蹤單元包括視線特征參數(shù)提取模塊和坐標(biāo)位置計(jì)算模塊，其中: 所述視線特征參數(shù)提取模塊用于根據(jù)瞳孔-角膜反射方法提取視線特征參數(shù)，所述視線特征參數(shù)包括瞳孔中心到角膜反射的向量； 所述坐標(biāo)位置計(jì)算模塊用于根據(jù)所述瞳孔中心到角膜反射的向量計(jì)算所述視線方向在所述屏幕上的坐標(biāo)位置。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述視線特征參數(shù)還包括視線特征向量，所述處理單元包括距離計(jì)算模塊和夾角計(jì)算模塊，其中: 所述距離計(jì)算模塊用于根據(jù)所述視線特征向量計(jì)算用戶和所述屏幕之間距離；所述夾角計(jì)算模塊用于根據(jù)所述用戶和所述屏幕之間距離和所述坐標(biāo)位置計(jì)算所述視線與屏幕之間夾角。
10.根據(jù)權(quán)利要求7至9任一項(xiàng)所述的裝置，其特征在于，所述執(zhí)行單元根據(jù)所述夾角的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作的具體方式為: 所述執(zhí)行單元用于根據(jù)所述夾角的變化控制屏幕顯示內(nèi)容沿屏幕豎直方向、水平方向或者對(duì)角線方向移動(dòng)。
11.根據(jù)權(quán)利要求7至9任一項(xiàng)所述的裝置，其特征在于，所述執(zhí)行單元根據(jù)所述夾角的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作的具體方式為: 所述執(zhí)行單元用于根據(jù)所述夾角的變化控制屏幕顯示內(nèi)容向上一頁(yè)或者下一頁(yè)切換。
12.根據(jù)權(quán)利要求7至9任一項(xiàng)所述的裝置，其特征在于，所述執(zhí)行單元根據(jù)所述距離的變化對(duì)屏幕顯示內(nèi)容進(jìn)行相應(yīng)操作的具體方式為: 所述執(zhí)行單元用于根據(jù)所 述距離的變化調(diào)節(jié)屏幕顯示內(nèi)容的大小。
【文檔編號(hào)】G06F3/01GK103809737SQ201210452461
【公開(kāi)日】2014年5月21日 申請(qǐng)日期:2012年11月13日 優(yōu)先權(quán)日:2012年11月13日
【發(fā)明者】李穎 申請(qǐng)人:華為技術(shù)有限公司