本發(fā)明涉及移動(dòng)設(shè)備通信應(yīng)用領(lǐng)域，特別是涉及一種基于眼球追蹤控制終端的方法及裝置。

背景技術(shù)：

現(xiàn)有的用戶(hù)與智能移動(dòng)終端設(shè)備進(jìn)行交互的方式，基本都是通過(guò)用戶(hù)主動(dòng)地觸摸屏幕或者鍵盤(pán)輸出以控制智能移動(dòng)終端。也就是說(shuō)，操控智能移動(dòng)終端設(shè)備時(shí)，一般都需要用戶(hù)手動(dòng)地配合，例如按鍵點(diǎn)擊和觸摸屏幕等等。這種交互方式一方面比較費(fèi)力，另一方面，在用戶(hù)雙手不方便的情況下，便不能對(duì)設(shè)備進(jìn)行操控。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明主要解決的技術(shù)問(wèn)題是提供一種基于眼球追蹤控制終端的方法及裝置，能夠使得用戶(hù)僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，其提高了對(duì)終端操作效率，也進(jìn)一步提升設(shè)備的智能化水平，帶來(lái)一種全新的交互體驗(yàn)。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種基于眼球追蹤控制終端的方法，所述方法包括：?jiǎn)?dòng)終端內(nèi)的應(yīng)用；啟動(dòng)眼球追蹤系統(tǒng)；通過(guò)眼球跟蹤系統(tǒng)而采集用戶(hù)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)；接收用戶(hù)指令；響應(yīng)用戶(hù)指令，并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶(hù)指令。

其中，應(yīng)用為電子書(shū)應(yīng)用。

其中，用戶(hù)指令為語(yǔ)音指令或者動(dòng)作指令。

其中，用戶(hù)指令包括添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字、翻頁(yè)、改變閱讀頁(yè)面的顏色和字體的指令。

其中，響應(yīng)用戶(hù)指令并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶(hù)指令的步驟，包括：當(dāng)用戶(hù)指令為語(yǔ)音指令且語(yǔ)音指令為添加備注時(shí)，在用戶(hù)眼球凝視屏幕的凝視坐標(biāo)位置處彈出添加備注的提示框；在提示框內(nèi)根據(jù)語(yǔ)音指令而添加備注內(nèi)容。

其中，響應(yīng)用戶(hù)指令并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶(hù)指令的步驟，包括：當(dāng)用戶(hù)指令為語(yǔ)音指令且語(yǔ)音指令為選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字時(shí)，獲取某段文字的起始位置和終止位置處的用戶(hù)的眼球凝視屏幕的凝視坐標(biāo)；根據(jù)文字的起始位置和終止位置處的用戶(hù)的眼球凝視屏幕的凝視坐標(biāo)而獲取從起始位置至終止位置內(nèi)的文字；根據(jù)語(yǔ)音指令而對(duì)選定的文字執(zhí)行相應(yīng)的操作。

其中，獲取某段文字的起始位置和終止位置處的用戶(hù)的眼球凝視屏幕的凝視坐標(biāo)的步驟，包括：發(fā)出確認(rèn)起始位置的語(yǔ)音提示，并采集獲取用戶(hù)的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第一眼球狀態(tài)信息；發(fā)出確認(rèn)終止位置的語(yǔ)音提示，并采集獲取用戶(hù)的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第二眼球狀態(tài)信息；或者，檢測(cè)用戶(hù)眼睛盯著起始位置處的時(shí)間是否大于第一時(shí)間閾值，并采集獲取用戶(hù)的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第一時(shí)間閾值，保存第一眼球狀態(tài)信息；檢測(cè)用戶(hù)眼睛盯著終止位置處的時(shí)間是否大于第二時(shí)間閾值，并采集獲取用戶(hù)的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第二時(shí)間閾值，保存第二眼球狀態(tài)信息。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的另一個(gè)技術(shù)方案是：提供一種基于眼球追蹤控制終端的裝置，包括：應(yīng)用啟動(dòng)模塊，用于啟動(dòng)終端內(nèi)的應(yīng)用；眼球追蹤啟動(dòng)模塊，用于啟動(dòng)眼球追蹤系統(tǒng)；采集模塊，用于通過(guò)眼球跟蹤系統(tǒng)而采集用戶(hù)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)；指令接收模塊，用于接收用戶(hù)指令；指令響應(yīng)模塊，用于響應(yīng)用戶(hù)指令，并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶(hù)指令。

其中，應(yīng)用啟動(dòng)模塊所啟動(dòng)的應(yīng)用為電子書(shū)應(yīng)用。

其中，指令接收模塊所接收的用戶(hù)指令為語(yǔ)音指令或者動(dòng)作指令。

以上方案，利用眼球跟蹤技術(shù)，采集用戶(hù)在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶(hù)的指令，能夠使得用戶(hù)僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來(lái)一種全新的交互體驗(yàn)。

附圖說(shuō)明

圖1是本發(fā)明基于眼球追蹤控制終端的方法一實(shí)施方式的流程示意圖；

圖2是本發(fā)明基于眼球追蹤控制終端的方法另一實(shí)施方式的流程示意圖；

圖3是本發(fā)明基于眼球追蹤控制終端的方法又一實(shí)施方式的流程示意圖；

圖4是本發(fā)明基于眼球追蹤控制終端的裝置一實(shí)施方式的結(jié)構(gòu)示意圖；

圖5是本發(fā)明基于眼球追蹤控制終端的裝置另一實(shí)施方式的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施方式中的附圖，對(duì)本發(fā)明實(shí)施方式中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施方式僅是本發(fā)明的一部分實(shí)施方式，而不是全部的實(shí)施方式?；诒景l(fā)明中的實(shí)施方式，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施方式，都屬于本發(fā)明保護(hù)的范圍。

請(qǐng)參閱圖1，圖1是本發(fā)明基于眼球追蹤控制終端的方法一實(shí)施方式的流程示意圖。需注意的是，本發(fā)明的方法并不僅僅局限于圖1所示的流程順序。如圖1所示，該方法包括如下步驟：

s101：?jiǎn)?dòng)終端內(nèi)的應(yīng)用。

其中，終端可以是智能手機(jī)、平板電腦、筆記本電腦、掌上電腦、移動(dòng)互聯(lián)網(wǎng)設(shè)備(mid，mobileinternetdevice)、電子書(shū)(electronicbook，e-book)、可穿戴設(shè)備(例如智能手表、智能手環(huán))等智能移動(dòng)終端。

其中，所啟動(dòng)的應(yīng)用為可以選定和/或編輯文字的應(yīng)用，可以為電子書(shū)應(yīng)用，也可以為消息推送應(yīng)用，比如微博、朋友圈、電子郵箱、新聞?lì)^條等，還可以為wps、pdf等。

s102：?jiǎn)?dòng)眼球追蹤系統(tǒng)。

其中，眼球追蹤系統(tǒng)所采用的眼球追蹤技術(shù)的原理是，當(dāng)人的眼睛看向不同方向時(shí)，眼部會(huì)有細(xì)微的變化，這些變化會(huì)產(chǎn)生可以提取的特征，計(jì)算機(jī)可以通過(guò)圖像捕捉或掃描提取這些特征，從而實(shí)時(shí)追蹤眼睛的變化，預(yù)測(cè)用戶(hù)的狀態(tài)和需求，并進(jìn)行響應(yīng)，達(dá)到用眼睛控制設(shè)備的目的。也即是，眼球追蹤技術(shù)主要是研究眼球運(yùn)動(dòng)信息的獲取、建模和模擬。

眼球追蹤技術(shù)具體可以用三種追蹤方向，一是根據(jù)眼球和眼球周邊的特征變化進(jìn)行跟蹤，二是根據(jù)虹膜角度變化進(jìn)行跟蹤，三是主動(dòng)投射紅外線等光束到虹膜來(lái)提取特征。在本實(shí)施方式中的追蹤方向就是通過(guò)終端設(shè)備上的圖像采集設(shè)備捕捉并跟蹤用戶(hù)眼球和眼球周邊的狀態(tài)及變化(如眼球的“閃爍”以及眼網(wǎng)膜的反射等)，進(jìn)而解析出用戶(hù)當(dāng)前凝視的屏幕位置，最終通過(guò)跟蹤用戶(hù)眼球的活動(dòng)來(lái)實(shí)現(xiàn)對(duì)終端設(shè)備進(jìn)行控制的目的。其中，圖像采集設(shè)備可以是終端設(shè)備上的攝像頭。

此外，在另外一些實(shí)施方式中，眼球追蹤技術(shù)的主要設(shè)備還包括紅外設(shè)備。其中，紅外設(shè)備的投射方式能在30英寸左右的屏幕上精確到1厘米以?xún)?nèi)，輔以眨眼識(shí)別、注視識(shí)別等技術(shù)，可以在一定程度上替代鼠標(biāo)、觸摸板。

s103：通過(guò)眼球追蹤系統(tǒng)而采集用戶(hù)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)。

其中，在眼球跟蹤技術(shù)中，采集眼球凝視屏幕的凝視坐標(biāo)的過(guò)程是，先固定攝像機(jī)的位置、屏幕和/或光源的位置、眼球中心位置不變(假設(shè)眼球?yàn)榍驙?，且頭部不動(dòng))，普爾欽斑的絕對(duì)位置不隨眼球的轉(zhuǎn)動(dòng)而變化。但普爾欽斑相對(duì)于瞳孔和眼球的位置則是在不斷變化的，比如，當(dāng)眼睛盯著攝像頭時(shí)，普爾欽斑就在瞳孔之間；而當(dāng)抬起頭時(shí)，普爾欽斑就在瞳孔下方。此時(shí)，只要實(shí)時(shí)定位眼睛圖像上的瞳孔、和普爾欽斑的位置，計(jì)算出角膜反射向量，便能利用幾何模型，估算得到用戶(hù)的視線方向。再基于前期定標(biāo)過(guò)程，讓用戶(hù)注視屏幕上特定的點(diǎn)的過(guò)程中所建立的用戶(hù)眼睛特征與屏幕呈現(xiàn)內(nèi)容之間的關(guān)系，終端設(shè)備即可以計(jì)算出眼球凝視屏幕的凝視坐標(biāo)。其中，普爾欽斑(purkinjeimage)是眼球角膜上的一個(gè)亮光點(diǎn)，由進(jìn)入瞳孔的光線在角膜外表面上反射(cornealreflection)而產(chǎn)生。

s104：接收用戶(hù)指令。

其中，用戶(hù)的指令可以是語(yǔ)音指令，也可以是動(dòng)作指令。具體地，語(yǔ)音指令和動(dòng)作指令均可以是添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字、翻頁(yè)、改變閱讀頁(yè)面的顏色和字體等指令。

進(jìn)一步地，用戶(hù)可以自己設(shè)置是通過(guò)語(yǔ)音指令，還是通過(guò)動(dòng)作指令來(lái)對(duì)終端設(shè)備進(jìn)行操控。其中，用戶(hù)還可以設(shè)置一部分指令通過(guò)語(yǔ)音指令發(fā)送，一部分指令通過(guò)動(dòng)作指令發(fā)送。例如，添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字等指令通過(guò)語(yǔ)音指令來(lái)發(fā)送，而翻頁(yè)、改變閱讀頁(yè)面的顏色和字體等指令通過(guò)動(dòng)作指令來(lái)發(fā)送。具體地，用戶(hù)的動(dòng)作指令可以通過(guò)在映射表中查找用戶(hù)動(dòng)作所對(duì)應(yīng)的指令內(nèi)容而得到的。其中，映射表預(yù)設(shè)各個(gè)用戶(hù)動(dòng)作與指令內(nèi)容的映射關(guān)系。例如，用戶(hù)眨一下眼睛，終端設(shè)備可以執(zhí)行翻頁(yè)的指令。

s105：響應(yīng)用戶(hù)指令，并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶(hù)指令。

其中，終端設(shè)備所響應(yīng)和執(zhí)行的用戶(hù)指令包括添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字、翻頁(yè)、改變閱讀頁(yè)面的顏色和字體等指令。

另外，當(dāng)終端設(shè)備檢測(cè)到用戶(hù)的眼睛盯著屏幕看時(shí)，終端設(shè)備不會(huì)黑屏，且終端設(shè)備的屏幕亮度可以根據(jù)周?chē)h(huán)境的變化而進(jìn)行調(diào)整。

本實(shí)施方式中，利用眼球跟蹤技術(shù)，采集用戶(hù)在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶(hù)的指令，能夠使得用戶(hù)僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來(lái)一種全新的交互體驗(yàn)。

請(qǐng)參閱圖2，圖2是本發(fā)明基于眼球追蹤控制終端的方法另一實(shí)施方式的流程示意圖。本實(shí)施方式是響應(yīng)用戶(hù)指令并根據(jù)用戶(hù)的眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶(hù)指令的其中一個(gè)具體的實(shí)現(xiàn)方式，該方法包括以下步驟：

s201：當(dāng)用戶(hù)指令為語(yǔ)音指令且語(yǔ)音指令為添加備注時(shí)，在用戶(hù)眼球凝視屏幕的凝視坐標(biāo)位置處彈出添加備注的提示框。

s202：在提示框內(nèi)根據(jù)語(yǔ)音指令而添加備注內(nèi)容。

其中，用戶(hù)可以設(shè)置，當(dāng)終端設(shè)備收到用戶(hù)的語(yǔ)音指令，比如“添加備注”時(shí)，屏幕可以彈出添加備注的提示框。用戶(hù)可以語(yǔ)音輸入需要輸入的備注內(nèi)容，還可以手動(dòng)輸入需要輸入的備注內(nèi)容。當(dāng)終端設(shè)備收到用戶(hù)的語(yǔ)音指令，比如“結(jié)束添加備注”或者“結(jié)束”時(shí)，屏幕可以彈出一個(gè)是否保存該備注的提示框。用戶(hù)可以通過(guò)語(yǔ)音指令，比如“保存”、“不保存”等，來(lái)保存或者不保存該備注。用戶(hù)還可以通過(guò)動(dòng)作指令來(lái)選擇保存或不保存該備注。例如，用戶(hù)可以手動(dòng)選擇屏幕上彈出的是否保存該備注的提示框的某一選項(xiàng)，或者，用戶(hù)可以盯著屏幕上彈出的是否保存該備注的提示框的某一選項(xiàng)，終端設(shè)備通過(guò)采集用戶(hù)眼球凝視屏幕的凝視坐標(biāo)判斷出用戶(hù)的選擇進(jìn)而響應(yīng)和執(zhí)行用戶(hù)指令。

具體地，用戶(hù)的語(yǔ)音指令還可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置。例如，添加備注的語(yǔ)音指令還可以為“需要添加備注”、“此處添加備注”等；結(jié)束該備注的語(yǔ)音指令還可以為“over”、“以上”、“ok”等；保存?zhèn)渥⒌恼Z(yǔ)音指令還可以為“save”、“可以”、“好”等；不保存?zhèn)渥⒌恼Z(yǔ)音指令還可以為“no”、“不”、“不好”、“不可以”等。

另外，終端設(shè)備還可以記錄用戶(hù)的聲紋特征。當(dāng)發(fā)出語(yǔ)音指令的人的聲音的聲紋特征和終端設(shè)備記錄的聲音的聲紋特征的匹配度大于等于匹配閾值時(shí)，終端設(shè)備才會(huì)響應(yīng)該語(yǔ)音指令，否則，終端設(shè)備不響應(yīng)該語(yǔ)音指令。其中，由于每個(gè)人的語(yǔ)音聲學(xué)特征既有相對(duì)穩(wěn)定性，又有變異性，不是絕對(duì)的、一成不變的。這種變異可來(lái)自生理、病理、心理、模擬、偽裝，也與環(huán)境干擾有關(guān)。例如，不同的麥克風(fēng)和信道、環(huán)境噪音、混合說(shuō)話(huà)人的情形等等，均會(huì)對(duì)人的聲紋特征提取進(jìn)行一定程度的干擾。因此，終端設(shè)備記錄的聲音的聲紋特征與用戶(hù)的聲音的聲紋特征的匹配度有可能達(dá)不到100％，所以終端設(shè)備會(huì)預(yù)設(shè)一個(gè)聲紋特征匹配閾值。

另外，終端設(shè)備還可以記錄用戶(hù)的人臉特征。當(dāng)發(fā)出語(yǔ)音指令的人的人臉特征與終端設(shè)備記錄的人臉特征匹配時(shí)，終端設(shè)備才會(huì)響應(yīng)該語(yǔ)音指令，否則，終端設(shè)備不響應(yīng)該語(yǔ)音指令。其中，人臉的特征可以是眼虹膜、鼻翼、嘴角等面像五官輪廓的大小、位置、距離等特征，進(jìn)一步計(jì)算其幾何特征量。也可以是，人臉的幾何特征量與數(shù)據(jù)庫(kù)中標(biāo)準(zhǔn)面部模板或面部器官的模板的幾何特征量的差異。另外，進(jìn)行人臉特征對(duì)比的方法有adaboost法(實(shí)質(zhì)是一種迭代算法)、特征向量法和面紋模板法等。其中，特征向量法是先確定眼虹膜、鼻翼、嘴角等面像五官輪廓的大小、位置、距離等特征，再計(jì)算出它們的幾何特征量，這些幾何特征量的集合即組成描述臉部特征的幾何特征向量。面紋模板法是在數(shù)據(jù)庫(kù)中存放一些標(biāo)準(zhǔn)面部模板或面部器官的模板，采集待測(cè)面部圖片的特征向量集等與模板的數(shù)據(jù)進(jìn)行對(duì)比。

可選地，當(dāng)發(fā)出語(yǔ)音指令的人的聲音的聲紋特征和人臉特征數(shù)據(jù)均與終端設(shè)備記錄的特征數(shù)據(jù)相匹配時(shí)，終端設(shè)備才會(huì)響應(yīng)該語(yǔ)音指令；也可以是，當(dāng)兩者中的一個(gè)特征數(shù)據(jù)與終端設(shè)備記錄的特征數(shù)據(jù)相匹配時(shí)，終端設(shè)備會(huì)響應(yīng)該語(yǔ)音指令，此處不做限制。

本實(shí)施方式中，利用眼球跟蹤技術(shù)，采集用戶(hù)在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶(hù)的指令，能夠使得用戶(hù)僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來(lái)一種全新的交互體驗(yàn)。

請(qǐng)參閱圖3，圖3是本發(fā)明基于眼球追蹤控制終端的方法又一實(shí)施方式的流程示意圖。本實(shí)施方式是響應(yīng)用戶(hù)指令并根據(jù)用戶(hù)的眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶(hù)指令的另一個(gè)具體的實(shí)施方式，該方法包括以下步驟：

s301：當(dāng)用戶(hù)指令為語(yǔ)音指令且語(yǔ)音指令為選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字時(shí)，獲取某段文字的起始位置和終止位置處的用戶(hù)的眼球凝視屏幕的凝視坐標(biāo)。

其中，獲取某段文字的起始位置和終止位置處的用戶(hù)的眼球凝視屏幕的凝視坐標(biāo)的其中一個(gè)具體的實(shí)施方式為：發(fā)出確認(rèn)起始位置的語(yǔ)音提示，并采集獲取用戶(hù)的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)。保存第一眼球狀態(tài)信息。發(fā)出確認(rèn)終止位置的語(yǔ)音提示，并采集獲取用戶(hù)的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)。保存第二眼球狀態(tài)信息。

具體地，當(dāng)用戶(hù)發(fā)出語(yǔ)音指令，比如“確認(rèn)起始位置后”，終端設(shè)備會(huì)采集并保存起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)。然后終端設(shè)備提示用戶(hù)看向標(biāo)記的終止位置，用戶(hù)看向需要標(biāo)記的文字終止位置。當(dāng)用戶(hù)發(fā)出語(yǔ)音指令，比如“確認(rèn)終止位置后”，終端設(shè)備會(huì)采集并保存終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)。接著，屏幕會(huì)彈出一個(gè)是否選中某段文字的提示框。用戶(hù)可以通過(guò)語(yǔ)音指令，比如“選中”、“不選中”等，來(lái)選中或者不選中該某段文字，用戶(hù)也可以手動(dòng)選擇屏幕的提示操作。另外，用戶(hù)的語(yǔ)音指令還可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置。

可選地，當(dāng)用戶(hù)發(fā)出語(yǔ)音指令，比如“確認(rèn)起始位置后”，終端設(shè)備會(huì)采集并保存起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)，并選中該起始位置的凝視坐標(biāo)處的文字。然后終端設(shè)備提示用戶(hù)看向標(biāo)記的終止位置，用戶(hù)看向需要標(biāo)記的文字終止位置。當(dāng)用戶(hù)發(fā)出語(yǔ)音指令，比如“確認(rèn)終止位置后”，終端設(shè)備會(huì)采集并保存終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)，并選中該終止位置的凝視坐標(biāo)處的文字。接著，屏幕會(huì)彈出一個(gè)是否選中某段文字的提示框。

可選地，當(dāng)用戶(hù)發(fā)出語(yǔ)音指令，比如“確認(rèn)起始位置后”，終端設(shè)備會(huì)采集并保存起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)，并選中該起始位置的凝視坐標(biāo)處的文字。然后屏幕上的光標(biāo)會(huì)跟著眼睛的移動(dòng)方向，選中眼睛掃過(guò)的文字。直到眼睛盯著某處并發(fā)出語(yǔ)音指令，比如“確認(rèn)終止位置后”。然后，屏幕可以彈出一個(gè)是否選中某段文字的提示框，或者，不彈出該提示框。用戶(hù)可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置。

可選地，獲取某段文字的起始位置和終止位置處的用戶(hù)的眼球凝視屏幕的凝視坐標(biāo)的另外一個(gè)具體的實(shí)施方式為：檢測(cè)用戶(hù)眼睛盯著起始位置處的時(shí)間是否大于第一時(shí)間閾值，并采集獲取用戶(hù)的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第一時(shí)間閾值，保存第一眼球狀態(tài)信息；檢測(cè)用戶(hù)眼睛盯著終止位置處的時(shí)間是否大于第二時(shí)間閾值，并采集獲取用戶(hù)的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第二時(shí)間閾值，保存第二眼球狀態(tài)信息。其中，第一時(shí)間閾值和第二時(shí)間閾值的范圍可以一樣，也可以不一樣。第一時(shí)間閾值和第二時(shí)間閾值的范圍可以是用戶(hù)設(shè)置的，也是可以是終端設(shè)備的初始數(shù)據(jù)。

具體地，當(dāng)用戶(hù)的眼睛盯著屏幕上的起始位置處的時(shí)間大于第一時(shí)間閾值時(shí)，終端設(shè)備會(huì)采集并保存該處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)，并選中該起始位置的凝視坐標(biāo)處的文字。然后屏幕上的光標(biāo)會(huì)跟著眼睛的移動(dòng)方向，選中眼睛掃過(guò)的文字。直到用戶(hù)眼睛盯著終止位置處的時(shí)間大于第二時(shí)間閾值時(shí)，終端設(shè)備會(huì)采集并保存該處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)。然后，屏幕可以彈出一個(gè)是否選中某段文字的提示框，或者，不彈出該提示框。用戶(hù)可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置。

s302：根據(jù)文字的起始位置和終止位置處的用戶(hù)的眼球凝視屏幕的凝視坐標(biāo)而獲取從起始位置至終止位置內(nèi)的文字。

s303：根據(jù)語(yǔ)音指令而對(duì)選定的文字執(zhí)行相應(yīng)的操作。

其中，當(dāng)某段文字被選定后，用戶(hù)可以設(shè)置，當(dāng)終端設(shè)備收到用戶(hù)的語(yǔ)音指令，比如“添加背景顏色”時(shí)，終端設(shè)備會(huì)改變?cè)撃扯挝淖值谋尘邦伾Ｈ羰怯脩?hù)不滿(mǎn)意該背景顏色，繼續(xù)發(fā)出語(yǔ)音指令“添加背景顏色”，則終端設(shè)備會(huì)按某種顏色順序改變?cè)撃扯挝淖值谋尘邦伾?。其中，顏色順序可以是用?hù)設(shè)置的，也可以是終端設(shè)備系統(tǒng)內(nèi)自帶的，還可以隨機(jī)的。另外，當(dāng)終端設(shè)備收到用戶(hù)的語(yǔ)音指令，比如“添加紅色背景”時(shí)，終端設(shè)備會(huì)把該某段文字的背景變?yōu)榧t色。

具體地，用戶(hù)的語(yǔ)音指令還可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置。例如，為該被選中的某段文字添加背景顏色的語(yǔ)音指令還可以為“需要添加背景顏色”、“此處添加背景顏色”等；保存該添加的背景顏色的語(yǔ)音指令還可以為“save”、“可以”、“好”等；不保存該添加的背景顏色的語(yǔ)音指令還可以為“no”、“不”、“不好”、“不可以”等。進(jìn)一步地，用戶(hù)還可以設(shè)置屏幕彈出一個(gè)是否保存該背景顏色的提示框。其中，用戶(hù)可以手動(dòng)選擇屏幕上彈出的是否保存該背景顏色的提示框的某一選項(xiàng)，或者，用戶(hù)可以盯著屏幕上彈出的是否保存該背景顏色的提示框的某一選項(xiàng)，終端設(shè)備通過(guò)采集用戶(hù)眼球凝視屏幕的凝視坐標(biāo)判斷出用戶(hù)的選擇進(jìn)而響應(yīng)和執(zhí)行用戶(hù)指令。

可選地，還可以改變?cè)摫贿x定的某段文字的字體、字號(hào)、翻譯為某種語(yǔ)音、標(biāo)記文字顏色以及復(fù)制和剪貼等。用戶(hù)也可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置語(yǔ)音指令。

另外，終端設(shè)備還可以記錄用戶(hù)的聲紋特征和人臉特征，具體過(guò)程如上一實(shí)施方式所述，在此不做贅敘。

本實(shí)施方式中，利用眼球跟蹤技術(shù)，采集用戶(hù)在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶(hù)的指令，能夠使得用戶(hù)僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來(lái)一種全新的交互體驗(yàn)。

請(qǐng)參閱圖4，圖4是本發(fā)明基于眼球追蹤控制終端的裝置一實(shí)施方式的結(jié)構(gòu)示意圖。需要說(shuō)明的是，本實(shí)施方式的裝置可以執(zhí)行上述方法中的步驟，相關(guān)內(nèi)容的詳細(xì)說(shuō)明請(qǐng)參見(jiàn)上述方法部分，在此不再贅敘。

本實(shí)施方式中，該裝置40是上述實(shí)施方式中的裝置，該裝置40包括：應(yīng)用啟動(dòng)模塊41、眼球追蹤啟動(dòng)模塊42、采集模塊43、指令接收模塊44、指令響應(yīng)模塊44。

應(yīng)用啟動(dòng)模塊41用于啟動(dòng)終端內(nèi)的應(yīng)用。

眼球追蹤啟動(dòng)模塊42用于啟動(dòng)眼球追蹤系統(tǒng)。

采集模塊43用于通過(guò)眼球跟蹤系統(tǒng)而采集用戶(hù)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)。

指令接收模塊44用于接收用戶(hù)指令。

指令響應(yīng)模塊44用于響應(yīng)用戶(hù)指令，并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶(hù)指令。

其中，應(yīng)用啟動(dòng)模塊41所啟動(dòng)的應(yīng)用為可以選定和/或編輯文字的應(yīng)用，可以是電子書(shū)應(yīng)用，也可以為消息推送應(yīng)用，比如微博、朋友圈、電子郵箱、新聞?lì)^條等，還可以為wps、pdf等。

其中，需要說(shuō)明的是，要先啟動(dòng)應(yīng)用啟動(dòng)模塊41后，才可以進(jìn)一步開(kāi)啟后面的模塊。

其中，接收指令模塊44所接收的用戶(hù)指令可以是語(yǔ)音指令，也可以是動(dòng)作指令。其中，語(yǔ)音指令和動(dòng)作指令均可以包括但不限于添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字、翻頁(yè)、改變閱讀頁(yè)面的顏色和字體等指令。

其中，響應(yīng)指令模塊44具體包括：當(dāng)用戶(hù)指令為語(yǔ)音指令且語(yǔ)音指令為添加備注時(shí)，在用戶(hù)眼球凝視屏幕的凝視坐標(biāo)位置處彈出添加備注的提示框；在提示框內(nèi)根據(jù)語(yǔ)音指令而添加備注內(nèi)容。

其中，響應(yīng)指令模塊45還包括：當(dāng)用戶(hù)指令為語(yǔ)音指令且語(yǔ)音指令為選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字時(shí)，獲取某段文字的起始位置和終止位置處的用戶(hù)的眼球凝視屏幕的凝視坐標(biāo)；根據(jù)文字的起始位置和終止位置處的用戶(hù)的眼球凝視屏幕的凝視坐標(biāo)而獲取從起始位置至終止位置內(nèi)的文字；根據(jù)語(yǔ)音指令而對(duì)選定的文字執(zhí)行相應(yīng)的操作。

其中，響應(yīng)指令模塊45還包括：發(fā)出確認(rèn)起始位置的語(yǔ)音提示，并采集獲取用戶(hù)的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第一眼球狀態(tài)信息；發(fā)出確認(rèn)終止位置的語(yǔ)音提示，并采集獲取用戶(hù)的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第二眼球狀態(tài)信息。

可選地，響應(yīng)指令模塊45還包括：檢測(cè)用戶(hù)眼睛盯著起始位置處的時(shí)間是否大于第一時(shí)間閾值，并采集獲取用戶(hù)的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第一時(shí)間閾值，保存第一眼球狀態(tài)信息；檢測(cè)用戶(hù)眼睛盯著終止位置處的時(shí)間是否大于第二時(shí)間閾值，并采集獲取用戶(hù)的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第二時(shí)間閾值，保存第二眼球狀態(tài)信息。

本實(shí)施方式中，利用眼球跟蹤技術(shù)，采集用戶(hù)在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶(hù)的指令，能夠使得用戶(hù)僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來(lái)一種全新的交互體驗(yàn)。

請(qǐng)參閱圖5，圖5是本發(fā)明基于眼球追蹤控制終端的裝置另一實(shí)施方式的結(jié)構(gòu)示意圖。該裝置可以執(zhí)行上述方法中的裝置執(zhí)行的步驟。相關(guān)內(nèi)容請(qǐng)參見(jiàn)上述方法中的詳細(xì)說(shuō)明，在此不再贅敘。

本實(shí)施方式中，該處理裝置包括：處理器51、存儲(chǔ)器52以及接收器53。

存儲(chǔ)器52用于存儲(chǔ)操作系統(tǒng)、處理器51執(zhí)行的指令以及接收到的消息等。

接收器53用于接收用戶(hù)的指令。

處理器51用于啟動(dòng)終端內(nèi)的應(yīng)用；啟動(dòng)眼球追蹤系統(tǒng)；通過(guò)眼球跟蹤系統(tǒng)而采集用戶(hù)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)；響應(yīng)用戶(hù)指令，并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶(hù)指令。

具體地，處理器51還用于當(dāng)用戶(hù)指令為語(yǔ)音指令且語(yǔ)音指令為添加備注時(shí)，在用戶(hù)眼球凝視屏幕的凝視坐標(biāo)位置處彈出添加備注的提示框；在提示框內(nèi)根據(jù)語(yǔ)音指令而添加備注內(nèi)容。

具體地，處理器51還用于當(dāng)用戶(hù)指令為語(yǔ)音指令且語(yǔ)音指令為選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字時(shí)，獲取某段文字的起始位置和終止位置處的用戶(hù)的眼球凝視屏幕的凝視坐標(biāo)；根據(jù)文字的起始位置和終止位置處的用戶(hù)的眼球凝視屏幕的凝視坐標(biāo)而獲取從起始位置至終止位置內(nèi)的文字；根據(jù)語(yǔ)音指令而對(duì)選定的文字執(zhí)行相應(yīng)的操作。

具體地，處理器51還用于發(fā)出確認(rèn)起始位置的語(yǔ)音提示，并采集獲取用戶(hù)的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第一眼球狀態(tài)信息；發(fā)出確認(rèn)終止位置的語(yǔ)音提示，并采集獲取用戶(hù)的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第二眼球狀態(tài)信息。

可選地，處理器51還用于檢測(cè)用戶(hù)眼睛盯著起始位置處的時(shí)間是否大于第一時(shí)間閾值，并采集獲取用戶(hù)的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第一時(shí)間閾值，保存第一眼球狀態(tài)信息；檢測(cè)用戶(hù)眼睛盯著終止位置處的時(shí)間是否大于第二時(shí)間閾值，并采集獲取用戶(hù)的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第二時(shí)間閾值，保存第二眼球狀態(tài)信息。

其中，處理器51所啟動(dòng)的應(yīng)用為可以選定和/或編輯文字的應(yīng)用，可以是電子書(shū)應(yīng)用，也可以為消息推送應(yīng)用，比如微博、朋友圈、電子郵箱、新聞?lì)^條等，還可以為wps、pdf等。

其中，接收器53所接收的用戶(hù)指令可以為語(yǔ)音指令，也可以為動(dòng)作指令。其中，語(yǔ)音指令和動(dòng)作指令具體包括但不限于添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字、翻頁(yè)、改變閱讀頁(yè)面的顏色和字體等指令。

本實(shí)施方式中，利用眼球跟蹤技術(shù)，采集用戶(hù)在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶(hù)的指令，能夠使得用戶(hù)僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來(lái)一種全新的交互體驗(yàn)。

以上所述僅為本發(fā)明的實(shí)施方式，并非因此限制本發(fā)明的專(zhuān)利范圍，凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專(zhuān)利保護(hù)范圍內(nèi)。