本發(fā)明屬于虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，更具體地，涉及一種基于眼球追蹤傳感技術(shù)的智能眼鏡及其顯示方法。

背景技術(shù)：

增強(qiáng)現(xiàn)實(shí)技術(shù)是一種將真實(shí)世界信息和虛擬世界信息無縫集成的新技術(shù)，是把原本在現(xiàn)實(shí)世界的一定時(shí)間空間范圍內(nèi)很難體驗(yàn)到的實(shí)體信息（例如視覺信息、聲音、味道及觸覺等），通過電腦等科技，模擬仿真后在疊加，將虛擬的信息應(yīng)用到真實(shí)世界來反饋給人。

傳統(tǒng)的交互方式多為鼠標(biāo)等外部設(shè)備進(jìn)行信息的交互，在基于光波導(dǎo)顯示技術(shù)的智能系統(tǒng)中如果需要用戶用手去點(diǎn)擊或者通過交互手柄進(jìn)行操作，這樣的交互方式在虛擬環(huán)境就不能夠達(dá)到自然，高效的效果。對(duì)于用戶的體驗(yàn)沒有更大的提升空間。

隨著大屏幕智能手機(jī)、智能電視、高清電視等逐步普及，計(jì)算機(jī)圖形技術(shù)、人機(jī)接口、無線傳輸技術(shù)等虛擬現(xiàn)實(shí)核心技術(shù)以及vr設(shè)備的顯示、算法、交互技術(shù)的發(fā)展。給vr技術(shù)的提升帶來了重大影響，虛擬現(xiàn)實(shí)又稱虛擬實(shí)境。它是利用電腦模擬產(chǎn)生一個(gè)三維空間的虛擬世界，并模擬用戶的視覺、聽覺、觸覺等，使用戶產(chǎn)生身臨其境的感覺。在虛擬現(xiàn)實(shí)應(yīng)用的場(chǎng)景中，通常用戶通過佩戴虛擬現(xiàn)實(shí)頭盔，利用各種傳感器來跟蹤頭部的各種運(yùn)動(dòng)，經(jīng)過行為解釋器產(chǎn)生行為數(shù)據(jù)，然后輸入到虛擬環(huán)境中，與用戶進(jìn)行交互。

目前隨著基于光波導(dǎo)顯示技術(shù)的智能眼鏡的開發(fā)，雖然可有效結(jié)合機(jī)頂盒和電視機(jī)，也可針對(duì)手機(jī)、平板等工具，將其網(wǎng)絡(luò)信號(hào)（包括網(wǎng)頁(yè)、電視電影、圖片等內(nèi)容）傳輸?shù)街悄苎坨R進(jìn)行觀看，但如何在這些傳輸?shù)男畔⒅凶匀桓咝У墨@取用戶想要的信息成為技術(shù)的關(guān)鍵。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的缺陷核問題，本發(fā)明設(shè)計(jì)了一種基于眼球追蹤傳感技術(shù)的智能眼鏡及其顯示方法。

本發(fā)明的技術(shù)方案如下：

一種基于眼球追蹤傳感技術(shù)的智能眼鏡，包括眼鏡本體、用于形成虛擬界面的光學(xué)波導(dǎo)設(shè)備和系統(tǒng)模塊，所述系統(tǒng)模塊包括用于獲取用戶眼球位于所述虛擬界面坐標(biāo)的眼球追蹤傳感模塊、語音模塊、用于對(duì)語音模塊及眼球追蹤傳感模塊所采集的命令信息進(jìn)行處理的處理模塊、用于接收數(shù)字信息并控制顯示輸出的控制模塊、用于與移動(dòng)終端設(shè)備連接的通信模塊和顯示模塊，所述控制模塊分別與通信模塊、顯示模塊和處理模塊連接，所述處理模塊與語音模塊和眼球追蹤傳感模塊連接，所述語音模塊包括雙麥線性陣列的兩個(gè)麥克風(fēng)、用于對(duì)采集的模擬信號(hào)進(jìn)行放大處理的1號(hào)信號(hào)放大器與用于信號(hào)過濾處理的1號(hào)信號(hào)過濾器和對(duì)過濾處理后的信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換的ad轉(zhuǎn)換模塊，所述眼球追蹤傳感模塊包括用于采集眼球位置信息的電容傳感集、用于對(duì)采集的信號(hào)進(jìn)行放大處理的2號(hào)信號(hào)放大器與用于對(duì)放大后的信號(hào)進(jìn)行信號(hào)過濾的2號(hào)信號(hào)過濾器和用于對(duì)過濾處理后的信號(hào)進(jìn)行數(shù)模轉(zhuǎn)換的ad轉(zhuǎn)換模塊。

進(jìn)一步地，所述虛擬界面預(yù)建立有視線模型，所述視線模型以3x3的形式平均分布有9個(gè)校準(zhǔn)點(diǎn)，所述校準(zhǔn)點(diǎn)中心點(diǎn)與用戶瞳孔中心的空間坐標(biāo)對(duì)應(yīng)，所述第一行第一列位置上的校準(zhǔn)點(diǎn)與用戶內(nèi)眼角的空間坐標(biāo)對(duì)應(yīng)，所述虛擬界面中包括多個(gè)外掛標(biāo)簽。

更進(jìn)一步地，所述預(yù)設(shè)標(biāo)簽可以設(shè)置有搜索、刷新、智能提醒等常用的交互功能，通過瞳孔的追蹤進(jìn)行相應(yīng)的功能選擇，可以對(duì)虛擬界面進(jìn)行相應(yīng)的處理，實(shí)現(xiàn)自然的信息交互。

進(jìn)一步地，所述智能眼鏡還包括電源模塊和用于控制智能眼鏡啟動(dòng)或關(guān)閉的電源開關(guān)。

進(jìn)一步地，所述控制模塊為君正m200芯片，所述君正m200芯片內(nèi)嵌一個(gè)高性能的xburst雙核cpu、顯示屏驅(qū)動(dòng)接口和兩路通用異步接收器。

進(jìn)一步地，所述通信模塊包括wifi模塊或藍(lán)牙模塊或wifi模塊或藍(lán)牙模塊和wifi模塊。

進(jìn)一步地，所述顯示模塊為lcos光學(xué)模組顯示屏，所述lcos光學(xué)模組顯示屏分辨率不低于800x480。

進(jìn)一步地，所述移動(dòng)終端設(shè)備包括手機(jī)或平板電腦等電子設(shè)備。

本發(fā)明還提供了一種基于所述智能眼鏡的智能顯示方法，終端設(shè)備通過數(shù)據(jù)連接從網(wǎng)上獲取信息，智能眼鏡通過通信模塊與終端設(shè)備直接建立信息連接，控制模塊控制通信模塊對(duì)顯示模塊的信息傳輸及顯示，語音模塊主要是采集用戶的語音命令，眼球追蹤傳感模塊主要是采集用戶的眼球位置信息，進(jìn)而獲取用戶的關(guān)注焦點(diǎn)，將獲取的用戶眼球位置通過處理模塊進(jìn)行處理，傳遞給控制模塊，進(jìn)而控制信息傳輸與顯示，

用戶通過語音模塊與眼球追蹤傳感模塊向智能眼鏡傳輸命令信息，來獲取用戶自己想要得到的信息內(nèi)容，在顯示界面初始化時(shí)，界面上將顯示提前設(shè)置的預(yù)設(shè)標(biāo)簽，控制模塊將會(huì)在初始界面時(shí)會(huì)優(yōu)先處理處理模塊所傳輸?shù)难矍蜃粉檪鞲心K獲取的用戶眼球位置信息，當(dāng)用戶在一個(gè)標(biāo)簽停留的時(shí)間超過預(yù)設(shè)值后，控制模塊將會(huì)控制通信模塊傳輸該預(yù)設(shè)標(biāo)簽所規(guī)定的內(nèi)容信息，并實(shí)現(xiàn)全屏顯示，在全屏顯示界面中，控制模塊將會(huì)優(yōu)先處理處理模塊所傳輸?shù)恼Z音模塊獲取的語音命令信息，主要是通過語音命令退出全屏回到標(biāo)簽界面，也可以通過語音控制視頻類信息的的播放與暫停交互，在全屏界面中，通過眼球追蹤傳感模塊對(duì)用戶眼球位置的獲取，當(dāng)用戶在界面中一個(gè)位置停留超過預(yù)定值時(shí)，會(huì)對(duì)用戶關(guān)注的信息進(jìn)行局部渲染，若為視頻信息，用戶也可以通過眼球追蹤傳感模塊對(duì)視頻發(fā)出播放暫停功能。

具體包括以下步驟：

第一步，通過通信模塊建立智能眼鏡與移動(dòng)終端設(shè)備之間連接；

第二步，將移動(dòng)終端設(shè)備初始畫面?zhèn)鬏斨林悄苎坨R顯示模塊進(jìn)行顯示；

第三步，處理模塊將通過控制模塊讀取到虛擬界面的顯示狀態(tài)，判斷是否處于顯示預(yù)設(shè)標(biāo)簽的狀態(tài)還是處理信息瀏覽或視頻播放的全屏狀態(tài)。

第四步，處理模塊的微型控制器根據(jù)讀取的界面狀態(tài)信息，選擇優(yōu)先處理的命令信息類別。

第一種情況，一般在初始界面（開機(jī)界面）為顯示預(yù)設(shè)標(biāo)簽的界面，光學(xué)波導(dǎo)設(shè)備產(chǎn)生虛擬界面，當(dāng)處理模塊判斷虛擬界面顯示為預(yù)設(shè)標(biāo)簽界面時(shí)，處理模塊會(huì)優(yōu)先處理所獲取的眼球命令信號(hào)，通過眼球傳感追蹤模塊對(duì)用戶的眼球位置進(jìn)行追蹤定位，確定用戶視覺焦點(diǎn)位于虛擬界面的坐標(biāo)位置，當(dāng)用戶瞳孔的落點(diǎn)在預(yù)設(shè)的外掛標(biāo)簽上注視時(shí)間超過預(yù)設(shè)值時(shí)，產(chǎn)生相應(yīng)預(yù)設(shè)外掛標(biāo)簽中的控制命令信號(hào)，控制模塊將會(huì)控制通信模塊傳輸該預(yù)設(shè)標(biāo)簽所規(guī)定的內(nèi)容信息，進(jìn)而選擇相應(yīng)的功能進(jìn)行信息交互，否則，繼續(xù)獲取重新獲取用戶視覺焦點(diǎn)位于虛擬界面的坐標(biāo)位置；獲得控制命令信號(hào)后傳輸至處理模塊，并通過控制模塊傳輸至移動(dòng)終端設(shè)備并產(chǎn)生相應(yīng)的操作。在信息瀏覽的全屏模塊時(shí)，在沒有接受到語音命令信號(hào)的前提下，處理模塊會(huì)處理所接收的眼球位置信號(hào)，對(duì)用戶的注視焦點(diǎn)處進(jìn)行局部渲染，方便用戶信息瀏覽和閱讀；

第二種情況，處理模塊判斷虛擬界面為信息瀏覽的全屏界面或視頻播放的全屏界面時(shí)，處理模塊會(huì)優(yōu)先傳輸所獲取的語音控制命令信號(hào)，主要是控制虛擬界面退出全屏顯示，回到預(yù)設(shè)標(biāo)簽界面或者控制視頻播放的全屏界面中視頻的暫停及播放等功能。通過語音模塊采集用戶語音控制命令，將控制命令轉(zhuǎn)換成控制信號(hào)傳輸至處理模塊，進(jìn)一步傳輸至控制模塊，控制模塊產(chǎn)生的操作命令通過通信模塊傳輸至移動(dòng)終端設(shè)備，移動(dòng)終端設(shè)備做出相應(yīng)操作。

第五步，控制模塊接受優(yōu)先發(fā)送的命令信號(hào)對(duì)虛擬界面的狀態(tài)進(jìn)行控制。

本發(fā)明有益效果如下:

1.解決了目前在虛擬現(xiàn)實(shí)中人機(jī)交互不自然的缺點(diǎn)，大大的提高了用戶的體驗(yàn)效果；

2.采用語音控制和眼球追蹤技術(shù)相結(jié)合，使交互更加的方便，體驗(yàn)效果更好；

3.通過眼球追蹤技術(shù)可實(shí)現(xiàn)的交互，極為高效，便捷；

4.采用的通信模塊不僅功耗低，發(fā)熱量小，性能穩(wěn)定，并且是一種高速接入網(wǎng)絡(luò)的設(shè)備，可以隨時(shí)接入公網(wǎng)；

5.在用戶進(jìn)行信息瀏覽中，采用了局部渲染功能，不僅符合人在現(xiàn)實(shí)中看事物的規(guī)則，也降低了功耗，提高了性能；

6.通信模塊采用wifi模塊或藍(lán)牙模塊或wifi模塊和或藍(lán)牙模塊都有，使智能眼睛針對(duì)的終端設(shè)備更加的廣泛，同時(shí)也方便了用戶對(duì)信號(hào)傳輸方式的選擇；

7.將終端設(shè)備的信息以智能眼睛顯示出來，解決了用戶長(zhǎng)時(shí)間低頭看手機(jī)的癥狀，有益于用戶的身心健康。

附圖說明

圖1為智能眼鏡示意圖；

圖2為智能顯示眼鏡系統(tǒng)模塊示意圖；

圖3為智能眼鏡語音模塊及眼球追蹤傳感模塊示意圖；

圖4為智能顯示方法流程圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步的說明。其中，附圖僅用于示例性說明，表示的僅是示意圖，而非實(shí)物圖，不能理解為對(duì)本發(fā)明的限制；為了更好地說明本發(fā)明的實(shí)施例，附圖某些部件會(huì)有省略、放大或縮小，并不代表實(shí)際產(chǎn)品的尺寸；對(duì)本領(lǐng)域技術(shù)人員來說，附圖中某些公知結(jié)構(gòu)及其說明可能省略是可以理解的。

實(shí)施例

如圖1所示，一種基于眼球追蹤傳感技術(shù)的智能眼鏡，包括眼鏡本體11、用于形成虛擬界面的光學(xué)波導(dǎo)設(shè)備12和系統(tǒng)模塊。

如圖2所示，系統(tǒng)模塊包括用于獲取用戶眼球位于虛擬界面坐標(biāo)的眼球追蹤傳感模塊1、語音模塊2、用于對(duì)語音模塊2及眼球追蹤傳感模塊1所采集的命令信息進(jìn)行處理的處理模塊3、用于接收數(shù)字信息并控制顯示輸出的控制模塊4、用于與移動(dòng)終端設(shè)備9連接的通信模塊5和顯示模塊6，控制模塊4分別與通信模塊5、顯示模塊6和處理模塊3連接，處理模塊3與語音模塊2和眼球追蹤傳感模塊1連接。

智能眼鏡還包括電源模塊8，用以給智能眼鏡提供電源和用于控制智能眼鏡啟動(dòng)或關(guān)閉的電源開關(guān)。

控制模塊為君正m200芯片，所述君正m200芯片內(nèi)嵌一個(gè)高性能的xburst雙核cpu、顯示屏驅(qū)動(dòng)接口和兩路通用異步接收器。

通信模塊為wifi模塊。

顯示模塊為lcos光學(xué)模組顯示屏，lcos光學(xué)模組顯示屏分辨率為800x480。

移動(dòng)終端設(shè)備為手機(jī)。

如圖3所示，語音模塊2主要集成有雙麥線性陣列的兩個(gè)麥克風(fēng)2-1，還有對(duì)采集的模擬信號(hào)進(jìn)行放大處理和信號(hào)過濾處理的1號(hào)信號(hào)放大器2-2和1號(hào)信號(hào)過濾器2-3，以及對(duì)過濾處理后的信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換的ad轉(zhuǎn)換模塊10，其主要功能是把處理過的信號(hào)轉(zhuǎn)換成控制模塊能夠識(shí)別的數(shù)字信號(hào)。

眼球追蹤傳感模塊1主要集成有采集眼球位置信息的電容傳感集1-1為信號(hào)采集器，對(duì)采集的信號(hào)進(jìn)行放大處理的2號(hào)信號(hào)放大器1-2和對(duì)放大后的信號(hào)進(jìn)行信號(hào)過濾的2號(hào)信號(hào)過濾器1-3，以及對(duì)過濾處理后的信號(hào)進(jìn)行數(shù)模轉(zhuǎn)換的ad轉(zhuǎn)換模塊10，以便控制模塊4能夠識(shí)別。

處理模塊3為微型控制器，其主要的作用是通過判斷用于形成虛擬界面的光學(xué)波導(dǎo)設(shè)備中的虛擬界面是否為顯示預(yù)設(shè)標(biāo)簽的界面還是用于信息瀏覽或視頻播放的全屏界面狀態(tài)，然后微型控制器根據(jù)虛擬界面的狀態(tài)來判斷及選擇是否優(yōu)先傳輸語音信號(hào)還是眼球追蹤模塊所獲得命令信號(hào)，對(duì)界面的顯示信息進(jìn)行控制。

如圖4所示，虛擬界面預(yù)建立有視線模型，視線模型以3x3的形式平均分布有9個(gè)校準(zhǔn)點(diǎn)，校準(zhǔn)點(diǎn)中心點(diǎn)與用戶瞳孔中心的空間坐標(biāo)對(duì)應(yīng)，第一行第一列位置上的校準(zhǔn)點(diǎn)與用戶內(nèi)眼角的空間坐標(biāo)對(duì)應(yīng)。

虛擬界面中包括多個(gè)外掛標(biāo)簽，預(yù)設(shè)標(biāo)簽可以設(shè)置有搜索、刷新、智能提醒等常用的交互功能，通過瞳孔的追蹤進(jìn)行相應(yīng)的功能選擇，可以對(duì)虛擬界面進(jìn)行相應(yīng)的處理，實(shí)現(xiàn)自然的信息交互。

如圖4所示，本發(fā)明還提供了一種基于所述智能眼鏡的智能顯示方法，終端設(shè)備通過數(shù)據(jù)連接從網(wǎng)上獲取信息，智能眼鏡通過通信模塊與終端設(shè)備直接建立信息連接，控制模塊控制通信模塊對(duì)顯示模塊的信息傳輸及顯示，語音模塊主要是采集用戶的語音命令，眼球追蹤傳感模塊主要是采集用戶的眼球位置信息，進(jìn)而獲取用戶的關(guān)注焦點(diǎn)，將獲取的用戶眼球位置通過處理模塊進(jìn)行處理，傳遞給控制模塊，進(jìn)而控制信息傳輸與顯示，

用戶通過語音模塊與眼球追蹤傳感模塊向智能眼睛傳輸命令信息，來獲取用戶自己想要得到的信息內(nèi)容，在顯示界面初始化時(shí)，界面上將顯示提前設(shè)置的預(yù)設(shè)標(biāo)簽，控制模塊將會(huì)在初始界面時(shí)會(huì)優(yōu)先處理處理模塊所傳輸?shù)难矍蜃粉檪鞲心K獲取的用戶眼球位置信息，當(dāng)用戶在一個(gè)標(biāo)簽停留的時(shí)間超過預(yù)設(shè)值后，控制模塊將會(huì)控制通信模塊傳輸該預(yù)設(shè)標(biāo)簽所規(guī)定的內(nèi)容信息，并實(shí)現(xiàn)全屏顯示，在全屏顯示界面中，控制模塊將會(huì)優(yōu)先處理處理模塊所傳輸?shù)恼Z音模塊獲取的語音命令信息，主要是通過語音命令退出全屏回到標(biāo)簽界面，也可以通過語音控制視頻類信息的的播放與暫停交互，在全屏界面中，通過眼球追蹤傳感模塊對(duì)用戶眼球位置的獲取，當(dāng)用戶在界面中一個(gè)位置停留超過預(yù)定值時(shí)，會(huì)對(duì)用戶關(guān)注的信息進(jìn)行局部渲染，若為視頻信息，用戶也可以通過眼球追蹤傳感模塊對(duì)視頻發(fā)出播放暫停功能。

具體包括以下步驟：

第一步，通過通信模塊建立智能眼鏡與移動(dòng)終端設(shè)備之間連接；

第二步，將移動(dòng)終端設(shè)備初始畫面?zhèn)鬏斨林悄苎坨R顯示模塊進(jìn)行顯示；

第三步，處理模塊將通過控制模塊讀取到虛擬界面的顯示狀態(tài)，判斷是否處于顯示預(yù)設(shè)標(biāo)簽的狀態(tài)還是處理信息瀏覽或視頻播放的全屏狀態(tài)。

第四步，處理模塊的微型控制器根據(jù)讀取的界面狀態(tài)信息，選擇優(yōu)先處理的命令信息類別。

第一種情況，一般在初始界面為顯示預(yù)設(shè)標(biāo)簽的界面，光學(xué)波導(dǎo)設(shè)備產(chǎn)生虛擬界面，當(dāng)處理模塊判斷虛擬界面顯示為預(yù)設(shè)標(biāo)簽界面時(shí)，處理模塊會(huì)優(yōu)先處理所獲取的眼球命令信號(hào)，通過眼球傳感追蹤模塊對(duì)用戶的眼球位置進(jìn)行追蹤定位，確定用戶視覺焦點(diǎn)位于虛擬界面的坐標(biāo)位置，當(dāng)用戶瞳孔的落點(diǎn)在預(yù)設(shè)的外掛標(biāo)簽上注視時(shí)間超過預(yù)設(shè)值時(shí)，產(chǎn)生相應(yīng)預(yù)設(shè)外掛標(biāo)簽中的控制命令信號(hào)，控制模塊將會(huì)控制通信模塊傳輸該預(yù)設(shè)標(biāo)簽所規(guī)定的內(nèi)容信息，進(jìn)而選擇相應(yīng)的功能進(jìn)行信息交互，否則，繼續(xù)獲取重新獲取用戶視覺焦點(diǎn)位于虛擬界面的坐標(biāo)位置；獲得控制命令信號(hào)后傳輸至處理模塊，并通過控制模塊傳輸至移動(dòng)終端設(shè)備并產(chǎn)生相應(yīng)的操作。在信息瀏覽的全屏模塊時(shí)，在沒有接受到語音命令信號(hào)的前提下，處理模塊會(huì)處理所接收的眼球位置信號(hào)，對(duì)用戶的注視焦點(diǎn)處進(jìn)行局部渲染，方便用戶信息瀏覽和閱讀；

第二種情況，處理模塊判斷虛擬界面為信息瀏覽的全屏界面或視頻播放的全屏界面時(shí)，處理模塊會(huì)優(yōu)先傳輸所獲取的語音控制命令信號(hào)，主要是控制虛擬界面退出全屏顯示，回到預(yù)設(shè)標(biāo)簽界面或者控制視頻播放的全屏界面中視頻的暫停及播放等功能。通過語音模塊采集用戶語音控制命令，將控制命令轉(zhuǎn)換成控制信號(hào)傳輸至處理模塊，進(jìn)一步傳輸至控制模塊，控制模塊產(chǎn)生的操作命令通過通信模塊傳輸至移動(dòng)終端設(shè)備，移動(dòng)終端設(shè)備做出相應(yīng)操作。

第五步，控制模塊接受優(yōu)先發(fā)送的命令信號(hào)對(duì)虛擬界面的狀態(tài)進(jìn)行控制。

顯然，上述實(shí)施例僅僅是為清楚地說明本發(fā)明的技術(shù)方案所作的舉例，而并非是對(duì)本發(fā)明的實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動(dòng)。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明權(quán)利要求的保護(hù)之內(nèi)。