本發(fā)明屬于車載人際交互系統(tǒng)，具體涉及一種基于車載hud的眼動輔助語音交互方法及系統(tǒng)。

背景技術(shù)：

隨著現(xiàn)代汽車工業(yè)的不斷發(fā)展，人們對汽車舒適性和操作便利性的要求越來越高。大量的電子設(shè)備在汽車中的應(yīng)用，極大地提升了車輛的舒適性。電子設(shè)備的增加，也意味著汽車的儀表板上會有更多的按鍵，用于控制音響、空調(diào)、gps、定速巡航、導(dǎo)航等。同時，汽車的顯示屏也越來也大，在播放多媒體圖像視頻的同時，越來越多地顯示車輛信息。如此多的功能需要不同的按鍵分別進行操作，使得用戶進行操作時不方便。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是：提供一種基于車載hud的眼動輔助語音交互方法及系統(tǒng)，交互過程中手部無需離開方向盤，視線無需離開行駛道路視野，避免駕駛員關(guān)注按鍵操作帶來的事故風(fēng)險。

本發(fā)明為解決上述技術(shù)問題所采取的技術(shù)方案為：一種基于車載hud的眼動輔助語音交互方法，其特征在于：它包括以下步驟：

初始狀態(tài)：hud處于關(guān)閉狀態(tài)；

車載語音識別系統(tǒng)將通過麥克風(fēng)獲取的hud打開指令語音，轉(zhuǎn)換為hud打開指令；

hud在接收到車載語音識別系統(tǒng)的hud打開指令后啟動，將hud界面功能區(qū)投影到前擋風(fēng)玻璃上；校正眼動追蹤系統(tǒng)；

當(dāng)眼動追蹤系統(tǒng)識別出駕駛員的視線進入hud界面功能區(qū)，且在一定時間內(nèi)車載語音識別系統(tǒng)將通過麥克風(fēng)獲取語音控制指令，則按照語音控制指令對應(yīng)的內(nèi)容執(zhí)行相應(yīng)的操作；否則關(guān)閉hud，返回初始化狀態(tài)。

按上述方法，所述的hud界面功能區(qū)包括若干圖標(biāo)；

當(dāng)hud在關(guān)閉狀態(tài)時，圖標(biāo)最小化在hud界面功能區(qū)邊緣，hud界面功能區(qū)透明度高；

當(dāng)hud在打開狀態(tài)下，圖標(biāo)展開在hud界面功能區(qū)中，hud界面功能區(qū)透明度低，當(dāng)駕駛員視線進入hud界面功能區(qū)，被視線注釋的圖標(biāo)尺寸變大，其它圖標(biāo)尺寸變小。

按上述方法，所述的一定時間設(shè)定為3-6秒。

按上述方法，本方法中預(yù)設(shè)激活指令，當(dāng)通過麥克風(fēng)獲取的語音與預(yù)設(shè)激活指令相匹配時，才進行啟動。

按上述方法，所述的語音控制指令為預(yù)設(shè)控制語音，預(yù)設(shè)控制語音與對應(yīng)的操作建立有映射關(guān)系；當(dāng)通過麥克風(fēng)獲取的語音與預(yù)設(shè)控制語音相匹配時，才按照所述映射關(guān)系進行相應(yīng)的操作。

一種用于述的基于車載hud的眼動輔助語音交互方法的系統(tǒng)，其特征在于：它包括設(shè)置在車輛儀表盤上方、正對駕駛員眼睛的眼動追蹤器，投影發(fā)射面面向前擋風(fēng)玻璃的hud，設(shè)置在駕駛室控制面板上的麥克風(fēng)，以及設(shè)置在駕駛室內(nèi)的語音識別系統(tǒng)和主機處理器；其中麥克風(fēng)與所述的語音識別系統(tǒng)連接，語音識別系統(tǒng)、眼動追蹤器和hud分別與主機處理器連接，主機處理器與各車載設(shè)備的控制模塊通過can總線連接。

按上述系統(tǒng)，本系統(tǒng)還包括車載信息采集裝置，車載信息采集裝置通過can總線與各車載設(shè)備連接獲取車輛實時數(shù)據(jù)，并與所述主機處理器連接，主機處理器將車輛實時數(shù)據(jù)通過hud顯示在hud界面功能區(qū)。

本發(fā)明的有益效果為：通過采集駕駛員眼球動作基于hud和語音輔助對車輛進行控制，交互過程中手部無需離開方向盤，視線無需離開行駛道路視野，避免駕駛員關(guān)注按鍵操作帶來的事故風(fēng)險。

附圖說明

圖1為本發(fā)明一實施例的方法流程圖。

圖2為本發(fā)明一實施例的使用場景模擬圖。

圖中：1-視線，2-眼動追蹤器，3-hud界面功能區(qū)，4-麥克風(fēng)。

具體實施方式

下面結(jié)合具體實例和附圖對本發(fā)明做進一步說明。

本發(fā)明提供一種基于車載hud的眼動輔助語音交互方法，包括以下步驟：

初始狀態(tài)：hud處于關(guān)閉狀態(tài)；

車載語音識別系統(tǒng)將通過麥克風(fēng)獲取的hud打開指令語音，轉(zhuǎn)換為hud打開指令；

hud在接收到車載語音識別系統(tǒng)的hud打開指令后啟動，將hud界面功能區(qū)投影到前擋風(fēng)玻璃上；校正眼動追蹤系統(tǒng)；

當(dāng)眼動追蹤系統(tǒng)識別出駕駛員的視線進入hud界面功能區(qū)，且在一定時間（3-6秒）內(nèi)車載語音識別系統(tǒng)將通過麥克風(fēng)獲取語音控制指令，則按照語音控制指令對應(yīng)的內(nèi)容執(zhí)行相應(yīng)的操作；否則關(guān)閉hud，返回初始化狀態(tài)。

所述的hud界面功能區(qū)包括若干圖標(biāo)；當(dāng)hud在關(guān)閉狀態(tài)時，圖標(biāo)最小化在hud界面功能區(qū)邊緣，hud界面功能區(qū)透明度高；當(dāng)hud在打開狀態(tài)下，圖標(biāo)展開在hud界面功能區(qū)中，hud界面功能區(qū)透明度低，當(dāng)駕駛員視線進入hud界面功能區(qū)，被視線注釋的圖標(biāo)尺寸變大，其它圖標(biāo)尺寸變小。

本方法中預(yù)設(shè)激活指令，當(dāng)通過麥克風(fēng)獲取的語音與預(yù)設(shè)激活指令相匹配時，才進行啟動。

所述的語音控制指令為預(yù)設(shè)控制語音，預(yù)設(shè)控制語音與對應(yīng)的操作建立有映射關(guān)系；當(dāng)通過麥克風(fēng)獲取的語音與預(yù)設(shè)控制語音相匹配時，才按照所述映射關(guān)系進行相應(yīng)的操作。

一種用于述的基于車載hud的眼動輔助語音交互方法的系統(tǒng)，如圖2所示，它包括設(shè)置在車輛儀表盤上方、正對駕駛員眼睛的眼動追蹤器2，投影發(fā)射面面向前擋風(fēng)玻璃的hud，從而將hud界面功能區(qū)3投影在與駕駛員的視線1相平行的前擋風(fēng)玻璃上，設(shè)置在駕駛室控制面板上的麥克風(fēng)4，以及設(shè)置在駕駛室內(nèi)的語音識別系統(tǒng)和主機處理器；其中麥克風(fēng)4與所述的語音識別系統(tǒng)連接，語音識別系統(tǒng)、眼動追蹤器2和hud分別與主機處理器連接，主機處理器與各車載設(shè)備的控制模塊通過can總線連接。

本系統(tǒng)還可以包括車載信息采集裝置，車載信息采集裝置通過can總線與各車載設(shè)備連接獲取車輛實時數(shù)據(jù)，并與所述主機處理器連接，主機處理器將車輛實時數(shù)據(jù)通過hud顯示在hud界面功能區(qū)3。

基于上述方法及系統(tǒng)，本實施例提供一種細(xì)化的基于車載hud的眼動輔助語音交互方法，如圖1所示，

s101、初始化：汽車啟動電源后，hud處于關(guān)閉狀態(tài)；校正眼動追蹤系統(tǒng)。此時圖標(biāo)最小化在hud界面功能區(qū)邊緣，hud界面功能區(qū)透明度高，駕駛員視線集中于路面，不影響駕駛員的駕駛視線。

s102、獲取語音，當(dāng)獲取的語音與預(yù)設(shè)激活指令相匹配時，啟動hud；例如“你好”、“啟動交互”等的特殊指令。啟動后，由車載信息采集裝置采集的車載設(shè)備信息，由主機處理器處理，反饋到hud界面功能區(qū)上進行顯示。

s103、眼動追蹤系統(tǒng)實時對駕駛員的眼動行為進行監(jiān)測。

s104、判斷駕駛員的視線是否進入hud界面功能區(qū)。

s105、若駕駛員的視線進入hud界面功能區(qū)，則hud界面功能區(qū)透明度變小，被視線注釋的圖標(biāo)尺寸變大，其它圖標(biāo)尺寸變小，給駕駛員以反饋此時已選中該圖標(biāo)對應(yīng)的功能；進入s106。

s106、判斷5s內(nèi)是否發(fā)出可識別語音控制指令。

s107、當(dāng)發(fā)出可識別語音控制指令，則主機處理器接收所述語音控制指令，查找所述控制指令對應(yīng)的執(zhí)行指令，并將所述執(zhí)行指令發(fā)送給車載設(shè)備的控制模塊，按照語音控制指令執(zhí)行所選圖標(biāo)的對應(yīng)功能，同時hud界面功能區(qū)給予執(zhí)行結(jié)果的反饋并顯示。

s108、若駕駛員的視線未進入hud界面功能區(qū)，或s106中5s內(nèi)未發(fā)出可識別語音控制指令，或者發(fā)出“不執(zhí)行”的指令，則判斷駕駛員沒有交互意愿，hud界面功能區(qū)的圖標(biāo)最小化、透明度提升，5s后hud關(guān)閉，恢復(fù)初始狀態(tài)。

抬頭顯示器hud(headupdisplay)，是普遍運用在航空器上的飛行輔助儀器。抬頭的意思是指飛行員不需要低頭就能夠看到他需要的重要資訊。hud是利用光學(xué)反射的原理，將重要的飛行相關(guān)資訊投射在一片玻璃上面。這片玻璃位于座艙前端，高度大致與飛行員的眼睛成水平，投射的文字和影像調(diào)整在焦距無限遠(yuǎn)的距離上面，飛行員透過hud往前方看的時候，不會妨礙到眼睛的運作，維持清晰的顯示。

tobiieye-tracking（人眼追蹤技術(shù)），是一款可以嵌入產(chǎn)品內(nèi)部的人眼運動追蹤器，可以獲取人眼觀察位置的數(shù)據(jù)，并轉(zhuǎn)化為數(shù)字信息，提供與設(shè)備的交互。

本發(fā)明提供的一種基于車載hud的眼動及語音輔助交互方法及系統(tǒng)，通過hud設(shè)備可以有效減少駕駛員視線離開道路的時間，提高了駕駛的安全性；通過將駕駛員的語音指令和眼動行為指令基于車載hud的反饋發(fā)送給執(zhí)行設(shè)備，代替了手動操控車載設(shè)備，同時避免了因語音數(shù)據(jù)庫存儲空間有限等原因所導(dǎo)致的交互指令識別錯誤，有效地提高了交互系統(tǒng)的實用性和用戶體驗，使人機交互服務(wù)更加人性化。

以上實施例僅用于說明本發(fā)明的設(shè)計思想和特點，其目的在于使本領(lǐng)域內(nèi)的技術(shù)人員能夠了解本發(fā)明的內(nèi)容并據(jù)以實施，本發(fā)明的保護范圍不限于上述實施例。所以，凡依據(jù)本發(fā)明所揭示的原理、設(shè)計思路所作的等同變化或修飾，均在本發(fā)明的保護范圍之內(nèi)。