本發(fā)明涉及汽車人機交互領(lǐng)域。

背景技術(shù)：

傳統(tǒng)車載人機交互方案的用戶體驗不良。隨著汽車智能化和車聯(lián)網(wǎng)服務的發(fā)展，車內(nèi)的設(shè)備和信息都較以往大幅增加，車載系統(tǒng)越來越復雜化，同時人車交互的需求也隨之增加，因此駕駛員的認知負荷較高，傳統(tǒng)的人機交互界面(實體按鍵、旋鈕、觸控屏)無法解決新形勢下的問題，導致車載人機交互用戶體驗不良。

新興的車載人機交互方案存在不足：

“新興的車載人機交互方案”指與本發(fā)明相關(guān)的兩項技術(shù)：手勢交互和汽車平視現(xiàn)實(HUD)。

1、手勢交互：目前市場上有部分廠商(如寶馬7系)推出支持手勢交互的車載系統(tǒng)，但其方案有三方面的缺點：

(1)一種手勢只能支持單一的操作指令，為了不使交互方式過于復雜，手勢交互只能進行非常有限的操作；

(2)現(xiàn)有手勢識別的技術(shù)采用了計算機視覺的方案，通過攝像頭捕捉手部動作容易受到遮擋，因此對手勢發(fā)生的位置有較嚴格的要求(例如在中控面板正前方)，操作時手部不得不離開方向盤。這樣使的駕駛員的認知負荷提升，造成駕駛分心；

(3)計算機視覺的識別方案可靠性較差，容易帶來誤操作、識別錯誤、操作延遲等問題，而這些問題十分影響駕駛來安全。

2、汽車HUD：汽車HUD是一種將車載系統(tǒng)信息投影在擋風玻璃上的裝置，傳統(tǒng)的HUD一般僅具有呈現(xiàn)速度等信息的很有限的功能，少數(shù)新出現(xiàn)的HUD產(chǎn)品具備手勢或語音操作的功能(如Navdy)，但沒有考慮HUD的應用特點，依然沿用了屏幕顯示的交互邏輯，容易造成駕駛員的分心，導致交通事故。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，公開一種基于Soli和Tobii的汽車HUD眼動輔助手勢交互系統(tǒng)及其裝置，本發(fā)明主要解決以下問題：

1.建立自然的人機交互方式，減少駕駛駛員操作車載系統(tǒng)時的認知負荷；

2.提升手勢交互的可用性，使手勢交互機制簡單易學、操作及時準確、交互過程中手部無需離開方向盤，視線無需離開行駛道路視野；

3.交互方式能響應用戶具體場景下的特別需求，不對駕駛員駕駛造成干擾；

4.交互方式功能全面，能采用簡單的交互邏輯完成多類操作任務。

為此，本發(fā)明給出的技術(shù)方案一：

一種基于Soli和Tobii的汽車HUD眼動輔助手勢交互系統(tǒng)，其特征在于，包括Soli手勢識別雷達、Tobii眼動追蹤器、圖像處理和微型投影單元、處理器，

所述Tobii眼動追蹤器用于采集駕駛員眼球動作獲得點擊操控對象指令；

所述的Soli手勢識別雷達用于采集駕駛員手指動作獲得輸入指令；

所述的Soli手勢識別雷達和Tobii眼動追蹤器的數(shù)據(jù)傳輸?shù)接糜诮换?shù)據(jù)集成的處理器中，經(jīng)處理器處理后生成操作指令，將操作指令發(fā)送到各車載設(shè)備；另將車載設(shè)備的狀態(tài)數(shù)據(jù)返回到處理器，并發(fā)送到HUD圖像處理和微型投影單元；所述HUD圖像處理和微型投影單元將顯示數(shù)據(jù)通過車內(nèi)擋風玻璃顯示，呈現(xiàn)在駕駛員的眼前，供駕駛員進一步指令操作。

1.利用微型投影儀(5)將HUD界面圖像經(jīng)一塊鏡面(7)反射投影到汽車擋風玻璃上，虛像顯示在擋風玻璃外約2米位置。HUD界面包含代表車內(nèi)可操控設(shè)備的圖標，具有未選中、選中、操作中2種狀態(tài)，不同狀態(tài)下圖像尺寸、透明度不同。操作過程中HUD界面起到操作效果反饋的作用。

2.利用Tobii IS4(1)獲取駕駛員的視覺注視的位置數(shù)據(jù)，系統(tǒng)根據(jù)駕駛員視線注視位置判斷駕駛員此時的需求和意圖，并使HUD圖形界面與之響應。在駕駛員注視路面時，HUD界面圖像尺寸較小，透明度較高，不影響駕駛員的正常駕駛。當駕駛員注視位置進入界面區(qū)域時，HUD界面變得更清晰，尺寸變大。當駕駛員的視線聚焦于一個圖標時，被注視圖標尺寸變大，其他圖標尺寸變小，給駕駛員以反饋，表示駕駛員此時選中了該圖標對應的功能。

3.利用Soli(8)獲取駕駛員手部動作，駕駛員通過手勢與車載系統(tǒng)交互，以控制車內(nèi)設(shè)備。系統(tǒng)設(shè)有三組基本交互手勢，分別為“向上/下擺動手掌”、“向左/右滑動雙指”、“收攏/張開五指”，能夠滿足媒體、空調(diào)、車窗、座椅加熱、電話、短消息、導航等大部分車載設(shè)備及應用的操作需求(如圖6所示的表1)，車載應用開發(fā)者可以為新應用調(diào)用手勢交互功能，也可以基于本系統(tǒng)開發(fā)新的手勢，以拓展其功能?；臼謩菁捌鋵慕换スδ埽鐖D6。

4.手勢和眼動數(shù)據(jù)在交互數(shù)據(jù)集成處理器(12)中生成操作指令，經(jīng)過CAN總線發(fā)送到各車載設(shè)備電子控制單元，執(zhí)行交互指令，同時，車載設(shè)備的狀態(tài)數(shù)據(jù)經(jīng)CAN總線返回到處理器。系統(tǒng)獲取到數(shù)據(jù)后，HUD界面產(chǎn)生響應。

本發(fā)明給出的技術(shù)方案二：

一種基于Soli和Tobii的汽車HUD眼動輔助手勢交互裝置，其特征在于，整個裝置設(shè)計成一體式的盒殼體結(jié)構(gòu)，安裝于放置于儀表盤上方區(qū)域，包括支架體、采集和發(fā)射面、投影反射面、主板，所述支架體用于固著整個盒體；所述采集和發(fā)射面位于盒體外，面向駕駛員；所述投影發(fā)射面面向擋風玻璃；所述主板安裝于盒體內(nèi)部，盒內(nèi)部件以及與主板相連接的外圍功能模塊有Tobii眼動追蹤器1、雷達天線4、Soli微型雷達芯片8、鏡面反光板7、圖像處理和微型投影單元5、交互數(shù)據(jù)集成處理器12；

所述Tobii眼動追蹤器1位于采集和發(fā)射面上，對準駕駛員的眼睛，捕捉駕駛員眼球的運動；

所述雷達天線4位于采集和發(fā)射面上，用于發(fā)射和接受駕駛員手部動作信號；

所述Soli微型雷達芯片8與雷達天線4連接，用于識別駕駛員手部動作；

所述鏡面反光板7安裝于盒體的投影反射面上，將HUD圖形折射到擋風玻璃上；

所述圖像處理和微型投影單元5安裝于主板上，生成和渲染HUD界面圖像，并經(jīng)鏡面反光板7投影到汽車擋風玻璃上，通過鏡面反光板7的折射增加虛像成象距離；

所述交互數(shù)據(jù)集成處理器12通過主板分別與Tobii眼動追蹤器1、Soli微型雷達芯片8、圖像處理和微型投影單元5連接，用于數(shù)據(jù)處理和產(chǎn)生交互指令。

本發(fā)明的有益效果：

1.通過HUD操作車載設(shè)備能夠減少駕駛員視線離開道路的時間和距離，使駕駛更安全；

2.通過眼動追蹤使HUD界面主動響應用戶的需求：通過駕駛員視線，系統(tǒng)可以判斷其交互的意愿。在沒有交互意愿時，駕駛員的視線在功能區(qū)域外，HUD界面呈現(xiàn)較高透明度和較小尺寸，不會干擾視線，減少了駕駛員分心。

3.通過眼動追蹤建立了“駕駛員所視目標即所操控對象”的交互規(guī)則，用自然的視線聚焦代替了手動選中目標交互對象，使駕駛員在手勢交互時無需進入功能子級，即可直接使用通用手勢對車載設(shè)備進行操控；

4.本發(fā)明通過眼動追蹤確定交互對象，相比無眼動輔助的手勢交互，手勢不需要帶有區(qū)分交互對象的特征信息，使手勢動作的數(shù)量得以減少，同一套手勢即可對多種不同設(shè)備進行操作，在保證功能全面的同時保證了交互方式的簡單。

5.本發(fā)明采用微型雷達芯片Soli探測手勢動作，使駕駛員在手勢交互的過程中，手部無需離開方向盤，無需嚴格的位置和動作幅度要求，且手勢識別不會因為方向盤的遮擋和角度問題受到影響；

6.通過眼動和手勢交互的配合，模仿了人類自然手勢交流的方式，使汽車人機交互更直覺化，駕駛員的認知負荷因此降低，用戶體驗更良好。

附圖說明

圖1.本發(fā)明顯示系統(tǒng)架構(gòu)圖

圖2.通過手勢和眼動與擋風玻璃顯示系統(tǒng)交互的流程

圖3.本發(fā)明裝置的透視圖和爆炸圖

圖4.本發(fā)明使用場景圖

圖5.HUD界面響應機制

圖6基本手勢及其對應的交互功能

具體實施方式

(一)本發(fā)明技術(shù)方案由以下技術(shù)支持產(chǎn)生：

1.Tobii是一款可以嵌入到產(chǎn)品內(nèi)部的視覺運動追蹤器(eye tracker)，可以獲取人眼注視位置的數(shù)據(jù)，并轉(zhuǎn)化為數(shù)字信號，供眼動交互系統(tǒng)使用。

2.Soli是一款利用微芯片雷達識別出細微的手指活動的產(chǎn)品，由谷歌公司研發(fā)。相比利用計算機視覺技術(shù)識別手勢的方法，識別動作更準確、及時，對手部動作的位置、幅度具有更大包容性。

3.汽車HUD(heads-up display)是指將車載系統(tǒng)界面通過投影設(shè)備，經(jīng)過鏡面折射投影到擋風玻璃或外設(shè)的玻璃板上形成虛像的設(shè)備。能使駕駛員操作車載系統(tǒng)無需將視線移動到行駛道路視野之外。

4.眼動輔助手勢交互是指利用眼動追蹤設(shè)備，將人眼運動信息作為交互系統(tǒng)的一部分輸入數(shù)據(jù)，結(jié)合手勢識別設(shè)備獲取到的手勢信息，提升手勢交互的準確度、降低復雜度，建立更好的用戶體驗。

(二)、以下結(jié)合附圖對本發(fā)明技術(shù)方案做進一步介紹。

本發(fā)明系統(tǒng)由Tobi眼動追蹤器、Soli手勢識別雷達輸入交互數(shù)據(jù)，通過CAN總線與車載設(shè)備通信，并通過圖像處理和微型投影單元輸出HUD界面。

如圖1所示，本發(fā)明系統(tǒng)：Soli手勢識別雷達和Tobii眼動追蹤器的數(shù)據(jù)傳輸?shù)浇换?shù)據(jù)集成處理器中，經(jīng)處理器處理后生成操作指令，將操作指令經(jīng)CAN總線發(fā)送到各車載設(shè)備的電子控制單元。另，將車載設(shè)備的狀態(tài)數(shù)據(jù)經(jīng)CAN總線返回到處理器，發(fā)送到HUD圖像處理和微型投影單元。

1.利用微型投影儀(5)將HUD界面圖像經(jīng)一塊鏡面(7)反射投影到汽車擋風玻璃上，虛像顯示在擋風玻璃外約2米位置。HUD界面包含代表車內(nèi)可操控設(shè)備的圖標，具有未選中、選中、操作中2種狀態(tài)，不同狀態(tài)下圖像尺寸、透明度不同。操作過程中HUD界面起到操作效果反饋的作用。

2.利用Tobii IS4(1)獲取駕駛員的視覺注視的位置數(shù)據(jù)，系統(tǒng)根據(jù)駕駛員視線注視位置判斷駕駛員此時的需求和意圖，并使HUD圖形界面與之響應。在駕駛員注視路面時，HUD界面圖像尺寸較小，透明度較高，不影響駕駛員的正常駕駛。當駕駛員注視位置進入界面區(qū)域時，HUD界面變得更清晰，尺寸變大。當駕駛員的視線聚焦于一個圖標時，被注視圖標尺寸變大，其他圖標尺寸變小，給駕駛員以反饋，表示駕駛員此時選中了該圖標對應的功能。

3.利用Soli(8)獲取駕駛員手部動作，駕駛員通過手勢與車載系統(tǒng)交互，以控制車內(nèi)設(shè)備。系統(tǒng)設(shè)有三組基本交互手勢，分別為“向上/下擺動手掌”、“向左/右滑動雙指”、“收攏/張開五指”，能夠滿足媒體、空調(diào)、車窗、座椅加熱、電話、短消息、導航等大部分車載設(shè)備及應用的操作需求(如圖6所示的表1)，車載應用開發(fā)者可以為新應用調(diào)用手勢交互功能，也可以基于本系統(tǒng)新開發(fā)新的手勢，以拓展其功能?；臼謩菁捌鋵慕换スδ?，如圖6。

4.手勢和眼動數(shù)據(jù)在交互數(shù)據(jù)集成處理器(12)中生成操作指令，經(jīng)過CAN總線發(fā)送到各車載設(shè)備電子控制單元，執(zhí)行交互指令，同時，車載設(shè)備的狀態(tài)數(shù)據(jù)經(jīng)CAN總線返回到處理器。系統(tǒng)獲取到數(shù)據(jù)后，HUD界面產(chǎn)生響應。

基于以上的系統(tǒng)方案，如圖3所示，本發(fā)明同時公開了裝置實施例，整個裝置設(shè)計成一體式的盒殼體結(jié)構(gòu)，安裝于放置于儀表盤上方區(qū)域，包括支架體、采集和發(fā)射面、投影反射面、主板，所述支架體用于固著整個盒體；所述采集和發(fā)射面位于盒體外，面向駕駛員；所述投影發(fā)射面面向擋風玻璃；所述主板安裝于盒體內(nèi)部，盒內(nèi)部件以及與主板相連接的外圍功能模塊有：

Tobii眼動追蹤器1：傳感器位于采集和發(fā)射面上，對準駕駛員的眼睛，捕捉駕駛員眼球的運動。開機后需按照HUD界面校準。

雷達天線4：為Soli的雷達的組成部分，該Soli的雷達天線位于采集和發(fā)射面上，用于發(fā)射和接受駕駛員手部動作信號。

Soli微型雷達芯片8：為Soli的雷達的組成部分，與雷達天線4連接，用于識別駕駛員手部動作。

圖像處理和微型投影單元5：安裝于主板上，生成和渲染HUD界面圖像，并經(jīng)鏡面反光板7投影到汽車擋風玻璃上。

鏡面反光板7：安裝于盒體的投影反射面上，將HUD圖形折射到擋風玻璃上，通過折射增加虛像成象距離。

交互數(shù)據(jù)集成處理器12：通過主板分別與Tobii眼動追蹤器1、Soli微型雷達芯片8、圖像處理和微型投影單元5連接，用于數(shù)據(jù)處理和產(chǎn)生交互指令。

開關(guān)按鈕2：連接于主板上。按鈕邊緣有環(huán)形指示燈，當本設(shè)備關(guān)閉時，短按一次按鈕開啟本設(shè)備，指示燈亮起3秒；當設(shè)備開啟時，短按按鈕一次指示燈亮起三秒，長按3秒按鈕設(shè)備關(guān)閉。

USB插孔9：連接于主板上，用于設(shè)備的開發(fā)、維護和拓展。

數(shù)據(jù)線10：限制布置在主板上，用于實現(xiàn)整個系統(tǒng)的數(shù)據(jù)傳輸和供電。

散熱電扇11：連接于主板上，獲得電源，用于設(shè)備降溫。

進一步優(yōu)化，還設(shè)有濾光片3：設(shè)于采集和發(fā)射面外，用于濾光、保護和固定眼動追蹤器和雷達天線。

所述的支架13：具體設(shè)計為：呈拱型，可通過彎折調(diào)節(jié)弧度，用于將產(chǎn)品固定在儀表盤上方。

具體的，還可以設(shè)置外殼頂部6：用于保護和固定內(nèi)部部件。

如圖2所示：

1.本設(shè)備開始使用時，首先打開開關(guān)，系統(tǒng)初始化，校正眼動追蹤系統(tǒng)。

2.當Tobii眼動追蹤器識別到駕駛員眼動行為時，系統(tǒng)可以根據(jù)視線所在位置判斷駕駛員意圖，當視線進入HUD界面功能區(qū)域時，界面圖標變大，透明度降低，被注視的圖標變大。

3.當駕駛員在注視圖標5s做出交互手勢時，Soli識別到手部動作，系統(tǒng)獲得駕駛員的交互指令，HUD界面給予反饋，同時指令通過CAN總線發(fā)送到車載設(shè)備，視線功能。

4.如果駕駛員注視圖標5s內(nèi)系統(tǒng)沒有識別到手勢，系統(tǒng)會判斷駕駛員沒有交互意愿，界面會回復到初始狀態(tài)。

如圖4所示，本發(fā)明裝置使用時放置于儀表盤上方，安置時可通過調(diào)節(jié)支架來調(diào)整設(shè)備高度，使設(shè)備與駕駛員視線之間無遮擋，且HUD投影處于擋風玻璃適宜區(qū)域。

(三)、為進一步說明本發(fā)明的使用方式，以調(diào)整汽車空調(diào)和音樂作為例子：

1.駕駛員感到車內(nèi)溫度低，欲調(diào)整空調(diào)溫度。

2.駕駛員視線移向HUD界面，隨之界面變清晰，圖標尺寸變大。

3.駕駛員視線落在對應空調(diào)功能的圖標上，同時該圖標尺寸變大，其他圖標尺寸縮小。

4.駕駛員向擺動手掌，同時空調(diào)圖標變成帶有數(shù)字的圖形，數(shù)字隨著駕駛員手部每上擺動一次增加一。駕駛員手擺動三次3次手掌，界面的數(shù)字增加從22增加到25。

5.駕駛員向左滑動手掌，空調(diào)界面變?yōu)轱L向圖形，隨著駕駛員手掌向左擺動，空調(diào)風向向左轉(zhuǎn)動。

6.駕駛員完成了空調(diào)的挑整，視線回到道路，HUD界面變小，恢復到默認的透明度。

7.駕駛員用與調(diào)整空調(diào)溫度同樣的手勢調(diào)整音樂的音量，僅需將視線集中在音樂圖標上。