本發(fā)明涉及人機交互技術(shù)領(lǐng)域，具體涉及一種基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)。

背景技術(shù)：

隨著人口的增長，人均收入的增加，越來越多人購買了汽車，但隨之而來的車禍事件也越發(fā)增多。這樣，正確的駕駛技術(shù)十分必要。前瞻產(chǎn)業(yè)研究院發(fā)布的《2013-2017年中國機動車駕駛培訓行業(yè)深度調(diào)研與投資戰(zhàn)略規(guī)劃分析報告》顯示，截至2012年年底，全國共有駕駛員培訓機構(gòu)10347所，教練車37.7萬輛，教練員43.9萬人，分別比2006年增長42.2％、75.3％和106.6％。同時，駕校的學費日漸升高，但用戶卻得不到全面的指導。2015年中國頒布了《關(guān)于推進機動車駕駛?cè)伺嘤柨荚囍贫雀母锏囊庖姟罚F(xiàn)在可以駕駛證可以自學直考，不必非去駕校，一款便捷的虛擬駕駛培訓系統(tǒng)，可以緩解駕校壓力從而降低駕校成本。虛擬駕駛，又稱為汽車駕駛仿真，或者汽車模擬駕駛。是指利用現(xiàn)代高科技技術(shù)如：實時三維圖像技術(shù)、汽車動力學仿真物理系統(tǒng)、大視場顯示技術(shù)(如多通道立體投影系統(tǒng))、六自由度運動平臺(或三自由度運動平臺)、用戶輸入硬件系統(tǒng)、立體聲音響、中控系統(tǒng)等，讓體驗者在一個虛擬的駕駛環(huán)境中，感受到接近真實效果的視覺、聽覺和體感的汽車駕駛體驗。當前的虛擬駕駛產(chǎn)品，普遍不能反饋全面的用戶駕駛過程的物理和生理信息和不能矯正用戶的駕駛不良習慣，這樣的虛擬駕駛產(chǎn)品性能是不夠完善的。

近年來產(chǎn)生了許多與此相關(guān)的論文和專利，分別如下：

中國公開專利號：CN105390042A，名稱：模擬駕駛平臺。該設(shè)備仿照車內(nèi)結(jié)構(gòu)搭建出一個平臺。該設(shè)備能在很大程度上模擬出真實的車內(nèi)環(huán)境，但該設(shè)備沒有觸覺反饋，不能逼真地仿真出車輛的真實駕駛情況，更為重要的是該專利不能實時檢測出用戶的生理信息，沒有自動糾錯功能。

中國公開專利號：CN202171880U，名稱：一種三維視景仿真駕駛系統(tǒng)。該設(shè)備使用模擬駕駛座椅，配合投影儀，并利用計算機實時同步生成的立體三維虛擬場景，造成一套逼真、立體、完全沉浸的仿真駕駛系統(tǒng)。但該設(shè)備同樣沒有實時監(jiān)測用戶的駕駛狀態(tài)及駕駛姿勢，不能實時對用戶駕駛技能進行校正。實用性有待提高。

中國公開專利號：CN204856968U，名稱：一種用于駕駛員學習的汽車模擬駕駛系統(tǒng)裝置。該設(shè)備同樣能夠出色的模擬出真實駕駛環(huán)境，很好的結(jié)合了視覺聽覺和觸覺反饋。但同樣存在現(xiàn)有模擬駕駛類專利的缺陷，不能實時監(jiān)測用戶的駕駛狀態(tài)，不能更出色的發(fā)揮出人機交互平臺應有的體驗與性能。一個成熟的駕駛培訓系統(tǒng)，在提供模擬駕駛的基本功能的同時，還應該帶有矯正用戶駕駛習慣的功能。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是解決現(xiàn)有技術(shù)中的上述缺陷，如用戶體驗差，虛擬現(xiàn)實沉浸感不夠強，沒有加入觸覺輸入輸出，沒能實時檢測用戶生理信息、沒能矯正用戶駕駛習慣、反饋信號單一等問題，提供一種基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)。

本發(fā)明的目的可以通過采取如下技術(shù)方案達到：

一種基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)，所述駕駛培訓系統(tǒng)包括：曲面3D顯示器2、半透明曲面玻璃板4、支撐平臺7、控制主機8、方向盤6、油門離合器及剎車合成9和換擋裝置12，其中，所述曲面3D顯示器2與所述控制主機8通過信號線連接，用于將所述控制主機8產(chǎn)生的3D影像投影到所述半透明曲面玻璃板4上；所述曲面3D顯示器2與所述半透明曲面玻璃板4由上至下分別設(shè)置于所述支撐平臺7的上方，固定在與所述支撐平臺7相連的顯示器支架固定桿3；所述方向盤6和所述換擋裝置12設(shè)置在所述支撐平臺7上，所述油門離合器及剎車合成9設(shè)置在所述支撐平臺7的下方，所述方向盤6、所述油門離合器及剎車合成9、所述換擋裝置12與所述控制主機8通過信號線連接；

所述駕駛培訓系統(tǒng)還包括：腦電采集設(shè)備10和肌電采集設(shè)備14，其中，所述腦電采集設(shè)備10用于采集佩戴用戶的腦電信號，然后將其信號輸送到與所述腦電采集設(shè)備10信號連接的所述控制主機8進行處理；所述肌電采集設(shè)備14佩戴在用戶的大臂和小臂上，用于采集用戶的表面肌電信號，然后將其信號輸送到與所述肌電采集設(shè)備14信號連接的所述控制主機8進行處理。

進一步地，所述曲面3D顯示器2與所述半透明曲面玻璃板4分別通過3D顯示器支架1與半透明曲面玻璃板支架5固定在所述顯示器支架固定桿3上。

進一步地，所述半透明曲面玻璃板支架5通過轉(zhuǎn)向角件及螺絲與所述顯示器支架固定桿3固定連接，所述半透明曲面玻璃板支架5的高度和水平角度可根據(jù)需要調(diào)節(jié)。

進一步地，所述方向盤6、所述油門離合器及剎車合成9、所述換擋裝置12為帶力反饋的設(shè)備，上述設(shè)備在采集用戶操作控制信息的同時，將來自所述控制主機8的用戶精神狀態(tài)信息、肌肉狀態(tài)信息、模擬駕駛信息回饋給駕駛培訓用戶。

進一步地，所述腦電采集設(shè)備10為易帶式腦電采集頭盔，采集用于提取注意力集中程度的腦電信號。

進一步地，所述肌電采集設(shè)備14為無線肌電信號測量手環(huán)，采集用于提取肌肉緊張程度的肌電信號。

進一步地，所述駕駛培訓系統(tǒng)還包括：汽車座椅15，所述汽車座椅15的高度及前后位置可調(diào)節(jié)。

進一步地，所述汽車座椅15上設(shè)置有安全帶13，與所述控制主機8通過信號線連接，所述控制主機8可檢測所述汽車座椅15上的用戶是否系扣安全帶13，并將安全帶系扣狀態(tài)通過所述曲面3D顯示器2投影顯示在所述半透明曲面玻璃板4上。

進一步地，所述駕駛培訓系統(tǒng)還包括：多媒體音頻裝置11，所述多媒體音頻裝置11與所述控制主機8通過信號線連接，所述多媒體音頻裝置11用于播放所述控制主機8模擬車輛行駛時的引擎聲、剎車時的剎車聲。

本發(fā)明相對于現(xiàn)有技術(shù)具有如下的優(yōu)點及效果：

1)本發(fā)明提供一種基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)，能夠讓用戶在室內(nèi)進行真實逼真的駕駛訓練，矯正司機的不良駕駛習慣。在虛擬現(xiàn)實技術(shù)方面，該系統(tǒng)能將用戶的生理信息、方向盤力反饋信息、虛擬路面情況、虛擬引擎聲及剎車聲等多信息進行融合處理，提高了人機互動的精確性和效率。

2)本系統(tǒng)能夠提供逼真的3D虛擬現(xiàn)實影像，擁有獨特的視覺、聽覺及觸覺感受系統(tǒng)，實現(xiàn)了三者的同步渲染和配合，大大增強了虛擬現(xiàn)實技術(shù)的沉浸感。

3)本系統(tǒng)具有自動糾錯功能和實時檢測用戶生理信息功能，腦電信號提取注意力集中程度，肌電信號提取肌肉緊張程度，實時投影到半透膜屏幕上，能更加全面訓練用戶駕駛技能。

附圖說明

圖1是本發(fā)明中基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)的結(jié)構(gòu)示意圖；

圖2是半透明曲面玻璃板支架的左視圖；

圖3是半透明曲面玻璃板支架的立體結(jié)構(gòu)示意圖；

圖4是汽車儀表投影示意圖；

圖5是雙臂肌肉狀態(tài)界面示意圖；

圖6是多信息融合處理算法流程圖；

其中，1---3D顯示器支架，2---曲面3D顯示器，3---顯示器支架固定桿，4---半透明曲面玻璃板，5---半透明曲面玻璃板支架，6---方向盤，7---支撐平臺，8---控制主機，9---油門離合器及剎車，10---腦電采集設(shè)備，11---多媒體音頻裝置，12---換擋裝置，13---安全帶，14---肌電采集設(shè)備，15---汽車座椅。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

實施例

本實施例公開了一種基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)，通過使用計算機模擬真實汽車內(nèi)的環(huán)境，通過曲面3D顯示器顯示。同時，該系統(tǒng)含有車內(nèi)的帶力反饋的方向盤6、油門離合器及剎車合成9、換擋裝置12來模擬車內(nèi)操作環(huán)境，此外還含有多種信息采集設(shè)備，通過增強現(xiàn)實和生物反饋技術(shù)給用戶營造一個逼真的模擬駕駛環(huán)境。

如附圖1所示，圖1公開了一種基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)，該系統(tǒng)包括下列組成構(gòu)件：3D顯示器支架1、曲面3D顯示器2、顯示器支架固定桿3、半透明曲面玻璃板4、半透明曲面玻璃板支架5、方向盤6、支撐平臺7、控制主機8、油門離合器及剎車9、腦電采集設(shè)備10、多媒體音頻裝置11、換擋裝置12、安全帶13、肌電采集設(shè)備14、汽車座椅15。

所述曲面3D顯示器2與所述控制主機8通過信號線連接，用于將所述控制主機8產(chǎn)生的3D影像投影到所述半透明曲面玻璃板4上。

通過使用曲面3D顯示器2，從而加大模擬駕駛環(huán)境的顯示范圍，使用戶擁有更加廣闊的模擬駕駛環(huán)境。半透明曲面玻璃板4的使用是為了將虛擬模擬駕駛影像完整投影到半透明玻璃板上，同時，曲面玻璃板的曲面弧度需要根據(jù)2曲面3D顯示器做特定的定制，以達到完美投影效果。

控制主機8通過計算機模擬出車內(nèi)環(huán)境景象，由曲面3D顯示器2通過半透明曲面玻璃板4的反射原理，使虛擬影像和用實物搭建的仿真駕駛平臺重合并實時同步，這樣就可以達到用戶直接在操控虛擬影像的效果。通過調(diào)節(jié)3D顯示器支架1的高度和位置從而調(diào)節(jié)曲面3D顯示器2，通過調(diào)節(jié)半透明曲面玻璃板支架5可以調(diào)節(jié)半透明曲面玻璃板4的位置，在有必要的情況下還有添加3D眼鏡，以滿足不同用戶的各種需求。

所述曲面3D顯示器2與所述半透明曲面玻璃板4由上至下分別設(shè)置于所述支撐平臺7的上方，固定在與所述支撐平臺7相連的顯示器支架固定桿3。

本實施例中，所述曲面3D顯示器2與所述半透明曲面玻璃板4分別通過3D顯示器支架1與半透明曲面玻璃板支架5固定在所述顯示器支架固定桿3上。

其中，所述半透明曲面玻璃板支架5通過轉(zhuǎn)向角件及螺絲與所述顯示器支架固定桿3固定連接，所述半透明曲面玻璃板支架5的高度和水平角度可根據(jù)需要調(diào)節(jié)。

根據(jù)附圖2和附圖3中半透明曲面玻璃板支架的左視圖和立體結(jié)構(gòu)示意圖所示，半透明曲面玻璃板支架5由兩根型材a2和一根型材a3通過角件b1和螺絲b2組合成一U型支架，同樣，由兩根型材a1和一根型材a4通過角件b1和螺絲b2組合成另一U型支架，通過使用轉(zhuǎn)向角件b3連接起型材a3和型材a4，由角件b1和螺絲b2固定在支撐平臺7。由于型材自帶的凹槽結(jié)構(gòu)以及角件的使用，可以實現(xiàn)半透明曲面玻璃板支架5的高度和水平角度的調(diào)節(jié)。

該基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)還包括：腦電采集設(shè)備10，所述腦電采集設(shè)備10用于采集佩戴用戶的腦電信號，然后將其信號輸送到與所述腦電采集設(shè)備10信號連接的所述控制主機8進行處理，最終，將用戶的精神狀態(tài)通過曲面3D顯示器2投影顯示在半透明曲面玻璃板4上。

本實施例中，腦電采集設(shè)備10采用易帶式腦電采集頭盔，易帶式腦電采集頭盔和控制主機中的腦電信號處理軟件構(gòu)成腦電采集分析系統(tǒng)，該腦電采集分析系統(tǒng)能實時采集用戶腦電信號，把腦電信號實時反饋到控制主機中進行濾波、特征提取、分類等相關(guān)操作，主要用來提取駕駛員的腦電α波。

該基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)還包括：肌電采集設(shè)備14，所述肌電采集設(shè)備14佩戴在用戶的大臂和小臂上，用于采集用戶的表面肌電信號，然后將其信號輸送到與所述肌電采集設(shè)備14信號連接的所述控制主機8進行處理，最終，將用戶的肌肉狀態(tài)通過曲面3D顯示器2投影顯示在半透明曲面玻璃板4上。

本實施例中，肌電采集設(shè)備14采用無線肌電信號測量手環(huán)，無線肌電信號測量手環(huán)和控制主機中的肌電信號處理軟件構(gòu)成肌電信號采集分析系統(tǒng)，該肌電信號采集分析系統(tǒng)通過無線肌電信號測量手環(huán)上的EMG傳感器對用戶的sEMG進行實時采集，控制主機8接收到無線肌電信號測量手環(huán)的信號后，對信號使用自動小波變換算法進行濾波、去噪，對去噪后的信號進行快速傅里葉轉(zhuǎn)換得到sEMG信號的頻譜。當用戶的sEMG頻譜出現(xiàn)左移現(xiàn)象，則表明用戶出現(xiàn)肌肉疲勞。肌電信號采集分析系統(tǒng)主要通過肌電信號的采集，來監(jiān)測駕駛員的手臂的緊張程度，控制主機8做出提示駕駛員調(diào)整狀態(tài)和姿勢。

該基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)還包括：方向盤6、油門離合器及剎車合成9、換擋裝置12，所述方向盤6和所述換擋裝置12設(shè)置在所述支撐平臺7上，所述油門離合器及剎車合成9設(shè)置在所述支撐平臺7的下方，所述方向盤6、油門離合器及剎車合成9、換擋裝置12與所述控制主機8通過信號線連接。用戶坐在汽車座椅15上，可以方便操作方向盤6、油門離合器及剎車合成9、換擋裝置12。

所述方向盤6、所述油門離合器及剎車合成9、所述換擋裝置12為帶力反饋的設(shè)備，上述設(shè)備在采集用戶操作控制信息的同時，將來自控制主機8的信息，包含用戶精神狀態(tài)信息、肌肉狀態(tài)信息、模擬駕駛信息回饋給用戶，給用戶真實的駕駛體驗以及適當?shù)鸟{駛提醒。

方向盤6、油門離合器及剎車合成9、換擋裝置12與控制主機8上的相關(guān)處理軟件構(gòu)成力反饋系統(tǒng)，可以實時向控制主機8反饋方向盤旋轉(zhuǎn)角度及角速度，并從控制主機8中向用戶回饋方向盤所在3D影像中的狀態(tài)。當車輛速度過快時，油門上的力反饋裝置震動，提醒用戶松動油門。

該基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)在模擬駕駛環(huán)境的同時，通過腦電采集設(shè)備10和肌電采集設(shè)備14實時檢測用戶的生理信息，如用戶的肌肉緊張程度、疲勞程度及注意力集中程度，通過控制平臺8的計算，判別出用戶注意力集中度和駕駛雙臂肌肉疲勞情況，并反饋給用戶。

通過附圖4的狀態(tài)顯示表顯示在半透明曲面玻璃板4上。其狀態(tài)主要分為肌肉狀態(tài)和注意力狀態(tài)，注意力狀態(tài)分為好、中、差三個級別，而肌肉狀態(tài)主要分為好、緊張、疲勞三個級別。此外，肌肉狀態(tài)還細分到兩只手臂的主要肌肉群，如附圖5，當其肌肉群緊張時，其亮紅燈，正常時亮綠燈。

總之，控制主機8根據(jù)用戶的狀態(tài)信息、駕駛輸入信息以及正確的駕駛姿態(tài)信息，計算出用戶的操作指導信息，反饋給力反饋設(shè)備，通過力反饋設(shè)備對用戶進行操作指導，修改用戶的不良駕駛習慣。

該基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)還包括：多媒體音頻裝置11，所述多媒體音頻裝置11與所述控制主機8通過信號線連接，構(gòu)成聽覺反饋系統(tǒng)，所述多媒體音頻裝置11用于播放所述控制主機8仿真出車輛行駛時的引擎聲，剎車時的剎車聲，提高了該基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)在聽覺上的體驗和大大提高了虛擬環(huán)境的沉浸感。

所述汽車座椅15設(shè)置有安全帶13，與所述控制主機8通過信號線連接，控制主機8可檢測用戶是否系扣安全帶13，并將安全帶系扣狀態(tài)通過曲面3D顯示器2投影顯示在半透明曲面玻璃板4上。

下面，結(jié)合附圖6對本發(fā)明公開的基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)中多信息融合處理算法進行說明。首先，用戶要在注意力集中時采集腦電信號，這個過程需要多次的訓練，經(jīng)過訓練，可以得出用戶的精神集中的腦電信號模型。然后，進入判別階段。通過采集用戶的實時腦電信號數(shù)據(jù)，期間利用頻域濾波、空域濾波等算法對原始腦電信號進行預處理，提高信噪比，使得信號特征更為明顯，將經(jīng)過處理的腦電信號與用戶之前的腦電信號模型進行對比，主要對比α波，當用戶疲勞駕駛時α波會增強。同時也通過無線肌電信號測量手環(huán)對肌電信號進行采集，通過無線肌電信號測量手環(huán)上的EMG傳感器對用戶的sEMG進行實時采集，計算機接收到無線肌電信號測量手環(huán)的信號后，對信號使用自動小波變換算法進行濾波、去噪，對去噪后的信號進行快速傅里葉轉(zhuǎn)換得到sEMG信號的頻譜。當用戶的sEMG頻譜出現(xiàn)左移現(xiàn)象，則表明用戶出現(xiàn)肌肉疲勞。判別得出用戶狀態(tài)后，通過計算機反饋給用戶。用戶在操作方向盤實物時，通過方向盤的力反饋，計算機可以得到用戶操作方向盤的信息，如旋轉(zhuǎn)角度、角速度，虛擬影像也會做出對應的操作。在逼真的虛擬駕駛環(huán)境中，在腦電和肌電信號的協(xié)助下，用戶可以得到良好的駕駛體驗和正確的駕駛指導。

綜上所述，本發(fā)明公開的基于增強現(xiàn)實和生物反饋的駕駛培訓系統(tǒng)通過使用計算機模擬真實汽車內(nèi)的環(huán)境如儀表、方向盤、換擋裝置等等以及路面情況，通過曲面3D顯示器投影，經(jīng)半透明曲面玻璃板的反射成像原理顯示成像，通過調(diào)整半透明曲面玻璃板的高度和水平角度，可以使虛擬影像和搭建的實物平臺重合，方向盤、油門離合器及剎車合成、換擋裝置帶有力反饋，能夠?qū)崟r與模擬的車輛行駛狀態(tài)同步，讓用戶體驗到真實的駕駛體驗。使用半透明曲面玻璃板，可以增大用戶觀看虛擬影像的可視范圍，同時用戶可以根據(jù)具體顯示器的類型選擇添加3D眼鏡以增強沉浸感。此外，該系統(tǒng)具有自動糾錯功能，帶力反饋的方向盤提示用戶轉(zhuǎn)向，油門力反饋提示用戶減速，同時通過使用無線肌電信號測量手環(huán)和易帶式腦電采集頭盔采集用戶的生理信息，腦電信號提取注意力集中程度，肌電信號提取肌肉緊張程度，實時投影到半透明曲面玻璃板上，達到實時提示用戶駕駛狀態(tài)，通過生物反饋，幫助用戶了解并改善自我駕駛習慣。該系統(tǒng)通過3D虛擬影像向用戶無縫展現(xiàn)控制臺儀表盤和車前路面信息，從而節(jié)省了硬件制作成本。

上述實施例為本發(fā)明較佳的實施方式，但本發(fā)明的實施方式并不受上述實施例的限制，其他的任何未背離本發(fā)明的精神實質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應為等效的置換方式，都包含在本發(fā)明的保護范圍之內(nèi)。