本發(fā)明涉及虛擬現(xiàn)實系統(tǒng)，具體來講涉及基于虛擬現(xiàn)實和手勢檢測技術(shù)的乘坐公交車技能訓(xùn)練系統(tǒng)。

背景技術(shù)：

近年來隨著虛擬現(xiàn)實技術(shù)的發(fā)展，為人們提供了豐富、安全且接近真實生活的體驗，在游戲中受到廣泛應(yīng)用。本發(fā)明基于虛擬現(xiàn)實技術(shù)，結(jié)合手勢檢測技術(shù)，提供了一個模擬乘坐公交車的訓(xùn)練系統(tǒng)，為需要接受該項技能訓(xùn)練的人群，尤其是低齡兒童、自閉癥和智障人士等，提供一個安全可靠的訓(xùn)練環(huán)境。系統(tǒng)通過虛擬現(xiàn)實技術(shù)提供乘車任務(wù)下達(dá)、排隊上車、買票、找座位或抓扶手、下車、排隊集合的場景，以聲音及視覺刺激和引導(dǎo)受訓(xùn)者的行為。受訓(xùn)者的動作和移動通過系統(tǒng)映射成在虛擬世界中主角的行為，控制主角完成乘坐公交車的任務(wù)，完成任務(wù)后受訓(xùn)者可獲得一些虛擬獎勵，激發(fā)其學(xué)習(xí)動力進(jìn)一步學(xué)習(xí)，在逐步的學(xué)習(xí)過程中，系統(tǒng)逐漸提升訓(xùn)練難度，受訓(xùn)者經(jīng)過不斷訓(xùn)練最終學(xué)會該技能。系統(tǒng)會根據(jù)訓(xùn)練中受訓(xùn)者的表現(xiàn)，自動調(diào)節(jié)訓(xùn)練難度、次數(shù)、階段等，教師或訓(xùn)練員也可以通過設(shè)置模塊設(shè)置這些信息，達(dá)到個性化教學(xué)目的。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是：提供一個基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，系統(tǒng)包括控制模塊、顯示模塊、設(shè)置模塊、檢測模塊和數(shù)據(jù)庫。顯示模塊包括虛擬現(xiàn)實模塊、聲音播放模塊和監(jiān)控模塊。教師或訓(xùn)練員通過設(shè)置模塊確定受訓(xùn)者需要接受的訓(xùn)練內(nèi)容，當(dāng)開始訓(xùn)練后，控制模塊根據(jù)設(shè)置模塊輸入的信息，從數(shù)據(jù)庫中調(diào)取相應(yīng)的場景、人物、聲音、動畫等，通過虛擬現(xiàn)實模塊將場景視圖顯示給受訓(xùn)者，通過聲音播放模塊播放相應(yīng)聲音，以場景和聲音共同引導(dǎo)受訓(xùn)者，同時檢測模塊實時檢測受訓(xùn)者的位置和手勢，控制場景中主角的行動，當(dāng)檢測模塊檢測到受訓(xùn)者完成整個任務(wù)或一個子任務(wù)時，控制模塊調(diào)取數(shù)據(jù)庫中的獎勵效果，通過顯示模塊播放相應(yīng)獎勵，整個過程中，教師或訓(xùn)練員可以通過監(jiān)控模塊監(jiān)控受訓(xùn)者在場景中的視野和完成任務(wù)情況，并且根據(jù)受訓(xùn)者的能力，通過設(shè)置模塊調(diào)節(jié)以后的任務(wù)，如果教師或訓(xùn)練員未進(jìn)行設(shè)置，則系統(tǒng)會自動根據(jù)受訓(xùn)者能力指派任務(wù)。

本發(fā)明公開了一種基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，包括控制模塊、顯示模塊、設(shè)置模塊、檢測模塊和數(shù)據(jù)庫。控制模塊在硬件上是一臺主機。顯示模塊包括虛擬現(xiàn)實模塊、聲音播放模塊和監(jiān)控模塊，在硬件上，虛擬現(xiàn)實顯示模塊使用虛擬現(xiàn)實頭戴顯示器，聲音播放模塊使用耳機，監(jiān)控模塊是一個普通顯示器。設(shè)置模塊在硬件上由計算機外設(shè)組成，包括鍵盤、鼠標(biāo)和顯示器(與監(jiān)控模塊共用一個顯示器)，教師或訓(xùn)練員通過鼠標(biāo)和鍵盤輸入實現(xiàn)對訓(xùn)練任務(wù)的設(shè)置。檢測模塊包括位置檢測模塊、手勢檢測模塊和觸發(fā)檢測模塊，在硬件上，位置檢測模塊即虛擬現(xiàn)實頭戴顯示器自身帶有的位置追蹤傳感器，手勢檢測模塊使用手部動作采集設(shè)備，觸發(fā)檢測模塊包含在軟件環(huán)境中，在場景的不同的位置分別有不同的觸發(fā)器。數(shù)據(jù)庫包括場景模型庫、物品模型庫、人物模型庫、運動軌跡庫、動畫及動作庫、聲音庫、獎勵效果庫和訓(xùn)練信息庫，每個庫用于存放相應(yīng)數(shù)據(jù)。

為實現(xiàn)本發(fā)明之目的，采用以下技術(shù)方案予以實現(xiàn)：

一種虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，包括控制模塊、顯示模塊、設(shè)置模塊、檢測模塊和數(shù)據(jù)庫，其中：

顯示模塊包括虛擬現(xiàn)實顯示模塊、聲音播放模塊和監(jiān)控模塊；

設(shè)置模塊用于設(shè)置訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和訓(xùn)練階段；

檢測模塊包括位置檢測模塊、手勢檢測模塊和觸發(fā)檢測模塊，其中位置檢測模塊用于檢測受訓(xùn)者的移動，手勢檢測模塊用于獲得受訓(xùn)者的手部信息，觸發(fā)檢測模塊用于探測場景中的物品是否進(jìn)入預(yù)定的區(qū)域；

數(shù)據(jù)庫包括場景模型庫、物品模型庫、人物模型庫、運動軌跡庫、動畫及動作庫、聲音庫、獎勵效果庫和訓(xùn)練信息庫；

控制模塊用于控制整個訓(xùn)練流程、調(diào)用其余模塊的信息以及控制其余模塊。

所述的基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，其特征在于：

教師或訓(xùn)練員通過設(shè)置模塊選擇初始訓(xùn)練任務(wù)，控制模塊啟動調(diào)用數(shù)據(jù)庫中的場景、物品、人物、軌跡、動畫、動作和聲音信息，通過虛擬現(xiàn)實顯示模塊和聲音播放模塊向受訓(xùn)者播放相關(guān)的畫面和聲音，指示受訓(xùn)者移動。在訓(xùn)練過程中，位置檢測模塊和手勢檢測模塊實時檢測受訓(xùn)者的位置和手勢，并將信息反饋給控制模塊，控制模塊將手勢信息建模，并控制場景中的主角進(jìn)行相應(yīng)的行動。當(dāng)觸發(fā)檢測模塊檢測到受訓(xùn)者完成任務(wù)或一個子任務(wù)時，控制模塊從數(shù)據(jù)庫中調(diào)用獎勵效果和獎勵聲音，通過虛擬現(xiàn)實顯示模塊和聲音播放模塊進(jìn)行播放，之后控制模塊將本次完成任務(wù)的情況記錄到數(shù)據(jù)庫中，并控制整個系統(tǒng)自動切換到下一個與受訓(xùn)者能力對應(yīng)的任務(wù)或子任務(wù)，直至所有任務(wù)都完成。在訓(xùn)練的過程中，教師或訓(xùn)練員課可通過監(jiān)控模塊監(jiān)控受訓(xùn)者完成任務(wù)的情況，并可通過設(shè)置模塊實時手動調(diào)整訓(xùn)練進(jìn)程。

所述的基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，其中：

控制模塊用于控制整個訓(xùn)練進(jìn)程，當(dāng)進(jìn)入訓(xùn)練后，控制模塊調(diào)用設(shè)置模塊和數(shù)據(jù)庫的信息，通過顯示模塊顯示相應(yīng)的畫面和聲音，并通過檢測模塊實時傳回的數(shù)據(jù)控制訓(xùn)練進(jìn)程。

所述的基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，其中：

顯示模塊包括虛擬現(xiàn)實顯示模塊、聲音播放模塊和監(jiān)控模塊，虛擬現(xiàn)實顯示模塊和聲音播放模塊分別用于呈現(xiàn)整個訓(xùn)練過程中需要向受訓(xùn)者展示的畫面和聲音，而監(jiān)控模塊用于向教師或訓(xùn)練員呈現(xiàn)受訓(xùn)者相應(yīng)的視角或在場景中主角的行動情況，以及顯示一些相關(guān)的訓(xùn)練信息，當(dāng)進(jìn)入訓(xùn)練后，監(jiān)控模塊自動啟動，退出訓(xùn)練或未進(jìn)入訓(xùn)練時，監(jiān)控模塊不啟動。

所述的基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，其中：

設(shè)置模塊可以設(shè)置任務(wù)的難度、噪音水平、獎勵效果和階段，并將設(shè)置的這些信息傳輸給控制模塊，控制模塊根據(jù)這些信息的不同展現(xiàn)不同的訓(xùn)練。難度分別簡單、中等、困難、泛化四個級別，簡單難度即對所需要做的動作進(jìn)行具體的語音以及位置提示，中等難度即對所需要完成的動作進(jìn)行語音提示，困難級別的難度即不對動作進(jìn)行任何提示，泛化級別下，允許教師或訓(xùn)練員改變訓(xùn)練變量：乘車類型(及故事情節(jié))、公交車類型、公交車顏色、座位類型、空位數(shù)、公交路線、出發(fā)地、目的地、上車人數(shù)、同行人和買票位置，如果教師或訓(xùn)練員未進(jìn)行任何設(shè)置，則第一次訓(xùn)練時這些訓(xùn)練變量都表現(xiàn)為其初始值，在此后訓(xùn)練系統(tǒng)自動調(diào)整訓(xùn)練變量的至以適應(yīng)受訓(xùn)者的能力，如果教師或訓(xùn)練員選擇選擇簡單、中等或困難的難度，則訓(xùn)練變量都表現(xiàn)為初始值，訓(xùn)練變量的初始值為：老師帶學(xué)生出游情節(jié)，只乘坐一輛固定形狀、顏色和路數(shù)的公交車，公交車的路線和車上的物品固定，上車人物固定，只有一個空位或沒有空位，上車站點和目的地只相距一至二站。由于某些特定人群的需要，如部分自閉癥人士對噪音比較敏感，因此背景噪音水平有四個可選的級別，分別是無噪聲、30％噪聲、60％噪聲和正常噪聲。獎勵效果共有十幾種，可以多選，也可以選擇無獎勵。乘坐公交車技能訓(xùn)練共分為六個階段的子任務(wù)，每個階段針對不同的內(nèi)容做出相應(yīng)的訓(xùn)練，可以選擇整體訓(xùn)練或?qū)γ總€階段分步訓(xùn)練，這六個階段分別是：第一階段、乘車任務(wù)下達(dá)；第二階段、排隊上車；第三階段、買票；第四階段、找座位或抓扶手；第五階段、下車；第六階段排隊集合，其中第一階段不單獨出現(xiàn)，一般第二、第五階段組合。教師或訓(xùn)練員可以通過設(shè)置模塊選擇進(jìn)入整體訓(xùn)練或者分步訓(xùn)練，在乘車類型這一訓(xùn)練變量選擇了老師帶學(xué)生出游以外的情況下，則沒有第六階段。

所述的基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，其中：

檢測模塊包括位置檢測模塊、手勢檢測模塊和觸發(fā)檢測模塊，在整個訓(xùn)練過程中，位置檢測模塊都會檢測受訓(xùn)者的移動，并將信息實時傳輸給控制模塊，控制模塊控制場景中的主角進(jìn)行相應(yīng)移動，手勢檢測模塊在第三、四階段會啟動，手勢檢測模塊根據(jù)采集到圖像識別出當(dāng)前在可靠檢測范圍內(nèi)出現(xiàn)的手掌坐標(biāo)、方向和指尖位置等相關(guān)信息，并傳輸給控制模塊，控制模塊決定使用多少雙手的數(shù)據(jù)(手勢檢測模塊可識別復(fù)數(shù)雙手，本發(fā)明中控制模塊一般只使用手勢檢測模塊優(yōu)先識別到的第一雙手)，然后控制模塊調(diào)用人物模型庫中預(yù)先設(shè)置的手的模型，并將獲取的手的相關(guān)信息與手的模型加以關(guān)聯(lián)，通過顯示模塊顯示出與受訓(xùn)者手勢相同的手部模型，觸發(fā)檢測模塊由許多觸發(fā)器組成，觸發(fā)器在不同階段設(shè)置在不同的位置中，例如隊伍后方、公交車車門、刷卡機、投幣機、座位、扶手等，所有觸發(fā)器都預(yù)先設(shè)定好了中心位置、檢測范圍和檢測對象，當(dāng)物品進(jìn)入到某一個觸發(fā)器的檢測范圍內(nèi)，該觸發(fā)器判斷物品是否為檢測對象，如果是則反饋給控制模塊一個正確觸發(fā)的信息，如果不是則不反饋信息，然后控制模塊據(jù)此控制訓(xùn)練進(jìn)程，播放相應(yīng)的動畫、獎勵、任務(wù)失敗字樣、提示等。

所述的基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，其中：

數(shù)據(jù)庫由場景模型庫、物品模型庫、人物模型庫、運動軌跡庫、動畫及動作庫、聲音庫、獎勵效果庫和訓(xùn)練信息庫組成。場景模型庫包含一個城市場景，里面涵蓋了家庭、公交站臺、各種始發(fā)和到達(dá)站和旅途中的場景模型。物品模型庫包括公交車和站牌，公交車內(nèi)部有投幣機、刷卡機、扶手、座位等。人物模型庫包含幾十個兒童、青少年、成年人的模型。運動軌跡庫為每一個人物按照訓(xùn)練的要求規(guī)劃了不同的運動軌跡，有上車、下車、隨意走動等形式，同時存儲有20多條公交車線路以及馬路上其它汽車的移動軌跡。動作庫記錄了每個人物和物品的動作，如上下車抬腳動作、公交車門開閉等。聲音庫記錄了訓(xùn)練過程中的指示語、提示語、獎勵聲音、背景音等。獎勵效果庫包含一些獎勵動畫。

所述的訓(xùn)練系統(tǒng)，其中每一訓(xùn)練階段啟動后，控制模塊會加載相應(yīng)的模型：首先控制模塊根據(jù)設(shè)置模塊中的難度、噪音水平、和訓(xùn)練階段等信息，從數(shù)據(jù)庫的場景模型庫中調(diào)用相應(yīng)的場景，再從物品模型庫和人物模型庫中調(diào)用相應(yīng)的物品和人物模型，安置在事先設(shè)定的位置，并通過虛擬現(xiàn)實顯示模塊進(jìn)行顯示，然后通過調(diào)用動畫動作庫和運動軌跡庫，控制物品和人物按事先設(shè)定好的軌跡和動作運動，之后通過獎勵效果這一信息從獎勵效果庫和聲音庫中加載獎勵需要用到的動畫效果和聲音，以便需要播放獎勵時可以隨時調(diào)用。

所述的訓(xùn)練系統(tǒng)，其中在二、三、四、五、六訓(xùn)練階段，當(dāng)控制模塊加載完相應(yīng)的模型后，控制模塊控制位置檢測模塊啟動，開始實時采集受訓(xùn)者的位置反饋給控制模塊，控制模塊根據(jù)接收到的受訓(xùn)者位置信息控制場景中的主角相應(yīng)地移動。

所述的訓(xùn)練系統(tǒng)，其中在二、三、四、五、六訓(xùn)練階段，控制模塊控制觸發(fā)檢測模塊啟動，觸發(fā)檢測模塊由許多觸發(fā)器組成，每個觸發(fā)器都預(yù)先設(shè)定好了中心位置、檢測范圍和檢測對象，當(dāng)物品進(jìn)入到某一個觸發(fā)器的檢測范圍內(nèi)，該觸發(fā)器判斷物品是否為檢測對象，如果是則反饋給控制模塊一個正確觸發(fā)的信息，如果不是則不反饋信息，控制模塊接收到正確觸發(fā)的信息后控制顯示模塊做出相應(yīng)反應(yīng)，例如播放獎勵等。

所述的訓(xùn)練系統(tǒng)，其中訓(xùn)練的第三、四階段啟動后：控制模塊控制手勢檢測模塊啟動，根據(jù)采集到圖像識別出當(dāng)前手勢檢測模塊在可靠檢測范圍內(nèi)出現(xiàn)的手掌坐標(biāo)、方向和指尖位置等相關(guān)信息，并傳輸給控制模塊，控制模塊決定使用多少雙手的數(shù)據(jù)(手勢檢測模塊可識別復(fù)數(shù)雙手，本發(fā)明中控制模塊一般只使用手勢檢測模塊優(yōu)先識別到的第一雙手)，然后控制模塊調(diào)用人物模型庫中預(yù)先設(shè)置的手的模型，并將獲取的手的相關(guān)信息與手的模型加以關(guān)聯(lián)，并通過虛擬現(xiàn)實顯示模塊顯示手的模型，當(dāng)受訓(xùn)者的手勢發(fā)生變化，顯示的手部模型相應(yīng)發(fā)生變化，從而實現(xiàn)手勢檢測。

所述的訓(xùn)練系統(tǒng)，其中在第二訓(xùn)練階段：控制模塊根據(jù)公交類型、公交顏色、上車人數(shù)和同行人，從數(shù)據(jù)庫中調(diào)用相應(yīng)的物品模型庫和人物模型庫中的公交車和人物模型并通過虛擬現(xiàn)實顯示模塊進(jìn)行顯示，然后位置檢測模塊啟動，開始實時采集受訓(xùn)者的位置反饋給控制模塊，控制模塊根據(jù)接收到的受訓(xùn)者位置信息控制場景中的主角相應(yīng)地移動。

所述的訓(xùn)練系統(tǒng)，其中控制模塊還控制場景中的車輛和其它人物根據(jù)運動軌跡庫中的軌跡進(jìn)行運動，當(dāng)任意一輛公交車快要到站時，控制一個或多個人物根據(jù)預(yù)先設(shè)定好的軌跡排隊。

所述的訓(xùn)練系統(tǒng)，其中如果訓(xùn)練是在簡單難度下，則控制模塊調(diào)用數(shù)據(jù)庫中的物品、聲音等信息，通過語音播放模塊語音提示受訓(xùn)者要進(jìn)行排隊以及通過顯示模塊顯示排隊的正確位置；在中等難度下只進(jìn)行語音提示，在困難和泛化難度下不提示排隊，之后在隊伍周邊的觸發(fā)器判斷主角是否正確地排隊，如果隊伍最后的觸發(fā)器檢測到主角，則反饋給控制模塊一個正確排隊的信息，控制模塊調(diào)用獎勵效果庫和聲音庫的信息，通過虛擬現(xiàn)實顯示模塊顯示一個獎勵動畫，如果隊伍的頭部或中部的觸發(fā)器檢測到主角，則反饋給控制模塊一個插隊的信息，控制模塊調(diào)用數(shù)據(jù)庫中的人物、聲音、動作，通過虛擬現(xiàn)實顯示模塊顯示一段不要插隊的提示動畫。

所述的訓(xùn)練系統(tǒng)，其中公交車前車門設(shè)置一個觸發(fā)器，當(dāng)前車門打開后，觸發(fā)器開啟，否則不開啟，當(dāng)其它角色陸續(xù)上車后，在簡單難度下，語音播放模塊提示請跟著前面的人上車語音，在中等難度下語音播放模塊提示請上車語音，在困難難度下不提示，當(dāng)公交車前車門的觸發(fā)器檢測到主角上車時，控制模塊判斷該公交車路數(shù)是否與第一階段語音中的路數(shù)相同，如果相同，則說明上對了公交車，控制顯示模塊播放獎勵動畫，否則判斷任務(wù)失敗，控制顯示模塊顯示上錯公交車字樣，控制模塊將本次訓(xùn)練信息記錄到數(shù)據(jù)庫并退出訓(xùn)練，控制模塊控制監(jiān)控模塊退出顯示，并啟動設(shè)置模塊顯示設(shè)置界面。

所述的訓(xùn)練系統(tǒng)其中在第三訓(xùn)練階段：首先控制模塊將主角安放在場景中公交車前部買票處的位置，根據(jù)買票位置這一訓(xùn)練變量從物品模型庫庫中調(diào)用相應(yīng)的刷卡機和投幣機模型，并放在相應(yīng)的位置。

所述的訓(xùn)練系統(tǒng)，其中：

如果在簡單難度下，則控制模塊調(diào)用數(shù)據(jù)庫中的物品、聲音，通過語音播放模塊語音提示受訓(xùn)者要進(jìn)行刷卡或投幣，以及通過顯示模塊提示刷卡機或投幣機的位置；如果在中等難度下，控制模塊僅通過語音模塊進(jìn)行語言提示；在困難和泛化難度下不提示；

控制模塊啟動位置檢測模塊和手勢檢測模塊，控制模塊根據(jù)兩者的反饋信息控制主角的移動和手部動作，手勢檢測模塊如果檢測到受訓(xùn)者的一只或兩只手，則從虛擬現(xiàn)實顯示模塊中顯示一只或兩只手的模型，并與受訓(xùn)者真實的手動作一致，左手模型的手掌中有一個錢包，錢包上安置一個觸發(fā)器，當(dāng)右手模型觸碰到觸發(fā)器時，觸發(fā)器反饋給控制模塊一個信號，控制模塊從物品模型庫中調(diào)用公交卡或者硬幣的模型，并安放在右手模型上，如果物品是公交卡，則此后刷卡機上的觸發(fā)器檢測到公交卡靠近，則判斷購票成功，如果物品是硬幣，則此后投幣機上的觸發(fā)器檢測到硬幣靠近，則硬幣會自動落入投幣機中，判斷購票成功，當(dāng)控制模塊接收到購票成功的信息后，控制顯示模塊顯示獎勵動畫。

所述的訓(xùn)練系統(tǒng)，其中在第四訓(xùn)練階段：控制模塊首先根據(jù)座位類型、同行人這兩個訓(xùn)練變量從數(shù)據(jù)庫中調(diào)用相應(yīng)的座位模型和人物模型，并根據(jù)空位數(shù)將人物安置在座位上，然后控制模塊將主角安放在場景中公交車前部的位置，然后控制模塊啟動位置檢測模塊和手勢檢測模塊啟動，控制模塊根據(jù)兩者的反饋信息控制主角的移動和手部動作，手勢檢測模塊如果檢測到受訓(xùn)者的一只或兩只手，則從虛擬現(xiàn)實顯示模塊中顯示一只或兩只手的模型，并與受訓(xùn)者真實的手動作一致。

所述的訓(xùn)練系統(tǒng)，其中：如果公交車內(nèi)有一個的空位，在簡單難度下，控制模塊調(diào)用數(shù)據(jù)庫中的物品、聲音等，通過語音播放模塊語音提示受訓(xùn)者要坐到該位置，并在位置上方顯示提示信息；在中等難度下僅進(jìn)行語言提示，困難難度下不提示，如果公交車內(nèi)有多個空位，則屬于泛化難度，不進(jìn)行提示，如果公交車內(nèi)沒有空位，在簡單難度下，控制模塊調(diào)用數(shù)據(jù)庫中的物品、聲音等，通過語音播放模塊語音提示受訓(xùn)者要抓住某根扶手，并將該扶手發(fā)光顯示，在中等難度下僅進(jìn)行語言提示，困難難度下不提示，當(dāng)位置檢測模塊檢測到受訓(xùn)者移動到空座位前方，并且向下移動，則判斷受訓(xùn)者正確坐在了位置上，并反饋給控制模塊找座位正確的信息，如果檢測到受訓(xùn)者坐在有人坐的位置上，則控制模塊調(diào)用數(shù)據(jù)庫中的人物、聲音信息，通過顯示模塊播放一個不能坐在他人身上的提示，如果多次檢測到受訓(xùn)者坐在有人坐的位置上，則算任務(wù)失敗，顯示模塊顯示坐在他人身上字樣，系統(tǒng)記錄本次訓(xùn)練信息并退出訓(xùn)練。

所述的訓(xùn)練系統(tǒng)，其中：當(dāng)扶手上的觸發(fā)器探測到手部模型后，反饋給控制模塊一個抓扶手正確的信息，當(dāng)控制模塊獲得找座位正確或抓扶手正確的信息后，控制顯示模塊顯示獎勵動畫。

所述的訓(xùn)練系統(tǒng)，其中在第五訓(xùn)練階段：控制模塊根據(jù)公交車路線、出發(fā)地點、目的地這三個訓(xùn)練變量，調(diào)取運動軌跡庫中相應(yīng)的公交車移動軌跡，控制公交車進(jìn)行相應(yīng)移動，并在公交車路線包含的站點進(jìn)行?？?，每次?？?，控制模塊隨機抽取角色，通過運動軌跡庫和動畫動作庫控制所述角色走下車，控制語音播放模塊播放一次當(dāng)前的站名。

所述的訓(xùn)練系統(tǒng)，其中：如果在簡單難度下，公交車上車站和目的地只相隔一站，到達(dá)目的地后語音播放模塊除了播放站名外，還循環(huán)播放請下車的提示語音；在中等難度下，公交車上車站和目的地相隔兩站，到達(dá)目的地后語音播放模塊僅播放一次請下車的提示語音；在困難難度下，公交車上車站和目的地相隔兩站，語音播放模塊僅播放站名；在泛化難度下，公交車上車站和目的地相隔的站的數(shù)目由出發(fā)地點、目的地和公交車路線這三個訓(xùn)練變量決定，語音播放模塊僅播放站名。

所述的訓(xùn)練系統(tǒng)，其中：公交車后車門安置了一個觸發(fā)器，當(dāng)后車門打開后，觸發(fā)器開啟，否則不開啟，如果公交車后車門的觸發(fā)器檢測到受訓(xùn)者在正確的車站下車，則反饋給控制模塊一個在正確站下車的信息，控制模塊控制顯示模塊播放相應(yīng)獎勵動畫，如果在公交車從正確的車站啟動后觸發(fā)器仍未檢測到受訓(xùn)者下車，或者在錯誤的車站檢測到受訓(xùn)者下車，則算任務(wù)失敗，顯示模塊顯示提前下車或下車失敗字樣。

所述的訓(xùn)練系統(tǒng)，其中在第六訓(xùn)練階段：控制模塊從數(shù)據(jù)庫中調(diào)用相應(yīng)的人物模型，然后啟動位置檢測模塊，開始實時采集受訓(xùn)者的位置反饋給控制模塊，控制模塊根據(jù)該位置信息控制場景中的主角相應(yīng)地移動。

所述的訓(xùn)練系統(tǒng)，控制模塊還控制場景中的其它人物根據(jù)運動軌跡庫中的軌跡進(jìn)行運動，即進(jìn)行排隊集合，如果訓(xùn)練是在簡單難度下，則控制模塊調(diào)用數(shù)據(jù)庫中的物品、聲音信息，控制語音播放模塊語音提示受訓(xùn)者要進(jìn)行排隊以及排隊的正確位置；在中等難度下僅進(jìn)行語言提示；困難和泛化難度下不提示；之后在隊伍周邊的觸發(fā)器判斷主角是否正確地排隊，如果隊伍最后的觸發(fā)檢測主角，則反饋給控制模塊一個正確排隊的信息，控制模塊調(diào)用獎勵效果庫和聲音庫的信息，通過顯示模塊顯示一個獎勵動畫，如果隊伍的頭部或中部的觸發(fā)器檢測到主角，則反饋給控制模塊一個插隊的信息，控制模塊調(diào)用數(shù)據(jù)庫中的人物、聲音、動作，通過顯示模塊顯示一段不要插隊的提示動畫。

本發(fā)明易于操作，易于設(shè)置多種場景及易于設(shè)置不同難度的訓(xùn)練，訓(xùn)練針對性強，適于不同年齡、不同類型的受訓(xùn)者，對受訓(xùn)者的訓(xùn)練效果良好。

附圖說明

圖1為系統(tǒng)總體結(jié)構(gòu)示意圖；

圖2為顯示模塊結(jié)構(gòu)示意圖；

圖3為設(shè)置模塊結(jié)構(gòu)示意圖；

圖4為檢測模塊結(jié)構(gòu)示意圖；

圖5為數(shù)據(jù)庫結(jié)構(gòu)示意圖；

圖6為第二階段困難難度下訓(xùn)練流程圖；

圖7為第三階段困難難度下訓(xùn)練流程圖；

圖8為第四階段困難難度下訓(xùn)練流程圖；

圖9為第五階段困難難度下訓(xùn)練流程圖；

圖10為第六階段困難難度下訓(xùn)練流程圖。

具體實施方式

下面結(jié)合附圖1-8對本發(fā)明具體實施方式進(jìn)行說明。

如圖1所示，基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，包括控制模塊、顯示模塊、設(shè)置模塊、檢測模塊和數(shù)據(jù)庫。

如圖2所示，顯示模塊包括虛擬現(xiàn)實顯示模塊、聲音播放模塊和監(jiān)控模塊。

如圖3所示，設(shè)置模塊可以設(shè)置訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和階段。難度分為簡單、中等、困難、泛化四個級別，在泛化級別下，允許教師或訓(xùn)練員改變訓(xùn)練變量：乘車類型(及故事情節(jié))、公交車類型、公交車顏色、座位類型、空位數(shù)、公交路線、出發(fā)地、目的地、上車人數(shù)、同行人和買票位置。背景噪音水平有四個可選的級別，分別是無噪聲、30％噪聲、60％噪聲和正常噪聲。獎勵效果包含幾十種動畫，可以多選，也可以選擇無獎勵。乘坐公交車技能訓(xùn)練共分為六個階段的子任務(wù)，可以選擇整體訓(xùn)練或分步訓(xùn)練，這六個階段分別是：第一階段、乘車任務(wù)下達(dá)；第二階段、排隊上車；第三階段、買票；第四階段、找座位或抓扶手；第五階段、下車；第六階段排隊集合，其中第一階段不單獨出現(xiàn)，一般第二、第五階段組合。

如圖4所示，檢測模塊包括位置檢測模塊、手勢檢測模塊和觸發(fā)檢測模塊，位置檢測模塊用于檢測受訓(xùn)者的移動，手勢檢測模塊用于獲得受訓(xùn)者的手部信息，觸發(fā)檢測模塊由很多觸發(fā)器組成，用于探測場景中的物品是否進(jìn)入特定的區(qū)域，觸發(fā)器在不同階段設(shè)置在不同的位置中。

如圖5所示，數(shù)據(jù)庫由場景模型庫、物品模型庫、人物模型庫、運動軌跡庫、動畫及動作庫、聲音庫、獎勵效果庫和訓(xùn)練信息庫組成。

如圖6所示，訓(xùn)練中的第一階段為通過虛擬現(xiàn)實顯示模塊和語音播放模塊呈現(xiàn)一個段動畫作為故事背景，并通過其中的人物下達(dá)乘車任務(wù)，控制模塊根據(jù)乘車類型這個訓(xùn)練變量，從數(shù)據(jù)庫中調(diào)用相應(yīng)人物、動作和聲音，通過顯示模塊播放對應(yīng)動畫和聲音，其中聲音包含了出發(fā)地、目的地、公交車路數(shù)等訓(xùn)練關(guān)鍵信息，根據(jù)所選難度不同，訓(xùn)練關(guān)鍵信息也不同。

訓(xùn)練中的第二階段主要是排隊上車的訓(xùn)練，要求受訓(xùn)者識別正確的公交車并排隊上車。首先進(jìn)入訓(xùn)練后，控制模塊控制設(shè)置模塊退出設(shè)置界面的顯示，并啟動監(jiān)控模塊顯示訓(xùn)練的過程，控制模塊根據(jù)公交類型、公交顏色、上車人數(shù)和同行人，從數(shù)據(jù)庫中調(diào)用相應(yīng)的物品模型庫和人物模型庫中的公交車和人物模型并通過虛擬現(xiàn)實顯示模塊進(jìn)行場景顯示，然后控制模塊控制位置檢測模塊啟動，開始實時采集受訓(xùn)者的位置反饋給控制模塊，控制模塊根據(jù)接收到的受訓(xùn)者位置信息控制場景中的主角相應(yīng)地移動?？刂颇K還要控制場景中的車輛和其它人物根據(jù)運動軌跡庫中的軌跡進(jìn)行運動，當(dāng)任意一輛公交車快要到站時，都會有一些人物根據(jù)提前設(shè)定好的軌跡排隊，如果訓(xùn)練是在簡單難度下，則控制模塊調(diào)用數(shù)據(jù)庫中的物品模型庫和聲音庫中物品、聲音等信息，通過語音播放模塊語音提示受訓(xùn)者要進(jìn)行排隊以及排隊的正確位置(隊伍后會顯示一個紅圈作為排隊提示)，在中等、困難和泛化難度下不提示排隊，之后在隊伍周邊的觸發(fā)器判斷主角是否正確地排隊，如果隊伍最后的觸發(fā)器檢測到主角，則反饋給控制模塊一個正確排隊的信息，控制模塊調(diào)用獎勵效果庫和聲音庫的信息，通過顯示模塊顯示一個獎勵動畫，如果隊伍的頭部或中部的觸發(fā)器檢測到主角，則反饋給控制模塊一個插隊的信息，控制模塊調(diào)用數(shù)據(jù)庫中的人物、聲音、動作模型等，通過顯示模塊顯示一段不要插隊的提示動畫，如果控制模塊連續(xù)多次如3次獲得插隊的信息，就判斷為任務(wù)失敗，顯示模塊顯示插隊字樣，控制模塊將本次訓(xùn)練信息記錄到數(shù)據(jù)庫并退出訓(xùn)練，控制模塊控制監(jiān)控模塊退出顯示，并啟動設(shè)置模塊顯示設(shè)置界面，教師或訓(xùn)練員可在顯示設(shè)置界面對下一次訓(xùn)練的訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和階段進(jìn)行設(shè)置。

公交車前車門安置了一個觸發(fā)器，當(dāng)前車門打開后，觸發(fā)器開啟，否則不開啟，當(dāng)其它角色陸續(xù)上車后，在簡單難度下，語音播放模塊提示請跟著前面的人上車語音，在中等難度下語音播放模塊提示請上車語音，在困難難度下不提示，簡單、中等和困難三個難度下，出現(xiàn)的公交車只有一輛，即正確的公交車，在泛化難度下，可能出現(xiàn)多輛公交車，當(dāng)公交車前車門的觸發(fā)器檢測主角上車，控制模塊判斷該公交車路數(shù)是否與第一階段語音中的路數(shù)相同，如果相同，則說明上對了公交車，顯示模塊播放獎勵動畫，否則算任務(wù)失敗，顯示模塊顯示上錯公交車字樣，控制模塊將本次訓(xùn)練信息記錄到數(shù)據(jù)庫并退出訓(xùn)練，控制模塊控制監(jiān)控模塊退出顯示，并啟動設(shè)置模塊顯示設(shè)置界面，教師或訓(xùn)練員可在顯示設(shè)置界面對下次訓(xùn)練的訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和階段進(jìn)行設(shè)置。每一路公交車都會根據(jù)預(yù)先設(shè)定好的軌跡在站臺上?？恳欢螘r間，公交車的開門關(guān)門動畫存儲在動畫及動作庫中，在公交車停下和啟動時會調(diào)用，如果受訓(xùn)者在正確路數(shù)的公交車啟動前沒有上車，也算任務(wù)失敗，顯示模塊顯示上車失敗字樣，控制模塊將本次訓(xùn)練信息記錄到數(shù)據(jù)庫并退出訓(xùn)練，控制模塊控制監(jiān)控模塊退出顯示，并啟動設(shè)置模塊顯示設(shè)置界面，教師或訓(xùn)練員可在顯示設(shè)置界面對下次訓(xùn)練的訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和階段進(jìn)行設(shè)置。第二階段困難難度下的訓(xùn)練流程如圖6所示。

訓(xùn)練中的第三階段是買票訓(xùn)練，要求訓(xùn)練者從手上的錢包中拿出硬幣或者公交卡，并根據(jù)拿出來的是硬幣或者是公交卡，完成刷卡或者投幣的動作，首先進(jìn)入訓(xùn)練后，控制模塊控制設(shè)置模塊退出設(shè)置界面的顯示，并啟動監(jiān)控模塊顯示訓(xùn)練的過程，控制模塊將主角安放在場景中公交車前部買票處的位置，根據(jù)買票位置這一訓(xùn)練變量從物品庫中調(diào)用相應(yīng)的刷卡機和投幣機模型，并放在相應(yīng)的位置，根據(jù)買票位置這一訓(xùn)練變量的不同，刷卡機和投幣機的外形以及位置會有相應(yīng)不同，如果在簡單難度下，則控制模塊調(diào)用數(shù)據(jù)庫中的物品、聲音等信息，通過語音播放模塊語音提示受訓(xùn)者要進(jìn)行刷卡或投幣，以及通過顯示模塊提示刷卡機或投幣機的位置(刷卡機或投幣機上方出現(xiàn)跳動的箭頭)，在中等難度下僅進(jìn)行語言提示，困難和泛化難度下不提示，然后控制模塊啟動位置檢測模塊和手勢檢測模塊，控制模塊根據(jù)兩者的反饋信息控制主角的移動和手部動作，手勢檢測模塊如果檢測到受訓(xùn)者的一只或兩只手，則從虛擬現(xiàn)實顯示模塊中顯示一只或兩只手的模型，并與受訓(xùn)者真實的手動作一致，左手模型的手掌中有一個錢包，錢包上安置一個觸發(fā)器，當(dāng)右手模型觸碰到觸發(fā)器時，觸發(fā)器反饋給控制模塊一個信號，控制模塊從物品庫中調(diào)用公交卡或者硬幣的模型，并安放在右手模型上，如果物品是公交卡，則此后刷卡機上的觸發(fā)器檢測到公交卡靠近，則算購票成功，如果物品是硬幣，則此后投幣機上的觸發(fā)器檢測到硬幣靠近，則硬幣會自動落入投幣機中，算購票成功，當(dāng)控制模塊接收到購票成功的信息后，控制顯示模塊顯示獎勵動畫，整個過程中控制模塊會記錄時間，如果受訓(xùn)者沒在規(guī)定時間如30s內(nèi)完成買票或刷卡，或者位置檢測模塊檢測到受訓(xùn)者未買票直接移動到車廂內(nèi)部，則算購票失敗，顯示模塊顯示購票失敗字樣，控制模塊將本次訓(xùn)練信息記錄到數(shù)據(jù)庫并退出訓(xùn)練，控制模塊控制監(jiān)控模塊退出顯示，并啟動設(shè)置模塊顯示設(shè)置界面，教師或訓(xùn)練員可在顯示設(shè)置界面對下次訓(xùn)練的訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和階段進(jìn)行設(shè)置。第三階段困難難度下的訓(xùn)練流程如圖7所示。

訓(xùn)練中的第四階段主要是找座位或抓扶手行為訓(xùn)練，要求訓(xùn)練者能正確判斷當(dāng)前車上空位情況，并根據(jù)空位情況完成在座位坐下或者找扶手抓住的動作。首先控制模塊根據(jù)座位類型、同行人這兩個訓(xùn)練變量從數(shù)據(jù)庫中調(diào)用相應(yīng)的座位模型和人物模型，并根據(jù)空位數(shù)將人物安置在座位上，然后控制模塊將主角安放在場景中公交車前部的位置，然后控制模塊啟動位置檢測模塊和手勢檢測模塊，控制模塊根據(jù)兩者的反饋信息控制主角的移動和手部動作，手勢檢測模塊如果檢測到受訓(xùn)者的一只或兩只手，則從虛擬現(xiàn)實顯示模塊中顯示一只或兩只手的模型，并與受訓(xùn)者真實的手動作一致，如果公交車內(nèi)有一個的空位，在簡單難度下，控制模塊調(diào)用數(shù)據(jù)庫中的物品、聲音等信息，通過語音播放模塊語音提示受訓(xùn)者要坐到該位置，并在位置上方出現(xiàn)跳動的箭頭，在中等難度下僅進(jìn)行語言提示，困難難度下不提示，如果公交車內(nèi)有多個空位，則屬于泛化難度，不進(jìn)行提示，如果公交車內(nèi)沒有空位，在簡單難度下，控制模塊調(diào)用數(shù)據(jù)庫中的物品、聲音等信息，通過語音播放模塊語音提示受訓(xùn)者要抓住某根扶手，并將該扶手發(fā)光顯示，在中等難度下僅進(jìn)行語言提示，困難難度下不提示，當(dāng)位置檢測模塊檢測到受訓(xùn)者移動到空座位前方，并且向下移動，則判斷受訓(xùn)者正確坐在了位置上(現(xiàn)實中教師或訓(xùn)練員需要根據(jù)空座位的情況在相應(yīng)位置安放椅子)，并反饋給控制模塊找座位正確的信息，如果檢測到受訓(xùn)者坐在有人坐的位置上，則控制模塊調(diào)用數(shù)據(jù)庫中的人物、聲音信息，通過顯示模塊播放一個不能坐在他人身上的提示，如果多次如3次檢測到受訓(xùn)者坐在有人坐的位置上，則算任務(wù)失敗，顯示模塊顯示坐在他人身上字樣，控制模塊將本次訓(xùn)練信息記錄到數(shù)據(jù)庫并退出訓(xùn)練，控制模塊控制監(jiān)控模塊退出顯示，并啟動設(shè)置模塊顯示設(shè)置界面，教師或訓(xùn)練員可在顯示設(shè)置界面對下次訓(xùn)練的訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和階段進(jìn)行設(shè)置。當(dāng)扶手上的觸發(fā)器探測到手部模型后，會反饋給控制模塊一個抓扶手正確的信息，當(dāng)控制模塊獲得找座位正確或抓扶手正確的信息后，控制顯示模塊顯示獎勵動畫，整個過程中控制模塊會記錄時間，如果受訓(xùn)者未能在規(guī)定時間如30s內(nèi)完成找座位或抓扶手的任務(wù)，或者在有空位的情況下抓扶手，都算任務(wù)失敗，顯示模塊顯示找座位失敗或抓扶手失敗字樣，控制模塊將本次訓(xùn)練信息記錄到數(shù)據(jù)庫并退出訓(xùn)練，控制模塊控制監(jiān)控模塊退出顯示，并啟動設(shè)置模塊顯示設(shè)置界面，教師或訓(xùn)練員可在顯示設(shè)置界面對下次訓(xùn)練的訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和階段進(jìn)行設(shè)置。第四階段困難難度下的訓(xùn)練流程如圖8所示。

訓(xùn)練中的第五階段主要是在正確車站下車的訓(xùn)練，要求訓(xùn)練者能在記住第一階段中播放的目的地的基礎(chǔ)上，對公交車所顯示的或播報的站名加以正確的識別，并在正確的站臺下車，首先進(jìn)入訓(xùn)練后，控制模塊控制設(shè)置模塊退出設(shè)置界面的顯示，并啟動監(jiān)控模塊顯示訓(xùn)練的過程，控制模塊根據(jù)公交車路線、出發(fā)地點、目的地這三個訓(xùn)練變量，調(diào)取運動軌跡庫中相應(yīng)的公交車移動軌跡，控制公交車進(jìn)行相應(yīng)移動，并在公交車路線包含的站點進(jìn)行?？浚看瓮？浚刂颇K都是隨機抽取一些角色，通過運動軌跡庫和動畫動作庫控制這些角色走下車，控制語音播放模塊播放一次當(dāng)前的站名，如果在簡單難度下，公交車上車站和目的地只相隔一站，到達(dá)目的地后語音播放模塊除了播放站名外，還循環(huán)播放請下車的提示語音，在中等難度下，公交車上車站和目的地相隔兩站，到達(dá)目的地后語音播放模塊僅播放一次請下車的提示語音，在困難難度下，公交車上車站和目的地相隔兩站，語音播放模塊僅播放站名，在泛化難度下，公交車上車站和目的地相隔的站的數(shù)目由出發(fā)地點、目的地和公交車路線這三個訓(xùn)練變量決定，語音播放模塊僅播放站名，公交車后車門安置了一個觸發(fā)器，當(dāng)后車門打開后，觸發(fā)器開啟，否則不開啟，如果公交車后車門的觸發(fā)器檢測到受訓(xùn)者在正確的車站下車，則反饋給控制模塊一個在正確站下車的信息，控制模塊控制顯示模塊播放相應(yīng)獎勵動畫，如果在公交車從正確的車站啟動后觸發(fā)器仍未檢測到受訓(xùn)者下車，或者在錯誤的車站檢測到受訓(xùn)者下車，則算任務(wù)失敗，顯示模塊顯示提前下車或下車失敗字樣，控制模塊將本次訓(xùn)練信息記錄到數(shù)據(jù)庫并退出訓(xùn)練，控制模塊控制監(jiān)控模塊退出顯示，并啟動設(shè)置模塊顯示設(shè)置界面，教師或訓(xùn)練員可在顯示設(shè)置界面對下次訓(xùn)練的訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和階段進(jìn)行設(shè)置。第五階段困難難度下的訓(xùn)練流程如圖9所示。

訓(xùn)練中的第六階段主要是下車排隊集合，要求訓(xùn)練者能夠在下車后在指定地點排隊集合，第六階段是否出現(xiàn)會根據(jù)乘車類型這個訓(xùn)練變量的不同而變化，僅當(dāng)乘車類型選擇老師帶學(xué)生一起出行時，存在第六階段，相應(yīng)的，第二階段和第五階段中作為受訓(xùn)者的老師和同學(xué)的系統(tǒng)的人物模型會按照預(yù)先設(shè)定好的運動軌跡乘坐正確的公交車并在目的地下車，下車后排隊的過程和上車前排隊的過程相似，首先進(jìn)入訓(xùn)練后，控制模塊控制設(shè)置模塊退出設(shè)置界面的顯示，并啟動監(jiān)控模塊顯示訓(xùn)練的過程，控制模塊從數(shù)據(jù)庫中調(diào)用相應(yīng)的人物模型，然后啟動位置檢測模塊，開始實時采集受訓(xùn)者的位置反饋給控制模塊，控制模塊控制場景中的主角相應(yīng)地移動?？刂颇K還要控制場景中的其它人物根據(jù)運動軌跡庫中的軌跡進(jìn)行運動，即進(jìn)行排隊集合，如果訓(xùn)練是在簡單難度下，則控制模塊調(diào)用數(shù)據(jù)庫中的物品、聲音等信息，控制語音播放模塊語音提示受訓(xùn)者要進(jìn)行排隊以及排隊的正確位置(隊伍后會顯示一個紅圈)，在中等難度下僅進(jìn)行語言提示，困難和泛化難度下不提示，之后在隊伍周邊的觸發(fā)器判斷主角是否正確地排隊，如果隊伍最后的觸發(fā)檢測主角，則反饋給控制模塊一個正確排隊的信息，控制模塊調(diào)用獎勵效果庫和聲音庫的信息，通過顯示模塊顯示一個獎勵動畫，如果隊伍的頭部或中部的觸發(fā)器檢測到主角，則反饋給控制模塊一個插隊的信息，控制模塊調(diào)用數(shù)據(jù)庫中的人物、聲音、動作模型等，通過顯示模塊顯示一段不要插隊的提示動畫，如果控制模塊連續(xù)多次如3次獲得插隊的信息，就算任務(wù)失敗，顯示模塊顯示插隊字樣，控制模塊將本次訓(xùn)練信息記錄到數(shù)據(jù)庫并退出訓(xùn)練，控制模塊控制監(jiān)控模塊退出顯示，并啟動設(shè)置模塊顯示設(shè)置界面，教師或訓(xùn)練員可在顯示設(shè)置界面對下次訓(xùn)練的訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和階段進(jìn)行設(shè)置。第六階段困難難度下的訓(xùn)練流程如圖10所示。

本發(fā)明與傳統(tǒng)人工訓(xùn)練教學(xué)系統(tǒng)和App軟件等相比，有如下優(yōu)點：第一、本發(fā)明能夠逼真再現(xiàn)等公交、排隊、上車、做座位和下車等場景，訓(xùn)練環(huán)節(jié)循序漸進(jìn)，場景逐步變化，克服現(xiàn)實中場景搭建困難問題；第二、生活應(yīng)用與訓(xùn)練內(nèi)容一致，泛化更容易；第三、以視覺為主，尤其是學(xué)習(xí)抽象概念，視覺比聽覺或觸覺對他們來說更有效；第四、訓(xùn)練環(huán)境更安全，在VR中訓(xùn)練，即使有失敗的情況，也不會造成對現(xiàn)實世界的影響；第五、零時間切換場景、訓(xùn)練密集、更有效；第六、教師不以實際身份加入訓(xùn)練，訓(xùn)練中能去除教師身份影響；第七、手勢檢測有利于訓(xùn)練用戶進(jìn)行精細(xì)手部動作的能力，比普通的動作識別精度更高，且手勢檢測設(shè)備體積小、便于攜帶。