本發(fā)明涉及虛擬現(xiàn)實(Virtual Reality，簡稱VR)技術(shù)領(lǐng)域，尤其涉及一種在沉浸式VR游戲中實現(xiàn)人機交互的方法和系統(tǒng)。

背景技術(shù)：

電子游戲是計算機技術(shù)與傳統(tǒng)游戲以及電影、音樂等藝術(shù)結(jié)合的產(chǎn)物。但相對傳統(tǒng)游戲，電子游戲又有其獨特的地方，即人與計算機的交互。在傳統(tǒng)游戲中，所有的游戲參與者都是現(xiàn)實生活中的人，使用的都是真實的物件；而在電子游戲中，與游戲參與者交互的對象則變成計算機生成的虛擬人物、物品以及控件等。

VR游戲未出現(xiàn)時，大多數(shù)電子游戲多采用“鍵盤+鼠標(biāo)”(一般應(yīng)用于PC游戲)、主機游戲配套的輸入設(shè)備(如搖桿等，多應(yīng)用于大型游戲機；手柄、自身設(shè)置按鍵等，多應(yīng)用于PS系列等小型主機游戲)、點擊或滑動觸摸屏(一般應(yīng)用于手機游戲)作為其人機交互的手段。

無論采用上述何種交互手段，電子游戲特別是在交互手段的改進發(fā)展都遵循著這樣一個規(guī)律，即隨著電子游戲的發(fā)展，為了獲得更好的游戲代入感，其交互方式越來越復(fù)雜。比如，從最早的MUD游戲，以文字作為實現(xiàn)人機交互功能的UI控件，到早期的2D游戲，采用大量的2D圖形圖標(biāo)代替文字，再到2.5D游戲、3D游戲時盡量免使用2D UI控件，而是將更多的UI控件被綁定在3D場景模型、人物模型等(如NPC人物)上面，以3D UI控件的形式實現(xiàn)人機交互。同時，即使在3D游戲中，也做不到全部采用3D UI控件。一些表示人物、技能、任務(wù)等的控件通常會以2D UI控件的形式固定在游戲圖形界面的邊緣。

VR技術(shù)綜合了(實時)計算機圖形學(xué)、計算機仿真學(xué)、傳感器、(廣角)(立體)顯示等多種技術(shù)，其通過在多維信息空間上創(chuàng)建一個虛擬信息環(huán)境，使游戲參與者具有身臨其境的沉浸感，進而通過與上述虛擬環(huán)境或環(huán)境中其他游戲參與者進行仿真交互，最終借助其提供的可想像空間，達成在更廣闊的空間內(nèi)實現(xiàn)自然的且近乎真實的交互效果。本質(zhì)上，VR技術(shù)是一種借助計算機及傳感器等技術(shù)創(chuàng)造的一種嶄新的人機交互手段；由于其良好的沉浸感能夠帶來更好地游戲代入感，故從其出現(xiàn)到發(fā)展的這段時間，VR游戲都是其應(yīng)用的熱點方向。

在VR游戲中，大量使用2D UI控件，不僅會像在傳統(tǒng)電子游戲中那樣破壞游戲代入感，同時還會嚴(yán)重影響VR技術(shù)帶來的特有的沉浸感，故在VR游戲中，也會盡量避免使用2D UI控件而廣泛采用3D UI控件。

然而，在進行VR游戲時，為獲得身臨其境的感覺(即沉浸感)，游戲參與者可以360度無死角轉(zhuǎn)動視角。若為獲得良好地游戲代入感而大量采用3D UI控件，當(dāng)游戲參與者轉(zhuǎn)頭時，就會出現(xiàn)下面的問題，即轉(zhuǎn)頭前的原游戲場景中的3D UI控件消失在游戲參與者視野中，如果要用到上述UI控件時，只能在轉(zhuǎn)回頭尋找；但由于沒有參照物，游戲參與者又很難精準(zhǔn)地尋回原游戲場景及游戲場景中的3D UI控件。

因此，也正是由于上述原因，VR技術(shù)很難應(yīng)用于交互復(fù)雜的3D電子游戲上。

技術(shù)實現(xiàn)要素：

為了解決上述問題，將VR技術(shù)應(yīng)用到交互復(fù)雜的3D電子游戲上，本發(fā)明提供新的人機交互方案，在條件允許的情況下，盡量采用3D UI控件，同時在一些特殊情況下，采用盡量少的2D UI控件避免3D UI控件在視野中消失的缺陷。

本發(fā)明提供一種在沉浸式VR游戲中實現(xiàn)人機交互的方法，該方法通過整理當(dāng)前游戲場景中的3D UI控件，據(jù)此生成隱藏的UI控件列表，當(dāng)視角改變使得其視野中的游戲場景發(fā)生改變時，游戲參與者可以通過提示調(diào)出上述UI控件列表或?qū)せ卦螒驁鼍?，進而實現(xiàn)與原游戲場景中的3D UI控件進行互動，解決復(fù)雜交互模式VR游戲中3D UI控件隨游戲參與者視角改變而移出視野造成無法交互的問題。此外，本發(fā)明還提供一種在沉浸式VR游戲中實現(xiàn)人機交互的系統(tǒng)。

本發(fā)明實施例提供一種在沉浸式VR游戲中實現(xiàn)人機交互的方法，該方法包括，

當(dāng)游戲參與者通過VR頭戴設(shè)備進入存在3D UI控件第一游戲場景，整理所述第一游戲場景的3D UI控件并據(jù)此生成UI控件列表，并在當(dāng)前場景下設(shè)置所述UI控件列表為隱藏；

判斷所述第一游戲場景是否移出游戲參與者視野；若是，則在其移出后游戲參與者視野中的第二游戲場景的預(yù)設(shè)區(qū)域進行提示；若否，則不執(zhí)行任何操作；所述預(yù)設(shè)區(qū)域可以是所述第二游戲場景中心區(qū)域外的任何區(qū)域，優(yōu)選為所述第二游戲場景的邊緣；

若出現(xiàn)提示，則在所述提示出現(xiàn)后，判斷游戲參與者是否鎖定該提示；若是，提示消失，彈出所述UI控件列表；此時，游戲參與者可以通過輸入設(shè)備或眼球控制技術(shù)(視角鎖定一定時間或預(yù)定次數(shù)眨眼)進行操作或選中切換視野等。

進一步，上述方法中，判斷所述第一游戲場景是否移出游戲參與者視野，其具體過程為，

記錄頭戴設(shè)備隨游戲參與者轉(zhuǎn)動的角度；當(dāng)所述轉(zhuǎn)動角度達到預(yù)設(shè)角度，即認(rèn)為所述第一游戲場景移出游戲參與者視野；所述預(yù)設(shè)角度一般不小于60度；

再進一步，所述轉(zhuǎn)動角度的測控可以通過陀螺儀傳感器實現(xiàn)；

若所述轉(zhuǎn)動角度未達到預(yù)設(shè)角度，再進一步，游戲參與者眼球成像時其中央凹視野(Foveal vision area，成像最為清晰)未落在所述第一游戲場景的中心區(qū)域，則認(rèn)為所述第一游戲場景移出游戲參與者視野；

此外，上述判斷所述第一游戲場景是否移出游戲參與者視野，其具體過程也可以為，

直接通過判斷游戲參與者眼球成像時其中央凹視野是否落在所述第一游戲場景的中心區(qū)域，若否，則認(rèn)為所述第一游戲場景移出游戲參與者視野；

進一步，上述方法中，所述提示，優(yōu)選為閃爍光標(biāo)標(biāo)識；所述光標(biāo)盡量采用護目光；

再進一步，所述閃爍光標(biāo)標(biāo)識可以由原點、x軸指示標(biāo)識、y軸指示標(biāo)識組成；其中，所述x軸指示標(biāo)識和y軸指示標(biāo)識分別標(biāo)記所述第二游戲場景與所述第一游戲場景的橫向距離和縱向距離；

進一步，上述方法中，判斷是否鎖定所述提示，其具體過程為，判斷游戲參與者眼球成像時其中央凹視野落在所述提示上的時間超過預(yù)設(shè)時間，則認(rèn)為鎖定該提示；若否，則認(rèn)為未鎖定該提示；

進一步，上述方法中，若所述UI控件列表較長，無法在屏幕內(nèi)完全顯示，可以采用多頁或滾動窗口模式；游戲參與者可以通過輸入設(shè)備或眼球控制技術(shù)(視角鎖定一定時間或預(yù)定次數(shù)眨眼)進行翻頁或滾動。

本發(fā)明實施例提供一種在沉浸式VR游戲中實現(xiàn)人機交互的系統(tǒng)，該系統(tǒng)包括，

UI控件列表生成單元，用于UI控件列表的生成；當(dāng)游戲參與者通過VR頭戴設(shè)備進入存在3D UI控件第一游戲場景，整理所述第一游戲場景的3D UI控件并據(jù)此生成UI控件列表，并在當(dāng)前場景下設(shè)置所述UI控件列表為隱藏；

視野及游戲場景單元，用于判斷所述第一游戲場景是否移出游戲參與者視野；

UI控件列表控制單元，根據(jù)視野及游戲場景系統(tǒng)對所述第一游戲場景是否移出游戲參與者視野的判斷結(jié)果控制UI控件列表；具體地，

若所述第一游戲場景移出游戲參與者視野，則在其移出后游戲參與者視野中的第二游戲場景的預(yù)設(shè)區(qū)域進行提示；若否，則不執(zhí)行任何操作；所述預(yù)設(shè)區(qū)域可以是所述第二游戲場景中心區(qū)域外的任何區(qū)域，優(yōu)選為所述第二游戲場景的邊緣；

若出現(xiàn)提示，則在所述提示出現(xiàn)后，判斷游戲參與者是否鎖定該提示；若是，提示消失，彈出所述UI控件列表；此時，游戲參與者可以通過輸入設(shè)備或眼球控制技術(shù)(視角鎖定一定時間或預(yù)定次數(shù)眨眼)進行操作或選中切換視野等。

進一步，上述系統(tǒng)中，判斷所述第一游戲場景是否移出游戲參與者視野，其具體過程為，

設(shè)置頭戴設(shè)備設(shè)置轉(zhuǎn)動監(jiān)測模塊，用于記錄隨游戲參與者轉(zhuǎn)動的角度；當(dāng)所述轉(zhuǎn)動角度達到預(yù)設(shè)角度，即認(rèn)為所述第一游戲場景移出游戲參與者視野；所述預(yù)設(shè)角度一般不小于60度；

再進一步，所述轉(zhuǎn)動監(jiān)測模塊可以通過陀螺儀傳感器實現(xiàn)；

若所述轉(zhuǎn)動角度未達到預(yù)設(shè)角度，再進一步判斷，游戲參與者眼球成像時其中央凹視野(Foveal vision area，成像最為清晰)未落在所述第一游戲場景的中心區(qū)域，則認(rèn)為所述第一游戲場景移出游戲參與者視野；

此外，上述判斷所述第一游戲場景是否移出游戲參與者視野，其具體過程也可以為，

直接通過判斷游戲參與者眼球成像時其中央凹視野是否落在所述第一游戲場景的中心區(qū)域，若否，則認(rèn)為所述第一游戲場景移出游戲參與者視野；

進一步，上述系統(tǒng)中，所述提示，優(yōu)選為閃爍光標(biāo)標(biāo)識；所述光標(biāo)盡量采用護目光；

再進一步，所述閃爍光標(biāo)標(biāo)識可以由原點、x軸指示標(biāo)識、y軸指示標(biāo)識組成；其中，所述x軸指示標(biāo)識和y軸指示標(biāo)識分別標(biāo)記所述第二游戲場景與所述第一游戲場景的橫向距離和縱向距離；

進一步，上述系統(tǒng)中，設(shè)置鎖定判斷模塊，用于判斷是否鎖定所述提示；具體地，判斷游戲參與者眼球成像時其中央凹視野落在所述提示上的時間超過預(yù)設(shè)時間，則認(rèn)為鎖定該提示；若否，則認(rèn)為未鎖定該提示；

進一步，上述方法中，若所述UI控件列表較長，無法在屏幕內(nèi)完全顯示，可以采用多頁或滾動窗口模式；游戲參與者可以通過輸入設(shè)備或眼球控制技術(shù)(視角鎖定一定時間或預(yù)定次數(shù)眨眼)進行翻頁或滾動。

本發(fā)明提供一種在沉浸式VR游戲中實現(xiàn)人機交互的方法和系統(tǒng)，通過整理當(dāng)前游戲場景中的3D UI控件，據(jù)此生成隱藏的UI控件列表，當(dāng)視角改變使得其視野中的游戲場景發(fā)生改變時，游戲參與者可以通過提示調(diào)出上述UI控件列表或?qū)せ卦螒驁鼍?，進而實現(xiàn)與原游戲場景中的3D UI控件進行互動，解決復(fù)雜交互模式VR游戲中3D UI控件隨游戲參與者視角改變而移出視野造成無法交互的問題，進而實現(xiàn)VR技術(shù)在復(fù)雜交互模式3D游戲中的應(yīng)用，使游戲參與者體驗到復(fù)雜交互模式的VR游戲更為逼真和暢爽的沉浸感和游戲體驗。

附圖說明

圖1為本發(fā)明實施例1提供的一種在沉浸式VR游戲中實現(xiàn)人機交互的方法的流程示意圖。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和取得的有益效果更加清楚，下面結(jié)合附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地表述。但是應(yīng)當(dāng)理解，此處描述的實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明?；诒景l(fā)明中的實施例，本領(lǐng)域的技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明實施例1提供一種在沉浸式VR游戲中實現(xiàn)人機交互的方法，如圖1所示，該方法包括：

步驟101，當(dāng)游戲參與者通過VR頭戴設(shè)備進入存在3D UI控件第一游戲場景，整理所述第一游戲場景的3D UI控件并據(jù)此生成UI控件列表，并在當(dāng)前場景下設(shè)置所述UI控件列表為隱藏；

步驟102，判斷所述第一游戲場景是否移出游戲參與者視野；若是，則在其移出后游戲參與者視野中的第二游戲場景的預(yù)設(shè)區(qū)域進行提示(步驟102a)；若否，則不執(zhí)行任何操作；所述預(yù)設(shè)區(qū)域可以是所述第二游戲場景中心區(qū)域外的任何區(qū)域，優(yōu)選為所述第二游戲場景的邊緣；

若出現(xiàn)提示，則在所述提示出現(xiàn)后，

步驟103，判斷游戲參與者是否鎖定該提示；若是，提示消失，彈出所述UI控件列表(步驟103a)；此時，游戲參與者可以通過輸入設(shè)備或眼球控制技術(shù)(視角鎖定一定時間或預(yù)定次數(shù)眨眼)進行操作或選中切換視野等。

本發(fā)明實施例2提供一種在沉浸式VR游戲中實現(xiàn)人機交互的方法，在實施例1的基礎(chǔ)上，

判斷所述第一游戲場景是否移出游戲參與者視野，其具體過程為，

記錄頭戴設(shè)備隨游戲參與者轉(zhuǎn)動的角度；當(dāng)所述轉(zhuǎn)動角度達到預(yù)設(shè)角度，即認(rèn)為所述第一游戲場景移出游戲參與者視野；所述預(yù)設(shè)角度一般不小于60度；

進一步，所述轉(zhuǎn)動角度的測控可以通過陀螺儀傳感器實現(xiàn)；

若所述轉(zhuǎn)動角度未達到預(yù)設(shè)角度，再進一步，游戲參與者眼球成像時其中央凹視野(Foveal vision area，成像最為清晰)未落在所述第一游戲場景的中心區(qū)域，則認(rèn)為所述第一游戲場景移出游戲參與者視野；

此外，上述判斷所述第一游戲場景是否移出游戲參與者視野，其具體過程也可以為，

直接通過判斷游戲參與者眼球成像時其中央凹視野是否落在所述第一游戲場景的中心區(qū)域，若否，則認(rèn)為所述第一游戲場景移出游戲參與者視野。

本發(fā)明實施例3提供一種在沉浸式VR游戲中實現(xiàn)人機交互的方法，在實施例1或2的基礎(chǔ)上，

所述提示，優(yōu)選為閃爍光標(biāo)標(biāo)識；所述光標(biāo)盡量采用護目光；

進一步，所述閃爍光標(biāo)標(biāo)識可以由原點、x軸指示標(biāo)識、y軸指示標(biāo)識組成；其中，所述x軸指示標(biāo)識和y軸指示標(biāo)識分別標(biāo)記所述第二游戲場景與所述第一游戲場景的橫向距離和縱向距離。游戲參與者可與根據(jù)該標(biāo)識的實時變化，尋回原場景。

本發(fā)明實施例4提供一種在沉浸式VR游戲中實現(xiàn)人機交互的方法，在實施例1的基礎(chǔ)上，

判斷是否鎖定所述提示，其具體過程為，判斷游戲參與者眼球成像時其中央凹視野落在所述提示上的時間超過預(yù)設(shè)時間，則認(rèn)為鎖定該提示；若否，則認(rèn)為未鎖定該提示；

此外，若所述UI控件列表較長，無法在屏幕內(nèi)完全顯示，可以采用多頁或滾動窗口模式；游戲參與者可以通過輸入設(shè)備或眼球控制技術(shù)(視角鎖定一定時間或預(yù)定次數(shù)眨眼)進行翻頁或滾動。

本發(fā)明實施例5提供一種在沉浸式VR游戲中實現(xiàn)人機交互的系統(tǒng)，該系統(tǒng)包括：

UI控件列表生成單元，用于UI控件列表的生成；當(dāng)游戲參與者通過VR頭戴設(shè)備進入存在3D UI控件第一游戲場景，整理所述第一游戲場景的3D UI控件并據(jù)此生成UI控件列表，并在當(dāng)前場景下設(shè)置所述UI控件列表為隱藏；

視野及游戲場景單元，用于判斷所述第一游戲場景是否移出游戲參與者視野；

UI控件列表控制單元，根據(jù)視野及游戲場景系統(tǒng)對所述第一游戲場景是否移出游戲參與者視野的判斷結(jié)果控制UI控件列表；具體地，

若所述第一游戲場景移出游戲參與者視野，則在其移出后游戲參與者視野中的第二游戲場景的預(yù)設(shè)區(qū)域進行提示；若否，則不執(zhí)行任何操作；所述預(yù)設(shè)區(qū)域可以是所述第二游戲場景中心區(qū)域外的任何區(qū)域，優(yōu)選為所述第二游戲場景的邊緣；

若出現(xiàn)提示，則在所述提示出現(xiàn)后，判斷游戲參與者是否鎖定該提示；若是，提示消失，彈出所述UI控件列表；此時，游戲參與者可以通過輸入設(shè)備或眼球控制技術(shù)(視角鎖定一定時間或預(yù)定次數(shù)眨眼)進行操作或選中切換視野等。

本發(fā)明實施例6提供一種在沉浸式VR游戲中實現(xiàn)人機交互的系統(tǒng)，在實施例5的基礎(chǔ)上，

判斷所述第一游戲場景是否移出游戲參與者視野，其具體過程為，

設(shè)置頭戴設(shè)備設(shè)置轉(zhuǎn)動監(jiān)測模塊，用于記錄隨游戲參與者轉(zhuǎn)動的角度；當(dāng)所述轉(zhuǎn)動角度達到預(yù)設(shè)角度，即認(rèn)為所述第一游戲場景移出游戲參與者視野；所述預(yù)設(shè)角度一般不小于60度；

再進一步，所述轉(zhuǎn)動監(jiān)測模塊可以通過陀螺儀傳感器實現(xiàn)；

若所述轉(zhuǎn)動角度未達到預(yù)設(shè)角度，再進一步，游戲參與者眼球成像時其中央凹視野(Foveal vision area，成像最為清晰)未落在所述第一游戲場景的中心區(qū)域，則認(rèn)為所述第一游戲場景移出游戲參與者視野；

此外，上述判斷所述第一游戲場景是否移出游戲參與者視野，其具體過程也可以為，

直接通過判斷游戲參與者眼球成像時其中央凹視野是否落在所述第一游戲場景的中心區(qū)域，若否，則認(rèn)為所述第一游戲場景移出游戲參與者視野。

本發(fā)明實施例7提供一種在沉浸式VR游戲中實現(xiàn)人機交互的系統(tǒng)，在實施例5或6的基礎(chǔ)上，

所述提示，優(yōu)選為閃爍光標(biāo)標(biāo)識；所述光標(biāo)盡量采用護目光；

再進一步，所述閃爍光標(biāo)標(biāo)識可以由原點、x軸指示標(biāo)識、y軸指示標(biāo)識組成；其中，所述x軸指示標(biāo)識和y軸指示標(biāo)識分別標(biāo)記所述第二游戲場景與所述第一游戲場景的橫向距離和縱向距離。游戲參與者可與根據(jù)該標(biāo)識的實時變化，尋回原場景。

本發(fā)明實施例8提供一種在沉浸式VR游戲中實現(xiàn)人機交互的系統(tǒng)，在實施例5的基礎(chǔ)上，

設(shè)置鎖定判斷模塊，用于判斷是否鎖定所述提示；具體地，判斷游戲參與者眼球成像時其中央凹視野落在所述提示上的時間超過預(yù)設(shè)時間，則認(rèn)為鎖定該提示；若否，則認(rèn)為未鎖定該提示。

此外，若所述UI控件列表較長，無法在屏幕內(nèi)完全顯示，可以采用多頁或滾動窗口模式；游戲參與者可以通過輸入設(shè)備或眼球控制技術(shù)(視角鎖定一定時間或預(yù)定次數(shù)眨眼)進行翻頁或滾動。

上述實施例提供的在沉浸式VR游戲中實現(xiàn)人機交互的方法或系統(tǒng)，解決復(fù)雜交互模式VR游戲中3D UI控件隨游戲參與者視角改變而移出視野造成無法交互的問題，進而實現(xiàn)VR技術(shù)在復(fù)雜交互模式3D游戲中的應(yīng)用，使游戲參與者體驗到復(fù)雜交互模式的VR游戲更為逼真和暢爽的沉浸感和游戲體驗。

最后應(yīng)說明的是：以上實施例僅用于說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細(xì)的說明，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。