亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

基于虛擬現(xiàn)實場景的輸入方法及裝置與流程

文檔序號:11676952閱讀:448來源:國知局
基于虛擬現(xiàn)實場景的輸入方法及裝置與流程

本申請涉及計算機應用領域,尤其涉及一種基于虛擬現(xiàn)實場景的輸入方法及裝置。



背景技術:

vr(virtualreality,虛擬現(xiàn)實)技術,是一種綜合利用計算機圖形系統(tǒng)和各種控制接口,在計算機上生成可交互的三維交互環(huán)境,面向用戶提供沉浸感的技術。隨著vr技術以及硬件的進步,vr技術的應用場景也越來越豐富。然而,vr技術雖然可以面向用戶提供逼真的沉浸感,但用戶在佩戴vr終端進行沉浸體驗時,在vr場景中完成信息輸入通常會存在困難,因而如何在vr場景中面向用戶提供更新人性化的信息輸入,對于提升用戶體驗將具有十分重要的意義。



技術實現(xiàn)要素:

本申請?zhí)岢鲆环N基于虛擬現(xiàn)實場景的輸入方法,應用于虛擬現(xiàn)實客戶端,所述虛擬現(xiàn)實客戶端輸出的虛擬現(xiàn)實場景中包括三維輸入界面,所述方法包括:

識別用戶在所述虛擬現(xiàn)實場景中的三維手勢;

當識別出用戶的三維手勢時,確定識別出的所述的三維手勢是否為預設三維手勢;

如果識別出的所述三維手勢為所述預設三維手勢,計算所述三維手勢對應于所述三維輸入界面的操作位置;

選中所述三維輸入界面中與所述操作位置對應的虛擬輸入元件,并讀取所述虛擬輸入元件所指示的輸入信息完成輸入。

本申請還提出一種基于虛擬現(xiàn)實場景的輸入裝置,應用于虛擬現(xiàn)實客戶端,所述虛擬現(xiàn)實客戶端輸出的虛擬現(xiàn)實場景中包括三維輸入界面,所述裝置包括:

識別模塊,識別用戶在所述虛擬現(xiàn)實場景中的三維手勢;

判斷模塊,當識別出用戶的三維手勢時,確定識別出的所述的三維手勢是否為預設三維手勢;

計算模塊,如果識別出的所述三維手勢為所述預設三維手勢,計算所述三維手勢對應于所述三維輸入界面的操作位置;

輸入模塊,選中所述三維輸入界面中與所述操作位置對應的虛擬輸入元件,并讀取所述虛擬輸入元件所指示的輸入信息完成輸入。

本申請中,通過在虛擬現(xiàn)實場景中輸出一個三維輸入界面,并識別用戶在虛擬現(xiàn)實場景中的三維手勢,當識別出的三維手勢為預設三維手勢時,可以計算該三維手勢對應于虛擬現(xiàn)實場景中的三維輸入界面的操作位置,并選中該三維輸入界面中與該操作位置對應的虛擬輸入元件,然后讀取該虛擬輸入元件所指示的輸入信息完成輸入,實現(xiàn)了用戶在佩戴虛擬現(xiàn)實終端進行沉浸體驗時,可以通過三維手勢,在虛擬現(xiàn)實場景中快速的完成信息的輸入,從而可以提升用戶的輸入體驗。

附圖說明

圖1是本申請一實施例示出的基于vr場景的輸入方法的流程圖;

圖2是本申請一實施例示出的一種“三維空氣鍵盤”的示意圖;

圖3是本申請一實施例示出的一種“三維數(shù)字魔方鍵盤”的示意圖;

圖4是本申請一實施例示出的若干種可用于選中并觸發(fā)vr場景中的虛擬元件的三維手勢;

圖5是本申請一實施例提供的一種基于vr場景的輸入裝置的邏輯框圖;

圖6是本申請一實施例提供的承載所述一種基于vr場景的輸入裝置的vr客戶端所涉及的硬件結構圖。

具體實施方式

在相關技術中,用戶在佩戴vr終端進行沉浸體驗時,如果需要在vr場景中執(zhí)行信息輸入,目前主要通過以下兩種方案來實現(xiàn):

在第一種方案中,用戶可以取下佩戴的vr終端,使用與vr終端對接的pc主機,或者移動終端(比如用戶的手機)來完成信息的輸入。

例如,以需要插入用戶手機的滑佩式vr頭盔為例,假設用戶在佩戴該vr頭盔進行vr購物體驗時,需要輸入支付密碼對訂單完成支付,此時可以取下佩戴的該vr頭盔,并取下插入在vr頭盔中的手機,通過手機來輸入支付密碼完成訂單支付。

在第二種方案中,用戶可以使用與vr終端搭配的外接設備,比如操縱桿、手柄等,來控制vr場景中的操作焦點,將操作焦點移動到虛擬現(xiàn)實場景中用于信息輸入的虛擬元件的位置上,然后點擊外接設備上提供的選中按鈕,選中并觸發(fā)該虛擬元件,來完成信息的輸入;

在第三方案中,可以預先設置一個超時時長,用戶可以通過頭部姿態(tài)或者手勢,來控制操作焦點的位置,在將操作焦點移動到虛擬現(xiàn)實場景中用于信息輸入的虛擬元件的位置上后,可以使該操作焦點在該虛擬元件的位置上保持懸停,并在懸停時間達到該超時時長后,選中并觸發(fā)該虛擬元件,來完成信息輸入。

例如,假設用戶在佩戴該vr頭盔進行vr購物體驗時,需要輸入支付密碼對訂單完成支付,此時用戶可以選擇使用預先完成充值的虛擬貨幣來完成支付;在這種情況下,在虛擬現(xiàn)實場景中可以提供一個“使用虛擬幣支付”的虛擬按鈕。

在一種實現(xiàn)方式中,用戶可以通過操作操縱桿或者手柄等外接設備,通過控制vr場景中的操作焦點,將操作焦點移動到該虛擬按鈕的位置上,然后通過點擊操縱桿或者手柄等外接設備上提供的選中按鈕,來選中并觸發(fā)該虛擬按鈕,使用虛擬貨幣來完成訂單的支付;

在另一種實現(xiàn)方式中,可以預先設定一個超時時長,用戶可以通過頭部姿態(tài)或者手勢,來控制操作焦點的位置,當將操作焦點移動到該虛擬按鈕的位置上后,可以使操作焦點在該虛擬按鈕上保持懸停,當懸停時間達到該超時時長時,可以選中并觸發(fā)該虛擬按鈕,使用虛擬貨幣來完成訂單的支付。

然而,對于以上示出的第一種方案,在進行信息的輸入時,用戶無法在vr場景中完成信息的輸入,需要用戶取下佩戴的vr終端,因此會中斷用戶的vr沉浸體驗,影響用戶體驗。

對于以上示出的第二種方案,由于在進行信息的輸入時,vr終端需要搭配操縱桿、手柄等外接設備,因此會增加硬件成本。

對于以上示出的第三種方案,由于用戶將操作焦點懸停在虛擬元件上后,需要等待一個懸停的超時時長,才能夠完成信息的輸入,因此無法實現(xiàn)信息的快速輸入,導致信息的輸入效率較低,影響用戶體驗。

有鑒于此,本申請?zhí)岢鲆环N基于虛擬現(xiàn)實場景的輸入方法,通過在虛擬現(xiàn)實場中輸出一個三維輸入界面,并識別用戶在虛擬現(xiàn)實場景中的三維手勢,當識別出的三維手勢為預設三維手勢時,可以計算該三維手勢對應于虛擬現(xiàn)實場景中的三維輸入界面的操作位置,并選中該三維輸入界面中與該操作位置對應的虛擬輸入元件,然后讀取該虛擬輸入元件所指示的輸入信息完成輸入,實現(xiàn)了用戶在在佩戴虛擬現(xiàn)實終端進行沉浸體驗時,可以通過三維手勢,在虛擬現(xiàn)實場景中快速的完成信息的輸入,從而可以提升用戶的輸入體驗。

下面通過具體實施例并結合具體的應用場景對本申請進行描述。

請參考圖1,圖1是本申請一實施例提供的一種基于虛擬現(xiàn)實場景的輸入方法,應用于vr客戶端,所述vr輸出的虛擬現(xiàn)實場景中包括三維輸入界面,執(zhí)行以下步驟:

步驟101,識別用戶在所述虛擬現(xiàn)實場景中的三維手勢;

步驟102,當識別出用戶的三維手勢時,確定識別出的所述的三維手勢是否為預設三維手勢;

步驟103,如果識別出的所述三維手勢為所述預設三維手勢,計算所述三維手勢對應于所述三維輸入界面的操作位置;

步驟104,選中所述三維輸入界面中與所述操作位置對應的虛擬輸入元件,并讀取所述虛擬輸入元件所指示的輸入信息完成輸入。

上述vr客戶端,是指基于vr技術開發(fā)的可以面向用戶提供三維沉浸體驗的客戶端軟件;比如,基于vr的app;上述vr客戶端,可以將開發(fā)人員開發(fā)出的虛擬現(xiàn)實場景模型,通過與vr客戶端對接的vr終端,向用戶輸出,從而使得佩戴vr終端的用戶,能夠在虛擬現(xiàn)實場景中得到三維沉浸體驗。

上述三維手勢,是指vr終端通過預設的傳感硬件,識別出的具有深度信息的用戶手勢;其中,上述深度信息,通常是指用戶的手勢相對于虛擬現(xiàn)實場景的z軸的坐標信息;例如,對于立體空間中的一個點,通過三維坐標通??梢员硎緸?x,y,z),在這種情況下,這個點對應的z軸的坐標值,就可以稱之為相對于x軸和y軸的深度信息。

上述三維輸入界面,是指在虛擬現(xiàn)實場景中輸出的,用于進行信息輸入的三維界面。在該三維輸入界面中可以包含若干虛擬輸入元件,每一個虛擬輸入元件可以指示一個對應的輸入信息。

例如,在示出的一種實施方式中,上述三維輸入界面可以是一個三維輸入鍵盤。在這種情況下,上述若干虛擬輸入元件,可以是該三維輸入鍵盤中所包含的多干虛擬按鍵,每一個虛擬按鍵分別指示一個對應的輸入字符。

在本例中,為了使用戶在在佩戴vr終端進行沉浸體驗時,能夠在vr場景中快速的完成信息的輸入,可以在vr場景中輸出三維輸入界面,用戶在佩戴vr終端進行沉浸體驗時,可以在vr場景中執(zhí)行特定的三維手勢操作,通過三維手勢觸發(fā)上述三維輸入界面中的虛擬輸入元件,快速的完成輸入。

以下通過vr場景模型創(chuàng)建,三維手勢識別,以及信息輸入三個階段,對本申請的技術方案進行詳細描述。

1)vr場景模型創(chuàng)建

在本例中,開發(fā)人員可以通過特定的建模工具,完成vr場景模型的創(chuàng)建。上述建模工具,在本例中不進行特別的限定;例如,開發(fā)人員可以使用諸如unity、3dsmax、photoshop等較為成熟的建模工具完成vr場景模型的創(chuàng)建。

其中,開發(fā)人員在通過建模工具創(chuàng)建vr場景模型的過程中,該vr場景模型,以及該vr場景的紋理貼圖,都可來源于現(xiàn)實生活中的真實場景;例如,可以事先通過攝像,采集材質紋理貼圖,和真實場景的平面模型,然后通過photoshop或3dmax等建模工具,來處理紋理和構建真實場景的三維模型,然后導入到unity3d平臺(簡稱u3d),在u3d平臺中通過音效、圖形界面、插件、燈光等多個維度進行畫面渲染,然后編寫交互代碼,最后完成vr場景模型的建模。

在本例中,開發(fā)人員除了需要創(chuàng)建vr場景模型以外,為了使用戶能夠在vr場景中快速的完成信息輸入,還可以通過上述建模工具,在上述vr場景模型中,創(chuàng)建一個用于在vr場景中進行信息輸入的三維輸入界面。

例如,在示出的一種實施方式中,上述三維輸入界面,可以是一個三維虛擬鍵盤,在該三維虛擬鍵盤中可以包括若干虛擬按鍵,用戶在佩戴vr終端進行沉浸體驗時,可以通過這些三維虛擬鍵盤,在vr場景中快速的完成諸如密碼等信息的輸入。

其中,上述三維輸入界面的具體形態(tài),在本例中不進行特別限定;在實際應用中,可以基于用戶體驗進行個性化定制。

例如,在示出的一種實現(xiàn)方式中,上述三維輸入界面可以是一“三維空氣鍵盤”。

請參見圖2,圖2為本例中示出的一種“三維空氣鍵盤”的示意圖。

在圖2所示出的“三維空氣鍵盤”,可以包括一平鋪在vr場景的用戶視野中的三維虛擬鍵盤,在該三維虛擬鍵盤中包括若干三維的虛擬按鍵,用戶可以在vr場景中,通過特定的三維手勢選中相應的虛擬按鍵,來完成密碼等數(shù)字信息的輸入;比如,圖2中示出的為用戶在虛擬按鍵“3”所在的位置上執(zhí)行“點擊手勢”,選中虛擬按鍵“3”,來完成3這一數(shù)字的輸入。

在示出的另一種實現(xiàn)方式中,上述三維輸入界面也可以是一“三維數(shù)字魔方鍵盤”。

請參見圖3,圖3為本例中示出的一種“三維數(shù)字魔方鍵盤”的示意圖。

在圖3所示出的“三維數(shù)字魔方鍵盤”,可以包括一魔方外形的立方體,該立方體的每一個面上包括若干個虛擬按鍵,其中,每一個虛擬按鍵上所指示的數(shù)字可以隨機顯示。用戶可以在vr場景中,通過三維手勢,在該“三維數(shù)字魔方鍵盤”中面向用戶視野的那一面上選中相應的虛擬按鍵,然后向任意方向旋轉該“三維數(shù)字魔方鍵盤”,來完成密碼等數(shù)字信息的輸入;比如,圖3中示出的為用戶在虛擬按鍵“9”所在位置執(zhí)行“向右側旋轉的手勢”選中虛擬按鍵“9”,來完成9這一數(shù)字的輸入。

需要說明的是,如圖2和圖3所示出的三維輸入界面的形態(tài),僅為示意性的。顯然,在實際應用中,上述三維輸入界面的形態(tài)并不僅僅限定于圖2和圖3所示出的形態(tài),在本例中不再進行一一列舉。

在本例中,當開發(fā)人員完成vr場景模型,以及上述三維輸入界面的建模后,上述vr客戶端可以將上述vr場景模型以及上述三維輸入界面,通過與上述vr客戶端對接的vr終端(比如vr頭盔),向用戶輸出。

其中,需要說明的是,在默認情況下,上述vr客戶端可以僅向用戶輸出上述vr場景模型,當用戶在vr場景中進行沉浸體驗的過程中,需要執(zhí)行信息輸入時,再通過用戶執(zhí)行的預設三維手勢的觸發(fā),在上述vr場景中輸出上述三維輸入界面。

在示出的一種實施方式中,在默認狀態(tài)下,上述vr場景中,可以提供一預設的虛擬觸發(fā)元件(比如虛擬按鈕),該虛擬觸發(fā)元件用于觸發(fā)在該vr場景中輸出上述三維輸入界面。

當用戶在vr場景中進行沉浸體驗的過程中,需要執(zhí)行信息輸入時,可以通過特定的三維手勢選中該虛擬觸發(fā)元件,然后觸發(fā)vr客戶端在該vr場景中輸出上述三維輸入界面。

例如,假設用戶通過佩戴vr終端進行vr購物體驗。在這種場景中,上述虛擬觸發(fā)元件,可以是一個“購買/支付”的虛擬按鈕;上述三維輸入界面,可以是一個包含三維虛擬鍵盤的“3d收銀臺”界面。當用戶選擇了一件滿意的商品,需要在vr場景中購買該商品,并完成訂單的支付時,可以通過特定的三維手勢選中上述“購買/支付”的虛擬按鈕,此時vr客戶端可以在該vr場景中輸出上述“3d收銀臺”。在這種情況下,用戶可以通過特定的三維手勢,繼續(xù)在該收銀臺界面中的三維虛擬鍵盤中,選中并觸發(fā)相應的虛擬按鍵,來輸入支付密碼,完成該商品的購買。

2)三維手勢識別

在本例中,用戶可以通過在vr場景中,執(zhí)行特定的三維手勢,來選中該vr場景中提供的虛擬元件(比如虛擬按鈕,可操作控件,以及頁面等)。

其中,上述特定的三維手勢,在本例中不進行特別限定,可以是較為簡單的三維手勢(比如簡單的點擊手勢),也可以是較為復雜的三維手勢(比如特定的用于選中虛擬元件的手勢),可以是靜態(tài)的三維手勢(比如利用手部做出特定的姿勢),也可以是動態(tài)的三維手勢(比如抓握,拖動,旋轉,等等),在本例中不再進行一一列舉,在實際應用中,可以基于實際的需求進行個性化定制;例如,不同的vr內(nèi)容提供商,可以分別自定義不同的三維手勢,以體現(xiàn)與其它vr內(nèi)容提供商的差異化。

請參見圖4,圖4為本例示出的若干種可用于選中并觸發(fā)vr場景中的虛擬元件的三維手勢。

需要說明的是,圖4示出的若干種可用于選中并觸發(fā)vr場景中的虛擬元件的三維手勢,僅為示例性的。顯然,在實際應用中,也可以定義圖4中示出的三維手勢以外的其它類型的三維手勢,來選中并觸發(fā)vr場景中的虛擬元件。

在本例中,用戶在通過佩戴vr終端進行沉浸體驗時,上述vr客戶端可以通過vr終端上搭載的傳感硬件,并結合預設的三維手勢識別算法,來識別用戶在vr場景中所執(zhí)行的三維手勢。

在示出的一種實施方式中,上述vr客戶端可以通過搭載在上述vr終端上的傳感硬件,來實時的跟蹤用戶的手部位移,由上述傳感硬件對用戶的手部位移數(shù)據(jù)進行采集,并將采集到的用戶的手部位移數(shù)據(jù)回傳給上述vr客戶端。

其中,上述手部位移數(shù)據(jù),具體可以是指用戶手部在完成特定的三維手勢時的位置坐標、運動軌跡等數(shù)據(jù)。

當上述vr客戶端獲取到上述傳感硬件采集到的上述用戶的手部位移數(shù)據(jù)后,可以基于預設的手勢識別算法,針對獲取到的該手部位移數(shù)據(jù)進行計算,以識別出用戶的三維手勢。

其中,上述vr客戶端在基于上述手勢識別算法,識別用戶的三維手勢時,首先可以基于獲取到的上述用戶的手部位移數(shù)據(jù),計算出該用戶的手部,相對于vr場景的x/y/z軸的旋轉量以及偏移量。

其中,針對x/y/z軸的旋轉量,可以是指用戶的手部在執(zhí)行特定的三維手勢時,用戶手部上預先選定出的特征點,分別以x/y/z軸為旋轉軸,相對于x/y/z軸所旋轉的偏離角度。而上述偏移量,可以是指用戶的手部在執(zhí)行特定的三維手勢時,用戶手部上預先選定出的特征點,相對于x/y/z軸所偏離的水平距離。

通過獲取用戶的首部相對于vr場景的x/y/z軸的旋轉量以及偏移量,將旋轉量以及偏移量這兩個維度相結合,可以正確的獲取到用戶的手部在執(zhí)行三維手勢的過程中的深度信息。

當上述vr客戶端通過上述手勢識別算法,計算出用戶的手部,相對于vr場景的x/y/z軸的旋轉量以及偏移量后,可以基于得到的該旋轉量以及偏移量,進行三維建模。其中,具體的建模算法,在本例中進行特別限定。

由于上述旋轉量以及偏移量,可以表征用戶的手部在執(zhí)行三維手勢的過程中的深度信息,因此基于該深度信息進行三維建模,能夠正確的對用戶的三維手勢進行還原。

當基于上述旋轉量以及偏移量進行三維建模,成功創(chuàng)建出用戶的三維手勢模型后,此時針對用戶的三維手勢識別完成,上述三維手勢模型即為最終的三維手勢識別結果。

其中,需要說明的是,上述傳感硬件,具體可以包括紅外傳感器、圖像傳感器、激光傳感器、雷達傳感器,等等,在本例中不進行特別限定。

例如,在vr技術的常規(guī)實現(xiàn)中,在識別用戶的三維手勢時,通??梢酝ㄟ^諸如tof(timeofflight,飛行時間)方案、雙攝像頭雙目成像方案、結構光方案、以及微型雷達方案來實現(xiàn)。

以基于雙攝像頭雙目成像方案來識別用戶的三維手勢時,上述傳感硬件可以是圖像傳感器,在這種方案中,上述vr客戶端可以通過雙攝像頭的圖像傳感器實時的跟蹤用戶的手部位移,并采集用戶的手部位移數(shù)據(jù),然后基于上述手勢識別算法對用戶的手部位移數(shù)據(jù)進行計算,計算出該用戶的手部,相對于vr場景的x/y/z軸的旋轉量以及偏移量,然后基于得到的旋轉量和偏移量進行三維建模,得到最終的三維手勢模型。

當然,除了以上示出的基于雙攝像頭雙目成像來識別用戶的三維手勢的方案以外,在實際應用中,也可以采用tof方案、結構光方案、微型雷達方案來實現(xiàn)。當基于tof方案來識別用戶的三維手勢時,上述傳感硬件則可以是紅外傳感器。當基于結構光方案來識別用戶的三維手勢時,上述傳感硬件可以是激光傳感器。當基于結微型雷達方案來識別用戶的三維手勢時,上述傳感硬件可以是雷達傳感器。

其中,基于tof方案、結構光方案、以及微型雷達方案來識別用戶的三維手勢的詳細實現(xiàn)過程,與基于雙攝像頭雙目成像的方案在原理上相同,都是基于手部位移跟蹤,計算出用戶手部相對于vr場景的x/y/z軸的旋轉量以及偏移量等深度信息,來進行三維建模,在本例中不再詳述,本領域技術人員在將本申請的技術方案付諸實施時,可以參考相關技術中的記載。

在本例中,由于用戶在佩戴vr終端進行沉浸體驗的過程中,受限于vr終端對用戶的裸眼視覺的遮擋,用戶并不能實時的觀看到的自己手部所執(zhí)行的三維手勢;因此,在這種情況下,可能會對用戶所執(zhí)行的三維手勢的準確度造成影響,造成用戶沉浸于vr場景中時,所執(zhí)行的三維手勢不夠準確。

為了避免這種問題,上述vr客戶端還可以在vr場景中輸出一與用戶的三維手勢對應的操作焦點(也可以稱之為視覺焦點),并控制該操作焦點,與用戶在vr場景中所執(zhí)行的三維手勢同步的進行位移;

例如,在實現(xiàn)時,上述vr客戶端,可以根據(jù)上述傳感硬件通過實時跟蹤用戶的手部,而采集到的手部位移數(shù)據(jù),來實時計算用戶的手部對應于上述vr場景中的操作位置,然后根據(jù)用戶的手部對應于上述vr場景中的操作位置,來控制上述操作焦點的位移,從而實現(xiàn)操作焦點,與用戶的三維手勢的同步位移。

另外,為了使用戶能夠在vr場景中的用戶視野中,更加直觀的觀察到用戶手部執(zhí)行的三維手勢,在一種實現(xiàn)方式中,上述操作焦點具體可以是一模擬用戶的三維手勢的動畫。

例如,上述vr客戶端在基于用戶手部的深度信息進行三維建模,成功創(chuàng)建出與用戶的三維手勢對應的三維手勢模型后,由于該三維手勢模型通常準確記錄了用戶的手部的位置坐標、位移變化等參數(shù),因此可以利用該三維手勢模型來渲染出一個對應的三維手勢動畫,并將該三維手勢動畫作為上述操作焦點,與用戶的三維手勢同步位移。

可見,通過這種方式,用戶沉浸在vr場景中時,可以通過vr場景中的用戶視野中輸出的操作焦點,實時準確的查看到自己手部當前正在執(zhí)行的三維手勢,從而可以提升用戶執(zhí)行的三維手勢的準確度,用戶在該操作焦點的提示下,可以及時對手勢進行校正,以降低由于手勢不準確而造成的誤輸入的概率。

在本例中,vr客戶端可以預先定義用于對vr場景中的虛擬元素進行選中的預設三維手勢。當vr客戶端識別出用戶的三維手勢時,還可以進一步識別該三維手勢是否為上述預設三維手勢,來決策是否選中相應的虛擬元件。

其中,在識別三維手勢是否為預設三維手勢時,可以通過三維手勢模型之間的精準匹配來實現(xiàn);

例如,vr客戶端可以預先保存用于匹配的上述預設三維手勢模型,當識別出用戶的三維手勢后,可以從該三維模型對應的三維手勢模型,以及上述預設三維手勢模型上,分別選定若干個相對應的特征點,然后逐一匹配各特征點對應于上述虛擬現(xiàn)實場景的x/y/z軸的旋轉量以及偏移量是否相同,來識別上述三維手勢是否為預設三維手勢;如果各特征點對應于上述虛擬現(xiàn)實場景的x/y/z軸的旋轉量以及偏移量均相同,則可以確定上述三維手勢為預設三維手勢。

當然,在實際應用中,由于用戶在vr場景中執(zhí)行預設三維手勢時,通常無法做到精準匹配(即用戶執(zhí)行的三維手勢與預設三維手勢百分之百相同),因此,在這種情況下,vr客戶端在識別用戶的三維手勢是否為預設三維手勢時,除了以上描述的通過三維手勢模型之間的精準匹配來實現(xiàn)以外,也可以通過確定三維手勢模型之間的相似度是否達到預設閾值來實現(xiàn);

例如,當vr客戶端識別出用戶的三維手勢后,可以基于預設的相似度算法計算該三維手勢對應的三維手勢模型,與預設三維手勢模型之間的相似度,然后判斷計算出的相似度是否達到預設閾值;如果是,則可以確定用戶的三維手勢為預設三維手勢;

其中,上述相似度算法在本例中不進行特別限定,本領域技術人員在將本申請的技術方案付諸實施時,可以參考相關技術的記載;另外,上述預設閾值的大小,在本例中也不進行特別限定,本領域技術人員可以基于實際的需求進行設置;例如,當對三維手勢識別時的相似度要求較高時,可以將上述預設閾值設置為一個較大的值;當對三維手勢識別時的相似度要求較低時,可以將上述預設閾值設置為一個較小的值。

3)信息輸入

在本例中,當vr客戶端識別出用戶的三維手勢為預設三維手勢時,此時vr客戶端可以計算該三維手勢對應于vr場景的操作位置,然后選中vr場景中與該操作位置對應的虛擬元件。

例如,vr客戶端仍然可以根據(jù)上述傳感硬件通過實時跟蹤用戶的手部,而采集到的手部位移數(shù)據(jù),來實時計算用戶的手部對應于上述vr場景中的操作位置。當計算出該操作位置后,vr客戶端可以查找vr場景中與該操作位置對應的虛擬元件,然后選中該虛擬元件。

當然,在實際應用中,vr客戶端除了可以通過上述傳感硬件采集到的手部位移數(shù)據(jù),來實時計算用戶的手部對應于上述vr場景中的操作位置以外,如果當前vr場景中已經(jīng)輸出了與用戶的三維手勢對應的操作焦點,那么也可以直接通過定位該操作焦點的位置,來確定用戶的手部對應于上述vr場景中的操作位置;在這種情況下,vr客戶端可以直接查找該操作焦點在vr場景中指示的虛擬元件,然后選中該虛擬元件。

其中,為了降低用戶在執(zhí)行預設三維手勢時,由于該三維手勢的持續(xù)時間過長而造成的誤操作,在示出的一種實施方式中,vr客戶端還可以預設一個用于表征三維手勢是否有效的預設的時長閾值。當vr客戶端在識別出用戶的三維手勢后,還可以計算該三維手勢的持續(xù)時間(即用戶在開始執(zhí)行手勢的時刻,到手勢執(zhí)行完畢的時刻之間的時間差);然后判斷該三維手勢的持續(xù)時間,是否低于上述預設的時長閾值;如果該三維手勢的持續(xù)時間低于該預設的時長閾值,則確定該三維手勢有效,vr客戶端可以開始執(zhí)行后續(xù)的識別該三維手勢是否為預設三維手勢的執(zhí)行邏輯。當然,如果該三維手勢的持續(xù)時間等于或者大于該預設的時長閾值,則確定該三維手勢無效。

其中,上述預設的時長閾值的具體取值,在本例中不進行特別限定,在實際應用中可以設置為一個較短的時長(比如2秒),從而使得用戶可以在較短的時間內(nèi)快速的執(zhí)行預設三維手勢,來選中vr場景中的虛擬元件,從而可以避免由于用戶執(zhí)行三維手勢的持續(xù)時間太長,而造成的誤操作的問題。

在本例中,如前所述,假設上述vr場景中,預先提供了一預設的虛擬觸發(fā)元件,該虛擬觸發(fā)元件用戶觸發(fā)上述vr客戶端輸出預設的三維輸入界面。

在這種情況下,當用戶在vr場景中進行沉浸體驗時,如果需要執(zhí)行信息輸入,此時用戶可以通過將操作焦點移動至該虛擬觸發(fā)元件所在位置,并使該操作焦點在該虛擬觸發(fā)元件上保持懸??;

例如,在實現(xiàn)時,用戶可以通過諸如操作桿、手柄等外接設備來控制操作焦點的移動;或者,可以在vr終端上預先安裝重力傳感器,或者在用戶的手部佩戴相應的重力傳感裝置,繼而用戶可以通過頭部姿態(tài),或者手部的移動,來控制操作焦點的移動。

當該操作焦點在上述虛擬觸發(fā)元件上保持懸浮后,用戶可以在操作焦點指示的位置上執(zhí)行預設三維手勢,vr客戶端在識別出用戶執(zhí)行的三維手勢為預設三維手勢后,由于該操作焦點在上述虛擬觸發(fā)元件上保持懸停,此時該操作焦點所指示的虛擬元件為該虛擬觸發(fā)元件,因此vr客戶端可以選中該虛擬元件,并觸發(fā)在上述vr場景中輸出上述三維輸入界面。

在本例中,當vr終端在vr場景中輸出上述三維輸入界面后,此時用戶可以查看該三維輸入界面中各虛擬輸入元件所指示的信息,基于自己的輸入需求,通過將操作焦點懸浮在相應的虛擬輸入元件上,然后執(zhí)行預設三維手勢,來選中該虛擬輸入元件。

其中,需要說明的是,用于選中上述虛擬觸發(fā)元件的預設三維手勢,與用于選中上述三維輸入界面中的虛擬輸入元件的預設三維手勢,在實際應用中,可以相同,也可以不同,在本例中不進行特別限定。

vr客戶端在識別出用戶執(zhí)行的三維手勢為預設三維手勢后,vr客戶端可以計算該三維手勢對應于vr場景的操作位置,然后查找上述三維輸入界面中與該操作位置對應的虛擬輸入元件,并選中該虛擬輸入元件。

其中,為了確保用戶能夠直觀的查看到當前選中的虛擬輸入元件,當vr客戶端基于用戶執(zhí)行的預設三維手勢,選定相應的虛擬輸入元件后,還可以在上述三維輸入界面中將該虛擬輸入元件突出顯示;例如,可以在上述三維輸入界面中,將選中的虛擬輸入元件高亮顯示。

在本例中,當上述三維輸入界面中的虛擬元件被選中后,vr客戶端可以讀取該虛擬輸入元件所指示的輸入信息,然后基于獲取到的該輸入信息完成信息的輸入。

以此類推,用戶可以通過重復以上操作,按順序選中上述三維輸入界面中的多個虛擬輸入元件,來完成諸如密碼等字符串的輸入。

以下結合用戶在進行vr購物體驗時,在vr場景中輸入支付密碼完成商品支付的應用場景為例,對本申請的技術方案進行描述。

當然,需要說明的是,上述示出的應用場景僅為示例性的,并不用于限定;顯然,在實際應用中本申請的技術方案,也可以應用在其它基于vr場景的信息輸入場景;

例如,用戶在vr游戲的場景中,輸入登錄密碼完成游戲賬號的登錄,或者輸入支付密碼完成游戲幣的充值;或者,用戶在vr直播場景中,輸入支付密碼,完成支付對主播進行打賞,等等;在本例中不再一一列舉。

在本例中,用戶在佩戴vr終端進行vr購物體驗時,在vr場景中可以向用戶呈現(xiàn)若干可供選擇的商品,用戶可以通過查看vr場景中提供的商品列表,來選擇自己喜歡的商品進行購買。

上述vr場景中除了可以向用戶提供商品列表外,在每一個商品對應的位置上還可以提供一個“購買/支付”的虛擬按鈕(即上述虛擬觸發(fā)元件)。當用戶在上述商品列表中,選擇了一件滿意的商品后,可以將操作焦點移動至該“購買/支付”的虛擬按鈕所在位置,并使該操作焦點在該“購買/支付”的虛擬按鈕上保持懸浮。

當操作焦點在該“購買/支付”的虛擬按鈕上保持懸浮后,用戶可以執(zhí)行預設三維手勢來選中該“購買/支付”的虛擬按鈕。當vr客戶端識別出用戶執(zhí)行的三維手勢為預設三維手勢時,可以選中該“購買/支付”的虛擬按鈕,并觸發(fā)在vr場景中輸出“三維虛擬鍵盤”(即上述三維輸入界面)。

其中,輸出的該“三維虛擬鍵盤”可以是如圖2所示的“三維空氣鍵盤”,也可以是如圖3所示的“三維數(shù)字魔方鍵盤”。

當vr客戶端在vr場景中輸出上述“三維虛擬鍵盤”后,用戶可以通過將操作焦點移動到相應的“虛擬按鍵”上,并使該操作焦點在該“虛擬按鍵”上保持懸浮,然后執(zhí)行預設三維手勢來選中該“虛擬按鍵”。當vr客戶端識別出用戶執(zhí)行的三維手勢為預設三維手勢時,可以選中該“虛擬按鍵”,然后讀取該“虛擬按鍵”所指示的數(shù)字,完成密碼的輸入。

以此類推,用戶可以通過重復以上操作,按順序選中上述“三維虛擬鍵盤”中的多個“虛擬按鍵”,來完成支付密碼的輸入。當支付密碼輸入完成,并且輸入的支付密碼由相應的支付服務器驗證通過后,此時商品購買完成。

通過以上實施例可知,本申請通過在虛擬現(xiàn)實場景中輸出一個三維輸入界面,并識別用戶在虛擬現(xiàn)實場景中的三維手勢,當識別出的三維手勢為預設三維手勢時,可以計算該三維手勢對應于虛擬現(xiàn)實場景中的三維輸入界面的操作位置,并選中該三維輸入界面中與該操作位置對應的虛擬輸入元件,然后讀取該虛擬輸入元件所指示的輸入信息完成輸入,實現(xiàn)了用戶在在佩戴虛擬現(xiàn)實終端進行沉浸體驗時,可以通過三維手勢,在虛擬現(xiàn)實場景中快速的完成信息的輸入,從而可以提升用戶的輸入體驗。

與上述方法實施例相對應,本申請還提供了裝置的實施例。

請參見圖5,本申請?zhí)岢鲆环N基于vr場景的輸入裝置50,應用于虛擬現(xiàn)實客戶端,所述虛擬現(xiàn)實客戶端輸出的虛擬現(xiàn)實場景中包括三維輸入界面;

請參見圖6,作為承載所述基于vr場景的輸入裝置50的虛擬現(xiàn)實客戶端所涉及的硬件架構中,通常包括cpu、內(nèi)存、非易失性存儲器、網(wǎng)絡接口以及內(nèi)部總線等;以軟件實現(xiàn)為例,所述基于vr場景的輸入裝置40通??梢岳斫鉃榧虞d在內(nèi)存中的計算機程序,通過cpu運行之后形成的軟硬件相結合的邏輯裝置,所述裝置50包括:

識別模塊501,識別用戶在所述虛擬現(xiàn)實場景中的三維手勢;

判斷模塊502,當識別出用戶的三維手勢時,確定識別出的所述的三維手勢是否為預設三維手勢;

計算模塊503,如果識別出的所述三維手勢為所述預設三維手勢,計算所述三維手勢對應于所述三維輸入界面的操作位置;

輸入模塊504,選中所述三維輸入界面中與所述操作位置對應的虛擬輸入元件,并讀取所述虛擬輸入元件所指示的輸入信息完成輸入。

在本例中,所述虛擬現(xiàn)實場景中包括預設的虛擬觸發(fā)元件;所述虛擬觸發(fā)元件用于觸發(fā)在所述虛擬現(xiàn)實場景中輸出所述三維輸入界面;

所述判斷模塊502進一步:

當識別出用戶的三維手勢時,確定識別出的所述的三維手勢是否為預設三維手勢;

所述計算模塊503進一步:

如果識別出的所述三維手勢為所述預設三維手勢,計算所述三維手勢對應于所述三維輸入界面的操作位置;

所述裝置50還包括:

輸出模塊505(圖5中未示出),在所述操作位置與所述虛擬觸發(fā)元件所在位置對應時,輸出所述三維輸入界面。

在本例中,所述識別模塊501:

通過預設的傳感硬件跟蹤所述用戶的手部位移;

獲取所述傳感硬件采集到的所述用戶的手部位移數(shù)據(jù);

基于所述手部位移數(shù)據(jù)計算所述用戶的手部相對于所述虛擬現(xiàn)場場景的x/y/z軸的旋轉量以及偏移量;

基于所述旋轉量以及所述偏移量進行三維建模,得到對應的三維手勢。

在本例中,所述計算模塊503進一步:

在計算所述三維手勢對應于所述三維輸入界面的操作位置之前,計算所述三維手勢的持續(xù)時間;判斷所述三維手勢的持續(xù)時間是否低于預設閾值;如果所述三維手勢的持續(xù)時間低于預設閾值,則執(zhí)行計算所述三維手勢對應于所述三維輸入界面的操作位置的操作。

在本例中,所述虛擬現(xiàn)實場景中包括對應于所述三維手勢的操作焦點;其中,所述操作焦點在所述虛擬現(xiàn)實場景中與所述三維手勢同步位移。

在本例中,所述操作焦點為模擬所述三維手勢的動畫。

在本例中,所述輸入模塊504進一步:

將選中的所述虛擬輸入元件在所述三維輸入界面中突出顯示。

在本例中,所述三維輸入界面為三維虛擬鍵盤;所述虛擬輸入元件為所述三維虛擬鍵盤中的虛擬按鍵。

本領域技術人員在考慮說明書及實踐這里公開的發(fā)明后,將容易想到本申請的其它實施方案。本申請旨在涵蓋本申請的任何變型、用途或者適應性變化,這些變型、用途或者適應性變化遵循本申請的一般性原理并包括本申請未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的,本申請的真正范圍和精神由下面的權利要求指出。

應當理解的是,本申請并不局限于上面已經(jīng)描述并在附圖中示出的精確結構,并且可以在不脫離其范圍進行各種修改和改變。本申請的范圍僅由所附的權利要求來限制。

以上所述僅為本申請的較佳實施例而已,并不用以限制本申請,凡在本申請的精神和原則之內(nèi),所做的任何修改、等同替換、改進等,均應包含在本申請保護的范圍之內(nèi)。

當前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1