一種基于普適計算的混合現(xiàn)實游戲系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于普適計算的混合現(xiàn)實游戲系統(tǒng)及方法。
【背景技術(shù)】
[0002]虛擬現(xiàn)實是一種能夠提供沉浸式體驗的計算機系統(tǒng)，可以模仿我們周圍的世界。通過三維立體顯示，用戶可以完全沉浸在計算機生成的虛擬世界里。在2012年電子娛樂博覽會上，Oculus公司展出了基于虛擬現(xiàn)實技術(shù)的頭戴式顯示器Oculus Rift。它通過安裝在頭盔上的運動傳感器跟蹤頭部運動，并調(diào)節(jié)顯示視角，給用戶帶來逼真的沉浸式體驗。但是，虛擬現(xiàn)實技術(shù)使用戶沉浸到一個完全虛擬的世界中去，把用戶與真實世界完全隔離，用戶完全沉浸其中而感受不到真實世界。
[0003]混合現(xiàn)實技術(shù)是虛擬現(xiàn)實技術(shù)的進一步發(fā)展，該技術(shù)通過在虛擬環(huán)境中引入現(xiàn)實場景信息，在虛擬世界、現(xiàn)實世界和用戶之間搭起一個交互反饋的信息回路，以增強用戶體驗的真實感。韓國的Live Park(4D虛擬現(xiàn)實主題公園)，玩家在入場前可以自行創(chuàng)造一個虛擬的角色，然后通過手上的RFID手環(huán)與園區(qū)內(nèi)的東西互動，充分感受虛擬與現(xiàn)實世界整合的樂趣。美國一家創(chuàng)新科技公司發(fā)表了一個全新娛樂設施“The VOID (The Vis1n ofInfinite Dimens1ns) ”，玩家將通過穿戴虛擬現(xiàn)實裝備進入虛擬世界，搭配以該虛擬場景為主題搭建的實體場景，玩家可以在其中自由行動，體驗虛擬現(xiàn)實的樂趣。這類游戲需要真實場景的配合。但是，相關(guān)真實環(huán)境的建造是一個復雜的過程，而且耗時較長、成本較高。此外，穿戴的虛擬現(xiàn)實裝備一般比較昂貴，并非消費級的家庭裝備。

【發(fā)明內(nèi)容】

[0004]本發(fā)明為了解決上述問題，提出了一種基于普適計算的混合現(xiàn)實游戲系統(tǒng)及方法，該系統(tǒng)允許玩家在任意空閑空間、隨時隨地設計迷宮布局，通過繪圖工具繪制迷宮平面圖；利用手機拍照快速建立相應的三維虛擬場景；利用虛擬現(xiàn)實眼鏡，通過玩家頭部的真實轉(zhuǎn)動即可感受沉浸式體驗；利用體感設備對玩家真實姿態(tài)的跟蹤和識別，實現(xiàn)玩家對虛擬場景的移動輸入控制和自然交互。本系統(tǒng)不需要專門的物理空間、昂貴的虛擬現(xiàn)實設備，用戶也不需要訓練，而且可以在任何時間任何地方游戲。
[0005]為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:
[0006]—種基于普適計算的混合現(xiàn)實游戲系統(tǒng)，包括場景設計模塊、校正模塊、建模模塊、跟蹤與動作識別模塊、跟蹤注冊模塊和交互模塊，其中，所述場景設計模塊，通過繪圖工具利用輪廓線繪畫迷宮平面圖，建立迷宮場景；
[0007]所述校正模塊，用于采集拍攝的迷宮平面圖，對其進行校正，導入建模模塊；
[0008]所述建模模塊，接收校正后的圖片，進行迷宮布局的繪制，將迷宮真實物體的信息作為建模輸入，發(fā)送到各個玩家的客戶端，完成虛擬場景的建立；
[0009]所述跟蹤與動作識別模塊，利用體感設備將捕獲的使用者位置信息與動作信息映射到虛擬場景中，為虛擬場景中相應使用者的位置和動作提供數(shù)據(jù)，并發(fā)送到服務器端；
[0010]所述跟蹤注冊模塊，用于對使用者視場與視點的跟蹤，確定當前視場中的目標物、用戶視點的位置和朝向；
[0011]所述交互模塊，用于實現(xiàn)用戶與真實場景中的虛擬對象的交互，確定用戶對虛擬對象發(fā)出的指令，對其解釋，給出相應的反饋結(jié)果，通過虛擬現(xiàn)實眼鏡給玩家反映虛擬世界的景象。
[0012]基于上述系統(tǒng)的工作方法，包括以下步驟:
[0013](1)通過繪圖工具在真實空間中設計迷宮平面圖，拍攝迷宮平面圖，并對拍攝時因透視原因?qū)е碌膱D片變形進行校正，建立虛擬迷宮；
[0014](2)判斷多個玩家的情況下是否異地參與，如果是，跳轉(zhuǎn)步驟(3)，否則，跳轉(zhuǎn)步驟
(4);
[0015](3)玩家根據(jù)服務器端發(fā)送的平面圖在真實場地繪制同一結(jié)構(gòu)的迷宮；
[0016](4)根據(jù)所有玩家接收到的迷宮信息，服務器端接收虛擬迷宮建模模塊發(fā)送來的迷宮墻體信息，并發(fā)送到各個玩家的客戶端，完成虛擬場景的建立，建立三維場景；
[0017](5)利用跟蹤與動作識別模塊，將捕獲到的玩家位置信息與動作信息映射到虛擬場景中，為虛擬場景中玩家的位置和動作提供數(shù)據(jù)，并發(fā)送到服務器端，完成虛擬場景中玩家的漫游與交互；
[0018](6)根據(jù)基于傳感器的注冊方法，獲取用戶頭部的轉(zhuǎn)動角度，從而確定用戶視點的位置和朝向，利用虛擬現(xiàn)實眼鏡作為輸出設備，向使用者呈現(xiàn)虛擬世界的景象；
[0019](7)對每個玩家的位置實時跟蹤與姿態(tài)識別，并捕獲到的玩家位置信息與動作信息映射到虛擬場景中，為虛擬場景中所有玩家的位置和動作提供數(shù)據(jù)，并發(fā)送到服務器端，跳轉(zhuǎn)步驟(5)。
[0020]所述步驟(1)中，校正方法為將圖片矩形的四個角進行拖拽，使圖片中迷宮墻體形狀與實際繪畫情況一致。
[0021]所述步驟(1)中，建立虛擬迷宮的具體方法包括:
[0022](1-1)利用攝像機對繪制的平面圖拍照，并完成圖片的校正；
[0023](1-2)將校正后的圖片導入手機建模部分，在4*4的網(wǎng)格內(nèi)進行迷宮布局的繪制；
[0024](1-3)將得到的迷宮墻體信息作為建模部分的輸入，發(fā)送到服務器端。
[0025]所述步驟(5)中，利用Kinect進行跟蹤與動作識別，具體步驟包括:
[0026](5-1)坐標校正，在真實空間內(nèi)選取多組不同位置的樣本點，使樣本點均勻分布，并測量出每個樣本點在虛擬場景中的位置，在Kinect坐標系中的位置；
[0027](5-2)利用最小二乘法計算得到Kinect對于虛擬場景坐標系的變換矩陣T ；
[0028](5-3)通過捕獲用戶手部關(guān)節(jié)點和頭部的位置信息，計算用戶位置和動作識別。
[0029]所述步驟(5-3)中，用戶位置計算的具體方法為:令第k幀Kinect獲取的用戶位置信息SPjk) = {Xlk，yik，Zlk}，其中，i表示Kinect可跟蹤的人數(shù)，0彡i彡6;則用戶在虛擬現(xiàn)實中的位置V—Pjk) = ΡΑΙΟ*!1，用來控制虛擬主角的移動。
[0030]所述步驟(5-3)中，動作識別的具體方法為:通過Kinect捕獲用戶手部關(guān)節(jié)點和頭部的位置信息判斷用戶動作:令(XLH, Ylh, Zlh)、(XRH, YRH, ZRH)、(XH, YH, zH)分別為用戶的左手、右手、頭部的空間位置；
[0031]定義動作標志'AY'=Y LH-YH, Δ Υ2= Υ RH-YH,
[0032]如果Λ Υ^Ο或者Λ Υ2>0，表示用戶做出舉手動作，通過動作標志控制用戶與虛擬場景中物體的交互。
[0033]所述步驟￠)中，將手機放置在虛擬現(xiàn)實眼鏡中，佩戴并調(diào)整好眼鏡位置，使用戶看到的場景與現(xiàn)實中保持一致；利用手機自帶的陀螺儀或重力感應，通過轉(zhuǎn)動頭部調(diào)整用戶在虛擬系統(tǒng)中的視角，完成對用戶視場與視點的跟蹤。
[0034]本發(fā)明的工作原理為:用戶在任意空閑空間通過繪圖工具(如粉筆、彩帶等)繪制迷宮結(jié)構(gòu)，不受其他因素的約束；然后利用手機拍照快速建立對應的三維虛擬場景；利用虛擬現(xiàn)實眼鏡(如小宅魔鏡、暴風魔鏡)，通過玩家頭部的真實轉(zhuǎn)動即可感受沉浸式體驗；利用體感設備(如Kinect)對玩家真實姿態(tài)的跟蹤和識別，實現(xiàn)玩家對虛擬場景的移動輸入控制和自然交互。該發(fā)明提供兩種游戲模式:單人模式；多人模式。其中，多個玩家包括同地多個玩家和異地多個玩家的方式，玩家之間采用客戶端服務器模式完成通訊，由一個玩家繪制游戲場景，所有玩家共享同一個虛擬游戲場景。
[0035]本發(fā)明的有益效果為:
[0036](1)本發(fā)明的方法使用方便、易操作、成本較低；
[0037](2)對空間的限制較少，只要有空的場地，不論大小，即可實現(xiàn)無處不在的沉浸式游戲體驗；
[0038](3)場景設計主觀性較強，只需在場地上繪制出平面圖即可。而且，用輪廓線代表真實物體，減少建造成本、提尚空間占用率；
[0039](4)不需要昂貴的虛擬現(xiàn)實設備，所米用的設備適合家庭和個人體驗；
[0040](5)用戶不需要額外的訓練，使用自然的交互方式即可；
[0041](6)支持多人操作，異地用戶可以達到同地用戶的體驗效果；
[0042](7)除了在游戲娛樂方面有廣泛應用外，也可將類似技術(shù)用于教育、軍事訓練等領(lǐng)域。如在消防訓練中，根據(jù)地上畫出的室內(nèi)平面圖，快速建立三維虛擬場景，消防員可完成走路、跑步、匍匐等。
【附圖說明】
[0043]圖1為本發(fā)明的硬件組成結(jié)構(gòu)圖；
[0044]圖2為本發(fā)明游戲系統(tǒng)流程圖；
[0045]圖3(a)為迷宮平面圖；
[0046]圖3 (b)為對獲取的迷宮圖片進行校正；
[0047]圖3(c)為導入校正好的迷宮圖片，進行虛擬迷宮的繪制示意圖；
[0048]