本發(fā)明涉及虛擬現(xiàn)實交互控制領(lǐng)域，特別涉及一種基于身體追蹤的vr多人交互系統(tǒng)及方法。

背景技術(shù)：

1、虛擬現(xiàn)實(vi?rtua?l?rea?l?ity，簡稱vr)技術(shù)是一種通過計算機生成的完全虛擬的三維環(huán)境，增強用戶對虛擬世界的感知和交互體驗，其主要依賴于計算機圖形學(xué)、傳感器技術(shù)和人機交互技術(shù)，通過頭戴式顯示器(head-mounted?di?sp?l?ay)及其他設(shè)備(手柄、手套)與虛擬世界進行交互。在現(xiàn)有的vr應(yīng)用場景中，用戶往往通過佩戴hmd設(shè)備配合手柄來實現(xiàn)場景中的一些交互與操作，盡管hmd能為用戶提供給視覺上的沉浸體驗，但交互方式則與真實的自然交互相差甚遠，這種方式的交互缺乏沉浸感與真實性，導(dǎo)致用戶的體驗不夠自然。

2、現(xiàn)有技術(shù)的vr設(shè)備只能進行單人體驗和操控，無法滿足多人之間真實交互的需求，傳統(tǒng)的采用手柄進行用戶虛擬交互的方式存在交互效率低下，準確性地、操控復(fù)雜等缺陷，無法滿足真實性、參與性、沉浸式交互的要求。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于身體追蹤的vr多人交互系統(tǒng)及方法，通過集成高精度身體追蹤與vr系統(tǒng)，使用戶能夠直接通過身體動作(如手勢、步伐等)與虛擬環(huán)境進行交互，從而提升交互的自然性和沉浸感，實現(xiàn)多人交互的目的。

2、為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：一種基于身體追蹤的vr多人交互系統(tǒng)，包括圖像采集模塊、身體追蹤單元、多人交互單元和vr設(shè)備，其中用戶佩戴vr設(shè)備，vr設(shè)備用于向用戶呈現(xiàn)虛擬現(xiàn)實場景；圖像采集模塊用于對佩戴vr設(shè)備的用戶進行運動數(shù)據(jù)的采集和追蹤以及對用戶所處實際環(huán)境進行采集，其輸出端連接至身體追蹤單元；所述身體追蹤單元用于對圖像采集模塊采集的數(shù)據(jù)進行處理并得到身體動作姿態(tài)數(shù)據(jù)，其輸出端連接多人交互單元，所述多人交互單元用于存儲場景中各用戶的同步狀態(tài)、接收更新同步信息、下發(fā)同步數(shù)據(jù)以及動態(tài)生成多用戶模型，其與用戶佩戴的vr設(shè)備連接，向其發(fā)送多人交互單元處理后的虛擬現(xiàn)實場景數(shù)據(jù)。

3、所述圖像采集模塊采用雙目攝像頭對實際環(huán)境以及目標用戶的動作、移動的運動數(shù)據(jù)進行追蹤與采集。

4、所述雙目攝像頭設(shè)置在用戶佩戴vr的實際場景中，其中所述雙目攝像頭的視口包含有所有可運動范圍，采集與追蹤可運動范圍內(nèi)的實際環(huán)境數(shù)據(jù)以及在當前實際環(huán)境中用戶的肢體動作、移動的運動數(shù)據(jù)。

5、所述vr設(shè)備包括hmd頭部顯示器，用于呈現(xiàn)虛擬現(xiàn)實場景，用戶通過vr設(shè)備看到自身運動帶來的畫面變化、實時交互產(chǎn)生的效果以及其他用戶于虛擬場景中的位置、動作、運動以及正在交互的內(nèi)容模塊。

6、所述身體追蹤單元包括人體檢測模塊，利用雙目攝像頭所采集的用戶圖像，通過神經(jīng)網(wǎng)絡(luò)推斷所有2d的骨骼以及關(guān)鍵點，并最終提取出一套與雙目攝像頭采集的用戶相匹配的骨骼架構(gòu)。

7、所述人體追蹤單元還包括人體適配模塊，所述人體適配模塊將人體檢測模塊所提取的骨骼架構(gòu)綁定至預(yù)設(shè)的人物模型上，并隨著用戶所產(chǎn)生的動作對人物模型進行穩(wěn)定的3d運動模擬以驅(qū)動任務(wù)模型跟隨運動。

8、所述多人交互單元包括服務(wù)端模塊，用于存儲各客戶端的同步狀態(tài)，接收客戶端所上傳的更新同步信息，當接收到一個客戶端上傳同步信息后，服務(wù)端模塊將下發(fā)該同步信息至其他客戶端，服務(wù)端模塊還用于動態(tài)生成人物模型物體，不同用戶的人物模型物體包含不同用戶信息。

9、所述多人交互單元還包括客戶端模塊，該模塊用于運行本地虛擬現(xiàn)實場景，用于向服務(wù)端模塊上傳當前客戶端的同步信息以及該客戶端用戶所進行的操作，用于接收服務(wù)端模塊下發(fā)的其他客戶端的同步信息并實時更新虛擬現(xiàn)實場景信息。

10、所述多人交互單元通過處理實現(xiàn)渲染輸出虛擬現(xiàn)實場景、實時渲染用戶交互產(chǎn)生的場景并輸出至vr設(shè)備中進行展示。

11、一種基于身體追蹤的vr多人交互方法，包括用戶佩戴vr設(shè)備后通過雙目攝像頭采集用戶的動作移動數(shù)據(jù)和環(huán)境參數(shù)信息并發(fā)送至身體追蹤單元中進行用戶動作信息和環(huán)境參數(shù)信息的處理并發(fā)送至多人交互單元中，多人交互單元對身體追蹤單元上傳的數(shù)據(jù)進行處理得到對應(yīng)的虛擬現(xiàn)實場景并送入到vr設(shè)備中進行展示。

12、本發(fā)明的優(yōu)點在于：可以讓用戶通過自身的運動動作來與虛擬現(xiàn)實場景進行交互，可以讓多名用戶在同一個虛擬現(xiàn)實場景中進行場景交互以及用戶交互，利用vr和身體追蹤進行虛擬場景的多人交互，提高交互深度，提升用戶體驗沉浸感，加強虛擬場景本身內(nèi)容的實際使用效果。具體的技術(shù)效果為：

13、1、提升交互深度與沉浸感：通過雙目攝像頭實時追蹤用戶的動作與空間位置信息，并將其精確投射到虛擬現(xiàn)實場景中，使用戶能夠通過自身的運動直接與虛擬環(huán)境進行交互，極大地增加了交互的實時感和沉浸感。身體追蹤技術(shù)使用戶在vr體驗中感受到更深的參與度和更自然的交互方式。

14、2、實現(xiàn)高效的多人同步互動：多人交互單元能夠?qū)崟r存儲、更新和同步各用戶的狀態(tài)信息，確保多名用戶在同一個虛擬現(xiàn)實場景中的交互行為能夠同步進行，提升了多人交互的體驗質(zhì)量，擴展了vr在遠程協(xié)作、培訓(xùn)教育等其他領(lǐng)域的應(yīng)用潛力。

15、3、提高檢測精度和適應(yīng)性：身體追蹤單元采用先進的神經(jīng)網(wǎng)絡(luò)技術(shù)和多種檢測類型，能夠準確推斷用戶的骨骼架構(gòu)和關(guān)鍵點，從而實現(xiàn)對用戶動作的精確捕捉和模擬。同時，人體適配模塊通過綁定預(yù)設(shè)的人物模型，并實時模擬用戶的3d運動，提高了系統(tǒng)對不同用戶的適應(yīng)性和檢測精度。

16、4、增加系統(tǒng)靈活性與可擴展性：多人交互單元采用服務(wù)端和客戶端分離的設(shè)計，既支持專用服務(wù)端模式，也支持主機服務(wù)端模式，這種模式提高了系統(tǒng)的靈活性和可擴展性，能夠適應(yīng)不同規(guī)模和復(fù)雜程度的應(yīng)用場景。

17、5、優(yōu)化用戶體驗與場景內(nèi)容：通過身體追蹤和多人交互技術(shù)的結(jié)合，能夠為用戶提供更加豐富、多樣的虛擬現(xiàn)實互動體驗。同時，也提升了虛擬場景內(nèi)容的實際使用效果，使場景內(nèi)容更加生動、逼真，從而進一步增強用戶的滿意度。

技術(shù)特征：

1.一種基于身體追蹤的vr多人交互系統(tǒng)，其特征在于：包括圖像采集模塊、身體追蹤單元、多人交互單元和vr設(shè)備，其中用戶佩戴vr設(shè)備，vr設(shè)備用于向用戶呈現(xiàn)虛擬現(xiàn)實場景；圖像采集模塊用于對佩戴vr設(shè)備的用戶進行運動數(shù)據(jù)的采集和追蹤以及對用戶所處實際環(huán)境進行采集，其輸出端連接至身體追蹤單元；所述身體追蹤單元用于對圖像采集模塊采集的數(shù)據(jù)進行處理并得到身體動作姿態(tài)數(shù)據(jù)，其輸出端連接多人交互單元，所述多人交互單元用于存儲場景中各用戶的同步狀態(tài)、接收更新同步信息、下發(fā)同步數(shù)據(jù)以及動態(tài)生成多用戶模型，其與用戶佩戴的vr設(shè)備連接，向其發(fā)送多人交互單元處理后的虛擬現(xiàn)實場景數(shù)據(jù)。

2.如權(quán)利要求1所述的一種基于身體追蹤的vr多人交互系統(tǒng)，其特征在于：所述圖像采集模塊采用雙目攝像頭對實際環(huán)境以及目標用戶的動作、移動的運動數(shù)據(jù)進行追蹤與采集。

3.如權(quán)利要求2所述的一種基于身體追蹤的vr多人交互系統(tǒng)，其特征在于：所述雙目攝像頭設(shè)置在用戶佩戴vr的實際場景中，其中所述雙目攝像頭的視口包含有所有可運動范圍，采集與追蹤可運動范圍內(nèi)的實際環(huán)境數(shù)據(jù)以及在當前實際環(huán)境中用戶的肢體動作、移動的運動數(shù)據(jù)。

4.如權(quán)利要求1所述的一種基于身體追蹤的vr多人交互系統(tǒng)，其特征在于：所述vr設(shè)備包括hmd頭部顯示器，用于呈現(xiàn)虛擬現(xiàn)實場景，用戶通過vr設(shè)備看到自身運動帶來的畫面變化、實時交互產(chǎn)生的效果以及其他用戶于虛擬場景中的位置、動作、運動以及正在交互的內(nèi)容模塊。

5.如權(quán)利要求1所述的一種基于身體追蹤的vr多人交互系統(tǒng)，其特征在于：所述身體追蹤單元包括人體檢測模塊，利用雙目攝像頭所采集的用戶圖像，通過神經(jīng)網(wǎng)絡(luò)推斷所有2d的骨骼以及關(guān)鍵點，并最終提取出一套與雙目攝像頭采集的用戶相匹配的骨骼架構(gòu)。

6.如權(quán)利要求5所述的一種基于身體追蹤的vr多人交互系統(tǒng)，其特征在于：所述人體追蹤單元還包括人體適配模塊，所述人體適配模塊將人體檢測模塊所提取的骨骼架構(gòu)綁定至預(yù)設(shè)的人物模型上，并隨著用戶所產(chǎn)生的動作對人物模型進行穩(wěn)定的3d運動模擬以驅(qū)動任務(wù)模型跟隨運動。

7.如權(quán)利要求1-6任一所述的一種基于身體追蹤的vr多人交互系統(tǒng)，其特征在于：所述多人交互單元包括服務(wù)端模塊，用于存儲各客戶端的同步狀態(tài)，接收客戶端所上傳的更新同步信息，當接收到一個客戶端上傳同步信息后，服務(wù)端模塊將下發(fā)該同步信息至其他客戶端，服務(wù)端模塊還用于動態(tài)生成人物模型物體，不同用戶的人物模型物體包含不同用戶信息。

8.如權(quán)利要求7所述的一種基于身體追蹤的vr多人交互系統(tǒng)，其特征在于：所述多人交互單元還包括客戶端模塊，該模塊用于運行本地虛擬現(xiàn)實場景，用于向服務(wù)端模塊上傳當前客戶端的同步信息以及該客戶端用戶所進行的操作，用于接收服務(wù)端模塊下發(fā)的其他客戶端的同步信息并實時更新虛擬現(xiàn)實場景信息。

9.如權(quán)利要求7所述的一種基于身體追蹤的vr多人交互系統(tǒng)，其特征在于：所述多人交互單元通過處理實現(xiàn)渲染輸出虛擬現(xiàn)實場景、實時渲染用戶交互產(chǎn)生的場景并輸出至vr設(shè)備中進行展示。

10.一種基于身體追蹤的vr多人交互方法，其特征在于：用戶佩戴vr設(shè)備后通過雙目攝像頭采集用戶的動作移動數(shù)據(jù)和環(huán)境參數(shù)信息并發(fā)送至身體追蹤單元中進行用戶動作信息和環(huán)境參數(shù)信息的處理并發(fā)送至多人交互單元中，多人交互單元對身體追蹤單元上傳的數(shù)據(jù)進行處理得到對應(yīng)的虛擬現(xiàn)實場景并送入到vr設(shè)備中進行展示。

技術(shù)總結(jié)
本發(fā)明公開了一種基于身體追蹤的VR多人交互系統(tǒng)及方法，包括圖像采集模塊、身體追蹤單元、多人交互單元和VR設(shè)備，VR設(shè)備用于向用戶呈現(xiàn)虛擬現(xiàn)實場景；圖像采集模塊用于對佩戴VR設(shè)備的用戶進行運動數(shù)據(jù)的采集和追蹤以及對用戶所處實際環(huán)境進行采集；所述身體追蹤單元用于對圖像采集模塊采集的數(shù)據(jù)進行處理并得到身體動作姿態(tài)數(shù)據(jù)，其輸出端連接多人交互單元，所述多人交互單元用于存儲場景中各用戶的同步狀態(tài)、接收更新同步信息、下發(fā)同步數(shù)據(jù)以及動態(tài)生成多用戶模型，其與用戶佩戴的VR設(shè)備連接，向其發(fā)送多人交互單元處理后的虛擬現(xiàn)實場景數(shù)據(jù)。利用VR和身體追蹤進行虛擬場景的多人交互，提高交互深度，提升用戶體驗沉浸感。

技術(shù)研發(fā)人員：史智博,王東箭,繆成偉,王俊杰,郭磊磊
受保護的技術(shù)使用者：安徽智質(zhì)工程技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19