本發(fā)明涉及一種基于虛擬現(xiàn)實(shí)環(huán)境的三維數(shù)據(jù)的處理與傳輸方法，其屬于數(shù)據(jù)傳輸領(lǐng)域。

背景技術(shù)：

網(wǎng)絡(luò)購(gòu)物近年來(lái)成為零售業(yè)的主流方式，已經(jīng)廣泛被消費(fèi)者所接受。網(wǎng)購(gòu)過(guò)程中的商品描述，往往還局限在商品照片，視頻及文字描述的階段，通過(guò)三維掃描與三維重構(gòu)技術(shù)，為商品與賣家建立動(dòng)態(tài)三維模型已成為網(wǎng)購(gòu)經(jīng)濟(jì)下商品描述新的手段與增長(zhǎng)點(diǎn)。

通過(guò)網(wǎng)絡(luò)購(gòu)物可以使用戶交易實(shí)物用品與在網(wǎng)絡(luò)游戲下使用的虛擬道具。

而傳統(tǒng)的網(wǎng)絡(luò)游戲基于純虛擬道具的設(shè)計(jì)與數(shù)字化，客戶機(jī)在安裝網(wǎng)絡(luò)游戲客戶端軟件時(shí)已經(jīng)擁有虛擬道具的造型數(shù)據(jù)。通過(guò)在服務(wù)器與客戶機(jī)之間保持網(wǎng)絡(luò)通信，用戶在客戶機(jī)上產(chǎn)生的和虛擬道具之間的交互操作數(shù)據(jù)傳輸至服務(wù)器，再由服務(wù)器分發(fā)至其他客戶機(jī)，以使虛擬道具的狀態(tài)數(shù)據(jù)在網(wǎng)絡(luò)游戲中全網(wǎng)同步，而并非時(shí)刻需要在用戶間傳輸虛擬道具的造型數(shù)據(jù)。這種基于網(wǎng)絡(luò)游戲模式的交互內(nèi)容共享架構(gòu)不需要考慮并兼顧基于動(dòng)態(tài)實(shí)物數(shù)字化業(yè)務(wù)的，針對(duì)實(shí)物特征進(jìn)行三維造型數(shù)據(jù)優(yōu)化與傳輸?shù)男滦枨蟆?/p>

在虛擬現(xiàn)實(shí)環(huán)境中，網(wǎng)絡(luò)用戶既可以銷售與購(gòu)買產(chǎn)品，也可以進(jìn)行交互娛樂(lè)，因此，把三維點(diǎn)云數(shù)據(jù)采集端采集到的，能夠清楚描述用戶與實(shí)物造型的三維點(diǎn)云數(shù)據(jù)有效進(jìn)行處理與傳輸?shù)姆椒ū愠蔀楸夭豢缮俚奶摂M現(xiàn)實(shí)技術(shù)環(huán)節(jié)。

當(dāng)虛擬現(xiàn)實(shí)環(huán)境客戶端由于基礎(chǔ)帶寬、運(yùn)算性能或突發(fā)網(wǎng)絡(luò)連接質(zhì)量的變化不能滿足虛擬現(xiàn)實(shí)環(huán)境客戶端繪圖刷新率要求，從而造成虛擬現(xiàn)實(shí)環(huán)境客戶端畫面幀率降低時(shí)，處于虛擬現(xiàn)實(shí)環(huán)境中的頭戴顯示器用戶會(huì)感到極度不適，這時(shí)虛擬現(xiàn)實(shí)環(huán)境客戶端或三維點(diǎn)云數(shù)據(jù)采集端便需要主動(dòng)對(duì)三維數(shù)據(jù)包長(zhǎng)度與基于時(shí)間軸的數(shù)據(jù)包傳輸密度進(jìn)行調(diào)整。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題是提供了一種使用便捷高效，能夠自動(dòng)平衡三維點(diǎn)云數(shù)據(jù)采集端發(fā)至虛擬現(xiàn)實(shí)環(huán)境客戶端的三維數(shù)據(jù)包長(zhǎng)度、虛擬現(xiàn)實(shí)環(huán)境客戶端三維數(shù)據(jù)成像精度和成像幀速、虛擬現(xiàn)實(shí)環(huán)境客戶端和三維點(diǎn)云數(shù)據(jù)采集端的三維數(shù)據(jù)運(yùn)算處理能力的基于虛擬現(xiàn)實(shí)環(huán)境的三維數(shù)據(jù)的處理與傳輸方法。

本發(fā)明采用如下技術(shù)方案：

一種基于虛擬現(xiàn)實(shí)環(huán)境的三維數(shù)據(jù)的處理與傳輸方法，其具體包括如下步驟：

步驟一、三維點(diǎn)云數(shù)據(jù)采集端獲得被采集實(shí)物上的三維點(diǎn)云數(shù)據(jù)；

步驟二、所述三維點(diǎn)云數(shù)據(jù)采集端對(duì)步驟一采集到的所述三維點(diǎn)云數(shù)據(jù)進(jìn)行處理與壓縮，得到三維網(wǎng)絡(luò)格式的數(shù)據(jù)；

步驟三、由虛擬現(xiàn)實(shí)環(huán)境客戶端根據(jù)所述步驟二中三維點(diǎn)云數(shù)據(jù)采集端發(fā)送至虛擬現(xiàn)實(shí)環(huán)境客戶端的三維網(wǎng)絡(luò)格式的數(shù)據(jù)重構(gòu)三維圖像。

進(jìn)一步的，所述三維頂點(diǎn)包括多邊形頂點(diǎn)和曲面控制點(diǎn)，所述紋理貼圖包括多邊形貼圖和曲面貼圖。

進(jìn)一步的，所述步驟二對(duì)步驟一采集到的三維點(diǎn)云數(shù)據(jù)進(jìn)行處理與壓縮采用的是階梯式的處理與壓縮的方法，其具體方法如下：

步驟2-1、將三維點(diǎn)云數(shù)據(jù)進(jìn)行整理分析，根據(jù)三維點(diǎn)云中點(diǎn)的相對(duì)位置、點(diǎn)的相對(duì)顏色、分辨率設(shè)置和被采集實(shí)物的三維點(diǎn)云特征樣本數(shù)據(jù)，得出被采集實(shí)物的局部特征樹狀分類列表；所述被采集實(shí)物的局部特征樹狀分類列表為三維點(diǎn)云整體與局部的邏輯關(guān)系分類列表，所述被采集實(shí)物的局部特征樹狀分類列表中的節(jié)點(diǎn)包含三維點(diǎn)云中的多點(diǎn)數(shù)據(jù)。

步驟2-2、所述三維點(diǎn)云數(shù)據(jù)采集端逐一處理被采集實(shí)物的局部特征樹狀分類列表中的節(jié)點(diǎn)，使用節(jié)點(diǎn)中多點(diǎn)數(shù)據(jù)的點(diǎn)間距、點(diǎn)顏色、點(diǎn)透明度、壓縮比例等屬性，生成三維頂點(diǎn)網(wǎng)絡(luò)壓縮數(shù)據(jù)和三維頂點(diǎn)網(wǎng)絡(luò)上的紋理貼圖壓縮數(shù)據(jù)，并用其替換當(dāng)前節(jié)點(diǎn)下的多點(diǎn)數(shù)據(jù)，使被采集實(shí)物的局部特征樹狀分類列表最終成為步驟二中所述的三維網(wǎng)絡(luò)格式的數(shù)據(jù)。

進(jìn)一步的，所述被采集實(shí)物的局部特征樹狀分類列表中父節(jié)點(diǎn)中的多點(diǎn)數(shù)據(jù)范圍覆蓋了子節(jié)點(diǎn)中的多點(diǎn)數(shù)據(jù)范圍。

進(jìn)一步的，所述步驟二中三維頂點(diǎn)網(wǎng)絡(luò)壓縮數(shù)據(jù)包括頂點(diǎn)顏色與透明度、頂點(diǎn)三維坐標(biāo)、頂點(diǎn)紋理貼圖坐標(biāo)與三角形數(shù)據(jù)，所述三角形數(shù)據(jù)中包含指向頂點(diǎn)數(shù)據(jù)的頂點(diǎn)索引數(shù)據(jù)。

進(jìn)一步的，所述虛擬現(xiàn)實(shí)環(huán)境客戶端可根據(jù)用戶相機(jī)位置、虛擬現(xiàn)實(shí)環(huán)境客戶端與三維點(diǎn)云數(shù)據(jù)采集端之間的通信帶寬、虛擬現(xiàn)實(shí)環(huán)境客戶端自身的數(shù)據(jù)處理能力以及數(shù)據(jù)傳輸參數(shù)設(shè)置的情況通知三維點(diǎn)云數(shù)據(jù)采集端是否發(fā)出三維網(wǎng)絡(luò)格式的數(shù)據(jù)中某一分支樹或子節(jié)點(diǎn)信息至虛擬現(xiàn)實(shí)環(huán)境客戶端；所述虛擬現(xiàn)實(shí)環(huán)境客戶端根據(jù)所述用戶相機(jī)位置、虛擬現(xiàn)實(shí)環(huán)境客戶端與三維點(diǎn)云數(shù)據(jù)采集端之間的通信帶寬、虛擬現(xiàn)實(shí)環(huán)境客戶端自身的數(shù)據(jù)處理能力以及數(shù)據(jù)傳輸參數(shù)設(shè)置的情況決定是否處理三維網(wǎng)絡(luò)格式的數(shù)據(jù)中某一分支樹或子節(jié)點(diǎn)信息。

進(jìn)一步的，所述三維網(wǎng)絡(luò)格式的數(shù)據(jù)以組播或點(diǎn)對(duì)點(diǎn)的方式在三維點(diǎn)云數(shù)據(jù)采集端和虛擬現(xiàn)實(shí)環(huán)境客戶端之間傳輸與分享。

進(jìn)一步的，所述三維點(diǎn)云數(shù)據(jù)采集端包括專門用于處理、接收、緩存與分發(fā)三維點(diǎn)云數(shù)據(jù)與三維網(wǎng)絡(luò)格式的數(shù)據(jù)的服務(wù)器。

進(jìn)一步的，所述步驟一中三維點(diǎn)云數(shù)據(jù)采集端獲得被采集實(shí)物上的三維點(diǎn)云數(shù)據(jù)的具體方法包括：通過(guò)平面攝像機(jī)與基于多視點(diǎn)圖像的三維重構(gòu)算法、激光掃描儀或深度傳感器的方式獲得來(lái)被采集實(shí)物上的三維點(diǎn)云數(shù)據(jù)。

本發(fā)明的有益效果如下：

本發(fā)明實(shí)現(xiàn)了一種在三維實(shí)物數(shù)據(jù)采集與傳輸需求的業(yè)務(wù)中處理數(shù)據(jù)與傳輸數(shù)據(jù)的標(biāo)準(zhǔn)方法，通過(guò)使用樹形數(shù)據(jù)結(jié)構(gòu)對(duì)三維點(diǎn)云中局部特征進(jìn)行分類整理，使三維點(diǎn)云數(shù)據(jù)采集端與虛擬現(xiàn)實(shí)環(huán)境客戶端之間的數(shù)據(jù)處理與傳輸過(guò)程具備了自我調(diào)整的能力，從而保證了虛擬現(xiàn)實(shí)環(huán)境客戶端在呈現(xiàn)遠(yuǎn)程內(nèi)容時(shí)的效率，使虛擬現(xiàn)實(shí)用戶能夠在虛擬現(xiàn)實(shí)空間中連續(xù)體驗(yàn)虛擬現(xiàn)實(shí)環(huán)境帶來(lái)的便捷與歡樂(lè)。

本發(fā)明能夠自動(dòng)平衡三維點(diǎn)云數(shù)據(jù)采集端發(fā)至虛擬現(xiàn)實(shí)環(huán)境客戶端的三維數(shù)據(jù)包長(zhǎng)度、虛擬現(xiàn)實(shí)環(huán)境客戶端三維數(shù)據(jù)成像精度和成像幀速以及虛擬現(xiàn)實(shí)環(huán)境客戶端和三維點(diǎn)云數(shù)據(jù)采集端的三維數(shù)據(jù)運(yùn)算處理能力。

本發(fā)明能夠使虛擬現(xiàn)實(shí)技術(shù)在網(wǎng)絡(luò)購(gòu)物，三維數(shù)字娛樂(lè)，醫(yī)學(xué)遠(yuǎn)程協(xié)助，網(wǎng)絡(luò)會(huì)議，三維數(shù)字內(nèi)容分享等應(yīng)用場(chǎng)景中運(yùn)行更加流暢，且不損失局部必要的三維數(shù)據(jù)細(xì)節(jié)。

附圖說(shuō)明

圖1為本發(fā)明的步驟二將采集到的三維點(diǎn)云數(shù)據(jù)進(jìn)行處理與壓縮中步驟2-1的邏輯原理框圖。

圖2為本發(fā)明的步驟二將采集到的三維點(diǎn)云數(shù)據(jù)進(jìn)行處理與壓縮中步驟2-2的邏輯原理框圖

圖3為本發(fā)明的實(shí)施例2的邏輯原理框圖。

圖4為本發(fā)明的實(shí)施例3的邏輯原理框圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例和圖1-圖4對(duì)本發(fā)明做進(jìn)一步說(shuō)明。

本實(shí)施例1通過(guò)如下步驟實(shí)現(xiàn)了基于虛擬現(xiàn)實(shí)環(huán)境的三維數(shù)據(jù)的處理與傳輸方法：

步驟一、三維點(diǎn)云數(shù)據(jù)采集端獲得被采集實(shí)物上的三維點(diǎn)云數(shù)據(jù)；

步驟二、所述三維點(diǎn)云數(shù)據(jù)采集端對(duì)步驟一采集到的所述三維點(diǎn)云數(shù)據(jù)進(jìn)行處理與壓縮，得到三維網(wǎng)絡(luò)格式的數(shù)據(jù)；

步驟三、由虛擬現(xiàn)實(shí)環(huán)境客戶端根據(jù)所述步驟二中三維點(diǎn)云數(shù)據(jù)采集端發(fā)送至虛擬現(xiàn)實(shí)環(huán)境客戶端的三維網(wǎng)絡(luò)格式的數(shù)據(jù)重構(gòu)三維圖像。

參照?qǐng)D1和圖2，所述步驟二對(duì)步驟一采集到的三維點(diǎn)云數(shù)據(jù)進(jìn)行處理與壓縮采用的是階梯式的處理與壓縮的方法，其具體方法如下：

步驟2-1、將三維點(diǎn)云數(shù)據(jù)進(jìn)行整理分析，根據(jù)三維點(diǎn)云中點(diǎn)的相對(duì)位置、點(diǎn)的相對(duì)顏色、分辨率設(shè)置和被采集實(shí)物的三維點(diǎn)云特征樣本數(shù)據(jù)，得出被采集實(shí)物的局部特征樹狀分類列表；所述被采集實(shí)物的局部特征樹狀分類列表為三維點(diǎn)云整體與局部的邏輯關(guān)系分類列表，所述被采集實(shí)物的局部特征樹狀分類列表中的節(jié)點(diǎn)包含三維點(diǎn)云中的多點(diǎn)數(shù)據(jù)。

步驟2-2、所述三維點(diǎn)云數(shù)據(jù)采集端逐一處理被采集實(shí)物的局部特征樹狀分類列表中的節(jié)點(diǎn)，使用節(jié)點(diǎn)中多點(diǎn)數(shù)據(jù)的點(diǎn)間距、點(diǎn)顏色、點(diǎn)透明度、壓縮比例等屬性，生成三維頂點(diǎn)網(wǎng)絡(luò)壓縮數(shù)據(jù)和三維頂點(diǎn)網(wǎng)絡(luò)上的紋理貼圖壓縮數(shù)據(jù)，并用其替換當(dāng)前節(jié)點(diǎn)下的多點(diǎn)數(shù)據(jù)，使被采集實(shí)物的局部特征樹狀分類列表最終成為步驟二中所述的三維網(wǎng)絡(luò)格式的數(shù)據(jù)。

進(jìn)一步的，所述三維頂點(diǎn)包括多邊形頂點(diǎn)和曲面控制點(diǎn)，所述紋理貼圖包括多邊形貼圖和曲面貼圖。

進(jìn)一步的，所述被采集實(shí)物的局部特征樹狀分類列表中父節(jié)點(diǎn)中的多點(diǎn)數(shù)據(jù)范圍覆蓋了子節(jié)點(diǎn)中的多點(diǎn)數(shù)據(jù)范圍。

進(jìn)一步的，所述步驟二中三維頂點(diǎn)網(wǎng)絡(luò)壓縮數(shù)據(jù)包括頂點(diǎn)顏色與透明度、頂點(diǎn)三維坐標(biāo)、頂點(diǎn)紋理貼圖坐標(biāo)與三角形數(shù)據(jù)，所述三角形數(shù)據(jù)中包含指向頂點(diǎn)數(shù)據(jù)的頂點(diǎn)索引數(shù)據(jù)。

進(jìn)一步的，所述虛擬現(xiàn)實(shí)環(huán)境客戶端可根據(jù)用戶相機(jī)位置、虛擬現(xiàn)實(shí)環(huán)境客戶端與三維點(diǎn)云數(shù)據(jù)采集端之間的通信帶寬、虛擬現(xiàn)實(shí)環(huán)境客戶端自身的數(shù)據(jù)處理能力以及數(shù)據(jù)傳輸參數(shù)設(shè)置的情況通知三維點(diǎn)云數(shù)據(jù)采集端是否發(fā)出三維網(wǎng)絡(luò)格式的數(shù)據(jù)中某一分支樹或子節(jié)點(diǎn)信息至虛擬現(xiàn)實(shí)環(huán)境客戶端；所述虛擬現(xiàn)實(shí)環(huán)境客戶端根據(jù)所述情況決定是否處理三維網(wǎng)絡(luò)格式的數(shù)據(jù)中某一分支樹或子節(jié)點(diǎn)信息。

進(jìn)一步的，所述三維網(wǎng)絡(luò)格式的數(shù)據(jù)以組播或點(diǎn)對(duì)點(diǎn)的方式在三維點(diǎn)云數(shù)據(jù)采集端和虛擬現(xiàn)實(shí)環(huán)境客戶端之間傳輸與分享。

進(jìn)一步的，所述三維點(diǎn)云數(shù)據(jù)采集端包括專門用于處理、接收、緩存與分發(fā)三維點(diǎn)云數(shù)據(jù)與三維網(wǎng)絡(luò)格式的數(shù)據(jù)的服務(wù)器。

進(jìn)一步的，所述步驟一中三維點(diǎn)云數(shù)據(jù)采集端獲得被采集實(shí)物上的三維點(diǎn)云數(shù)據(jù)的具體方法包括：通過(guò)平面攝像機(jī)與基于多視點(diǎn)圖像的三維重構(gòu)算法、激光掃描儀或深度傳感器的方式獲得來(lái)被采集實(shí)物上的三維點(diǎn)云數(shù)據(jù)。

參照?qǐng)D3，實(shí)施例2描述如下一種實(shí)現(xiàn)方案：

某虛擬現(xiàn)實(shí)環(huán)境客戶端參數(shù)設(shè)置頭戴顯示器刷新率需要達(dá)到60幀/秒，此虛擬現(xiàn)實(shí)環(huán)境客戶端的數(shù)據(jù)處理能力為每幀畫面包括150k頂點(diǎn)數(shù)據(jù)總量，2M貼圖數(shù)據(jù)總量的情況下保證60幀/秒，但三維點(diǎn)云數(shù)據(jù)采集端發(fā)至此虛擬現(xiàn)實(shí)環(huán)境客戶端的三維網(wǎng)絡(luò)格式的數(shù)據(jù)包括250k頂點(diǎn)數(shù)據(jù)總量，5m貼圖數(shù)據(jù)總量，此虛擬現(xiàn)實(shí)環(huán)境客戶端收到的三維網(wǎng)絡(luò)格式的數(shù)據(jù)中的分支樹C下，結(jié)點(diǎn)C+F+G的數(shù)據(jù)長(zhǎng)度總和為200k頂點(diǎn)數(shù)據(jù)總量，4m貼圖數(shù)據(jù)總量，故此虛擬現(xiàn)實(shí)環(huán)境客戶端不處理分支樹C，即只處理每幀畫面包括50k頂點(diǎn)數(shù)據(jù)總量，1m貼圖數(shù)據(jù)總量的情況，可保證60幀/秒以上的畫面刷新率。

某虛擬現(xiàn)實(shí)環(huán)境客戶端參數(shù)設(shè)置頭戴顯示器刷新率需要達(dá)到60幀/秒，三維點(diǎn)云數(shù)據(jù)采集端與此虛擬現(xiàn)實(shí)環(huán)境客戶端之間的帶寬為(2048k+150k)*30=65940k/秒，但三維點(diǎn)云數(shù)據(jù)采集端發(fā)至此虛擬現(xiàn)實(shí)環(huán)境客戶端的三維網(wǎng)絡(luò)格式數(shù)據(jù)包括250k頂點(diǎn)數(shù)據(jù)總量，5m貼圖數(shù)據(jù)總量，即帶寬只能保證當(dāng)前三維網(wǎng)絡(luò)格式的數(shù)據(jù)長(zhǎng)度下，12幀/秒的數(shù)據(jù)傳輸速度。當(dāng)前三維點(diǎn)云數(shù)據(jù)采集端發(fā)至此虛擬現(xiàn)實(shí)環(huán)境客戶端網(wǎng)絡(luò)格式數(shù)據(jù)中的分支樹C下，節(jié)點(diǎn)C+F+G的數(shù)據(jù)長(zhǎng)度總和為200k頂點(diǎn)數(shù)據(jù)總量，4m貼圖數(shù)據(jù)總量，故此虛擬現(xiàn)實(shí)環(huán)境客戶端通知三維點(diǎn)云數(shù)據(jù)采集端不再發(fā)送分支樹C至此虛擬現(xiàn)實(shí)環(huán)境客戶端，即只發(fā)送每幀畫面包括(250k-200k)+(5m-4m) = 1074k 數(shù)據(jù)總量至此客戶端，可保證三維點(diǎn)云數(shù)據(jù)采集端與此虛擬現(xiàn)實(shí)環(huán)境客戶端之間65940/1074=61幀/秒以上的數(shù)據(jù)傳輸速度。

參照?qǐng)D4，實(shí)施例3描述如下一種實(shí)現(xiàn)方案：

某虛擬現(xiàn)實(shí)環(huán)境客戶端中用戶相機(jī)坐標(biāo)與節(jié)點(diǎn)D中所有頂點(diǎn)加權(quán)平均坐標(biāo)之間的距離為500個(gè)單位，此虛擬現(xiàn)實(shí)環(huán)境客戶端中數(shù)據(jù)傳輸參數(shù)規(guī)定不處理來(lái)自三維點(diǎn)云采集端的三維網(wǎng)絡(luò)格式數(shù)據(jù)中與用戶相機(jī)坐標(biāo)大于400個(gè)距離單位的節(jié)點(diǎn)，故在用戶相機(jī)坐標(biāo)不變的情況下，此客戶端通知三維點(diǎn)云采集端不再在其發(fā)至此客戶端中的三維網(wǎng)絡(luò)格式數(shù)據(jù)中包括節(jié)點(diǎn)D及其分支樹數(shù)據(jù)。

上述具體的實(shí)施方式僅用于解釋和說(shuō)明本發(fā)明的技術(shù)方案，并不能作為對(duì)權(quán)利要 求保護(hù)范圍的限定。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚，在本發(fā)明的技術(shù)方案的基礎(chǔ)上進(jìn)行任何簡(jiǎn) 單的替換、變形而得到的新的技術(shù)方案，均將落入本發(fā)明的保護(hù)范圍之內(nèi)。