本發(fā)明涉及通訊技術(shù)領(lǐng)域，尤其涉及一種基于webgl和vr技術(shù)的3d即時(shí)通訊系統(tǒng)。
背景技術(shù)：
目前的即時(shí)通訊軟件，如qq、微信、yy語(yǔ)音、skype等，都是使用文字、語(yǔ)音或視頻進(jìn)行實(shí)時(shí)溝通，極大的方便了人們的信息交流。然而其視頻的圖像局限于屏幕的平面上，在即時(shí)通訊時(shí)，人物頭像、道具等均缺乏立體逼真的感覺(jué)。目前還沒(méi)有能夠呈現(xiàn)三維效果的即時(shí)通信系統(tǒng)。
因此，需要一種即時(shí)通訊系統(tǒng)，能夠在即時(shí)通訊過(guò)程中呈現(xiàn)三維的顯示效果。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明提供一種基于webgl和vr技術(shù)的3d即時(shí)通訊系統(tǒng)，用于在即時(shí)通訊過(guò)程中呈現(xiàn)三維的顯示效果。
本發(fā)明提供的一種基于webgl和vr技術(shù)的3d即時(shí)通訊系統(tǒng)，包括互相連接的用戶(hù)端，包括：
用戶(hù)端，包括輸入設(shè)備、輸出設(shè)備、模型創(chuàng)建模塊、模型存儲(chǔ)模塊、控制模塊、通訊模塊；
輸入設(shè)備包括麥克風(fēng)、表情捕捉設(shè)備、實(shí)時(shí)3d建模模塊，表情捕捉設(shè)備用于捕捉用戶(hù)的表情，實(shí)時(shí)3d建模模塊通過(guò)攝像頭對(duì)用戶(hù)的頭部進(jìn)行拍攝實(shí)現(xiàn)實(shí)時(shí)3d建模；輸出設(shè)備包括耳機(jī)、沉浸式vr輸出設(shè)備；模型創(chuàng)建模塊為基于webgl技術(shù)的3d模型創(chuàng)建模塊，用于用戶(hù)創(chuàng)建3d模型；模型存儲(chǔ)模塊，存有由模型創(chuàng)建模塊創(chuàng)建的3d模型；控制模塊用于控制用戶(hù)端向與其他用戶(hù)端發(fā)送的信息以及沉浸式vr輸出設(shè)備的顯示內(nèi)容；通訊模塊用于用戶(hù)端與其他用戶(hù)端進(jìn)行通訊；
用戶(hù)通過(guò)模型創(chuàng)建模塊創(chuàng)建3d模型并存入模型存儲(chǔ)模塊中；通訊模塊建立用戶(hù)端之間的通訊；麥克風(fēng)、表情捕捉設(shè)備、實(shí)時(shí)3d建模模塊捕捉用戶(hù)的聲音、表情和實(shí)時(shí)3d頭像并將其數(shù)據(jù)發(fā)送至控制模塊；控制模塊接收來(lái)自輸入設(shè)備的數(shù)據(jù)并從模型存儲(chǔ)模塊讀取用戶(hù)創(chuàng)建的3d模型，并按預(yù)設(shè)的規(guī)則處理數(shù)據(jù)，將處理過(guò)的數(shù)據(jù)通過(guò)通訊模塊發(fā)送至其他用戶(hù)端；其他用戶(hù)端通過(guò)通訊模塊傳來(lái)的數(shù)據(jù)發(fā)送至控制模塊，控制模塊接收來(lái)自通訊模塊的數(shù)據(jù)并從模型存儲(chǔ)模塊讀取用戶(hù)創(chuàng)建的3d模型后，并按預(yù)設(shè)的規(guī)則處理數(shù)據(jù)，將處理過(guò)的數(shù)據(jù)發(fā)送至輸出設(shè)備，由耳機(jī)和沉浸式vr輸出設(shè)備進(jìn)行相應(yīng)的內(nèi)容輸出。
優(yōu)選的，所述沉浸式vr輸出設(shè)備，為頭戴手機(jī)盒子。
優(yōu)選的，所述模型創(chuàng)建模塊：
用于創(chuàng)建3d頭像、3d虛擬人物、以及3d背景，并將所創(chuàng)建的3d頭像、3d虛擬人物、和3d背景按照頭像類(lèi)、虛擬人物類(lèi)、背景類(lèi)分類(lèi)存入模型存儲(chǔ)模塊。
優(yōu)選的，所述輸入模塊，還包括：
手勢(shì)識(shí)別設(shè)備，用于識(shí)別用戶(hù)的手勢(shì)，并將其發(fā)送至控制模塊，用于按照預(yù)設(shè)的手勢(shì)規(guī)則控制輸出端的顯示，包括切換3d背景，切換3d虛擬人物，切換3d頭像；
動(dòng)作捕捉設(shè)備，用于捕捉用戶(hù)的動(dòng)作，并發(fā)送至控制模塊，由控制模塊對(duì)動(dòng)作進(jìn)行簡(jiǎn)化處理后，通過(guò)通訊模塊發(fā)送至其他用戶(hù)端。
優(yōu)選的，所述控制模塊接收來(lái)自通訊模塊的數(shù)據(jù)并從模型存儲(chǔ)模塊讀取用戶(hù)創(chuàng)建的3d模型后，并按預(yù)設(shè)的規(guī)則處理數(shù)據(jù)，將處理過(guò)的數(shù)據(jù)發(fā)送至輸出設(shè)備，包括：
控制模塊接收來(lái)自通訊模塊的數(shù)據(jù)；
控制模塊找到所述來(lái)自通訊模塊的數(shù)據(jù)中的特定數(shù)值，當(dāng)找到特定數(shù)值時(shí)，按照預(yù)設(shè)的對(duì)應(yīng)規(guī)則切換相應(yīng)的3d背景、3d虛擬人物、3d頭像；
控制模塊將切換過(guò)的3d背景、3d虛擬人物、3d頭像發(fā)送至輸出設(shè)備。
優(yōu)選的，所述3d頭像，還包括3d表情。
優(yōu)選的，所述3d背景，還包括3d道具。
優(yōu)選的，所述控制模塊用于控制用戶(hù)端向與其他用戶(hù)端發(fā)送的信息以及沉浸式vr輸出設(shè)備的顯示內(nèi)容，包括：
控制模塊將3d頭像、3d道具進(jìn)行變形后再發(fā)送給輸出設(shè)備進(jìn)行輸出。
本發(fā)明提供的一種基于webgl和vr技術(shù)的3d即時(shí)通訊系統(tǒng)，能夠在即時(shí)通訊過(guò)程中呈現(xiàn)三維的顯示效果。
本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且，部分地從說(shuō)明書(shū)中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在所寫(xiě)的說(shuō)明書(shū)、權(quán)利要求書(shū)、以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。
下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
附圖說(shuō)明
附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中：
圖1為本發(fā)明實(shí)施例中一種基于webgl和vr技術(shù)的3d即時(shí)通訊系統(tǒng)的示意圖。
具體實(shí)施方式
以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說(shuō)明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說(shuō)明和解釋本發(fā)明，并不用于限定本發(fā)明。
如圖1所示，為本發(fā)明實(shí)施例中一種基于webgl和vr技術(shù)的3d即時(shí)通訊系統(tǒng)的示意圖，包括互相連接的用戶(hù)端，包括：
用戶(hù)端，包括輸入設(shè)備、輸出設(shè)備、模型創(chuàng)建模塊、模型存儲(chǔ)模塊、控制模塊、通訊模塊；
輸入設(shè)備包括麥克風(fēng)、表情捕捉設(shè)備、實(shí)時(shí)3d建模模塊，表情捕捉設(shè)備用于捕捉用戶(hù)的表情，實(shí)時(shí)3d建模模塊通過(guò)攝像頭對(duì)用戶(hù)的頭部進(jìn)行拍攝實(shí)現(xiàn)實(shí)時(shí)3d建模；輸出設(shè)備包括耳機(jī)、沉浸式vr輸出設(shè)備；模型創(chuàng)建模塊為基于webgl技術(shù)的3d模型創(chuàng)建模塊，用于用戶(hù)創(chuàng)建3d模型；模型存儲(chǔ)模塊，存有由模型創(chuàng)建模塊創(chuàng)建的3d模型；控制模塊用于控制用戶(hù)端向與其他用戶(hù)端發(fā)送的信息以及沉浸式vr輸出設(shè)備的顯示內(nèi)容；通訊模塊用于用戶(hù)端與其他用戶(hù)端進(jìn)行通訊；
用戶(hù)通過(guò)模型創(chuàng)建模塊創(chuàng)建3d模型并存入模型存儲(chǔ)模塊中；通訊模塊建立用戶(hù)端之間的通訊；麥克風(fēng)、表情捕捉設(shè)備、實(shí)時(shí)3d建模模塊捕捉用戶(hù)的聲音、表情和實(shí)時(shí)3d頭像并將其數(shù)據(jù)發(fā)送至控制模塊；控制模塊接收來(lái)自輸入設(shè)備的數(shù)據(jù)并從模型存儲(chǔ)模塊讀取用戶(hù)創(chuàng)建的3d模型，并按預(yù)設(shè)的規(guī)則處理數(shù)據(jù)，將處理過(guò)的數(shù)據(jù)通過(guò)通訊模塊發(fā)送至其他用戶(hù)端；其他用戶(hù)端通過(guò)通訊模塊傳來(lái)的數(shù)據(jù)發(fā)送至控制模塊，控制模塊接收來(lái)自通訊模塊的數(shù)據(jù)并從模型存儲(chǔ)模塊讀取用戶(hù)創(chuàng)建的3d模型后，并按預(yù)設(shè)的規(guī)則處理數(shù)據(jù)，將處理過(guò)的數(shù)據(jù)發(fā)送至輸出設(shè)備，由耳機(jī)和沉浸式vr輸出設(shè)備進(jìn)行相應(yīng)的內(nèi)容輸出。
通過(guò)本發(fā)明提供的系統(tǒng)，能夠在即時(shí)通訊過(guò)程中呈現(xiàn)三維的顯示效果。
在本發(fā)明的一個(gè)實(shí)施例中，沉浸式vr輸出設(shè)備，為頭戴手機(jī)盒子。頭戴式手機(jī)盒子和外接式頭戴顯示器及一體式頭戴顯示器相比，僅價(jià)格便宜，而且更加靈活的通過(guò)手機(jī)的3g、4g、wifi、藍(lán)牙等與控制模塊連接，實(shí)現(xiàn)更為方便。
在本發(fā)明的一個(gè)實(shí)施例中，模型創(chuàng)建模塊：
用于創(chuàng)建3d頭像、3d虛擬人物、以及3d背景，并將所創(chuàng)建的3d頭像、3d虛擬人物、和3d背景按照頭像類(lèi)、虛擬人物類(lèi)、背景類(lèi)分類(lèi)存入模型存儲(chǔ)模塊，通過(guò)將3d頭像、3d虛擬人物、以及3d背景分類(lèi)存儲(chǔ)，相比同一存儲(chǔ)來(lái)說(shuō)，分類(lèi)存儲(chǔ)使控制模塊進(jìn)行控制時(shí)，從實(shí)現(xiàn)邏輯上更容易實(shí)現(xiàn)對(duì)3d模型的調(diào)取和二次處理。
在本發(fā)明的一個(gè)實(shí)施例中，輸入模塊，還包括：
手勢(shì)識(shí)別設(shè)備，用于識(shí)別用戶(hù)的手勢(shì)，并將其發(fā)送至控制模塊，用于按照預(yù)設(shè)的手勢(shì)規(guī)則控制輸出端的顯示，包括切換3d背景，切換3d虛擬人物，切換3d頭像；
動(dòng)作捕捉設(shè)備，用于捕捉用戶(hù)的動(dòng)作，并發(fā)送至控制模塊，由控制模塊對(duì)動(dòng)作進(jìn)行簡(jiǎn)化處理后，通過(guò)通訊模塊發(fā)送至其他用戶(hù)端。
通過(guò)手勢(shì)識(shí)別設(shè)備和動(dòng)作捕捉設(shè)備的使用，增加了對(duì)顯示控制的靈活性，而且還能進(jìn)一步使通訊對(duì)方的輸出設(shè)備顯示出動(dòng)作交互。
在本發(fā)明的一個(gè)實(shí)施例中，控制模塊接收來(lái)自通訊模塊的數(shù)據(jù)并從模型存儲(chǔ)模塊讀取用戶(hù)創(chuàng)建的3d模型后，并按預(yù)設(shè)的規(guī)則處理數(shù)據(jù)，將處理過(guò)的數(shù)據(jù)發(fā)送至輸出設(shè)備，包括：
控制模塊接收來(lái)自通訊模塊的數(shù)據(jù)；
控制模塊找到所述來(lái)自通訊模塊的數(shù)據(jù)中的特定數(shù)值，當(dāng)找到特定數(shù)值時(shí)，按照預(yù)設(shè)的對(duì)應(yīng)規(guī)則切換相應(yīng)的3d背景、3d虛擬人物、3d頭像；
控制模塊將切換過(guò)的3d背景、3d虛擬人物、3d頭像發(fā)送至輸出設(shè)備。
通過(guò)3d背景、3d虛擬人物、3d頭像的切換，可以在本地實(shí)現(xiàn)更合適的顯示效果，降低了通訊時(shí)的對(duì)對(duì)方表情等的識(shí)別難度。
在本發(fā)明的一個(gè)實(shí)施例中，3d頭像，還包括3d表情。通過(guò)3d表情的顯示來(lái)增強(qiáng)通訊過(guò)程中表情的變化，使輸入設(shè)備不必捕捉過(guò)于細(xì)微的表情變化，從而降低輸入設(shè)備的技術(shù)難度，更容易的實(shí)現(xiàn)表情的通訊。
在本發(fā)明的一個(gè)實(shí)施例中，3d背景，還包括3d道具。通過(guò)3d道具的使用，提供現(xiàn)實(shí)中沒(méi)有的道具，增加了系統(tǒng)的互動(dòng)性。
在本發(fā)明的一個(gè)實(shí)施例中，控制模塊用于控制用戶(hù)端向與其他用戶(hù)端發(fā)送的信息以及沉浸式vr輸出設(shè)備的顯示內(nèi)容，包括：
控制模塊將3d頭像、3d道具進(jìn)行變形后再發(fā)送給輸出設(shè)備進(jìn)行輸出。通過(guò)對(duì)3d頭像、3d道具進(jìn)行變形使用，降低了模型存儲(chǔ)模塊中需要存儲(chǔ)的數(shù)據(jù)的大小，一個(gè)3d模型數(shù)據(jù)可以通過(guò)拉伸、旋轉(zhuǎn)、扭曲等方式實(shí)現(xiàn)不同的顯示形狀，而且可以通過(guò)將拉伸、旋轉(zhuǎn)、扭曲的操作通過(guò)通訊模塊傳輸?shù)搅硪粋€(gè)用戶(hù)端，而不需要傳輸整個(gè)3d模型變形后的數(shù)據(jù)，降低了對(duì)數(shù)據(jù)傳輸?shù)囊?，進(jìn)而降低了數(shù)據(jù)傳輸?shù)难舆t(因?yàn)橐獋鬏數(shù)臄?shù)據(jù)量變小了)，增加了交互性。
本發(fā)明實(shí)施例提供的一種基于webgl和vr技術(shù)的3d即時(shí)通訊系統(tǒng)，不僅能夠在即時(shí)通訊過(guò)程中呈現(xiàn)三維的顯示效果，還能增加通訊雙方的交互性，降低了整個(gè)系統(tǒng)的成本和技術(shù)難度。
本發(fā)明在常規(guī)的“系統(tǒng)+用戶(hù)”即時(shí)通信架構(gòu)之上，在人物形象、人物互動(dòng)、道具表演、聊天表情等方面加入3d元素。用戶(hù)能通過(guò)這個(gè)即時(shí)通信平臺(tái)和好友之間使用或變化個(gè)人虛擬3d形象、使用或變化3d道具、使用或變化3d表情等進(jìn)行更加生動(dòng)的互動(dòng)，為即時(shí)通信平臺(tái)增加了互動(dòng)性和娛樂(lè)性。
本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤(pán)存儲(chǔ)器和光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專(zhuān)用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。
這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。
這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。
顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。