本發(fā)明涉及電子通訊領(lǐng)域，尤其涉及一種基于增強現(xiàn)實的3D即時通訊系統(tǒng)與方法。

背景技術(shù)：

目前人類的主要的即時通訊方式有利用手機通話、視頻、郵件等，無論一種即時通訊方式都是以文本、音頻、視頻的方式支持使用者進行通訊交流。但是無論哪一種即時通訊方式都可以明顯感受到通訊工具對通訊體驗的限制，無法達到人們面對面聊天交流的沉浸感。

增強現(xiàn)實技術(shù)，即(Augmented Reality)技術(shù)，是指一種把虛擬化技術(shù)加到使用者感官知覺上再來觀察世界的方式，通過科學(xué)技術(shù)模擬仿真后再疊加到現(xiàn)實世界被人類的感官所感知，從而達到超越現(xiàn)實的感官體驗。近來較為通用的增強現(xiàn)實系統(tǒng)是安裝了攝像頭的移動設(shè)備，如智能手機。使用者通過智能手機上的攝像頭進行拍攝，然后在后臺處理獲取信息，添加一些照片中無法直接獲得的信息，操作過程較為復(fù)雜和繁瑣，而且僅限于二維平面進行操作。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有即時通訊方式由于通訊工具對通訊體驗的限制造成即時通訊沉浸感不足，提供一種基于增強現(xiàn)實的3D即時通訊系統(tǒng)與方法，讓使用者在即時通訊中獲取真實感與立體感，優(yōu)化通訊效果，增加即時通訊沉浸感。

本發(fā)明通過下述技術(shù)方案實現(xiàn)：

一種基于增強現(xiàn)實的3D即時通訊系統(tǒng)，其特征在于：包括結(jié)構(gòu)相同的系統(tǒng)A和系統(tǒng)B，這兩個系統(tǒng)分別包括使用者圖像及音頻采集單元、傳輸及接收單元、圖像處理及重構(gòu)單元、真實場景三維重建單元、動作捕捉單元以及圖像輸出單元；

所述使用者圖像及音頻采集單元依次連接傳輸及接收單元、圖像處理及重構(gòu)單元、圖像輸出單元；真實場景三維重建單元連接圖像輸出單元；動作捕捉單元連接圖像輸出單元；

所述使用者圖像及音頻采集單元，用于采集使用者全方位圖像和使用者音頻信息，并實時對使用者圖像及音頻信息進行記錄；

所述的傳輸及接收單元，用于系統(tǒng)A與系統(tǒng)B之間進行圖像及音頻的傳輸；

所述圖像處理及重構(gòu)單元用于重構(gòu)虛擬3D模型，即接收來自使用者圖像及音頻采集單元采集的使用者圖像，通過圖像預(yù)處理消除圖像噪聲和圖像畸變；通過圖像特征提取，找到特征點進行匹配；通過圖像匹配獲得物體的深度信息，根據(jù)獲得的物體特征點以及深度信息進行模型重構(gòu)；通過圖形處理器對重構(gòu)的模型進行實時渲染，生成虛擬3D模型；

所述真實場景三維重建單元通過使用者的移動，攝像頭獲取多個角度的真實場景深度圖；通過即時迭代，對不同的深度圖進行累計，精確計算出真實場景及物體的三維模型，確定虛擬3D物體投影位置、大小以及實時方向。

所述動作捕捉單元用于感知使用者及系統(tǒng)A和系統(tǒng)B的位置及運動狀態(tài)，捕捉使用者頭部運動軌跡以及眼球追蹤，根據(jù)使用者的可視區(qū)域調(diào)整生成的虛擬3D物體位置和內(nèi)容；

所述圖像輸出單元用于將三維重建后的圖像根據(jù)場景深度圖繪制于可視區(qū)域，投射到使用者眼中，并將虛擬3D物體與真實場景的物體信息一起顯示。

所述使用者圖像及音頻采集單元包括多個全方位攝像頭、耳機以及麥克風(fēng)；其中，攝像頭獲取多張使用者的全方位圖像，耳機與麥克風(fēng)采集使用者音頻信息，實時記錄使用者圖像及音頻信息。

所述傳輸及接收單元采用無線網(wǎng)絡(luò)方式連接，使系統(tǒng)A和系統(tǒng)B之間即時接收和傳輸圖像及音頻信息。

所述圖像處理與重構(gòu)單元，包括中央處理器以及圖形處理器。

所述真實場景三維重建單元，包括兩個及以上攝像頭、中央處理器和圖形處理器。

所述動作捕捉單元，包括三軸陀螺儀、加速度計以及紅外攝像機。

所述圖像輸出單元包括顯示器1、光學(xué)轉(zhuǎn)象透鏡組2、楔形反射鏡3、全息反射鏡4、后全息組合透鏡5、前全息組合透鏡6；

顯示器1發(fā)出的光通過光孔進入光學(xué)轉(zhuǎn)象透鏡組2，通過楔形反射鏡3將光線反射到上全息反射鏡4上。通過傾斜的后全息組合透鏡5將顯示器1構(gòu)成的圖像成像在前全息組合透鏡6的焦面上；光線通過帶小刻蝕線的曲面玻璃制成的全息反射鏡4衍射進入人眼7中；通過光的衍射作用，形成多束平行光進入到人眼7中，從而將顯示器1構(gòu)成的圖像像距投影在無窮遠處；通過模仿人眼觀察真實場景事物獲得立體感，對投射到使用者左、右眼的圖像根據(jù)使用者的瞳距進行視差方面的處理，讓使用者看到的虛擬物體產(chǎn)生一定的視差信息，獲得與觀察真實空間事物一樣的3D立體感。

本發(fā)明基于增強現(xiàn)實的3D即時通訊方法如下：

步驟(1)：系統(tǒng)A與系統(tǒng)B的傳輸及接收單元通過無線網(wǎng)絡(luò)連接，進行即時通訊；

步驟(2)：系統(tǒng)A將使用者的全方位圖像和聲音通過其傳輸及接收單元，即時發(fā)送給系統(tǒng)B，并實時接收來自系統(tǒng)B使用者的全方位圖像和聲音信息；

步驟(3)：系統(tǒng)B通過其圖像處理及重構(gòu)單元以及接收到的系統(tǒng)A使用者的全方位圖像，生成系統(tǒng)A使用者的虛擬3D圖像；

步驟(:4)：系統(tǒng)B通過其真實場景三維重建單元獲取真實場景的深度圖，并進行真實場景的三維重建，計算出真實場景及物體的三維模型，確定系統(tǒng)A使用者的虛擬3D圖像的投影位置、大小以及實時方向；

步驟(5)：系統(tǒng)B通過其圖像輸出單元，將重構(gòu)的系統(tǒng)A使用者全方位圖像經(jīng)過視差方面的處理，通過全息組合透鏡以平行光形式投射到系統(tǒng)B使用者眼中，讓系統(tǒng)B使用者看到的虛擬物體產(chǎn)生視差信息，獲得與觀察真實空間事物一樣的3D立體感，從而實現(xiàn)虛擬物體與真實場景相疊加的3D即時通訊；

步驟(6)：系統(tǒng)B通過動作捕捉單元對使用者眼球轉(zhuǎn)動、頭部轉(zhuǎn)動以及位置移動等運動狀態(tài)進行感知和追蹤；根據(jù)使用者可視區(qū)域的變化，通過圖形處理器對生成的虛擬3D物體進行實時渲染，改變系統(tǒng)A使用者虛擬3D圖像的位置和實時方向；

步驟(7)：系統(tǒng)A和系統(tǒng)B不斷循環(huán)進行以上步驟，實現(xiàn)3D即時通訊。

本發(fā)明與傳統(tǒng)的無即時通訊方式以文本、音頻、視頻的方式支持使用者進行通訊交流相比，采用基于增強現(xiàn)實的3D即時通訊方式解除了通訊工具對通訊體驗的限制，增加了即時通訊的沉浸感，優(yōu)化通訊體驗。

附圖說明

圖1為本發(fā)明基于增強現(xiàn)實的3D即時通訊系統(tǒng)的架構(gòu)示意圖。

圖2為本發(fā)明圖像處理及重構(gòu)單元工作流程圖。

圖3為本發(fā)明真實場景三維重建單元工作流程圖。

圖4為本發(fā)明圖像顯示方案示意圖。

具體實施方式

下面結(jié)合具體實施例對本發(fā)明作進一步具體詳細描述。

實施例

如圖1至4所示。本發(fā)明公開了一種基于增強現(xiàn)實的3D即時通訊系統(tǒng)，其特征在于：包括結(jié)構(gòu)相同的系統(tǒng)A和系統(tǒng)B，這兩個系統(tǒng)分別包括使用者圖像及音頻采集單元、傳輸及接收單元、圖像處理及重構(gòu)單元、真實場景三維重建單元、動作捕捉單元以及圖像輸出單元；

所述使用者圖像及音頻采集單元依次連接傳輸及接收單元、圖像處理及重構(gòu)單元、圖像輸出單元；真實場景三維重建單元連接圖像輸出單元；動作捕捉單元連接圖像輸出單元；

所述使用者圖像及音頻采集單元，用于采集使用者全方位圖像和使用者音頻信息，并實時對使用者圖像及音頻信息進行記錄；

所述的傳輸及接收單元，用于系統(tǒng)A與系統(tǒng)B之間進行圖像及音頻的傳輸；

所述圖像處理及重構(gòu)單元用于重構(gòu)虛擬3D模型，即接收來自使用者圖像及音頻采集單元采集的使用者圖像，通過圖像預(yù)處理消除圖像噪聲和(明顯的)圖像畸變；通過圖像特征提取，找到特征點進行匹配；通過圖像匹配獲得物體的深度信息，根據(jù)獲得的物體特征點以及深度信息進行模型重構(gòu)；通過圖形處理器對重構(gòu)的模型進行實時渲染，生成虛擬3D模型；

所述真實場景三維重建單元通過使用者的移動，攝像頭獲取多個角度的真實場景深度圖；通過即時迭代，對不同的深度圖進行累計，精確計算出真實場景及物體的三維模型，確定虛擬3D物體投影位置、大小以及實時方向；

所述動作捕捉單元用于感知使用者及系統(tǒng)A和系統(tǒng)B的位置及運動狀態(tài)，捕捉使用者頭部運動軌跡以及眼球追蹤，根據(jù)使用者的可視區(qū)域調(diào)整生成的虛擬3D物體位置和內(nèi)容；

所述圖像輸出單元用于將三維重建后的圖像根據(jù)場景深度圖繪制于可視區(qū)域，投射到使用者眼中，并將虛擬3D物體與真實場景的物體信息一起顯示。

所述使用者圖像及音頻采集單元包括多個全方位攝像頭、耳機以及麥克風(fēng)；其中，攝像頭獲取多張使用者的全方位圖像，耳機與麥克風(fēng)采集使用者音頻信息，實時記錄使用者圖像及音頻信息。

所述傳輸及接收單元采用無線網(wǎng)絡(luò)方式連接，使系統(tǒng)A和系統(tǒng)B之間即時接收和傳輸圖像及音頻信息。

所述圖像處理與重構(gòu)單元，包括中央處理器以及圖形處理器。

所述真實場景三維重建單元，包括兩個及以上攝像頭(雙目攝像頭)、中央處理器和圖形處理器。攝像頭可采用兩個攝像頭進行真實場景信息的獲取，深度信息獲取的方法是：兩個攝像頭經(jīng)過標(biāo)定后計算出攝像頭內(nèi)參數(shù)與外參數(shù)；從不同的角度同時獲取具有相同區(qū)域的圖像；兩幅圖像經(jīng)過圖像處理和圖像匹配，計算出基于視差原理兩個攝像頭拍攝出的相同區(qū)域真實場景的深度信息；利用一系列不同角度的雙目攝像頭拍攝的可視區(qū)域圖片，獲取整個可視區(qū)域完整的深度信息，構(gòu)建可視區(qū)域深度圖。

所述動作捕捉單元，包括三軸陀螺儀、加速度計以及紅外攝像機。

所述圖像輸出單元包括(高亮度微型)顯示器1、光學(xué)轉(zhuǎn)象透鏡組2、楔形反射鏡3、全息反射鏡4、后全息組合透鏡5、前全息組合透鏡6；

顯示器1發(fā)出的光通過光孔進入光學(xué)轉(zhuǎn)象透鏡組2，通過楔形反射鏡3將光線反射到上全息反射鏡4上。通過傾斜的后全息組合透鏡5將顯示器1構(gòu)成的圖像成像在前全息組合透鏡6的焦面上；光線通過帶小刻蝕線的曲面玻璃制成的全息反射鏡4衍射進入人眼7中；通過光的衍射作用，形成多束平行光進入到人眼7中，從而將顯示器1構(gòu)成的圖像像距投影在無窮遠處；通過模仿人眼觀察真實場景事物獲得立體感，對投射到使用者左、右眼的圖像根據(jù)使用者的瞳距進行視差方面的處理，讓使用者看到的虛擬物體產(chǎn)生一定的視差信息，獲得與觀察真實空間事物一樣的3D立體感。

實現(xiàn)三維場景的增強現(xiàn)實需要通過定位數(shù)據(jù)和場景信息來保證所生成的虛擬3D物體精確處于真實場景中，因此實現(xiàn)三維場景下的增強現(xiàn)實需要包含幾個基本處理步驟：

獲取真實場景信息，包括深度信息；

對獲取的真實場景信息進行處理，獲取場景深度圖；

通過圖像處理和三維重建生成虛擬3D物體；

根據(jù)場景深度圖將生成的3D物體繪制于可視區(qū)域，投射到使用者眼中，并將虛擬3D物體與真實場景的物體信息一起顯示。

本發(fā)明基于增強現(xiàn)實的3D即時通訊方法如下：

步驟(1)：系統(tǒng)A與系統(tǒng)B的傳輸及接收單元通過無線網(wǎng)絡(luò)連接，進行即時通訊；

步驟(2)：系統(tǒng)A將使用者的全方位圖像和聲音通過其傳輸及接收單元，即時發(fā)送給系統(tǒng)B，并實時接收來自系統(tǒng)B使用者的全方位圖像和聲音信息；

步驟(3)：系統(tǒng)B通過其圖像處理及重構(gòu)單元以及接收到的系統(tǒng)A使用者的全方位圖像，生成系統(tǒng)A使用者的虛擬3D圖像；

步驟(:4)：系統(tǒng)B通過其真實場景三維重建單元獲取真實場景的深度圖，并進行真實場景的三維重建，計算出真實場景及物體的三維模型，確定系統(tǒng)A使用者的虛擬3D圖像的投影位置、大小以及實時方向；

步驟(5)：系統(tǒng)B通過其圖像輸出單元，將重構(gòu)的系統(tǒng)A使用者全方位圖像經(jīng)過視差方面的處理，通過全息組合透鏡以平行光形式投射到系統(tǒng)B使用者眼中，讓系統(tǒng)B使用者看到的虛擬物體產(chǎn)生(一定的)視差信息，獲得與觀察真實空間事物一樣的3D立體感，從而實現(xiàn)虛擬物體與真實場景相疊加的3D即時通訊；

步驟(6)：系統(tǒng)B通過動作捕捉單元對使用者眼球轉(zhuǎn)動、頭部轉(zhuǎn)動以及位置移動等運動狀態(tài)進行感知和追蹤；根據(jù)使用者可視區(qū)域的變化，通過圖形處理器對生成的虛擬3D物體進行實時渲染，改變系統(tǒng)A使用者虛擬3D圖像的位置和實時方向；

步驟(7)：系統(tǒng)A和系統(tǒng)B不斷循環(huán)進行以上步驟，實現(xiàn)3D即時通訊。

如上所述，本發(fā)明圖像及音頻采集單元用于采集通訊所用的圖像及音頻信息；通過傳輸與接收單元將圖像轉(zhuǎn)化為深度信息，構(gòu)建深度圖，并通過深度圖進行三維重建；將構(gòu)建的三維物體投射到使用者眼中，并與真實場景相疊加，形成復(fù)合場景。本系統(tǒng)將傳統(tǒng)的即時通訊方式轉(zhuǎn)化為3D即時通訊方式，有利于使用者提高通訊的體驗，優(yōu)化通訊效果。

本發(fā)明的實施方式并不受上述實施例的限制，其他任何未背離本發(fā)明的精神實質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護范圍之內(nèi)。