實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)以及方法
【專利摘要】本發(fā)明公開(kāi)了一種增強(qiáng)現(xiàn)實(shí)的方法，包括步驟：終端通過(guò)攝像頭獲取當(dāng)前場(chǎng)景圖像，并檢測(cè)到圖像中的識(shí)別目標(biāo)，獲取其中的數(shù)據(jù)信息。首先查驗(yàn)終端中是否有對(duì)應(yīng)調(diào)用信息，如果有則直接實(shí)時(shí)渲染，將虛擬信息疊加到終端屏幕上顯示在場(chǎng)景中。如果沒(méi)有對(duì)應(yīng)信息，則上傳信息到服務(wù)器端，從數(shù)據(jù)庫(kù)中調(diào)用對(duì)應(yīng)信息，下載到終端實(shí)時(shí)渲染，形成增強(qiáng)現(xiàn)實(shí)的效果。同時(shí)，可以通過(guò)移動(dòng)當(dāng)前場(chǎng)景或者移動(dòng)終端設(shè)備操控虛擬圖像的移動(dòng)，旋轉(zhuǎn)，縮放。
【專利說(shuō)明】實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)以及方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及立體模型的實(shí)時(shí)顯示和實(shí)時(shí)操控。

【背景技術(shù)】
[0002]增強(qiáng)現(xiàn)實(shí)(Augmented Reality簡(jiǎn)稱AR),是虛擬現(xiàn)實(shí)的一個(gè)分支。是用于通過(guò)將例如相機(jī)所拍攝的真實(shí)世界圖像與虛擬目標(biāo)圖像進(jìn)行組合，生成增強(qiáng)現(xiàn)實(shí)圖像的技術(shù)。目前，虛擬計(jì)算機(jī)圖像的生成多依賴高性能PC和攝像頭共同完成大量數(shù)據(jù)的處理。便攜性差，對(duì)計(jì)算機(jī)硬件要求高?，F(xiàn)有的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，只是將虛擬信息疊加顯示到場(chǎng)景中，而不能對(duì)模型進(jìn)行實(shí)時(shí)的動(dòng)作操控。


【發(fā)明內(nèi)容】

[0003]為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)。該系統(tǒng)可以在小型移動(dòng)終端設(shè)備上使用AR技術(shù)展示增強(qiáng)信息，比如可以在pad，手機(jī)等小型移動(dòng)終端運(yùn)行實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)效果。同時(shí)可以實(shí)時(shí)的以交換的方式實(shí)現(xiàn)對(duì)3D模型的移動(dòng)旋轉(zhuǎn)，縮放，拆分，組裝。
[0004]本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是:信息獲取單元，通過(guò)移動(dòng)終端的攝像頭捕獲場(chǎng)景圖像，并解析出ID信息和坐標(biāo)信息，用此ID信息與服務(wù)器端通信，從數(shù)據(jù)庫(kù)調(diào)取對(duì)應(yīng)的虛擬信息下載到移動(dòng)終端；數(shù)據(jù)存儲(chǔ)單元，與應(yīng)用終端分離，通過(guò)網(wǎng)絡(luò)連接用于存儲(chǔ)海量虛擬信息，并實(shí)現(xiàn)查找功能。虛擬圖像生成單元，通過(guò)實(shí)時(shí)渲染把3維虛擬信息疊加到攝像頭拍攝的場(chǎng)景圖像上，生成增強(qiáng)現(xiàn)實(shí)圖像；操作單元，通過(guò)平移，上下移動(dòng)場(chǎng)景圖像實(shí)現(xiàn)對(duì)虛擬信息的操控，虛擬信息的主要展示動(dòng)作有移動(dòng)，旋轉(zhuǎn)，縮放，拆分，組裝。
[0005]本發(fā)明的有益效果是，在移動(dòng)終端系統(tǒng)運(yùn)行只占用少量系統(tǒng)資源，就能實(shí)現(xiàn)對(duì)虛擬信息的實(shí)時(shí)交互。中國(guó)發(fā)明專利CN20121028141.4(公布號(hào):CN102902710A)中公開(kāi)了將3D模型完全覆蓋在場(chǎng)景目標(biāo)圖像上的方法。而本系統(tǒng)更進(jìn)一步，不僅僅實(shí)現(xiàn)3D模型疊加顯示在目標(biāo)圖像上，并且可實(shí)時(shí)的實(shí)現(xiàn)對(duì)模型的移動(dòng)，旋轉(zhuǎn)，縮放，拆分，組裝的操作效果。

【專利附圖】

【附圖說(shuō)明】
[0006]圖1為本發(fā)明實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的結(jié)構(gòu)示意圖；
[0007]圖2為本發(fā)明實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的移動(dòng)終端結(jié)構(gòu)示意圖；
[0008]圖3為本發(fā)明實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的服務(wù)器結(jié)構(gòu)示意圖；
[0009]圖4為本發(fā)明實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)方法的流程示意圖；
[0010]圖中，無(wú)線網(wǎng)絡(luò)101、移動(dòng)終端102、虛擬數(shù)據(jù)存儲(chǔ)設(shè)備(或服務(wù)器)103、目標(biāo)解析單元201、實(shí)時(shí)渲染單元202、渲染疊加單元203、檢索單元301、數(shù)據(jù)庫(kù)302、下載單元303。

【具體實(shí)施方式】
[0011]本發(fā)明所提供的增強(qiáng)現(xiàn)實(shí)方法，可以應(yīng)用于帶攝像頭的各種智能終端中，例如智能手機(jī)，平板電腦，智能電視，智能眼鏡等。一般增強(qiáng)現(xiàn)實(shí)的識(shí)別標(biāo)記都會(huì)以圖形的形式展示，可以印刷到紙張，塑料，布匹，或者顯示器直接展示。
[0012]參見(jiàn)圖1，為本發(fā)明實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的結(jié)構(gòu)示意圖
[0013]參見(jiàn)圖2，為本發(fā)明實(shí)施例增強(qiáng)現(xiàn)實(shí)實(shí)施系統(tǒng)的移動(dòng)終端102結(jié)構(gòu)示意圖，終端需具備攝像頭和顯示器。攝像頭是輸入設(shè)備，顯示器既是輸入設(shè)備，又是顯示設(shè)備?？梢允侵悄苁謾C(jī)，pad等。目標(biāo)解析單元201用于解析拍攝的識(shí)別目標(biāo)，經(jīng)過(guò)識(shí)別判定后，實(shí)時(shí)渲染單元202對(duì)相應(yīng)數(shù)據(jù)實(shí)時(shí)渲染，最后通過(guò)渲染疊加單元203把渲染的虛擬信息疊加到場(chǎng)景中，在顯示器中顯示。
[0014]參見(jiàn)圖3，為本發(fā)明實(shí)施例增強(qiáng)現(xiàn)實(shí)實(shí)施系統(tǒng)的服務(wù)器103結(jié)構(gòu)示意圖，服務(wù)器103用于響應(yīng)移動(dòng)終端102發(fā)來(lái)的請(qǐng)求，從數(shù)據(jù)庫(kù)302中利用檢索單元301提供的方式檢索相應(yīng)數(shù)據(jù)，并且通過(guò)下載單元303將虛擬信息下載到移動(dòng)終端102，再進(jìn)行增強(qiáng)現(xiàn)實(shí)的效果顯不O
[0015]數(shù)據(jù)庫(kù)302，用于存儲(chǔ)虛擬信息，主要包括模型，圖片，文字，聲音，視頻五類。3維模型有靜態(tài)動(dòng)態(tài)兩種，如FBX或MD2格式的三維模型文件。圖片使用支持透明背景的壓縮圖片格式PNG。聲音可以是MP3或OGG等格式。視頻通常使用MP4格式。
[0016]參見(jiàn)圖4，為本發(fā)明實(shí)施例增強(qiáng)現(xiàn)實(shí)的方法流程示意圖，主要包括如下步驟:
[0017]步驟401、利用終端102的攝像頭拍攝圖像，并捕獲識(shí)別目標(biāo)，并將其顯示在終端屏幕上。攝像頭用于捕獲當(dāng)前場(chǎng)景圖像，然后將數(shù)據(jù)信息傳遞到實(shí)時(shí)渲染單元202和渲染疊加單元203解析，獲得空間坐標(biāo)和數(shù)據(jù)索引信息。
[0018]步驟402中首先記錄圖像的2維坐標(biāo)，然后將2維坐標(biāo)轉(zhuǎn)換成程序中設(shè)定的3維坐標(biāo)。將該3維坐標(biāo)存入緩存，作為虛擬圖像疊加到真實(shí)場(chǎng)景中的坐標(biāo)依據(jù)。
[0019]步驟403中通過(guò)對(duì)當(dāng)前圖像進(jìn)行特征點(diǎn)提取，此處采用SIFT特征點(diǎn)。當(dāng)拍攝圖像的特征點(diǎn)與已預(yù)設(shè)好圖像的特征點(diǎn)相匹配時(shí)，則完成對(duì)識(shí)別圖片的識(shí)別過(guò)程。簡(jiǎn)析出當(dāng)前圖像中預(yù)設(shè)好的唯一 ID信息，作為虛擬信息調(diào)用的依據(jù)。步驟402和步驟403的信息將沿路徑向下傳遞。
[0020]終端，首先對(duì)步驟403的索引ID做一個(gè)判定，查驗(yàn)終端102是否有對(duì)應(yīng)ID的調(diào)用信息，如果終端存在對(duì)應(yīng)數(shù)據(jù)，則執(zhí)行步驟404實(shí)時(shí)渲染，將3D模型的水平面投射到步驟402生成的2維平面中，法向方向與2維平面相同，把3D模型放置在攝像頭拍攝的真實(shí)畫面中，達(dá)到增強(qiáng)現(xiàn)實(shí)的效果。如果判定為否，執(zhí)行步驟405，將ID信息上傳到服務(wù)器103，并且在數(shù)據(jù)庫(kù)302中進(jìn)行搜索，查找數(shù)據(jù)，并且將匹配成功的相關(guān)虛擬信息執(zhí)行步驟406，下載到移動(dòng)終端102，重復(fù)步驟404實(shí)時(shí)渲染和步驟407的顯示過(guò)程。
[0021]步驟407把渲染出來(lái)的模型依據(jù)步驟402中生成的3維坐標(biāo)實(shí)時(shí)的疊加到場(chǎng)景中顯示。該3維坐標(biāo)空間(x，y，z)中的xOz平面是根據(jù)場(chǎng)景中識(shí)別圖片的2維坐標(biāo)實(shí)時(shí)計(jì)算出的，則對(duì)識(shí)別圖片或者攝像頭進(jìn)行移動(dòng)、旋轉(zhuǎn)操作時(shí)，通過(guò)計(jì)算變化矩陣，程序會(huì)重新計(jì)算出3維模型對(duì)應(yīng)的變化矩陣，并對(duì)畫面中的3維模型進(jìn)行重繪，3維立體模型也會(huì)隨之移動(dòng)，旋轉(zhuǎn)，變換大小。
[0022]步驟408通過(guò)計(jì)算攝像頭拍攝畫面角度的變化，解析出空間變化矩陣，實(shí)現(xiàn)對(duì)虛擬立體圖像的移動(dòng)，旋轉(zhuǎn)，縮放，拆分，組裝。模型的拆分、組裝操作由終端102的攝像頭與場(chǎng)景圖像的垂直距離控制。3D模型有空間高度，當(dāng)終端102的攝像頭向下垂直移動(dòng)，觸碰到虛擬3維立體模型的最高點(diǎn)時(shí)，即攝像頭和場(chǎng)景圖像的垂直距離小于等于立體模型的高度時(shí)，模型的拆分動(dòng)作被觸發(fā)，模型將自行拆分，展示模型各單元結(jié)構(gòu)；當(dāng)攝像頭和場(chǎng)景之間的垂直距離高于立體模型的高度時(shí)，組裝動(dòng)作被觸發(fā)，已拆分的模型將自行組裝成完整模型。模型的拆分和組裝動(dòng)畫是預(yù)先設(shè)置好的，以腳本的形式和模型綁定存儲(chǔ)。
[0023]另外，當(dāng)模型拆分后，仍然可以對(duì)模型進(jìn)行移動(dòng)，旋轉(zhuǎn)，縮放操作。
【權(quán)利要求】
1.一種實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，包括無(wú)線網(wǎng)絡(luò)101、移動(dòng)終端102，和服務(wù)器103，其特征在于，移動(dòng)終端102用于拍攝畫面，并且完成虛擬圖像的增強(qiáng)現(xiàn)實(shí)顯示效果；服務(wù)器103是虛擬數(shù)據(jù)存儲(chǔ)設(shè)備；移動(dòng)終端102和服務(wù)器103利用無(wú)線網(wǎng)絡(luò)101進(jìn)行數(shù)據(jù)交換。
2.根據(jù)權(quán)利要求1所述的實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其特征在于，所述的移動(dòng)終端102包括攝像頭和顯示器,進(jìn)一步包括目標(biāo)解析單元201、實(shí)時(shí)渲染單元202、渲染疊加單元203，目標(biāo)解析單元201用于解析拍攝的識(shí)別目標(biāo)，經(jīng)過(guò)識(shí)別判定后，實(shí)時(shí)渲染單元202對(duì)相應(yīng)數(shù)據(jù)實(shí)時(shí)渲染，最后通過(guò)渲染疊加單元203把渲染的虛擬信息疊加到場(chǎng)景中，在顯示器中顯示。
3.根據(jù)權(quán)利要求1所述的實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其特征在于，所述的服務(wù)器103包括檢索單元301、數(shù)據(jù)庫(kù)302、下載單元303，服務(wù)器103用于響應(yīng)移動(dòng)終端102發(fā)來(lái)的請(qǐng)求，從數(shù)據(jù)庫(kù)302中利用檢索單元301提供的方式檢索相應(yīng)數(shù)據(jù)，并且通過(guò)下載單元303將虛擬信息下載到移動(dòng)終端102，再進(jìn)行增強(qiáng)現(xiàn)實(shí)的效果顯示。
4.根據(jù)權(quán)利要求3所述的實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其特征在于，所述的數(shù)據(jù)庫(kù)302用于存儲(chǔ)虛擬信息，主要包括模型、圖片、文字、聲音、視頻。
5.一種實(shí)時(shí)交互的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述方法步驟如下: 終端通過(guò)攝像頭獲取當(dāng)前場(chǎng)景圖像，并將其顯示在終端屏幕上； 從所述當(dāng)前場(chǎng)景圖像中解析出坐標(biāo)和數(shù)據(jù)索引信息； 根據(jù)索引信息判定終端是否存在對(duì)應(yīng)調(diào)用信息，若存在則實(shí)時(shí)渲染； 若不存在則上傳數(shù)據(jù)到數(shù)據(jù)庫(kù)查找下載對(duì)應(yīng)信息，再實(shí)時(shí)渲染； 依據(jù)之前解析出的坐標(biāo)信息，將實(shí)時(shí)渲染出的虛擬信息疊加顯示在當(dāng)前場(chǎng)景中； 通過(guò)移動(dòng)場(chǎng)景圖像或終端設(shè)備，改變攝像頭捕獲的畫面信息，來(lái)操控虛擬信息的動(dòng)畫效果。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，終端對(duì)拍攝到的畫面實(shí)時(shí)檢測(cè)，檢測(cè)到預(yù)先設(shè)置好的識(shí)別目標(biāo)時(shí)，記錄識(shí)別目標(biāo)所在的2維坐標(biāo)，并將該2維坐標(biāo)轉(zhuǎn)換成程序中設(shè)定的3維坐標(biāo)，同時(shí)，將虛擬信息展示定位到待識(shí)別目標(biāo)所對(duì)應(yīng)的3維空間坐標(biāo)中，作為虛擬信息疊加到場(chǎng)景中的位置依據(jù)。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述的識(shí)別目標(biāo)，包括文字、圖像、紋理的形式，所述的識(shí)別目標(biāo)中嵌入唯一可識(shí)別的ID，ID值對(duì)應(yīng)著一個(gè)模型資源的下載鏈接，利用所述地址查找并下載對(duì)應(yīng)虛擬數(shù)據(jù)，然后在終端實(shí)時(shí)渲染，并將渲染內(nèi)容疊加到場(chǎng)景中。
8.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述的根據(jù)索引信息判定終端是否存在對(duì)應(yīng)調(diào)用信息，首先查驗(yàn)終端中是否有對(duì)應(yīng)ID的調(diào)用信息，如果有則直接實(shí)時(shí)渲染，將虛擬信息疊加到終端屏幕上顯示在場(chǎng)景中；如果沒(méi)有對(duì)應(yīng)信息，則上傳信息到服務(wù)器端，請(qǐng)求獲取相關(guān)的虛擬信息。
9.根據(jù)權(quán)利要求5所述的方法，其特征在于，虛擬信息疊加到終端屏幕上的場(chǎng)景中后，如果在當(dāng)前場(chǎng)景中檢測(cè)到有新的識(shí)別目標(biāo)，或檢測(cè)到場(chǎng)景中的識(shí)別目標(biāo)消失又重新出現(xiàn)時(shí)，則重新解析識(shí)別目標(biāo)，解析成功后，停止檢測(cè)。
10.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過(guò)所述移動(dòng)場(chǎng)景圖像或終端設(shè)備來(lái)操控虛擬圖像的動(dòng)畫效果，完成實(shí)時(shí)的交互過(guò)程，通過(guò)上下或平移當(dāng)前場(chǎng)景圖像或者終端設(shè)備，造成攝像視角的變化，最終解析出的坐標(biāo)信息的變化矩陣，通過(guò)坐標(biāo)信息變化計(jì)算出空間變化矩陣，實(shí)現(xiàn)對(duì)虛擬立體圖像的移動(dòng)，旋轉(zhuǎn)，縮放，拆分，組裝。
【文檔編號(hào)】G06T13/00GK104134229SQ201410389343
【公開(kāi)日】2014年11月5日 申請(qǐng)日期:2014年8月8日 優(yōu)先權(quán)日:2014年8月8日
【發(fā)明者】李成, 陳佩霞 申請(qǐng)人:李成, 萬(wàn)馬