一種提供增強(qiáng)現(xiàn)實(shí)的方法及終端的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種提供增強(qiáng)現(xiàn)實(shí)的方法，包括步驟：終端通過(guò)攝像頭獲取當(dāng)前場(chǎng)景圖像，并將其顯示在終端屏幕上；在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在；加載與所述目標(biāo)對(duì)應(yīng)的視頻內(nèi)容；播放所述視頻內(nèi)容；獲取所述視頻當(dāng)前幀畫面的位置；當(dāng)所述幀畫面的位置大于零時(shí)，才將幀畫面渲染疊加到終端屏幕上顯示的場(chǎng)景中；隨著視頻的播放進(jìn)度，將后續(xù)的幀畫面更新渲染疊加到場(chǎng)景中。本發(fā)明還公開(kāi)了一種提供增強(qiáng)現(xiàn)實(shí)的終端。通過(guò)本發(fā)明可以避免在播放增強(qiáng)現(xiàn)實(shí)視頻開(kāi)始時(shí)出現(xiàn)短暫的黑色區(qū)域。
【專利說(shuō)明】 一種提供增強(qiáng)現(xiàn)實(shí)的方法及終端
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)【技術(shù)領(lǐng)域】，尤其是通過(guò)播放視頻來(lái)提供增強(qiáng)現(xiàn)實(shí)的方法及終端。
【背景技術(shù)】
[0002]增強(qiáng)現(xiàn)實(shí)(Augmented Reality,簡(jiǎn)稱AR),是在虛擬現(xiàn)實(shí)的基礎(chǔ)上發(fā)展起來(lái)的新技術(shù)，也被稱之為混合現(xiàn)實(shí)或擴(kuò)張實(shí)境等。是通過(guò)計(jì)算機(jī)系統(tǒng)提供的信息增加用戶對(duì)現(xiàn)實(shí)世界感知的技術(shù)，將虛擬的信息內(nèi)容疊加到真實(shí)世界的場(chǎng)景中，從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的增強(qiáng)。隨著帶有攝像頭的智能移動(dòng)終端的迅速普及，各種增強(qiáng)現(xiàn)實(shí)應(yīng)用也層出不窮，廣泛應(yīng)用于娛樂(lè)、生活、醫(yī)學(xué)、廣告和教育等領(lǐng)域。增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的平面目標(biāo)一般有基于人工的標(biāo)記(Marker)，和自然圖像，有些先進(jìn)的AR系統(tǒng)也支持三維目標(biāo)。在AR應(yīng)用通過(guò)攝像頭檢測(cè)到場(chǎng)景中有目標(biāo)存在時(shí)，可以在顯示的目標(biāo)區(qū)域之上疊加一些虛擬內(nèi)容，如3D模型是最常見(jiàn)的形式。
[0003]隨著三維圖形技術(shù)在移動(dòng)終端上的進(jìn)步，一些新的終端已經(jīng)可以支持輸出視頻幀畫面作為紋理渲染。目前有AR應(yīng)用將一段視頻的首幀畫面作為目標(biāo)圖像，在終端屏幕顯示的場(chǎng)景中的目標(biāo)圖像區(qū)域之上播放視頻，實(shí)現(xiàn)讓靜止圖像動(dòng)起來(lái)的魔幻效果，是一種很好的增強(qiáng)現(xiàn)實(shí)的表現(xiàn)形式。但是在實(shí)踐中發(fā)現(xiàn)，如果視頻位于終端本地，一般效果都很好，然而對(duì)于實(shí)時(shí)播放網(wǎng)絡(luò)視頻時(shí)，場(chǎng)景中的目標(biāo)區(qū)域在開(kāi)始播放時(shí)會(huì)出現(xiàn)短暫的黑色區(qū)域，雖然時(shí)間比較短，但使增強(qiáng)現(xiàn)實(shí)的視覺(jué)效果變得不連續(xù)，嚴(yán)重影響增強(qiáng)現(xiàn)實(shí)的效果和用戶體驗(yàn)。另外對(duì)于終端本地視頻，如果視頻較大，并且沒(méi)有預(yù)先加載，而是發(fā)現(xiàn)目標(biāo)時(shí)再加載，畫面上也可能會(huì)出現(xiàn)短暫的黑色區(qū)域。如圖1所示，黑色色塊區(qū)域101其實(shí)應(yīng)該就是視頻播放顯示的區(qū)域，區(qū)域的形狀一般是四邊形，但不一定是矩形，與目標(biāo)在場(chǎng)景中的位置和姿態(tài)有關(guān)，一般區(qū)域之下就是目標(biāo)圖像。
[0004]雖然可以提前下載網(wǎng)絡(luò)視頻，以及預(yù)先加載視頻內(nèi)容，使黑色區(qū)域的出現(xiàn)變得短暫的幾乎不可見(jiàn)，然而很多應(yīng)用場(chǎng)合有大量的視頻內(nèi)容，不可能全部下載到本地，預(yù)先都加載進(jìn)來(lái)，因此必須從根本上徹底解決AR視頻播放開(kāi)始時(shí)可能出現(xiàn)黑色區(qū)域的問(wèn)題。

【發(fā)明內(nèi)容】

[0005]基于現(xiàn)有技術(shù)的不足，本發(fā)明的首要目的在于給出一種提供增強(qiáng)現(xiàn)實(shí)的方法，避免在場(chǎng)景中開(kāi)始播放視頻時(shí)短暫出現(xiàn)黑色區(qū)域，尤其是播放網(wǎng)絡(luò)視頻。
[0006]本發(fā)明的再一目的在于給出一種提供增強(qiáng)現(xiàn)實(shí)的終端，避免在場(chǎng)景中開(kāi)始播放視頻時(shí)短暫出現(xiàn)黑色區(qū)域，尤其是播放網(wǎng)絡(luò)視頻。
[0007]為實(shí)現(xiàn)上述各目的，本發(fā)明采用如下技術(shù)方案:
本發(fā)明第一目的所稱提供增強(qiáng)現(xiàn)實(shí)的方法，包括步驟:
終端通過(guò)攝像頭獲取當(dāng)前場(chǎng)景圖像，并將其顯示在終端屏幕上；
在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在； 加載與所述目標(biāo)對(duì)應(yīng)的視頻內(nèi)容；
播放所述視頻內(nèi)容；
獲取所述視頻當(dāng)前幀畫面的位置；
當(dāng)所述幀畫面的位置大于零時(shí)，才將幀畫面渲染疊加到終端屏幕上顯示的場(chǎng)景中； 隨著視頻的播放進(jìn)度，將后續(xù)的幀畫面更新渲染疊加到場(chǎng)景中；
所述幀畫面在場(chǎng)景中的顯示區(qū)域根據(jù)所述目標(biāo)的尺寸和當(dāng)前姿態(tài)數(shù)據(jù)確定。
[0008]進(jìn)一步，在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在后，將一張靜態(tài)圖片作為紋理渲染疊加到場(chǎng)景的目標(biāo)區(qū)域上；
同時(shí)加載和播放所述目標(biāo)對(duì)應(yīng)的視頻內(nèi)容；
在所述視頻播放的幀畫面的位置大于零時(shí)，使用所述視頻幀畫面渲染疊加到場(chǎng)景的目標(biāo)區(qū)域上。
[0009]進(jìn)一步，所述目標(biāo)的類型為標(biāo)記，所述標(biāo)記包括黑色矩形邊框，在所述黑色矩形邊框的其中一邊區(qū)域中包含反色的一維條形碼；
在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)標(biāo)記存在時(shí)，截取當(dāng)前場(chǎng)景圖像中所述目標(biāo)標(biāo)記的黑色矩形邊框的邊區(qū)域；
對(duì)所述邊區(qū)域先進(jìn)行反色處理，然后從中檢測(cè)并解析一維條形碼；
根據(jù)所述條形碼的解析結(jié)果加載并播放對(duì)應(yīng)的視頻內(nèi)容；
當(dāng)獲取所述視頻的幀畫面的位置大于零時(shí)，將幀畫面渲染疊加到終端顯示場(chǎng)景中的目標(biāo)區(qū)域上。
[0010]進(jìn)一步，預(yù)先設(shè)置視頻區(qū)域與目標(biāo)區(qū)域的偏移參數(shù)，所述偏移參數(shù)包括視頻區(qū)域相對(duì)目標(biāo)區(qū)域的尺寸比例，以及中心點(diǎn)的偏移向量；
在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在，播放視頻的幀畫面的位置大于零時(shí)，根據(jù)所述目標(biāo)的當(dāng)前位置以及預(yù)設(shè)的所述偏移參數(shù)確定視頻區(qū)域，將所述視頻的幀畫面渲染疊加到相應(yīng)位置的視頻區(qū)域上顯示。
[0011]進(jìn)一步，在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到所述視頻對(duì)應(yīng)的目標(biāo)消失預(yù)定時(shí)長(zhǎng)后，暫停播放所述視頻，并記錄視頻播放的當(dāng)前位置；
后續(xù)在檢測(cè)到所述視頻對(duì)應(yīng)的目標(biāo)重新出現(xiàn)時(shí)，繼續(xù)從所記錄的位置開(kāi)始播放視頻，并將所述視頻的幀畫面渲染疊加到場(chǎng)景中顯示。
[0012]本發(fā)明第二目的所稱提供增強(qiáng)現(xiàn)實(shí)的終端，包括:
增強(qiáng)現(xiàn)實(shí)引擎單元，用于通過(guò)攝像頭獲取當(dāng)前場(chǎng)景圖像，并將其顯示在終端屏幕上，檢測(cè)當(dāng)前場(chǎng)景中的目標(biāo)，有目標(biāo)存在時(shí)通知視頻播放單元開(kāi)始播放相應(yīng)的視頻，并將視頻播放單元提供的視頻的幀畫面渲染疊加到場(chǎng)景中；
視頻播放單元，用于在增強(qiáng)現(xiàn)實(shí)引擎單元檢測(cè)到有目標(biāo)存在時(shí)，通過(guò)視頻檢索單元獲取相應(yīng)的視頻內(nèi)容，加載與所述目標(biāo)對(duì)應(yīng)的視頻內(nèi)容，播放所述視頻內(nèi)容，獲取所述視頻當(dāng)前幀畫面的位置，當(dāng)所述幀畫面的位置大于零時(shí)，通過(guò)增強(qiáng)現(xiàn)實(shí)引擎單元將幀畫面渲染疊加到終端屏幕上顯示的場(chǎng)景中，隨著視頻的播放進(jìn)度，將后續(xù)的幀畫面通過(guò)增強(qiáng)現(xiàn)實(shí)引擎單元更新渲染疊加到場(chǎng)景中；
視頻檢索單元，用于根據(jù)增強(qiáng)現(xiàn)實(shí)引擎單元提供的目標(biāo)標(biāo)識(shí)從終端本地或服務(wù)器檢索對(duì)應(yīng)的視頻內(nèi)容，并返回給視頻播放單元。[0013]進(jìn)一步，增強(qiáng)現(xiàn)實(shí)引擎單元在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在后，將一張靜態(tài)圖片作為紋理渲染疊加到場(chǎng)景的目標(biāo)區(qū)域上，同時(shí)通知視頻播放單元加載和播放所述目標(biāo)對(duì)應(yīng)的視頻內(nèi)容，在所述視頻播放的幀畫面的位置大于零時(shí)，使用所述視頻播放單元提供的視頻幀畫面渲染疊加到場(chǎng)景的目標(biāo)區(qū)域上。
[0014]進(jìn)一步，還包括條形碼處理單元，所述目標(biāo)的類型為標(biāo)記，所述標(biāo)記包括黑色矩形邊框，在所述黑色矩形邊框的其中一邊區(qū)域中包含反色的一維條形碼，增強(qiáng)現(xiàn)實(shí)引擎單元在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)標(biāo)記存在時(shí)，由條形碼處理單元截取當(dāng)前場(chǎng)景圖像中所述目標(biāo)標(biāo)記的黑色矩形邊框的邊區(qū)域，對(duì)所述邊區(qū)域先進(jìn)行反色處理，然后從中檢測(cè)并解析一維條形碼，視頻播放單元根據(jù)所述條形碼的解析結(jié)果加載并播放對(duì)應(yīng)的視頻內(nèi)容，當(dāng)獲取所述視頻的幀畫面的位置大于零時(shí)，增強(qiáng)現(xiàn)實(shí)引擎單元將幀畫面渲染疊加到終端顯示場(chǎng)景中的目標(biāo)區(qū)域上。
[0015]進(jìn)一步，所述終端中存儲(chǔ)有預(yù)先設(shè)置視頻區(qū)域與目標(biāo)區(qū)域的偏移參數(shù)，所述偏移參數(shù)包括視頻區(qū)域相對(duì)于目標(biāo)區(qū)域的尺寸比例，以及中心點(diǎn)的偏移向量；
增強(qiáng)現(xiàn)實(shí)引擎單元在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在，播放視頻的幀畫面的位置大于零時(shí)，根據(jù)所述目標(biāo)的當(dāng)前位置以及預(yù)設(shè)的所述偏移參數(shù)確定視頻區(qū)域，將所述視頻的幀畫面渲染疊加到相應(yīng)的視頻區(qū)域上顯示。
[0016]進(jìn)一步，增強(qiáng)現(xiàn)實(shí)引擎單元在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到所述視頻對(duì)應(yīng)的目標(biāo)消失預(yù)定時(shí)長(zhǎng)后，通知視頻播放單元暫停播放所述視頻，并記錄視頻播放的當(dāng)前位置；
后續(xù)增強(qiáng)現(xiàn)實(shí)引擎單元在檢測(cè)到所述視頻對(duì)應(yīng)的目標(biāo)重新出現(xiàn)時(shí)，繼續(xù)通知視頻播放單元從所記錄的位置開(kāi)始播放視頻，并將視頻播放單元提供的幀畫面渲染疊加到場(chǎng)景中顯
/Jn ο
[0017]與現(xiàn)有技術(shù)相比較，本發(fā)明通過(guò)在檢測(cè)到增強(qiáng)現(xiàn)實(shí)目標(biāo)后加載和播放視頻時(shí)，根據(jù)視頻幀畫面的位置是否大于零，來(lái)判斷視頻已經(jīng)真正開(kāi)始播放了，再用幀畫面進(jìn)行渲染，從而在開(kāi)始時(shí)就可以輸出視頻內(nèi)容的幀畫面，而不會(huì)短暫顯示無(wú)內(nèi)容的黑色區(qū)域，使增強(qiáng)現(xiàn)實(shí)的效果更加完美連貫，大大提升了用戶體驗(yàn)，尤其是對(duì)于在線播放網(wǎng)絡(luò)視頻，即使網(wǎng)絡(luò)延遲很大，也不會(huì)在視頻開(kāi)始播放時(shí)出現(xiàn)短暫黑色區(qū)域的現(xiàn)象。另外本發(fā)明還可以在發(fā)現(xiàn)目標(biāo)后，視頻幀畫面渲染顯示之前，先顯示一個(gè)靜態(tài)圖片或文字信息等，這樣用戶在等待加載視頻的過(guò)程中，可以看到一些相關(guān)的信息內(nèi)容。本發(fā)明還通過(guò)將目標(biāo)標(biāo)記和條形碼相結(jié)合，可以在目標(biāo)標(biāo)記數(shù)量有限的情況下提供更多數(shù)量的在線視頻內(nèi)容。
[0018]本發(fā)明的有益效果遠(yuǎn)不止于上述羅列諸要點(diǎn)，限于篇幅而不再贅述。需要進(jìn)一步強(qiáng)調(diào)的是:其它任何因本發(fā)明所稱對(duì)所想即所得的技術(shù)方案的實(shí)現(xiàn)而引起的技術(shù)變革，以及以這種變革所引起的有益效果，雖未在此明文記載，均是屬于本領(lǐng)域內(nèi)的普通技術(shù)人員和商業(yè)領(lǐng)域人員可以推知的。
[0019]下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行具體說(shuō)明。
【專利附圖】

【附圖說(shuō)明】
[0020]圖1為現(xiàn)有技術(shù)中開(kāi)始播放增強(qiáng)現(xiàn)實(shí)視頻時(shí)出現(xiàn)短暫黑色區(qū)域的示意圖；
圖2為本發(fā)明實(shí)施例提供增強(qiáng)現(xiàn)實(shí)的方法流程圖；
圖3為本發(fā)明實(shí)施例包含一維條形碼的標(biāo)記圖案；圖4為本發(fā)明實(shí)施例提供增強(qiáng)現(xiàn)實(shí)的終端結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0021]本發(fā)明所稱的提供增強(qiáng)現(xiàn)實(shí)的方法，可以應(yīng)用于各種帶有攝像頭的智能終端中，例如智能手機(jī)、平板電腦、智能電視、游戲機(jī)、智能眼鏡或手表等。
[0022]參見(jiàn)圖2，為本發(fā)明實(shí)施例提供增強(qiáng)現(xiàn)實(shí)的方法的流程示意圖，主要包括如下步驟。
[0023]201、終端通過(guò)攝像頭獲取當(dāng)前場(chǎng)景圖像，并將其顯示在終端屏幕上。這時(shí)顯示的內(nèi)容一般都是真實(shí)的現(xiàn)實(shí)場(chǎng)景，和拍攝照片時(shí)的預(yù)覽畫面一樣，通常稱為背景視頻。
[0024]202、在當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在。目標(biāo)的類型可以是標(biāo)記，也可以是自然圖像。如果是自然圖像，一般要求其具備足夠的特征點(diǎn)，否則很難被識(shí)別和跟蹤?？梢詫⒁粋€(gè)視頻的首幀畫面作為目標(biāo)圖像，并預(yù)先將該目標(biāo)的標(biāo)識(shí)與視頻相關(guān)聯(lián)。
[0025]203、加載與目標(biāo)對(duì)應(yīng)的視頻內(nèi)容。識(shí)別目標(biāo)后，根據(jù)目標(biāo)的標(biāo)識(shí)找到對(duì)應(yīng)的視頻內(nèi)容并加載。也可以在應(yīng)用啟動(dòng)之后就預(yù)先加載，但是這樣對(duì)于視頻較多較大時(shí)就不合適了。因此最好在檢測(cè)到目標(biāo)后再按需加載視頻，還有在切換到另外一個(gè)目標(biāo)(對(duì)應(yīng)其他視頻)時(shí)，可以先釋放之前的視頻對(duì)象，再加載新的視頻，這樣可以出現(xiàn)內(nèi)存問(wèn)題。
[0026]通常加載網(wǎng)絡(luò)視頻會(huì)需要較長(zhǎng)時(shí)間，因此在加載時(shí)，可以顯示一個(gè)進(jìn)度圖標(biāo)，如轉(zhuǎn)動(dòng)的進(jìn)度圓圈等，在開(kāi)始顯示視頻幀畫面時(shí)，隱藏進(jìn)度圖標(biāo)。通常采用異步加載準(zhǔn)備視頻的方式，加載成功后在回調(diào)程式中開(kāi)始播放相應(yīng)視頻。在加載的同時(shí)也將該視頻與三維紋理相關(guān)聯(lián)，以便后續(xù)可以將視頻幀畫面更新到輸出到渲染的場(chǎng)景區(qū)域上。
[0027]204、播放視頻內(nèi)容。對(duì)于網(wǎng)絡(luò)視頻而言，雖然加載成功了，但并不意味著可以立即輸出幀畫面，由于幀數(shù)據(jù)的傳輸需要時(shí)間，因此如果在開(kāi)始播放時(shí)直接將視頻對(duì)象的當(dāng)前幀畫面輸出更新到場(chǎng)景中，可能就會(huì)出現(xiàn)黑色區(qū)域的現(xiàn)象，出現(xiàn)的時(shí)長(zhǎng)和網(wǎng)絡(luò)的狀況以及視頻屬性有關(guān)，一些高清視頻在網(wǎng)絡(luò)較差的情況下，會(huì)出現(xiàn)較長(zhǎng)時(shí)間的黑色區(qū)域。所以此時(shí)還不能更新幀畫面，在場(chǎng)景中進(jìn)行渲染。
[0028]205、獲取視頻當(dāng)前幀畫面的位置。在界面繪制的循環(huán)線程中，獲取播放視頻的當(dāng)前幀畫面的位置。可以在初始時(shí)將幀畫面的位置設(shè)為負(fù)值，如-1。
[0029]206、當(dāng)視頻幀畫面的位置大于零時(shí)，才將幀畫面渲染疊加到終端屏幕上顯示的場(chǎng)景中。這時(shí)得到的幀畫面不會(huì)再出現(xiàn)黑色區(qū)域，而是視頻的內(nèi)容。
[0030]另外在此之前，在當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在后，可以將一張靜態(tài)圖片作為紋理渲染疊加到場(chǎng)景的目標(biāo)區(qū)域上，同時(shí)加載和播放目標(biāo)對(duì)應(yīng)的視頻內(nèi)容。如可以使用一張透明的相框圖片疊加到目標(biāo)區(qū)域上，用戶看到的目標(biāo)圖像的外部加了個(gè)相框。在這段等待時(shí)間里，除了顯示靜態(tài)圖片，還是顯示一些動(dòng)態(tài)特效，如使目標(biāo)區(qū)域的顏色在渲染時(shí)發(fā)生動(dòng)態(tài)的變化等；還可以顯示文字信息等。
[0031]207、隨著視頻的播放進(jìn)度，將后續(xù)的幀畫面更新渲染疊加到場(chǎng)景中。注意由于終端系統(tǒng)性能的限制，并不是視頻的所有幀都會(huì)被更新輸出到場(chǎng)景中，相對(duì)于原始的視頻內(nèi)容來(lái)看，AR應(yīng)用中顯示的幀畫面并不是連續(xù)的，而是有一定的間隔，但這基本不會(huì)有太大影響，在用戶看來(lái)并不會(huì)有明顯的不連續(xù)感。
[0032]視頻幀畫面在場(chǎng)景中的顯示區(qū)域根據(jù)目標(biāo)的尺寸和當(dāng)前姿態(tài)數(shù)據(jù)確定。通常都會(huì)讓視頻區(qū)域即視頻幀畫面的顯示區(qū)域和場(chǎng)景中的目標(biāo)區(qū)域重疊，這樣會(huì)實(shí)現(xiàn)讓畫面中的目標(biāo)圖像動(dòng)起來(lái)的魔幻效果。通過(guò)增強(qiáng)現(xiàn)實(shí)引擎提供的目標(biāo)姿態(tài)矩陣等數(shù)據(jù)可以將視頻畫面和目標(biāo)區(qū)域完美的重合在一起，即使攝像頭的位置在一直變化，也可以持續(xù)跟蹤保持重合狀態(tài)。
[0033]很多時(shí)候使用標(biāo)記作為目標(biāo)比自然圖像更加方便簡(jiǎn)單，但是通常標(biāo)記的數(shù)量是非常有限的，如總數(shù)為512個(gè)，這樣如果有大量的在線網(wǎng)絡(luò)視頻，標(biāo)記的數(shù)量就遠(yuǎn)遠(yuǎn)不夠了。
[0034]如圖3所示，可以使用包括黑色矩形邊框301的標(biāo)記，標(biāo)記的區(qū)別特征主要由邊緣的鋸齒302決定，在黑色矩形邊框301的其中一邊區(qū)域中包含反色的一維條形碼303 ;在當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)標(biāo)記存在時(shí)，截取當(dāng)前場(chǎng)景圖像中目標(biāo)標(biāo)記的黑色矩形邊框的邊區(qū)域；對(duì)邊區(qū)域先進(jìn)行反色處理，然后從中檢測(cè)并解析一維條形碼；根據(jù)條形碼的解析結(jié)果加載并播放對(duì)應(yīng)的視頻內(nèi)容；當(dāng)獲取視頻的幀畫面的位置大于零時(shí)，將幀畫面渲染疊加到終端顯示場(chǎng)景中的目標(biāo)區(qū)域上。
[0035]一維條形碼的格式很多，如 UPC-A 和 UPC-E，EAN-8 和 EAN-13，Code 39，Code 93，Code 128等。如果系統(tǒng)預(yù)先限制只能使用某種格式條形碼，檢測(cè)速度會(huì)比較快。如果為了更加靈活，也可以不做限制，而是遍歷各種條形碼的格式進(jìn)行逐一檢測(cè)和解析，如果成功解析出結(jié)果就停止檢測(cè)。
[0036]另外播放視頻的區(qū)域并不一定和目標(biāo)區(qū)域完全重合，如圖3中所示的標(biāo)記框的框內(nèi)區(qū)域，包含圖像304，才是視頻區(qū)域，比目標(biāo)區(qū)域(整個(gè)標(biāo)記框)要小?？梢灶A(yù)先設(shè)置視頻區(qū)域與目標(biāo)區(qū)域的偏移參數(shù)，偏移參數(shù)包括視頻區(qū)域相對(duì)目標(biāo)區(qū)域的尺寸比例，以及中心點(diǎn)的偏移向量；在當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在，播放視頻的幀畫面的位置大于零時(shí)，根據(jù)目標(biāo)的當(dāng)前位置以及預(yù)設(shè)的偏移參數(shù)確定視頻區(qū)域，將視頻的幀畫面渲染疊加到相應(yīng)位置的視頻區(qū)域上顯示。
[0037]如果終端攝像頭從目標(biāo)移開(kāi)，在當(dāng)前場(chǎng)景圖像中檢測(cè)到所述視頻對(duì)應(yīng)的目標(biāo)消失預(yù)定時(shí)長(zhǎng)后，如3秒鐘，暫停播放所述視頻，并記錄視頻播放的當(dāng)前位置；后續(xù)在檢測(cè)到該視頻對(duì)應(yīng)的目標(biāo)重新出現(xiàn)時(shí)，繼續(xù)從所記錄的位置開(kāi)始播放視頻，并將該視頻的幀畫面渲染疊加到場(chǎng)景中顯示。
[0038]本領(lǐng)域普通技術(shù)人員還可以理解，實(shí)現(xiàn)上述方法實(shí)施例中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，所述的存儲(chǔ)介質(zhì)，可以是:R0M/RAM、磁碟、固態(tài)硬盤、存儲(chǔ)卡或光盤等。
[0039]本發(fā)明另一個(gè)實(shí)施例中描述了一種提供增強(qiáng)現(xiàn)實(shí)的終端，如圖4所示，該終端包括攝像頭和顯示屏等，還包括:
增強(qiáng)現(xiàn)實(shí)引擎單元401，用于通過(guò)攝像頭獲取當(dāng)前場(chǎng)景圖像，并將其顯示在終端屏幕上，檢測(cè)當(dāng)前場(chǎng)景中的目標(biāo)，有目標(biāo)存在時(shí)通知視頻播放單元402開(kāi)始播放相應(yīng)的視頻，并將視頻播放單元402提供的視頻的幀畫面渲染疊加到場(chǎng)景中；
視頻播放單元402，用于在增強(qiáng)現(xiàn)實(shí)引擎單元401檢測(cè)到有目標(biāo)存在時(shí)，通過(guò)視頻檢索單元403獲取應(yīng)的視頻內(nèi)容，加載與所述目標(biāo)對(duì)應(yīng)的視頻內(nèi)容，播放所述視頻內(nèi)容，獲取所述視頻當(dāng)前幀畫面的位置，當(dāng)所述幀畫面的位置大于零時(shí)，通過(guò)增強(qiáng)現(xiàn)實(shí)引擎單元401將幀畫面渲染疊加到終端屏幕上顯示的場(chǎng)景中，隨著視頻的播放進(jìn)度，視頻播放單元402將后續(xù)的幀畫面通過(guò)增強(qiáng)現(xiàn)實(shí)引擎單元401更新渲染疊加到場(chǎng)景中； 視頻檢索單元403，用于根據(jù)增強(qiáng)現(xiàn)實(shí)引擎單元401提供的目標(biāo)標(biāo)識(shí)從終端本地或服務(wù)器檢索對(duì)應(yīng)的視頻內(nèi)容，并返回給視頻播放單元402。
[0040]由于播放在線網(wǎng)絡(luò)視頻時(shí)，通常都會(huì)有至少幾秒鐘的延遲，增強(qiáng)現(xiàn)實(shí)引擎單元401可以在當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在后，將一張靜態(tài)圖片作為紋理渲染疊加到場(chǎng)景的目標(biāo)區(qū)域上，同時(shí)通知視頻播放單元402加載和播放目標(biāo)對(duì)應(yīng)的視頻內(nèi)容，在視頻播放的幀畫面的位置大于零時(shí)，使用視頻播放單元402提供的視頻幀畫面渲染疊加到場(chǎng)景的目標(biāo)區(qū)域上。
[0041]在使用標(biāo)記作為目標(biāo)時(shí)，為了提供更多的在線視頻內(nèi)容，可以結(jié)合條形碼技術(shù)。終端還可以包括條形碼處理單元，目標(biāo)的類型為標(biāo)記，標(biāo)記包括黑色矩形邊框，在黑色矩形邊框的其中一邊區(qū)域中包含反色的一維條形碼，增強(qiáng)現(xiàn)實(shí)引擎單元在當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)標(biāo)記存在時(shí)，由條形碼處理單元截取當(dāng)前場(chǎng)景圖像中目標(biāo)標(biāo)記的黑色矩形邊框的邊區(qū)域，對(duì)邊區(qū)域先進(jìn)行反色處理，然后從中檢測(cè)并解析一維條形碼，視頻播放單元根據(jù)條形碼的解析結(jié)果加載并播放對(duì)應(yīng)的視頻內(nèi)容，當(dāng)獲取視頻的幀畫面的位置大于零時(shí)，增強(qiáng)現(xiàn)實(shí)引擎單元將幀畫面渲染疊加到終端顯示場(chǎng)景中的目標(biāo)區(qū)域上。
[0042]視頻區(qū)域可以和目標(biāo)區(qū)域不同，在終端中存儲(chǔ)有預(yù)先設(shè)置的視頻區(qū)域與目標(biāo)區(qū)域的偏移參數(shù)，偏移參數(shù)包括視頻區(qū)域相對(duì)目標(biāo)區(qū)域的尺寸比例，以及中心點(diǎn)的偏移向量；增強(qiáng)現(xiàn)實(shí)引擎單元在當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在，播放視頻的幀畫面的位置大于零時(shí)，根據(jù)目標(biāo)的當(dāng)前位置以及預(yù)設(shè)的所述偏移參數(shù)確定視頻區(qū)域，將視頻的幀畫面渲染疊加到相應(yīng)位置的視頻區(qū)域上顯示。
[0043]另外增強(qiáng)現(xiàn)實(shí)引擎單元在當(dāng)前場(chǎng)景圖像中檢測(cè)到視頻對(duì)應(yīng)的目標(biāo)消失預(yù)定時(shí)長(zhǎng)后，可以通知視頻播放單元暫停播放視頻，并記錄視頻播放的當(dāng)前位置；后續(xù)增強(qiáng)現(xiàn)實(shí)引擎單元在檢測(cè)到視頻對(duì)應(yīng)的目標(biāo)重新出現(xiàn)時(shí)，繼續(xù)通知視頻播放單元從所記錄的位置開(kāi)始播放視頻，并將視頻播放單元提供的幀畫面渲染疊加到場(chǎng)景中顯示。
[0044]可以理解，基于本發(fā)明精神，可以有更多實(shí)施例；上述各個(gè)實(shí)施例、各個(gè)步驟、單元之間也可以相互合理組合得到新的實(shí)施例；上述各個(gè)單元可以在能夠?qū)崿F(xiàn)共同目的的前提下任意合并、改變隸屬關(guān)系、拆分、組合，本發(fā)明實(shí)施例不作限定。以上所揭露的僅為本發(fā)明的較佳實(shí)施例而已，當(dāng)然不能以此來(lái)限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明申請(qǐng)專利范圍所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。
【權(quán)利要求】
1.一種提供增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，該方法包括步驟: 終端通過(guò)攝像頭獲取當(dāng)前場(chǎng)景圖像，并將其顯示在終端屏幕上； 在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在； 加載與所述目標(biāo)對(duì)應(yīng)的視頻內(nèi)容； 播放所述視頻內(nèi)容； 獲取所述視頻當(dāng)前幀畫面的位置； 當(dāng)所述幀畫面的位置大于零時(shí)，才將幀畫面渲染疊加到終端屏幕上顯示的場(chǎng)景中； 隨著視頻的播放進(jìn)度，將后續(xù)的幀畫面更新渲染疊加到場(chǎng)景中； 所述幀畫面在場(chǎng)景中的顯示區(qū)域根據(jù)所述目標(biāo)的尺寸和當(dāng)前姿態(tài)數(shù)據(jù)確定。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在后，將一張靜態(tài)圖片作為紋理渲染疊加到場(chǎng)景的目標(biāo)區(qū)域上； 同時(shí)加載和播放所述目標(biāo)對(duì)應(yīng)的視頻內(nèi)容； 在所述視頻播放的幀畫面的位置大于零時(shí)，使用所述視頻幀畫面渲染疊加到場(chǎng)景的目標(biāo)區(qū)域上。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)的類型為標(biāo)記，所述標(biāo)記包括黑色矩形邊框，在所述黑色矩形邊框的其中一邊區(qū)域中包含反色的一維條形碼； 在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)標(biāo)記存在時(shí)，截取當(dāng)前場(chǎng)景圖像中所述目標(biāo)標(biāo)記的黑色矩形邊框的邊區(qū)域； 對(duì)所述邊區(qū)域先進(jìn)行反色處理，然后從中檢測(cè)并解析一維條形碼； 根據(jù)所述條形碼的解析結(jié)果加載并播放對(duì)應(yīng)的視頻內(nèi)容； 當(dāng)獲取所述視頻的幀畫面的位置大于零時(shí)，將幀畫面渲染疊加到終端顯示場(chǎng)景中的目標(biāo)區(qū)域上。
4.根據(jù)權(quán)利要求1至3所述的任一方法，其特征在于，預(yù)先設(shè)置視頻區(qū)域與目標(biāo)區(qū)域的偏移參數(shù)，所述偏移參數(shù)包括視頻區(qū)域相對(duì)目標(biāo)區(qū)域的尺寸比例，以及中心點(diǎn)的偏移向量; 在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在，播放視頻的幀畫面的位置大于零時(shí)，根據(jù)所述目標(biāo)的當(dāng)前位置以及預(yù)設(shè)的所述偏移參數(shù)確定視頻區(qū)域，將所述視頻的幀畫面渲染疊加到相應(yīng)位置的視頻區(qū)域上顯示。
5.根據(jù)權(quán)利要求1至4所述的任一方法，其特征在于，在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到所述視頻對(duì)應(yīng)的目標(biāo)消失預(yù)定時(shí)長(zhǎng)后，暫停播放所述視頻，并記錄視頻播放的當(dāng)前位置； 后續(xù)在檢測(cè)到所述視頻對(duì)應(yīng)的目標(biāo)重新出現(xiàn)時(shí)，繼續(xù)從所記錄的位置開(kāi)始播放視頻，并將所述視頻的幀畫面渲染疊加到場(chǎng)景中顯示。
6.一種提供增強(qiáng)現(xiàn)實(shí)的終端，其特征在于，所述終端包括: 增強(qiáng)現(xiàn)實(shí)引擎單元，用于通過(guò)攝像頭獲取當(dāng)前場(chǎng)景圖像，并將其顯示在終端屏幕上，檢測(cè)當(dāng)前場(chǎng)景中的目標(biāo)，有目標(biāo)存在時(shí)通知視頻播放單元開(kāi)始播放相應(yīng)的視頻，并將視頻播放單元提供的視頻的幀畫面渲染疊加到場(chǎng)景中； 視頻播放單元，用于在增強(qiáng)現(xiàn)實(shí)引擎單元檢測(cè)到有目標(biāo)存在時(shí)，通過(guò)視頻檢索單元獲取相應(yīng)的視頻內(nèi)容，加載與所述目標(biāo)對(duì)應(yīng)的視頻內(nèi)容，播放所述視頻內(nèi)容，獲取所述視頻當(dāng)前幀畫面的位置，當(dāng)所述幀畫面的位置大于零時(shí)，通過(guò)增強(qiáng)現(xiàn)實(shí)引擎單元將幀畫面渲染疊加到終端屏幕上顯示的場(chǎng)景中，隨著視頻的播放進(jìn)度，將后續(xù)的幀畫面通過(guò)增強(qiáng)現(xiàn)實(shí)引擎單元更新渲染疊加到場(chǎng)景中； 視頻檢索單元，用于根據(jù)增強(qiáng)現(xiàn)實(shí)引擎單元提供的目標(biāo)標(biāo)識(shí)從終端本地或服務(wù)器檢索對(duì)應(yīng)的視頻內(nèi)容，并返回給視頻播放單元。
7.根據(jù)權(quán)利要求6所述的終端，其特征在于，增強(qiáng)現(xiàn)實(shí)引擎單元在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在后，將一張靜態(tài)圖片作為紋理渲染疊加到場(chǎng)景的目標(biāo)區(qū)域上，同時(shí)通知視頻播放單元加載和播放所述目標(biāo)對(duì)應(yīng)的視頻內(nèi)容，在所述視頻播放的幀畫面的位置大于零時(shí)，使用所述視頻播放單元提供的視頻幀畫面渲染疊加到場(chǎng)景的目標(biāo)區(qū)域上。
8.根據(jù)權(quán)利要求6所述的終端，其特征在于，還包括條形碼處理單元，所述目標(biāo)的類型為標(biāo)記，所述標(biāo)記包括黑色矩形邊框，在所述黑色矩形邊框的其中一邊區(qū)域中包含反色的一維條形碼，增強(qiáng)現(xiàn)實(shí)引擎單元在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)標(biāo)記存在時(shí)，由條形碼處理單元截取當(dāng)前場(chǎng)景圖像中所述目標(biāo)標(biāo)記的黑色矩形邊框的邊區(qū)域，對(duì)所述邊區(qū)域先進(jìn)行反色處理，然后從中檢測(cè)并解析一維條形碼，視頻播放單元根據(jù)所述條形碼的解析結(jié)果加載并播放對(duì)應(yīng)的視頻內(nèi)容，當(dāng)獲取所述視頻的幀畫面的位置大于零時(shí)，增強(qiáng)現(xiàn)實(shí)引擎單元將幀畫面渲染疊加到終端顯示場(chǎng)景中的目標(biāo)區(qū)域上。
9.根據(jù)權(quán)利要求6所述的終端，其特征在于，所述終端中存儲(chǔ)有預(yù)先設(shè)置視頻區(qū)域與目標(biāo)區(qū)域的偏移參數(shù)，所述偏移參數(shù)包括視頻區(qū)域相對(duì)于目標(biāo)區(qū)域的尺寸比例，以及中心點(diǎn)的偏移向量； 增強(qiáng)現(xiàn)實(shí)引擎單元在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到有目標(biāo)存在，播放視頻的幀畫面的位置大于零時(shí)，根據(jù)所述目標(biāo)的當(dāng)前位置以及預(yù)設(shè)的所述偏移參數(shù)確定視頻區(qū)域，將所述視頻的幀畫面渲染疊加到相應(yīng)的視頻區(qū)域上顯示。
10.根據(jù)權(quán)利要求6至9所述的任一終端，其特征在于，增強(qiáng)現(xiàn)實(shí)引擎單元在所述當(dāng)前場(chǎng)景圖像中檢測(cè)到所述視頻對(duì)應(yīng)的目標(biāo)消失預(yù)定時(shí)長(zhǎng)后，通知視頻播放單元暫停播放所述視頻，并記錄視頻播放的當(dāng)前位置；` 后續(xù)增強(qiáng)現(xiàn)實(shí)引擎單元在檢測(cè)到所述視頻對(duì)應(yīng)的目標(biāo)重新出現(xiàn)時(shí)，繼續(xù)通知視頻播放單元從所記錄的位置開(kāi)始播放視頻，并將視頻播放單元提供的幀畫面渲染疊加到場(chǎng)景中顯/Jn ο
【文檔編號(hào)】G06T7/00GK103559713SQ201310551040
【公開(kāi)日】2014年2月5日 申請(qǐng)日期:2013年11月10日 優(yōu)先權(quán)日:2013年11月10日
【發(fā)明者】溫馨 申請(qǐng)人:深圳市幻實(shí)科技有限公司