專利名稱：基于條形碼的增強(qiáng)現(xiàn)實方法、系統(tǒng)及移動終端的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及移動增強(qiáng)現(xiàn)實領(lǐng)域，尤其涉及一種基于條形碼的增強(qiáng)現(xiàn)實方法、系統(tǒng)及移動終端。
背景技術(shù)：
近年來，條形碼技術(shù)(包括一維條形碼、二維條形碼等)得到了廣泛應(yīng)用，同時增強(qiáng)現(xiàn)實(AR, Augumented Reality)技術(shù)也在一些應(yīng)用中開始出現(xiàn),增強(qiáng)現(xiàn)實是在真實環(huán)境呈現(xiàn)的場景中，借助與計算機(jī)圖形技術(shù)和可視化技術(shù)，將虛擬信息實時“無縫”與之融合，利用虛擬信息對真實場景進(jìn)行補(bǔ)充、增強(qiáng)，能可給予用戶完全區(qū)別于傳統(tǒng)PC平臺的全新的感知體驗和交互模式?，F(xiàn)有條形碼技術(shù)和增效現(xiàn)實技術(shù)一般都是單獨(dú)使用的，單獨(dú)使用條形碼只能得到 條形碼對應(yīng)的網(wǎng)址，使用起來不夠炫；而單獨(dú)使用現(xiàn)有增強(qiáng)現(xiàn)實技術(shù)，系統(tǒng)的響應(yīng)時間長，海量數(shù)據(jù)應(yīng)用可行性低。當(dāng)然也有少數(shù)公開方案將條形碼與增強(qiáng)現(xiàn)實技術(shù)結(jié)合，如中國發(fā)明專利CN200910224378. 9(公布號CN102087743A)中公開了一種條形碼擴(kuò)充實境系統(tǒng)與方法，其技術(shù)方案中，條形碼擴(kuò)充實境方法主要是根據(jù)取得的條形碼標(biāo)志的空間信息，將虛擬信息堆棧到實境影像或另一背景圖像中(參見權(quán)利要求16及說明書
、
段)，該方法虛擬信息的堆棧位置，主要取決于條形碼標(biāo)志的影像信息，如果在虛擬信息堆棧過程中，將該條形碼部分或全部遮擋，該方法將無法找到虛擬信息堆棧位置，造成堆棧位置偏差，影響用戶體驗。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于條形碼的增強(qiáng)現(xiàn)實方法、系統(tǒng)及移動終端，用完全不同于上述專利公開的技術(shù)，將人們開始廣泛使用的二維碼與增強(qiáng)現(xiàn)實技術(shù)相結(jié)合，既解決了單獨(dú)使用條形碼不夠炫，又能解決單獨(dú)使用現(xiàn)有增強(qiáng)現(xiàn)實技術(shù)響應(yīng)時間長的問題，能給予用戶完全區(qū)別于傳統(tǒng)拍照應(yīng)用的全新感知體驗和交互模式。為了實現(xiàn)上述發(fā)明目的，本發(fā)明提供了一種基于條形碼的增強(qiáng)現(xiàn)實方法，包括用攝像機(jī)捕獲當(dāng)前場景圖像，所述當(dāng)前場景圖像包括目標(biāo)圖像和條形碼，所述條形碼標(biāo)志的內(nèi)容為目標(biāo)圖像的索引值；解析所述條形碼，并根據(jù)解析出的條形碼內(nèi)容在圖像數(shù)據(jù)庫中搜索與當(dāng)前場景圖像中的目標(biāo)圖像匹配的樣本圖像及虛擬信息資源URI ；實時連續(xù)地對攝像機(jī)捕獲的當(dāng)前場景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣；根據(jù)所述單應(yīng)性矩陣及虛擬信息資源URI，在攝像機(jī)捕獲的當(dāng)前場景圖像中的目標(biāo)圖像位置上，渲染并輸出顯示所述與目標(biāo)圖像匹配的虛擬信息。優(yōu)選的，所述條形碼為一維條形碼或二維條形碼或彩色條形碼。
優(yōu)選的，所述對攝像機(jī)捕獲的當(dāng)前場景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣，包括對攝像機(jī)捕獲的當(dāng)前場景圖像進(jìn)行特征檢測，提取出圖像特征點(diǎn)，并對圖像特征點(diǎn)進(jìn)行特征描述，得到當(dāng)前場景圖像整幅圖像的特征描述數(shù)據(jù)；根據(jù)當(dāng)前場景圖像的特征描述數(shù)據(jù)及樣本圖像的特征描述數(shù)據(jù)，對攝像機(jī)捕獲的當(dāng)前場景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣。優(yōu)選的，當(dāng)所述與目標(biāo)圖像匹配的虛擬信息資源為視頻資源時，還包括對所述視頻資源進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；而所述根據(jù)所述單應(yīng)性矩陣及虛擬信息資源URI，在攝像機(jī)捕獲的當(dāng)前場景圖像中的目標(biāo)圖像位置上，渲染并輸出顯示所述與目標(biāo)圖像匹配的虛擬信息步驟，進(jìn)一步包括根據(jù)所述單應(yīng)性矩陣，繪制出能將當(dāng)前場景圖像中的目標(biāo)圖像完全覆蓋的矩形平面3D模型； 將所述視頻各幀圖像序列中的視頻幀圖像作為紋理逐幀映射到所述3D模型上，進(jìn)行圖形渲染；將攝像機(jī)捕獲的當(dāng)前場景圖像與渲染的3D模型融合輸出顯示，并同步輸出所述音頻數(shù)據(jù)。相應(yīng)的，本發(fā)明還提供了一種基于條形碼的增強(qiáng)現(xiàn)實系統(tǒng)，包括攝像模塊、圖像特征提取模塊、條形碼解碼模塊、搜索模塊、圖像跟蹤配準(zhǔn)模塊、圖像渲染模塊、虛實融合顯示模塊，其中攝像模塊，用于捕獲當(dāng)前場景圖像，所述當(dāng)前場景圖像包括目標(biāo)圖像和條形碼，所述條形碼標(biāo)志的內(nèi)容為目標(biāo)圖像的索引值，所述條形碼可以為一維條形碼，也可以為二維條形碼、彩色條形碼及其衍生的編解碼，還可以為自定義編解碼方式編出的條碼圖案；條形碼解析模塊，解析攝像模塊捕獲的條形碼，得到攝像模塊捕獲圖像中的目標(biāo)圖像的索引值；搜索模塊，根據(jù)條形碼解析模塊解析出的索引值，在圖像數(shù)據(jù)庫中進(jìn)行搜索，將匹配成功的樣本圖像的特征描述數(shù)據(jù)傳遞給圖像跟蹤配準(zhǔn)模塊，同時將匹配成功的虛擬信息資源URI傳遞給圖形渲染模塊；圖像特征提取模塊，對攝像模塊捕獲的當(dāng)前場景圖像進(jìn)行特征點(diǎn)檢測及提取，并生成特征點(diǎn)描述，得到當(dāng)前場景圖像的特征描述數(shù)據(jù)；圖像跟蹤配準(zhǔn)模塊，根據(jù)搜索模塊返回的樣本圖像的特征描述數(shù)據(jù)及圖像特征提取模塊產(chǎn)生的當(dāng)前場景圖像的特征描述數(shù)據(jù)，實時連續(xù)地對攝像模塊捕獲的當(dāng)前場景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，得到單應(yīng)性矩陣；圖形渲染模塊，根據(jù)圖像跟蹤配準(zhǔn)模塊計算出的單應(yīng)性矩陣及虛擬信息資源URI，在攝像模塊捕獲的當(dāng)前場景圖像中的目標(biāo)圖像位置上，渲染與目標(biāo)圖像匹配的虛擬信息；虛實融合顯示模塊，將攝像模塊捕獲的當(dāng)前場景圖像與圖形渲染模塊渲染的虛擬信息融合輸出顯不。優(yōu)選的，所述系統(tǒng)還包括音視頻分離及解碼模塊，當(dāng)所述搜索模塊搜索得到的與目標(biāo)圖像匹配的虛擬信息為視頻資源時所述搜索模塊將匹配成功的視頻資源URI傳遞給音視頻分離及解碼模塊；
所述音視頻分離及解碼模塊，根據(jù)搜索模塊得到的視頻資源的URI，找到對應(yīng)的視頻文件，并對所述視頻文件進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；并將所述視頻各幀圖像序列傳遞給圖形渲染模塊，將所述音頻數(shù)據(jù)傳遞給虛實融合顯示模塊；所述圖形渲染模塊，根據(jù)圖像跟蹤配準(zhǔn)模塊計算出的單應(yīng)性矩陣，繪制出能將當(dāng)前場景圖像中的目標(biāo)圖像完全覆蓋的矩形平面3D模型，并將音視頻分離及解碼模塊提取出來的視頻各幀圖像作為紋理逐幀映射到所述3D模型上，完成圖形渲染；所述虛實融合顯示模塊，將攝像機(jī)模塊捕獲的當(dāng)前場景圖像與圖形渲染模塊渲染的虛擬信息融合輸出顯示,并同步輸出音頻數(shù)據(jù)。相應(yīng)的，本發(fā)明還提供了一種移動終端，所述移動終端包括上述的基于條形碼的增強(qiáng)現(xiàn)實系統(tǒng)。
·
本發(fā)明具有如下有意效果I、通過條形碼來進(jìn)行圖像搜索，縮短圖像配準(zhǔn)時間，在海量樣本圖像條件下，仍能到達(dá)系統(tǒng)實時性要求，極大提高了增強(qiáng)現(xiàn)實在海量樣本圖像數(shù)據(jù)下的應(yīng)用的可行性；2、將復(fù)雜的圖像搜索通過條形碼、二維碼及其衍生的編解碼方式，簡化為整形數(shù)據(jù)搜索或者字符串匹配，降低了系統(tǒng)是實現(xiàn)的難度；3、由于條形碼僅用于搜索，在搜索完成后，無論條形碼是否遮擋，均可以準(zhǔn)確地在目標(biāo)圖像上進(jìn)行虛擬信息渲染。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖圖I為本發(fā)明實施例中基于條形碼的增強(qiáng)現(xiàn)實系統(tǒng)結(jié)構(gòu)示意圖一；圖2為圖I中系統(tǒng)進(jìn)行虛擬信息疊加的過程及效果示意圖；圖3為本發(fā)明實施例中基于條形碼的增強(qiáng)現(xiàn)實系統(tǒng)結(jié)構(gòu)示意圖二 ；圖4為圖2中系統(tǒng)進(jìn)行虛擬信息疊加的過程及效果示意圖；圖5為本發(fā)明實施例中基于條形碼的增強(qiáng)現(xiàn)實方法的流程示意圖；圖6為自定義條形碼標(biāo)志中的一種形式示意圖。
具體實施例方式下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。參見圖1，為本發(fā)明實施例中基于條形碼的增強(qiáng)現(xiàn)實系統(tǒng)結(jié)構(gòu)示意圖一，該系統(tǒng)包括攝像模塊I (攝像模塊包括移動終端中的攝像機(jī))、條形碼解碼模塊2、搜索模塊3、圖像特征提取模塊4、圖像跟蹤配準(zhǔn)模塊5、圖像渲染模塊6、虛實融合顯示模塊7，其中
所述攝像模塊1，用于捕獲當(dāng)前場景圖像，所述當(dāng)前場景圖像包括目標(biāo)圖像和條形碼，所述條形碼標(biāo)志的內(nèi)容為目標(biāo)圖像的索引值，所述條形碼可以為一維條形碼，也可以為二維條形碼、彩色條形碼及其衍生的編解碼，還可以為自定義編解碼方式編出的條碼圖案(參見圖6)。所述攝像模塊I分別與條形碼解碼模塊2、圖像特征提取模塊4和虛實融合顯示模塊7相連，攝像模塊I將捕獲的條形碼圖像傳遞給條形碼解碼模塊2進(jìn)行解碼，將捕獲的當(dāng)前場景圖像傳給圖像特征提取模塊4用于特征提取，同時將捕獲的圖像傳遞給虛實融合顯不模塊7用于融合輸出顯不。所述條形碼解析模塊2，用于解析攝像模塊I捕獲的條形碼，得到攝像模塊I所捕獲的圖像中的目標(biāo)圖像的索引值；所述搜索模塊3，用于根據(jù)條形碼解析模塊2解析出的索引值，在服務(wù)器端的圖像數(shù)據(jù)庫中進(jìn)行搜索，將匹配成功的樣本圖像的特征描述數(shù)據(jù)傳遞給圖像跟蹤配準(zhǔn)模塊5，同時將匹配成功的虛擬信息資源URI傳遞給圖形渲染模塊6。本實施例中條形碼與樣本圖像是一一對應(yīng)的，因此系統(tǒng)能夠通過對條形碼的解碼搜索到相匹配的樣本圖像及其相關(guān)資 源。所述圖像特征提取模塊4，用于對攝像模塊捕獲的當(dāng)前場景圖像進(jìn)行特征點(diǎn)檢測及提取，并生成特征點(diǎn)描述，得到當(dāng)前場景圖像的特征描述數(shù)據(jù)，并將其傳遞給圖像跟蹤配準(zhǔn)模塊5。所述圖像跟蹤配準(zhǔn)模塊5，根據(jù)搜索模塊3返回的樣本圖像的特征描述數(shù)據(jù)及圖像特征提取模塊4產(chǎn)生的當(dāng)前場景圖像的特征描述數(shù)據(jù)，實時連續(xù)地對攝像模塊I捕獲的當(dāng)前場景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計算攝像模塊的姿態(tài)，得到單應(yīng)性矩陣，并將單應(yīng)性矩陣傳遞給圖形渲染模塊6。所述圖形渲染模塊6，根據(jù)圖像跟蹤配準(zhǔn)模塊5計算出的單應(yīng)性矩陣及搜索模塊3返回的虛擬信息資源URI，在攝像模塊I捕獲的當(dāng)前場景圖像中的目標(biāo)圖像位置上，渲染與目標(biāo)圖像匹配的虛擬信息；虛實融合顯示模塊7，將攝像模塊I捕獲的當(dāng)前場景圖像與圖形渲染模塊6渲染的虛擬信息融合輸出顯示。在本實施例中，由于搜索是按照條形碼代表的索引值進(jìn)行的，攝像模塊I可以一直同時拍攝條形碼與目標(biāo)圖像，也可以先拍攝條形碼，再拍攝目標(biāo)圖像，即攝像模塊先拍攝條形碼實現(xiàn)搜索，再通過拍攝目標(biāo)圖像實現(xiàn)圖像跟蹤配準(zhǔn)，以疊加虛擬信息。在搜索過程完成后，無論條形碼是否處于遮擋狀態(tài)或是否處于攝像模塊拍攝范圍內(nèi)，虛擬信息的疊加均不受影響。參見圖2，為圖I中系統(tǒng)進(jìn)行虛擬信息疊加的過程及效果示意圖，攝像模塊捕獲的當(dāng)前場景圖像即圖2中的真實場景圖像，如圖2示例真實場景圖像中包含有目標(biāo)圖像和位于目標(biāo)圖像附近的條形碼，該條形碼解碼后得到目標(biāo)圖像的索引值(如圖2中的110101101001100011)，根據(jù)該索引值，在服務(wù)器端的圖像數(shù)據(jù)庫中進(jìn)行搜索，得到匹配的樣本圖像和虛擬信息資源(或虛擬信息資源的URI)，所述虛擬信息資源的內(nèi)容可以是3D模型或者視頻，如圖2以3D模型資源為例。在通過條形碼搜索到樣本圖像以后，對攝像機(jī)捕獲的真是場景圖像和樣本圖像進(jìn)行配準(zhǔn)并跟蹤，計算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣，并根據(jù)單應(yīng)性矩陣，在攝像機(jī)捕獲圖像中的目標(biāo)圖像位置上渲染所述3D模型。
本發(fā)明實施例中，根據(jù)索引的不同，樣本圖像的存儲結(jié)構(gòu)與搜索方式也有差異若索引為無符號整形，則使用B樹，B+樹，B*樹，Hash表等方法進(jìn)行索引；若索引為字符串，則使用字典樹。除了使用標(biāo)準(zhǔn)的一維條形碼和二維碼編解碼來實現(xiàn)圖像搜索功能，也可自定義編解碼方式和條碼圖案，來滿足美觀上的需求。例如圖6所示，將條形碼用黑白方塊代替，其中黑色代表1，白色代表0，反之亦可，如此與產(chǎn)品Logo融為一體(圖6中的Idealsee為Logo)，既不會給用戶突兀的感覺，又能用簡單的編解碼方式得到目標(biāo)圖像的索引，需要說明的是，圖6中的自定義編碼方式僅僅為一種示例，并不代表僅能用這種自定義編碼形式，不能作為對本發(fā)明的限定。參見圖3，為本發(fā)明實施例中基于條形碼的增強(qiáng)現(xiàn)實系統(tǒng)結(jié)構(gòu)示意圖二，本實施例增強(qiáng)現(xiàn)實系統(tǒng)在圖I的基礎(chǔ)上增加了一個音視頻分離及解碼模塊8，當(dāng)所述搜索模塊3搜索得到的與目標(biāo)圖像匹配的虛擬信息為視頻資源時所述搜索模塊3將匹配成功的視頻資源URI傳遞給音視頻分離及解碼模塊；所述音視頻分離及解碼模塊8，根據(jù)來自搜索模塊3的視頻資源的URI，找到對應(yīng) 的視頻文件，并對所述視頻文件進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；并將所述視頻各幀圖像序列傳遞給圖形渲染模塊6，將所述音頻數(shù)據(jù)傳遞給虛實融合顯示模塊7 ;所述圖形渲染模塊6，根據(jù)圖像跟蹤配準(zhǔn)模塊5計算出的單應(yīng)性矩陣，繪制出能將當(dāng)前場景圖像中的目標(biāo)圖像完全覆蓋的矩形平面3D模型，并將音視頻分離及解碼模塊提取出來的視頻各幀圖像作為紋理逐幀映射到所述3D模型上，并實時更新，完成圖形渲染；所述與目標(biāo)圖像完全覆蓋包括與目標(biāo)圖像重合，例如當(dāng)目標(biāo)圖像為長方形時，可繪制出完全與目標(biāo)圖像重合的長方形平面3D模型，而當(dāng)目標(biāo)圖像為非矩形形狀時，則繪制出完全覆蓋該目標(biāo)圖像的矩形平面3D模型。所述虛實融合顯示模塊7，將攝像機(jī)模塊I捕獲的當(dāng)前場景圖像與圖形渲染模塊6渲染的虛擬信息融合輸出顯示，并同步輸出音頻數(shù)據(jù)。音頻數(shù)據(jù)和視頻幀圖像能夠?qū)崿F(xiàn)同步，需要在視頻文件分離為視頻流和音頻流之后，對兩者進(jìn)行數(shù)據(jù)包分割。其中，視頻數(shù)據(jù)包根據(jù)其時間戳按照先后順序組成鏈表，形成一個有序隊列，分別對每個數(shù)據(jù)包進(jìn)行解碼并提取其中的圖像，則得到視頻每一幀的圖像序列，用時間戳控制圖像序列的輸出。圖形渲染模塊則將視頻幀圖像作為紋理映射到3D模型上時，由于輸出圖像隨時間有序變化,3D模型的紋理也隨之變化，完成視頻的播放。此外，音頻流也被分為數(shù)據(jù)包，以視頻數(shù)據(jù)包的時間戳為基準(zhǔn)，調(diào)整音頻數(shù)據(jù)包的輸出，使音視頻同步輸出。本發(fā)明實施例能通過將虛擬視頻文件分離解碼，將視頻疊加到真實場景中，如能將報刊雜志等平面媒體上的圖片信息，通過本系統(tǒng)轉(zhuǎn)化為視頻信息，視頻與圖片在空間位置上完全貼合，使用戶獲得“寓情于景”的全新視聽體驗。參見圖4，為圖3系統(tǒng)中虛擬信息疊加的過程及效果示意圖，同樣是通過條形碼解碼出來的索引值，去服務(wù)器端的數(shù)據(jù)庫中搜索匹配的樣本圖像和虛擬信息資源。當(dāng)搜索出的虛擬信息資源為視頻資源時，首選繪制出與目標(biāo)圖像位置重合的3D模型，同時將視頻文件分離解碼，從分離出來視頻幀圖像序列中提取出視頻各幀圖像，并將其作為紋理逐幀映射到長方形平面3D模型上，實時更新，完成圖形渲染，實現(xiàn)將視頻疊加到真實場景中的目標(biāo)圖片上，同時根據(jù)視頻圖像的渲染進(jìn)度同步輸出從視頻文件中分離出來的音頻數(shù)據(jù)。參見圖5，為本發(fā)明實施例中基于條形碼的增強(qiáng)現(xiàn)實方法的流程示意圖，包括如下步驟SlOl :用攝像機(jī)捕獲當(dāng)前場景圖像 ，所述當(dāng)前場景圖像包括目標(biāo)圖像和條形碼，所述條形碼標(biāo)志的內(nèi)容為目標(biāo)圖像的索引值，所述條形碼可以為常規(guī)使用的一維條形碼或二維條形碼或彩色條形碼，也可以為自定義的各種編碼。S102 :解析所述條形碼，并根據(jù)解析出的條形碼內(nèi)容(即索引值)在服務(wù)器端的圖像數(shù)據(jù)庫中搜索與當(dāng)前場景圖像中的目標(biāo)圖像匹配的樣本圖像及虛擬信息資源URI ；S103:實時連續(xù)地對攝像機(jī)捕獲的當(dāng)前場景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣；S104:根據(jù)所述單應(yīng)性矩陣及虛擬信息資源URI，在攝像機(jī)捕獲的當(dāng)前場景圖像中的目標(biāo)圖像位置上，渲染并輸出顯示所述與目標(biāo)圖像匹配的虛擬信息。其中，步驟S103中，得到單應(yīng)性矩陣的過程具體為對攝像機(jī)捕獲的當(dāng)前場景圖像進(jìn)行特征檢測，提取出圖像特征點(diǎn)，并對圖像特征點(diǎn)進(jìn)行特征描述，得到當(dāng)前場景圖像整幅圖像的特征描述數(shù)據(jù)；根據(jù)當(dāng)前場景圖像的特征描述數(shù)據(jù)及樣本圖像的特征描述數(shù)據(jù)，對攝像機(jī)捕獲的當(dāng)前場景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣。優(yōu)選的，當(dāng)步驟S102中搜索得到的與目標(biāo)圖像匹配的虛擬信息資源為視頻資源時，本發(fā)明實施例中，增強(qiáng)現(xiàn)實的方法還包括對所述視頻信息進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；在這種情況下，步驟S104進(jìn)一步包括根據(jù)所述單應(yīng)性矩陣，繪制出能將當(dāng)前場景圖像中的目標(biāo)圖像完全覆蓋的矩形平面3D模型；將所述視頻各幀圖像序列中的視頻幀圖像作為紋理逐幀映射到所述3D模型上，進(jìn)行圖形渲染；將攝像機(jī)捕獲的當(dāng)前場景圖像與渲染的3D模型融合輸出顯示，并同步輸出所述音頻數(shù)據(jù)。在本實施例方法中，由于搜索是按照條形碼代表的索引值進(jìn)行的，攝像機(jī)可以一直同時拍攝條形碼與目標(biāo)圖像，也可以先拍攝條形碼，再拍攝目標(biāo)圖像，即攝像機(jī)先拍攝條形碼實現(xiàn)搜索，再通過拍攝目標(biāo)圖像實現(xiàn)圖像跟蹤配準(zhǔn)，以疊加虛擬信息。在搜索過程完成后，無論條形碼是否處于遮擋狀態(tài)或是否處于攝像模塊拍攝范圍內(nèi)，虛擬信息的疊加均不受影響。本發(fā)明實施例基于條形碼的增強(qiáng)現(xiàn)實方法的過程及效果，同樣可參見圖2或圖4。本發(fā)明除了上述的增強(qiáng)現(xiàn)實系統(tǒng)和方法外，還提供了一種移動終端，所述移動終端包括上述的基于條形碼的增強(qiáng)現(xiàn)實系統(tǒng)。本發(fā)明通過條形碼或二維碼來進(jìn)行圖像搜索，縮短圖像配準(zhǔn)時間，能在海量樣本圖像條件下，達(dá)到系統(tǒng)實時性要求。本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。本說明書(包括任何附加權(quán)利要求、摘要和附圖)中公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的替代特征加以替換。即，除非特別敘述，每個特征只是一系列等效或類似特征中的一個例子而已。本發(fā)明并不局限于前述的具體實施方式
。本發(fā)明擴(kuò)展到任何在本說明書中披露的新特征或任何新的組合，以及披露的任一新的方法或過程的步驟或任何新的組合。
權(quán)利要求
1.一種基于條形碼的增強(qiáng)現(xiàn)實方法，其特征在于，包括 用攝像機(jī)捕獲當(dāng)前場景圖像，所述當(dāng)前場景圖像包括目標(biāo)圖像和條形碼，所述條形碼標(biāo)志的內(nèi)容為目標(biāo)圖像的索引值； 解析所述條形碼，并根據(jù)解析出的條形碼內(nèi)容在圖像數(shù)據(jù)庫中搜索與當(dāng)前場景圖像中的目標(biāo)圖像匹配的樣本圖像及虛擬信息資源URI ； 實時連續(xù)地對攝像機(jī)捕獲的當(dāng)前場景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣； 根據(jù)所述單應(yīng)性矩陣及虛擬信息資源URI，在攝像機(jī)捕獲的當(dāng)前場景圖像中的目標(biāo)圖像位置上，渲染并輸出顯示所述與目標(biāo)圖像匹配的虛擬信息。
2.如權(quán)利要求I所述的方法，其特征在于，所述條形碼包括一維條形碼或二維條形碼或彩色條形碼。
3.如權(quán)利要求2所述的方法，其特征在于，所述對攝像機(jī)捕獲的當(dāng)前場景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣，包括 對攝像機(jī)捕獲的當(dāng)前場景圖像進(jìn)行特征檢測，提取出圖像特征點(diǎn)，并對圖像特征點(diǎn)進(jìn)行特征描述，得到當(dāng)前場景圖像整幅圖像的特征描述數(shù)據(jù)； 根據(jù)當(dāng)前場景圖像的特征描述數(shù)據(jù)及樣本圖像的特征描述數(shù)據(jù)，對攝像機(jī)捕獲的當(dāng)前場景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，計算攝像機(jī)的姿態(tài)，得到單應(yīng)性矩陣。
4.如權(quán)利要求I至3中任一項所述的方法，其特征在于，當(dāng)所述與目標(biāo)圖像匹配的虛擬信息資源為視頻資源時，還包括對所述視頻資源進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)； 而所述根據(jù)所述單應(yīng)性矩陣及虛擬信息資源URI，在攝像機(jī)捕獲的當(dāng)前場景圖像中的目標(biāo)圖像位置上，渲染并輸出顯示所述與目標(biāo)圖像匹配的虛擬信息步驟，進(jìn)一步包括 根據(jù)所述單應(yīng)性矩陣，繪制出能將當(dāng)前場景圖像中的目標(biāo)圖像完全覆蓋的矩形平面3D模型； 將所述視頻各幀圖像序列中的視頻幀圖像作為紋理逐幀映射到所述3D模型上，進(jìn)行圖形渲染； 將攝像機(jī)捕獲的當(dāng)前場景圖像與渲染的3D模型融合輸出顯示，并同步輸出所述音頻數(shù)據(jù)。
5.一種基于條形碼的增強(qiáng)現(xiàn)實系統(tǒng)，其特征在于，包括攝像模塊、圖像特征提取模塊、條形碼解碼模塊、搜索模塊、圖像跟蹤配準(zhǔn)模塊、圖像渲染模塊、虛實融合顯示模塊，其中 攝像模塊，用于捕獲當(dāng)前場景圖像，所述當(dāng)前場景圖像包括目標(biāo)圖像和條形碼，所述條形碼標(biāo)志的內(nèi)容為目標(biāo)圖像的索引值； 條形碼解析模塊，解析攝像模塊捕獲的條形碼，得到攝像模塊捕獲圖像中的目標(biāo)圖像的索引值； 搜索模塊，根據(jù)條形碼解析模塊解析出的索引值，在圖像數(shù)據(jù)庫中進(jìn)行搜索，將匹配成功的樣本圖像的特征描述數(shù)據(jù)傳遞給圖像跟蹤配準(zhǔn)模塊，同時將匹配成功的虛擬信息資源URI傳遞給圖形渲染模塊； 圖像特征提取模塊，對攝像模塊捕獲的當(dāng)前場景圖像進(jìn)行特征點(diǎn)檢測及提取，并生成特征點(diǎn)描述，得到當(dāng)前場景圖像的特征描述數(shù)據(jù)；圖像跟蹤配準(zhǔn)模塊，根據(jù)搜索模塊返回的樣本圖像的特征描述數(shù)據(jù)及圖像特征提取模塊產(chǎn)生的當(dāng)前場景圖像的特征描述數(shù)據(jù)，實時連續(xù)地對攝像模塊捕獲的當(dāng)前場景圖像和樣本圖像進(jìn)行跟蹤配準(zhǔn)，得到單應(yīng)性矩陣； 圖形渲染模塊，根據(jù)圖像跟蹤配準(zhǔn)模塊計算出的單應(yīng)性矩陣及虛擬信息資源URI，在攝像模塊捕獲的當(dāng)前場景圖像中的目標(biāo)圖像位置上，渲染與目標(biāo)圖像匹配的虛擬信息； 虛實融合顯示模塊，將攝像模塊捕獲的當(dāng)前場景圖像與圖形渲染模塊渲染的虛擬信息融合輸出顯不。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括音視頻分離及解碼模塊，當(dāng)所述搜索模塊搜索得到的與目標(biāo)圖像匹配的虛擬信息為視頻資源時 所述搜索模塊將匹配成功的視頻資源URI傳遞給音視頻分離及解碼模塊； 所述音視頻分離及解碼模塊，根據(jù)搜索模塊得到的視頻資源的URI，找到對應(yīng)的視頻文件，并對所述視頻文件進(jìn)行音視頻分離和解碼，得到視頻各幀圖像序列和音頻數(shù)據(jù)；并將所述視頻各幀圖像序列傳遞給圖形渲染模塊，將所述音頻數(shù)據(jù)傳遞給虛實融合顯示模塊；所述圖形渲染模塊，根據(jù)圖像跟蹤配準(zhǔn)模塊計算出的單應(yīng)性矩陣，繪制出能將當(dāng)前場景圖像中的目標(biāo)圖像完全覆蓋的矩形平面3D模型，并將音視頻分離及解碼模塊提取出來的視頻各幀圖像作為紋理逐幀映射到所述3D模型上，完成圖形渲染； 所述虛實融合顯示模塊，將攝像機(jī)模塊捕獲的當(dāng)前場景圖像與圖形渲染模塊渲染的虛擬信息融合輸出顯示，并同步輸出音頻數(shù)據(jù)。
7.如權(quán)利要求5或6所述的系統(tǒng)，其特征在于，所述條形碼為一維條形碼或二維條形碼或彩色條形碼。
8.一種移動終端，其特征在于，所述移動終端包括權(quán)利要求5至7中任一項所述的基于條形碼的增強(qiáng)現(xiàn)實系統(tǒng)。
全文摘要
本發(fā)明公開了一種基于條形碼的增強(qiáng)現(xiàn)實方法，將條形碼技術(shù)與增強(qiáng)現(xiàn)實技術(shù)相結(jié)合，用條形碼做索引進(jìn)行樣本圖像及虛擬信息資源搜索，將復(fù)雜的圖像搜索通過條形碼、二維碼及其衍生的編解碼方式，簡化為整形數(shù)據(jù)搜索或者字符串匹配，降低了系統(tǒng)是實現(xiàn)的難度，相應(yīng)的，本發(fā)明還公開了一種基于條形碼的增強(qiáng)現(xiàn)實系統(tǒng)及移動終端，極大提高了增強(qiáng)現(xiàn)實在海量樣本圖像數(shù)據(jù)下的應(yīng)用的可行性。
文檔編號G06F17/30GK102902710SQ20121028014
公開日2013年1月30日 申請日期2012年8月8日 優(yōu)先權(quán)日2012年8月8日
發(fā)明者柳寅秋, 李薪宇, 宋海濤 申請人:成都理想境界科技有限公司