本發(fā)明涉及終端設(shè)備技術(shù)領(lǐng)域,具體而言,本發(fā)明涉及一種擴(kuò)展信息的展示方法以及一種擴(kuò)展信息的展示裝置。
背景技術(shù):
隨著時(shí)代的發(fā)展,信息擴(kuò)展技術(shù)已被廣泛應(yīng)用,其中,人們?cè)谌粘I钪谐S玫亩S碼掃描就是其中的應(yīng)用最廣泛的一種。用戶通過(guò)終端設(shè)備的攝像頭掃描二維碼即可實(shí)現(xiàn)快速便捷地瀏覽網(wǎng)頁(yè)、下載圖文、音樂(lè)、視頻、獲取優(yōu)惠券、參與抽獎(jiǎng)、了解企業(yè)產(chǎn)品信息,從而省去了在終端設(shè)備上輸入U(xiǎn)RL的繁瑣操作過(guò)程,實(shí)現(xiàn)一鍵上網(wǎng)。同時(shí),還可以方便地使用終端設(shè)備識(shí)別和存儲(chǔ)聯(lián)系人名片、自動(dòng)輸入短信、獲取公共服務(wù)(如天氣預(yù)報(bào))、通過(guò)電子地圖進(jìn)行查詢定位、進(jìn)行電子閱讀等多種功能。
在現(xiàn)有技術(shù)中,通過(guò)二維碼掃描獲取的擴(kuò)展信息不乏枯燥無(wú)味,由于擴(kuò)展信息展現(xiàn)的局限性導(dǎo)致用戶獲得到的信息大部分僅僅是以文字或圖片形式呈現(xiàn)的信息,即使用戶可以通過(guò)擴(kuò)展信息進(jìn)行相應(yīng)的交互操作,也是單一的文字交互操作,并不生動(dòng)而又有趣。
技術(shù)實(shí)現(xiàn)要素:
為克服上述技術(shù)問(wèn)題或者至少部分地解決上述技術(shù)問(wèn)題,特提出以下技術(shù)方案:
本發(fā)明的一個(gè)實(shí)施例提出了一種擴(kuò)展信息的展示方法,包括:
通過(guò)視頻捕捉設(shè)備獲取待識(shí)別視頻信息;
基于預(yù)定的識(shí)別方法識(shí)別待識(shí)別視頻信息,以確定與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果;
基于識(shí)別結(jié)果生成擴(kuò)展信息獲取請(qǐng)求,并將擴(kuò)展信息獲取請(qǐng)求發(fā)送至服務(wù)器;
接收服務(wù)器基于擴(kuò)展信息獲取請(qǐng)求返回的擴(kuò)展信息;
依據(jù)與擴(kuò)展信息匹配的展示方式展示擴(kuò)展信息。
優(yōu)選地,基于預(yù)定的識(shí)別方法識(shí)別待識(shí)別視頻信息,包括:
提取待識(shí)別視頻信息中的視頻幀;
基于圖像識(shí)別技術(shù)識(shí)別提取到的視頻幀中的圖像信息。
優(yōu)選地,視頻幀中的圖像信息包括物品圖像信息、物品標(biāo)識(shí)信息、背景圖像信息和商品標(biāo)識(shí)碼中的至少一種。
優(yōu)選地,依據(jù)與擴(kuò)展信息匹配的展示方式展示擴(kuò)展信息,包括:
實(shí)時(shí)通過(guò)視頻捕捉設(shè)備捕捉實(shí)景視頻信息;
以實(shí)景視頻信息為背景將擴(kuò)展信息進(jìn)行疊加展示。
優(yōu)選地,若擴(kuò)展信息是三維動(dòng)畫信息,其中,以實(shí)景視頻信息為背景將擴(kuò)展信息進(jìn)行疊加展示,包括:
通過(guò)預(yù)定的三維動(dòng)畫播放引擎將擴(kuò)展信息以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行疊加展示。
優(yōu)選地,通過(guò)預(yù)定的三維動(dòng)畫播放引擎將擴(kuò)展信息以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行展現(xiàn),包括:
基于擴(kuò)展信息構(gòu)建三維動(dòng)畫模型;
通過(guò)預(yù)定的三維動(dòng)畫播放引擎將三維動(dòng)畫模型以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行疊加展現(xiàn)。
可選地,該方法還包括:
判斷與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果是否為信息擴(kuò)展對(duì)象;
若是,則執(zhí)行基于識(shí)別結(jié)果生成擴(kuò)展信息獲取請(qǐng)求,并將擴(kuò)展信息獲取請(qǐng)求發(fā)送至服務(wù)器的步驟。
本發(fā)明的另一實(shí)施例提出了一種擴(kuò)展信息的展示裝置,包括:
獲取模塊,用于通過(guò)視頻捕捉設(shè)備獲取待識(shí)別視頻信息;
識(shí)別模塊,用于基于預(yù)定的識(shí)別方法識(shí)別待識(shí)別視頻信息,以確定與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果;
生成及發(fā)送模塊,用于基于識(shí)別結(jié)果生成擴(kuò)展信息獲取請(qǐng)求,并將擴(kuò)展信息獲取請(qǐng)求發(fā)送至服務(wù)器;
接收模塊,用于接收服務(wù)器基于擴(kuò)展信息獲取請(qǐng)求返回的擴(kuò)展信息;
展示模塊,用于依據(jù)與擴(kuò)展信息匹配的展示方式展示擴(kuò)展信息。
優(yōu)選地,識(shí)別模塊包括:
幀提取單元,用于提取待識(shí)別視頻信息中的視頻幀;
信息識(shí)別單元,用于基于圖像識(shí)別技術(shù)識(shí)別提取到的視頻幀中的圖像信息。
優(yōu)選地,視頻幀中的圖像信息包括物品圖像信息、物品標(biāo)識(shí)信息、背景圖像信息和商品標(biāo)識(shí)碼中的至少一種。
優(yōu)選地,展示模塊包括:
信息捕捉單元,用于實(shí)時(shí)通過(guò)視頻捕捉設(shè)備捕捉實(shí)景視頻信息;
疊加展示單元,用于以實(shí)景視頻信息為背景將擴(kuò)展信息進(jìn)行疊加展示。
優(yōu)選地,若擴(kuò)展信息是三維動(dòng)畫信息,其中,疊加展示單元用于通過(guò)預(yù)定的三維動(dòng)畫播放引擎將擴(kuò)展信息以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行疊加展示。
優(yōu)選地,疊加展示單元包括:
模型構(gòu)建子單元,用于基于擴(kuò)展信息構(gòu)建三維動(dòng)畫模型;
疊加展現(xiàn)子單元,用于通過(guò)預(yù)定的三維動(dòng)畫播放引擎將三維動(dòng)畫模型以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行疊加展現(xiàn)。
可選地,該裝置還包括:
判斷模塊,用于判斷與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果是否為信息擴(kuò)展對(duì)象;
其中,當(dāng)與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果是信息擴(kuò)展對(duì)象時(shí),生成及發(fā)送模塊執(zhí)行基于識(shí)別結(jié)果生成擴(kuò)展信息獲取請(qǐng)求,并將擴(kuò)展信息獲取請(qǐng)求發(fā)送至服務(wù)器的操作。
本發(fā)明的技術(shù)方案解決了如何將擴(kuò)展信息以更豐富的展現(xiàn)形式進(jìn)行展現(xiàn)的問(wèn)題。首先,基于預(yù)定的識(shí)別方法識(shí)別待識(shí)別視頻信息,以確定與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果,通過(guò)該步驟可以對(duì)待識(shí)別視頻信息中提供的任何形式的信息進(jìn)行識(shí)別,識(shí)別的內(nèi)容打破了單一的條形碼、二維碼的局限性;其次,依據(jù)與擴(kuò)展信息匹配的展示方式展示擴(kuò)展信息,該步驟使得擴(kuò)展信息可以通過(guò)與擴(kuò)展信息匹配的展示方式進(jìn)行展示,采用生動(dòng)、靈活的展示形式來(lái)展示擴(kuò)展信息,為用戶帶來(lái)更有趣味的感官體驗(yàn)。
本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出,這些將從下面的描述中變得明顯,或通過(guò)本發(fā)明的實(shí)踐了解到。
附圖說(shuō)明
本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解,其中:
圖1為本發(fā)明一個(gè)實(shí)施例的擴(kuò)展信息的展示方法的流程示意圖;
圖2為本發(fā)明一個(gè)實(shí)施例的擴(kuò)展信息的展示方法的視頻幀示意圖;
圖3為本發(fā)明一個(gè)實(shí)施例的擴(kuò)展信息的展示方法的三維動(dòng)畫模型示意圖;
圖4為本發(fā)明另一實(shí)施例的擴(kuò)展信息的展示裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面詳細(xì)描述本發(fā)明的實(shí)施例,所述實(shí)施例的示例在附圖中示出,其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的,僅用于解釋本發(fā)明,而不能解釋為對(duì)本發(fā)明的限制。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,除非特意聲明,這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是,本發(fā)明的說(shuō)明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件,但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解,當(dāng)我們稱元件被“連接”或“耦接”到另一元件時(shí),它可以直接連接或耦接到其他元件,或者也可以存在中間元件。此外,這里使用的“連接”或“耦接”可以包括無(wú)線連接或無(wú)線耦接。這里使用的措辭“和/或”包括一個(gè)或更多個(gè)相關(guān)聯(lián)的列出項(xiàng)的全部或任一單元和全部組合。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,除非另外定義,這里使用的所有術(shù)語(yǔ)(包括技術(shù)術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ)),具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是,諸如通用字典中定義的那些術(shù)語(yǔ),應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義,并且除非像這里一樣被特定定義,否則不會(huì)用理想化或過(guò)于正式的含義來(lái)解釋。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,這里所使用的“終端”、“終端設(shè)備”既包括無(wú)線信號(hào)接收器的設(shè)備,其僅具備無(wú)發(fā)射能力的無(wú)線信號(hào)接收器的設(shè)備,又包括接收和發(fā)射硬件的設(shè)備,其具有能夠在雙向通信鏈路上,進(jìn)行雙向通信的接收和發(fā)射硬件的設(shè)備。這種設(shè)備可以包括:蜂窩或其他通信設(shè)備,其具有單線路顯示器或多線路顯示器或沒(méi)有多線路顯示器的蜂窩或其他通信設(shè)備;PCS(Personal Communications Service,個(gè)人通信系統(tǒng)),其可以組合語(yǔ)音、數(shù)據(jù)處理、傳真和/或數(shù)據(jù)通信能力;PDA(Personal Digital Assistant,個(gè)人數(shù)字助理),其可以包括射頻接收器、尋呼機(jī)、互聯(lián)網(wǎng)/內(nèi)聯(lián)網(wǎng)訪問(wèn)、網(wǎng)絡(luò)瀏覽器、記事本、日歷和/或GPS(Global Positioning System,全球定位系統(tǒng))接收器;常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備,其具有和/或包括射頻接收器的常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備。這里所使用的“終端”、“終端設(shè)備”可以是便攜式、可運(yùn)輸、安裝在交通工具(航空、海運(yùn)和/或陸地)中的,或者適合于和/或配置為在本地運(yùn)行,和/或以分布形式,運(yùn)行在地球和/或空間的任何其他位置運(yùn)行。這里所使用的“終端”、“終端設(shè)備”還可以是通信終端、上網(wǎng)終端、音樂(lè)/視頻播放終端,例如可以是PDA、MID(Mobile Internet Device,移動(dòng)互聯(lián)網(wǎng)設(shè)備)和/或具有音樂(lè)/視頻播放功能的移動(dòng)電話,也可以是智能電視、機(jī)頂盒等設(shè)備。
圖1為本發(fā)明一個(gè)實(shí)施例的擴(kuò)展信息的展示方法的流程示意圖。
隨著終端設(shè)備如智能手機(jī)的不斷發(fā)展,如增強(qiáng)了CPU的運(yùn)算能力、配備了功能強(qiáng)大的傳感器設(shè)備、增加了視頻捕捉設(shè)備獲取的視頻清晰度等,終端設(shè)備處理任務(wù)的能力也隨之不斷增強(qiáng),可以處理的任務(wù)種類也不斷增多,上述技術(shù)上的改進(jìn)為終端設(shè)備能夠提供更優(yōu)的信息展示效果奠定了堅(jiān)實(shí)的基礎(chǔ)。除此之外,如今的用戶已不滿足于通過(guò)搜索引擎手動(dòng)執(zhí)行搜索來(lái)獲取到其關(guān)注事物的相關(guān)信息,而更多地希望通過(guò)智能的方式直接獲取到其所關(guān)注的事物的擴(kuò)展信息,同時(shí)結(jié)合終端設(shè)備強(qiáng)大的處理任務(wù)的能力和軟件技術(shù)上的不斷創(chuàng)新,本發(fā)明實(shí)施例提供的方法可以實(shí)現(xiàn)上述可能。
步驟S110:通過(guò)視頻捕捉設(shè)備獲取待識(shí)別視頻信息。
在實(shí)際應(yīng)用場(chǎng)景中,用戶可以通過(guò)智能手機(jī)中的攝像頭裝置進(jìn)行待識(shí)別視頻信息的獲取操作。
步驟S120:基于預(yù)定的識(shí)別方法識(shí)別待識(shí)別視頻信息,以確定與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果。
需要說(shuō)明的是,若從待識(shí)別視頻信息中提取到商品標(biāo)識(shí)碼,則讀取商品標(biāo)識(shí)碼中的條形碼或二維碼的數(shù)據(jù)信息,并依據(jù)數(shù)據(jù)信息確定與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果。
優(yōu)選地,基于預(yù)定的識(shí)別方法識(shí)別待識(shí)別視頻信息的步驟包括步驟S121和步驟S122:步驟S121:提取待識(shí)別視頻信息中的視頻幀;步驟S122:基于圖像識(shí)別技術(shù)識(shí)別提取到的視頻幀中的圖像信息。
首先,提取待識(shí)別視頻信息中的視頻幀。
例如,通過(guò)攝像頭設(shè)備對(duì)實(shí)物進(jìn)行拍攝操作,該拍攝操作持續(xù)3秒,若每一秒都包括25幀圖像,則通過(guò)3秒的拍攝操作可以獲取75幀圖像;隨后,分別提取75幀圖像;進(jìn)一步地,還可以將上述75幀圖像中對(duì)焦不清晰的幀圖像刪除,以提高圖像信息識(shí)別的準(zhǔn)確率。
優(yōu)選地,視頻幀中的圖像信息包括但不限于物品圖像信息、物品標(biāo)識(shí)信息、背景圖像信息和商品標(biāo)識(shí)碼中的至少一種。
其中,圖像信息不局限于商品標(biāo)識(shí)碼如條形碼、二維碼,還包括物品圖像如一瓶可口可樂(lè)的包裝罐、物品標(biāo)識(shí)如“Coca-Cola”、背景圖像如以可口可樂(lè)公司大樓為背景的圖像、以新聞事發(fā)地為背景的圖像等圖像信息。在具體應(yīng)用場(chǎng)景中,當(dāng)對(duì)可口可樂(lè)的包裝罐、“Coca-Cola”標(biāo)識(shí)和可口可樂(lè)公司大樓為背景的圖像進(jìn)行信息擴(kuò)展時(shí),都可以獲取到與可口可樂(lè)產(chǎn)品相關(guān)的廣告信息。如圖2所示,是本發(fā)明一個(gè)實(shí)施例的擴(kuò)展信息的展示方法的視頻幀示意圖,其中,通過(guò)視頻捕捉設(shè)備獲取到的待識(shí)別視頻信息中的一幀圖像為可口可樂(lè)的包裝罐圖像。
接著,基于圖像識(shí)別技術(shù)識(shí)別提取到的視頻幀中的圖像信息。
需要說(shuō)明的是,存在多種可以對(duì)提取到的視頻幀中的圖像信息進(jìn)行識(shí)別的方法,在本發(fā)明實(shí)施例中不一一詳盡舉例,只對(duì)其中一種進(jìn)行說(shuō)明,以供參考。
具體地,首先,提取圖像信息中的圖像特征信息;隨后,根據(jù)圖像特征信息在圖像索引庫(kù)中進(jìn)行匹配,以確定圖像特征信息匹配度高于預(yù)定閾值的索引庫(kù)圖像;最后,通過(guò)索引庫(kù)圖像確定與圖像信息相應(yīng)的識(shí)別結(jié)果。
首先,提取圖像信息中的圖像特征信息。
其中,圖像特征信息可以包括但不限于圖像的顏色特征、紋理特征、形狀特征和空間關(guān)系特征。
具體地,顏色特征是一種全局特征,描述了圖像信息或圖像信息中局部區(qū)域所對(duì)應(yīng)的物體的表面性質(zhì)。顏色特征是基于像素點(diǎn)的特征,所有屬于圖像信息或圖像信息中局部區(qū)域的像素相結(jié)合以形成完整的顏色特征。顏色直方圖是最常用的表達(dá)顏色特征的方法,通過(guò)常用的顏色空間:RGB顏色空間、HSV顏色空間來(lái)對(duì)顏色特征進(jìn)行描述。
紋理特征也是一種全局特征,它也描述了圖像信息或圖像信息中局部區(qū)域所對(duì)應(yīng)物體的表面性質(zhì)。與顏色特征不同,紋理特征不是基于像素點(diǎn)的特征,其需要在包含多個(gè)像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算。作為一種統(tǒng)計(jì)特征,紋理特征常具有旋轉(zhuǎn)不變性,并且對(duì)于噪聲有較強(qiáng)的抵抗能力。
形狀特征包括兩類表示方法:一類是輪廓特征,另一類是區(qū)域特征。圖像的輪廓特征主要關(guān)注物體的外邊界,而圖像的區(qū)域特征則關(guān)系到整個(gè)形狀區(qū)域。常用的提取圖片形狀特征的方法包括:傅里葉形狀描述符法,通過(guò)物體邊界的傅里葉變換作為形狀描述。
空間關(guān)系特征是指圖像中分割出來(lái)的多個(gè)目標(biāo)之間的相互的空間位置或相對(duì)方向關(guān)系,這些關(guān)系也可分為連接關(guān)系、鄰接關(guān)系、交疊關(guān)系、重疊關(guān)系、包含關(guān)系、包容關(guān)系等。通常空間位置信息可以分為兩類:相對(duì)空間位置信息和絕對(duì)空間位置信息。常用的提取圖像空間關(guān)系特征可以有兩種方法:一種方法是首先對(duì)圖像進(jìn)行自動(dòng)分割,劃分出圖像中所包含的對(duì)象或顏色區(qū)域,然后根據(jù)這些區(qū)域提取圖像特征,并建立索引;另一種方法則簡(jiǎn)單地將圖像均勻地劃分為若干規(guī)則子塊,然后對(duì)每個(gè)圖像子塊提取特征,并建立索引。
接著,在提取到用于描述圖像信息的圖像的顏色特征、紋理特征、形狀特征和空間關(guān)系特征等圖像特征信息后,根據(jù)圖像特征信息在圖像索引庫(kù)中進(jìn)行匹配,以確定圖像特征信息匹配度高于預(yù)定閾值的索引庫(kù)圖像。
需要說(shuō)明的是,上述圖像識(shí)別方法是通過(guò)“以圖識(shí)圖”的方式進(jìn)行圖像識(shí)別的,該方法充分利用了圖像索引庫(kù)中預(yù)先存儲(chǔ)的大量的索引庫(kù)圖像進(jìn)行圖像識(shí)別,以減小在終端設(shè)備中通過(guò)單一圖像直接進(jìn)行圖像識(shí)別的資源開(kāi)銷。當(dāng)將待識(shí)別的圖像信息與索引庫(kù)圖像匹配成功時(shí),即可通過(guò)索引庫(kù)圖像確定待識(shí)別的圖像信息的識(shí)別結(jié)果。
步驟S130:基于識(shí)別結(jié)果生成擴(kuò)展信息獲取請(qǐng)求,并將擴(kuò)展信息獲取請(qǐng)求發(fā)送至服務(wù)器。
需要說(shuō)明的是,當(dāng)服務(wù)器接收到終端設(shè)備發(fā)送的擴(kuò)展信息獲取請(qǐng)求時(shí),可以提取擴(kuò)展信息獲取請(qǐng)求中包含的與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果;接著,在預(yù)先建立的擴(kuò)展信息庫(kù)中確定與識(shí)別結(jié)果相應(yīng)的擴(kuò)展信息;隨后,將與識(shí)別結(jié)果相應(yīng)的擴(kuò)展信息發(fā)送至終端設(shè)備。
其中,擴(kuò)展信息包括但不限于文字信息、圖片信息、音頻信息、二維動(dòng)畫信息、三維動(dòng)畫信息、互動(dòng)操作相關(guān)信息等。
步驟S140:接收服務(wù)器基于擴(kuò)展信息獲取請(qǐng)求返回的擴(kuò)展信息。
步驟S150:依據(jù)與擴(kuò)展信息匹配的展示方式展示擴(kuò)展信息。
需要說(shuō)明的是,依據(jù)與擴(kuò)展信息匹配的展示方式展示擴(kuò)展信息,若擴(kuò)展信息是二維動(dòng)畫信息,則可以直接播放二維動(dòng)畫如Flash動(dòng)畫;若擴(kuò)展信息是三維動(dòng)畫信息,則依據(jù)預(yù)定的三維動(dòng)畫展示方式展示三維動(dòng)畫。
優(yōu)選地,依據(jù)與擴(kuò)展信息匹配的展示方式展示擴(kuò)展信息的步驟包括步驟S151和步驟S152:步驟S151:實(shí)時(shí)通過(guò)視頻捕捉設(shè)備捕捉實(shí)景視頻信息;步驟S152:以實(shí)景視頻信息為背景將擴(kuò)展信息進(jìn)行疊加展示。
具體地,上述本發(fā)明提供的優(yōu)選實(shí)施例可以通過(guò)AR(Augmented Reality,增強(qiáng)現(xiàn)實(shí)技術(shù))相關(guān)技術(shù)實(shí)現(xiàn),以到達(dá)將現(xiàn)實(shí)圖像與虛擬圖像進(jìn)行結(jié)合的目的,從而給用戶更豐富的視覺(jué)體驗(yàn)。在終端設(shè)備上通過(guò)AR技術(shù)可以實(shí)現(xiàn)逼真的視、挺、力、觸和動(dòng)等感覺(jué)的虛擬環(huán)境,通過(guò)多種傳感設(shè)備使用戶“沉浸”到虛擬環(huán)境中,用戶不僅能夠通過(guò)虛擬現(xiàn)實(shí)畫面感受到在客觀物理世界中所經(jīng)歷的“身臨其境”的逼真性,而且能夠突破空間、時(shí)間以及其它客觀因素的限制,感受到在真實(shí)世界中無(wú)法親身經(jīng)歷的體驗(yàn)。AR技術(shù)可以作為VR(Virtual Reality,虛擬實(shí)境)技術(shù)當(dāng)中的一個(gè)分支技術(shù),然而AR技術(shù)與VR技術(shù)略為不同的是VR技術(shù)創(chuàng)造了一個(gè)全新的虛擬世界出來(lái)。AR技術(shù)的三個(gè)要素:
1.Combines real and virtual(結(jié)合虛擬與現(xiàn)實(shí));
2.Interactive in real time(即時(shí)互動(dòng));
3.Registered in 3-D(3D定位)。
通常地,為了實(shí)現(xiàn)AR技術(shù)展現(xiàn)的視覺(jué)效果,用戶可以透過(guò)特定裝置來(lái)進(jìn)行觀看。早先大部分針對(duì)AR技術(shù)的研究主要是透過(guò)HMD(Head-Mounted Display,頭罩式裝置)進(jìn)行研究的,其技術(shù)大概分成光學(xué)式(Optical)與影像式(Video)兩種,前者是透明裝置,用戶可以直接透過(guò)光學(xué)式的透明裝置觀察到真實(shí)世界的影像,HMD裝置會(huì)通過(guò)另外的投影設(shè)備把虛擬影像投射在光學(xué)式的透明裝置上;影像式的HMD裝置是不透明裝置,用戶觀察到的是由終端設(shè)備處理好的、已實(shí)現(xiàn)虛實(shí)結(jié)合的影像。頭罩式的HMD裝置顯得尤為麻煩,現(xiàn)如今通過(guò)智能手機(jī)的發(fā)展,已徹底改變了AR技術(shù)的樣貌:而智能手機(jī)已同時(shí)集成強(qiáng)大的運(yùn)算能力的CPU、視頻捕捉設(shè)備、高清的顯示屏等,當(dāng)然還有定位設(shè)備、網(wǎng)絡(luò)連接設(shè)備、觸控設(shè)備、傾斜度偵測(cè)傳感器等額外設(shè)備,因此,以智能手機(jī)為平臺(tái)的AR技術(shù)的研究越來(lái)越蓬勃。
首先,實(shí)時(shí)通過(guò)視頻捕捉設(shè)備捕捉實(shí)景視頻信息;接著,以實(shí)景視頻信息為背景將擴(kuò)展信息進(jìn)行疊加展示,其中,實(shí)景視頻信息為實(shí)時(shí)實(shí)地捕捉的視頻信息,擴(kuò)展信息則是通過(guò)服務(wù)器獲取到的虛擬信息。
更優(yōu)選地,若擴(kuò)展信息是三維動(dòng)畫信息,則以實(shí)景視頻信息為背景將擴(kuò)展信息進(jìn)行疊加展示的步驟包括:通過(guò)預(yù)定的三維動(dòng)畫播放引擎將擴(kuò)展信息以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行疊加展示。
其中,預(yù)定的三維動(dòng)畫播放引擎可以是AR引擎和\或Cocos2d-X引擎,對(duì)此本發(fā)明不作限定。Cocos2d-x引擎最初只是二維游戲引擎,但是從3.0版本以上開(kāi)始,Cocos2d-x引擎增加了三維動(dòng)畫播放的功能。
優(yōu)選地,通過(guò)預(yù)定的三維動(dòng)畫播放引擎將擴(kuò)展信息以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行展現(xiàn)的步驟包括步驟S153和步驟S154:步驟S153:基于擴(kuò)展信息構(gòu)建三維動(dòng)畫模型;步驟S154:通過(guò)預(yù)定的三維動(dòng)畫播放引擎將三維動(dòng)畫模型以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行疊加展現(xiàn)。
首先,基于擴(kuò)展信息中包含的用于構(gòu)建三維動(dòng)畫模型的基本元素信息構(gòu)建三維動(dòng)畫模型。
例如,基于擴(kuò)展信息構(gòu)建三維精靈模型,其中,構(gòu)建三維精靈模型的具體代碼可如下所示:
Konglong3D=cocos2d::Sprite3D::create("KL.c3t");
auto animation=Animation3D::create("KL.c3t");
cocos2d::Animate3D*_swim=Animate3D::create(animation);
Sequence*pSequence=Sequence::create(_swim,NULL);
Konglong3D->runAction(RepeatForever::create(pSequence));
Konglong3D->setScale(0.001);
Konglong3D->setVisible(false);
addChild(Konglong3D);
Konglong3D->setPosition3D(Vec3(0,0,0));
Konglong3D->setRotation3D(Vec3(0,0,0));
需要說(shuō)明的是,構(gòu)建的三維精靈模型不僅僅包括三維精靈本身,還包括該三維精靈可以進(jìn)行的基本動(dòng)作的動(dòng)畫元素。
接著,通過(guò)預(yù)定的三維動(dòng)畫播放引擎將三維動(dòng)畫模型以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行疊加展現(xiàn)。
例如,可以通過(guò)Cocos2d-X引擎將三維動(dòng)畫模型以三維動(dòng)畫的形式進(jìn)行播放,其中,通過(guò)Cocos2d-X引擎播放三維動(dòng)畫的具體代碼可如下所示:
cocos2d::GLView*glview=cocos2d::GLViewImpl::createWithEAGL View((_bridge void*)eaglView);
cocos2d::Director::getInstance()->setOpenGLView(glview);
app->run();
如圖3所示,是本發(fā)明一個(gè)實(shí)施例的擴(kuò)展信息的展示方法的三維動(dòng)畫模型示意圖,其中,三維精靈是一只恐龍,三維精靈可以做預(yù)先設(shè)計(jì)的動(dòng)作如跳躍等動(dòng)作,關(guān)于三維精靈模型的三維動(dòng)畫播放是以實(shí)景場(chǎng)景為背景進(jìn)行的。需要說(shuō)明的是,以實(shí)景視頻信息為背景進(jìn)行三維動(dòng)畫的播放可以提供用戶三維動(dòng)畫模型“活”在面前的視覺(jué)效果,從而為用戶帶來(lái)更生動(dòng)有趣的體驗(yàn)。
例如,用戶對(duì)一件“米奇”書包很感興趣,則可以通過(guò)視頻捕捉設(shè)備拍攝一段包括“米奇”書包的待識(shí)別視頻信息,經(jīng)過(guò)識(shí)別操作可以將人眼可以識(shí)別的待識(shí)別視頻信息轉(zhuǎn)換成終端設(shè)備可以識(shí)別的與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果,最后將與識(shí)別結(jié)果相應(yīng)的擴(kuò)展信息進(jìn)行展示,如將“米老鼠”作為三維精靈以三維動(dòng)畫的方式進(jìn)行展示。更進(jìn)一步地,三維精靈“米老鼠”可以通過(guò)預(yù)定的互動(dòng)方式與用戶進(jìn)行互動(dòng),以使用戶通過(guò)更生動(dòng)的方式了解更多關(guān)于“米奇”書包產(chǎn)品的相關(guān)擴(kuò)展信息。
可選地,本發(fā)明實(shí)施例提供的方法還包括步驟S160和步驟S170:步驟S160:判斷與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果是否為信息擴(kuò)展對(duì)象;步驟S170:若是,則執(zhí)行基于識(shí)別結(jié)果生成擴(kuò)展信息獲取請(qǐng)求,并將擴(kuò)展信息獲取請(qǐng)求發(fā)送至服務(wù)器的步驟。
需要說(shuō)明的是,并非所有識(shí)別結(jié)果都存在與之相應(yīng)的擴(kuò)展信息,擴(kuò)展信息的存在與否是依據(jù)服務(wù)器中預(yù)先建立的擴(kuò)展信息庫(kù)的容量以及是否預(yù)先收錄與識(shí)別結(jié)果相應(yīng)的擴(kuò)展信息決定的。因此,在向服務(wù)器發(fā)送擴(kuò)展信息獲取請(qǐng)求之前,也可以預(yù)先判斷與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果是否為信息擴(kuò)展對(duì)象。具體地,可以通過(guò)終端設(shè)備中預(yù)先存儲(chǔ)的信息擴(kuò)展對(duì)象列表確定識(shí)別結(jié)果是否是信息擴(kuò)展對(duì)象。當(dāng)然,上述操作也可以在服務(wù)器實(shí)現(xiàn),對(duì)比本發(fā)明實(shí)施例不作限定。
本發(fā)明的技術(shù)方案解決了如何將擴(kuò)展信息以更豐富的展現(xiàn)形式進(jìn)行展現(xiàn)的問(wèn)題。首先,基于預(yù)定的識(shí)別方法識(shí)別待識(shí)別視頻信息,以確定與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果,通過(guò)該步驟可以對(duì)待識(shí)別視頻信息中提供的任何形式的信息進(jìn)行識(shí)別,識(shí)別的內(nèi)容打破了單一的條形碼、二維碼的局限性;其次,依據(jù)與擴(kuò)展信息匹配的展示方式展示擴(kuò)展信息,該步驟使得擴(kuò)展信息可以通過(guò)與擴(kuò)展信息匹配的展示方式進(jìn)行展示,采用生動(dòng)、靈活的展示形式來(lái)展示擴(kuò)展信息,為用戶帶來(lái)更有趣味的感官體驗(yàn)。
圖4為本發(fā)明另一實(shí)施例的擴(kuò)展信息的展示裝置的結(jié)構(gòu)示意圖。
隨著終端設(shè)備如智能手機(jī)的不斷發(fā)展,如增強(qiáng)了CPU的運(yùn)算能力、配備了功能強(qiáng)大的傳感器設(shè)備、增加了視頻捕捉設(shè)備獲取的視頻清晰度等,終端設(shè)備處理任務(wù)的能力也隨之不斷增強(qiáng),可以處理的任務(wù)種類也不斷增多,上述技術(shù)上的改進(jìn)為終端設(shè)備能夠提供更優(yōu)的信息展示效果奠定了堅(jiān)實(shí)的基礎(chǔ)。除此之外,如今的用戶已不滿足于通過(guò)搜索引擎手動(dòng)執(zhí)行搜索來(lái)獲取到其關(guān)注事物的相關(guān)信息,而更多地希望通過(guò)智能的方式直接獲取到其所關(guān)注的事物的擴(kuò)展信息,同時(shí)結(jié)合終端設(shè)備強(qiáng)大的處理任務(wù)的能力和軟件技術(shù)上的不斷創(chuàng)新,本發(fā)明實(shí)施例提供的方法可以實(shí)現(xiàn)上述可能。
獲取模塊410通過(guò)視頻捕捉設(shè)備獲取待識(shí)別視頻信息。
在實(shí)際應(yīng)用場(chǎng)景中,用戶可以通過(guò)智能手機(jī)中的攝像頭裝置進(jìn)行待識(shí)別視頻信息的獲取操作。
識(shí)別模塊420基于預(yù)定的識(shí)別方法識(shí)別待識(shí)別視頻信息,以確定與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果。
需要說(shuō)明的是,若從待識(shí)別視頻信息中提取到商品標(biāo)識(shí)碼,則讀取商品標(biāo)識(shí)碼中的條形碼或二維碼的數(shù)據(jù)信息,并依據(jù)數(shù)據(jù)信息確定與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果。
優(yōu)選地,識(shí)別模塊420包括幀提取單元和信息識(shí)別單元:幀提取單元提取待識(shí)別視頻信息中的視頻幀;信息識(shí)別單元基于圖像識(shí)別技術(shù)識(shí)別提取到的視頻幀中的圖像信息。
首先,幀提取單元提取待識(shí)別視頻信息中的視頻幀。
例如,通過(guò)攝像頭設(shè)備對(duì)實(shí)物進(jìn)行拍攝操作,該拍攝操作持續(xù)3秒,若每一秒都包括25幀圖像,則通過(guò)3秒的拍攝操作可以獲取75幀圖像;隨后,分別提取75幀圖像;進(jìn)一步地,還可以將上述75幀圖像中對(duì)焦不清晰的幀圖像刪除,以提高圖像信息識(shí)別的準(zhǔn)確率。
優(yōu)選地,視頻幀中的圖像信息包括但不限于物品圖像信息、物品標(biāo)識(shí)信息、背景圖像信息和商品標(biāo)識(shí)碼中的至少一種。
其中,圖像信息不局限于商品標(biāo)識(shí)碼如條形碼、二維碼,還包括物品圖像如一瓶可口可樂(lè)的包裝罐、物品標(biāo)識(shí)如“Coca-Cola”、背景圖像如以可口可樂(lè)公司大樓為背景的圖像、以新聞事發(fā)地為背景的圖像等圖像信息。在具體應(yīng)用場(chǎng)景中,當(dāng)對(duì)可口可樂(lè)的包裝罐、“Coca-Cola”標(biāo)識(shí)和可口可樂(lè)公司大樓為背景的圖像進(jìn)行信息擴(kuò)展時(shí),都可以獲取到與可口可樂(lè)產(chǎn)品相關(guān)的廣告信息。
接著,信息識(shí)別單元基于圖像識(shí)別技術(shù)識(shí)別提取到的視頻幀中的圖像信息。
需要說(shuō)明的是,存在多種可以對(duì)提取到的視頻幀中的圖像信息進(jìn)行識(shí)別的方法,在本發(fā)明實(shí)施例中不一一詳盡舉例,只對(duì)其中一種進(jìn)行說(shuō)明,以供參考。
具體地,首先,提取圖像信息中的圖像特征信息;隨后,根據(jù)圖像特征信息在圖像索引庫(kù)中進(jìn)行匹配,以確定圖像特征信息匹配度高于預(yù)定閾值的索引庫(kù)圖像;最后,通過(guò)索引庫(kù)圖像確定與圖像信息相應(yīng)的識(shí)別結(jié)果。
首先,提取圖像信息中的圖像特征信息。
其中,圖像特征信息可以包括但不限于圖像的顏色特征、紋理特征、形狀特征和空間關(guān)系特征。
具體地,顏色特征是一種全局特征,描述了圖像信息或圖像信息中局部區(qū)域所對(duì)應(yīng)的物體的表面性質(zhì)。顏色特征是基于像素點(diǎn)的特征,所有屬于圖像信息或圖像信息中局部區(qū)域的像素相結(jié)合以形成完整的顏色特征。顏色直方圖是最常用的表達(dá)顏色特征的方法,通過(guò)常用的顏色空間:RGB顏色空間、HSV顏色空間來(lái)對(duì)顏色特征進(jìn)行描述。
紋理特征也是一種全局特征,它也描述了圖像信息或圖像信息中局部區(qū)域所對(duì)應(yīng)物體的表面性質(zhì)。與顏色特征不同,紋理特征不是基于像素點(diǎn)的特征,其需要在包含多個(gè)像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算。作為一種統(tǒng)計(jì)特征,紋理特征常具有旋轉(zhuǎn)不變性,并且對(duì)于噪聲有較強(qiáng)的抵抗能力。
形狀特征包括兩類表示方法:一類是輪廓特征,另一類是區(qū)域特征。圖像的輪廓特征主要關(guān)注物體的外邊界,而圖像的區(qū)域特征則關(guān)系到整個(gè)形狀區(qū)域。常用的提取圖片形狀特征的方法包括:傅里葉形狀描述符法,通過(guò)物體邊界的傅里葉變換作為形狀描述。
空間關(guān)系特征是指圖像中分割出來(lái)的多個(gè)目標(biāo)之間的相互的空間位置或相對(duì)方向關(guān)系,這些關(guān)系也可分為連接關(guān)系、鄰接關(guān)系、交疊關(guān)系、重疊關(guān)系、包含關(guān)系、包容關(guān)系等。通常空間位置信息可以分為兩類:相對(duì)空間位置信息和絕對(duì)空間位置信息。常用的提取圖像空間關(guān)系特征可以有兩種方法:一種方法是首先對(duì)圖像進(jìn)行自動(dòng)分割,劃分出圖像中所包含的對(duì)象或顏色區(qū)域,然后根據(jù)這些區(qū)域提取圖像特征,并建立索引;另一種方法則簡(jiǎn)單地將圖像均勻地劃分為若干規(guī)則子塊,然后對(duì)每個(gè)圖像子塊提取特征,并建立索引。
接著,在提取到用于描述圖像信息的圖像的顏色特征、紋理特征、形狀特征和空間關(guān)系特征等圖像特征信息后,根據(jù)圖像特征信息在圖像索引庫(kù)中進(jìn)行匹配,以確定圖像特征信息匹配度高于預(yù)定閾值的索引庫(kù)圖像。
需要說(shuō)明的是,上述圖像識(shí)別方法是通過(guò)“以圖識(shí)圖”的方式進(jìn)行圖像識(shí)別的,該方法充分利用了圖像索引庫(kù)中預(yù)先存儲(chǔ)的大量的索引庫(kù)圖像進(jìn)行圖像識(shí)別,以減小在終端設(shè)備中通過(guò)單一圖像直接進(jìn)行圖像識(shí)別的資源開(kāi)銷。當(dāng)將待識(shí)別的圖像信息與索引庫(kù)圖像匹配成功時(shí),即可通過(guò)索引庫(kù)圖像確定待識(shí)別的圖像信息的識(shí)別結(jié)果。
生成及發(fā)送模塊430基于識(shí)別結(jié)果生成擴(kuò)展信息獲取請(qǐng)求,并將擴(kuò)展信息獲取請(qǐng)求發(fā)送至服務(wù)器。
需要說(shuō)明的是,當(dāng)服務(wù)器接收到終端設(shè)備發(fā)送的擴(kuò)展信息獲取請(qǐng)求時(shí),可以提取擴(kuò)展信息獲取請(qǐng)求中包含的與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果;接著,在預(yù)先建立的擴(kuò)展信息庫(kù)中確定與識(shí)別結(jié)果相應(yīng)的擴(kuò)展信息;隨后,將與識(shí)別結(jié)果相應(yīng)的擴(kuò)展信息發(fā)送至終端設(shè)備。
其中,擴(kuò)展信息包括但不限于文字信息、圖片信息、音頻信息、二維動(dòng)畫信息、三維動(dòng)畫信息、互動(dòng)操作相關(guān)信息等。
接收模塊440接收服務(wù)器基于擴(kuò)展信息獲取請(qǐng)求返回的擴(kuò)展信息。
展示模塊450依據(jù)與擴(kuò)展信息匹配的展示方式展示擴(kuò)展信息。
需要說(shuō)明的是,展示模塊450依據(jù)與擴(kuò)展信息匹配的展示方式展示擴(kuò)展信息,若擴(kuò)展信息是二維動(dòng)畫信息,則可以直接播放二維動(dòng)畫如Flash動(dòng)畫;若擴(kuò)展信息是三維動(dòng)畫信息,則依據(jù)預(yù)定的三維動(dòng)畫展示方式展示三維動(dòng)畫。
優(yōu)選地,展示模塊450包括信息捕捉單元和疊加展示單元:信息捕捉單元實(shí)時(shí)通過(guò)視頻捕捉設(shè)備捕捉實(shí)景視頻信息;疊加展示單元以實(shí)景視頻信息為背景將擴(kuò)展信息進(jìn)行疊加展示。
具體地,上述本發(fā)明提供的優(yōu)選實(shí)施例可以通過(guò)AR(Augmented Reality,增強(qiáng)現(xiàn)實(shí)技術(shù))相關(guān)技術(shù)實(shí)現(xiàn),以到達(dá)將現(xiàn)實(shí)圖像與虛擬圖像進(jìn)行結(jié)合的目的,從而給用戶更豐富的視覺(jué)體驗(yàn)。在終端設(shè)備上通過(guò)AR技術(shù)可以實(shí)現(xiàn)逼真的視、挺、力、觸和動(dòng)等感覺(jué)的虛擬環(huán)境,通過(guò)多種傳感設(shè)備使用戶“沉浸”到虛擬環(huán)境中,用戶不僅能夠通過(guò)虛擬現(xiàn)實(shí)畫面感受到在客觀物理世界中所經(jīng)歷的“身臨其境”的逼真性,而且能夠突破空間、時(shí)間以及其它客觀因素的限制,感受到在真實(shí)世界中無(wú)法親身經(jīng)歷的體驗(yàn)。AR技術(shù)可以作為VR(Virtual Reality,虛擬實(shí)境)技術(shù)當(dāng)中的一個(gè)分支技術(shù),然而AR技術(shù)與VR技術(shù)略為不同的是VR技術(shù)創(chuàng)造了一個(gè)全新的虛擬世界出來(lái)。AR技術(shù)的三個(gè)要素:
1.Combines real and virtual(結(jié)合虛擬與現(xiàn)實(shí));
2.Interactive in real time(即時(shí)互動(dòng));
3.Registered in 3-D(3D定位)。
通常地,為了實(shí)現(xiàn)AR技術(shù)展現(xiàn)的視覺(jué)效果,用戶可以透過(guò)特定裝置來(lái)進(jìn)行觀看。早先大部分針對(duì)AR技術(shù)的研究主要是透過(guò)HMD(Head-Mounted Display,頭罩式裝置)進(jìn)行研究的,其技術(shù)大概分成光學(xué)式(Optical)與影像式(Video)兩種,前者是透明裝置,用戶可以直接透過(guò)光學(xué)式的透明裝置觀察到真實(shí)世界的影像,HMD裝置會(huì)通過(guò)另外的投影設(shè)備把虛擬影像投射在光學(xué)式的透明裝置上;影像式的HMD裝置是不透明裝置,用戶觀察到的是由終端設(shè)備處理好的、已實(shí)現(xiàn)虛實(shí)結(jié)合的影像。頭罩式的HMD裝置顯得尤為麻煩,現(xiàn)如今通過(guò)智能手機(jī)的發(fā)展,已徹底改變了AR技術(shù)的樣貌:而智能手機(jī)已同時(shí)集成強(qiáng)大的運(yùn)算能力的CPU、視頻捕捉設(shè)備、高清的顯示屏等,當(dāng)然還有定位設(shè)備、網(wǎng)絡(luò)連接設(shè)備、觸控設(shè)備、傾斜度偵測(cè)傳感器等額外設(shè)備,因此,以智能手機(jī)為平臺(tái)的AR技術(shù)的研究越來(lái)越蓬勃。
首先,實(shí)時(shí)通過(guò)視頻捕捉設(shè)備捕捉實(shí)景視頻信息;接著,以實(shí)景視頻信息為背景將擴(kuò)展信息進(jìn)行疊加展示,其中,實(shí)景視頻信息為實(shí)時(shí)實(shí)地捕捉的視頻信息,擴(kuò)展信息則是通過(guò)服務(wù)器獲取到的虛擬信息。
更優(yōu)選地,若擴(kuò)展信息是三維動(dòng)畫信息,則疊加展示單元用于通過(guò)預(yù)定的三維動(dòng)畫播放引擎將擴(kuò)展信息以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行疊加展示。
其中,預(yù)定的三維動(dòng)畫播放引擎可以是AR引擎和\或Cocos2d-X引擎,對(duì)此本發(fā)明不作限定。Cocos2d-x引擎最初只是二維游戲引擎,但是從3.0版本以上開(kāi)始,Cocos2d-x引擎增加了三維動(dòng)畫播放的功能。
優(yōu)選地,疊加展示單元包括模型構(gòu)建子單元和疊加展現(xiàn)子單元:模型構(gòu)建子單元基于擴(kuò)展信息構(gòu)建三維動(dòng)畫模型;疊加展現(xiàn)子單元通過(guò)預(yù)定的三維動(dòng)畫播放引擎將三維動(dòng)畫模型以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行疊加展現(xiàn)。
首先,模型構(gòu)建子單元基于擴(kuò)展信息中包含的用于構(gòu)建三維動(dòng)畫模型的基本元素信息構(gòu)建三維動(dòng)畫模型。
例如,基于擴(kuò)展信息構(gòu)建三維精靈模型,其中,構(gòu)建三維精靈模型的具體代碼可如下所示:
Konglong3D=cocos2d::Sprite3D::create("KL.c3t");
auto animation=Animation3D::create("KL.c3t");
cocos2d::Animate3D*_swim=Animate3D::create(animation);
Sequence*pSequence=Sequence::create(_swim,NULL);
Konglong3D->runAction(RepeatForever::create(pSequence));
Konglong3D->setScale(0.001);
Konglong3D->setVisible(false);
addChild(Konglong3D);
Konglong3D->setPosition3D(Vec3(0,0,0));
Konglong3D->setRotation3D(Vec3(0,0,0));
需要說(shuō)明的是,構(gòu)建的三維精靈模型不僅僅包括三維精靈本身,還包括該三維精靈可以進(jìn)行的基本動(dòng)作的動(dòng)畫元素。
接著,疊加展現(xiàn)子單元通過(guò)預(yù)定的三維動(dòng)畫播放引擎將三維動(dòng)畫模型以三維動(dòng)畫的形式在實(shí)景視頻信息上進(jìn)行疊加展現(xiàn)。
例如,可以通過(guò)Cocos2d-X引擎將三維動(dòng)畫模型以三維動(dòng)畫的形式進(jìn)行播放,其中,通過(guò)Cocos2d-X引擎播放三維動(dòng)畫的具體代碼可如下所示:
cocos2d::GLView*glview=cocos2d::GLViewImpl::createWithEAGL View((_bridge void*)eaglView);
cocos2d::Director::getInstance()->setOpenGLView(glview);
app->run();
需要說(shuō)明的是,以實(shí)景視頻信息為背景進(jìn)行三維動(dòng)畫的播放可以提供用戶三維動(dòng)畫模型“活”在面前的視覺(jué)效果,從而為用戶帶來(lái)更生動(dòng)有趣的體驗(yàn)。
例如,用戶對(duì)一件“米奇”書包很感興趣,則可以通過(guò)視頻捕捉設(shè)備拍攝一段包括“米奇”書包的待識(shí)別視頻信息,經(jīng)過(guò)識(shí)別操作可以將人眼可以識(shí)別的待識(shí)別視頻信息轉(zhuǎn)換成終端設(shè)備可以識(shí)別的與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果,最后將與識(shí)別結(jié)果相應(yīng)的擴(kuò)展信息進(jìn)行展示,如將“米老鼠”作為三維精靈以三維動(dòng)畫的方式進(jìn)行展示。更進(jìn)一步地,三維精靈“米老鼠”可以通過(guò)預(yù)定的互動(dòng)方式與用戶進(jìn)行互動(dòng),以使用戶通過(guò)更生動(dòng)的方式了解更多關(guān)于“米奇”書包產(chǎn)品的相關(guān)擴(kuò)展信息。
可選地,本發(fā)明實(shí)施例提供的裝置還包括判斷模塊:判斷模塊判斷與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果是否為信息擴(kuò)展對(duì)象;當(dāng)與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果是信息擴(kuò)展對(duì)象時(shí),生成及發(fā)送模塊430執(zhí)行基于識(shí)別結(jié)果生成擴(kuò)展信息獲取請(qǐng)求,并將擴(kuò)展信息獲取請(qǐng)求發(fā)送至服務(wù)器的操作。
需要說(shuō)明的是,并非所有識(shí)別結(jié)果都存在與之相應(yīng)的擴(kuò)展信息,擴(kuò)展信息的存在與否是依據(jù)服務(wù)器中預(yù)先建立的擴(kuò)展信息庫(kù)的容量以及是否預(yù)先收錄與識(shí)別結(jié)果相應(yīng)的擴(kuò)展信息決定的。因此,在向服務(wù)器發(fā)送擴(kuò)展信息獲取請(qǐng)求之前,也可以預(yù)先判斷與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果是否為信息擴(kuò)展對(duì)象。具體地,可以通過(guò)終端設(shè)備中預(yù)先存儲(chǔ)的信息擴(kuò)展對(duì)象列表確定識(shí)別結(jié)果是否是信息擴(kuò)展對(duì)象。當(dāng)然,上述操作也可以在服務(wù)器實(shí)現(xiàn),對(duì)比本發(fā)明實(shí)施例不作限定。
本發(fā)明的技術(shù)方案解決了如何將擴(kuò)展信息以更豐富的展現(xiàn)形式進(jìn)行展現(xiàn)的問(wèn)題。首先,基于預(yù)定的識(shí)別方法識(shí)別待識(shí)別視頻信息,以確定與待識(shí)別視頻信息相應(yīng)的識(shí)別結(jié)果,通過(guò)該步驟可以對(duì)待識(shí)別視頻信息中提供的任何形式的信息進(jìn)行識(shí)別,識(shí)別的內(nèi)容打破了單一的條形碼、二維碼的局限性;其次,依據(jù)與擴(kuò)展信息匹配的展示方式展示擴(kuò)展信息,該步驟使得擴(kuò)展信息可以通過(guò)與擴(kuò)展信息匹配的展示方式進(jìn)行展示,采用生動(dòng)、靈活的展示形式來(lái)展示擴(kuò)展信息,為用戶帶來(lái)更有趣味的感官體驗(yàn)。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,本發(fā)明包括涉及用于執(zhí)行本申請(qǐng)中所述操作中的一項(xiàng)或多項(xiàng)的設(shè)備。這些設(shè)備可以為所需的目的而專門設(shè)計(jì)和制造,或者也可以包括通用計(jì)算機(jī)中的已知設(shè)備。這些設(shè)備具有存儲(chǔ)在其內(nèi)的計(jì)算機(jī)程序,這些計(jì)算機(jī)程序選擇性地激活或重構(gòu)。這樣的計(jì)算機(jī)程序可以被存儲(chǔ)在設(shè)備(例如,計(jì)算機(jī))可讀介質(zhì)中或者存儲(chǔ)在適于存儲(chǔ)電子指令并分別耦聯(lián)到總線的任何類型的介質(zhì)中,所述計(jì)算機(jī)可讀介質(zhì)包括但不限于任何類型的盤(包括軟盤、硬盤、光盤、CD-ROM、和磁光盤)、ROM(Read-Only Memory,只讀存儲(chǔ)器)、RAM(Random Access Memory,隨即存儲(chǔ)器)、EPROM(Erasable Programmable Read-Only Memory,可擦寫可編程只讀存儲(chǔ)器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,電可擦可編程只讀存儲(chǔ)器)、閃存、磁性卡片或光線卡片。也就是,可讀介質(zhì)包括由設(shè)備(例如,計(jì)算機(jī))以能夠讀的形式存儲(chǔ)或傳輸信息的任何介質(zhì)。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,可以用計(jì)算機(jī)程序指令來(lái)實(shí)現(xiàn)這些結(jié)構(gòu)圖和/或框圖和/或流圖中的每個(gè)框以及這些結(jié)構(gòu)圖和/或框圖和/或流圖中的框的組合。本技術(shù)領(lǐng)域技術(shù)人員可以理解,可以將這些計(jì)算機(jī)程序指令提供給通用計(jì)算機(jī)、專業(yè)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理方法的處理器來(lái)實(shí)現(xiàn),從而通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理方法的處理器來(lái)執(zhí)行本發(fā)明公開(kāi)的結(jié)構(gòu)圖和/或框圖和/或流圖的框或多個(gè)框中指定的方案。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,本發(fā)明中已經(jīng)討論過(guò)的各種操作、方法、流程中的步驟、措施、方案可以被交替、更改、組合或刪除。進(jìn)一步地,具有本發(fā)明中已經(jīng)討論過(guò)的各種操作、方法、流程中的其他步驟、措施、方案也可以被交替、更改、重排、分解、組合或刪除。進(jìn)一步地,現(xiàn)有技術(shù)中的具有與本發(fā)明中公開(kāi)的各種操作、方法、流程中的步驟、措施、方案也可以被交替、更改、重排、分解、組合或刪除。
以上所述僅是本發(fā)明的部分實(shí)施方式,應(yīng)當(dāng)指出,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō),在不脫離本發(fā)明原理的前提下,還可以做出若干改進(jìn)和潤(rùn)飾,這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。