專利名稱：一種分布式的基于可移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)平臺(tái)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在個(gè)增強(qiáng)現(xiàn)實(shí)應(yīng)用個(gè)環(huán)境中的特殊符號(hào)標(biāo)識(shí)的識(shí)別方法，特別涉及一種分布式的基于可移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)平臺(tái)。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)(AR)是近年來(lái)國(guó)際上在虛擬現(xiàn)實(shí)(VR)技術(shù)的基礎(chǔ)上發(fā)展起來(lái)的新興的研究領(lǐng)域，增強(qiáng)現(xiàn)實(shí)既是綜合光電成像、融合顯示、多傳感器、計(jì)算機(jī)圖形、圖像處理、計(jì)算機(jī)視覺(jué)等多門學(xué)科，是一種用計(jì)算機(jī)產(chǎn)生的附加信息對(duì)真實(shí)世界的景象進(jìn)行增強(qiáng)或擴(kuò)張的技術(shù)。增強(qiáng)現(xiàn)實(shí)技術(shù)是計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)等技術(shù)中近年來(lái)的一個(gè)研究熱點(diǎn)，它通過(guò)可以在真實(shí)場(chǎng)景中添加虛擬3D圖形，帶給用戶奇幻的用戶體驗(yàn)。增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)可以應(yīng)用到具有攝像頭設(shè)備的計(jì)算機(jī)上，甚至是用戶手持設(shè)備，如PDA和手機(jī)。一般而言，在增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)中，往往需要一個(gè)符號(hào)標(biāo)識(shí)，由增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)于該符號(hào)標(biāo)識(shí)進(jìn)行識(shí)別，并且作為顯示三維虛擬現(xiàn)實(shí)的基礎(chǔ)。當(dāng)符號(hào)標(biāo)識(shí)被識(shí)別后，用戶在現(xiàn)實(shí)屏幕上所看到的將不是現(xiàn)實(shí)環(huán)境中的符號(hào)標(biāo)識(shí)，而是已經(jīng)事先被設(shè)計(jì)好的三維虛擬現(xiàn)實(shí)。當(dāng)用戶與特殊符號(hào)標(biāo)識(shí)進(jìn)行互動(dòng)，如移動(dòng)符號(hào)標(biāo)識(shí)的位置和方向的時(shí)候，三維虛擬現(xiàn)實(shí)也同樣變換位置和方向。但是，目前由于可移動(dòng)設(shè)備上往往計(jì)算能力不足，所以無(wú)法識(shí)別任何符號(hào)標(biāo)識(shí)的， 更加不能對(duì)于識(shí)別結(jié)果做出任何反應(yīng)，也就是說(shuō)，實(shí)際上在可移動(dòng)設(shè)備上無(wú)法實(shí)現(xiàn)任何的三維虛擬現(xiàn)實(shí)場(chǎng)景。

發(fā)明內(nèi)容
為了克服前述法的可移動(dòng)設(shè)備的問(wèn)題，本發(fā)明專利所設(shè)計(jì)的方案提供一種增強(qiáng)現(xiàn)實(shí)解決方案和特殊符號(hào)標(biāo)識(shí)的識(shí)別方法，特別地，本發(fā)明專利所涉及的方案可以應(yīng)用于硬件條件比較有限的移動(dòng)設(shè)備，如手機(jī)。一方面，本發(fā)明專利所涉及的方案包括生成特殊符號(hào)標(biāo)識(shí)識(shí)別模式的算法。通過(guò)這種方法所生成的識(shí)別模式包括以下信息(1)符號(hào)標(biāo)識(shí)的識(shí)別特征；(2)符號(hào)標(biāo)識(shí)的位置和方向信息；(3)符號(hào)標(biāo)識(shí)的圖像信息；另一個(gè)方面，在本發(fā)明中提供一個(gè)軟件平臺(tái)，在該軟件平臺(tái)上應(yīng)用了特殊符號(hào)標(biāo)識(shí)的特征識(shí)別算法，并且應(yīng)用了客戶機(jī)-服務(wù)器的拓?fù)浣Y(jié)構(gòu)。這種結(jié)構(gòu)使得特殊符號(hào)標(biāo)識(shí)的捕捉放在計(jì)算能力有限的客戶端(手機(jī)上)，而圖像的識(shí)別和返回三維虛擬現(xiàn)實(shí)的工作在服務(wù)器上。這個(gè)軟件平臺(tái)通過(guò)在可移動(dòng)通訊設(shè)備和它的服務(wù)器之間建立通過(guò)網(wǎng)絡(luò)互聯(lián)技術(shù)進(jìn)行連接，特別是建立經(jīng)由3g網(wǎng)絡(luò)的無(wú)線連接使得整個(gè)軟件平臺(tái)的運(yùn)行能力得到極大得擴(kuò)展。更加特別的是，在本發(fā)明中涉及一個(gè)建立在客戶機(jī)-服務(wù)器模式下的基于模式識(shí)別技術(shù)的實(shí)時(shí)的增強(qiáng)現(xiàn)實(shí)實(shí)現(xiàn)平臺(tái)，并且本發(fā)明創(chuàng)造性地將該項(xiàng)技術(shù)應(yīng)用于無(wú)線網(wǎng)絡(luò)和可移動(dòng)通訊設(shè)備(如手機(jī))上。當(dāng)可移動(dòng)設(shè)備確認(rèn)或者識(shí)別到一個(gè)符號(hào)標(biāo)識(shí)后，將向主服務(wù)器發(fā)送一個(gè)信號(hào)。而當(dāng)主服務(wù)器接到信號(hào)后，能夠根據(jù)信號(hào)的不同確定合適的增強(qiáng)現(xiàn)實(shí)內(nèi)容，并將內(nèi)容發(fā)回給可移動(dòng)通訊設(shè)備并顯示。具體來(lái)說(shuō)這種分布式的基于可移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)平臺(tái)，包括一個(gè)處于可移動(dòng)設(shè)備上的圖像處理和識(shí)別應(yīng)用程序，作用在于捕捉、處理和標(biāo)識(shí)識(shí)別；一個(gè)處于可移動(dòng)設(shè)備上的客戶端程序，作為客戶端的中樞程序，并與服務(wù)器應(yīng)用程序進(jìn)行通訊；一個(gè)處于服務(wù)器上的服務(wù)器應(yīng)用程序，接受和傳送數(shù)據(jù)包，定位虛擬現(xiàn)實(shí)；一個(gè)處于服務(wù)器上的虛擬現(xiàn)實(shí)庫(kù)；上述方案中，所述圖像處理和識(shí)別程序包括關(guān)鍵點(diǎn)的探測(cè)算法、分類識(shí)別算法、圖像分割和定位算法。上述方案中，所述增強(qiáng)現(xiàn)實(shí)平臺(tái)中處于可移動(dòng)設(shè)備上的客戶端程序，能夠接收識(shí)別結(jié)果，并能夠通過(guò)互聯(lián)網(wǎng)絡(luò)與服務(wù)器端連接，并進(jìn)行數(shù)據(jù)傳送。上述方案中，所述服務(wù)器應(yīng)用程序，能夠接受來(lái)自可移動(dòng)設(shè)備的連接，并接收和處理數(shù)據(jù)，并且根據(jù)識(shí)別結(jié)果在虛擬現(xiàn)實(shí)庫(kù)中定位相應(yīng)的內(nèi)容。上述方案中，所述特殊標(biāo)識(shí)的分類識(shí)別算法采用支撐向量機(jī)技術(shù)。上述方案中，所述圖像分割和定位算法能夠判斷特殊標(biāo)識(shí)的大小，位置和方向，并有客戶端程序?qū)⑦@些信息傳送至服務(wù)器程序。本發(fā)明所具備的有益效果包括大部分的用于模式識(shí)別算法的計(jì)算能力是由主服務(wù)器所提供的，這正適合了可移動(dòng)設(shè)備的配置相對(duì)較低的特點(diǎn)。
以下結(jié)合附圖和具體實(shí)施方式
來(lái)進(jìn)一步說(shuō)明本發(fā)明。

圖1為本發(fā)明所述平臺(tái)的主要元件和功能模塊關(guān)系圖。圖2為本發(fā)明所涉及的特殊符號(hào)標(biāo)識(shí)識(shí)別方法圖。
具體實(shí)施例方式為了使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)合具體圖示，進(jìn)一步闡述本發(fā)明。在圖1中描述了本發(fā)明中所涉及的手機(jī)增強(qiáng)現(xiàn)實(shí)實(shí)現(xiàn)平臺(tái)10中的主要原件和功能模塊。在平臺(tái)10中的主要元件和功能模塊中包括一個(gè)圖像識(shí)別應(yīng)用程序13，位于用戶的可移動(dòng)設(shè)備14上。該可以動(dòng)設(shè)備上還包括一個(gè)客戶端應(yīng)用程序16。同時(shí)，一個(gè)服務(wù)器端應(yīng)用程序18位于并運(yùn)行于遠(yuǎn)程服務(wù)器20上，并且在該服務(wù)器20上還包括一個(gè)虛擬現(xiàn)實(shí)庫(kù) 22，在虛擬現(xiàn)實(shí)庫(kù)中的內(nèi)容是要在客戶的可移動(dòng)設(shè)備14上顯示的內(nèi)容。增強(qiáng)現(xiàn)實(shí)實(shí)現(xiàn)平臺(tái) 10中的各個(gè)主要原件和功能模塊之間通過(guò)交互網(wǎng)絡(luò)，如3G移動(dòng)通訊網(wǎng)絡(luò)，相互連接。圖像識(shí)別應(yīng)用程序13驅(qū)動(dòng)在可移動(dòng)設(shè)備上的成像原件M，通常這種設(shè)備是照相設(shè)備。除了成像元件之外，在可移動(dòng)設(shè)備上還需要類似于計(jì)算機(jī)內(nèi)存的存儲(chǔ)元件，用于存放圖像以備由圖像識(shí)別應(yīng)用程序13進(jìn)行分析和識(shí)別。圖像應(yīng)用程序13在分析圖像(特殊符號(hào)標(biāo)識(shí)或者含有符號(hào)標(biāo)識(shí)的圖像)之后，將坐標(biāo)信息發(fā)送給客戶端應(yīng)用程序16。得到的圖像不一定要存儲(chǔ)在可以動(dòng)設(shè)備14上，而只需要實(shí)施地將該圖像顯示于可以動(dòng)設(shè)備14的現(xiàn)實(shí)元件上26。客戶端應(yīng)用程序16可以被認(rèn)為是可移動(dòng)設(shè)備14上的增強(qiáng)現(xiàn)實(shí)軟件平臺(tái)的核心樞紐?？蛻舳藨?yīng)用程序16接受來(lái)自于圖片識(shí)別應(yīng)用程序13的坐標(biāo)信息，并且把這些信息傳送到服務(wù)器應(yīng)用程序18.在服務(wù)器應(yīng)用程序18，根據(jù)接收到的信息，在虛擬現(xiàn)實(shí)庫(kù)22中定位到相應(yīng)的虛擬現(xiàn)實(shí)內(nèi)容后，將該內(nèi)容傳回到可移動(dòng)設(shè)備14.客戶端應(yīng)用程序?qū)@些內(nèi)容還要進(jìn)行處理形成要現(xiàn)實(shí)的虛擬現(xiàn)實(shí)內(nèi)容，并將該內(nèi)容現(xiàn)實(shí)到可移動(dòng)設(shè)備的顯示元件上。服務(wù)器應(yīng)用程序18可能位于一系列服務(wù)器上，而這些服務(wù)器通過(guò)3G無(wú)線通訊網(wǎng)絡(luò)相互連接?？蛻舳藨?yīng)用程序16連接服務(wù)器應(yīng)用程序18，并且傳來(lái)一個(gè)查詢信息，包括符號(hào)標(biāo)識(shí)的位置信息和ID信息等。服務(wù)器程序18解析這些信息，并且據(jù)此查詢虛擬現(xiàn)實(shí)庫(kù) 22。然后對(duì)內(nèi)容進(jìn)行加密并且將它回傳給客戶端應(yīng)用程序16.另外，服務(wù)器應(yīng)用程序18可以被設(shè)計(jì)為需要登錄模式。通過(guò)這種登錄模式，服務(wù)器能夠收集和跟蹤客戶的愛(ài)好等信息，或者生成客戶的行為報(bào)表和維護(hù)所有的在線客戶端應(yīng)用程序。也就是說(shuō)，服務(wù)器端應(yīng)用程序要保持能夠同時(shí)與多個(gè)客戶端應(yīng)用程序16進(jìn)行會(huì)話。三維虛擬現(xiàn)實(shí)庫(kù)22可以與服務(wù)器應(yīng)用程序18處于不同的服務(wù)器上。在本實(shí)例中， 服務(wù)器20端包括服務(wù)器應(yīng)用程序18和三維虛擬現(xiàn)實(shí)庫(kù)22，但是實(shí)際應(yīng)用中不限于此。與所有內(nèi)容處于主服務(wù)器上不同，本發(fā)明所涉及內(nèi)容包括處于不同服務(wù)器或者多個(gè)服務(wù)器上的服務(wù)器應(yīng)用程序18和三維虛擬現(xiàn)實(shí)庫(kù)22。三維虛擬現(xiàn)實(shí)庫(kù)22存儲(chǔ)所有的增強(qiáng)現(xiàn)實(shí)內(nèi)容或者連接。虛擬現(xiàn)實(shí)庫(kù)22可以接收來(lái)自不同服務(wù)器應(yīng)用程序18的查詢請(qǐng)求，并且根據(jù)查詢請(qǐng)求中的位置信息和標(biāo)識(shí)信息返回相應(yīng)的內(nèi)容。當(dāng)虛擬現(xiàn)實(shí)庫(kù)接收到一個(gè)查詢請(qǐng)求，它首先檢查該請(qǐng)求是否為一個(gè)可用請(qǐng)求，并驗(yàn)證該服務(wù)器應(yīng)用程序請(qǐng)求是否有權(quán)得到響應(yīng)信息，然后檢索及其相應(yīng)的內(nèi)容，并提供該內(nèi)容給服務(wù)器應(yīng)用程序。如果要使這個(gè)增強(qiáng)現(xiàn)實(shí)平臺(tái)可用，用戶的可移動(dòng)設(shè)備14就必須預(yù)先安裝有定制的客戶端應(yīng)用程序16?？蛻舳藨?yīng)用程序可以通過(guò)軟件形式交付給用戶，或者用戶以短信的形式下載該應(yīng)用程序，或者用戶以類似的傳輸協(xié)議從服務(wù)器下載。在圖2中介紹了特殊符號(hào)標(biāo)識(shí)的識(shí)別算法。在圖中，包含有特殊符號(hào)標(biāo)識(shí)的標(biāo)準(zhǔn)圖像是通過(guò)用戶的可移動(dòng)設(shè)備上的成像設(shè)備所捕捉的1。依賴于不同的平臺(tái)架構(gòu)，捕捉到的圖像可以被存儲(chǔ)于用戶的可移動(dòng)設(shè)備或者被傳輸?shù)椒?wù)器進(jìn)行處理和檢測(cè)圖像中的關(guān)鍵點(diǎn)2 ο對(duì)于圖像中檢測(cè)到的圖像點(diǎn)集合進(jìn)行圖像特征的抽取3。這些抽取出來(lái)的特征是歸一化后的，以該特征點(diǎn)為中心的像素塊。對(duì)于每一個(gè)輸入的圖像，一些列的抽取特征通過(guò)這種方法被抽取出來(lái)，以描述該圖像。這些抽取特征在之后的處理過(guò)程中將作為分類器算法5的輸入向量。對(duì)于所有的特殊符號(hào)標(biāo)識(shí)圖像進(jìn)行前述的處理過(guò)程，以根據(jù)前述特征抽取方法3 進(jìn)行特征抽取。這些特征作為分類器算法5的訓(xùn)練過(guò)程的訓(xùn)練數(shù)據(jù)10。在本文中，分類器算法采用了了 SVM(支撐向量機(jī))算法，具體而言采用了金字塔匹配內(nèi)核算法，但是在實(shí)際應(yīng)用中不限于此。通過(guò)分類器算法5，每一個(gè)輸入的特定符號(hào)標(biāo)識(shí)圖像將對(duì)應(yīng)一個(gè)特定的輸出結(jié)果， 這些輸出作為唯一標(biāo)識(shí)存儲(chǔ)起來(lái)作為識(shí)別的標(biāo)準(zhǔn)。識(shí)別的特殊符號(hào)標(biāo)識(shí)的特征被逆向映射為輸入圖像，通過(guò)這種方法能夠有效和快速的將待識(shí)別的符號(hào)標(biāo)識(shí)從背景圖像中有效分離出來(lái)。這種方法作為本發(fā)明的圖像目標(biāo)分割算法7。在有效識(shí)別圖像符號(hào)標(biāo)識(shí)的基礎(chǔ)上，對(duì)于識(shí)別的符號(hào)標(biāo)識(shí)進(jìn)行維度測(cè)量，以得到識(shí)別的符號(hào)標(biāo)識(shí)的尺寸8。識(shí)別符號(hào)標(biāo)識(shí)的位置信息是指在維度測(cè)量的基礎(chǔ)上，得到的所有像素的中心11。把目標(biāo)符號(hào)標(biāo)識(shí)的特征的分類器輸出與一系列已經(jīng)訓(xùn)練好的識(shí)別符號(hào)標(biāo)識(shí)的分類器輸出進(jìn)行比較，以決定該符號(hào)標(biāo)識(shí)是否為我們需要識(shí)別的符號(hào)標(biāo)識(shí)12。如上所述，本發(fā)明的一個(gè)實(shí)例可以被描述為一個(gè)基于特定設(shè)備的特定的應(yīng)用。但是本發(fā)明所涉及的范圍不限于此，對(duì)于本實(shí)例所描述的方法的一般性修改都屬于本專利的適用范圍。
權(quán)利要求
1.一種分布式的基于可移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)平臺(tái)，其特征在于，包括一個(gè)處于可移動(dòng)設(shè)備上的圖像處理和識(shí)別應(yīng)用程序，作用在于捕捉、處理和標(biāo)識(shí)識(shí)別；一個(gè)處于可移動(dòng)設(shè)備上的客戶端程序，作為客戶端的中樞程序，并與服務(wù)器應(yīng)用程序進(jìn)行通訊；一個(gè)處于服務(wù)器上的服務(wù)器應(yīng)用程序，接受和傳送數(shù)據(jù)包，定位虛擬現(xiàn)實(shí)； 一個(gè)處于服務(wù)器上的虛擬現(xiàn)實(shí)庫(kù)。
2.根據(jù)權(quán)利要求1的增強(qiáng)現(xiàn)實(shí)平臺(tái)，其特征在于，所述圖像處理和識(shí)別程序包括關(guān)鍵點(diǎn)的探測(cè)算法、分類識(shí)別算法、圖像分割和定位算法。
3.根據(jù)權(quán)利要求1的增強(qiáng)現(xiàn)實(shí)平臺(tái)，其特征在于，所述增強(qiáng)現(xiàn)實(shí)平臺(tái)中處于可移動(dòng)設(shè)備上的客戶端程序，能夠接收識(shí)別結(jié)果，并能夠通過(guò)互聯(lián)網(wǎng)絡(luò)與服務(wù)器端連接，并進(jìn)行數(shù)據(jù)傳送。
4.根據(jù)權(quán)利要求1的增強(qiáng)現(xiàn)實(shí)平臺(tái)，其特征在于，所述服務(wù)器應(yīng)用程序，能夠接受來(lái)自可移動(dòng)設(shè)備的連接，并接收和處理數(shù)據(jù)，并且根據(jù)識(shí)別結(jié)果在虛擬現(xiàn)實(shí)庫(kù)中定位相應(yīng)的內(nèi)容。
5.根據(jù)權(quán)利要求2的增強(qiáng)現(xiàn)實(shí)平臺(tái)，其特征在于，所述特殊標(biāo)識(shí)的分類識(shí)別算法采用支撐向量機(jī)技術(shù)。
6.根據(jù)權(quán)利要求2的增強(qiáng)現(xiàn)實(shí)平臺(tái)，其特征在于，所述圖像分割和定位算法能夠判斷特殊標(biāo)識(shí)的大小，位置和方向，并有客戶端程序?qū)⑦@些信息傳送至服務(wù)器程序。
全文摘要
本發(fā)明公開(kāi)了一種分布式的基于可移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)平臺(tái)。該平臺(tái)包括一個(gè)增強(qiáng)現(xiàn)實(shí)的圖像處理應(yīng)用程序，該程序被放置在移動(dòng)裝置上，它用來(lái)接收現(xiàn)場(chǎng)的實(shí)時(shí)圖像，并進(jìn)行處理和轉(zhuǎn)換成圖像的坐標(biāo)位置；在移動(dòng)設(shè)備上，還包括有一個(gè)客戶端應(yīng)用程序用來(lái)傳輸包括坐標(biāo)位置在內(nèi)的數(shù)據(jù)包。在另一端的服務(wù)器上包括一個(gè)服務(wù)應(yīng)用程序，它被用來(lái)接受來(lái)自客戶端應(yīng)用程序傳送過(guò)來(lái)的數(shù)據(jù)報(bào)，并且從中識(shí)別出特殊符號(hào)標(biāo)識(shí)。識(shí)別的結(jié)果將是一個(gè)對(duì)應(yīng)特殊符號(hào)標(biāo)識(shí)的身份信息。除此之外，該服務(wù)程序還需要一些測(cè)量有用的信息，例如特殊符號(hào)標(biāo)識(shí)的位置，方向和大小。最后這個(gè)服務(wù)程序還需要這些信息，以及這些信息對(duì)應(yīng)的顯示內(nèi)容回傳給可移動(dòng)設(shè)備。
文檔編號(hào)G06T1/00GK102375972SQ201010259788
公開(kāi)日2012年3月14日 申請(qǐng)日期2010年8月23日 優(yōu)先權(quán)日2010年8月23日
發(fā)明者謝錚 申請(qǐng)人:謝錚