專利名稱：利用運(yùn)動(dòng)趨勢(shì)跟蹤增強(qiáng)現(xiàn)實(shí)三維多標(biāo)記的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及圖像識(shí)別領(lǐng)域，更具體地，本發(fā)明涉及利用運(yùn)動(dòng)趨勢(shì)跟蹤增強(qiáng)現(xiàn)實(shí)(Augmented Reality,簡(jiǎn)稱AR)三維多標(biāo)記的方法和裝置。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)，是一種實(shí)時(shí)地計(jì)算攝影機(jī)圖像的位置及角度并加上相應(yīng)圖像的技術(shù)，這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實(shí)世界并進(jìn)行互動(dòng)。隨著隨身電子產(chǎn)品運(yùn)算能力的提升，預(yù)期增強(qiáng)現(xiàn)實(shí)的用途將會(huì)越來越廣。北卡羅來納大學(xué)的Ronald Azuma于1997年提出增強(qiáng)現(xiàn)實(shí)包括三個(gè)方面的內(nèi)容:將虛擬物與現(xiàn)實(shí)結(jié)合、即時(shí)互動(dòng)和三維(3D)。目前增強(qiáng)現(xiàn)實(shí)主要有如下幾種實(shí)現(xiàn)方式:(I)通過全球定位系統(tǒng)(GPS)、地磁傳感器和加速度傳感器來確定用戶終端的地理位置、朝向以及傾斜角度等，然后根據(jù)所確定的位置信息來獲取相關(guān)信息后疊加顯示，采用這種實(shí)現(xiàn)方式的比如有PlaceEngine技術(shù)、SekaiCamera技術(shù)等；(2)預(yù)先保存標(biāo)記(marker)圖像的信息,然后通過圖像識(shí)別技術(shù),在當(dāng)前圖像中查找并識(shí)別標(biāo)記圖像，然后在標(biāo)記圖像上疊加相關(guān)信息，采用這種實(shí)現(xiàn)方式的比如有ARToolKit程序庫(kù)；以及(3)對(duì)攝影圖像進(jìn)行解析，識(shí)別出風(fēng)景、物體和空間，然后疊加相關(guān)信息，采用這種實(shí)現(xiàn)方式的比如有由英國(guó)牛津大學(xué)的Georg Klein和David Murray提出的并行跟蹤和映射(Parallel Tracking and Mapping,簡(jiǎn)稱PTAM)開發(fā)庫(kù)。在所提及的實(shí)現(xiàn)方式之中，通過對(duì)標(biāo)記進(jìn)行識(shí)別來實(shí)現(xiàn)信息疊加的技術(shù)被越來越廣泛地使用。這種實(shí)現(xiàn)方式能夠通過使用攝影機(jī)對(duì)真實(shí)圖像中的標(biāo)記進(jìn)行識(shí)別來加入虛擬的3D物件，從而造成虛實(shí)結(jié)合的視覺效果。然而，當(dāng)需要同時(shí)識(shí)別多個(gè)標(biāo)記時(shí)，識(shí)別算法需要針對(duì)每個(gè)標(biāo)記的特征點(diǎn)(feature point)來進(jìn)行判斷。除了 AR Toolkit外,目前常用的識(shí)別方法還有 Institute Graphische Datenverarbeitung、SCR(Semans AG) > HoffmanMarker System (HMS)等。對(duì)于由攝影機(jī)鏡頭拍攝到的圖像，我們必須設(shè)法識(shí)別出其中的特殊標(biāo)記，并用此標(biāo)記的方向，來插入程序產(chǎn)生的3D虛擬物件。在需要識(shí)別多個(gè)運(yùn)動(dòng)標(biāo)記的應(yīng)用中，識(shí)別的效率成為重要的考慮。如果識(shí)別的效率太低，則會(huì)造成3D虛擬物件在運(yùn)動(dòng)過程中的不順暢。目前識(shí)別攝影機(jī)圖像中的標(biāo)記，主要使用判斷特征值計(jì)算所謂置信度(confidence level)的方法，當(dāng)置信度超過一定數(shù)值，就視為偵測(cè)到標(biāo)記。然而，特征值的判斷必須針對(duì)個(gè)別的標(biāo)記來判斷。當(dāng)標(biāo)記數(shù)量變多時(shí)，判斷的時(shí)間也因此增加。傳統(tǒng)AR 3D針對(duì)當(dāng)前捕捉到的攝影機(jī)圖像，進(jìn)行多個(gè)3D標(biāo)記的識(shí)別。目前的識(shí)別方法大多針對(duì)單一的標(biāo)記進(jìn)行識(shí)別，或是在有限數(shù)量(比如2-3個(gè))的標(biāo)記中進(jìn)行識(shí)別。這在需要同時(shí)識(shí)別多個(gè)標(biāo)記時(shí)，會(huì)造成大量的圖像處理計(jì)算，因而無法在手持設(shè)備等計(jì)算效率有限的移動(dòng)平臺(tái)上達(dá)到實(shí)時(shí)計(jì)算與識(shí)別的要求
發(fā)明內(nèi)容
考慮到上述問題，本發(fā)明提出一種利用運(yùn)動(dòng)趨勢(shì)跟蹤增強(qiáng)現(xiàn)實(shí)三維多標(biāo)記的方法和裝置來提高AR 3D識(shí)別多個(gè)標(biāo)記的效率。本發(fā)明使用連續(xù)圖像之間3D物件運(yùn)動(dòng)的連續(xù)性，來加速對(duì)圖像中多個(gè)3D標(biāo)記的識(shí)別和跟蹤。根據(jù)本發(fā)明的一方面，一種標(biāo)記識(shí)別方法包括以下步驟:接收一幀攝影機(jī)圖像；根據(jù)所述圖像中的一個(gè)標(biāo)記在在前幀中的位置識(shí)別結(jié)果，產(chǎn)生所述一個(gè)標(biāo)記的運(yùn)動(dòng)趨勢(shì)；根據(jù)所述運(yùn)動(dòng)趨勢(shì)，動(dòng)態(tài)確定對(duì)該幀攝影機(jī)圖像中的各個(gè)區(qū)域進(jìn)行識(shí)別的順序；以及按所述順序?qū)υ搸瑪z影機(jī)圖像中的各個(gè)區(qū)域進(jìn)行識(shí)別，并且當(dāng)在該幀攝影機(jī)圖像的一個(gè)區(qū)域中識(shí)別出所述一個(gè)標(biāo)記時(shí)，在所識(shí)別出的位置處插入三維虛擬物件。該方法考慮到物件運(yùn)動(dòng)的連續(xù)性，縮小了針對(duì)個(gè)別標(biāo)記在攝影機(jī)傳入的連續(xù)圖像上的識(shí)別掃描區(qū)域，因此能夠在3D標(biāo)記數(shù)目增加時(shí)，降低識(shí)別各個(gè)標(biāo)記的計(jì)算復(fù)雜度。該方法在要識(shí)別的標(biāo)記數(shù)量增加時(shí)，能夠在小于與標(biāo)記數(shù)量成正比的時(shí)間內(nèi)識(shí)別出圖像中的所有標(biāo)記。此外，該方法因?yàn)槭褂脴?biāo)記的識(shí)別歷史來減少需要比對(duì)的識(shí)別區(qū)域，因此能夠比現(xiàn)有識(shí)別方法更快速地找出標(biāo)記在圖像中的新位置。在根據(jù)本發(fā)明的方法中，產(chǎn)生運(yùn)動(dòng)趨勢(shì)的步驟可以包括:根據(jù)一個(gè)標(biāo)記在在前幀中的位置識(shí)別結(jié)果，確定該標(biāo)記在當(dāng)前攝影機(jī)圖像幀中出現(xiàn)的可能位置。當(dāng)前攝影機(jī)圖像幀可以被劃分為mXn個(gè)圖像塊區(qū)域，并且所確定的進(jìn)行識(shí)別的順序可以是:對(duì)可能位置所在的第一圖像塊區(qū)域進(jìn)行識(shí)別；對(duì)與第一圖像塊區(qū)域相鄰的八個(gè)第二圖像塊區(qū)域進(jìn)行識(shí)別；以及對(duì)該幀攝影機(jī)圖像中的其他圖像塊區(qū)域進(jìn)行識(shí)別，并且，m和η可以是大于I的整數(shù)。對(duì)八個(gè)第二圖像塊區(qū)域進(jìn)行識(shí)別的順序可以是根據(jù)運(yùn)動(dòng)趨勢(shì)動(dòng)態(tài)確定的。對(duì)可能位置的確定可以是通過線性外插算法完成的。在根據(jù)本發(fā)明的方法中，所述在前幀可以是緊鄰所接收的一幀攝影機(jī)圖像之前的2幀。在根據(jù)本發(fā)明的方法中，一幀攝影機(jī)圖像可以包含3個(gè)或更多個(gè)標(biāo)記。根據(jù)本發(fā)明的另一方面，一種標(biāo)記識(shí)別裝置包括:接收裝置，用于接收一幀攝影機(jī)圖像；運(yùn)動(dòng)趨勢(shì)產(chǎn)生裝置，用于根據(jù)所述圖像中的一個(gè)標(biāo)記在在前幀中的位置識(shí)別結(jié)果，產(chǎn)生所述一個(gè)標(biāo)記的運(yùn)動(dòng)趨勢(shì)；識(shí)別順序確定裝置，用于根據(jù)所述運(yùn)動(dòng)趨勢(shì)，動(dòng)態(tài)確定對(duì)該幀攝影機(jī)圖像中的各個(gè)區(qū)域進(jìn)行識(shí)別的順序；以及三維虛擬物件插入裝置，用于按所述順序?qū)υ搸瑪z影機(jī)圖像中的各個(gè)區(qū)域進(jìn)行識(shí)別，并且當(dāng)在該幀攝影機(jī)圖像的一個(gè)區(qū)域中識(shí)別出所述一個(gè)標(biāo)記時(shí)，在所識(shí)別出的位置處插入三維虛擬物件。根據(jù)本發(fā)明的又一方面，一種標(biāo)記識(shí)別終端設(shè)備包括上述標(biāo)記識(shí)別裝置。例如，該標(biāo)記終端設(shè)備可以是移動(dòng)電話、PDA、平板電腦、膝上型計(jì)算機(jī)、桌上型計(jì)算機(jī)等設(shè)備。根據(jù)本發(fā)明的方法和裝置通過優(yōu)先對(duì)所接收?qǐng)D像中更可能出現(xiàn)標(biāo)記的區(qū)域進(jìn)行識(shí)別，能夠減小標(biāo)記識(shí)別的計(jì)算量，從而快速地識(shí)別出標(biāo)記以確保實(shí)時(shí)地識(shí)別標(biāo)記并將3D虛擬物件插入到所接收?qǐng)D像中。通過提高對(duì)標(biāo)記進(jìn)行識(shí)別的效率，即使在需要同時(shí)識(shí)別多個(gè)標(biāo)記(比如3個(gè)或更多個(gè)標(biāo)記)的情況下，本發(fā)明的方法和裝置也能夠確保實(shí)時(shí)地識(shí)別標(biāo)記并插入3D虛擬物件。從下面結(jié)合附圖的詳細(xì)描述中，可以看出本發(fā)明的其他特征和優(yōu)點(diǎn)。注意，本發(fā)明并不限于圖中所示的示例或者任何具體的實(shí)施例。


結(jié)合附圖，從下面對(duì)本發(fā)明實(shí)施例的詳細(xì)描述，將更好地理解本發(fā)明，附圖中類似的參考標(biāo)注指示類似的部分，其中:圖1是示出根據(jù)本發(fā)明一個(gè)具體示例的對(duì)一幀圖像的區(qū)域劃分以及針對(duì)一個(gè)標(biāo)記對(duì)該幀圖像中的各區(qū)域的識(shí)別掃描順序的示圖；圖2是示出根據(jù)本發(fā)明另一具體示例的對(duì)一幀圖像的區(qū)域劃分以及針對(duì)一個(gè)標(biāo)記對(duì)該幀圖像中的各區(qū)域的識(shí)別掃描順序的示圖；圖3是示出根據(jù)本發(fā)明一個(gè)具體示例的利用運(yùn)動(dòng)趨勢(shì)跟蹤增強(qiáng)現(xiàn)實(shí)三維多標(biāo)記的方法的流程的流程圖；和圖4是示出根據(jù)本發(fā)明一個(gè)具體示例的利用運(yùn)動(dòng)趨勢(shì)跟蹤增強(qiáng)現(xiàn)實(shí)三維多標(biāo)記的裝置的內(nèi)部結(jié)構(gòu)的框圖。
具體實(shí)施例方式在下面對(duì)本發(fā)明的詳細(xì)描述中闡述了很多具體細(xì)節(jié)，以便于充分理解本發(fā)明。但是，沒有這些具體細(xì)節(jié)也可以實(shí)施本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來說是很明顯的。在另外一些例子里，沒有對(duì)公知的方法、過程、部件和電路進(jìn)行詳細(xì)的描述，以避免喧賓奪主、淡化了本發(fā)明的主要內(nèi)容。以下，給出本發(fā)明的一個(gè)具體示例。圖1示出了對(duì)一幀攝影機(jī)圖像的區(qū)域劃分以及針對(duì)一個(gè)標(biāo)記對(duì)該幀圖像中的各個(gè)區(qū)域的進(jìn)行識(shí)別掃描的順序。如圖1所示，所接收的一幀攝影機(jī)圖像被劃分為4X3個(gè)圖像塊區(qū)域，這里，用(X，y)表示其中的一個(gè)圖像塊，并且0<=x<4且0<=y<3。當(dāng)要開始對(duì)如圖1所示的攝影機(jī)圖像中的多個(gè)標(biāo)記之一進(jìn)行識(shí)別時(shí)，與常規(guī)的對(duì)其進(jìn)行從左到右、由上至下的掃描識(shí)別不同，本發(fā)明的方法首先基于要識(shí)別的那個(gè)標(biāo)記在在前幀中的位置識(shí)別結(jié)果，來產(chǎn)生該標(biāo)記的運(yùn)動(dòng)趨勢(shì)。例如可以使用保存的該標(biāo)記的緊鄰在前的2幀圖像中的位置識(shí)別結(jié)果來計(jì)算其運(yùn)動(dòng)趨勢(shì)。具體地，可以使用線性外插算法來預(yù)測(cè)該標(biāo)記在該幀攝影機(jī)圖像中出現(xiàn)的可能位置:
權(quán)利要求
1.一種標(biāo)記識(shí)別方法,包括: 接收一幀攝影機(jī)圖像； 根據(jù)所述圖像中的一個(gè)標(biāo)記在在前幀中的位置識(shí)別結(jié)果，產(chǎn)生所述一個(gè)標(biāo)記的運(yùn)動(dòng)趨勢(shì)； 根據(jù)所述運(yùn)動(dòng)趨勢(shì)，動(dòng)態(tài)確定對(duì)該幀攝影機(jī)圖像中的各個(gè)區(qū)域進(jìn)行識(shí)別的順序；以及按所述順序?qū)υ搸瑪z影機(jī)圖像中的各個(gè)區(qū)域進(jìn)行識(shí)別，并且當(dāng)在該幀攝影機(jī)圖像的一個(gè)區(qū)域中識(shí)別出所述一個(gè)標(biāo)記時(shí)，在所識(shí)別出的位置處插入三維虛擬物件。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述產(chǎn)生運(yùn)動(dòng)趨勢(shì)的步驟包括:根據(jù)所述一個(gè)標(biāo)記在在前幀中的位置識(shí)別結(jié)果，確定所述標(biāo)記在該幀攝影機(jī)圖像中出現(xiàn)的可能位置。
3.根據(jù)權(quán)利要求2所述的方法，其中，該幀攝影機(jī)圖像被劃分為mXn個(gè)圖像塊區(qū)域，并且所確定的進(jìn)行識(shí)別的順序是: 對(duì)所述可能位置所在的第一圖像塊區(qū)域進(jìn)行識(shí)別； 對(duì)與所述第一圖像塊相鄰的八個(gè)第二圖像塊區(qū)域進(jìn)行識(shí)別；以及 對(duì)該幀攝影機(jī)圖像中的其他圖像塊區(qū)域進(jìn)行識(shí)別， 并且其中，m和η是大于I的整數(shù)。
4.根據(jù)權(quán)利要求3所述的方法，其中，對(duì)所述八個(gè)第二圖像塊區(qū)域進(jìn)行識(shí)別的順序是根據(jù)所述運(yùn)動(dòng)趨勢(shì)動(dòng)態(tài)確定的。
5.根據(jù)權(quán)利要求2所述的方法，其中，對(duì)所述可能位置的確定是通過線性外插算法完成的。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述在前幀是緊鄰所接收的一幀攝影機(jī)圖像之前的2幀。
7.根據(jù)權(quán)利要求1所述的方法，其中，所述攝影機(jī)圖像中包含3個(gè)或更多個(gè)標(biāo)記。
8.一種標(biāo)記識(shí)別裝置，包括: 接收裝置，用于接收一幀攝影機(jī)圖像； 運(yùn)動(dòng)趨勢(shì)產(chǎn)生裝置，用于根據(jù)所述圖像中的一個(gè)標(biāo)記在在前幀中的位置識(shí)別結(jié)果，產(chǎn)生所述一個(gè)標(biāo)記的運(yùn)動(dòng)趨勢(shì)； 識(shí)別順序確定裝置，用于根據(jù)所述運(yùn)動(dòng)趨勢(shì)，動(dòng)態(tài)確定對(duì)該幀攝影機(jī)圖像中的各個(gè)區(qū)域進(jìn)行識(shí)別的順序；以及 三維虛擬物件插入裝置，用于按所述順序?qū)υ搸瑪z影機(jī)圖像中的各個(gè)區(qū)域進(jìn)行識(shí)別，并且當(dāng)在該幀攝影機(jī)圖像的一個(gè)區(qū)域中識(shí)別出所述一個(gè)標(biāo)記時(shí)，在所識(shí)別出的位置處插入三維虛擬物件。
9.根據(jù)權(quán)利要求8所述的裝置，其中，所述運(yùn)動(dòng)趨勢(shì)產(chǎn)生裝置包括:可能位置確定裝置，用于根據(jù)所述一個(gè)標(biāo)記在在前幀中的位置識(shí)別結(jié)果，確定所述標(biāo)記在該幀攝影機(jī)圖像中出現(xiàn)的可能位置的裝置。
10.根據(jù)權(quán)利要求9所述的裝置，其中，該幀攝影機(jī)圖像被劃分為mXη個(gè)圖像塊區(qū)域，并且所確定的進(jìn)行識(shí)別的順序是: 對(duì)所述可能位置所在的第一圖像塊區(qū)域進(jìn)行識(shí)別； 對(duì)與所述第一圖像塊相鄰的八個(gè)第二圖像塊區(qū)域進(jìn)行識(shí)別；以及 對(duì)該幀攝影機(jī)圖像中的其他圖像塊區(qū)域進(jìn)行識(shí)別，并且其中，m和η是大于I的整數(shù)。
11.根據(jù)權(quán)利要求10所述的裝置，其中，對(duì)所述八個(gè)第二圖像塊區(qū)域進(jìn)行識(shí)別的順序是根據(jù)所述運(yùn)動(dòng)趨勢(shì)動(dòng)態(tài)確定的。
12.根據(jù)權(quán)利要求9所述的裝置，其中，對(duì)所述可能位置的確定是通過線性外插算法完成的。
13.根據(jù)權(quán)利要求8所述的裝置，其中，所述在前幀是緊鄰所接收的一幀攝影機(jī)圖像之前的2幀。
14.根據(jù)權(quán)利要求8所述的裝置，其中，所述攝影機(jī)圖像中包含3個(gè)或更多個(gè)標(biāo)記。
15.一種標(biāo)記識(shí)別終端設(shè)備，包括:根據(jù)權(quán)利要求8-14中任意一個(gè)所述的裝置。
全文摘要
本發(fā)明提供了一種利用運(yùn)動(dòng)趨勢(shì)跟蹤增強(qiáng)現(xiàn)實(shí)三維多標(biāo)記的方法和裝置。利用運(yùn)動(dòng)趨勢(shì)跟蹤增強(qiáng)現(xiàn)實(shí)三維多標(biāo)記的方法，包括接收一幀攝影機(jī)圖像；根據(jù)所述圖像中的一個(gè)標(biāo)記在在前幀中的位置識(shí)別結(jié)果，產(chǎn)生所述一個(gè)標(biāo)記的運(yùn)動(dòng)趨勢(shì)；根據(jù)所述運(yùn)動(dòng)趨勢(shì)，動(dòng)態(tài)確定對(duì)該幀攝影機(jī)圖像中的各個(gè)區(qū)域進(jìn)行識(shí)別的順序；以及按所述順序?qū)υ搸瑪z影機(jī)圖像中的各個(gè)區(qū)域進(jìn)行識(shí)別，并且當(dāng)在該幀攝影機(jī)圖像的一個(gè)區(qū)域中識(shí)別出所述一個(gè)標(biāo)記時(shí)，在所識(shí)別出的位置處插入三維虛擬物件。
文檔編號(hào)G06K9/00GK103164690SQ201110426130
公開日2013年6月19日 申請(qǐng)日期2011年12月9日 優(yōu)先權(quán)日2011年12月9日
發(fā)明者江國(guó)昌, 葉思義 申請(qǐng)人:金耀有限公司