一種無(wú)標(biāo)志物跟蹤注冊(cè)方法
【專利摘要】本發(fā)明公開了一種無(wú)標(biāo)志物跟蹤注冊(cè)方法，屬于增強(qiáng)現(xiàn)實(shí)【技術(shù)領(lǐng)域】。本發(fā)明針對(duì)現(xiàn)有技術(shù)不足，通過(guò)構(gòu)造隨機(jī)森林分類模型，對(duì)CenSurE算法提取的特征點(diǎn)進(jìn)行快速初始匹配，同時(shí)結(jié)合現(xiàn)有特征點(diǎn)連續(xù)跟蹤技術(shù)對(duì)匹配特征點(diǎn)進(jìn)行連續(xù)跟蹤，從而在大幅度減少特征匹配所需計(jì)算的同時(shí)，提高了所選取特征點(diǎn)的穩(wěn)定性；并進(jìn)一步對(duì)光流特征跟蹤方法進(jìn)行改進(jìn)，對(duì)錯(cuò)誤跟蹤點(diǎn)進(jìn)行篩選，提高了跟蹤注冊(cè)的準(zhǔn)確性和效率，提高了增強(qiáng)現(xiàn)實(shí)系統(tǒng)的實(shí)時(shí)性。相比現(xiàn)有技術(shù)，本發(fā)明方法能夠有效提高跟蹤注冊(cè)的準(zhǔn)確性和效率，進(jìn)而提升增強(qiáng)現(xiàn)實(shí)系統(tǒng)的實(shí)時(shí)性。
【專利說(shuō)明】一種無(wú)標(biāo)志物跟蹤注冊(cè)方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)【技術(shù)領(lǐng)域】，尤其涉及一種無(wú)標(biāo)志物跟蹤注冊(cè)方法。

【背景技術(shù)】
[0002]增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡(jiǎn)稱AR)是為了解決虛擬現(xiàn)實(shí)與真實(shí)環(huán)境完全隔離，不能貼近現(xiàn)實(shí)世界而出現(xiàn)的一項(xiàng)新技術(shù)。增強(qiáng)現(xiàn)實(shí)主要通過(guò)借助模式識(shí)別、多媒體、傳感器、計(jì)算機(jī)視覺(jué)等技術(shù)，在真實(shí)場(chǎng)景之上疊加由計(jì)算機(jī)創(chuàng)建的虛擬的三維物體或者二維的信息，利用顯示設(shè)備呈現(xiàn)出具有良好視覺(jué)效果的虛實(shí)結(jié)合環(huán)境，幫助用戶對(duì)真實(shí)世界進(jìn)行更好地理解和認(rèn)知。
[0003]在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，跟蹤注冊(cè)技術(shù)是實(shí)現(xiàn)圖像融合必需的條件，對(duì)精確實(shí)現(xiàn)“虛實(shí)融合”至關(guān)重要。跟蹤注冊(cè)技術(shù)，又被稱為虛實(shí)配準(zhǔn)技術(shù)，主要通過(guò)實(shí)時(shí)檢測(cè)、跟蹤目標(biāo)場(chǎng)景在真實(shí)環(huán)境中與攝像機(jī)的相對(duì)位置關(guān)系，對(duì)虛擬物體的位置進(jìn)行準(zhǔn)確定位，完成虛實(shí)融合。目前，根據(jù)注冊(cè)技術(shù)采用的方法和設(shè)備不同，常見的跟蹤注冊(cè)技術(shù)主要有三種:基于硬件、基于視覺(jué)和不同方案混合的跟蹤注冊(cè)技術(shù)?；谟布母欁?cè)技術(shù)，根據(jù)采用的傳感器不同，有電磁、超聲波、光學(xué)和慣性設(shè)備等。它主要通過(guò)測(cè)量和分析反饋信號(hào)，動(dòng)態(tài)地跟蹤使用者的位置和方向，完成虛擬物體的疊加，具有注冊(cè)簡(jiǎn)單，跟蹤速度較快的優(yōu)點(diǎn)，但是普遍存在受環(huán)境干擾影響大，長(zhǎng)時(shí)間跟蹤困難的問(wèn)題?；谟?jì)算機(jī)視覺(jué)的跟蹤注冊(cè)，主要通過(guò)采集處理場(chǎng)景的圖像信息，進(jìn)行識(shí)別和跟蹤，計(jì)算攝像機(jī)相對(duì)于目標(biāo)場(chǎng)景的位姿關(guān)系。與基于硬件的注冊(cè)技術(shù)相比，成本低廉，實(shí)現(xiàn)方便，而且注冊(cè)精度更高，是當(dāng)前AR研究中應(yīng)用最廣泛的技術(shù)。而混合跟蹤注冊(cè)技術(shù)是當(dāng)某一種策略無(wú)法達(dá)到預(yù)期效果時(shí)，通過(guò)結(jié)合不同種類的注冊(cè)技術(shù)，使注冊(cè)定位更加精確?；旌细櫹到y(tǒng)一般精確性較高，但是系統(tǒng)構(gòu)建復(fù)雜、花費(fèi)代價(jià)高昂，并不適合大規(guī)模應(yīng)用。
[0004]目前，基于視覺(jué)的跟蹤注冊(cè)研究中，比較成熟的是基于人工標(biāo)識(shí)物(Marker)的注冊(cè)。此項(xiàng)技術(shù)通過(guò)提取場(chǎng)景中的標(biāo)識(shí)物進(jìn)行識(shí)別定位，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)。但是該方法應(yīng)用的前提是目標(biāo)場(chǎng)景中必須存在特定的、完整的人工標(biāo)識(shí)，如果不能滿足上述條件，就容易造成注冊(cè)失敗。因此，無(wú)標(biāo)識(shí)物的跟蹤注冊(cè)技術(shù)成為影響增強(qiáng)現(xiàn)實(shí)發(fā)展的一個(gè)重要問(wèn)題。增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)穩(wěn)定性、精確性和實(shí)時(shí)性的要求較高，而目前基于視覺(jué)的常見注冊(cè)方法，例如Ke Xu采用單應(yīng)關(guān)系計(jì)算注冊(cè)矩陣的方法，Andrew通過(guò)事先計(jì)算場(chǎng)景模型完成注冊(cè)的方法，Yuko利用包含多平面結(jié)構(gòu)的真實(shí)場(chǎng)景的視覺(jué)注冊(cè)等方法，在檢測(cè)特征的穩(wěn)定性與實(shí)時(shí)性方面不能同時(shí)兼顧，如果檢測(cè)不到穩(wěn)定的特征點(diǎn)，就無(wú)法完成注冊(cè)。而且由于特征提取的運(yùn)算一般比較復(fù)雜，目前主要的解決辦法是通過(guò)對(duì)特征點(diǎn)進(jìn)行跟蹤減少計(jì)算，提高效率。這種策略也面臨著一個(gè)問(wèn)題:提取的特征在尺度和環(huán)境適應(yīng)性方面穩(wěn)定性不強(qiáng)，可重復(fù)性較弱，當(dāng)場(chǎng)景發(fā)生變形時(shí)，容易產(chǎn)生誤匹配和跟蹤失敗的問(wèn)題，影響了增強(qiáng)現(xiàn)實(shí)系統(tǒng)運(yùn)行的穩(wěn)定，同時(shí)降低了系統(tǒng)的運(yùn)行效率。


【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問(wèn)題在于克服現(xiàn)有無(wú)標(biāo)識(shí)物的跟蹤注冊(cè)技術(shù)，提供一種無(wú)標(biāo)志物跟蹤注冊(cè)方法，能夠有效提高跟蹤注冊(cè)的準(zhǔn)確性和效率，進(jìn)而提升增強(qiáng)現(xiàn)實(shí)系統(tǒng)的實(shí)時(shí)性。
[0006]一種無(wú)標(biāo)志物跟蹤注冊(cè)方法，包括以下步驟:
[0007]步驟1、獲取目標(biāo)場(chǎng)景的一幅圖像作為模板圖像，并利用一系列不同的仿射參數(shù)對(duì)模板圖像進(jìn)行仿射變換，得到一組變換圖像；
[0008]步驟2、分別檢測(cè)出模板圖像和各變換圖像中的CenSurE特征點(diǎn)，并從中篩選出穩(wěn)定特征點(diǎn)，具體包括:
[0009]將各變換圖像中的CenSurE特征點(diǎn)按照相應(yīng)的仿射參數(shù)進(jìn)行逆仿射變換，并比較各變換圖像中的每一個(gè)CenSurE特征點(diǎn)經(jīng)逆仿射變換后的坐標(biāo)與模板圖像中和其相對(duì)應(yīng)的CenSurE特征點(diǎn)的坐標(biāo)之間的偏差，如偏差大于預(yù)設(shè)范圍，則將該變換圖像中的這個(gè)CenSurE特征點(diǎn)剔除,最后剩余的模板圖像和各變換圖像中的CenSurE特征點(diǎn)即為穩(wěn)定特征點(diǎn)；
[0010]步驟3、對(duì)每一個(gè)穩(wěn)定特征點(diǎn)，提取以其為中心的相同大小的鄰域圖像塊；模板圖像中的每一個(gè)穩(wěn)定特征點(diǎn)的鄰域圖像塊各自構(gòu)成單獨(dú)的一類，各變換圖像中和該穩(wěn)定特征點(diǎn)相對(duì)應(yīng)的其它穩(wěn)定特征點(diǎn)的鄰域圖像塊屬于該模板圖像中穩(wěn)定特征點(diǎn)的鄰域圖像塊所在的類；以所提取出的所有鄰域圖像塊作為訓(xùn)練樣本集，訓(xùn)練隨機(jī)森林分類器；
[0011]步驟4、對(duì)于跟蹤注冊(cè)的目標(biāo)視頻的第一個(gè)圖像幀，利用以下方法將其與模板圖像進(jìn)行特征點(diǎn)匹配:
[0012]首先檢測(cè)其中的CenSurE特征點(diǎn)，并按照步驟3中的方法提取所檢測(cè)出的各CenSurE特征點(diǎn)的鄰域圖像塊，并利用訓(xùn)練好的隨機(jī)森林分類器對(duì)這些鄰域圖像塊進(jìn)行分類，假設(shè)第一個(gè)圖像幀中的CenSurE特征點(diǎn)的領(lǐng)域圖像塊被分類為類別C，則類別c所對(duì)應(yīng)的模板圖像中的穩(wěn)定特征點(diǎn)即為A的匹配點(diǎn)；
[0013]步驟5、對(duì)于后續(xù)的圖像幀，對(duì)匹配點(diǎn)進(jìn)行連續(xù)跟蹤；如果跟蹤失敗，利用步驟4中的方法將當(dāng)前幀與模板圖像重新進(jìn)行特征點(diǎn)匹配，然后繼續(xù)對(duì)重新得到的匹配點(diǎn)進(jìn)行連續(xù)跟蹤，從而實(shí)現(xiàn)對(duì)目標(biāo)視頻的連續(xù)跟蹤；
[0014]步驟6、結(jié)合攝像機(jī)內(nèi)部參數(shù)得到投影矩陣，將虛擬物體模型繪制疊加到真實(shí)場(chǎng)景中。
[0015]為了進(jìn)一步提升所選擇的特征點(diǎn)的穩(wěn)定性，作為本發(fā)明的進(jìn)一步改進(jìn)方案，所述步驟2與步驟3之間還包括對(duì)步驟2所得到的穩(wěn)定特征點(diǎn)進(jìn)行再篩選的步驟，具體如下:以步驟2所篩選出的穩(wěn)定特征點(diǎn)作為初步穩(wěn)定特征點(diǎn)，對(duì)統(tǒng)計(jì)模板圖像中的所有初步穩(wěn)定特征點(diǎn)根據(jù)其所對(duì)應(yīng)的變換圖像中初步穩(wěn)定特征點(diǎn)的數(shù)量從大到小進(jìn)行排序，選出最前面的一部分，最后以這一部分統(tǒng)計(jì)模板圖像中的初步穩(wěn)定特征點(diǎn)及其所對(duì)應(yīng)的變換圖像中的初步穩(wěn)定特征點(diǎn)作為最終的穩(wěn)定特征點(diǎn)。
[0016]上述技術(shù)方案中可采用現(xiàn)有的各種方法實(shí)現(xiàn)對(duì)匹配點(diǎn)的連續(xù)跟蹤，作為本發(fā)明的另一優(yōu)選技術(shù)方案，所述對(duì)匹配點(diǎn)進(jìn)行連續(xù)跟蹤，具體按照以下方法:首先利用光流特征跟蹤方法得到當(dāng)前幀的粗匹配點(diǎn)；然后將偏移向量的模大于預(yù)設(shè)閾值的粗匹配點(diǎn)作為錯(cuò)誤匹配點(diǎn)，對(duì)于每一個(gè)錯(cuò)誤匹配點(diǎn)，在以其為中心的NXN的檢測(cè)窗口中檢測(cè)是否存在偏移向量的模大于預(yù)設(shè)閾值的新的CenSurE特征點(diǎn)，如存在，則以其中距離該錯(cuò)誤匹配點(diǎn)最近的新的CenSurE特征點(diǎn)取代該錯(cuò)誤匹配點(diǎn)，如不存在，則剔除該錯(cuò)誤匹配點(diǎn)；然后對(duì)下一圖像幀重復(fù)以上過(guò)程。
[0017]相比現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果:
[0018]1、本發(fā)明引入了新的CenSurE特征提取算法,CenSurE特征具有的尺度不變特性，可以很好的描述不同變換下的場(chǎng)景，提高了對(duì)復(fù)雜場(chǎng)景的表達(dá)能力和適應(yīng)性；同時(shí)，在保證穩(wěn)定性的前提下，具有比SIFT和SURF更高的提取效率。
[0019]2、本發(fā)明采用了隨機(jī)森林分類的方法，將特征匹配轉(zhuǎn)化為模式識(shí)別的問(wèn)題，通過(guò)對(duì)分類器進(jìn)行訓(xùn)練和識(shí)別，提高了特征的匹配效率和準(zhǔn)確性，為后續(xù)注冊(cè)矩陣的計(jì)算提供了準(zhǔn)確的識(shí)別結(jié)果，保證了跟蹤注冊(cè)的順利完成。
[0020]3、本發(fā)明將特征點(diǎn)的匹配有機(jī)地與基于光流的跟蹤相結(jié)合，對(duì)特征點(diǎn)的位置進(jìn)行跟蹤和預(yù)測(cè)，提高了跟蹤注冊(cè)的快速性；對(duì)跟蹤的特征點(diǎn)進(jìn)行篩選，避免了累積誤差，提高了跟蹤的準(zhǔn)確性。

【專利附圖】

【附圖說(shuō)明】
[0021]圖1為一種采用本發(fā)明跟蹤注冊(cè)方法的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的結(jié)構(gòu)框圖；
[0022]圖2為隨機(jī)森林分類器的訓(xùn)練及測(cè)試過(guò)程示意圖；
[0023]圖3為【具體實(shí)施方式】中增強(qiáng)現(xiàn)實(shí)系統(tǒng)的工作過(guò)程示意圖。

【具體實(shí)施方式】
[0024]下面結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說(shuō)明:
[0025]本發(fā)明針對(duì)現(xiàn)有技術(shù)不足，通過(guò)構(gòu)造隨機(jī)森林分類模型，對(duì)CenSurE算法提取的特征點(diǎn)進(jìn)行快速初始匹配，同時(shí)結(jié)合現(xiàn)有特征點(diǎn)連續(xù)跟蹤技術(shù)對(duì)匹配特征點(diǎn)進(jìn)行連續(xù)跟蹤，從而在大幅度減少特征匹配所需計(jì)算的同時(shí)，提高了所選取特征點(diǎn)的穩(wěn)定性；并進(jìn)一步對(duì)光流特征跟蹤方法進(jìn)行改進(jìn)，對(duì)錯(cuò)誤跟蹤點(diǎn)進(jìn)行篩選，提高了跟蹤注冊(cè)的準(zhǔn)確性和效率，提高了增強(qiáng)現(xiàn)實(shí)系統(tǒng)的實(shí)時(shí)性。
[0026]圖1顯示了一種采用本發(fā)明跟蹤注冊(cè)方法的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的結(jié)構(gòu)框圖，如圖所示，該增強(qiáng)顯示系統(tǒng)包括:
[0027]系統(tǒng)參數(shù)初始化模塊，用于計(jì)算攝像機(jī)內(nèi)部參數(shù)，初始化視頻窗口 ；
[0028]圖像采集處理模塊，用于對(duì)圖像進(jìn)行實(shí)時(shí)采集和處理；
[0029]隨機(jī)森林特征識(shí)別模塊，在離線階段中用于提取模板圖像，檢測(cè)特征點(diǎn)構(gòu)建訓(xùn)練樣本，并對(duì)隨機(jī)森林分類模型進(jìn)行訓(xùn)練；在線運(yùn)行時(shí)對(duì)特征點(diǎn)進(jìn)行分類預(yù)測(cè)，得到初始匹配點(diǎn)集合；
[0030]跟蹤注冊(cè)模塊，用于對(duì)特征點(diǎn)進(jìn)行連續(xù)跟蹤，篩選去除錯(cuò)誤跟蹤點(diǎn)，計(jì)算每一幀的三維注冊(cè)矩陣；
[0031]虛實(shí)融合模塊，用于生成虛擬的物體或者信息，將其根據(jù)注投影模型疊加顯示到真實(shí)場(chǎng)景中。
[0032]下面結(jié)合圖1所示增強(qiáng)現(xiàn)實(shí)系統(tǒng)的工作過(guò)程，來(lái)對(duì)本發(fā)明技術(shù)方案進(jìn)行詳細(xì)描述。
[0033]該系統(tǒng)的工作過(guò)程具體包括以下步驟:
[0034]步驟A、系統(tǒng)參數(shù)初始化模塊計(jì)算所采用的攝像機(jī)的內(nèi)部參數(shù)，初始化系統(tǒng)環(huán)境及參數(shù)；步驟B、隨機(jī)森林特征識(shí)別模塊與跟蹤注冊(cè)模塊相結(jié)合，實(shí)現(xiàn)跟蹤注冊(cè)，具體包括以下子步驟:
[0035]步驟B1、獲取目標(biāo)場(chǎng)景的一幅圖像作為模板圖像，并利用一系列不同的仿射參數(shù)對(duì)模板圖像進(jìn)行仿射變換，得到一組變換圖像；
[0036]上述模板圖像可以通過(guò)對(duì)真實(shí)場(chǎng)景進(jìn)行拍攝得到，也可以通過(guò)從目標(biāo)視頻中截取一個(gè)圖像幀得到。然后根據(jù)模板圖像，利用仿射變換生成旋轉(zhuǎn)、尺度、光照、模糊等不同情況下的變換圖像。
[0037]仿射變換公式為:
[0038](q^Pi) = A (q0-p0) +t
[0039]其中，Ptl和q(l表示原始圖像中的特征點(diǎn)坐標(biāo)和qi為仿射變換后的特征點(diǎn)坐標(biāo)，t = [tu, tv]T則為平移矩陣；A = R0R4T1SR41, Re表示位置旋轉(zhuǎn)矩陣，R41為尺度變換軸旋轉(zhuǎn)矩陣，Θ和Φ的變化范圍分別為[-π，JI ]和[-JI，2 31 ] ;s = diag[ λ 1； λ 2]表示圖像的尺度變化對(duì)角矩陣。這樣，通過(guò)選用一系列不同的仿射變換參數(shù)分別對(duì)模板圖像進(jìn)行處理，即可得到一組模仿旋轉(zhuǎn)、尺度、光照、模糊等不同情況下的變換圖像。
[0040]步驟Β2、分別檢測(cè)出模板圖像和各變換圖像中的CenSurE特征點(diǎn)，并從中篩選出穩(wěn)定特征點(diǎn)；
[0041]CenSurE特征點(diǎn)的提取為現(xiàn)有技術(shù)，其基本過(guò)程為:計(jì)算當(dāng)前圖像的積分圖像，根據(jù)積分圖像計(jì)算近似LOG的雙層中心環(huán)繞濾波器的濾波響應(yīng)，在各個(gè)尺度空間中檢測(cè)特征點(diǎn)的局部極值，采用Harris矩陣濾除不穩(wěn)定的邊緣或線上的特征點(diǎn)。關(guān)于CenSurE特征提取更詳細(xì)的內(nèi)容可參考文獻(xiàn)[Agrawal, M., K.Konolige and M.R.Bias.CenSurE:Centersurround extremas for realtime feature detect1n and matching[C].ComputerVis1n-ECCV2008, Proceedings of1th European Conference on Computer Vis1n.Berlin:Springer, 2008:102-115.]。
[0042]在進(jìn)行穩(wěn)定特征點(diǎn)的篩選時(shí)，本實(shí)施例中首先利用以下方法對(duì)穩(wěn)定特征點(diǎn)進(jìn)行初步篩選:將各變換圖像中的CenSurE特征點(diǎn)按照相應(yīng)的仿射參數(shù)進(jìn)行逆仿射變換，并比較各變換圖像中的每一個(gè)CenSurE特征點(diǎn)經(jīng)逆仿射變換后的坐標(biāo)與模板圖像中和其相對(duì)應(yīng)的CenSurE特征點(diǎn)的坐標(biāo)之間的偏差，如偏差大于預(yù)設(shè)范圍，則將該變換圖像中的這個(gè)CenSurE特征點(diǎn)剔除,最后剩余的模板圖像和各變換圖像中的CenSurE特征點(diǎn)即為初步穩(wěn)定特征點(diǎn)。
[0043]然后對(duì)初步穩(wěn)定特征點(diǎn)進(jìn)行進(jìn)一步篩選，具體如下:對(duì)統(tǒng)計(jì)模板圖像中的所有初步穩(wěn)定特征點(diǎn)根據(jù)其所對(duì)應(yīng)的變換圖像中初步穩(wěn)定特征點(diǎn)的數(shù)量從大到小進(jìn)行排序，選出最前面的一部分，最后以這一部分統(tǒng)計(jì)模板圖像中的初步穩(wěn)定特征點(diǎn)及其所對(duì)應(yīng)的變換圖像中的初步穩(wěn)定特征點(diǎn)作為最終的穩(wěn)定特征點(diǎn)。
[0044]步驟B3、對(duì)每一個(gè)穩(wěn)定特征點(diǎn)，提取以其為中心的相同大小的鄰域圖像塊；模板圖像中的每一個(gè)穩(wěn)定特征點(diǎn)的鄰域圖像塊各自構(gòu)成單獨(dú)的一類，各變換圖像中和該穩(wěn)定特征點(diǎn)相對(duì)應(yīng)的其它穩(wěn)定特征點(diǎn)的鄰域圖像塊屬于該模板圖像中穩(wěn)定特征點(diǎn)的鄰域圖像塊所在的類；以所提取出的所有鄰域圖像塊作為訓(xùn)練樣本集，訓(xùn)練隨機(jī)森林分類器；
[0045] 鄰域圖像塊的大小可根據(jù)實(shí)際情況選擇，本實(shí)施例中采用32X32像素大小的圖像塊。假設(shè)模板圖像中的穩(wěn)定特征點(diǎn)為η個(gè)，則所有穩(wěn)定特征點(diǎn)的鄰域圖像塊可組成集合K={!^!^...，、!，集合中的任意一個(gè)子集匕。=:，]，...，!!)中的元素為模板圖像中的第i個(gè)穩(wěn)定特征點(diǎn)的鄰域圖像塊以及所有變換圖像中與該特征點(diǎn)對(duì)應(yīng)的其它穩(wěn)定特征點(diǎn)的鄰域圖像塊。集合K中每個(gè)子集的標(biāo)號(hào)與類別集合C= {-l，l，2，...，n}中的類別號(hào)為一一對(duì)應(yīng)關(guān)系，其中-1為默認(rèn)值，表示不屬于集合K中任何一個(gè)子集所對(duì)應(yīng)的類別。
[0046]以集合K中所有元素所構(gòu)成的訓(xùn)練樣本集對(duì)隨機(jī)森林分類模型進(jìn)行訓(xùn)練，得到隨機(jī)森林分類器。以模板特征點(diǎn)及仿射變換后的穩(wěn)定特征點(diǎn)的鄰域圖像塊，即h中包含的特征點(diǎn)及其鄰域塊作為分類單位，輸入到分類器中對(duì)隨機(jī)森林分類模型進(jìn)行訓(xùn)練。在每個(gè)內(nèi)節(jié)點(diǎn)，選擇二值測(cè)試判斷類別的特征屬性，對(duì)內(nèi)節(jié)點(diǎn)進(jìn)行分裂，將特征點(diǎn)劃分到不同的子節(jié)點(diǎn)中。為了提高分裂效率，該測(cè)試依據(jù)灰度值不同進(jìn)行判別:
[0047]test (V, (p1； p2)) = [G (v, P1) ^ G(v, p2)]
[0048]P1和p2為鄰域內(nèi)任意選取的點(diǎn)，G(v, p)表示像素點(diǎn)P處的像素值。每個(gè)內(nèi)結(jié)點(diǎn)進(jìn)行上述測(cè)試，直到到達(dá)葉子節(jié)點(diǎn)，每棵樹的葉子結(jié)點(diǎn)存儲(chǔ)了某一類別的特征點(diǎn)的后驗(yàn)概率:
[0049]p(c|l(t, v)) = pt(c, v)
[0050]c表示類別集合C中的一個(gè)類別，I (t, V))表示特征點(diǎn)的鄰域塊V在樹t中所到達(dá)的葉子結(jié)點(diǎn)。概率值的大小由訓(xùn)練集中到達(dá)葉子結(jié)點(diǎn)I中屬于類別c的圖像塊數(shù)量與所有到達(dá)結(jié)點(diǎn)I的圖像塊數(shù)量之比來(lái)表示。
[0051]以上各步驟均為離線階段。
[0052]步驟B4、對(duì)于跟蹤注冊(cè)的目標(biāo)視頻的第一個(gè)圖像幀，利用以下方法將其與模板圖像進(jìn)行特征點(diǎn)匹配:首先檢測(cè)其中的CenSurE特征點(diǎn)，并按照步驟B3中的方法提取所檢測(cè)出的各CenSurE特征點(diǎn)的鄰域圖像塊，并利用訓(xùn)練好的隨機(jī)森林分類器對(duì)這些鄰域圖像塊進(jìn)行分類，假設(shè)第一個(gè)圖像幀中的CenSurE特征點(diǎn)的領(lǐng)域圖像塊被分類為類別C，則類別c所對(duì)應(yīng)的模板圖像中的穩(wěn)定特征點(diǎn)即為A的匹配點(diǎn)；
[0053]在線運(yùn)行時(shí)，對(duì)于增強(qiáng)現(xiàn)實(shí)的目標(biāo)視頻，為了降低運(yùn)算量，僅對(duì)第一幀圖像以及跟蹤失敗的當(dāng)前圖像幀利用訓(xùn)練好的隨機(jī)森林分類器進(jìn)行特征點(diǎn)匹配，后續(xù)的圖像幀則利用現(xiàn)有的特征點(diǎn)跟蹤方法，例如，利用紋理特征的基于區(qū)域匹配的跟蹤方法，基于跟蹤物體輪廓的跟蹤方法，利用狀態(tài)空間模型的跟蹤方法，采用Kalman濾波和粒子濾波等的狀態(tài)估計(jì)的跟蹤方法，以及基于KLT的特征點(diǎn)跟蹤方法等，進(jìn)行連續(xù)跟蹤。
[0054]對(duì)于目標(biāo)視頻的第一幀圖像，提取其中的CenSurE特征點(diǎn)，然后分別以所提取的特征點(diǎn)為中心選取32X32像素的鄰域塊，將其輸入隨機(jī)森林進(jìn)行預(yù)測(cè)分類:假設(shè)待匹配點(diǎn)仁輸入到了第k棵決策樹中，經(jīng)過(guò)內(nèi)結(jié)點(diǎn)分裂，最終到達(dá)葉子結(jié)點(diǎn)，對(duì)待匹配特征點(diǎn)&的分類有兩種情況:

【權(quán)利要求】
1.一種無(wú)標(biāo)志物跟蹤注冊(cè)方法，其特征在于，包括以下步驟: 步驟1、獲取目標(biāo)場(chǎng)景的一幅圖像作為模板圖像，并利用一系列不同的仿射參數(shù)對(duì)模板圖像進(jìn)行仿射變換，得到一組變換圖像； 步驟2、分別檢測(cè)出模板圖像和各變換圖像中的CenSurE特征點(diǎn)，并從中篩選出穩(wěn)定特征點(diǎn)，具體包括: 將各變換圖像中的CenSurE特征點(diǎn)按照相應(yīng)的仿射參數(shù)進(jìn)行逆仿射變換，并比較各變換圖像中的每一個(gè)CenSurE特征點(diǎn)經(jīng)逆仿射變換后的坐標(biāo)與模板圖像中和其相對(duì)應(yīng)的CenSurE特征點(diǎn)的坐標(biāo)之間的偏差，如偏差大于預(yù)設(shè)范圍，則將該變換圖像中的這個(gè)CenSurE特征點(diǎn)剔除，最后剩余的模板圖像和各變換圖像中的CenSurE特征點(diǎn)即為穩(wěn)定特征點(diǎn)； 步驟3、對(duì)每一個(gè)穩(wěn)定特征點(diǎn)，提取以其為中心的相同大小的鄰域圖像塊；模板圖像中的每一個(gè)穩(wěn)定特征點(diǎn)的鄰域圖像塊各自構(gòu)成單獨(dú)的一類，各變換圖像中和該穩(wěn)定特征點(diǎn)相對(duì)應(yīng)的其它穩(wěn)定特征點(diǎn)的鄰域圖像塊屬于該模板圖像中穩(wěn)定特征點(diǎn)的鄰域圖像塊所在的類；以所提取出的所有鄰域圖像塊作為訓(xùn)練樣本集，訓(xùn)練隨機(jī)森林分類器； 步驟4、對(duì)于跟蹤注冊(cè)的目標(biāo)視頻的第一個(gè)圖像幀，利用以下方法將其與模板圖像進(jìn)行特征點(diǎn)匹配: 首先檢測(cè)其中的CenSurE特征點(diǎn)，并按照步驟3中的方法提取所檢測(cè)出的各CenSurE特征點(diǎn)的鄰域圖像塊，并利用訓(xùn)練好的隨機(jī)森林分類器對(duì)這些鄰域圖像塊進(jìn)行分類，假設(shè)第一個(gè)圖像幀中的CenSurE特征點(diǎn)i的領(lǐng)域圖像塊被分類為類別C，則類別c所對(duì)應(yīng)的模板圖像中的穩(wěn)定特征點(diǎn)即為的匹配點(diǎn)； 步驟5、對(duì)于后續(xù)的圖像幀，對(duì)匹配點(diǎn)進(jìn)行連續(xù)跟蹤；如果跟蹤失敗，利用步驟4中的方法將當(dāng)前幀與模板圖像重新進(jìn)行特征點(diǎn)匹配，然后繼續(xù)對(duì)重新得到的匹配點(diǎn)進(jìn)行連續(xù)跟蹤，從而實(shí)現(xiàn)對(duì)目標(biāo)視頻的連續(xù)跟蹤； 步驟6、結(jié)合攝像機(jī)內(nèi)部參數(shù)得到投影矩陣，將虛擬物體模型繪制疊加到真實(shí)場(chǎng)景中。
2.如權(quán)利要求1所述無(wú)標(biāo)志物跟蹤注冊(cè)方法，其特征在于，所述對(duì)匹配點(diǎn)進(jìn)行連續(xù)跟蹤，具體按照以下方法:首先利用光流特征跟蹤方法得到當(dāng)前幀的粗匹配點(diǎn)；然后將偏移向量的模大于預(yù)設(shè)閾值的粗匹配點(diǎn)作為錯(cuò)誤匹配點(diǎn)，對(duì)于每一個(gè)錯(cuò)誤匹配點(diǎn)，在以其為中心的NXN的檢測(cè)窗口中檢測(cè)是否存在偏移向量的模大于預(yù)設(shè)閾值的新的CenSurE特征點(diǎn)，如存在，則以其中距離該錯(cuò)誤匹配點(diǎn)最近的新的CenSurE特征點(diǎn)取代該錯(cuò)誤匹配點(diǎn)，如不存在，則剔除該錯(cuò)誤匹配點(diǎn)；然后對(duì)下一圖像幀重復(fù)以上過(guò)程。
3.如權(quán)利要求1所述無(wú)標(biāo)志物跟蹤注冊(cè)方法，其特征在于，所述步驟2與步驟3之間還包括對(duì)步驟2所得到的穩(wěn)定特征點(diǎn)進(jìn)行再篩選的步驟，具體如下:以步驟2所篩選出的穩(wěn)定特征點(diǎn)作為初步穩(wěn)定特征點(diǎn)，對(duì)統(tǒng)計(jì)模板圖像中的所有初步穩(wěn)定特征點(diǎn)根據(jù)其所對(duì)應(yīng)的變換圖像中初步穩(wěn)定特征點(diǎn)的數(shù)量從大到小進(jìn)行排序，選出最前面的一部分，最后以這一部分統(tǒng)計(jì)模板圖像中的初步穩(wěn)定特征點(diǎn)及其所對(duì)應(yīng)的變換圖像中的初步穩(wěn)定特征點(diǎn)作為最終的穩(wěn)定特征點(diǎn)。
4.如權(quán)利要求1所述無(wú)標(biāo)志物跟蹤注冊(cè)方法，其特征在于，所述模板圖像是通過(guò)對(duì)真實(shí)場(chǎng)景進(jìn)行拍攝得到，或者通過(guò)從目標(biāo)視頻中截取一個(gè)圖像幀得到。
5.如權(quán)利要求1所述無(wú)標(biāo)志物跟蹤注冊(cè)方法，其特征在于，所述鄰域圖像塊的大小為32X32像素。
【文檔編號(hào)】G06K9/62GK104077596SQ201410274521
【公開日】2014年10月1日 申請(qǐng)日期:2014年6月18日 優(yōu)先權(quán)日:2014年6月18日
【發(fā)明者】劉惠義, 隋建凱 申請(qǐng)人:河海大學(xué)