一種基于在線學(xué)習(xí)的移動增強現(xiàn)實跟蹤注冊方法
【專利摘要】本發(fā)明提供一種基于在線學(xué)習(xí)的移動增強現(xiàn)實跟蹤注冊方法，通過減少反投影誤差來優(yōu)化攝像機的位姿矩陣，通過建立虛擬三維物體的坐標系和場景平面的坐標系，以利于更精確的完成虛擬物體對真實場景的注冊；使用局部區(qū)域的特征點快速查找算法來恢復(fù)丟失的特征點，通過對檢測到的場景特征點進行在線學(xué)習(xí)，使得場景三維點坐標的權(quán)值實時更新，貢獻大的三維點逐步增大對應(yīng)的權(quán)值，貢獻小的逐步降低對應(yīng)的權(quán)值，并通過學(xué)習(xí)計算出全局分值最大投影矩陣，從而進一步提高了增強現(xiàn)實注冊的精準度。
【專利說明】—種基于在線學(xué)習(xí)的移動增強現(xiàn)實跟蹤注冊方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于移動增強現(xiàn)實【技術(shù)領(lǐng)域】，具體涉及一種基于在線學(xué)習(xí)的移動增強現(xiàn)實跟蹤注冊方法。
【背景技術(shù)】
[0002]增強現(xiàn)實技術(shù)(Augmented Real ity—AR)是當前計算機視覺領(lǐng)域中的研究熱點之一，通過將虛擬物體與真實環(huán)境緊密結(jié)合，增強人們對真實環(huán)境的理解與體驗。增強現(xiàn)實技術(shù)的特性是:虛實結(jié)合、實時交互和跟蹤注冊。其中，跟蹤注冊是增強現(xiàn)實技術(shù)需要解決的核心問題之一。尤其是基于視覺的無標志點跟蹤注冊技術(shù)，由于其精度高、設(shè)備簡單且對環(huán)境無干擾，逐漸成為增強現(xiàn)實領(lǐng)域的研究熱點。
[0003]傳統(tǒng)的無標志點跟蹤注冊技術(shù)大多適用于小范圍的簡單場景，算法只需處理少量的場景及其特征的跟蹤注冊問題。隨著應(yīng)用領(lǐng)域的不斷拓寬，增強現(xiàn)實技術(shù)的應(yīng)用開始向著戶外復(fù)雜環(huán)境延伸。因此，適用于戶外復(fù)雜環(huán)境的無標志點跟蹤注冊技術(shù)，尤其是跟蹤精度高、實時性和魯棒性強且存儲容量低的無標志點跟蹤注冊技術(shù)，已經(jīng)成為未來增強現(xiàn)實發(fā)展的難點和關(guān)鍵。國外相關(guān)機構(gòu)已經(jīng)在這一領(lǐng)域展開研究，并取得了一定的成果。國內(nèi)在這方面的研究則剛剛起步，理論和實踐均不夠成熟。因此，進行戶外復(fù)雜環(huán)境下的無標志點跟蹤注冊技術(shù)研究，是國內(nèi)廣泛深入開展相關(guān)增強現(xiàn)實系統(tǒng)研究的必然要求，也是我國發(fā)展具有獨立自主知識產(chǎn)權(quán)的戶外復(fù)雜環(huán)境下增強現(xiàn)實系統(tǒng)的必備條件。
[0004]在移動增強現(xiàn)實領(lǐng)域中，針對平面物體及有標志物體的注冊方法已經(jīng)取得了很好的發(fā)展與應(yīng)用。但是，智能手機端對自然場景的識別與跟蹤注冊仍然是一個困難的、開放的問題。
[0005]2011 年學(xué)者 T.Guan 等(文獻 IT.Guan ；L.Y.Duan.“Real Time Camera PoseEstimation for WideAreaAugmented Reality Application，，.IE EE Computer Graphicsand Application, 31 (3) =56-68,2011)為能夠正確識別自然場景，保存了大量的參考視圖，通過局部特征匹配方法來對自然場景進行識別，但該算法計算量非常大，無法應(yīng)用于智能手機。
[0006]2Ol3 年，學(xué)者 Liya Duan 等(文獻 2.Liya Duan ;Tao Guan ;Yawei Lu0.“Wide arearegi stration on camera phones for mobile augmented reality applications，，SensorReview, 2013, 33 (3):209-219.)提出了局部區(qū)域特征的注冊方法，將輸入圖像中提取的相應(yīng)特征與場景圖像的物體特征進行匹配，然后根據(jù)匹配點的對應(yīng)關(guān)系對物體的三維位姿進行計算。但是，需要用計算機事先對所有場景進行三維重建，建立場景的三維點與場景相關(guān)圖像的二維關(guān)系，并且都需要用戶手動將所在場景的三維點坐標下載下來，才能實現(xiàn)后續(xù)的跟蹤注冊算法，否則將產(chǎn)生巨大的搜索空間，難以滿足實時性的要求。

【發(fā)明內(nèi)容】

[0007]針對現(xiàn)有的技術(shù)存在的問題，本發(fā)明提供一種基于在線學(xué)習(xí)的移動增強現(xiàn)實跟蹤注冊方法。
[0008]本發(fā)明的技術(shù)方案是:
[0009]一種基于在線學(xué)習(xí)的移動增強現(xiàn)實跟蹤注冊方法，包括以下步驟:
[0010]步驟1:對攝像機的內(nèi)參進行標定；
[0011]步驟2:建立場景特征點的三維坐標信息庫，根據(jù)立體視覺三維重建的基本原理，對場景特征點進行重建；
[0012]步驟3:繼續(xù)拍攝當前場景，獲取當前幀的視頻圖像，檢測圖像的自然特征；
[0013]步驟4:將當前視頻圖像與指定的參考圖像進行匹配，根據(jù)匹配結(jié)果，判斷當前場景圖像與參考圖像是否相似；如果匹配不相似進入步驟5，匹配成功進入步驟6 ；
[0014]步驟5:設(shè)定一個識別失敗的計數(shù)器N，2 < N < 5，當失敗次數(shù)大于N時，說明已經(jīng)進入一個新的場景，進入步驟I對新場景進行重建，否則由于攝像頭移動太快而導(dǎo)致匹配失敗，則進入步驟3;
[0015]步驟6:根據(jù)描述符映射表找到當前圖像描述符對應(yīng)的3D點坐標，描述符2D坐標到3D空間坐標的投影矩陣；
[0016]步驟7:根據(jù)投影矩陣和已知的內(nèi)參矩陣恢復(fù)出當前圖像幀的位姿[R|t]矩陣；
[0017]步驟8:進行幾何校驗和反投影誤差分析判斷是不是有效的位姿矩陣如果是有效的位姿矩陣執(zhí)行步驟9，否則返回步驟3 ；
[0018]步驟9:存在有效的位姿矩陣，定義虛擬物體的坐標系，合成有效的注冊矩陣，疊加三維虛擬物體；
[0019]步驟10:利用光流跟蹤算法對場景圖像的局部特征點進行跟蹤和在線學(xué)習(xí)；
[0020]步驟11:對跟蹤的點進行分析，若跟蹤上的特征點個數(shù)大于并且小于T1, 20 < T1
<30，40 < T1 < 50，跟蹤到的點數(shù)影響了計算位姿矩陣的精度，則進行丟失的特征點恢復(fù)；
[0021]步驟12:當跟蹤到的特征點數(shù)小于，表明已經(jīng)對當前場景跟蹤失敗，用戶已經(jīng)到達新的場景需要重新進行重建和識別，則返回步驟2。
[0022]步驟2中對場景特征點進行重建的具體步驟包括:
[0023]2.1從不同角度拍攝待注冊場景的兩幅圖像作為參考圖像，并做特征提取與匹配操作
[0024]2.2根據(jù)特征匹配結(jié)果，利用RANSAC算法去除誤匹配點，根據(jù)匹配的特征點對求取基本矩陣F。
[0025]2.3由基本矩陣F和已知的攝像頭內(nèi)參得到本質(zhì)矩陣E。
[0026]2.4根據(jù)本質(zhì)矩陣E正確估計攝像機外參數(shù)R和t。
[0027]2.5將攝像機內(nèi)參數(shù)K和外參數(shù)R和t組合成投影矩陣、。
[0028]2.7重建兩幅圖像匹配好的特征點。
[0029]2.8建立圖像局部特征對應(yīng)的三維坐標信息庫。
[0030]步驟2.1對圖像的特征提取和匹配，包括對圖像的去噪聲和進行灰度處理。特征點提取使用二進制特征檢測算法BRISK，特征匹配使用漢明距離度量法。設(shè)定一個閾值T，30 < T < 50，當前圖像的特征與參考圖像的所有特征進行比較，選取距離最短的，并且小于T的特征作為匹配特征。
[0031]本發(fā)明的有益效果:[0032](I)通過減少反投影誤差來優(yōu)化攝像機的位姿矩陣。。
[0033](2)通過建立虛擬三維物體的坐標系和場景平面的坐標系，以利于更精確的完成虛擬物體對真實場景的注冊。
[0034](3)使用局部區(qū)域的特征點快速查找算法來恢復(fù)丟失的特征點，大大節(jié)省了特征檢測時間，進一步提高了實時更新注冊信息的速度。
[0035](4)通過對檢測到的場景特征點進行在線學(xué)習(xí)，使得場景三維點坐標的權(quán)值實時更新，貢獻大的三維點逐步增大對應(yīng)的權(quán)值，貢獻小的逐步降低對應(yīng)的權(quán)值，并通過學(xué)習(xí)計算出全局分值最大投影矩陣，從而進一步提高了增強現(xiàn)實注冊的精準度。
【專利附圖】

【附圖說明】
[0036]圖1為本發(fā)明具體實施的在線學(xué)習(xí)移動增強現(xiàn)實注冊算法流程圖；
[0037]圖2為本發(fā)明中場景重建三角測量法原理圖；
[0038]圖3為本發(fā)明中圖像尺度空間的BRISK特征示意圖；
[0039]圖4為本發(fā)明中2D描述符到3D坐標點的關(guān)聯(lián)表。
【具體實施方式】
[0040]下面將結(jié)合附圖對本發(fā)明的【具體實施方式】做詳細描述。
[0041]本實施方式中，實施基于戶外自然場景的移動增強現(xiàn)實注冊方法時，采用四核、IG內(nèi)存的智能手機，攝像頭分辨率為640*320，內(nèi)參為標定好的，默認一直不變。對攝像頭中出現(xiàn)的自然場景進行識別和跟蹤注冊。
[0042]圖1示出了本發(fā)明的戶外自然場景移動增強現(xiàn)實跟蹤注冊流程，主要包括以下步驟:
[0043]步驟1:用攝像機標定方法得到攝像機的內(nèi)參K。
[0044]通過攝像機定標，可以確定與攝像機自身的幾何和光學(xué)特性有關(guān)的參數(shù)(即內(nèi)部參數(shù))，以及它相對于某一世界坐標系的三維位置和方向(即外部參數(shù))。攝像機的定標在增強現(xiàn)實系統(tǒng)中起著重要作用。本發(fā)明采用ART00LKIT方法，利用黑色邊框的平板圖案作為系統(tǒng)標識的四個角點及其在圖像中的位置計算矩陣單應(yīng)矩陣Bi的值。
[0045]攝像機成像基本原理，屏幕坐標系與世界坐標系之間的變換關(guān)系可用下式表示:.lxr
【權(quán)利要求】
1.一種基于在線學(xué)習(xí)的移動增強現(xiàn)實跟蹤注冊方法，其特征在于，包括以下步驟: 步驟1:對攝像機的內(nèi)參進行標定； 步驟2:建立場景特征點的三維坐標信息庫，根據(jù)立體視覺三維重建的基本原理，對場景特征點進行重建； 步驟3:繼續(xù)拍攝當前場景，獲取當前幀的視頻圖像，檢測圖像的自然特征； 步驟4:將當前視頻圖像與指定的參考圖像進行匹配，根據(jù)匹配結(jié)果，判斷當前場景圖像與參考圖像是否相似；如果匹配不相似進入步驟5，匹配成功進入步驟6 ； 步驟5:設(shè)定一個識別失敗的計數(shù)器N，2 < N < 5，當失敗次數(shù)大于N時，說明已經(jīng)進入一個新的場景，進入步驟I對新場景進行重建，否則由于攝像頭移動太快而導(dǎo)致匹配失敗，則進入步驟3 ； 步驟6:根據(jù)描述符映射表找到當前圖像描述符對應(yīng)的3D點坐標，描述符2D坐標到3D空間坐標的投影矩陣； 步驟7:根據(jù)投影矩陣和已知的內(nèi)參矩陣恢復(fù)出當前圖像幀的位姿[R|t]矩陣； 步驟8:進行幾何校驗和反投影誤差分析判斷是不是有效的位姿矩陣，如果是有效的位姿矩陣執(zhí)行步驟9，否則返回步驟3 ； 步驟9:存在有效的位姿矩陣，定義虛擬物體的坐標系，合成有效的注冊矩陣，疊加三維虛擬物體； 步驟10:利用光流跟蹤算法對場景圖像的局部特征點進行跟蹤和在線學(xué)習(xí)； 步驟11:對跟蹤的點進行分析，若跟蹤上的特征點個數(shù)大于并且小于T1, 20 < T1 < 30，.40 < T1 < 50，跟蹤到的點數(shù)影響了計算位姿矩陣的精度，則進行丟失的特征點恢復(fù)； 步驟12:當跟蹤到的特征點數(shù)小于，表明已經(jīng)對當前場景跟蹤失敗，用戶已經(jīng)到達新的場景需要重新進行重建和識別，則返回步驟2。
2.如權(quán)利要求1所述的一種基于在線學(xué)習(xí)的移動增強現(xiàn)實跟蹤注冊方法，其特征在于，步驟2中對場景特征點進行重建的具體步驟包括: .2.1從不同角度拍攝待注冊場景的兩幅圖像作為參考圖像，并做特征提取與匹配操作； .2.2根據(jù)特征匹配結(jié)果，利用RANSAC算法去除誤匹配點，根據(jù)匹配的特征點對求取基本矩陣F ； .2.3由基本矩陣F和已知的攝像頭內(nèi)參得到本質(zhì)矩陣E ； . 2.4根據(jù)本質(zhì)矩陣E正確估計攝像機外參數(shù)R和t ; .2.5將攝像機內(nèi)參數(shù)K和外參數(shù)R和t組合成投影矩陣； .2.6重建兩幅圖像匹配好的特征點； .2.7建立圖 像局部特征對應(yīng)的三維坐標信息庫。
3.如權(quán)利要求2所述的一種基于在線學(xué)習(xí)的移動增強現(xiàn)實跟蹤注冊方法，其特征在于，步驟2.1對圖像的特征提取和匹配，包括對圖像的去噪聲和進行灰度處理；特征點提取使用二進制特征檢測算法BRISK，特征匹配使用漢明距離度量法；設(shè)定一個閾值T，.30 ^ 50，當前圖像的特征與參考圖像的所有特征進行比較，選取距離最短的，并且小于T的特征作為匹配特征。
【文檔編號】G06F17/30GK103854283SQ201410059259
【公開日】2014年6月11日 申請日期:2014年2月21日 優(yōu)先權(quán)日:2014年2月21日
【發(fā)明者】劉越, 桂振文, 王涌天 申請人:北京理工大學(xué)