專利名稱：一種魯棒的實(shí)時(shí)在線攝像機(jī)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺和增強(qiáng)現(xiàn)實(shí)領(lǐng)域，特別是涉及未知場景中實(shí)時(shí)的攝像機(jī)跟
蹤方法。
背景技術(shù)：
基于視覺的攝像機(jī)跟蹤的目的是通過輸入的圖像序列或者實(shí)時(shí)的視頻估計(jì)出一 個(gè)攝像機(jī)相對(duì)于它周圍環(huán)境的姿態(tài)(6自由度參數(shù))。它對(duì)于很多其他的計(jì)算機(jī)視覺的應(yīng) 用，如3維重建，視頻注冊和圖像增強(qiáng)都十分有用。傳統(tǒng)上，這個(gè)問題是通過離線的運(yùn)動(dòng)恢 復(fù)結(jié)構(gòu)方法來解決的。但是，在一些實(shí)際應(yīng)用中，如增強(qiáng)現(xiàn)實(shí)和自主導(dǎo)航，實(shí)時(shí)的相機(jī)姿態(tài) 是必需的前提條件。在這些情況下，離線的方法不能夠滿足效率的需求，因此在線的實(shí)時(shí)攝 相機(jī)跟蹤近些年受到更多的關(guān)注。近些年，同時(shí)定位和映射技術(shù)(Davison,Α.，Reid, I.，Molton, N.，Stasse, 0. :Monoslam :Real_time single camera slam.IEEE Trans. Pattern Analysis and MachineIntelligence 29(2007) 1052-1067)因?yàn)槠漪敯粜院透咝员粡V泛應(yīng)用在實(shí)時(shí)攝 像機(jī)跟蹤方法中。在完全未知或者僅知道很小部分的場景中，同時(shí)定位和映射技術(shù)可以精 確地有效地估計(jì)出實(shí)時(shí)的攝像機(jī)姿態(tài)，因而擴(kuò)展了攝像機(jī)跟蹤技術(shù)的可應(yīng)用范圍。但是，同 時(shí)定位和映射技術(shù)僅適用較少的先驗(yàn)知識(shí)也帶來了攝像機(jī)跟蹤技術(shù)的魯棒性問題。傳統(tǒng)的攝像機(jī)跟蹤方法的魯棒性問題主要存在于對(duì)于三種實(shí)際應(yīng)用中常見的問 題的抵御能力不足(1)快速的攝像機(jī)運(yùn)動(dòng)；( 攝像機(jī)運(yùn)動(dòng)帶來的圖像模糊；C3)攝像機(jī) 抖動(dòng)。其中問題1和問題3的本質(zhì)上源于同一個(gè)原因，即攝像機(jī)跟蹤技術(shù)對(duì)于上下兩幀之 間的連續(xù)性假設(shè)。絕大多數(shù)實(shí)時(shí)在線攝像機(jī)跟蹤技術(shù)的核心是一個(gè)用來通過前幾幀的攝像 機(jī)姿態(tài)估計(jì)下一幀的攝像機(jī)姿態(tài)的運(yùn)動(dòng)模型和一個(gè)用來進(jìn)行局部特征搜索與匹配的局部 定位算法。其中后者又依賴于前者估計(jì)出的當(dāng)前幀的攝像機(jī)姿態(tài)來作為局部特征搜索的初 始值，如果前者估計(jì)的結(jié)果不可靠，攝像機(jī)跟蹤就很可能失敗。在問題1和問題3中，由于 攝像機(jī)的運(yùn)動(dòng)并不嚴(yán)格遵守運(yùn)動(dòng)模型，因此很可能導(dǎo)致攝像機(jī)跟蹤的失敗。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問題克服現(xiàn)有技術(shù)的不足，提供一種魯棒的實(shí)時(shí)在線攝像機(jī) 跟蹤方法，該方法消除了攝像機(jī)跟蹤體系對(duì)于運(yùn)動(dòng)模型所估計(jì)的當(dāng)前幀攝像機(jī)姿態(tài)的依賴 性，提高了攝像機(jī)跟蹤方法的魯棒性和穩(wěn)定性。本發(fā)明的技術(shù)解決方案一種魯棒的實(shí)時(shí)在線攝像機(jī)跟蹤方法，包括初始化階段 和運(yùn)行時(shí)階段兩個(gè)部分，其中初始化階段包括(1)用戶從輸入的視頻信號(hào)或者圖像序列信號(hào)中選取兩幅圖像，并將這兩幅圖像 轉(zhuǎn)換為灰度格式，要求所述兩幅圖像中均存在同一平面的全部或部分內(nèi)容；(2)對(duì)于輸入的圖像采用角點(diǎn)檢測方法，檢測出圖像中存在的角點(diǎn)，再根據(jù)每一個(gè) 角點(diǎn)附近圖像塊信息，計(jì)算以角點(diǎn)為中心的小圖像塊，即特征點(diǎn)的描述器；以一幅圖像中的所有特征為基礎(chǔ)集合，在另一幅圖像中搜索每一個(gè)特征點(diǎn)在基礎(chǔ)集合中的距離最近的特征 點(diǎn)，組成一個(gè)特征點(diǎn)匹配；(3)根據(jù)所有的特征點(diǎn)匹配，計(jì)算兩幅圖像之間的單應(yīng)性變換矩陣；設(shè)定兩幅圖 像中共享的平面為世界坐標(biāo)系基準(zhǔn)平面，計(jì)算每一對(duì)匹配的特征點(diǎn)在三維坐標(biāo)系中的交 點(diǎn)，從而求得每一對(duì)匹配的特征點(diǎn)三維坐標(biāo)。每一個(gè)已知世界坐標(biāo)系中三維坐標(biāo)的特征點(diǎn) 是一個(gè)三維特征；(4)將所有的三維特征組織成一個(gè)初始三維特征集合；所述運(yùn)行時(shí)階段包括(a)從輸入的視頻或圖像序列中獲取一帽圖像，并轉(zhuǎn)換為灰度格式；(b)對(duì)于輸入的圖像采用角點(diǎn)檢測方法，檢測出圖像中存在的角點(diǎn)，再根據(jù)每一個(gè) 角點(diǎn)附近圖像塊信息，計(jì)算以角點(diǎn)為中心的范圍內(nèi)的圖像(約4X4的像素范圍)的特征描 述器；(c)以初始化階段步驟中得到的三維特征集合中的特征點(diǎn)為基礎(chǔ)集合，對(duì)于 圖像中的每一個(gè)特征點(diǎn)，在基礎(chǔ)集合中找到與該特征點(diǎn)的特征描述器距離最近的特征點(diǎn)， 并用這樣的點(diǎn)對(duì)構(gòu)成匹配集合；(d)對(duì)于(C)中形成的匹配集合，檢測匹配的特征點(diǎn)在兩幅圖像之間是否滿足同 一個(gè)剛性變換，對(duì)于不滿足剛性變換約束的特征匹配，將其從匹配集合中剔除；(e)根據(jù)剩下的特征匹配采用RANSAC的方法計(jì)算攝像機(jī)姿態(tài)；(f)根據(jù)步驟(e)中計(jì)算出的攝像機(jī)姿態(tài)，判斷當(dāng)前輸入圖像是否應(yīng)該作為關(guān)鍵 幀加入到特征集合中，如果是，將新的特征加入到三維特征集合中。本發(fā)明的與現(xiàn)有技術(shù)相比在優(yōu)點(diǎn)在于本發(fā)明以特征描述器為基礎(chǔ)，實(shí)現(xiàn)已知的 三維特征與圖像中提取的二維特征的匹配，從而避免了對(duì)于攝像機(jī)姿態(tài)的不可靠估計(jì)，減 少了使用運(yùn)動(dòng)模型進(jìn)行估計(jì)帶來的誤差和錯(cuò)誤；同時(shí)本發(fā)明采用了一種以兩幅圖像間的剛 性變換為約束條件的特征篩選機(jī)制，通過將保持剛性的特性引入到特征匹配的環(huán)節(jié)中，快 速的找到正確的特征匹配，提高了攝像機(jī)跟蹤算法的時(shí)間效率。


圖1示出本發(fā)明整體流程圖；圖2示出特征描述器的結(jié)構(gòu)；一個(gè)特征描述器是一個(gè)N維歸一化向量(本發(fā)明中 N為350)；如果兩個(gè)特征點(diǎn)的特征描述器之間的歐氏距離越小，則它們之間的相似度越高；圖3示出正確匹配篩選的過程；兩幅圖像中有6對(duì)特征匹配，分別為A1-A2， B1-B2,……Fl, F2 ；經(jīng)過剛性條件約束的篩選后，發(fā)現(xiàn)A1-A2，B1-B2，E1-E2，F(xiàn)1-F2在兩幅 圖像間滿足剛性變換約束，因此作為正確特征匹配被篩選出；圖4示出計(jì)算三維特征點(diǎn)的過程；已知兩幅圖像對(duì)應(yīng)的攝像機(jī)姿態(tài)，可以求取攝 像機(jī)到投影屏幕上的點(diǎn)的射線的交點(diǎn)來計(jì)算特征點(diǎn)在世界坐標(biāo)系中的坐標(biāo)。
具體實(shí)施例方式如圖1所示，本發(fā)明實(shí)施過程包括初始化階段和運(yùn)行時(shí)階段兩個(gè)部分。第一階段初始化部分包括選擇輸入圖像、圖像中特征點(diǎn)提取、圖像間特征匹配、計(jì)算特征點(diǎn)三維位置、建立初始的特征點(diǎn)集合五個(gè)步驟。第一步選擇輸入圖像。用戶根據(jù)自己的實(shí)際需要，如增強(qiáng)現(xiàn)實(shí)應(yīng)用中的虛物需要疊加的位置，自主導(dǎo)航 應(yīng)用中的導(dǎo)航起始位置等，選擇內(nèi)容相近的兩幀圖像作為初始的輸入圖像，決定系統(tǒng)的起 始位置。系統(tǒng)將該起始位置作為世界坐標(biāo)系的原點(diǎn)，并根據(jù)兩幅圖像中共有的平面作為基 準(zhǔn)平面來建立世界坐標(biāo)系。第二步特征點(diǎn)提取與匹配。本步驟需要在第一步中用戶選取的兩幅圖像中提取出特征點(diǎn)并計(jì)算特征點(diǎn)對(duì)應(yīng) 的特征描述器，并完成特征的匹配。本發(fā)明首先采用角點(diǎn)檢測方法，即采用特征描述器進(jìn)行三維到二維特征的匹配， 檢測出圖像中的梯度變化較大區(qū)域作為特征點(diǎn)，然后計(jì)算這些特征點(diǎn)附近的圖像塊對(duì)于N 個(gè)已經(jīng)訓(xùn)練好的特征點(diǎn)分類器的回應(yīng)值，并將這N個(gè)回應(yīng)值組織成為一個(gè)N維向量，作為該 特征點(diǎn)的描述器。特征描述器如圖2所示，一個(gè)特征描述器是一個(gè)N維歸一化向量(本發(fā) 明中N為350)。如果兩個(gè)特征點(diǎn)的特征描述器之間的歐氏距離越小，則它們之間的相似度 越高。特征描述器使用公式(1)和(2)計(jì)算des(Pi) = [v1 v2, L vN](1)Vj = response」(Pi)(2)其中desO表示特征描述器，Pi表示第i個(gè)特征點(diǎn)，Vj表示向量的第j個(gè)維度， response」()表示第j個(gè)分類器的回應(yīng)值函數(shù)。第三步特征匹配在對(duì)兩幅圖像均提取其中特征點(diǎn)后，以其中一幅圖像為基礎(chǔ)集合，對(duì)另一幅圖中 的每個(gè)特征點(diǎn)，上面計(jì)算的特征描述器，在基礎(chǔ)集合中找到與其最相似(特征描述器的距 離最接近)的特征點(diǎn)，并將兩個(gè)特征點(diǎn)組成一對(duì)特征點(diǎn)匹配。對(duì)于每一個(gè)特征點(diǎn)Pi，在基礎(chǔ)集合查找中與它最接近的特征，使用公式(3)P1 = arg min(||des(^)- des(^.)|)(3)其中Pj是與Pi最接近的特征點(diǎn)。第四步計(jì)算三維特征點(diǎn)。根據(jù)第二步獲得所有的特征點(diǎn)匹配，可以計(jì)算兩幅圖像之間的單應(yīng)性變換矩陣。 本發(fā)明將選擇其中一幅圖像的攝像機(jī)的位置作為原點(diǎn)，并以投影平面為基準(zhǔn)平面，構(gòu)建世 界坐標(biāo)系。通過單應(yīng)性變換矩陣，可以求取攝像機(jī)在拍攝另一幅圖像時(shí)的位置。根據(jù)兩幅 圖像中的攝像機(jī)位置與特征點(diǎn)在投影屏幕上的位置構(gòu)成的兩條射線，求取其交點(diǎn)即為該特 征在世界坐標(biāo)系中的位置。該過程如圖4所示。第五步建立初始的特征點(diǎn)集合。將所有計(jì)算出三維位置的特征點(diǎn)放入特征點(diǎn)集合中，并把用戶選擇的兩幅圖像作 為初始的兩幅關(guān)鍵幀進(jìn)行捆集調(diào)整，矯正特征點(diǎn)和關(guān)鍵幀的姿態(tài)信息，并剔除異常特征點(diǎn)。 經(jīng)過這些處理后的特征點(diǎn)的集合構(gòu)成了初始特征點(diǎn)集合。第二階段運(yùn)行時(shí)部分。對(duì)于每一幅輸入圖像，首先提取其中的所有特征點(diǎn)并計(jì)算特征描述器，再與已有特征集合中的特征點(diǎn)進(jìn)行比較，找到距離最近的特征點(diǎn)組成特征點(diǎn) 對(duì)，并通過一種博弈論的模型來選擇正確的特征點(diǎn)匹配，并使用五點(diǎn)算法計(jì)算攝相機(jī)姿態(tài)。 最后判斷當(dāng)前輸入圖像是否滿足關(guān)鍵幀的條件，如果滿足，則計(jì)算出新的特征點(diǎn)，并加入到 特征集合中。第一步獲取輸入圖像，并進(jìn)行處理。從輸入視頻或者圖像序列中獲取一幅圖像，并將其轉(zhuǎn)換為灰度格式。第二步提取特征點(diǎn)并計(jì)算特征描述器。使用角點(diǎn)檢測方法，從第一步的灰度圖像中提取出梯度變化較大的角點(diǎn)作為特征 點(diǎn)的中心。取角點(diǎn)附近的一小塊圖像區(qū)域來訓(xùn)練特征描述器，具體過程與初始化步驟中的
第二步相同。第三步構(gòu)成匹配集合。使用場景中已有的三維特征點(diǎn)(包括初始化建立的和后續(xù)加入的)構(gòu)建一個(gè)k_d 樹。對(duì)于每一個(gè)從圖像中提取出的特征點(diǎn)，根據(jù)其特征描述器，在k_d樹中搜索與其距離最 近的點(diǎn)，并將該點(diǎn)與搜索結(jié)果構(gòu)成一組特征點(diǎn)匹配。第四步剛性約束檢測。對(duì)于第三步中得到的每一對(duì)特征匹配，需要將其中正確的特征點(diǎn)篩選出來，以便 后續(xù)的攝像機(jī)姿態(tài)的計(jì)算。本發(fā)明將剛性約束條件引入到一個(gè)博弈論的模型中來完成正確 匹配的篩選。圖3示出正確匹配篩選的過程兩幅圖像中有6對(duì)特征匹配，分別為A1-A2， B1-B2,……Fl，F(xiàn)2。經(jīng)過剛性條件約束的篩選后，發(fā)現(xiàn)A1-A2，B1-B2，E1-E2，F(xiàn)1-F2在兩幅 圖像間滿足剛性變換約束，因此作為正確特征匹配被篩選出。具體的方法如下對(duì)于第三步得到的每一對(duì)特征點(diǎn)匹配，將其視作博弈論模型中的一個(gè)參與者。對(duì) 于每個(gè)參與者Pi,為其賦一個(gè)權(quán)值Xi,表示匹配對(duì)Pi是正確匹配的概率。假設(shè)參與者的總 數(shù)為N。初始時(shí)，該模型滿足下列條件
權(quán)利要求
1.一種魯棒的實(shí)時(shí)在線攝像機(jī)跟蹤方法，其特征在于包括初始化階段和運(yùn)行時(shí)階段 兩個(gè)部分，其中初始化階段包括(1)用戶從輸入的視頻信號(hào)或者圖像序列信號(hào)中選取兩幅圖像，并將這兩幅圖像轉(zhuǎn)換 為灰度格式，要求所述兩幅圖像中均存在同一平面的全部或部分內(nèi)容；(2)對(duì)于輸入的圖像采用角點(diǎn)檢測方法，檢測出圖像中存在的角點(diǎn)，再根據(jù)每一個(gè)角點(diǎn) 附近圖像塊信息，計(jì)算以角點(diǎn)為中心的小圖像塊，即特征點(diǎn)的描述器；以一幅圖像中的所有 特征為基礎(chǔ)集合，在另一幅圖像中搜索每一個(gè)特征點(diǎn)在基礎(chǔ)集合中的距離最近的特征點(diǎn)， 組成一個(gè)特征點(diǎn)匹配；(3)根據(jù)所有的特征點(diǎn)匹配，計(jì)算兩幅圖像之間的單應(yīng)性變換矩陣；設(shè)定兩幅圖像中 共享的平面為世界坐標(biāo)系基準(zhǔn)平面，計(jì)算每一對(duì)匹配的特征點(diǎn)在三維坐標(biāo)系中的交點(diǎn)，從 而求得每一對(duì)匹配的特征點(diǎn)三維坐標(biāo)，每一個(gè)已知世界坐標(biāo)系中三維坐標(biāo)的特征點(diǎn)是一個(gè) 三維特征；(4)將所有的三維特征組織成一個(gè)初始三維特征集合；所述運(yùn)行時(shí)階段包括(a)從輸入的視頻或圖像序列中獲取一幅圖像，并轉(zhuǎn)換為灰度格式；(b)對(duì)于輸入的圖像采用角點(diǎn)檢測方法，檢測出圖像中存在的角點(diǎn)，再根據(jù)每一個(gè)角點(diǎn) 附近圖像塊信息，計(jì)算以角點(diǎn)為中心的范圍內(nèi)的圖像的特征描述器；(c)以初始化階段步驟中得到的三維特征集合中的特征點(diǎn)為基礎(chǔ)集合，對(duì)于圖像 中的每一個(gè)特征點(diǎn)，在基礎(chǔ)集合中找到與該特征點(diǎn)的特征描述器距離最近的特征點(diǎn)，并用 這樣的點(diǎn)對(duì)構(gòu)成匹配集合；(d)對(duì)于(c)中形成的匹配集合，檢測匹配的特征點(diǎn)在兩幅圖像之間是否滿足同一個(gè) 剛性變換，對(duì)于不滿足剛性變換約束的特征匹配，將其從匹配集合中剔除；(e)根據(jù)剩下的特征匹配計(jì)算攝像機(jī)姿態(tài)；(f)根據(jù)步驟(e)中計(jì)算出的攝像機(jī)姿態(tài)，判斷當(dāng)前輸入圖像是否應(yīng)該作為關(guān)鍵幀加 入到特征集合中，如果是，則初始化新的特征，并將新的特征加入到三維特征集合中。
2.根據(jù)權(quán)利要求1所述的魯棒的實(shí)時(shí)在線攝像機(jī)跟蹤方法，其特征在于所述步驟(2) 和步驟(b)中角點(diǎn)檢測方法采用特征描述器進(jìn)行三維到二維特征的匹配。
全文摘要
一種魯棒的實(shí)時(shí)在線攝像機(jī)跟蹤方法，包括步驟攝像機(jī)姿態(tài)的估計(jì)和關(guān)鍵幀的計(jì)算與添加，其中攝像機(jī)姿態(tài)的估計(jì)采用了快速的全局的特征匹配，能魯棒地估計(jì)出當(dāng)前幀的姿態(tài)，同時(shí)攝像機(jī)跟蹤和場景映射建立。這種方法在場景較大或者攝像機(jī)運(yùn)動(dòng)較快的情況下產(chǎn)生了更穩(wěn)定的匹配效果，克服了傳統(tǒng)的攝像機(jī)跟蹤方法依賴于局部匹配的局限性。另一方面，該方法對(duì)于關(guān)鍵幀的處理速度更快，使得場景中可包含更多的關(guān)鍵幀，增強(qiáng)了攝像機(jī)跟蹤算法對(duì)于攝像機(jī)進(jìn)入未知場景時(shí)容易跟蹤失敗的問題的應(yīng)對(duì)能力。
文檔編號(hào)H04N5/232GK102075686SQ20111003586
公開日2011年5月25日 申請日期2011年2月10日 優(yōu)先權(quán)日2011年2月10日
發(fā)明者樂一鳴, 劉潔, 梁曉輝, 隋秀麗 申請人:北京航空航天大學(xué)