一種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方法
【專利摘要】本發(fā)明公開了一種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方法，包括：獲得各個(gè)目標(biāo)物體特征點(diǎn)數(shù)據(jù)，與目標(biāo)平面四個(gè)頂點(diǎn)的三維世界坐標(biāo)和圖像坐標(biāo)一起存入目標(biāo)數(shù)據(jù)庫；選擇要識(shí)別的目標(biāo)，從目標(biāo)數(shù)據(jù)庫中提取目標(biāo)的特征點(diǎn)數(shù)據(jù)及目標(biāo)信息；攝像機(jī)提取實(shí)時(shí)場景，對提取的實(shí)時(shí)場景進(jìn)行圖像預(yù)處理，提取實(shí)時(shí)場景特征點(diǎn)，獲得實(shí)時(shí)圖像的特征點(diǎn)數(shù)據(jù)；將目標(biāo)數(shù)據(jù)庫中目標(biāo)圖像的特征點(diǎn)與實(shí)時(shí)場景特征點(diǎn)進(jìn)行匹配；由匹配特征點(diǎn)數(shù)據(jù)，計(jì)算得到單應(yīng)矩陣，完成目標(biāo)的識(shí)別；完成目標(biāo)的姿態(tài)測量、位置確定。本發(fā)明利用ORB算法的速度優(yōu)勢，以單個(gè)攝像機(jī)作為傳感手段，實(shí)現(xiàn)了對運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)識(shí)別和位姿測量。
【專利說明】一種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種單目實(shí)時(shí)目標(biāo)識(shí)別、姿態(tài)測量及位置 確定方法。

【背景技術(shù)】
[0002] 智能機(jī)器人為了實(shí)現(xiàn)對物體的感知，必須具有物體識(shí)別能力，并且具有對物體姿 態(tài)識(shí)別的能力。從復(fù)雜場景中識(shí)別目標(biāo)物體，像人類抓取物體一樣，根據(jù)物體的姿態(tài)選擇合 適的抓取方式，是智能機(jī)器人的一個(gè)基本功能。因此設(shè)計(jì)一種視覺定位系統(tǒng)，不但能準(zhǔn)確地 識(shí)別出目標(biāo)物體，并能判斷出其姿態(tài)，具有十分廣闊的應(yīng)用前景。
[0003] 基于視覺的目標(biāo)識(shí)別的研究關(guān)鍵是目標(biāo)的特征表示方法，表示方法不僅要唯一的 描述出一個(gè)目標(biāo)，并且要對同一目標(biāo)在不同場景下的特征表示具有共性，這樣才能有效的 識(shí)別目標(biāo)。運(yùn)用基于局部特征的方法來識(shí)別目標(biāo)是當(dāng)前目標(biāo)識(shí)別領(lǐng)域中的主流方法。由局 部特征形成的特征描述子對旋轉(zhuǎn)、噪聲、尺度變換和仿射變換都有一定的魯棒性。在諸多的 局部圖像特征描述子中，SIFT、SURF應(yīng)用較為廣泛。它們具有較高的匹配能力，并且當(dāng)圖像 發(fā)生平移、旋轉(zhuǎn)和仿射變換、光照變換等情況，都具有較高的匹配精度和魯棒性。雖然SIFT、 SURF算法具有以上眾多優(yōu)點(diǎn)，但由于其運(yùn)算較為復(fù)雜，存在速度問題，尤其當(dāng)特征點(diǎn)較多 時(shí)，實(shí)時(shí)性差，不能滿足實(shí)際應(yīng)用的要求。ORB特征點(diǎn)（Oriented FAST and Rotated BRIEF) 是一種局部不變特征，建立在著名的FAST特征檢測和BRIEF特征描述子基礎(chǔ)上。與傳統(tǒng)的 SIFT、SURF算法相比，速度上有很大提升，在性能上只下降了很少，適用于對速度要求較高 的場合。
[0004] 目前基于視覺定位的主要方法包括單目視覺定位和雙目視覺定位。雙目視覺定位 系統(tǒng)復(fù)雜度高，立體匹配算法計(jì)算量大。而現(xiàn)有的單目視覺定位系統(tǒng)，大多需要在目標(biāo)物體 上設(shè)置特征靶標(biāo)，建立目標(biāo)坐標(biāo)系，預(yù)先設(shè)定好被測特征點(diǎn)在目標(biāo)坐標(biāo)系下的坐標(biāo)值，再根 據(jù)經(jīng)典攝像機(jī)小孔成像原理，根據(jù)三個(gè)或三個(gè)以上不在同一條直線上被測特征點(diǎn)在攝像機(jī) 坐標(biāo)系與目標(biāo)坐標(biāo)系下的坐標(biāo)值，解算出攝像機(jī)坐標(biāo)系與目標(biāo)坐標(biāo)系的相對轉(zhuǎn)換關(guān)系，完 成了被測目標(biāo)相對于攝像機(jī)坐標(biāo)系的空間三維姿態(tài)。（原野.基于單目視覺的三維姿態(tài)測 量方法與系統(tǒng)實(shí)現(xiàn)[D].哈爾濱工業(yè)大學(xué)，2011)。這類方法需要預(yù)先設(shè)置特征靶標(biāo)，系統(tǒng)復(fù) 雜度較高。


【發(fā)明內(nèi)容】

[0005] 為解決現(xiàn)有技術(shù)存在的不足，本發(fā)明公開了一種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方 法，該方法利用了 ORB算法的速度優(yōu)勢，以單個(gè)攝像機(jī)作為傳感手段，實(shí)現(xiàn)了對規(guī)則體（具 有平坦表面的物體，如長方體）目標(biāo)的實(shí)時(shí)識(shí)別、姿態(tài)測量及位置確定。
[0006] 為實(shí)現(xiàn)上述目的，本發(fā)明的具體方案如下：
[0007] -種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方法，包括以下步驟：
[0008] 步驟一：獲得各個(gè)目標(biāo)的物體特征點(diǎn)數(shù)據(jù)，與目標(biāo)平面四個(gè)頂點(diǎn)的三維世界坐標(biāo) 和圖像坐標(biāo)一起存入目標(biāo)數(shù)據(jù)庫；
[0009] 步驟三：選擇要識(shí)別的目標(biāo)，從目標(biāo)數(shù)據(jù)庫中提取目標(biāo)的特征點(diǎn)數(shù)據(jù)及目標(biāo)信 息；
[0010] 步驟四：提取實(shí)時(shí)場景，對提取的實(shí)時(shí)場景進(jìn)行圖像預(yù)處理，提取實(shí)時(shí)場景特征 點(diǎn)，獲得實(shí)時(shí)圖像的特征點(diǎn)數(shù)據(jù)；
[0011] 步驟五：將要識(shí)別的目標(biāo)數(shù)據(jù)庫中目標(biāo)圖像的特征點(diǎn)與實(shí)時(shí)場景特征點(diǎn)進(jìn)行匹 配；
[0012] 步驟六：由匹配特征點(diǎn)數(shù)據(jù)，計(jì)算得到單應(yīng)矩陣，利用求得的單應(yīng)矩陣將目標(biāo)數(shù)據(jù) 庫中目標(biāo)四個(gè)頂點(diǎn)的圖像坐標(biāo)映射得到場景圖像中四個(gè)頂點(diǎn)的圖像坐標(biāo)，連接四個(gè)頂點(diǎn)， 完成目標(biāo)的識(shí)別；
[0013] 步驟七：利用求得的場景圖像中四個(gè)頂點(diǎn)的圖像坐標(biāo)和目標(biāo)數(shù)據(jù)庫中目標(biāo)四個(gè)頂 點(diǎn)的三維世界坐標(biāo)構(gòu)成二維和三維匹配點(diǎn)對，并結(jié)合攝像機(jī)模型參數(shù)，使用PnP算法得到 目標(biāo)的三個(gè)旋轉(zhuǎn)角和三個(gè)方向的位移向量共6個(gè)自由度信息，得到的位移向量只是比例值 并不是實(shí)際值，與目標(biāo)數(shù)據(jù)庫中的三維坐標(biāo)結(jié)合可以得到實(shí)際值，從而完成目標(biāo)的姿態(tài)測 量及位置確定。
[0014] 所述步驟一中目標(biāo)的圖像事先獲取，提取特征點(diǎn)數(shù)據(jù)和坐標(biāo)信息，保存在目標(biāo)數(shù) 據(jù)庫中。
[0015] 所述步驟一中，三維世界坐標(biāo)由對目標(biāo)物體的實(shí)際測量而得，以目標(biāo)平面為XY平 面，目標(biāo)平面的中心為原點(diǎn)。圖像坐標(biāo)即為頂點(diǎn)在圖像中的像素位置。
[0016] 所述步驟一中獲得各個(gè)目標(biāo)的物體特征點(diǎn)數(shù)據(jù)及步驟四中獲得實(shí)時(shí)圖像的特征 點(diǎn)數(shù)據(jù)均是通過改進(jìn)的ORB算法提取特征點(diǎn)的方式獲得的。
[0017] 所述改進(jìn)的ORB算法為利用AGAST特征點(diǎn)檢測算法替代FAST特征點(diǎn)檢測算法，完 成對ORB算法的改進(jìn)。
[0018] 所述步驟四中對提取的實(shí)時(shí)場景進(jìn)行圖像預(yù)處理，具體為對每一幀視頻圖像采用 自適應(yīng)的圖像增強(qiáng)算法，去除圖像獲取過程中由于多變的外界環(huán)境造成圖像對比度偏低、 灰度值偏暗及灰度動(dòng)態(tài)范圍收縮問題引起的圖像質(zhì)量的退化。步驟四中利用攝像機(jī)提取實(shí) 時(shí)場景。
[0019] 所述步驟五中，將數(shù)據(jù)庫中目標(biāo)圖像的特征點(diǎn)與實(shí)時(shí)場景特征點(diǎn)進(jìn)行匹配時(shí)，使 用漢明距離（hamming distance)計(jì)算特征點(diǎn)數(shù)據(jù)間的相似性，以近鄰距離與次近鄰距離的 比值T來確定可能正確的匹配，只有當(dāng)T〈0. 8時(shí)，才認(rèn)為最近鄰距離對應(yīng)的特征點(diǎn)為匹配 點(diǎn)。并且采用對稱性匹配的策略，先在場景圖像特征點(diǎn)數(shù)據(jù)中尋找目標(biāo)圖像特征點(diǎn)的最優(yōu) 匹配點(diǎn)，再反過來在目標(biāo)圖像特征點(diǎn)數(shù)據(jù)中尋找場景圖像特征點(diǎn)的最優(yōu)匹配點(diǎn)。
[0020] 所述步驟六中，單應(yīng)矩陣是根據(jù)匹配特征點(diǎn)數(shù)據(jù)使用隨機(jī)抽樣一致性算法計(jì)算得 到的。
[0021] 所述步驟七中完成目標(biāo)的姿態(tài)測量之前還需要對攝像機(jī)進(jìn)行標(biāo)定，得到攝像機(jī)的 模型參數(shù)。
[0022] 本發(fā)明的有益效果：
[0023] 本發(fā)明利用ORB算法的速度優(yōu)勢，以單個(gè)攝像機(jī)作為傳感手段，實(shí)現(xiàn)了對規(guī)則體 (具有平坦表面的物體，如長方體）目標(biāo)的實(shí)時(shí)識(shí)別及位姿測量。本發(fā)明采用速度快的ORB 算法提取特征點(diǎn)，對每一幀視頻進(jìn)行特征點(diǎn)的匹配，無需對特征點(diǎn)進(jìn)行跟蹤，就能實(shí)現(xiàn)對運(yùn) 動(dòng)物體實(shí)時(shí)識(shí)別、姿態(tài)測量及位置確定，從而降低了算法和系統(tǒng)復(fù)雜度，并提高了結(jié)果的準(zhǔn) 確性。

【專利附圖】

【附圖說明】
[0024] 圖1本發(fā)明的實(shí)現(xiàn)流程框圖。

【具體實(shí)施方式】：
[0025] 下面結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)說明：
[0026] 如圖1所示，本發(fā)明首先利用改進(jìn)的ORB算法獲得目標(biāo)物體特征點(diǎn)數(shù)據(jù)，與目標(biāo)平 面四個(gè)頂點(diǎn)的三維世界坐標(biāo)和圖像坐標(biāo)一起存入目標(biāo)數(shù)據(jù)庫；然后對攝像機(jī)進(jìn)行標(biāo)定，獲 得攝像機(jī)模型參數(shù)；選擇要識(shí)別的目標(biāo)，攝像機(jī)提取實(shí)時(shí)場景ORB特征點(diǎn)，將數(shù)據(jù)庫中目標(biāo) 圖像的特征點(diǎn)與實(shí)時(shí)場景特征點(diǎn)進(jìn)行匹配，經(jīng)過隨機(jī)抽樣一致性檢測去除誤匹配得到穩(wěn) 定的單應(yīng)矩陣（Homography)，由單應(yīng)矩陣和數(shù)據(jù)庫中目標(biāo)平面四個(gè)頂點(diǎn)的圖像坐標(biāo)求得場 景中目標(biāo)四個(gè)頂點(diǎn)的圖像坐標(biāo)，連接四個(gè)頂點(diǎn)從而標(biāo)記出目標(biāo)，最后利用求得的場景圖像 中四個(gè)頂點(diǎn)的圖像坐標(biāo)和目標(biāo)數(shù)據(jù)庫中目標(biāo)四個(gè)頂點(diǎn)的三維世界坐標(biāo)構(gòu)成二維和三維匹 配點(diǎn)對，并結(jié)合攝像機(jī)模型參數(shù)，使用PnP算法得到目標(biāo)的三個(gè)旋轉(zhuǎn)角和三個(gè)方向的位移 向量共6個(gè)自由度信息，從而完成實(shí)時(shí)識(shí)別、姿態(tài)測量及位置確定。
[0027] 本發(fā)明方法包括如下具體步驟：
[0028] 1、針對ORB算法存在的不足，在其特征點(diǎn)檢測階段，利用速度更快、性能更好的 AGAST特征點(diǎn)檢測算法替代FAST特征點(diǎn)檢測算法，完成對ORB算法的改進(jìn)。
[0029] 2、拍攝目標(biāo)物體的正面圖像，利用改進(jìn)的ORB算法獲得特征點(diǎn)數(shù)據(jù)，與目標(biāo)平面 四個(gè)頂點(diǎn)的三維世界坐標(biāo)和圖像坐標(biāo)一起存入目標(biāo)數(shù)據(jù)庫。
[0030] 具體為：拍攝要識(shí)別目標(biāo)物體的正面圖像（例如長方體的一個(gè)表面），利用改進(jìn)的 ORB算法獲得特征點(diǎn)數(shù)據(jù)，與目標(biāo)平面四個(gè)頂點(diǎn)的三維世界坐標(biāo)和圖像坐標(biāo)一起存入目標(biāo) 數(shù)據(jù)庫；三維世界坐標(biāo)由對目標(biāo)物體的實(shí)際測量而得，以目標(biāo)平面為XY平面，目標(biāo)平面的 中心為原點(diǎn)。圖像坐標(biāo)即為頂點(diǎn)在圖像中的像素位置；
[0031] 3、對攝像機(jī)進(jìn)行標(biāo)定，得到攝像機(jī)的模型參數(shù)。
[0032] 4、選擇要識(shí)別的目標(biāo)，從數(shù)據(jù)庫中提取目標(biāo)的特征點(diǎn)數(shù)據(jù)及目標(biāo)信息。
[0033] 5、攝像機(jī)提取實(shí)時(shí)場景，對每一幀視頻圖像采用自適應(yīng)的圖像增強(qiáng)算法，去除圖 像獲取過程中由于多變的外界環(huán)境造成圖像對比度偏低、灰度值偏暗及灰度動(dòng)態(tài)范圍收縮 等問題引起的圖像質(zhì)量的退化。
[0034] 6、采用改進(jìn)的ORB算法提取特征點(diǎn)，獲得實(shí)時(shí)圖像的特征點(diǎn)數(shù)據(jù)。
[0035] 7、將數(shù)據(jù)庫中目標(biāo)圖像的特征點(diǎn)與實(shí)時(shí)場景特征點(diǎn)進(jìn)行匹配。使用漢明距離 (hamming distance)計(jì)算特征點(diǎn)數(shù)據(jù)間的相似性，以近鄰距離與次近鄰距離的比值T來確 定可能正確的匹配，只有當(dāng)T〈0. 8時(shí)，才認(rèn)為最近鄰距離對應(yīng)的特征點(diǎn)為匹配點(diǎn)。并且采用 對稱性匹配的策略，先在場景圖像特征點(diǎn)數(shù)據(jù)中尋找目標(biāo)圖像特征點(diǎn)的最優(yōu)匹配點(diǎn)，再反 過來在目標(biāo)圖像特征點(diǎn)數(shù)據(jù)中尋找場景圖像特征點(diǎn)的最優(yōu)匹配點(diǎn)，被接受的匹配點(diǎn)，必須 是各自的最優(yōu)匹配點(diǎn)。
[0036] 8、由匹配特征點(diǎn)數(shù)據(jù)，使用隨機(jī)抽樣一致性算法（RANSAC)計(jì)算得到單應(yīng)矩陣 (Homography) 〇
[0037] 9、利用求得的單應(yīng)矩陣將庫中目標(biāo)四個(gè)頂點(diǎn)的圖像坐標(biāo)映射得到場景圖像中四 個(gè)頂點(diǎn)的圖像坐標(biāo)，連接四個(gè)頂點(diǎn)，完成目標(biāo)的識(shí)別。
[0038] 10、如式（1)所示只要有足夠多的二維與三維匹配點(diǎn)對，就能求得目標(biāo)相對于攝 像機(jī)的位姿。利用求得的場景圖像中四個(gè)頂點(diǎn)的圖像坐標(biāo)和數(shù)據(jù)庫中目標(biāo)四個(gè)頂點(diǎn)的三 維世界坐標(biāo)構(gòu)成二維和三維匹配點(diǎn)對，并結(jié)合攝像機(jī)模型參數(shù)，使用PnP算法得到目標(biāo)的 三個(gè)旋轉(zhuǎn)角和三個(gè)方向的位移向量共6個(gè)自由度信息，從而完成目標(biāo)的姿態(tài)測量及位置確 定。

【權(quán)利要求】
1. 一種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方法，其特征是，包括w下步驟： 步驟一：獲得各個(gè)目標(biāo)的物體特征點(diǎn)數(shù)據(jù)，與目標(biāo)平面四個(gè)頂點(diǎn)的H維世界坐標(biāo)和圖 像坐標(biāo)一起存入目標(biāo)數(shù)據(jù)庫； 步驟H ;選擇要識(shí)別的目標(biāo)，從目標(biāo)數(shù)據(jù)庫中提取目標(biāo)的特征點(diǎn)數(shù)據(jù)及目標(biāo)信息； 步驟四；提取實(shí)時(shí)場景，對提取的實(shí)時(shí)場景進(jìn)行圖像預(yù)處理，提取實(shí)時(shí)場景特征點(diǎn)，獲 得實(shí)時(shí)圖像的特征點(diǎn)數(shù)據(jù)； 步驟五：將要識(shí)別的目標(biāo)數(shù)據(jù)庫中目標(biāo)圖像的特征點(diǎn)與實(shí)時(shí)場景特征點(diǎn)進(jìn)行匹配； 步驟六：由匹配特征點(diǎn)數(shù)據(jù)，計(jì)算得到單應(yīng)矩陣，利用求得的單應(yīng)矩陣將目標(biāo)數(shù)據(jù)庫中 目標(biāo)四個(gè)頂點(diǎn)的圖像坐標(biāo)映射得到場景圖像中四個(gè)頂點(diǎn)的圖像坐標(biāo)，連接四個(gè)頂點(diǎn)，完成 目標(biāo)的識(shí)別； 步驟走；利用求得的場景圖像中四個(gè)頂點(diǎn)的圖像坐標(biāo)和目標(biāo)數(shù)據(jù)庫中目標(biāo)四個(gè)頂點(diǎn)的 H維世界坐標(biāo)構(gòu)成二維和H維匹配點(diǎn)對，并結(jié)合攝像機(jī)模型參數(shù)，使用PnP算法得到目標(biāo) 的H個(gè)旋轉(zhuǎn)角和H個(gè)方向的位移向量共6個(gè)自由度信息，從而完成目標(biāo)實(shí)時(shí)識(shí)別、姿態(tài)測 量及位置確定。
2. 如權(quán)利要求1所述的一種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方法，其特征是，所述步驟 一中獲得各個(gè)目標(biāo)的物體特征點(diǎn)數(shù)據(jù)及步驟四中獲得實(shí)時(shí)圖像的特征點(diǎn)數(shù)據(jù)均是通過改 進(jìn)的ORB算法提取特征點(diǎn)的方式獲得的。
3. 如權(quán)利要求2所述的一種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方法，其特征是，所述改進(jìn) 的ORB算法為利用AGAST特征點(diǎn)檢測算法替代FAST特征點(diǎn)檢測算法，完成對ORB算法的改 進(jìn)。
4. 如權(quán)利要求1所述的一種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方法，其特征是，所述步驟 四中對提取的實(shí)時(shí)場景進(jìn)行圖像預(yù)處理，具體為對每一峽視頻圖像采用自適應(yīng)的圖像增強(qiáng) 算法，去除圖像獲取過程中由于多變的外界環(huán)境造成圖像對比度偏低、灰度值偏暗及灰度 動(dòng)態(tài)范圍收縮問題引起的圖像質(zhì)量的退化。
5. 如權(quán)利要求1所述的一種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方法，其特征是，所述步驟 五中，將數(shù)據(jù)庫中目標(biāo)圖像的特征點(diǎn)與實(shí)時(shí)場景特征點(diǎn)進(jìn)行匹配時(shí)，使用漢明距離計(jì)算特 征點(diǎn)數(shù)據(jù)間的相似性，W近鄰距離與次近鄰距離的比值T來確定可能正確的匹配，只有當(dāng) T<0. 8時(shí)，才認(rèn)為最近鄰距離對應(yīng)的特征點(diǎn)為匹配點(diǎn)。
6. 如權(quán)利要求1所述的一種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方法，其特征是，所述步驟 六中，單應(yīng)矩陣是根據(jù)匹配特征點(diǎn)數(shù)據(jù)使用隨機(jī)抽樣一致性算法計(jì)算得到的。
7. 如權(quán)利要求1所述的一種單目實(shí)時(shí)目標(biāo)識(shí)別及位姿測量方法，其特征是，所述步驟 走中完成目標(biāo)的姿態(tài)測量之前還需要對攝像機(jī)進(jìn)行標(biāo)定，得到攝像機(jī)的模型參數(shù)。
【文檔編號(hào)】G06K9/46GK104463108SQ201410676615
【公開日】2015年3月25日 申請日期:2014年11月21日 優(yōu)先權(quán)日:2014年11月21日
【發(fā)明者】楊明強(qiáng), 崔振興, 曾威, 陸中州 申請人:山東大學(xué)