本發(fā)明涉及一種目標(biāo)物體識別與定位的方法，尤其是一種基于彩色圖像與深度圖像的目標(biāo)物體識別與定位的方法。

背景技術(shù)：

隨著人們對機(jī)器人功能要求的提高，移動機(jī)器人具有視覺功能，并和搭載在移動平臺上的機(jī)械臂一起，“手眼”配合完成工作，已成為當(dāng)前發(fā)展的趨勢。而傳統(tǒng)的視覺識別定位方法，使用單目或者雙目視覺進(jìn)行定位，容易受到光照變化的影響，且計算量較大。尤其是單目視覺，需要通過對同一物體不同角度拍攝圖像比較來實現(xiàn)三維空間坐標(biāo)的獲取，計算較為復(fù)雜。因此，使用紅外攝像機(jī)和接收機(jī)來獲取物體深度圖像，將大大提高效率。

深度攝像機(jī)定位目標(biāo)物體的應(yīng)用，普遍采用背景相減法或與幀差法等相結(jié)合來實現(xiàn)，如進(jìn)行指定桌面物體的定位，可通過將攝像頭固定于桌面上方，發(fā)現(xiàn)桌子上出現(xiàn)物體時，通過和原背景圖片的對比，進(jìn)行背景相減，得出目標(biāo)物體的位置。但該方法適用于攝像頭位置固定，機(jī)械臂固定的場合，一旦攝像頭隨著機(jī)器人位置進(jìn)行移動，則將損失很大的定位精度。而當(dāng)前的應(yīng)用熱點是移動機(jī)器人，將攝像機(jī)或者機(jī)械臂固定位置，也會大大影響機(jī)器人的靈活性。而機(jī)器人對于目標(biāo)物體的識別，常用的有SIFT、ORB特征等方法。SIFT特征點檢測最為細(xì)致，可較好的對目標(biāo)物體的特征進(jìn)行描述，但速度較慢，實時性差；而ORB特征檢測的速度很快，實時性好，但對特征點的識別準(zhǔn)確率低，容易發(fā)生誤檢測，特別是當(dāng)目標(biāo)物體周圍有其他物體時，對識別的結(jié)果影響更大。SURF(Speed-Up Robust Features)算法較SIFT算法實時性得以提高，雖然低于ORB特征點檢測的速度，但識別的準(zhǔn)確率要優(yōu)于ORB。然而SURF算法在面對目標(biāo)物體周圍有其他物體遮擋時，不能很好的區(qū)分出目標(biāo)物體，造成特征點誤檢測。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種基于彩色圖像與深度圖像的目標(biāo)物體識別與定位的方法，在遠(yuǎn)距離識別時提高機(jī)器人尋找目標(biāo)物體的效率，在滿足實時性要求的情況下較高準(zhǔn)確率的識別特征點，可以快速判斷物體類別，以及快速準(zhǔn)確的實現(xiàn)三維坐標(biāo)的確定。

按照本發(fā)明提供的技術(shù)方案，所述基于彩色圖像與深度圖像的目標(biāo)物體識別與定位的方法，其特征是，包括以下步驟：

(1)機(jī)器人和攝像頭一起運動，采用遠(yuǎn)距離HSV顏色識別確認(rèn)目標(biāo)區(qū)域并獲得RGB彩色圖像，采用深度攝像頭獲取深度圖像；根據(jù)RGB彩色圖像和深度圖像得出距離目標(biāo)區(qū)域的距離，機(jī)器人進(jìn)行導(dǎo)航與路徑規(guī)劃移動至目標(biāo)區(qū)域附近；

(2)機(jī)器人到達(dá)目標(biāo)區(qū)域附近時，通過SURF特征點檢測，獲得目標(biāo)物體的RGB特征信息，將該RGB特征信息與預(yù)存的目標(biāo)物體的RGB特征信息進(jìn)行特征匹配，若符合已有物體模型，則對該目標(biāo)物體進(jìn)行定位；

(3)由RGB彩色圖像采集到成像平面，獲得目標(biāo)物體在成像平面中的二維坐標(biāo)，由深度圖像獲得目標(biāo)物體與攝像機(jī)的相對距離，從而獲得目標(biāo)物體的三維坐標(biāo)。

進(jìn)一步的，所述步驟(2)中，當(dāng)目標(biāo)物體被障礙物遮擋時，將目標(biāo)物體的深度特征信息與SURF檢測到的RGB特征信息相結(jié)合，獲得目標(biāo)物體的RGB-D特征信息，通過kNN(k-Nearest Neighbor)分類算法，和預(yù)存目標(biāo)物體的RGB-D特征信息進(jìn)行特征匹配。

進(jìn)一步的，所述步驟(2)中，當(dāng)特征匹配結(jié)構(gòu)不符合已有物體模型時，機(jī)器人重新開始尋找目標(biāo)區(qū)域。

進(jìn)一步的，所述步驟(3)的具體過程為：將RGB彩色圖像進(jìn)行中值濾波、卡爾曼濾波、圖像閾值分割處理后，獲取目標(biāo)物體的平面二維坐標(biāo)；將深度圖像信息與彩色圖像信息進(jìn)行坐標(biāo)變換與配準(zhǔn)，再進(jìn)行去除噪聲與濾波處理后，得出對應(yīng)的空間三維坐標(biāo)。

進(jìn)一步的，所述步驟(3)中，深度圖像信息中每一個像素點在攝像機(jī)坐標(biāo)下的空間坐標(biāo)為：

其中，(δ_x,δ_y)表示深度攝像機(jī)的畸變，(p_x,p_y)表示深度圖像的中心點，f_x與f_y為比例系數(shù)；d為深度攝像機(jī)到成像平面的距離。

進(jìn)一步的，所述深度攝像機(jī)和RGB攝像機(jī)的坐標(biāo)變換公式為：

(x_c,y_c,z_c)^T＝R_c-d*(x_d,y_d,z_d)^T+T_c-d；

其中，(x_d,y_d,z_d)^T為深度攝像機(jī)坐標(biāo)下的坐標(biāo)，(x_c,y_c,z_c)^T為彩色攝像機(jī)坐標(biāo)系下的坐標(biāo)，R_c-d為RGB攝像機(jī)與深度攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)變換矩陣，T_c-d為對應(yīng)的平移變換矩陣。

進(jìn)一步的，所述RGB攝像機(jī)與機(jī)器人本體坐標(biāo)變換公式為：

(x_r,y_r,z_r)^T＝R_r-c*(x_c,y_c,z_c)^T+T_r-c；

其中，(x_r,y_r,z_r)^T為機(jī)器人本體坐標(biāo)下的坐標(biāo)，(x_c,y_c,z_c)^T為RGB攝像機(jī)坐標(biāo)系下的坐標(biāo)，R_r-c為機(jī)器人本體與RGB攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)變換矩陣，T_r-c為對應(yīng)的平移變換矩陣；

經(jīng)過變換后的坐標(biāo)即為目標(biāo)物體的三維坐標(biāo)。

本發(fā)明具有以下有益效果：

(1)使用HSV空間的顏色識別方法，在遠(yuǎn)距離識別時提高機(jī)器人尋找目標(biāo)物體的效率；使用SURF與深度信息特征檢測相結(jié)合，即結(jié)合彩色圖像與深度圖像的方式，可在滿足實時性要求的情況下較高準(zhǔn)確率的識別特征點，并可有效應(yīng)對障礙物遮擋的情況。RGB-D信息可有效的反映出物體的特征，通過kNN算法與RGB-D中物體模板信息進(jìn)行匹配，可以快速判斷物體類別；

(2)使用單目視覺結(jié)合深度視覺對目標(biāo)物體進(jìn)行定位，由于深度信息代表了物體的距離信息，因此可以快速準(zhǔn)確的實現(xiàn)三維坐標(biāo)的確定，實時性高。

附圖說明

圖1為目標(biāo)物體識別的流程圖。

圖2為目標(biāo)物體定位的流程圖。

圖3為獲得的深度圖像示意圖。

圖4為目標(biāo)物體定位的計算示意圖。

圖5為攝像頭的成像平面示意圖。

具體實施方式

下面結(jié)合具體附圖對本發(fā)明作進(jìn)一步說明。

本發(fā)明所述基于彩色圖像與深度圖像的目標(biāo)物體識別與定位的方法，包括以下步驟：

(1)移動機(jī)器人采用遠(yuǎn)距離HSV顏色識別，近距離SURF特征點檢測，并通過深度圖像進(jìn)行障礙物剝離的方式，進(jìn)行目標(biāo)物體識別；

具體地，如圖1所示：為解決攝像頭位置固定導(dǎo)致工作空間有限的情況，將攝像頭和機(jī)械臂搭載在移動平臺上，隨機(jī)器人一起運動。當(dāng)接收到指令進(jìn)行抓取某個物體時，機(jī)器人將通過攝像頭在周邊環(huán)境中進(jìn)行搜索尋找目標(biāo)物體，當(dāng)距離目標(biāo)物體較遠(yuǎn)時，此時目標(biāo)物體的特征點將不夠突出，識別準(zhǔn)確率較低；而目標(biāo)物體的顏色將比自身的特征點更容易區(qū)分。

因此，在尋找識別目標(biāo)物體的起始階段，采用RGB攝像機(jī)進(jìn)行HSV空間顏色識別獲得RGB彩色圖像，首先縮小目標(biāo)區(qū)域范圍，確認(rèn)目標(biāo)區(qū)域。同時，采用深度攝像機(jī)獲得目標(biāo)區(qū)域的深度圖像，結(jié)合深度圖像得出距離該目標(biāo)區(qū)域的距離，與已有地圖進(jìn)行匹配，得出目標(biāo)區(qū)域坐標(biāo)，機(jī)器人開始自主導(dǎo)航與路徑規(guī)劃移動到目標(biāo)區(qū)域附近。

當(dāng)機(jī)器人到達(dá)目標(biāo)區(qū)域附近時，先通過SURF特征點識別，對該目標(biāo)區(qū)域的物體進(jìn)行特征點檢測，獲得目標(biāo)物體的RGB特征信息；再通過kNN(k-Nearest Neighbor)分類算法，和預(yù)存目標(biāo)物體的RGB特征信息進(jìn)行特征匹配。針對SURF算法在目標(biāo)物體被遮擋時發(fā)生誤檢測的問題，再結(jié)合該目標(biāo)物體的深度特征信息，與SURF檢測到的RGB特征信息相結(jié)合，獲得目標(biāo)物體的RGB-D特征信息，通過kNN(k-Nearest Neighbor)分類算法，和預(yù)存目標(biāo)物體的RGB-D特征信息進(jìn)行特征匹配。采用RGB信息與深度圖像相結(jié)合，由于不同物體距離攝像頭的位置不同，則深度信息有差別，這種方法既可以實現(xiàn)較快較準(zhǔn)確的特征點匹配，又可以根據(jù)物體的深度信息，區(qū)分障礙物和目標(biāo)物體。

經(jīng)過上述特征匹配后，若符合已有物體模型，則對該目標(biāo)物體進(jìn)行定位，為實現(xiàn)抓取做準(zhǔn)備；若不符合，則機(jī)器人將重新開始尋找目標(biāo)區(qū)域。

(2)移動機(jī)器人采用彩色圖像與深度圖像配準(zhǔn)方法對目標(biāo)物體進(jìn)行定位；

針對單目攝像頭需要對目標(biāo)物體進(jìn)行多角度拍攝，尋找多幅圖像像素間的位置偏差求物體三維坐標(biāo)的問題，本發(fā)明采用RGB彩色圖像確定成像平面，結(jié)合深度攝像機(jī)進(jìn)行輔助，通過RGB彩色圖像與深度圖像配準(zhǔn)方法來實現(xiàn)目標(biāo)物體的定位。使用該方法，既可省去對目標(biāo)物體多次拍攝圖像的時間，又可實現(xiàn)在目標(biāo)物體周圍有其他物體時，精確定位目標(biāo)物體。

具體地，如圖2所示：將RGB彩色圖像進(jìn)行中值濾波、卡爾曼濾波、圖像閾值分割等處理后，獲取目標(biāo)物體的平面二維坐標(biāo)。而RGB攝像機(jī)和深度攝像機(jī)的位置有偏差，所以首先需要將深度圖像信息與彩色圖像信息進(jìn)行坐標(biāo)變換與配準(zhǔn)，再進(jìn)行去除噪聲與濾波處理后，得出對應(yīng)的空間三維坐標(biāo)。

物體距離深度攝像機(jī)的距離不同，顏色深淺不同(如圖3所示)。由此可以獲取目標(biāo)物體與攝像頭的相對距離，從而結(jié)合彩色圖像，得出目標(biāo)物體的三維坐標(biāo)。因為攝像頭與機(jī)器人一起移動，所以，首先是機(jī)器人移動到可以實現(xiàn)抓取的位置后，機(jī)械臂再根據(jù)此時目標(biāo)物體的空間三維坐標(biāo)，通過坐標(biāo)轉(zhuǎn)換以及逆運動學(xué)計算，獲得抓取末端執(zhí)行器的目標(biāo)位置，通過機(jī)械臂的運動規(guī)劃，完成抓取動作。

步驟(2)中目標(biāo)物體的三維坐標(biāo)的計算過程如下，如圖4、圖5所示：

(1)首先，根據(jù)攝像頭采集到的成像平面，得出目標(biāo)物體的中心點與平面中心的位置關(guān)系，根據(jù)攝像頭的坐標(biāo)系，可以得出成像平面上目標(biāo)物體中心的坐標(biāo)。目標(biāo)物體與平面中心點的垂直與水平距離分別為a和b。

(2)同時，深度攝像機(jī)測出深度攝像機(jī)到成像平面的距離d，即可以得出目標(biāo)物體距離深度攝像機(jī)的距離；再通過深度圖像信息中的每一個像素點，計算得出該點在深度攝像機(jī)坐標(biāo)下的空間坐標(biāo)：

其中，(δ_x,δ_y)表示深度攝像機(jī)的畸變，(p_x,p_y)表示深度圖像的中心點，f_x與f_y為比例系數(shù)。

(3)在計算目標(biāo)物體坐標(biāo)之前，首先需要進(jìn)行坐標(biāo)變換，因為攝像機(jī)坐標(biāo)系與機(jī)器人本體坐標(biāo)系有差別，同時，深度攝像機(jī)與RGB攝像機(jī)的位置也稍有差別，同樣需要進(jìn)行坐標(biāo)變換。

a、深度攝像機(jī)與RGB攝像機(jī)的坐標(biāo)變換：

(x_c,y_c,z_c)^T＝R_c-d*(x_d,y_d,z_d)^T+T_c-d；

其中，(x_d,y_d,z_d)^T為深度攝像機(jī)坐標(biāo)下的坐標(biāo)，(x_c,y_c,z_c)^T為彩色攝像機(jī)坐標(biāo)系下的坐標(biāo)，R_c-d為彩色與深度攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)變換矩陣，T_c-d為對應(yīng)的平移變換矩陣。

b、RGB攝像機(jī)與機(jī)器人本體坐標(biāo)變換：

(x_r,y_r,z_r)^T＝R_r-c*(x_c,y_c,z_c)^T+T_r-c；

其中，(x_r,y_r,z_r)^T為機(jī)器人本體坐標(biāo)下的坐標(biāo)，(x_c,y_c,z_c)^T為彩色攝像機(jī)坐標(biāo)系下的坐標(biāo)，R_r-c為機(jī)器人本體與彩色攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)變換矩陣，T_r-c為對應(yīng)的平移變換矩陣。

(4)經(jīng)過坐標(biāo)的相應(yīng)處理后，可以得出目標(biāo)物體的空間三維坐標(biāo)。