技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器人監(jiān)控技術(shù)領(lǐng)域，具體是一種基于單目手勢(shì)識(shí)別的視覺跟隨方法。

背景技術(shù)：

目前家用服務(wù)機(jī)器人大多具有單目攝像機(jī)，基于單目攝像機(jī)的人體跟隨系統(tǒng)大多使用色塊跟隨的方式，該方式在程序啟動(dòng)時(shí)，指定單目攝像頭一塊預(yù)覽區(qū)域，并在后續(xù)的目標(biāo)移動(dòng)中不斷跟隨目標(biāo)行走。但該種方法存在以下缺陷：

1、色塊跟隨方法根據(jù)指定的初始色塊，進(jìn)行跟蹤，因色塊跟隨方法的缺陷，目標(biāo)非常容易跟丟；

2、操作繁瑣，用戶不易理解操作要點(diǎn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的問題是提供一種基于單目手勢(shì)識(shí)別的視覺跟隨方法，該方法通過識(shí)別一個(gè)特征手勢(shì)，實(shí)時(shí)得到精確的機(jī)器人與初始位置的空間偏差比率，實(shí)現(xiàn)精確跟蹤，簡(jiǎn)單易行，成本較低。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明的基于單目手勢(shì)識(shí)別的視覺跟隨方法，包括以下步驟：

1）機(jī)器人通過相機(jī)模塊拍攝包括跟蹤目標(biāo)的手勢(shì)在內(nèi)的第一幅場(chǎng)景圖片，圖片分辨率為W1*H1；約定拍攝圖片的左上角第一個(gè)點(diǎn)坐標(biāo)為（1,1），右下角最后一點(diǎn)的坐標(biāo)為的（W1，H1）；

2）所述機(jī)器人識(shí)別跟蹤目標(biāo)的手勢(shì)，并獲得手勢(shì)在圖片幀中的位置和大小參數(shù)：

X1：第一幅場(chǎng)景圖片中手勢(shì)的x軸起點(diǎn)，

Y1：第一幅場(chǎng)景圖片中手勢(shì)的y軸起點(diǎn)，

W2：第一幅場(chǎng)景圖片中手勢(shì)在x軸的寬度，

H2：第一幅場(chǎng)景圖片中手勢(shì)在y軸的高度；

H3：相機(jī)模塊拍攝到的第一場(chǎng)景的實(shí)際高度；

H4：手勢(shì)的實(shí)際高度；

并假定用戶初始距離為D1，D1將被用作距離變化的參照值；

3）根據(jù)步驟1）和2）獲得的參數(shù)，計(jì)算相機(jī)拍攝的第一場(chǎng)景的實(shí)際高度H3：

H3= 2 * tan α * D1 （1）

其中，α為相機(jī)攝像頭垂直可視角的1/2；

還可知H3/H4 = H1 / H2 （2）

H4=H2*H3/H1 （4）

根據(jù)所述第一幅場(chǎng)景圖片的參數(shù)，計(jì)算手勢(shì)在第一幅場(chǎng)景圖片中的中心坐標(biāo)

（X2，Y2）：

X2= X1 + (W2 /2) （4）

Y2= Y1 + ( H2/2)） （5）

計(jì)算手勢(shì)在第一幅場(chǎng)景圖片中的中心坐標(biāo)（X2，Y2）同整個(gè)第一幅場(chǎng)景圖片的中心點(diǎn)坐標(biāo)（Width/2，Hight/2）的偏離值；

定義O1 = X2 –（W1/2） （6）

O1為此時(shí)刻手勢(shì)與X軸中心點(diǎn)偏移量；

定義β1= arctan（O1/D1） （7）

角β1為此時(shí)刻手勢(shì)識(shí)別的中心點(diǎn)在X軸上的偏移角度；

4）跟蹤目標(biāo)向前，或者向后，或者向左，或者向右，移動(dòng)一個(gè)距離，但保持手勢(shì)在相機(jī)的視野范圍內(nèi)；機(jī)器人通過相機(jī)模塊拍攝包括跟蹤目標(biāo)的手勢(shì)在內(nèi)的第二幅場(chǎng)景圖片；

所述機(jī)器人識(shí)別跟蹤目標(biāo)的手勢(shì)，并獲得手勢(shì)在第二幅場(chǎng)景圖片幀中的位置和大小參數(shù)：

X3：手勢(shì)第二幅場(chǎng)景圖片x軸起點(diǎn)，

Y3：手勢(shì)第二幅場(chǎng)景圖片y軸起點(diǎn)，

W5：手勢(shì)在第二幅場(chǎng)景圖片x軸的寬度，

H5：手勢(shì)在第二幅場(chǎng)景圖片y軸的高度；

H6：相機(jī)模塊拍攝到的第二場(chǎng)景的實(shí)際高度；

5）根據(jù)步驟1）至4）獲得的參數(shù)，計(jì)算相機(jī)拍攝的第二場(chǎng)景高度H6：

H6 = H1*H4/H5 （8）

D2 = H6/(2 * tan α) （9）

根據(jù)所述第二幅場(chǎng)景圖片的參數(shù)，計(jì)算手勢(shì)在第二幅場(chǎng)景圖片中的中心坐標(biāo)

（X4，Y4）：

X4 = X3 + （W4 /2） （10）

Y4 = Y3 + （ H4/2） （11）

計(jì)算手勢(shì)在第二幅場(chǎng)景圖片中的中心坐標(biāo)（X4，Y4）同整個(gè)第二幅場(chǎng)景圖片的中心點(diǎn)坐標(biāo)（Width/2，Hight/2）的偏離值；

定義O2 = X4 – （W3/2） （12）

O2為此時(shí)刻手勢(shì)與X軸中心點(diǎn)偏移量；

定義β2= arctan（O2/D2） （13）

角β2為此時(shí)刻手勢(shì)識(shí)別的中心點(diǎn)在X軸上的偏移角度；

6）定義R1為距離D2與距離D1的距離比率，該百分比可體現(xiàn)出當(dāng)前距離D2相對(duì)于初始距離D1的相對(duì)距離偏差：

R1= D2/D1 = H5/H2 （14）

例如R1=0.8代表，當(dāng)前相機(jī)和跟蹤目標(biāo)的距離比初始距離D1近了20%。R1=1.2則代表，當(dāng)前相機(jī)和跟蹤目標(biāo)距離比初始距離D1遠(yuǎn)了20%；

定義R2為X軸的偏差比率：

R2 = tanβ2/tanβ1= （X2-（W1/2））*H4/（（X4-（W3/2））*H2） （14）；

根據(jù)公式（13）和（14），可通過R1代表Z軸空間距離D2與初始距離D1的偏離比率，R2代表X軸偏移角度β2與β1的偏差比率。并可依據(jù)實(shí)時(shí)的R1和R2的數(shù)值，制定引導(dǎo)機(jī)器人的動(dòng)態(tài)跟隨算法，調(diào)整機(jī)器人的姿態(tài)和速度，通過使R1和R2的值趨近與1，而得到良好的跟隨姿態(tài)。

進(jìn)一步的，在步驟1）相機(jī)模塊拍攝第一副場(chǎng)景圖片之前或同時(shí)，機(jī)器人通過單點(diǎn)測(cè)距模塊，測(cè)量機(jī)器人與跟蹤目標(biāo)之間的距離，獲得距離參數(shù)D1；在步驟4）相機(jī)模塊拍攝第二副場(chǎng)景圖片之前或同時(shí)，機(jī)器人通過單點(diǎn)測(cè)距模塊，測(cè)量機(jī)器人與跟蹤目標(biāo)之間的距離，獲得距離參數(shù)D2；此時(shí)D1和D2為實(shí)際數(shù)值，而不是假定的值；

步驟6）的過程變更為：根據(jù)實(shí)時(shí)反饋的跟蹤目標(biāo)和所述機(jī)器人的Z軸空間距離D2、X軸空間偏移角度β2制定引導(dǎo)機(jī)器人的動(dòng)態(tài)跟隨算法；所述機(jī)器人通過不斷調(diào)整機(jī)器人的姿態(tài)、速度等，從而使D2趨近于D1，β2趨近于β1，而得到良好的跟隨姿態(tài)；或者，使用預(yù)設(shè)的舒適跟隨距離Dx和偏移距離βy策略，隨意調(diào)整跟隨策略。

更進(jìn)一步，所述單點(diǎn)測(cè)距模塊包括超聲波測(cè)距模塊、紅外測(cè)距模塊、激光測(cè)距模塊。

本發(fā)明的一種基于單目手勢(shì)識(shí)別的視覺跟隨方法，通過識(shí)別一個(gè)特征手勢(shì)，實(shí)時(shí)得到精確的機(jī)器人與初始位置的空間偏差比率，易于精確追蹤，跟隨動(dòng)作更自然。還可以在初始狀態(tài)獲知跟蹤目標(biāo)和機(jī)器人的精確距離，通過識(shí)別一個(gè)特征手勢(shì)，實(shí)時(shí)得到精確的機(jī)器人與人的相對(duì)距離，跟蹤精度更高。本發(fā)明的跟隨方法準(zhǔn)確率高于色塊跟隨，成本較3D體感方案大大降低，且效果更好，用戶交互順暢，極易掌握操作要點(diǎn)，使用方便。

附圖說明

圖1為本發(fā)明一個(gè)實(shí)施例中第一次拍攝場(chǎng)景圖片示意圖；

圖2為本發(fā)明一個(gè)實(shí)施例中第二次拍攝場(chǎng)景圖片示意圖；

圖3為本發(fā)明一個(gè)實(shí)施例中的跟隨方法采用的機(jī)器人結(jié)構(gòu)示意圖；

圖4為本發(fā)明另一個(gè)實(shí)施例中的跟隨方法采用的機(jī)器人結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖，以人體為跟蹤目標(biāo)為例，對(duì)本發(fā)明提出的一種基于單目手勢(shì)識(shí)別的視覺跟隨方法進(jìn)行詳細(xì)說明。

1）如圖1所示，機(jī)器人通過相機(jī)模塊拍攝包括人體的手勢(shì)在內(nèi)的第一幅場(chǎng)景圖片，圖片分辨率為W1*H1；約定拍攝圖片的左上角第一個(gè)點(diǎn)坐標(biāo)為（1,1），右下角最后一點(diǎn)的坐標(biāo)為的（W1，H1）；手勢(shì)可采用手掌為標(biāo)志或手指為標(biāo)志，也可以采用其它器官為標(biāo)志。

2）如圖2所示，機(jī)器人識(shí)別人體的手勢(shì)，通過手勢(shì)識(shí)別軟件，識(shí)別人體的手勢(shì)（如正面手掌），并獲得手勢(shì)在圖片幀中的位置和大小參數(shù)：

X1：第一幅場(chǎng)景圖片中手勢(shì)的x軸起點(diǎn)，

Y1：第一幅場(chǎng)景圖片中手勢(shì)的y軸起點(diǎn)，

W2：第一幅場(chǎng)景圖片中手勢(shì)在x軸的寬度，

H2：第一幅場(chǎng)景圖片中手勢(shì)在y軸的高度；

H3：相機(jī)模塊拍攝到的第一場(chǎng)景的實(shí)際高度；

H4：手勢(shì)的實(shí)際高度；

并假定用戶初始距離為D1，D1將被用作距離變化的參照值；

3）根據(jù)步驟1）、2）和3）獲得的參數(shù)，計(jì)算相機(jī)拍攝的第一場(chǎng)景高度H3：

H3 = 2 * tan α * D1 （1）

其中，α為相機(jī)攝像頭垂直可視角的1/2；

還可知H3/H4 = H1 / H2 （2）

H4=H2*H3/H1 （4）

根據(jù)第一幅場(chǎng)景圖片的參數(shù)，計(jì)算手勢(shì)在第一幅場(chǎng)景圖片中的中心坐標(biāo)

（X2，Y2）：

X2= X1 + (W2 /2) （4）

Y2= Y1 + ( H2/2)） （5）

計(jì)算手勢(shì)在第一幅場(chǎng)景圖片中的中心坐標(biāo)（X2，Y2）同整個(gè)第一幅場(chǎng)景圖片的中心點(diǎn)坐標(biāo)（Width/2，Hight/2）的偏離值；

定義O1 = X2 –（W1/2） （6）

O1為此時(shí)刻手勢(shì)與X軸中心點(diǎn)偏移量；

定義β1= arctan（O1/D1） （7）

角β1為此時(shí)刻手勢(shì)識(shí)別的中心點(diǎn)在X軸上的偏移角度；

4）人體向前，或者向后，或者向左，或者向右，移動(dòng)一個(gè)距離，但保持手勢(shì)在相機(jī)的視野范圍內(nèi)；機(jī)器人通過相機(jī)模塊拍攝包括人體的手勢(shì)在內(nèi)的第二幅場(chǎng)景圖片；

如圖2所示，機(jī)器人識(shí)別人體的手勢(shì)，通過手勢(shì)識(shí)別軟件，識(shí)別人體的手勢(shì)（如正面手掌）并獲得手勢(shì)在第二幅場(chǎng)景圖片幀中的位置和大小參數(shù)：

X3：手勢(shì)第二幅場(chǎng)景圖片x軸起點(diǎn)，

Y3：手勢(shì)第二幅場(chǎng)景圖片y軸起點(diǎn)，

W5：手勢(shì)在第二幅場(chǎng)景圖片x軸的寬度，

H5：手勢(shì)在第二幅場(chǎng)景圖片y軸的高度；

H6：相機(jī)模塊拍攝到的第二場(chǎng)景的實(shí)際高度；

5）根據(jù)步驟1）至5）獲得的參數(shù)，計(jì)算相機(jī)拍攝的第二場(chǎng)景高度H3：

H6= H1*H4/H5 （8）

D2 = H6/(2 * tan α) （9）

根據(jù)第二幅場(chǎng)景圖片的參數(shù)，計(jì)算手勢(shì)在第二幅場(chǎng)景圖片中的中心坐標(biāo)

（X4，Y4）：

X4= X3 + （W4 /2） （10）

Y4= Y3 + （ H4/2） （11）

計(jì)算手勢(shì)在第二幅場(chǎng)景圖片中的中心坐標(biāo)（X4，Y4）同整個(gè)第二幅場(chǎng)景圖片的中心點(diǎn)坐標(biāo)（Width/2，Hight/2）的偏離值；

定義O2 = X4 – （W3/2） （12）

O2此時(shí)刻手勢(shì)與X軸中心點(diǎn)偏移量；

定義β2= arctan（O2/D2） （13）

角β2為此時(shí)刻手勢(shì)識(shí)別的中心點(diǎn)在X軸上的偏移角度；

6）定義R1為距離D2與距離D1的距離比率，該百分比可體現(xiàn)出當(dāng)前距離D2相對(duì)于初始距離D1的相對(duì)距離偏差：

R1= D2/D1 = H4/H2 （13）

例如R1=0.8代表，當(dāng)前相機(jī)和人體的距離比初始距離D1近了20%。R2=1.2則代表，當(dāng)前相機(jī)和人體距離比初始距離D1遠(yuǎn)了20%；

定義R2為X軸的偏差比率：

R2= tanβ2/tanβ1= （X2-（W1/2））*H4/（（X4-（W3/2））*H2） （14）；

根據(jù)公式（13）和（14），可通過R1代表Z軸空間距離D2與初始距離的偏離比率，R2代表X軸偏移角度β2與β1的偏差比率。并可依據(jù)實(shí)時(shí)的R1和R2的數(shù)值，制定引導(dǎo)機(jī)器人的動(dòng)態(tài)跟隨算法，調(diào)整機(jī)器人的姿態(tài)和速度，通過使R12和R2的值趨近與1，而得到良好的跟隨姿態(tài)。

在步驟1）相機(jī)模塊拍攝第一副場(chǎng)景圖片之前或同時(shí)，機(jī)器人通過單點(diǎn)測(cè)距模塊，測(cè)量機(jī)器人與跟蹤目標(biāo)之間的距離，獲得距離參數(shù)D1；在步驟4）相機(jī)模塊拍攝第二副場(chǎng)景圖片之前或同時(shí)，機(jī)器人通過單點(diǎn)測(cè)距模塊，測(cè)量機(jī)器人與跟蹤目標(biāo)之間的距離，獲得距離參數(shù)D2；此時(shí)D1和D2為實(shí)際數(shù)值，而不是假定的值；

步驟6）的過程變更為：根據(jù)實(shí)時(shí)反饋的跟蹤目標(biāo)和所述機(jī)器人的Z軸空間距離D2、X軸空間偏移角度β2制定引導(dǎo)機(jī)器人的動(dòng)態(tài)跟隨算法；所述機(jī)器人通過不斷調(diào)整機(jī)器人的姿態(tài)、速度等，從而使D2趨近于D1，β2趨近于β1，而得到良好的跟隨姿態(tài)；或者，使用預(yù)設(shè)的舒適跟隨距離Dx和偏移距離βy策略，隨意調(diào)整跟隨策略。

如圖3和4所示，本發(fā)明的跟隨方法采用的機(jī)器人可選用類人機(jī)器人，包括RGB彩色相機(jī)和超聲波測(cè)距傳感器2。RGB彩色相機(jī)1用于獲取人及手勢(shì)的圖像數(shù)據(jù)。超聲波測(cè)距傳感器2用于測(cè)量機(jī)器人正前方的障礙物距離，超聲波測(cè)距傳感器2也可用，紅外測(cè)距，激光測(cè)距等技術(shù)替代。

以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。