本發(fā)明屬于通信技術(shù)領(lǐng)域，更為具體地講，涉及一種基于手勢(shì)識(shí)別的無(wú)人機(jī)航跡指引方法。

背景技術(shù)：

目前，傳統(tǒng)的無(wú)人機(jī)飛行器都是采用遙控器或地面站的方式來(lái)指引無(wú)人機(jī)飛行的。但是無(wú)論是操作無(wú)人機(jī)飛行器的遙控器還是地面站均需要相當(dāng)熟練操作水平，否則極易造成無(wú)人機(jī)的損壞，甚至對(duì)操作者的人身安全產(chǎn)生一定的影響。然而培養(yǎng)一名有經(jīng)驗(yàn)的飛手需要一定的周期以及不菲的代價(jià)。

無(wú)人機(jī)最早在20世紀(jì)20年代出現(xiàn)，最初在軍事上作為訓(xùn)練時(shí)的靶機(jī)使用，隨著科學(xué)技術(shù)的發(fā)展進(jìn)步，無(wú)人機(jī)飛行器在社會(huì)生產(chǎn)生活中得到了廣泛的應(yīng)用，無(wú)人機(jī)飛行器的產(chǎn)品種類也越來(lái)越豐富。

但是，目前傳統(tǒng)的無(wú)人機(jī)飛行器都是采用遙控器和地面站共同作用的方式來(lái)指引無(wú)人機(jī)飛行的。無(wú)人機(jī)飛行器的遙控器和地面站卻均設(shè)置了較多的按鈕和撥桿，且其結(jié)構(gòu)功能復(fù)雜，在實(shí)際操作中經(jīng)常需要多個(gè)按鈕同時(shí)配合使用，才能滿足所期望的飛行要求，這對(duì)操作者的操作水平有較高的要求。同時(shí)由于遙控器采用的是撥桿和按鈕的設(shè)計(jì)，在飛行操作的過(guò)程中只能憑借人的肉眼觀察調(diào)整飛行狀態(tài)，使得飛行精度難以保證。

本發(fā)明針對(duì)上述問(wèn)題，提出了采用手勢(shì)識(shí)別技術(shù)的方法，通過(guò)手勢(shì)信息指引無(wú)人機(jī)的操作，使得無(wú)人機(jī)飛行器在操作上更為便捷精確。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于手勢(shì)識(shí)別的無(wú)人機(jī)航跡指引方法，通過(guò)在無(wú)人機(jī)地面站系統(tǒng)中添加手勢(shì)指引，使無(wú)人機(jī)操作者能入門輕松、操作簡(jiǎn)單。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明為一種基于手勢(shì)識(shí)別的無(wú)人機(jī)航跡指引方法，其特征在于，包括以下步驟：

(1)、圖像采集

利用攝像頭采集操作者的手勢(shì)圖像，并上傳到無(wú)人機(jī)地面站系統(tǒng)；

(2)、圖像預(yù)處理

無(wú)人機(jī)地面站系統(tǒng)先將手勢(shì)圖像轉(zhuǎn)化為灰度圖像，再將灰度圖像轉(zhuǎn)換為行向量，并將該行向量標(biāo)記為q；

(3)、構(gòu)建圖像識(shí)別的動(dòng)力學(xué)方程

按照協(xié)同理論，利用行向量q作為待識(shí)別模式構(gòu)建圖像識(shí)別的動(dòng)力學(xué)方程：

$\stackrel{\·}{q}=\underset{k}{\Σ}{\mathrm{\λ}}_k{v}_k\left(v_k^{+}q\right)-B\underset{k=k^{\′}}{\Σ}{\left(v_{k^{\′}}^{+}q\right)}^2\left(v_k^{+}q\right)v_k-C\left(q^{+}q\right)q+F\left(t\right)$

其中，λ_k為注意參數(shù)，只有當(dāng)它為正時(shí)，模式才能被識(shí)別；v_k為原型模式，且v_k滿足零均值和歸一化的條件；為v_k的正交伴隨向量；F(t)為漲落力；q⁺表示為q的伴隨向量；表示q關(guān)于時(shí)間的一階倒數(shù)；k表示手勢(shì)圖像所屬類別；B、C分別為常系數(shù)；

(4)、引入序參量ξ_k，將動(dòng)力學(xué)過(guò)程轉(zhuǎn)化成原型向量空間

序參量ξ_k表示行向量q在最小二乘意義下于v_k上的投影，即：

進(jìn)而把動(dòng)力學(xué)過(guò)程轉(zhuǎn)化成原型向量空間：

${\mathrm{\ξ}}_k={\mathrm{\λ}}_k{\mathrm{\ξ}}_k-\underset{k^{\′}\≠k}{\Σ}{B}_{{\mathrm{kk}}^{\′}}{\mathrm{\ξ}}_{k^{\′}}^2{\mathrm{\ξ}}_k-C\left(\underset{k^{\′}}{\Σ}{\mathrm{\ξ}}_{k^{\′}}^2\right){\mathrm{\ξ}}_k$

(5)、利用協(xié)同神經(jīng)網(wǎng)絡(luò)模型來(lái)識(shí)別操作者的手勢(shì)

將手勢(shì)圖像轉(zhuǎn)換為灰度圖像后作為訓(xùn)練樣本，以訓(xùn)練樣本中提取的序參量ξ_k作為協(xié)同神經(jīng)網(wǎng)絡(luò)的輸入，根據(jù)先驗(yàn)知識(shí)確定訓(xùn)練樣本中的操作手勢(shì)，如果手掌展開(kāi)且向上，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“000”；如果手掌展開(kāi)且向下，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“001”；如果拇指指向上，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“010”；如果拇指指向下，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“011”；如果拇指指向左，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“100”；如果拇指指向右，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“101”；最后通過(guò)調(diào)整內(nèi)部的權(quán)值和閾值，訓(xùn)練協(xié)同神經(jīng)網(wǎng)絡(luò)；

(6)、識(shí)別待監(jiān)測(cè)手勢(shì)圖像中操作者手勢(shì)

將待監(jiān)測(cè)的手勢(shì)圖像經(jīng)過(guò)上述步驟(1)到步驟(4)處理后提取出序參量ξ_k，再將序參量ξ_k輸入到經(jīng)過(guò)訓(xùn)練后的協(xié)同神經(jīng)網(wǎng)絡(luò)，根據(jù)協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果識(shí)別出操作者的手勢(shì)；

(7)、根據(jù)操作者的手勢(shì)發(fā)送對(duì)應(yīng)的操作指令

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“000”，則無(wú)人機(jī)地面站系統(tǒng)發(fā)送降落指令，控制無(wú)人機(jī)飛行器執(zhí)行起操作；

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“001”，則無(wú)人機(jī)地面站系統(tǒng)發(fā)送起飛指令，控制無(wú)人機(jī)飛行器執(zhí)行降落操作；

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“010”，則無(wú)人機(jī)地面站系統(tǒng)發(fā)送向上飛行指令，控制無(wú)人機(jī)飛行器執(zhí)行向上飛行操作；

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“011”，則無(wú)人機(jī)地面站系統(tǒng)發(fā)送向下飛行指令，控制無(wú)人機(jī)飛行器執(zhí)行向下飛行操作；

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“100”，則無(wú)人機(jī)地面站系統(tǒng)發(fā)送向左飛行指令，控制無(wú)人機(jī)飛行器執(zhí)行向左飛行操作；

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“101”，則無(wú)人機(jī)地面站系統(tǒng)發(fā)送向右飛行指令，控制無(wú)人機(jī)飛行器執(zhí)行向右飛行操作。

本發(fā)明的發(fā)明目的是這樣實(shí)現(xiàn)的：

本發(fā)明一種基于手勢(shì)識(shí)別的無(wú)人機(jī)航跡指引方法，通過(guò)使用協(xié)同神經(jīng)網(wǎng)絡(luò)(Synergetic Neural Network，SNN)的方法構(gòu)建神經(jīng)網(wǎng)絡(luò)，通過(guò)采集大量的無(wú)人機(jī)操作指引的手勢(shì)圖像作為樣本，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終使得神經(jīng)網(wǎng)絡(luò)能夠識(shí)別無(wú)人機(jī)地面站攝像頭采集到的手勢(shì)圖像，并通過(guò)本發(fā)明所構(gòu)建的系統(tǒng)對(duì)應(yīng)出相應(yīng)的操作指令，對(duì)無(wú)人機(jī)飛行器的飛行動(dòng)作做出相對(duì)應(yīng)的指示，實(shí)現(xiàn)無(wú)人機(jī)手勢(shì)指引飛行。

同時(shí)，本發(fā)明一種基于手勢(shì)識(shí)別的無(wú)人機(jī)航跡指引方法還具有以下有益效果：

(1)、通過(guò)使用協(xié)同神經(jīng)網(wǎng)絡(luò)(Synergetic Neural Network，SNN)的方法所構(gòu)建神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了協(xié)同模式理論在神經(jīng)網(wǎng)絡(luò)方面的應(yīng)用突破，為神經(jīng)網(wǎng)絡(luò)訓(xùn)練提供了又一有力的方法。

(2)、通過(guò)采用手勢(shì)指引無(wú)人機(jī)飛行器的方法，突破了傳統(tǒng)的依靠遙控器和地面站實(shí)施無(wú)人機(jī)飛行器操作的方式，極大的提高了無(wú)人機(jī)飛行器操作的便利性，有效的降低了無(wú)人機(jī)飛行器的操作門檻，更加有利于無(wú)人機(jī)飛行器的發(fā)展推廣。

(3)、通過(guò)采用手勢(shì)指引無(wú)人機(jī)飛行器的方法，量化了不同操作手勢(shì)對(duì)應(yīng)飛行動(dòng)作，使得無(wú)人機(jī)的飛行操作相比傳統(tǒng)的撥桿式的操作方式在精度上有了較大的提高。

附圖說(shuō)明

圖1是本發(fā)明基于手勢(shì)識(shí)別的無(wú)人機(jī)航跡指引方法流程圖；

圖2是3層協(xié)同神經(jīng)網(wǎng)絡(luò)模型；

圖3是無(wú)人機(jī)地面站系統(tǒng)的手勢(shì)指引操作界面；

圖4是操作手勢(shì)圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行描述，以便本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計(jì)的詳細(xì)描述也許會(huì)淡化本發(fā)明的主要內(nèi)容時(shí)，這些描述在這里將被忽略。

實(shí)施例

圖1是本發(fā)明基于手勢(shì)識(shí)別的無(wú)人機(jī)航跡指引方法流程圖。

在本實(shí)施例中，如圖1所示，本發(fā)明一種基于手勢(shì)識(shí)別的無(wú)人機(jī)航跡指引方法，包括以下步驟：

S1、圖像采集

利用攝像頭采集操作者的手勢(shì)圖像，并上傳到無(wú)人機(jī)地面站系統(tǒng)；在本實(shí)施例中，可以利用電腦上安裝的攝像頭，手持終端上自帶攝像頭等。

S2、圖像預(yù)處理

由于攝像頭所采集的圖像為彩色圖像無(wú)法是直接輸入到后續(xù)神經(jīng)網(wǎng)絡(luò)中進(jìn)行操作，因此，必須經(jīng)過(guò)相應(yīng)的預(yù)處理，才能為后續(xù)處理所使用；

彩色圖片包含的信息量大，但大部分時(shí)候僅僅需要用到灰度圖像里的信息，如紋理、對(duì)比度等；所以為了加快在圖像方面的計(jì)算速度，在模式識(shí)別中常使用灰度圖或者二值圖像；在本實(shí)施例中，將彩色圖先轉(zhuǎn)換為灰度圖，因?yàn)榛叶葓D像依然表現(xiàn)出了整個(gè)圖像的整體以及局部紋理特征、亮度、對(duì)比度等，但是大大的減少了計(jì)算量；

綜上，無(wú)人機(jī)地面站系統(tǒng)先將手勢(shì)圖像轉(zhuǎn)化為灰度圖像，再將灰度圖像轉(zhuǎn)換為行向量，并將該行向量標(biāo)記為q；

S3、識(shí)別操作者手勢(shì)

S3.1、構(gòu)建圖像識(shí)別的動(dòng)力學(xué)方程

按照協(xié)同理論，模式識(shí)別的過(guò)程可以理解為若干序參量競(jìng)爭(zhēng)的過(guò)程，協(xié)同理論處理問(wèn)題的核心思想就是把一個(gè)高維的非線性問(wèn)題歸結(jié)為同一組維數(shù)很低的非線性方程。

因此，按照協(xié)同理論，利用行向量q作為待識(shí)別模式構(gòu)建圖像識(shí)別的動(dòng)力學(xué)方程：

$\stackrel{\·}{q}=\underset{k}{\Σ}{\mathrm{\λ}}_k{v}_k\left(v_k^{+}q\right)-B\underset{k=k^{\′}}{\Σ}{\left(v_{k^{\′}}^{+}q\right)}^2\left(v_k^{+}q\right)v_k-C\left(q^{+}q\right)q+F\left(t\right)$

其中，λ_k為注意參數(shù)，只有當(dāng)它為正時(shí)，模式才能被識(shí)別；v_k為原型模式，且v_k滿足零均值和歸一化的條件；為v_k的正交伴隨向量；F(t)為漲落力；q⁺表示為q的伴隨向量；表示q關(guān)于時(shí)間的一階倒數(shù)；k表示手勢(shì)圖像所屬類別；B、C分別為常系數(shù)；k＝k'表示具體取某一類別的手勢(shì)圖像；

S3.2、引入序參量ξ_k，將動(dòng)力學(xué)過(guò)程轉(zhuǎn)化成原型向量空間

為了減少維數(shù)，協(xié)同理論引入序參量ξ_k，序參量ξ_k表示行向量q在最小二乘意義下于v_k上的投影；

其中待識(shí)別模式向量q可分解為原型向量v_k和剩余量ω；

即：

$q=\underset{k=1}{\overset{M}{\Σ}}{\mathrm{\ξ}}_k{v}_k+\mathrm{\ω},v_k^{+}\mathrm{\ω}=0$

則得:

其中，M表示手勢(shì)圖像所屬類別總數(shù)；

進(jìn)而把動(dòng)力學(xué)過(guò)程轉(zhuǎn)化成原型向量空間，也就是轉(zhuǎn)換為標(biāo)準(zhǔn)協(xié)同模式識(shí)別模型：

${\mathrm{\ξ}}_k={\mathrm{\λ}}_k{\mathrm{\ξ}}_k-\underset{k^{\′}\≠k}{\Σ}{B}_{{\mathrm{kk}}^{\′}}{\mathrm{\ξ}}_{k^{\′}}^2{\mathrm{\ξ}}_k-C\left(\underset{k^{\′}}{\Σ}{\mathrm{\ξ}}_{k^{\′}}^2\right){\mathrm{\ξ}}_k$

S3.3、利用協(xié)同神經(jīng)網(wǎng)絡(luò)模型來(lái)識(shí)別操作者的手勢(shì)

將手勢(shì)圖像轉(zhuǎn)換為灰度圖像后作為訓(xùn)練樣本，以訓(xùn)練樣本中提取的序參量ξ_k作為協(xié)同神經(jīng)網(wǎng)絡(luò)的輸入，根據(jù)先驗(yàn)知識(shí)確定訓(xùn)練樣本中的操作手勢(shì)，如果手掌展開(kāi)且向上，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“000”；如果手掌展開(kāi)且向下，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“001”；如果拇指指向上，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“010”；如果拇指指向下，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“011”；如果拇指指向左，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“100”；如果拇指指向右，則設(shè)置協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“101”；最后通過(guò)調(diào)整內(nèi)部的權(quán)值和閾值，訓(xùn)練協(xié)同神經(jīng)網(wǎng)絡(luò)；

在本實(shí)施例中，利用序參量ξ_k可構(gòu)造如圖2所示的3層神經(jīng)網(wǎng)絡(luò)；

在輸入層，輸入層的單元i接收待識(shí)別模式向量初始值q(0)的第i個(gè)分量q_i(0)，在本發(fā)明中q(0)為第一步采集到的手勢(shì)圖片的灰度圖片經(jīng)過(guò)矩陣變換后得到的數(shù)字圖片的行向量。

中間層表示各個(gè)序參量(ξ_k)神經(jīng)元，序參量ξ_k是由每個(gè)輸入值q_i(0)乘以相連接的并對(duì)全部角碼i求和所得。網(wǎng)絡(luò)運(yùn)行時(shí)，具有活性的序參量ξ_k的各個(gè)神經(jīng)元即可識(shí)別出角碼k所確定的特定原型模式，網(wǎng)絡(luò)按照動(dòng)力學(xué)方程運(yùn)行和演化，同時(shí)隨時(shí)間的發(fā)展達(dá)到最終狀態(tài)。最后，系統(tǒng)的最終狀態(tài)將由具有最大初始序參量的非穩(wěn)定模決定，利用該序參量即可得到q_j。

在輸出層，輸出層的模式可表達(dá)成q_j是輸出單元j的活性，ξ_k是中間層的最終狀態(tài)。當(dāng)k＝k₀時(shí)，ξ_k＝1；其他情況下，ξ_k＝0。v_k,j是原型向量v_k的j個(gè)分量，另外，可通過(guò)用u_k,j替換向量的分量v_k,j來(lái)識(shí)別出用u_k,j描述的屬于角碼k的新模式。在本實(shí)施例中，即為識(shí)別出對(duì)應(yīng)的操作者的手勢(shì)。

S3.4、識(shí)別待監(jiān)測(cè)手勢(shì)圖像中操作者手勢(shì)

將待監(jiān)測(cè)的手勢(shì)圖像經(jīng)過(guò)上述步驟處理后提取出序參量ξ_k，再將序參量ξ_k輸入到經(jīng)過(guò)訓(xùn)練后的協(xié)同神經(jīng)網(wǎng)絡(luò)，根據(jù)協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果識(shí)別出操作者的手勢(shì)；

在本實(shí)施例中，如圖3所示，在無(wú)人機(jī)地面站系統(tǒng)的手勢(shì)指引操作界面中，明確顯示了采集的操作者手勢(shì)信息1，識(shí)別后確認(rèn)手勢(shì)2，控制窗口3，無(wú)人機(jī)飛行狀態(tài)顯示4，以及無(wú)人機(jī)的飛行參數(shù)5。

S4、根據(jù)操作者的手勢(shì)發(fā)送對(duì)應(yīng)的操作指令

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“000”，則此時(shí)對(duì)應(yīng)的操作手勢(shì)如圖4(a)所示，且該操作手勢(shì)對(duì)應(yīng)為起飛指令；那么無(wú)人機(jī)地面站系統(tǒng)發(fā)送起飛指令，控制無(wú)人機(jī)飛行器執(zhí)行起飛操作；

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“001”，則此時(shí)對(duì)應(yīng)的操作手勢(shì)如圖4(b)所示，且該操作手勢(shì)對(duì)應(yīng)為降落指令；那么無(wú)人機(jī)地面站系統(tǒng)發(fā)送起飛指令，控制無(wú)人機(jī)飛行器執(zhí)行降落操作；

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“010”，則此時(shí)對(duì)應(yīng)的操作手勢(shì)如圖4(c)所示，且該操作手勢(shì)對(duì)應(yīng)為向上飛行指令；那么無(wú)人機(jī)地面站系統(tǒng)發(fā)送向上飛行指令，控制無(wú)人機(jī)飛行器執(zhí)行向上飛行操作；

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“011”，則此時(shí)對(duì)應(yīng)的操作手勢(shì)如圖4(d)所示，且該操作手勢(shì)對(duì)應(yīng)為向下飛行指令；那么無(wú)人機(jī)地面站系統(tǒng)發(fā)送向下飛行指令，控制無(wú)人機(jī)飛行器執(zhí)行向下飛行操作；

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“100”，則此時(shí)對(duì)應(yīng)的操作手勢(shì)如圖4(e)所示，且該操作手勢(shì)對(duì)應(yīng)為向左飛行指令；那么無(wú)人機(jī)地面站系統(tǒng)發(fā)送向左飛行指令，控制無(wú)人機(jī)飛行器執(zhí)行向左飛行操作；

如果協(xié)同神經(jīng)網(wǎng)絡(luò)的輸出為“101”，則此時(shí)對(duì)應(yīng)的操作手勢(shì)如圖4(f)所示，且該操作手勢(shì)對(duì)應(yīng)為向右飛行指令；那么無(wú)人機(jī)地面站系統(tǒng)發(fā)送向右飛行指令，控制無(wú)人機(jī)飛行器執(zhí)行向右飛行操作。

此外，還可以訓(xùn)練出多種操作手勢(shì)，用于控制無(wú)人機(jī)飛行器執(zhí)行拔升飛行高度h米、降低飛行高度h米、向左偏航θ°、向右偏航θ°等操作，其中，h和θ的值可以根據(jù)實(shí)際的飛行環(huán)境設(shè)定。

盡管上面對(duì)本發(fā)明說(shuō)明性的具體實(shí)施方式進(jìn)行了描述，以便于本技術(shù)領(lǐng)域的技術(shù)人員理解本發(fā)明，但應(yīng)該清楚，本發(fā)明不限于具體實(shí)施方式的范圍，對(duì)本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)講，只要各種變化在所附的權(quán)利要求限定和確定的本發(fā)明的精神和范圍內(nèi)，這些變化是顯而易見(jiàn)的，一切利用本發(fā)明構(gòu)思的發(fā)明創(chuàng)造均在保護(hù)之列。