本發(fā)明屬于人機(jī)交互領(lǐng)域，尤其涉及非接觸式手勢(shì)識(shí)別方法。
背景技術(shù)：
：隨著諸如智能手機(jī)、手表、手環(huán)等可穿戴智能移動(dòng)終端的普及，手勢(shì)識(shí)別在人機(jī)交互領(lǐng)域扮演著越來越重要的角色。智能手表、手環(huán)等可穿戴設(shè)備由于設(shè)備屏幕小或者不配備顯示屏，導(dǎo)致傳統(tǒng)的按鍵或觸摸屏式的手勢(shì)識(shí)別方法難以直接應(yīng)用，非接觸式手勢(shì)識(shí)別方法應(yīng)運(yùn)而生。傳統(tǒng)的非接觸式手勢(shì)識(shí)別方法主要基于計(jì)算機(jī)視覺、數(shù)據(jù)手套、運(yùn)動(dòng)傳感器等，存在對(duì)光照敏感、計(jì)算復(fù)雜度高、操作不方便、操作范圍有限等問題。超聲波手勢(shì)識(shí)別方法是一種新型的非接觸式手勢(shì)識(shí)別方法，具有對(duì)光照不敏感、算法復(fù)雜度低、耗費(fèi)資源少、感應(yīng)范圍廣以及對(duì)設(shè)備硬件要求低等優(yōu)點(diǎn)，更適合于可穿戴智能移動(dòng)設(shè)備。近年來，超聲波手勢(shì)識(shí)別隨著智能可穿戴設(shè)備的發(fā)展越來越受到國(guó)內(nèi)外研究人員的關(guān)注。超聲波手勢(shì)識(shí)別方法通常是通過監(jiān)測(cè)手部運(yùn)動(dòng)引發(fā)的超聲波多普勒效應(yīng)來識(shí)別手勢(shì)。但日常生活中手部運(yùn)動(dòng)很靈活，而且誤操作發(fā)生的可能性較大，現(xiàn)有的超聲波手勢(shì)識(shí)別方法的識(shí)別準(zhǔn)確率并不理想。技術(shù)實(shí)現(xiàn)要素：因此，本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺陷，提供一種新的超聲波手勢(shì)識(shí)別方法，其兼顧手部運(yùn)動(dòng)發(fā)生時(shí)的情境因素，利用情境信息排除手部誤操作的影響以提高手勢(shì)識(shí)別的準(zhǔn)確率和魯棒性。本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：一方面，本發(fā)明提供了一種超聲波手勢(shì)識(shí)別方法，包括：a)發(fā)射超聲波信號(hào)；b)采集超聲波信號(hào)并同時(shí)采集與當(dāng)前情境相關(guān)的情境信息，其中所述情境信息包括影響手勢(shì)發(fā)生的一個(gè)或多個(gè)情境因素；c)基于發(fā)射的和采集的超聲波信號(hào)獲取手勢(shì)特征；d)利用預(yù)先訓(xùn)練好的手勢(shì)分類模型獲取該手勢(shì)特征的手勢(shì)概率向量，所述手勢(shì)概率向量由所述手勢(shì)特征屬于預(yù)設(shè)的各種手勢(shì)的概率構(gòu)成；e)基于所采集的情境信息和預(yù)定的情境特征矩陣來確定與所述手勢(shì)特征相關(guān)的情境概率向量，其中所述情境特征矩陣由所述預(yù)設(shè)的各種手勢(shì)在各個(gè)情境因素下發(fā)生的概率構(gòu)成，所述情境概率向量由預(yù)設(shè)的各種手勢(shì)在當(dāng)前情境下發(fā)生的概率構(gòu)成；f)基于所述手勢(shì)概率向量和所述情境概率向量確定在當(dāng)前情境中所述手勢(shì)特征屬于預(yù)設(shè)的各種手勢(shì)的概率并將其中最大概率對(duì)應(yīng)的手勢(shì)識(shí)別為與所采集的超聲波信號(hào)對(duì)應(yīng)的手勢(shì)。在一個(gè)實(shí)施例中，在步驟f)還可包括判斷該最大概率是否在所識(shí)別的手勢(shì)對(duì)應(yīng)的置信區(qū)間中，如果在，則對(duì)該手勢(shì)進(jìn)行響應(yīng)。在一個(gè)實(shí)施例中，該方法還可包括訓(xùn)練手勢(shì)分類模型的步驟，所述手勢(shì)分類模型采用基于機(jī)器學(xué)習(xí)的方法來實(shí)現(xiàn)，所述手勢(shì)分類模型的輸入為手勢(shì)特征，輸出為手勢(shì)概率向量。在一個(gè)實(shí)施例中，所述置信區(qū)間可以通過下列步驟得到的：確定用來進(jìn)行訓(xùn)練的樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集中包括手勢(shì)特征樣本，與該手勢(shì)特征樣本相關(guān)的情境信息；對(duì)于樣本數(shù)據(jù)集中的每個(gè)手勢(shì)特征樣本：根據(jù)預(yù)定的各種手勢(shì)給該手勢(shì)特征樣本標(biāo)注其所屬的手勢(shì)種類，利用預(yù)先訓(xùn)練好的手勢(shì)分類模型獲取該手勢(shì)特征樣本的手勢(shì)概率向量，基于與該手勢(shì)特征樣本相關(guān)的情境信息和預(yù)定的情境特征矩陣來確定與該手勢(shì)特征樣本相關(guān)的情境概率向量，該情境概率向量由預(yù)設(shè)的各種手勢(shì)在采集該手勢(shì)特征樣本時(shí)的情境下發(fā)生的概率構(gòu)成；基于所述手勢(shì)概率向量和所述情境概率向量得到所述手勢(shì)特征在其相關(guān)情境中屬于預(yù)設(shè)的各種手勢(shì)的概率；以及基于各個(gè)手勢(shì)特征樣本所得到的概率及其所標(biāo)注的手勢(shì)種類來設(shè)置并調(diào)整各種手勢(shì)對(duì)應(yīng)的置信區(qū)間。又一方面，本發(fā)明提供了一種超聲波手勢(shì)識(shí)別系統(tǒng)，包括：超聲波收發(fā)裝置，用于采集和發(fā)射超聲波信號(hào)；情境信息采集裝置，用于采集與當(dāng)前情境相關(guān)的情境信息，其中所述情境信息包括影響手勢(shì)發(fā)生的一個(gè)或多個(gè)情境因素；手勢(shì)分類裝置，用于基于發(fā)射的和采集的超聲波信號(hào)獲取手勢(shì)特征，以及利用預(yù)先訓(xùn)練好的手勢(shì)分類模型獲取該手勢(shì)特征的手勢(shì)概率向量，所述手勢(shì)概率向量由所述手勢(shì)特征屬于預(yù)設(shè)的各種手勢(shì)的概率構(gòu)成；情境映射裝置，用于基于所采集的情境信息和預(yù)定的情境特征矩陣來確定與所述手勢(shì)特征相關(guān)的情境概率向量，其中所述情境特征矩陣由所述預(yù)設(shè)的各種手勢(shì)在各個(gè)情境因素下發(fā)生的概率構(gòu)成，所述情境概率向量由預(yù)設(shè)的各種手勢(shì)在當(dāng)前情境下發(fā)生的概率構(gòu)成；手勢(shì)識(shí)別裝置，用于基于所述手勢(shì)概率向量和所述情境概率向量確定在當(dāng)前情境中所述手勢(shì)特征屬于預(yù)設(shè)的各種手勢(shì)的概率并將其中最大概率對(duì)應(yīng)的手勢(shì)識(shí)別為與所采集的超聲波信號(hào)對(duì)應(yīng)的手勢(shì)。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：將手勢(shì)信號(hào)與情境信息相融合，使用情境信息過濾用戶的誤操作手勢(shì)、修正識(shí)別錯(cuò)誤的手勢(shì)，減少無效甚至錯(cuò)誤的響應(yīng)，從而提高了手勢(shì)識(shí)別的準(zhǔn)確率和魯棒性，增強(qiáng)了人機(jī)交互體驗(yàn)。附圖說明以下參照附圖對(duì)本發(fā)明實(shí)施例作進(jìn)一步說明，其中：圖1為根據(jù)本發(fā)明實(shí)施例的超聲波手勢(shì)識(shí)別方法的流程示意圖；圖2為根據(jù)本發(fā)明實(shí)施例的訓(xùn)練融合情境信息的手勢(shì)識(shí)別模型的流程示意圖；圖3a為安靜環(huán)境下根據(jù)本發(fā)明實(shí)施例的手勢(shì)識(shí)別方法與傳統(tǒng)無情境信息的手勢(shì)識(shí)別方法的識(shí)別準(zhǔn)確率對(duì)比示意圖；圖3b為標(biāo)準(zhǔn)環(huán)境下根據(jù)本發(fā)明實(shí)施例的手勢(shì)識(shí)別方法與傳統(tǒng)無情境信息的手勢(shì)識(shí)別方法的識(shí)別準(zhǔn)確率對(duì)比示意圖；圖3c為喧鬧環(huán)境下根據(jù)本發(fā)明實(shí)施例的手勢(shì)識(shí)別方法與傳統(tǒng)無情境信息的手勢(shì)識(shí)別方法的識(shí)別準(zhǔn)確率對(duì)比示意圖。具體實(shí)施方式為了使本發(fā)明的目的，技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖通過具體實(shí)施例對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。人們的行為表現(xiàn)往往會(huì)受其所處的情境的影響，相同手勢(shì)在不同情境下發(fā)生概率可能不同。而現(xiàn)有的超聲波識(shí)別方法只關(guān)注于手部運(yùn)動(dòng)，采集到相關(guān)手勢(shì)數(shù)據(jù)即進(jìn)行識(shí)別，而并不考慮當(dāng)前手勢(shì)是否適合用戶當(dāng)前所處的環(huán)境，忽略了用戶的真正意圖，由此經(jīng)常導(dǎo)致無效甚至錯(cuò)誤的響應(yīng)。在本發(fā)明中，提供了一種融合情境感知信息的超聲波手勢(shì)識(shí)別方法，同時(shí)采集手勢(shì)數(shù)據(jù)和當(dāng)前情境信息，融合兩者作為手勢(shì)識(shí)別的輸入信息，利用情境信息過濾誤操作手勢(shì)、修正識(shí)別錯(cuò)誤的手勢(shì)等，以盡量減少無效或錯(cuò)誤響應(yīng)，識(shí)別出符合用戶真正意圖的手勢(shì)。以播放音樂的應(yīng)用為例，當(dāng)前的環(huán)境聲音和音樂播放音量都會(huì)影響用戶調(diào)整音量的行為。例如，當(dāng)環(huán)境聲音較大、播放音量較低時(shí)，調(diào)高播放音量的可能性較大；反之，調(diào)低播放音量的可能性較大。而如果當(dāng)前環(huán)境很安靜并且當(dāng)前播放音量較高，但檢測(cè)到用戶的手部運(yùn)動(dòng)為調(diào)高音量的手勢(shì)，那么可以不對(duì)該手勢(shì)進(jìn)行響應(yīng)，因?yàn)樵撌謩?shì)可能是由于手部無意識(shí)的運(yùn)動(dòng)產(chǎn)生的誤操作。對(duì)于超聲波手勢(shì)識(shí)別方法的不同應(yīng)用場(chǎng)景，所設(shè)定的手勢(shì)種類以及影響手勢(shì)發(fā)生的相關(guān)情境因素有很大差異。本發(fā)明的方法對(duì)于具體的手勢(shì)種類以及影響手勢(shì)發(fā)生的情境因素不進(jìn)行任何限制，本領(lǐng)域技術(shù)人員可以根據(jù)具體的應(yīng)用場(chǎng)景來對(duì)此進(jìn)行相應(yīng)的選擇和設(shè)置。圖1給出了根據(jù)本發(fā)明一個(gè)實(shí)施例的超聲波手勢(shì)識(shí)別方法的流程示意。該方法實(shí)際上可以分為在線實(shí)時(shí)手勢(shì)識(shí)別和離線訓(xùn)練手勢(shì)識(shí)別模型兩個(gè)階段。如圖1所示，在線實(shí)時(shí)手勢(shì)識(shí)別主要包括(1)發(fā)射超聲波以及采集超聲波信號(hào)與當(dāng)前情境相關(guān)的情境信息；(2)提取手勢(shì)特征和情境特征；(3)基于所提取的手勢(shì)特征和情境特征進(jìn)行手勢(shì)識(shí)別。更具體地，首先采集超聲波信號(hào)并同時(shí)采集與當(dāng)前情境相關(guān)的情境信息，這里，情境信息可以包括影響手勢(shì)發(fā)生的一個(gè)或多個(gè)情境因素，其隨具體應(yīng)用場(chǎng)景而不同。在不同情境下，用戶可能的手勢(shì)集合不同，相同手勢(shì)發(fā)生的概率也不相同。在特定情境下，如果一個(gè)手勢(shì)符合情境信息的要求，那么這種手勢(shì)發(fā)生的概率較大；反之，這種手勢(shì)發(fā)生的概率較小。在特定情境下，影響手勢(shì)發(fā)生的情境因素可能有一個(gè)，也可能有多個(gè)。為說明方便，下面假定有M種手勢(shì)和L個(gè)情境因素，可以根據(jù)具體應(yīng)用場(chǎng)景和具體的情境因素來預(yù)先確定各種手勢(shì)在各情境因素下發(fā)生的概率。這里為描述方便，以矩陣的方式來表示這些概率，假定情境特征矩陣A為由各種手勢(shì)在各情境因素下發(fā)生的概率構(gòu)成的矩陣，可記為(amk)M×L，其中amk＝pmk(ck)表示第m種手勢(shì)在第k個(gè)情境因素ck下發(fā)生的概率(1≤m≤M，1≤k≤L)。具體概率計(jì)算方式可以依具體應(yīng)用場(chǎng)景和具體的情境因素不同。這里為方便，仍以播放音樂的應(yīng)用為例，假定有“前伸”和“后拉”兩種手勢(shì)，分別對(duì)應(yīng)“調(diào)高播放音量”和“調(diào)低播放音量”兩種用戶調(diào)整音量的行為。在音樂播放活動(dòng)中，當(dāng)前的環(huán)境聲音和音樂播放音量都會(huì)影響用戶調(diào)整音量的行為。例如，當(dāng)環(huán)境聲音較大、播放音量較低時(shí)，調(diào)高播放音量的可能性較大；反之，調(diào)低播放音量的可能性較大。這里將用戶所處的環(huán)境音量、當(dāng)前播放音量設(shè)定為影響手勢(shì)產(chǎn)生的兩個(gè)情境因素。其中，對(duì)于環(huán)境音量，對(duì)應(yīng)安靜(聲音低于20dB)、標(biāo)準(zhǔn)(聲音處于20dB-40dB)、喧鬧(聲音高于40dB)共3種環(huán)境。在標(biāo)準(zhǔn)環(huán)境中調(diào)高和調(diào)低音量的可能性相差不大。在一個(gè)示例中，可以選擇適當(dāng)?shù)母怕屎瘮?shù)來設(shè)置各種手勢(shì)在各情境因素下發(fā)生的概率。例如假設(shè)“前伸”和“后拉”兩種手勢(shì)在典型標(biāo)準(zhǔn)環(huán)境音28dB情況下發(fā)生的概率均為0.5，那么如果檢測(cè)到當(dāng)前環(huán)境音量為15dB，則調(diào)低音量的可能性增加而調(diào)高音量的可能性減小，“前伸”手勢(shì)在當(dāng)前環(huán)境中發(fā)生的概率例如可以為0.5-0.5*15/28，而“后拉”手勢(shì)在當(dāng)前環(huán)境中發(fā)生的概率例如可以為0.5+0.5*15/28。在又一示例中，也可以通過分段函數(shù)的方式來指定各種手勢(shì)在各情境因素下發(fā)生的概率。例如，將環(huán)境聲音的取值范圍分段，不同的范圍設(shè)置不同的概率。例如，當(dāng)環(huán)境聲音處于20dB-25dB時(shí)，將“前伸”手勢(shì)發(fā)生的概率設(shè)定為0.45，當(dāng)環(huán)境聲音處于25db-30db之間時(shí)，將“前伸”手勢(shì)發(fā)生的概率設(shè)置為0.5，可以此類推。上述概率計(jì)算方法僅是舉例說明而非進(jìn)行任何限制。具體的概率設(shè)置可以實(shí)際需求和具體應(yīng)用場(chǎng)景和情境因素等而具體確定。繼續(xù)參考圖1，在采集到超聲波信號(hào)之后，從發(fā)射的超聲波和接收的超聲波信號(hào)的多普勒頻移獲取表征該采集的超聲波信號(hào)的手勢(shì)特征，典型的手勢(shì)特征包括但不限于最大值、最小值、均值、標(biāo)準(zhǔn)方差、過零率、百分位數(shù)、關(guān)聯(lián)系數(shù)、功率譜密度、頻域熵、譜峰位置等。同時(shí)，基于采集的當(dāng)前情境的情境信息和上述設(shè)定的情境特征矩陣來獲取與該手勢(shì)特征相關(guān)的情境特征，該情境特征可以采用由預(yù)設(shè)的各種手勢(shì)在當(dāng)前情境下發(fā)生的概率構(gòu)成的向量來表示，也可以稱為情境概率向量。假設(shè)當(dāng)前采集的情境信息記為c＝(c1,c2,…,ck,…cL)，ck表示影響當(dāng)前采集的第k個(gè)情境因素，那么通過預(yù)先確定的情境特征矩陣A可以獲得預(yù)定的M種手勢(shì)在當(dāng)前情境c下發(fā)生的概率，這些概率組成了一個(gè)M維的向量，即得到與當(dāng)前采集的超聲波的手勢(shì)特征相關(guān)的情境概率向量C＝[p1(c),…,pm(c),…,pM(c)]，其中pm(c)表示第m種手勢(shì)在當(dāng)前情境c下發(fā)生的概率，即pm(c)＝p(c1,c2,…,ck,…cL),其概率值例如為p1(c1)·p2(c2)·…·pM(cL)?？梢钥闯觯c該手勢(shì)特征相關(guān)的情境概率向量C由表示預(yù)定的各種手勢(shì)在采集該手勢(shì)數(shù)據(jù)時(shí)的當(dāng)前情境c下發(fā)生的概率構(gòu)成。然后，將所提取的手勢(shì)特征作為預(yù)先訓(xùn)練好的手勢(shì)分類模型的輸入，通過該手勢(shì)分類模型可得到該手勢(shì)的手勢(shì)概率向量，該手勢(shì)概率向量由所述手勢(shì)特征屬于預(yù)設(shè)的各種手勢(shì)的概率構(gòu)成，其可記為G＝[G1，G2，…,Gi，…GM]T，其中M表示預(yù)先設(shè)定的手勢(shì)類別數(shù),Gi表示所采集的超聲波信號(hào)被識(shí)別為第i種手勢(shì)的概率(1≤i≤M)。而至于手勢(shì)分類模型可以采用多種基于機(jī)器學(xué)習(xí)的分類模型來的訓(xùn)練，例如貝葉斯模型、決策樹、極速學(xué)習(xí)機(jī)(ELM)等等，只要確定用于訓(xùn)練的手勢(shì)特征和待識(shí)別的手勢(shì)類別即可，具體的訓(xùn)練過程會(huì)在下文中進(jìn)行簡(jiǎn)單介紹。這樣，最終所識(shí)別的手勢(shì)是基于該手勢(shì)特征的手勢(shì)概率向量及與其相關(guān)的情境概率向量來確定的。在如上文介紹的，得到該手勢(shì)特征屬于預(yù)設(shè)的各種手勢(shì)的概率和各種手勢(shì)在當(dāng)前情境下發(fā)生的概率之后，便可以計(jì)算得出該手勢(shì)特征在當(dāng)前情境中屬于預(yù)設(shè)的各種手勢(shì)的概率，其中最大概率對(duì)應(yīng)的手勢(shì)可被確定為最終識(shí)別的與所采集的超聲波信號(hào)對(duì)應(yīng)的手勢(shì)。可以看出，該識(shí)別方法不僅考慮了手勢(shì)數(shù)據(jù)本身還兼顧了采集該手勢(shì)數(shù)據(jù)時(shí)的情境信息，如果一個(gè)手勢(shì)符合情境，那么這個(gè)手勢(shì)在手勢(shì)概率向量和情境概率向量中對(duì)應(yīng)的概率都很大，相乘之后得到的概率將較大，而如果一個(gè)手勢(shì)不符合情境，那么該手勢(shì)在手勢(shì)概率向量和情境概率向量中對(duì)應(yīng)的概率相乘會(huì)得到較小的值，這就體現(xiàn)了情境信息對(duì)識(shí)別錯(cuò)誤的手勢(shì)的修正作用。仍以播放音樂的應(yīng)用為例，假定通過手勢(shì)分類模型判斷所采集的超聲波信號(hào)為“前伸”手勢(shì)(即調(diào)高音量)的概率最大，而檢測(cè)的當(dāng)前環(huán)境音非常低，即“前伸”手勢(shì)在當(dāng)前環(huán)境音的條件下發(fā)生的概率很小，那么綜合這兩個(gè)概率得到的所采集的超聲波信號(hào)在當(dāng)前環(huán)境音的條件下為“前伸”手勢(shì)的概率會(huì)被修正為相對(duì)較小。優(yōu)選地，為了進(jìn)一步減少無效或錯(cuò)誤的響應(yīng)，該方法還包括判斷上述最終識(shí)別出的手勢(shì)是否有效的步驟，如果無效則不對(duì)該手勢(shì)進(jìn)行響應(yīng)，如果有效，則對(duì)該手勢(shì)進(jìn)行響應(yīng)。例如可以通過判定最終識(shí)別出的手勢(shì)對(duì)應(yīng)的概率是否在預(yù)先訓(xùn)練好的該手勢(shì)對(duì)應(yīng)的置信區(qū)間(其在下文離線訓(xùn)練階段中會(huì)有詳細(xì)介紹)中，如果在，則對(duì)該手勢(shì)進(jìn)行響應(yīng)。這樣可以進(jìn)一步避免對(duì)誤操作手勢(shì)的錯(cuò)誤響應(yīng)。下面參考圖2來介紹離線訓(xùn)練手勢(shì)識(shí)別模型的階段。參考圖2，手勢(shì)識(shí)別模型包括手勢(shì)分類、情境分析和決策輸出三個(gè)模塊，離線訓(xùn)練階段與上文介紹的在線識(shí)別過程基本上類似，主要包括下列步驟：1，獲取樣本數(shù)據(jù)可利用可穿戴智能移動(dòng)設(shè)備(如智能手機(jī)、手表、手環(huán)等)內(nèi)置的麥克風(fēng)和揚(yáng)聲器來獲取樣本數(shù)據(jù)，其中揚(yáng)聲器用于發(fā)射超聲波聲音信號(hào)，麥克風(fēng)用于采集聲音信號(hào)?？墒褂酶鞣N設(shè)備內(nèi)置的或附加的傳感器采集特定情境下影響手勢(shì)識(shí)別的相關(guān)情境因素。由不同的用戶在各種情境下執(zhí)行預(yù)定的各類手勢(shì)，從而采集足夠豐富的樣本數(shù)據(jù)。2，手勢(shì)分類從所采集的超聲波數(shù)據(jù)中提取手勢(shì)特征作為手勢(shì)樣本，并為各個(gè)手勢(shì)樣本標(biāo)注其所屬的手勢(shì)類別號(hào)，利用這些標(biāo)注后的手勢(shì)樣本作為訓(xùn)練數(shù)據(jù)集來訓(xùn)練手勢(shì)分類模型，如上文所介紹的，這里可采用多種基于機(jī)器學(xué)習(xí)的分類模型來作為手勢(shì)分類模型。對(duì)任意手勢(shì)樣本xj，該手勢(shì)分類模型輸出的手勢(shì)概率向量為Gj＝[Gj1,Gj2,…,Gjm]T∈Rm，m是手勢(shì)類別數(shù)，R表示實(shí)數(shù)。圖2給出是利用極限學(xué)習(xí)機(jī)ELM實(shí)現(xiàn)的手勢(shì)分類模型的示例。假設(shè)有N個(gè)任意手勢(shì)樣本(xi，ti)，其中xi是一個(gè)n維的手勢(shì)輸入向量，xi＝[xi1,xi2,…,xin]T∈Rn，ti是m維的目標(biāo)向量，ti＝[ti1,ti2,…,tim]T∈Rm。一個(gè)有L個(gè)隱層節(jié)點(diǎn)的單隱層前饋神經(jīng)網(wǎng)絡(luò)表示為:fL(xj)=Σi=1LβiG(ai,bi,xj),j=1,...,N---(1)]]>其中，ai和bi是輸入層到隱層節(jié)點(diǎn)之間的學(xué)習(xí)參數(shù)，βi是連接第i個(gè)隱層節(jié)點(diǎn)和輸出節(jié)點(diǎn)之間的權(quán)重，G(ai,bi,xj)為激活函數(shù)。該手勢(shì)分類模型的學(xué)習(xí)目標(biāo)是使輸出誤差最小，即存在ai,bi,βi使得：fL(xj)=Σi=1LβiG(ai,bi,xj)=tj,j=1,...,N---(2)]]>通過上述過程求解出β。那么對(duì)于特定的手勢(shì)樣本xj，和xj相對(duì)應(yīng)的實(shí)際手勢(shì)輸出yj表示為：yj=Σi=1LβiG(ai,bi,xj),j=1,...,N---(3)]]>最后，通過公式(4)對(duì)yj進(jìn)行置信度向量求解：Gj=norm(1abs(yj-1))---(4)]]>其中，norm函數(shù)表示歸一化，abs函數(shù)表示取絕對(duì)值。3，情境分析在特定情境下，如果一個(gè)手勢(shì)符合情境信息的要求，那么這種手勢(shì)發(fā)生的概率較大；反之，這種手勢(shì)發(fā)生的概率較小。在特定情境下，影響手勢(shì)發(fā)生的情境因素可能有一個(gè)，也可能有多個(gè)。情境信息是指影響手勢(shì)發(fā)生的相關(guān)情境因素。如上文介紹的，假定有M種用戶手勢(shì)和L個(gè)情境因素，那么可以確定情境特征矩陣A，記為(amk)M×L，其中amk＝pmk(ck)表示第m種手勢(shì)在第k個(gè)情境因素ck下發(fā)生的概率(1≤m≤M，1≤k≤L)。如上文討論的，具體概率函數(shù)p依具體應(yīng)用場(chǎng)景和具體的情境因素而定。假設(shè)采集手勢(shì)樣本xj時(shí)同時(shí)采集的情境信息記為cj＝(cj1,cj2,…,cjk,…cjL)，cjk表示影響手勢(shì)樣本xj的第k個(gè)情境因素，那么通過預(yù)先確定的情境特征矩陣A可以獲得預(yù)定的各種手勢(shì)在當(dāng)前情境cj下發(fā)生的概率，這些概率組成了一個(gè)m維的向量，即得到與手勢(shì)樣本xj相關(guān)的情境概率向量Cj＝[p1(cj),…,pm(cj),…,pM(cj)],其中pm(cj)表示第m種手勢(shì)在當(dāng)前情境cj下發(fā)生的概率，即pm(cj)＝pm(cj1,cj2,…,cjk,…cjL),其概率值例如為p1(c1)·p2(c2)·…·pM(cL)。4，決策輸出在得到手勢(shì)樣本xj對(duì)應(yīng)的手勢(shì)概率向量Gj和情境概率向量Cj就可以得到手勢(shì)樣本xj在當(dāng)前情境cj下作為預(yù)定的各種手勢(shì)發(fā)生的概率向量Pj＝Gj·Cj。這樣得到的概率向量Pj中最大概率對(duì)應(yīng)的手勢(shì)就是針對(duì)該手勢(shì)樣本xj所識(shí)別的手勢(shì)，將該識(shí)別結(jié)果與該手勢(shì)樣本xj所標(biāo)注的手勢(shì)類別相比較則可判斷出本次識(shí)別結(jié)果是正確還是錯(cuò)誤。其中對(duì)于誤操作手勢(shì)，通常被識(shí)別成任何類別的手勢(shì)的概率都差不多，其在手勢(shì)分類模型輸出中對(duì)應(yīng)的最大概率接近均分概率，在和情境概率向量中相應(yīng)概率相乘后的值通常居中，即位于一定區(qū)間中。因此對(duì)于訓(xùn)練樣本集中各個(gè)手勢(shì)樣本及其對(duì)應(yīng)情境信息樣本通過上述識(shí)別過程得到的各識(shí)別結(jié)果進(jìn)行統(tǒng)計(jì)分析，根據(jù)實(shí)驗(yàn)觀察值得出誤操作手勢(shì)區(qū)間的上下限統(tǒng)計(jì)結(jié)果，記為thresholdlow和thresholdhigh。這樣，經(jīng)訓(xùn)練后得到的手勢(shì)識(shí)別模型如公式(5)表示，對(duì)于任一手勢(shì)樣本xj，該手勢(shì)識(shí)別模型的決策輸出結(jié)果Oj如下：其中，“·”運(yùn)算表示向量對(duì)應(yīng)元素相乘，Oj＝0表示不響應(yīng)當(dāng)前的用戶手勢(shì)；當(dāng)經(jīng)上述過程得到的最大概率大于thresholdhigh時(shí)，輸出該最大概率值對(duì)應(yīng)的第k種手勢(shì)作為所識(shí)別的手勢(shì)并對(duì)其進(jìn)行響應(yīng)(這里也可以理解為經(jīng)訓(xùn)練該第k種手勢(shì)的置信區(qū)間為(thresholdhigh,1])。這是因?yàn)樗R(shí)別的符合情境的手勢(shì)，其對(duì)應(yīng)概率相對(duì)較大，而不符合情境的手勢(shì)被修正后，其對(duì)應(yīng)概率相對(duì)較小。因此，該方法在一定程度上修正手勢(shì)識(shí)別錯(cuò)誤的影響?；蛘?，在優(yōu)選的實(shí)施例中，經(jīng)訓(xùn)練后得到的手勢(shì)識(shí)別模型如公式(6)表示，對(duì)于任一手勢(shì)樣本xj，該手勢(shì)識(shí)別模型的決策輸出結(jié)果Oj如下：其中，“·”運(yùn)算表示向量對(duì)應(yīng)元素相乘，Oj＝0表示不響應(yīng)當(dāng)前的用戶手勢(shì)；如果上述過程得到的最大概率大于thresholdhigh時(shí)，輸出該最大概率值對(duì)應(yīng)的第k種手勢(shì)作為所識(shí)別的手勢(shì)并對(duì)其進(jìn)行響應(yīng)。并且當(dāng)經(jīng)上述過程得到的最大概率小于thresholdlow時(shí)，也會(huì)輸出該最大概率值對(duì)應(yīng)的第k種手勢(shì)作為所識(shí)別的手勢(shì)并對(duì)其進(jìn)行響應(yīng)，這主要是考慮了下面的因素：如果手勢(shì)識(shí)別出的手勢(shì)不符合情境，那么手勢(shì)概率和情境概率點(diǎn)乘得到的概率向量的最大值通常小于thresholdlow。例如，如果手勢(shì)分類模型將本應(yīng)屬于第2種手勢(shì)的超聲波信號(hào)識(shí)別為屬于第3種手勢(shì)(即在手勢(shì)概率向量中第3種手勢(shì)對(duì)應(yīng)的概率最大)，而同時(shí)該第3種手勢(shì)由于不符合情境，所以在情境概率向量中對(duì)應(yīng)的概率會(huì)很小，那么其手勢(shì)概率與情境概率的乘積可能不會(huì)是最大的。但是，如果一個(gè)手勢(shì)不符合情境，但它的手勢(shì)概率很大，乘以情境概率可能還是最大的，那么可以估計(jì)這是用戶有意為之，是允許發(fā)生的和進(jìn)行響應(yīng)的。為了進(jìn)一步說明本發(fā)明的效果，發(fā)明人進(jìn)行了下列實(shí)驗(yàn)：具體應(yīng)用設(shè)置為在安靜、標(biāo)準(zhǔn)、喧鬧等3種環(huán)境下的播放音樂，利用智能可穿戴設(shè)備內(nèi)置的麥克風(fēng)和揚(yáng)聲器作為超聲波的收發(fā)裝置，通過多普勒效應(yīng)獲得超聲波手勢(shì)識(shí)別信息；同時(shí)，對(duì)用戶所處的環(huán)境音量、當(dāng)前播放音量以及用戶調(diào)整音量的行為進(jìn)行感知。在該實(shí)驗(yàn)中定義了“前伸”和“后拉”兩種手勢(shì)，分別對(duì)應(yīng)“調(diào)高播放音量”和“調(diào)低播放音量”兩種用戶調(diào)整音量的行為；將安靜、標(biāo)準(zhǔn)、喧鬧3種環(huán)境分別設(shè)置為表示聲音低于20dB的環(huán)境、聲音處于20dB-40dB的環(huán)境和聲音高于40dB的環(huán)境。在實(shí)驗(yàn)中發(fā)現(xiàn)，在上述三種環(huán)境下最舒適的音樂播放音量分別為2dB、6dB和10dB。在音樂播放活動(dòng)中，當(dāng)前的環(huán)境聲音和音樂播放音量都會(huì)影響用戶調(diào)整音量的行為。例如，當(dāng)環(huán)境聲音較大、播放音量較低時(shí)，調(diào)高播放音量的可能性較大；反之，調(diào)低播放音量的可能性較大。不同環(huán)境下用戶調(diào)整音量的手勢(shì)與環(huán)境聲音、音樂播放音量的具體對(duì)應(yīng)關(guān)系如表1所示。表1手勢(shì)類別調(diào)整音量行為環(huán)境聲音相關(guān)性播放音量相關(guān)性前伸手勢(shì)調(diào)高播放音量正相關(guān)負(fù)相關(guān)后拉手勢(shì)調(diào)低播放音量負(fù)相關(guān)正相關(guān)實(shí)驗(yàn)中邀請(qǐng)10位志愿者(7男3女)在上述3種聲音環(huán)境下進(jìn)行超聲波手勢(shì)識(shí)別實(shí)驗(yàn)。每次一個(gè)志愿者無干擾地進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)過程實(shí)時(shí)錄像。實(shí)驗(yàn)中志愿者坐在椅子上，左手持智能設(shè)備，麥克風(fēng)和揚(yáng)聲器朝向志愿者，右手進(jìn)行手勢(shì)操作。每位志愿者在每種聲音環(huán)境下根據(jù)實(shí)際音樂播放音量需要進(jìn)行相應(yīng)的手勢(shì)操作，共采集60個(gè)手勢(shì)樣本，其中“前伸”、“后拉”、“誤操作”手勢(shì)各占約1/3，“誤操作”手勢(shì)指手部無意識(shí)的運(yùn)動(dòng)產(chǎn)生的手勢(shì)，而非用戶真正想表達(dá)的操作手勢(shì)。志愿者和研究人員分別對(duì)采集到的手勢(shì)數(shù)據(jù)進(jìn)行標(biāo)定，其中，志愿者按照自己的意圖對(duì)所做的手勢(shì)進(jìn)行標(biāo)定。實(shí)驗(yàn)中使用揚(yáng)聲器連續(xù)播放21kHz的超聲波信號(hào)，采樣頻率為48kHz，每4096個(gè)采樣點(diǎn)為一幀，平均手勢(shì)長(zhǎng)度為10幀。每一幀的時(shí)域信號(hào)經(jīng)海明窗處理后進(jìn)行4096個(gè)采樣點(diǎn)的快速傅里葉變換(FFT)。根據(jù)多普勒公式，在上述采樣條件下，超聲波頻率偏移范圍不超過[-489,500]，頻率分辨率為11.7Hz，故特征向量的維度為86。為減少誤差，向發(fā)射頻率左右兩側(cè)分別擴(kuò)展，最終特征向量的維度為101。在發(fā)射頻率兩側(cè)各選取50個(gè)頻率點(diǎn)，記為gt，gt∈R101。對(duì)手勢(shì)樣本xj得到10幀長(zhǎng)的特征矩陣作為情境特征的環(huán)境聲音狀態(tài)使用手勢(shì)特征提取過程中FFT之后低于20kHz的1706個(gè)頻率點(diǎn)進(jìn)行評(píng)估，記作wt，wt∈R1706，對(duì)手勢(shì)樣本xj得到環(huán)境聲音矩陣當(dāng)前環(huán)境聲音dj＝max(Wj)。本實(shí)驗(yàn)標(biāo)準(zhǔn)環(huán)境下環(huán)境聲音e＝28dB，將e設(shè)為基準(zhǔn)環(huán)境聲音。在標(biāo)準(zhǔn)狀態(tài)下，每種手勢(shì)隨機(jī)發(fā)生，不受環(huán)境聲音影響。當(dāng)環(huán)境變化時(shí)，符合環(huán)境聲音的手勢(shì)概率增加，不符合環(huán)境聲音的手勢(shì)概率減少，對(duì)任意手勢(shì)樣本xj表示為：其中，標(biāo)準(zhǔn)環(huán)境下dj＝e。在任意手勢(shì)樣本xj采集過程中同時(shí)記錄當(dāng)前的音樂播放音量vjdB。實(shí)驗(yàn)中首先利用手勢(shì)信號(hào)的低頻部分識(shí)別當(dāng)前環(huán)境聲音對(duì)應(yīng)的環(huán)境，從而選擇最舒適的音樂播放音量sdB。當(dāng)音樂播放音量低于sdB時(shí)，調(diào)高播放音量的概率增加；而當(dāng)音樂播放音量高于sdB時(shí)，調(diào)低播放音量的概率增加，對(duì)任意手勢(shì)樣本xj表示為：p(cj2)=ss+vj,vjs+vjT.]]>這樣，與手勢(shì)樣本xj對(duì)應(yīng)的情境概率向量Cj＝p(cj)＝p(cj1,cj2)＝p(cj1)·p(cj2)。將上述得到的手勢(shì)樣本xj的特征矩陣Vj和情境概率向量提供給上文介紹的訓(xùn)練好的手勢(shì)識(shí)別模型(即公式(6))，即可得到相應(yīng)的手勢(shì)識(shí)別結(jié)果。這里假設(shè)經(jīng)上述離線訓(xùn)練階段得到的手勢(shì)識(shí)別模型中的thresholdlow和thresholdhigh分別為0.2和0.31。本發(fā)明的融合情境感知信息的手勢(shì)識(shí)別方法(ContextAwareInformationFusedGestureRecognitionMethod)CAI-GRM的手勢(shì)分類模型由ELM算法實(shí)現(xiàn)，本實(shí)驗(yàn)中ELM算法的激活函數(shù)為Sigmoid函數(shù)，隱層節(jié)點(diǎn)的個(gè)數(shù)為500。CAI-GRM在3種環(huán)境下手勢(shì)識(shí)別的測(cè)試準(zhǔn)確率結(jié)果如表2所示。表2類別前伸手勢(shì)后拉手勢(shì)誤操作手勢(shì)全部手勢(shì)安靜環(huán)境100.00％100.00％90.18％96.73％標(biāo)準(zhǔn)環(huán)境100.00％100.00％96.98％98.99％喧鬧環(huán)境100.00％100.00％91.95％97.32％由表2可以看出CAI-GRM手勢(shì)識(shí)別方法在3種環(huán)境下整體識(shí)別準(zhǔn)確率都在96％以上，其中“前伸”、“后拉”兩種有效手勢(shì)的識(shí)別完全正確，對(duì)于誤操作手勢(shì)，識(shí)別的準(zhǔn)確率也在90％以上，這表明該方法能過濾大部分的誤操作手勢(shì)。為比較CAI-GRM與傳統(tǒng)無情境信息的手勢(shì)識(shí)別方法的識(shí)別準(zhǔn)確率，傳統(tǒng)無情境信息的手勢(shì)識(shí)別方法(附圖中標(biāo)記為ELM)使用ELM算法在相同的數(shù)據(jù)集上進(jìn)行無情境信息的手勢(shì)識(shí)別，結(jié)果如圖3a(安靜環(huán)境下測(cè)試結(jié)果)、3b(標(biāo)準(zhǔn)環(huán)境下測(cè)試結(jié)果)、3c(喧鬧環(huán)境下測(cè)試結(jié)果)所示。由圖3a-3c可以看出，CAI-GRM的識(shí)別準(zhǔn)確率普遍高于無情境信息的ELM手勢(shì)識(shí)別方法。對(duì)于“前伸”和“后拉”兩種手勢(shì)，CAI-GRM的識(shí)別準(zhǔn)確率都高于無情境信息的手勢(shì)識(shí)別方法，這表明CAI-GRM手勢(shì)識(shí)別方法能使用情境信息對(duì)識(shí)別錯(cuò)誤的手勢(shì)進(jìn)行修正，從而提高手勢(shì)識(shí)別的準(zhǔn)確率。對(duì)于“誤操作”手勢(shì)，CAI-GRM過濾掉絕大部分的誤操作手勢(shì)，對(duì)于判斷為誤操作的手勢(shì)CAI-GRM不予響應(yīng)，從而減少無效的操作，提高手勢(shì)識(shí)別的準(zhǔn)確率和魯棒性；而無情境信息的手勢(shì)識(shí)別方法對(duì)任意給定的手勢(shì)輸入都會(huì)產(chǎn)生相應(yīng)的輸出，對(duì)誤操作也會(huì)給出相應(yīng)的輸出手勢(shì)，完全不能過濾誤操作手勢(shì)，易導(dǎo)致無效甚至錯(cuò)誤的響應(yīng)。通過比較可以看出，融合情境感知信息的手勢(shì)識(shí)別方法能夠根據(jù)情境信息判斷當(dāng)前識(shí)別出的手勢(shì)的合理性，能夠較好地理解用戶的操作意圖、提高手勢(shì)識(shí)別的準(zhǔn)確率和魯棒性。雖然本發(fā)明已經(jīng)通過優(yōu)選實(shí)施例進(jìn)行了描述，然而本發(fā)明并非局限于這里所描述的實(shí)施例，在不脫離本發(fā)明范圍的情況下還包括所做出的各種改變以及變化。當(dāng)前第1頁(yè)1 2 3