本申請(qǐng)總體上涉及手勢(shì)識(shí)別技術(shù)，包括但不限于從圖像數(shù)據(jù)識(shí)別手勢(shì)的方法、系統(tǒng)、和非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。

背景技術(shù)：

1、現(xiàn)有的手勢(shì)識(shí)別解決方案通常要求在靠近攝像頭(例如，距離小于1米)的地方捕獲手勢(shì)(例如，手勢(shì)、面部動(dòng)作等)，以準(zhǔn)確檢測(cè)手勢(shì)。隨著手勢(shì)與成像設(shè)備之間的距離增加，手勢(shì)變得更小并且和與手勢(shì)同時(shí)捕獲的許多其他對(duì)象混合在一起。為了克服這些挑戰(zhàn)，應(yīng)用于手勢(shì)識(shí)別的電子設(shè)備例如通過(guò)放大并將視野限制在小區(qū)域內(nèi)而調(diào)整為聚焦于包含手勢(shì)的小區(qū)域。然而，一些電子設(shè)備在捕獲圖像之前無(wú)法聚焦于特定手勢(shì)，并且需要裁剪圖像以獲得包含該區(qū)域的小區(qū)域。其他解決方案依賴于強(qiáng)大的深度學(xué)習(xí)模型或檢測(cè)和分類過(guò)程的融合，因此需要大量的計(jì)算資源來(lái)進(jìn)行手勢(shì)檢測(cè)和識(shí)別。因此，擁有能夠準(zhǔn)確高效地檢測(cè)包括可能距離攝像頭較遠(yuǎn)并且與圖像背景混合的手勢(shì)的圖像中捕獲的手勢(shì)的系統(tǒng)和方法將是有益的。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的各個(gè)實(shí)施例針對(duì)手勢(shì)識(shí)別技術(shù)，該手勢(shì)識(shí)別技術(shù)融合了局部手勢(shì)信息和上下文手勢(shì)信息，以提高手勢(shì)識(shí)別的準(zhǔn)確性和效率。局部手勢(shì)信息包括有關(guān)手勢(shì)或執(zhí)行手勢(shì)的身體部分的信息，上下文手勢(shì)信息包括有關(guān)諸如環(huán)境(例如，辦公室)的手勢(shì)周圍環(huán)境、手勢(shì)相對(duì)于用戶的位置、和/或其他因素的信息。此外，在一些實(shí)施例中，應(yīng)用初始手勢(shì)分類來(lái)簡(jiǎn)化檢測(cè)和分類過(guò)程，從而提高整體效率。在一些實(shí)施例中，基于上下文信息識(shí)別一個(gè)或多個(gè)手勢(shì)(例如，將手移到嘴邊以表示安靜)。圖像中的這種上下文信息用于提高手勢(shì)識(shí)別的準(zhǔn)確性并減少誤報(bào)數(shù)量。在示例中，上下文信息用于區(qū)分局部手勢(shì)、上下文手勢(shì)、和/或非手勢(shì)。

2、在一方面，提供了一種手勢(shì)分類方法。該方法包括：獲得包括手部區(qū)域的圖像；檢測(cè)圖像中的手部區(qū)域；從圖像的手部區(qū)域確定第一手勢(shì)；從圖像(例如，整個(gè)圖像)確定第二手勢(shì)。該方法還包括：根據(jù)確定第一手勢(shì)不是多個(gè)上下文手勢(shì)中的任何手勢(shì)，確定圖像的最終手勢(shì)是第一手勢(shì)；根據(jù)確定第一手勢(shì)是多個(gè)上下文手勢(shì)之一，基于第二手勢(shì)和第二置信度分?jǐn)?shù)確定最終手勢(shì)，第二手勢(shì)和第二置信度分?jǐn)?shù)與圖像(例如，整個(gè)圖像)關(guān)聯(lián)。

3、在一些實(shí)施例中，從圖像的手部區(qū)域確定第一手勢(shì)還包括：從圖像的手部區(qū)域生成第一手勢(shì)向量。第一手勢(shì)向量的每個(gè)元素對(duì)應(yīng)于相應(yīng)手勢(shì)并且表示包括相應(yīng)手勢(shì)的手部區(qū)域的相應(yīng)第一置信度水平。該方法還包括：從第一手勢(shì)向量確定第一手勢(shì)和第一手勢(shì)置信度分?jǐn)?shù)。在一些實(shí)施例中，該方法還包括：將圖像中的手部區(qū)域的檢測(cè)與包圍盒置信度分?jǐn)?shù)關(guān)聯(lián)，將包圍盒置信度分?jǐn)?shù)與第一手勢(shì)關(guān)聯(lián)的置信度分?jǐn)?shù)結(jié)合，以生成第一手勢(shì)置信度分?jǐn)?shù)。在一些實(shí)施例中，第一手勢(shì)包括對(duì)應(yīng)于第一手勢(shì)向量的每個(gè)元素的相應(yīng)第一置信度水平中的最大第一置信度水平的相應(yīng)手勢(shì)，并且第一手勢(shì)置信度分?jǐn)?shù)等于第一手勢(shì)向量的每個(gè)元素的相應(yīng)第一置信度水平中的最大第一置信度水平。

4、在一些實(shí)施例中，從圖像確定第二手勢(shì)還包括：從圖像(例如，整個(gè)圖像)生成第二手勢(shì)向量。第二手勢(shì)向量的每個(gè)元素對(duì)應(yīng)于相應(yīng)手勢(shì)并且表示包括相應(yīng)預(yù)定義手勢(shì)的圖像的相應(yīng)第二置信度水平。該方法還包括：從第二手勢(shì)向量確定第二手勢(shì)和第二手勢(shì)置信度分?jǐn)?shù)。在一些實(shí)施例中，第二手勢(shì)包括對(duì)應(yīng)于第二手勢(shì)向量的每個(gè)元素的相應(yīng)第二置信度水平中的最大第二置信度水平的相應(yīng)手勢(shì)，并且第二手勢(shì)置信度分?jǐn)?shù)等于第二手勢(shì)向量的每個(gè)元素的相應(yīng)第二置信度水平中的最大第二置信度水平。

5、在一些實(shí)施例中，該方法包括：在確定第一手勢(shì)是否是多個(gè)上下文手勢(shì)中的至少一個(gè)之前，確定第一手勢(shì)置信度分?jǐn)?shù)是否大于第二閾值p2，并且根據(jù)確定第一手勢(shì)置信度分?jǐn)?shù)小于第二閾值p2，確定圖像不與任何手勢(shì)關(guān)聯(lián)。在一些實(shí)施例中，該方法還包括：在確定第一手勢(shì)是否是多個(gè)上下文手勢(shì)中的至少一個(gè)之前，確定第二手勢(shì)的第二手勢(shì)置信度分?jǐn)?shù)是否大于第一閾值p1，并且根據(jù)確定第二手勢(shì)的第二手勢(shì)置信度分?jǐn)?shù)小于第一閾值p1，確定圖像不與任何手勢(shì)關(guān)聯(lián)。

6、在一些實(shí)施例中，基于第二手勢(shì)和第二置信度分?jǐn)?shù)確定最終手勢(shì)還包括：根據(jù)確定第一手勢(shì)和第二手勢(shì)彼此不同，確定圖像不與任何手勢(shì)關(guān)聯(lián)。該方法還包括：根據(jù)確定第一手勢(shì)和第二手勢(shì)彼此相同，(1)根據(jù)確定第三置信度分?jǐn)?shù)超過(guò)綜合置信度閾值，確定最終手勢(shì)是第二手勢(shì)；以及(2)根據(jù)確定第三置信度分?jǐn)?shù)不超過(guò)綜合置信度閾值，確定圖像不與任何手勢(shì)關(guān)聯(lián)。

7、在一些實(shí)施例中，該方法還包括：使用濾波函數(shù)對(duì)最終手勢(shì)進(jìn)行濾波，該濾波函數(shù)用于借助時(shí)間信息(即來(lái)自先前圖像的結(jié)果)識(shí)別誤報(bào)。在一些實(shí)施例中，濾波函數(shù)是卷積函數(shù)、傅里葉濾波函數(shù)、或卡爾曼濾波器之一。在一些實(shí)施例中，濾波函數(shù)是時(shí)間的函數(shù)。

8、在另一方面，一些實(shí)施方式包括一種電子設(shè)備，該電子設(shè)備包括一個(gè)或多個(gè)處理器和其上存儲(chǔ)有指令的存儲(chǔ)器，當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，該指令使得處理器執(zhí)行上述任何方法。

9、在另一方面，一些實(shí)施方式包括一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有指令，當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，該指令使得處理器執(zhí)行上述任何方法。

10、提及這些示例性的實(shí)施例和實(shí)施方式并非用于限制或定義本公開(kāi)，而是用于提供示例以幫助理解本公開(kāi)。具體實(shí)施方式中討論了更多的實(shí)施例，并提供了進(jìn)一步說(shuō)明。

技術(shù)特征：

1.一種手勢(shì)分類方法，由電子設(shè)備實(shí)現(xiàn)，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，從所述圖像確定所述第二手勢(shì)還包括：

3.根據(jù)權(quán)利要求2所述的方法，其中，所述第二手勢(shì)包括對(duì)應(yīng)于所述第二手勢(shì)向量的每個(gè)元素的相應(yīng)第二置信度水平中的最大第二置信度水平的相應(yīng)手勢(shì)，并且所述第二手勢(shì)置信度分?jǐn)?shù)等于所述第二手勢(shì)向量的每個(gè)元素的相應(yīng)第二置信度水平中的所述最大第二置信度水平。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，還包括：

5.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的方法，其中，從所述圖像的所述手部區(qū)域確定所述第一手勢(shì)還包括：

6.根據(jù)權(quán)利要求5所述的方法，還包括：

7.根據(jù)權(quán)利要求5或6所述的方法，其中，所述第一手勢(shì)包括對(duì)應(yīng)于所述第一手勢(shì)向量的每個(gè)元素的相應(yīng)第一置信度水平中的最大第一置信度水平的相應(yīng)手勢(shì)，并且所述第一手勢(shì)置信度分?jǐn)?shù)等于所述第一手勢(shì)向量的每個(gè)元素的相應(yīng)第一置信度水平中的所述最大第一置信度水平。

8.根據(jù)權(quán)利要求5-7中任一項(xiàng)所述的方法，還包括：

9.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的方法，其中，基于所述第二手勢(shì)和所述第二手勢(shì)置信度分?jǐn)?shù)確定所述最終手勢(shì)還包括：

10.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的方法，還包括使用濾波函數(shù)對(duì)所述最終手勢(shì)進(jìn)行濾波，其中，所述濾波函數(shù)用于識(shí)別誤報(bào)。

11.根據(jù)權(quán)利要求10所述的方法，其中，所述濾波函數(shù)是卷積函數(shù)、傅里葉濾波函數(shù)、或卡爾曼濾波器之一。

12.根據(jù)權(quán)利要求10或11所述的方法，其中，所述濾波函數(shù)是時(shí)間的函數(shù)。

13.一種電子設(shè)備，包括：

14.一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有指令，當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，所述指令使得所述一個(gè)或多個(gè)處理器執(zhí)行根據(jù)權(quán)利要求1-12中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)旨在識(shí)別圖像中的手勢(shì)。電子設(shè)備獲得包括手部區(qū)域的圖像并檢測(cè)圖像中的手部區(qū)域。從圖像的手部區(qū)域確定第一手勢(shì)，并從圖像確定第二手勢(shì)。根據(jù)確定第一手勢(shì)不是多個(gè)上下文手勢(shì)中的任何手勢(shì)，電子設(shè)備確定圖像的最終手勢(shì)是第一手勢(shì)。相反，根據(jù)確定第一手勢(shì)是多個(gè)上下文手勢(shì)之一，電子設(shè)備基于與圖像關(guān)聯(lián)的第二手勢(shì)和相應(yīng)的置信度分?jǐn)?shù)從圖像確定最終手勢(shì)。

技術(shù)研發(fā)人員：劉杰,周揚(yáng)
受保護(hù)的技術(shù)使用者：創(chuàng)峰科技
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26