本發(fā)明涉及移動通信領域，具體涉及一種基于視覺系統(tǒng)的移動終端操控實現(xiàn)方法及裝置。

背景技術：

隨著智能移動終端尤其是手機的出現(xiàn)，加速了科技的發(fā)展，也帶動了人們的互動、交流、娛樂、聊天等種種活動?；谟|摸操作方式得移動終端已深入人們的生活，極大地方便了對移動終端的操控。

然而，觸摸操作方式可能會存在如下缺點，第一，由于對屏幕進行觸碰，可能會通過觸摸動作或者留在屏幕上的印記導致輸入的信息泄露，不利于私人信息的保密；第二，隨著材料技術的發(fā)展以及人們對大屏終端的偏好，移動終端的屏幕越做越大，從而使得觸摸式操作變得越來越困難。

因此如何實現(xiàn)一種新的移動終端數(shù)據(jù)交互操控來提高數(shù)據(jù)交互安全性成為亟待解決的問題。

技術實現(xiàn)要素：

本發(fā)明要解決的技術問題在于實現(xiàn)一種新的移動終端數(shù)據(jù)交互操控來提高數(shù)據(jù)交互安全性。

為此，根據(jù)第一方面，本發(fā)明實施例提供一種基于視覺系統(tǒng)的移動終端操控實現(xiàn)方法，包括如下步驟：

獲取用于表征用戶面部動作狀態(tài)的第一狀態(tài)信息；響應第一狀態(tài)信息執(zhí)行與面部動作對應的操作，以通過面部動作對移動終端進行操控。

可選地，獲取用于用戶表征面部動作狀態(tài)的第一狀態(tài)信息包括：獲取用戶面部信息；根據(jù)面部信息獲取用于表征面部特征點狀態(tài)的的第二狀態(tài)信息；根據(jù)第二狀態(tài)信息檢測面部動作狀態(tài)。

可選地，響應第一狀態(tài)信息執(zhí)行與面部動作對應的操作包括：確定面部動作狀態(tài)；生成與面部動作狀態(tài)對應的用于操控移動終端界面的操控信號；根據(jù)操控信號執(zhí)行與面部動作對應的操作，以通過面部動作對移動終端進行操控。

可選地，確定面部動作狀態(tài)包括：確定面部與移動終端的相對運動方向；生成與面部動作狀態(tài)對應的用于操控移動終端界面的操控信號包括：生成用于控制移動終端的鼠標跟隨相對運動方向移動的移動控制信號；根據(jù)操控信號執(zhí)行與面部動作對應的操作，以通過面部動作對移動終端進行操控包括：根據(jù)移動控制信號執(zhí)行鼠標跟隨相對移動方向移動的移動操作，以通過面部與移動終端的相對運動對移動終端鼠標進行移動操控。

可選地，確定面部動作狀態(tài)包括：確定面部特征點動作；生成與面部動作狀態(tài)對應的用于操控移動終端界面的操控信號包括；生成與面部特征點動作對應的用于控制鼠標進行點擊操作的點擊控制信號；根據(jù)操控信號執(zhí)行與面部動作對應的操作，以通過面部動作對移動終端進行操控包括：根據(jù)點擊操作信號執(zhí)行與面部特征點動作對應的點擊操作，以通過面部特征點動作對移動終端界面對象進行點擊操控。

可選地，確定面部動作狀態(tài)包括：確定面部轉(zhuǎn)動狀態(tài)；生成與面部動作狀態(tài)對應的用于操控移動終端界面的操控信號包括；生成與面部轉(zhuǎn)動狀態(tài)對應的用于控制移動終端界面切換的切換控制信號；根據(jù)操控信號執(zhí)行與面部動作對應的操作，以通過面部動作對移動終端進行操控包括：根據(jù)切換信號執(zhí)行與面部轉(zhuǎn)動狀態(tài)對應的切換操作，以通過面部轉(zhuǎn)動對移動終端界面進行切換操控。

根據(jù)第二方面，本發(fā)明實施例提供了一種基于視覺系統(tǒng)的移動終端操控實現(xiàn)裝置，該裝置包括：獲取模塊，用于獲取用于表征用戶面部動作狀態(tài)的第一狀態(tài)信息；響應模塊，用于響應第一狀態(tài)信息執(zhí)行與面部動作對應的操作，以通過面部動作對移動終端進行操控。

可選地，獲取模塊包括獲取單元，用于獲取用戶面部信息；識別單元，用于根據(jù)面部信息獲取用于表征面部特征點狀態(tài)的的第二狀態(tài)信息；檢測單元，用于根據(jù)第二狀態(tài)信息檢測面部動作狀態(tài)。

可選地，響應模塊包括：確定單元，用于確定面部動作狀態(tài)；生成單元，用于生成與面部動作狀態(tài)對應的用于操控移動終端界面的操控信號；執(zhí)行單元，用于根據(jù)操控信號執(zhí)行與面部動作對應的操作，以通過面部動作對移動終端進行操控。

可選地，確定單元包括：第一確定子單元，用于確定面部與移動終端的相對運動方向；生成單元包括：第一生成子單元，用于生成用于控制移動終端的鼠標跟隨相對運動方向移動的移動控制信號；執(zhí)行單元包括：第一執(zhí)行子單元，用于根據(jù)移動控制信號執(zhí)行鼠標跟隨相對移動方向移動的移動操作，以通過面部與移動終端的相對運動對移動終端鼠標進行移動操控。

可選地，確定單元包括：第二確定子單元，用于確定面部特征點動作；生成單元包括：第二生成子單元，用于生成與面部特征點動作對應的用于控制鼠標進行點擊操作的點擊控制信號；執(zhí)行單元包括：第二執(zhí)行子單元，用于根據(jù)點擊操作信號執(zhí)行與面部特征點動作對應的點擊操作，以通過面部特征點動作對移動終端界面對象進行點擊操控。

可選地，確定單元包括：第三確定子單元，用于確定面部轉(zhuǎn)動狀態(tài)；生成單元包括：第三生成子單元，用于生成與面部轉(zhuǎn)動狀態(tài)對應的用于控制移動終端界面切換的切換控制信號；執(zhí)行單元包括：第三執(zhí)行子單元，用于根據(jù)切換信號執(zhí)行與面部轉(zhuǎn)動狀態(tài)對應的切換操作，以通過面部轉(zhuǎn)動對移動終端界面進行切換操控。

本發(fā)明實施例提供的基于視覺系統(tǒng)的移動終端操控實現(xiàn)方法及裝置，獲取用于表征用戶的面部動作狀態(tài)的狀態(tài)信息，響應狀態(tài)信息后，可以根據(jù)用戶的動作狀態(tài)執(zhí)行與面部動作相對應的操作，以實現(xiàn)通過面部動作對移動終端進行操控，從而可以實現(xiàn)對移動終端非觸摸操作，可以更方便的對移動終端進行操控，同時可以減少因觸摸動作或觸摸印記造成的信息泄露，保證用戶信息安全。

附圖說明

為了更清楚地說明本發(fā)明具體實施方式或現(xiàn)有技術中的技術方案，下面將對具體實施方式或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施方式，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例的基于視覺系統(tǒng)的移動終端操控實現(xiàn)方法的示意圖；

圖2為本發(fā)明實施例的獲取用戶面部動作狀態(tài)流程的示意圖；

圖3為本發(fā)明實施例的響應第一狀態(tài)信息執(zhí)行與面部動作對應的操作的流程示意圖；

圖4示出了本發(fā)明實施例的通過面部動作控制鼠標移動的流程示意圖；

圖5示出了本發(fā)明實施例的通過面部動作控制鼠標點擊的流程示意圖；

圖6為本發(fā)明實施例的通過面部動作控制界面翻頁的流程示意圖；

圖7為本發(fā)明實施例的基于視覺系統(tǒng)的移動終端操控實現(xiàn)裝置的示意圖。

具體實施方式

下面將結(jié)合附圖對本發(fā)明的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

此外，下面所描述的本發(fā)明不同實施方式中所涉及的技術特征只要彼此之間未構(gòu)成沖突就可以相互結(jié)合。

本發(fā)明實施例提供了一種基于視覺系統(tǒng)的移動終端操控實現(xiàn)方法，如圖1所示，該方法包括：

s110.獲取用于表征用戶面部動作狀態(tài)的第一狀態(tài)信息。在具體的實施例中，所稱用戶面部動作狀態(tài)包括：眨眼睛，伸舌頭，動嘴唇，面部移動，面部轉(zhuǎn)動等面部動作。用戶在面對移動終端時，可以利用移動終端的前置攝像頭獲取用于表征用戶面部動作狀的狀態(tài)信息，可以將不通的面部動作轉(zhuǎn)換成不同的電信號，分別代表不同的面部動作。優(yōu)選的，可以通過訓練神經(jīng)網(wǎng)格，建立面部動作檢測模型，用于識別面部動作狀態(tài)。

s120.響應第一狀態(tài)信息執(zhí)行與面部動作對應的操作。在具體的實施例中，根據(jù)狀態(tài)信息執(zhí)行與面部動作對應的操作可以實現(xiàn)通過面部動作對移動終端進行操控。具體的，不同的面部動作對應不同的電信號，在不同的信號觸發(fā)下，觸發(fā)移動終端執(zhí)行響應的操作。優(yōu)選的，通過檢測到的面部動作狀態(tài)信息，應用建立的神經(jīng)網(wǎng)絡模型，執(zhí)行與檢測到的面部動作響應的操作。

在可選的實施例中，參考圖2，對獲取用戶的面部動作狀態(tài)的原理進行說明，具體的，步驟s110可以包括：

s111.獲取用戶面部信息。在具體的實施例中，首先開啟移動終端攝像頭，在本實施例中，可以以點亮屏幕為開啟前置攝像頭的觸發(fā)信號，前置攝像頭的開啟可以在移動終端后臺運行，不顯示在移動終端的屏幕上。在用戶面部到達與攝像頭相對正對的位置上后，根據(jù)人的五官獲取人的面部信息。具體的可以獲取用戶面部輪廓信息，比如眼睛信息，鼻子信息，嘴信息，耳朵信息，面頰信息等。

s112.根據(jù)面部信息獲取面部特征點的第二狀態(tài)信息。在具體的實施例中，在獲取到面部信息后，可以進一步對面部特征點進行識別，例如，在用于面部輪廓的基礎上，可以通過訓練人臉識別神經(jīng)網(wǎng)絡模型，對用戶的眼睛，鼻子，嘴，耳朵，面頰等進行檢測。在獲取到到用戶的面部特征點后，可以檢測當前面部特征點的相對于移動終端屏幕的位置信息以及各個特征點當前的狀態(tài)，例如，可以檢測當前的嘴唇是否正對屏幕，或是否有歪嘴動作。

s113.根據(jù)面部特征點第二狀態(tài)信息檢測面部動作狀態(tài)。在具體的實施例中，可以實時獲取面部特征點相對于初始狀態(tài)面部特征點的位置的位置變動，面部特征點的位置發(fā)生變化則表示面部有動作發(fā)生，或面部特征點的狀態(tài)發(fā)生變化，則面部有動作發(fā)生。

在可選的實施例中，參考圖3，對響應第一狀態(tài)信息執(zhí)行與面部動作對應的操作的原理，具體的步驟s120可以包括：

s121.確定面部動作狀態(tài)。在具體的實施例中，可以預先設置面部動作幅度的閾值，在獲取到面部動作狀態(tài)后，可以判斷面部動作幅度是否超過預設閾值，具體的，可以采用濾波的形式，動作幅度小的動作產(chǎn)生的電信好的值小，可以將小幅值信號過濾，如果面部動作幅度超過預設閾值，則確定該動作為有效動作。如果面部動作幅度小于預設閾值，則改動作為無效動作。

s122.生成與面部動作狀態(tài)對應的用于操控移動終端界面的操控信號。在具體的實施例中，在檢測到有效的面部動作后，可以根據(jù)不同的面部動作生成與當前面部動作相應的用于操控移動終端的操控信號。例如，面部轉(zhuǎn)動動作可以對應翻頁操控，點頭可以對應鼠標點擊操控等。

s123.根據(jù)操控信號執(zhí)行與面部動作對應的操作。在具體的實施例中，在與有效的面部動對應的操控信號的觸發(fā)下，實現(xiàn)通過面部動作移動終端的操控。例如轉(zhuǎn)動面部可以實現(xiàn)對移動終端頁面翻頁的操控。

對移動終端的操控可以有以下幾種，鼠標的移動，屏幕上應用對象的確認即鼠標的點擊和頁面的翻頁。請參照圖4-6，，將分別對鼠標移動，鼠標點擊和頁面翻頁的原理進行介紹。

在可選地實施例中，面部動作可以控制鼠標移動，具體的如圖4所示，可以包括如下步驟：

s210a.確定面部與移動終端的相對運動方向。在具體的實施例中，可以通過檢測面部特征點的位置信息的變化，得到面部移動的方向，例如，面部的五官同時發(fā)生同方向同位移的位置變化，則表示面部相對于移動終端相對運動，從而可以確定面部與移動終端相對運動方向。實現(xiàn)相對運動的方式一般有兩種，一是，移動終端不動，用戶使面部相對移動終端移動；二是，用戶面部不動，手機相對于用于面部移動。

s220a.生成用于控制移動終端的鼠標跟隨相對運動方向移動的移動控制信號。在檢測到用戶面部相對移動終端具體的移動方向后，可以根據(jù)方向生成與該移動方向?qū)囊苿硬僮餍盘枴Ｔ摽刂菩盘柨刂剖髽烁S人面部相對于移動終端移動。

s230a.根據(jù)移動控制信號執(zhí)行鼠標跟隨相對移動方向移動的移動操作。在具體的實施例中，生成的移動控制信號可以控制鼠標移動，移動控制信號控制鼠標移動的方向與面部相對屏幕移動方向?qū)?，例如，面部相對于移動終端屏幕向右移動，鼠標跟隨面部向右移動，面部向上移動，鼠標向上移動?？梢詫崿F(xiàn)通過面部與移動終端的相對運動對移動終端鼠標進行移動操控。

在可選的實施例中，面部動作可以控制鼠標的點擊操作，具體的如圖5所示，可以包括如下步驟：

s210b.確定面部特征點動作。在具體的實施例中，可以通過神經(jīng)網(wǎng)絡學習面部的各種動作，例如，眨眼，動嘴唇，吐舌頭等特征點的動作，通過攝像頭實時獲取面部特征點的信息，在獲取到相應的特征點動作時，確定特征點動作，在本實施例中，可以以眨眼動作最為移動終端界面對象的點擊動作，眨眼動作做往往是無意識動作，可能會引起誤操作。在優(yōu)選的實施例中，可以以伸舌頭的動作作為點擊動作。

s220b.生成與面部特征點動作對應的用于控制鼠標進行點擊操作的點擊控制信號。在具體的實施例中，在檢測到用戶特征點的動作后，例如伸舌頭動作，生產(chǎn)可以控制鼠標對移動終端界面中的對象點擊的點擊控制信號。

s230b.根據(jù)點擊操作信號執(zhí)行與面部特征點動作對應的點擊操作。在具體的實施例中，在鼠標移動到欲點擊的界面對象后，用戶可以伸舌頭或點頭等動作，在檢測到相應的確認動作后，生成的點擊操作信號控制鼠標點擊界面對象，以通過面部特征點動作對移動終端界面對象進行點擊操控。

在可選的實施例中，面部動作可以控制移動終端界面的翻頁操控，具體的如圖6所示，可以包括如下步驟：

s210c.確定面部轉(zhuǎn)動狀態(tài)。在具體的實施例中，可以通過深度學習算法識別用戶正面臉、左側(cè)臉和右側(cè)臉，在攝像頭檢測到用戶的正面臉轉(zhuǎn)到右側(cè)臉后，可以確定面部向左轉(zhuǎn)動，在攝像頭檢測到用戶的正面臉轉(zhuǎn)到左側(cè)臉后，可以確定面部向右轉(zhuǎn)動。

s220c.生成與面部轉(zhuǎn)動狀態(tài)對應的用于控制移動終端界面切換的切換信號。在具體地實施例中，在檢測到臉部轉(zhuǎn)動后，根據(jù)面部轉(zhuǎn)動的方向生成與面部轉(zhuǎn)動方向相應的切換信號。

s230c.根據(jù)切換信號執(zhí)行與面部轉(zhuǎn)動狀態(tài)對應的切換操作。在具體的實施例中，攝像頭檢測到正面臉、左側(cè)臉和右側(cè)臉后，確定轉(zhuǎn)動方向，根據(jù)轉(zhuǎn)動方向生成控制界面切換方向的切換信號，可以實現(xiàn)通過面部轉(zhuǎn)動對移動終端界面進行切換操控。

通過獲取用于表征用戶的面部動作狀態(tài)的狀態(tài)信息，響應狀態(tài)信息后，可以根據(jù)用戶的動作狀態(tài)執(zhí)行與面部動作相對應的操作，以實現(xiàn)通過面部動作對移動終端進行操控，從而可以實現(xiàn)對移動終端非觸摸操作，可以更方便的對移動終端進行操控，同時可以減少因觸摸動作或觸摸印記造成的信息泄露，保證用戶信息安全。

本發(fā)明實施例還提供了一種基于視覺系統(tǒng)的移動終端操控實現(xiàn)裝置，如圖7所示，該裝置包括：

獲取模塊1000，用于獲取用于表征用戶面部動作狀態(tài)的狀態(tài)信息；響應模塊2000，用于響應狀態(tài)信息執(zhí)行與面部動作對應的操作，以通過面部動作對移動終端進行操控。

在可選的實施例中，獲取模塊1000包括：獲取單元，用于獲取用戶面部信息；識別單元，用于根據(jù)面部信息識別面部特征點；定位單元，用于對面部特征點進行定位，得到當前面部特征點位置信息；檢測單元，用于根據(jù)面部特征點位置信息檢測面部動作狀態(tài)。

在可選的實施例中，響應模塊2000包括：確定單元，用于確定面部動作狀態(tài)；生成單元，用于生成與面部動作狀態(tài)對應的用于操控移動終端界面的操控信號；執(zhí)行單元，用于根據(jù)操控信號執(zhí)行與面部動作對應的操作，以通過面部動作對移動終端進行操控。

在可選的實施例中，確定單元包括：第一確定子單元，用于確定面部與移動終端的相對運動方向；生成單元包括：第一生成子單元，用于生成用于控制移動終端的鼠標跟隨相對運動方向移動的移動控制信號；執(zhí)行單元包括：第一執(zhí)行子單元，用于根據(jù)移動控制信號執(zhí)行鼠標跟隨相對移動方向移動的移動操作，以通過面部與移動終端的相對運動對移動終端鼠標進行移動操控。

在可選的實施例中，確定單元包括：第二確定子單元，用于確定面部特征點動作；生成單元包括：第二生成子單元，用于生成與面部特征點動作對應的用于控制鼠標進行點擊操作的點擊控制信號；執(zhí)行單元包括：第二執(zhí)行子單元，用于根據(jù)點擊操作信號執(zhí)行與面部特征點動作對應的點擊操作，以通過面部特征點動作對移動終端界面對象進行點擊操控。

在可選的實施例中，確定單元包括：第三確定子單元，用于確定面部轉(zhuǎn)動狀態(tài)；生成單元包括：第三生成子單元，用于生成與面部轉(zhuǎn)動狀態(tài)對應的用于控制移動終端界面切換的切換控制信號；執(zhí)行單元包括：第三執(zhí)行子單元，用于根據(jù)切換信號執(zhí)行與面部轉(zhuǎn)動狀態(tài)對應的切換操作，以通過面部轉(zhuǎn)動對移動終端界面進行切換操控。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

顯然，上述實施例僅僅是為清楚地說明所作的舉例，而并非對實施方式的限定。對于所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動仍處于本發(fā)明創(chuàng)造的保護范圍之中。