本發(fā)明涉及智能技術領域,尤其涉及一種可操控設備的控制方法和裝置。
背景技術:
近年來,各種類型的機器人(Robot),如民用無人機、工業(yè)類機器人、消費類機器人等,在技術和市場方面發(fā)展迅猛,機器人是自動執(zhí)行工作的機器裝置,是依靠自身動力和控制能力來實現各種功能的機器。機器人可以接受人類指揮,也可以運行預先編排的程序,還可以根據以人工智能制定的策略行動。
當前的機器人,都是操作者使用手動遙控器控制機器人執(zhí)行相關操作。具體的,操作者使用手動遙控器,通過無線方式向機器人下發(fā)操作命令,機器人在接收到該操作命令后,執(zhí)行該操作命令指定的操作,從而完成相關功能。
但是,上述方式對操作者的入門要求很高,操作者的操作難度很高。
技術實現要素:
本發(fā)明提供一種可操控設備的控制方法,應用在可操控設備上,包括:
獲取操作者的第一人體姿態(tài)信息;
利用所述第一人體姿態(tài)信息查詢預先配置的人體姿態(tài)信息與操作指令的對應關系,得到所述第一人體姿態(tài)信息對應的操作指令;
執(zhí)行所述第一人體姿態(tài)信息對應的操作指令。
在一個例子中,所述可操控設備上還包括攝像頭,所述獲取操作者的第一人體姿態(tài)信息的過程,具體包括:
通過所述攝像頭采集第一圖像,并從所述第一圖像中定位出待檢測人物;
利用所述待檢測人物的特征信息,判斷所述待檢測人物是否為操作者;
如果是,則基于所述第一圖像分析出所述操作者的第一人體姿態(tài)信息。
在一個例子中,所述利用所述待檢測人物的特征信息,判斷所述待檢測人物是否為操作者的過程,具體包括:
當所述特征信息為所述待檢測人物在所述第一圖像中的人臉特征信息時,則比較所述待檢測人物的人臉特征信息,與預先配置的操作者的人臉特征信息,如果二者的相似度大于預設閾值,則確定所述待檢測人物是操作者;或者,
當所述特征信息為所述待檢測人物在第二圖像中的第二人體姿態(tài)信息時,判斷所述待檢測人物的第二人體姿態(tài)信息,是否匹配預先配置的姿態(tài)密碼;如果是,確定所述待檢測人物是操作者;否則,確定所述待檢測人物不是操作者。
在一個例子中,所述姿態(tài)密碼是用于表示操作者的姿態(tài)或者手勢,且匹配到所述姿態(tài)密碼表示允許開啟操作指令。
在一個例子中,所述基于所述第一圖像分析出所述操作者的第一人體姿態(tài)信息的過程,具體包括:
從所述第一圖像中定位出所述操作者對應的區(qū)域;
對所述區(qū)域進行特征提取,得到第一特征向量;
比較所述第一特征向量與每個姿態(tài)模版的相似度,其中,針對操作者的每個姿態(tài)維護一個姿態(tài)模版,且所述姿態(tài)模版包括所述姿態(tài)對應的第二特征向量;
選取相似度最大的姿態(tài)模版的姿態(tài)為所述操作者的第一人體姿態(tài)信息。
所述可操控設備具體為:智能機器人、智能拍攝無人機、智能相機;
所述第一人體姿態(tài)信息包括:靜態(tài)姿態(tài)信息和/或動態(tài)姿態(tài)信息,其中,所述靜態(tài)姿態(tài)信息包括肢體的狀態(tài)信息,所述動態(tài)姿態(tài)信息包括肢體的動作信息;所述操作指令包括:行動指令、拍照指令、自動充電指令、回到原點指令。
本發(fā)明提供一種可操控設備的控制裝置,應用在可操控設備上,包括:
第一獲取模塊,用于獲取操作者的第一人體姿態(tài)信息;
第二獲取模塊,用于利用所述第一人體姿態(tài)信息查詢預先配置的人體姿態(tài)信息與操作指令的對應關系,得到所述第一人體姿態(tài)信息對應的操作指令;
操作模塊,用于執(zhí)行所述第一人體姿態(tài)信息對應的操作指令。
在一個例子中,所述可操控設備上還包括攝像頭;所述第一獲取模塊,具體用于在獲取操作者的第一人體姿態(tài)信息的過程中,通過所述攝像頭采集第一圖像,并從所述第一圖像中定位出待檢測人物;利用所述待檢測人物的特征信息,判斷所述待檢測人物是否為操作者;如果是,則基于所述第一圖像分析出所述操作者的第一人體姿態(tài)信息。
在一個例子中,所述第一獲取模塊,具體用于在利用所述待檢測人物的特征信息,判斷所述待檢測人物是否為操作者的過程中,當所述特征信息為所述待檢測人物在所述第一圖像中的人臉特征信息時,則比較所述待檢測人物的人臉特征信息,與預先配置的操作者的人臉特征信息,如果二者的相似度大于預設閾值,則確定所述待檢測人物是操作者;或者,當所述特征信息為所述待檢測人物在第二圖像中的第二人體姿態(tài)信息時,判斷所述待檢測人物的第二人體姿態(tài)信息,是否匹配預先配置的姿態(tài)密碼;如果是,確定所述待檢測人物是操作者;否則,確定所述待檢測人物不是操作者。
在一個例子中,所述姿態(tài)密碼是用于表示操作者的姿態(tài)或者手勢,且匹配到所述姿態(tài)密碼表示允許開啟操作指令。
在一個例子中,所述第一獲取模塊,具體用于在基于所述第一圖像分析出所述操作者的第一人體姿態(tài)信息的過程中,從第一圖像中定位出所述操作者對應的區(qū)域;對所述區(qū)域進行特征提取,得到第一特征向量;比較所述第一特征向量與每個姿態(tài)模版的相似度,其中,針對操作者的每個姿態(tài)維護一個姿態(tài)模版,所述姿態(tài)模版包括所述姿態(tài)對應的第二特征向量;選取相似度最大的姿態(tài)模版的姿態(tài)為所述操作者的第一人體姿態(tài)信息。
所述可操控設備具體為:智能機器人、智能拍攝無人機、智能相機;
所述第一人體姿態(tài)信息包括:靜態(tài)姿態(tài)信息和/或動態(tài)姿態(tài)信息,其中,所述靜態(tài)姿態(tài)信息包括肢體的狀態(tài)信息,所述動態(tài)姿態(tài)信息包括肢體的動作信息;所述操作指令包括:行動指令、拍照指令、自動充電指令、回到原點指令。
本發(fā)明提供一種可操控設備的控制方法,應用于包括可操控設備和服務端的網絡中,所述可操控設備上包括攝像頭,該方法應用在服務端上,包括:
接收所述可操控設備通過所述攝像頭采集到的圖像;
利用所述圖像獲取操作者的第一人體姿態(tài)信息;
利用所述第一人體姿態(tài)信息查詢預先配置的人體姿態(tài)信息與操作指令的對應關系,得到所述第一人體姿態(tài)信息對應的操作指令;
將所述第一人體姿態(tài)信息對應的操作指令發(fā)送給所述可操控設備,以使所述可操控設備執(zhí)行所述第一人體姿態(tài)信息對應的操作指令。
本發(fā)明提供一種可操控設備的控制裝置,應用于包括可操控設備和服務端的網絡中,所述可操控設備上包括攝像頭,該裝置應用在服務端上,包括:
接收模塊,用于接收所述可操控設備通過所述攝像頭采集到的圖像;
第一獲取模塊,用于利用所述圖像獲取操作者的第一人體姿態(tài)信息;
第二獲取模塊,用于利用所述第一人體姿態(tài)信息查詢預先配置的人體姿態(tài)信息與操作指令的對應關系,得到所述第一人體姿態(tài)信息對應的操作指令;
發(fā)送模塊,用于將所述第一人體姿態(tài)信息對應的操作指令發(fā)送給所述可操控設備,以使所述可操控設備執(zhí)行所述第一人體姿態(tài)信息對應的操作指令。
基于上述技術方案,本發(fā)明實施例中,可操控設備可以基于操作者的人體姿態(tài)信息,自動執(zhí)行該人體姿態(tài)信息對應的操作指令,而不需要操作者使用手動遙控器控制可操控設備執(zhí)行相關操作,對操作者的入門要求較低,且操作者的操作難度較低,使可操控設備能夠更容易的被消費者接受,使得可操控設備得到更廣泛的使用。而且,可操控設備的執(zhí)行效果更好,執(zhí)行準確度很高。
附圖說明
為了更加清楚地說明本發(fā)明實施例或者現有技術中的技術方案,下面將對本發(fā)明實施例或者現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明中記載的一些實施例,對于本領域普通技術人員來講,還可以根據這些附圖獲得其他的附圖。
圖1是本發(fā)明一種實施方式中的可操控設備的控制方法的流程圖;
圖2是本發(fā)明另一種實施方式中的可操控設備的控制方法的流程圖;
圖3是本發(fā)明另一種實施方式中的可操控設備的控制方法的流程圖;
圖4是本發(fā)明一種實施方式中的可操控設備的硬件結構圖;
圖5是本發(fā)明一種實施方式中的可操控設備的控制裝置的結構圖;
圖6是本發(fā)明一種實施方式中的服務端的硬件結構圖;
圖7是本發(fā)明另一種實施方式中的可操控設備的控制裝置的結構圖。
具體實施方式
在本發(fā)明使用的術語僅僅是出于描述特定實施例的目的,而非限制本發(fā)明。本發(fā)明和權利要求書中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式,除非上下文清楚地表示其它含義。還應當理解,本文中使用的術語“和/或”是指包含一個或多個相關聯的列出項目的任何或所有可能組合。
應當理解,盡管在本發(fā)明可能采用術語第一、第二、第三等來描述各種信息,但這些信息不應限于這些術語。這些術語僅用來將同一類型的信息彼此區(qū)分開。例如,在不脫離本發(fā)明范圍的情況下,第一信息也可以被稱為第二信息,類似地,第二信息也可以被稱為第一信息。取決于語境,此外,所使用的詞語“如果”可以被解釋成為“在......時”或“當......時”或“響應于確定”。
針對現有技術中存在的問題,本發(fā)明實施例中提出了一種可操控設備的控制方法,該方法可以應用在可操控設備上,該可操控設備具體可以包括但不限于:智能機器人、智能拍攝無人機、智能相機等。其中,該智能機器人可以為工業(yè)類機器人、消費類機器人等。該智能機器人是自動執(zhí)行工作的機器裝置,是依靠自身動力和控制能力來實現各種功能的機器,可以接受人類指揮,也可以運行預先編排的程序,還可以根據以人工智能制定的策略行動。在一個例子中,可操控設備可以應用在游戲場景、人像拍照(如航拍)、人機互動等場景。
在上述應用場景下,如圖1所示,該可操控設備的控制方法包括以下步驟:
步驟101,獲取操作者的第一人體姿態(tài)信息。
步驟102,利用該第一人體姿態(tài)信息查詢預先配置的人體姿態(tài)信息與操作指令的對應關系,得到該第一人體姿態(tài)信息對應的操作指令。
步驟103,執(zhí)行該第一人體姿態(tài)信息對應的操作指令。
針對步驟101,在一個例子中,該第一人體姿態(tài)信息具體可以包括但不限于:靜態(tài)姿態(tài)信息和/或動態(tài)姿態(tài)信息。其中,該靜態(tài)姿態(tài)信息具體可以包括:肢體的狀態(tài)信息,例如,一只手的大臂與小臂成90度彎曲。此外,該動態(tài)姿態(tài)信息具體可以包括:肢體的動作信息,例如,一只手從左向右的揮動。
針對步驟101,可操控設備上還可以包括攝像頭,該攝像頭可以是單目攝像頭,或者雙目攝像頭,或者非可見光的攝像頭(例如紅外線感光成像)。
基于此攝像頭,在該可操控設備的控制方法中,針對步驟101,如圖2所示,獲取操作者的第一人體姿態(tài)信息的過程,具體可以包括但不限于如下步驟:
步驟201,通過攝像頭采集第一圖像,并從第一圖像中定位出待檢測人物。
步驟202,利用該待檢測人物的特征信息,判斷該待檢測人物是否為操作者。如果是,則執(zhí)行步驟203;如果否,則返回步驟201,繼續(xù)采集第一圖像。
步驟203,基于該第一圖像分析出操作者的第一人體姿態(tài)信息。
在一個例子中,當第一人體姿態(tài)信息為靜態(tài)姿態(tài)信息時,可以通過一個圖像就分析出操作者的靜態(tài)姿態(tài)信息,因此,通過攝像頭采集的第一圖像的數量可以為一個,也可以為多個,并可以基于一個或者多個第一圖像分析出操作者的第一人體姿態(tài)信息。當第一人體姿態(tài)信息為動態(tài)姿態(tài)信息時,需要通過多個圖像才能夠分析出操作者的動態(tài)姿態(tài)信息,因此,通過攝像頭采集的第一圖像的數量可以為多個,這多個第一圖像是一組連續(xù)的圖像,可以為一個視頻,且可以基于這多個第一圖像分析出操作者的第一人體姿態(tài)信息。
針對步驟201,操作者在控制可操控設備啟動之后,可操控設備通過攝像頭在目標區(qū)域內采集第一圖像。如果第一圖像中有人物出現,將該人物作為待檢測人物,并從第一圖像中定位出該待檢測人物。如果第一圖像中沒有人物出現,則在目標區(qū)域內采集新的第一圖像,以此類推,一直到采集到包含待檢測人物的第一圖像。其中,可操控設備在目標區(qū)域內采集新的第一圖像的過程中,可以通過在目標區(qū)域內移動和/或轉動方向,以在目標區(qū)域內采集新的第一圖像。
針對可操控設備從第一圖像中定位出待檢測人物的過程,由于第一圖像中除了包含待檢測人物,還可能包含其它信息,如待檢測人物后面的樹木、旁邊的花草、小河等,因此,可操控設備需要從第一圖像中定位出待檢測人物。其中,在從第一圖像中定位出待檢測人物的過程中,可以通過人體輪廓、人臉識別、或深度學習等方式,對第一圖像進行全局人體搜索,以定位出待檢測人物。
針對步驟202,利用該待檢測人物的特征信息,判斷該待檢測人物是否為操作者的過程,具體可以包括但不限于如下方式:方式一、當該特征信息為待檢測人物在第一圖像中的人臉特征信息時,則可以比較待檢測人物的人臉特征信息,與預先配置的操作者的人臉特征信息,如果二者的相似度大于預設閾值,則確定該待檢測人物是操作者;否則,確定該待檢測人物不是操作者?;蛘撸绞蕉?、當該特征信息為待檢測人物在第二圖像中的第二人體姿態(tài)信息時,則可以判斷待檢測人物的第二人體姿態(tài)信息,是否匹配預先配置的姿態(tài)密碼;如果是,確定該待檢測人物是操作者;否則,確定該待檢測人物不是操作者。
當然,在實際應用中,并不局限于上述兩種方式來確定待檢測人物是否為操作者,還可以使用其它特征,如人體特征(體態(tài)+步行的姿態(tài)),衣服的顏色+帽子,身高+眉毛等等,來確定待檢測人物是否為操作者,對此方式不做限制。
針對方式一,可以在可操控設備上預先配置操作者的人臉特征信息,在從第一圖像中定位出待檢測人物之后,基于人臉識別技術,比較該待檢測人物的人臉特征信息,與預先配置的操作者的人臉特征信息,如果二者的相似度大于預設閾值,則確定該待檢測人物是操作者;否則確定該待檢測人物不是操作者。
在一個例子中,可以采用特征匹配算法,比較待檢測人物的人臉特征信息,與預先配置的操作者的人臉特征信息。在一種可行的特征匹配算法中,從第一圖像中提取待檢測人物的人臉特征信息,如提取Haar(哈爾)特征、LBP(Local Binary Pattern,局部二值模式)特征、HOG(Histogram of Oriented Gradients,方向梯度直方圖)特征等。之后,將提取出的待檢測人物的人臉特征信息作為輸入發(fā)送到分類器,如SVM(Support Vector Machine,支持向量機)分類器、CC(Cascade Classifier,級聯分類器)等。分類器對待檢測人物的人臉特征信息進行打分評判,得出待檢測人物的人臉特征信息與預先配置的操作者的人臉特征信息的相似度,繼而基于二者的相似度確定該待檢測人物是否是操作者。
針對方式二,為了快速識別出待檢測人物是否是操作者,可以在可操控設備上預先配置姿態(tài)密碼,該姿態(tài)密碼是用于表示操作者的姿態(tài)或者手勢(如該姿態(tài)密碼可以是一個不常用的特殊姿態(tài)或者手勢),且匹配到該姿態(tài)密碼表示允許可操控設備開啟操作指令。例如,該姿態(tài)密碼可以是一只手大臂與小臂成90度彎曲,大臂與肩膀同高,小臂向上,同時另一只手伸直約成45度角斜向下,這樣的姿態(tài)形成了一個姿態(tài)密碼,當然,這只是姿態(tài)密碼的一個示例,實際應用中可以任意配置,本申請實施例中對此姿態(tài)密碼不做限制?;诖俗藨B(tài)密碼,可操控設備可快速識別出操作者,同時家人、辦公室同事等其它知道姿態(tài)密碼的操作者,也可快速識別出操作者,時間效率和準確度都很高。
在通過攝像頭采集第一圖像之前,還可以通過攝像頭采集第二圖像,并從第二圖像中定位出待檢測人物,并基于第二圖像分析出待檢測人物的第二人體姿態(tài)信息。如果待檢測人物的第二人體姿態(tài)信息匹配預先配置的姿態(tài)密碼,則認為在之后的預設時間內(如3分鐘),采集到的第一圖像中的待檢測人物都是操作者,在預設時間之后,則需要重新采集第二圖像。如果待檢測人物的第二人體姿態(tài)信息不匹配預先配置的姿態(tài)密碼,則需要重新采集第二圖像。
在一個例子中,第一圖像和第二圖像只是為了區(qū)分方便,給出的一個示例。第二圖像的作用是為了區(qū)分出待檢測人物的第二人體姿態(tài)信息是否匹配預先配置的姿態(tài)密碼。而第一圖像的作用是為了分析出操作者的第一人體姿態(tài)信息。
在一個例子中,基于第二圖像分析出待檢測人物的第二人體姿態(tài)信息,并判斷第二人體姿態(tài)信息是否匹配姿態(tài)密碼的過程,可以包括但不限于如下方式:從第二圖像中定位出待檢測人物對應的區(qū)域;對該區(qū)域進行特征提取,得到第一特征向量,該第一特征向量就是待檢測人物的第二人體姿態(tài)信息。進一步的,比較該第一特征向量與姿態(tài)密碼對應的第二特征向量的相似度。如果二者的相似度大于預設閾值,則確定該第二人體姿態(tài)信息匹配姿態(tài)密碼。如果二者的相似度不大于預設閾值,則確定該第二人體姿態(tài)信息不匹配姿態(tài)密碼。
在一個例子中,姿態(tài)密碼可以是用于識別操作者的一個標識,可以預先配置到可操控設備上(如由廠家直接配置在可操控設備上,也可以由用戶自定義到可操控設備上),也可以由可操控設備主動學習該姿態(tài)密碼。針對可操控設備主動學習該姿態(tài)密碼的過程,可以讓操作者擺出該姿態(tài)密碼的姿勢或者手勢,由可操控設備采集此時的圖像,這個圖像就是正樣本圖像。還可以讓操作者擺出不是該姿態(tài)密碼的姿勢或者手勢,由可操控設備采集此時的圖像,這個圖像就是負樣本圖像。可操控設備獲得大量的正樣本圖像和大量的負樣本圖像后,就可以使用這些正樣本圖像和負樣本圖像訓練SVM分類器,得到姿態(tài)密碼對應的第二特征向量,對訓練過程不再詳加贅述。在將第一特征向量輸入到SVM分類器后,SVM分類器就可以比較出第一特征向量與第二特征向量的相似度。
當然,在實際應用中,并不局限于采用上述SVM分類器來訓練出姿態(tài)密碼對應的第二特征向量,例如,還可以采用深度學習網絡等其它方式,訓練出姿態(tài)密碼對應的第二特征向量,并使用深度學習網絡來比較出第一特征向量與第二特征向量的相似度,本申請實施例中對此方式不做具體限制。
針對步驟202,在利用待檢測人物的特征信息,判斷待檢測人物是否為操作者后,如果該待檢測人物不是操作者,則在目標區(qū)域通過攝像頭采集包含另一待檢測人物的第一圖像,并從第一圖像中定位出待檢測人物,繼續(xù)執(zhí)行步驟202。
針對步驟203,基于第一圖像分析出操作者的第一人體姿態(tài)信息的過程,可以包括但不限于如下方式:從第一圖像中定位出操作者對應的區(qū)域;對該區(qū)域進行特征提取,得到第一特征向量;比較第一特征向量與每個姿態(tài)模版的相似度,針對操作者的每個姿態(tài)維護一個姿態(tài)模版,且姿態(tài)模版包括姿態(tài)對應的第二特征向量;選取相似度最大的姿態(tài)模版的姿態(tài)為操作者的第一人體姿態(tài)信息。
在一個例子中,針對每個姿態(tài)(是指需要對應操作指令的每個姿態(tài)),可以讓操作者擺出該姿態(tài),由可操控設備采集此時的圖像,這個圖像就是正樣本圖像。還可以讓操作者不擺出該姿態(tài),由可操控設備采集此時的圖像,這個圖像就是負樣本圖像??刹倏卦O備在獲得大量的正樣本圖像和大量的負樣本圖像后,就可以使用這些正樣本圖像和負樣本圖像訓練SVM分類器,得到該姿態(tài)對應的第二特征向量,對訓練過程不再詳加贅述。進一步的,維護該姿態(tài)的姿態(tài)模版,且該姿態(tài)模版包括姿態(tài)對應的該第二特征向量。姿態(tài)模版可以是在用戶使用可操控設備之前預先定義的,也可以是用戶自身定義的。在將第一特征向量輸入到SVM分類器之后,SVM分類器就可以比較出第一特征向量與第二特征向量的相似度,繼而可以選取出相似度最大的姿態(tài)模版的姿態(tài)。針對相似度最大的姿態(tài)模版的姿態(tài),如果第一特征向量與該姿態(tài)對應的第二特征向量的相似度大于預設閾值,則將該姿態(tài)確定為操作者的第一人體姿態(tài)信息;如果第一特征向量與該姿態(tài)對應的第二特征向量的相似度不大于預設閾值,則該姿態(tài)不是操作者的第一人體姿態(tài)信息,繼續(xù)采集圖像以分析出第一人體姿態(tài)信息。
當然,在實際應用中,并不局限于采用上述SVM分類器來訓練出姿態(tài)對應的第二特征向量,例如,還可以采用深度學習網絡等其它方式,訓練出姿態(tài)對應的第二特征向量,并使用深度學習網絡來比較出第一特征向量與第二特征向量的相似度,本申請實施例中對此方式不做具體限制。
針對步驟102,在利用第一人體姿態(tài)信息查詢預先配置的人體姿態(tài)信息與操作指令的對應關系,得到該第一人體姿態(tài)信息對應的操作指令之前,還可以在可操控設備上預先配置人體姿態(tài)信息與操作指令的對應關系,即需要首先定義一系列的人體姿態(tài)信息(即姿態(tài)),以及每個人體姿態(tài)信息對應的操作指令。
在一個例子中,在可操控設備出廠前,可以在可操控設備上預先配置人體姿態(tài)信息和操作指令的對應關系?;蛘?,可以在可操控設備出廠后,通過有線方式或者無線方式將人體姿態(tài)信息和操作指令的對應關系配置到可操控設備上?;蛘?,在可操控設備出廠前,可以在可操控設備上預先配置人體姿態(tài)信息,在可操控設備出廠后,可以通過有線方式或者無線方式將人體姿態(tài)信息對應的操作指令配置到可操控設備上?;蛘撸诳刹倏卦O備出廠前,可以在可操控設備上預先配置操作指令,在可操控設備出廠后,可以通過有線方式或者無線方式將操作指令對應的人體姿態(tài)信息配置到可操控設備上。
針對步驟103,在執(zhí)行該第一人體姿態(tài)信息對應的操作指令的過程中,該操作指令可以包括但不限于:行動指令、拍照指令、自動充電指令、回到原點指令。例如,對于智能拍攝無人機來說,這個操作指令可以是行動指令(例如向某個方向飛行1米),也可以是拍照指令,還可以是一組復雜動作的總體指令(例如原地轉360度拍出多張照片,然后合成全景照片)。此外,對于智能機器人來說,這個操作指令可以是回到充電裝置自動充電,還可以是把某個物品放置回到原點等。此外,對于智能相機來說,這個操作指令可以是拍照指令,例如在3秒后進行拍照或者在5秒后進行拍照等。當然,上述過程只是給出了操作指令的幾個示例,在實際應用中,并不局限于上述操作指令,對于智能機器人、智能拍攝無人機、智能相機,操作指令等可操控設備,其對應的操作指令可以相同,也可以不同,本申請實施例對此操作指令不做限制。
在一個例子中,還可以在可操控設備上部署處理器,并由處理器完成上述各個步驟,即由處理器獲取操作者的第一人體姿態(tài)信息;由處理器利用該第一人體姿態(tài)信息查詢預先配置的人體姿態(tài)信息與操作指令的對應關系,得到該第一人體姿態(tài)信息對應的操作指令;由處理器執(zhí)行該第一人體姿態(tài)信息對應的操作指令;由處理器從第一圖像中定位出待檢測人物;由處理器利用該待檢測人物的特征信息,判斷該待檢測人物是否為操作者;由處理器基于該第一圖像分析出操作者的第一人體姿態(tài)信息等;對于處理器的操作,在此不再重復贅述。
在一個例子中,可操控設備上部署的處理器具體可以包括但不限于:專用處理器ASIC(Application Specific Integrated Circuit,專用集成電路),半定制處理器FPGA(Field Programmable Gate Array,現場可編程門陣列),或者通用處理器CPU(Central Processing Unit,中央處理器)等。
基于上述技術方案,本發(fā)明實施例中,可操控設備可以基于操作者的人體姿態(tài)信息,自動執(zhí)行該人體姿態(tài)信息對應的操作指令,而不需要操作者使用手動遙控器控制可操控設備執(zhí)行相關操作,對操作者的入門要求較低,且操作者的操作難度較低,使可操控設備能夠更容易的被消費者接受,使得可操控設備得到更廣泛的使用。而且,可操控設備的執(zhí)行效果更好,執(zhí)行準確度很高。
基于與上述方法同樣的發(fā)明構思,本發(fā)明實施例中還提供了一種可操控設備的控制方法,應用于包括可操控設備和服務端的網絡中,可操控設備上包括攝像頭,該可操控設備的控制方法可以應用在服務端上,如圖3所示,包括:
步驟301,接收所述可操控設備通過所述攝像頭采集到的圖像。
步驟302,利用所述圖像獲取操作者的第一人體姿態(tài)信息。
步驟303,利用所述第一人體姿態(tài)信息查詢預先配置的人體姿態(tài)信息與操作指令的對應關系,得到所述第一人體姿態(tài)信息對應的操作指令。
步驟304,將所述第一人體姿態(tài)信息對應的操作指令發(fā)送給所述可操控設備,以使所述可操控設備執(zhí)行所述第一人體姿態(tài)信息對應的操作指令。
在一個例子中,服務端可以通過有線方式或者無線方式與可操控設備交互。
在一個例子中,服務端利用圖像(后續(xù)將其稱為第一圖像)獲取操作者的第一人體姿態(tài)信息的過程,可以包括但不限于如下方式:從第一圖像中定位出待檢測人物;利用所述待檢測人物的特征信息,判斷所述待檢測人物是否為操作者;如果是,則基于所述第一圖像分析出所述操作者的第一人體姿態(tài)信息。
在一個例子中,服務端利用所述待檢測人物的特征信息,判斷所述待檢測人物是否為操作者的過程,可以包括但不限于如下方式:當所述特征信息為所述待檢測人物在所述第一圖像中的人臉特征信息時,則服務端比較所述待檢測人物的人臉特征信息,與預先配置的操作者的人臉特征信息,如果二者的相似度大于預設閾值,則服務端確定所述待檢測人物是操作者;或者,當所述特征信息為所述待檢測人物在第二圖像中的第二人體姿態(tài)信息時,服務端判斷所述待檢測人物的第二人體姿態(tài)信息,是否匹配預先配置的姿態(tài)密碼;如果是,確定所述待檢測人物是操作者;否則,確定所述待檢測人物不是操作者。
在一個例子中,所述姿態(tài)密碼是用于表示操作者的姿態(tài)或者手勢,且匹配到所述姿態(tài)密碼表示允許開啟操作指令。
在一個例子中,服務端基于所述第一圖像分析出所述操作者的第一人體姿態(tài)信息的過程,可以包括但不限于如下方式:從所述第一圖像中定位出所述操作者對應的區(qū)域;對所述區(qū)域進行特征提取,得到第一特征向量;比較所述第一特征向量與每個姿態(tài)模版的相似度,其中,針對操作者的每個姿態(tài)維護一個姿態(tài)模版,且所述姿態(tài)模版包括所述姿態(tài)對應的第二特征向量;選取相似度最大的姿態(tài)模版的姿態(tài)為所述操作者的第一人體姿態(tài)信息。
所述可操控設備具體為:智能機器人、智能拍攝無人機、智能相機;
所述第一人體姿態(tài)信息包括:靜態(tài)姿態(tài)信息和/或動態(tài)姿態(tài)信息,其中,所述靜態(tài)姿態(tài)信息包括肢體的狀態(tài)信息,所述動態(tài)姿態(tài)信息包括肢體的動作信息;所述操作指令包括:行動指令、拍照指令、自動充電指令、回到原點指令。
基于上述技術方案,本發(fā)明實施例中,可操控設備可以基于操作者的人體姿態(tài)信息,自動執(zhí)行該人體姿態(tài)信息對應的操作指令,而不需要操作者使用手動遙控器控制可操控設備執(zhí)行相關操作,對操作者的入門要求較低,且操作者的操作難度較低,使可操控設備能夠更容易的被消費者接受,使得可操控設備得到更廣泛的使用。而且,可操控設備的執(zhí)行效果更好,執(zhí)行準確度很高。
基于與上述方法同樣的發(fā)明構思,本發(fā)明實施例中還提供了一種可操控設備的控制裝置,應用在可操控設備上。該可操控設備的控制裝置可以通過軟件實現,也可以通過硬件或者軟硬件結合的方式實現。以軟件實現為例,作為一個邏輯意義上的裝置,是通過其所在的可操控設備的處理器,讀取非易失性存儲器中對應的計算機程序指令形成的。從硬件層面而言,如圖4所示,為本發(fā)明提出的可操控設備的控制裝置所在的可操控設備的一種硬件結構圖,除了圖4所示的處理器、非易失性存儲器外,可操控設備還包括其他硬件,如負責處理報文的轉發(fā)芯片、網絡接口、內存等;從硬件結構上來講,該可操控設備還可能是分布式設備,可能包括多個接口卡,以便在硬件層面進行報文處理的擴展。
如圖5所示,為本發(fā)明提出的可操控設備的控制裝置的結構圖,所述可操控設備的控制裝置應用在可操控設備上,且所述可操控設備的控制裝置包括:
第一獲取模塊11,用于獲取操作者的第一人體姿態(tài)信息;
第二獲取模塊12,用于利用所述第一人體姿態(tài)信息查詢預先配置的人體姿態(tài)信息與操作指令的對應關系,得到所述第一人體姿態(tài)信息對應的操作指令;
操作模塊13,用于執(zhí)行所述第一人體姿態(tài)信息對應的操作指令。
在一個例子中,所述可操控設備上還包括攝像頭;所述第一獲取模塊11,具體用于在獲取操作者的第一人體姿態(tài)信息的過程中,通過所述攝像頭采集第一圖像,并從所述第一圖像中定位出待檢測人物;利用所述待檢測人物的特征信息,判斷所述待檢測人物是否為操作者;如果是,則基于所述第一圖像分析出所述操作者的第一人體姿態(tài)信息。
在一個例子中,所述第一獲取模塊11,具體用于在利用所述待檢測人物的特征信息,判斷所述待檢測人物是否為操作者的過程中,當所述特征信息為所述待檢測人物在所述第一圖像中的人臉特征信息時,則比較所述待檢測人物的人臉特征信息,與預先配置的操作者的人臉特征信息,如果二者的相似度大于預設閾值,則確定所述待檢測人物是操作者;或者,當所述特征信息為所述待檢測人物在第二圖像中的第二人體姿態(tài)信息時,判斷所述待檢測人物的第二人體姿態(tài)信息,是否匹配預先配置的姿態(tài)密碼;如果是,確定所述待檢測人物是操作者;否則,確定所述待檢測人物不是操作者。
在一個例子中,所述姿態(tài)密碼是用于表示操作者的姿態(tài)或者手勢,且匹配到所述姿態(tài)密碼表示允許開啟操作指令。
在一個例子中,所述第一獲取模塊11,具體用于在基于所述第一圖像分析出所述操作者的第一人體姿態(tài)信息的過程中,從第一圖像中定位出所述操作者對應的區(qū)域;對所述區(qū)域進行特征提取,得到第一特征向量;比較所述第一特征向量與每個姿態(tài)模版的相似度,其中,針對操作者的每個姿態(tài)維護一個姿態(tài)模版,所述姿態(tài)模版包括所述姿態(tài)對應的第二特征向量;選取相似度最大的姿態(tài)模版的姿態(tài)為所述操作者的第一人體姿態(tài)信息。
所述可操控設備具體為:智能機器人、智能拍攝無人機、智能相機;
所述第一人體姿態(tài)信息包括:靜態(tài)姿態(tài)信息和/或動態(tài)姿態(tài)信息,其中,所述靜態(tài)姿態(tài)信息包括肢體的狀態(tài)信息,所述動態(tài)姿態(tài)信息包括肢體的動作信息;所述操作指令包括:行動指令、拍照指令、自動充電指令、回到原點指令。
其中,本發(fā)明裝置的各個模塊可以集成于一體,也可以分離部署。上述模塊可以合并為一個模塊,也可以進一步拆分成多個子模塊。
基于與上述方法同樣的發(fā)明構思,本發(fā)明實施例中還提供了一種可操控設備的控制裝置,該可操控設備的控制裝置應用在服務端上。該可操控設備的控制裝置可以通過軟件實現,也可以通過硬件或者軟硬件結合的方式實現。以軟件實現為例,作為一個邏輯意義上的裝置,是通過其所在的服務端的處理器,讀取非易失性存儲器中對應的計算機程序指令形成的。從硬件層面而言,如圖6所示,為本發(fā)明提出的可操控設備的控制裝置所在的服務端的一種硬件結構圖,除了圖6所示的處理器、非易失性存儲器外,服務端還包括其他硬件,如負責處理報文的轉發(fā)芯片、網絡接口、內存等;從硬件結構上來講,該服務端還可能是分布式設備,可能包括多個接口卡,以便在硬件層面進行報文處理的擴展。
如圖7所示,為本發(fā)明提出的可操控設備的控制裝置的結構圖,應用于包括可操控設備和服務端的網絡中,所述可操控設備上包括攝像頭,所述可操控設備的控制裝置應用在服務端上,且所述可操控設備的控制裝置具體包括:
接收模塊21,用于接收所述可操控設備通過所述攝像頭采集到的圖像;
第一獲取模塊22,用于利用所述圖像獲取操作者的第一人體姿態(tài)信息;
第二獲取模塊23,用于利用所述第一人體姿態(tài)信息查詢預先配置的人體姿態(tài)信息與操作指令的對應關系,得到所述第一人體姿態(tài)信息對應的操作指令;
發(fā)送模塊24,用于將所述第一人體姿態(tài)信息對應的操作指令發(fā)送給所述可操控設備,以使所述可操控設備執(zhí)行所述第一人體姿態(tài)信息對應的操作指令。
在一個例子中,所述第一獲取模塊22,具體用于在利用所述圖像獲取操作者的第一人體姿態(tài)信息的過程中,從所述圖像中定位出待檢測人物;利用所述待檢測人物的特征信息,判斷所述待檢測人物是否為操作者;如果是,則基于所述圖像(后續(xù)將其稱為第一圖像)分析出所述操作者的第一人體姿態(tài)信息。
在一個例子中,所述第一獲取模塊22,具體用于在利用所述待檢測人物的特征信息,判斷所述待檢測人物是否為操作者的過程中,當所述特征信息為所述待檢測人物在所述第一圖像中的人臉特征信息時,則比較所述待檢測人物的人臉特征信息,與預先配置的操作者的人臉特征信息,如果二者的相似度大于預設閾值,則確定所述待檢測人物是操作者;或者,當所述特征信息為所述待檢測人物在第二圖像中的第二人體姿態(tài)信息時,判斷所述待檢測人物的第二人體姿態(tài)信息,是否匹配預先配置的姿態(tài)密碼;如果是,確定所述待檢測人物是操作者;否則,確定所述待檢測人物不是操作者。
在一個例子中,所述姿態(tài)密碼是用于表示操作者的姿態(tài)或者手勢,且匹配到所述姿態(tài)密碼表示允許開啟操作指令。
在一個例子中,所述第一獲取模塊22,具體用于在基于所述第一圖像分析出所述操作者的第一人體姿態(tài)信息的過程中,從第一圖像中定位出所述操作者對應的區(qū)域;對所述區(qū)域進行特征提取,得到第一特征向量;比較所述第一特征向量與每個姿態(tài)模版的相似度,其中,針對操作者的每個姿態(tài)維護一個姿態(tài)模版,所述姿態(tài)模版包括所述姿態(tài)對應的第二特征向量;選取相似度最大的姿態(tài)模版的姿態(tài)為所述操作者的第一人體姿態(tài)信息。
所述可操控設備具體為:智能機器人、智能拍攝無人機、智能相機;
所述第一人體姿態(tài)信息包括:靜態(tài)姿態(tài)信息和/或動態(tài)姿態(tài)信息,其中,所述靜態(tài)姿態(tài)信息包括肢體的狀態(tài)信息,所述動態(tài)姿態(tài)信息包括肢體的動作信息;所述操作指令包括:行動指令、拍照指令、自動充電指令、回到原點指令。
其中,本發(fā)明裝置的各個模塊可以集成于一體,也可以分離部署。上述模塊可以合并為一個模塊,也可以進一步拆分成多個子模塊。
通過以上的實施方式的描述,本領域的技術人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺的方式來實現,當然也可以通過硬件,但很多情況下前者是更佳的實施方式。基于這樣的理解,本發(fā)明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來,該計算機軟件產品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機設備(可以是個人計算機,服務器,或者網絡設備等)執(zhí)行本發(fā)明各個實施例所述的方法。本領域技術人員可以理解附圖只是一個優(yōu)選實施例的示意圖,附圖中的模塊或流程并不一定是實施本發(fā)明所必須的。
本領域技術人員可以理解實施例中的裝置中的模塊可以按照實施例描述進行分布于實施例的裝置中,也可以進行相應變化位于不同于本實施例的一個或多個裝置中。上述實施例的模塊可以合并為一個模塊,也可進一步拆分成多個子模塊。上述本發(fā)明實施例序號僅僅為了描述,不代表實施例的優(yōu)劣。
以上公開的僅為本發(fā)明的幾個具體實施例,但是,本發(fā)明并非局限于此,任何本領域的技術人員能思之的變化都應落入本發(fā)明的保護范圍。