一種基于表情識別的無人機控制方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及無人機及計算機視覺相結(jié)合的技術(shù)領(lǐng)域，尤其涉及一種基于表情識別 的無人機控制方法及系統(tǒng)。
【背景技術(shù)】
[0002] 現(xiàn)有技術(shù)中的無人機有很多種類型，其不同的無人機各自的應(yīng)用范圍也非常廣 泛，以旋翼無人機為例，其是一種可垂直起降的飛行器，這種飛行器具有體積小、重量輕、 飛行穩(wěn)定、價格低廉、可進行懸停等諸多優(yōu)點，有非常良好的應(yīng)用和研宄價值。由于無人機 上沒有搭載飛行員，因此其飛行控制多采用遙控來實現(xiàn)。
[0003] 目前通用的遙控方法有定制的手持遙控器和通用移動終端(如：平板電腦和手機 等)。這種方法的優(yōu)點是能夠?qū)o人機實現(xiàn)精準、實時控制，可靠性較高；缺點是增加額外成 本且不利于攜帶，在出現(xiàn)硬件故障時，會出現(xiàn)"提控歸"現(xiàn)象。因此有必要在不增加現(xiàn)有無 人機硬件成本的基礎(chǔ)上，研宄新的無人機控制方法，作為獨立的無人機遙控解決方案或者 現(xiàn)有遙控方法的有益輔助。

【發(fā)明內(nèi)容】

[0004] 針對現(xiàn)有技術(shù)中的無人機控制需要額外的硬件設(shè)備，導(dǎo)致成本高步不便于攜帶的 技術(shù)問題，本發(fā)明公開了一種基于表情識別的無人機控制方法及系統(tǒng)。
[0005] 本發(fā)明的具體實現(xiàn)方式如下：一種基于表情識別的無人機控制方法，其具體包括 以下的步驟：步驟一、收集各種不同的人臉表情作為訓(xùn)練樣本圖像，每個樣本圖像中包括多 個局部區(qū)域，提取出每個局部區(qū)域的特征形成特征組，并將特征組進行分類訓(xùn)練，得到基于 面部表情的表情識別器；步驟二、設(shè)置在無人機上的圖像獲取裝置獲取視角范圍內(nèi)的圖像， 并判斷該圖像中是否存在人，是則啟動表情識別的步驟，得到人的面部圖像，否則繼續(xù)獲取 視角范圍內(nèi)的圖像；步驟三、提取步驟二得到的面部圖像的特征信息，并基于所提取的特征 信息以及面部表情的表情識別器識別出所得到的人臉的面部表情；步驟四、將圖像中的人 的表情翻譯為無人機的控制命令，并發(fā)送給無人機。
[0006] 更進一步地，上述步驟一具體包括特征提取和分類訓(xùn)練兩個步驟。
[0007] 更進一步地，上述所述特征提取具體包括以下的步驟：步驟1 :收集訓(xùn)練 樣本圖像，每個樣本圖像包括49個局部區(qū)域，每一種表情由49個局部區(qū)域的特征組 來進行表達，提取出每個局部區(qū)域的Harr特征；步驟2 :采用弱分類器進行分類，計 算每組局部特征的錯誤率；步驟3 :選取錯誤率最小的n個特征組成新的組合特征 ;步驟4 :將剩下的局部特征不斷加入到新的組合特征中，繼續(xù)使用弱分類器進行分類， 如果錯誤率減小，就將新的局部特征加入到;步驟5 :不斷的重復(fù)步驟4,直到錯誤率達 到最優(yōu)值，或者中的特征數(shù)量達到N ;步驟6 :記錄組合特征{4。
[0008] 更進一步地，上述分類訓(xùn)練采用Adaboost方法訓(xùn)練特征組。
[0009] 更進一步地，上述訓(xùn)練特征組具體包括以下的步驟：步驟1 :采集樣本圖像并對每 個樣本進行標定；步驟2 :通過特征提取找到一組組合特征；步驟3 :訓(xùn)練弱分類器并計算 錯誤率；步驟4 :通過迭代得到最優(yōu)分類器；步驟5 :輸出最優(yōu)分類器。更進一步地，所述方 法還包括根據(jù)當前幀圖像中人臉在圖像中的位置，在后續(xù)幀中找到最佳匹配位置，并根據(jù) 匹配結(jié)果調(diào)整圖像獲取裝置的視角，以實現(xiàn)圖像獲取裝置對人臉進行跟蹤。
[0010] 更進一步地，上述圖像獲取裝置通過云臺安裝在無人機上，所述云臺帶動圖像獲 取裝置向任意角度旋轉(zhuǎn)，以獲取到用戶的表情。
[0011] 更進一步地，上述方法還包括當圖像獲取裝置獲取到人的表情后，根據(jù)人臉在圖 像中的位置變化，調(diào)整云臺的旋轉(zhuǎn)角度，以控制該圖像獲取裝置的視角始終面向控制該無 人機的人臉。
[0012] 更進一步地，上述無人機還包括切換開關(guān)，所述切換開關(guān)用于切換無人機當前的 被控制方式，所述被控制方式包括遙控器遙控控制和/或者移動終端遙控控制和/或者手 勢遙控控制和/或者表情識別控制。
[0013] 本發(fā)明還公開了一種基于表情識別的無人接控制系統(tǒng)，其具體包括設(shè)置在無人機 上的圖像獲取裝置、圖像處理模塊、表情識別模塊和表情翻譯器；所述圖像獲取裝置用于獲 取實時的視角范圍內(nèi)的圖像；所述圖像處理模塊根據(jù)獲取到的圖像判斷圖像中是否存在 人，當圖像中存在人的時候，啟動表情識別模塊，否則繼續(xù)獲取實時的視角范圍內(nèi)的圖像； 所述表情識別模塊包括特征值提取模塊和分類訓(xùn)練模塊；所述特征值提取模塊用于收集各 種不同的人臉表情作為訓(xùn)練樣本圖像，并提取出每個局部區(qū)域的特征形成特征組，所述每 個樣本圖像中包括多個局部區(qū)域；所述分類訓(xùn)練模塊用于將特征組進行分類訓(xùn)練，得到基 于面部表情的表情識別器；所述表情翻譯器將圖像中的人的表情翻譯為無人機的控制命 令，并發(fā)送給無人機。
[0014] 通過采用以上的技術(shù)方案，本發(fā)明具有以下的有益效果：本發(fā)明通過在無人機上 設(shè)置圖像獲取裝置（比如攝像頭或者相機或者高速相機等等)，可以實時獲取視角范圍內(nèi)的 圖像，并分析該圖象中是否存在人的控制表情，是，則識別出后翻譯為無人機的控制命令， 從而通過人的表情對無人機進行控制，使得不需要攜帶其他的控制硬件，方便了用戶的使 用，降低了用戶的購置成本。將表情識別引入到無人機控制中，可獨立對無人機進行控制或 作為遙控裝置的輔助。不但可降低無人機硬件成本，還可增加無人機的操控樂趣，增強人與 無人機的互動。使用特征提取和分類訓(xùn)練對表情特征進行訓(xùn)練和識別，提高了表情識別的 成功率。
【附圖說明】
[0015] 為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例中所需要使用的附 圖作簡單地介紹，應(yīng)當理解，以下附圖僅示出了本發(fā)明的某些實施例，因此不應(yīng)被看作是對 范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這 些附圖獲得其他相關(guān)的附圖。
[0016] 圖1為無人機采集圖像后的處理步驟。
[0017] 圖2為基于表情的無人機控制方法實施流程圖。
【具體實施方式】
[0018] 為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例 中附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，很顯然，下文所描述的實施 例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本 發(fā)明實施例的組件可以以各種不同的配置來布置和設(shè)計。因此，以下對在附圖中提供的本 發(fā)明的實施例的詳細描述并非旨在限制要求保護的本發(fā)明的范圍，而是僅僅表示本發(fā)明的 選定實施例?；诒景l(fā)明的實施例，本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲 得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0019] 本發(fā)明公開了一種基于表情識別的無人機控制方法，其具體包括以下的步驟：步 驟一、收集各種不同的人臉表情作為訓(xùn)練樣本圖像，每個樣本圖像中包括多個局部區(qū)域，提 取出每個局部區(qū)域的特征形成特征組，并將特征組進行分類訓(xùn)練，得到基于面部表情的表 情識別器；步驟二、設(shè)置在無人機上的圖像獲取裝置獲取視角范圍內(nèi)的圖像，并判斷該圖像 中是否存在人，是則啟動表情識別的步驟，得到人的面部圖像，否則繼續(xù)獲取視角范圍內(nèi)的 圖像；步驟三、提取步驟二得到的面部圖像的特征信息，并基于所提取的特征信息以及面部 表情的表情識別器識別出所得到的人臉的面部表情；步驟四、將圖像中的人的表情翻譯為 無人機的控制命令，并發(fā)送給無人機。本發(fā)明首先收集多個不同的人臉表情作為訓(xùn)練的樣 本圖像，并將人臉分為多個區(qū)域，從而得到多個人臉的多個區(qū)域的特征值，然后將這些特征 進行組合形成特征組并進行分類訓(xùn)練，從而得到基于面部運動單元的表情識別器。當獲取 到人的新的面部表情后，提取其面部特征值，并將該特征值與面部表情的表情識別器進行 匹配和比對，從而得到人臉的面部表情，然后映射成無人機的控制命令對無人機進行控制， 方便了用戶的使用，提高了用戶的操作體驗。
[0020] 圖1為無人機采集圖像后的處理步驟，其先采集視頻圖像，然后進行人臉定位與 根據(jù)，根據(jù)定位到的人臉進行表情識別，然后進行表情翻譯和控制。
[0021] 圖2為基于表情的無人機控制方法實施流程圖，其先要獲取多個訓(xùn)練集形成表情 識別器，然后用該表情識別器識別獲取到的表情。
[0022] 更進一步地，上述步驟一具體包括特征提取和分類訓(xùn)練兩個步驟。所述特征提 取具體包括以下的步驟：步驟1 :收集訓(xùn)練樣本圖像，每個樣本圖像包括49個局部區(qū)域， 每個局部區(qū)域都包含有運動單元，面部運動單元是人臉表情所獨有的特性，面部運動單元 包含的信息非常大，例如：嘴角上揚、鼻子隆起、眉毛壓低等等，因此很難精確的識別運動 單元，從而導(dǎo)致很多的表情識別方法都沒有考慮應(yīng)用面部運動單元。與一些經(jīng)典的特征 (Gabor特征、Haar特征和LBP特征）相比，面部運動單元所描述的信息不同。Gabor特征 等主要側(cè)重于圖像本身的像素灰度、對比度、紋理等基本信息，這些信息有些跟表情的分類 沒有任何的關(guān)系，而面部運動單元則是著重考慮如何將圖像中與表情相關(guān)聯(lián)的信息描述出 來，因此通過面部動作單元來確定表情圖像中不同表情類別的特征將更有利于分類器識別 人臉表情。每一種表情由49個局部區(qū)域的特征組來進行表達，提取出每個局部區(qū)域的Harr 特征。比如常見的高興、悲傷、憤怒、驚訝、厭惡、恐懼等都可由這49個局部區(qū)域的特征組合 來進行表達。步驟2 :采用弱分類器進行分類，計算每組局部特征的錯誤率(這里主要是為 了整合特征，每一個整合后的特征組都相當于一組面部運動單元，由于人臉表情是由一系 列的面部運動單元所組成，因此，每一個組合特征都是可以看作是某一類表情的基于面部 運動單元的特征。發(fā)明所用方法就是要找到一個整合后的特征組，他能代表一組面部運動 單元，而利用Haar提取的特征的普遍的和面部運動單元特征存在誤差，及錯誤率。錯誤率 低的特征更符合面部