本發(fā)明涉及機(jī)器人控制技術(shù)領(lǐng)域，更具體地說(shuō)，涉及基于智能移動(dòng)終端的機(jī)器人控制系統(tǒng)及控制方法。

背景技術(shù)：

智能機(jī)器人是一個(gè)集環(huán)境感知、動(dòng)態(tài)決策與規(guī)劃、行為控制與執(zhí)行等多功能于一體的綜合系統(tǒng)。它集計(jì)算機(jī)科學(xué)、信息學(xué)、機(jī)械運(yùn)動(dòng)和動(dòng)力學(xué)、控制理論等學(xué)科的先進(jìn)技術(shù)于一體，是目前科學(xué)技術(shù)發(fā)展的前沿領(lǐng)域之一。但是，機(jī)器人自誕生以來(lái)，所采用的控制器基本都是開(kāi)發(fā)者基于自己的獨(dú)立封閉架構(gòu)開(kāi)發(fā)的，采用專(zhuān)用計(jì)算機(jī)、專(zhuān)用編程語(yǔ)言、專(zhuān)用操作系統(tǒng)，價(jià)格昂貴、可擴(kuò)展性差，不利于智能機(jī)器人走向普通家庭。

智能手機(jī)具有開(kāi)放性的操作系統(tǒng)，可以通過(guò)安裝應(yīng)用軟件來(lái)擴(kuò)充其功能，友好的人機(jī)交互和便攜型，使其成為人們?nèi)粘Ｉ钪胁豢苫蛉钡闹匾糠帧Ｍ瑫r(shí)智能手機(jī)包含攝像頭、麥克風(fēng)、藍(lán)牙、陀螺儀、加速度傳感器等一系列硬件，且具有一定的數(shù)據(jù)處理能力。

如何使用移動(dòng)終端對(duì)機(jī)器人進(jìn)行控制和數(shù)據(jù)處理，是現(xiàn)在的迫切需求，中國(guó)專(zhuān)利申請(qǐng)，申請(qǐng)?zhí)?01510180981.7，公開(kāi)日2015年7月22日，公開(kāi)了一種機(jī)器人系統(tǒng)，具體涉及一種基于手機(jī)控制的機(jī)器人系統(tǒng)。包括：機(jī)器人裝置以及用于控制機(jī)器人裝置的手機(jī)裝置，其中：所述機(jī)器人裝置包括：機(jī)器人通信模塊、咪頭、喇叭模塊、功放模塊、舵機(jī)、機(jī)器人主控制器；所述手機(jī)終端包括：用于和所述機(jī)器人通信模塊通信的手機(jī)通信模塊，手機(jī)主控制器，手機(jī)存儲(chǔ)模塊。因此，此發(fā)明具有如下優(yōu)點(diǎn)：1.設(shè)計(jì)合理，結(jié)構(gòu)簡(jiǎn)單，完全實(shí)用且成本較低；2.智能化程度較高，擁有交互功能；3.降低機(jī)器人功耗，增加續(xù)航時(shí)間。但是其控制方式依靠手動(dòng)，且智能化程度低，控制不精確，識(shí)別性差。

技術(shù)實(shí)現(xiàn)要素：

1.要解決的技術(shù)問(wèn)題

針對(duì)現(xiàn)有技術(shù)中存在的機(jī)器人控制方式依靠手動(dòng)，且智能化程度低，控制不精確，識(shí)別性差問(wèn)題，本發(fā)明提供了基于智能移動(dòng)終端的機(jī)器人控制系統(tǒng)及控制方法，它可以實(shí)現(xiàn)智能移動(dòng)終端作為機(jī)器人的核心控制模塊，降低機(jī)器人的復(fù)雜程度，全面提升機(jī)器人的可擴(kuò)展性、易用性和人機(jī)交互體驗(yàn)。

2.技術(shù)方案

本發(fā)明的目的通過(guò)以下技術(shù)方案實(shí)現(xiàn)。

基于智能移動(dòng)終端的機(jī)器人控制系統(tǒng)，包括：

機(jī)器人本體，內(nèi)部設(shè)置有藍(lán)牙通信模塊、嵌入式控制模塊和電機(jī)驅(qū)動(dòng)模塊，用于將藍(lán)牙通信模塊接收到的控制指令傳遞給嵌入式控制模塊，由嵌入式控制模塊發(fā)出pwm信號(hào)給電機(jī)驅(qū)動(dòng)模塊，進(jìn)而執(zhí)行相應(yīng)的動(dòng)作；

機(jī)載移動(dòng)終端，固定在機(jī)器人本體上，用于接收來(lái)自于遠(yuǎn)程控制終端的視頻通話請(qǐng)求時(shí)，開(kāi)啟攝像頭與閃光燈，采集并傳遞實(shí)時(shí)圖像至遠(yuǎn)程控制終端，若接收到來(lái)自遠(yuǎn)程控制終端的機(jī)器人控制指令時(shí)，通過(guò)藍(lán)牙通信模塊發(fā)送給機(jī)器人本體；

遠(yuǎn)程控制終端，用于依據(jù)接收來(lái)自于機(jī)載移動(dòng)終端的實(shí)時(shí)圖像，將其在屏幕上顯示，同時(shí)進(jìn)行按鍵控制、語(yǔ)音控制和陀螺儀控制三種控制模式，對(duì)機(jī)器人發(fā)送控制指令；

云端服務(wù)器，用于在接收到來(lái)自客戶(hù)端的服務(wù)請(qǐng)求時(shí)，依據(jù)服務(wù)請(qǐng)求的內(nèi)容驗(yàn)證客戶(hù)端權(quán)限，并將服務(wù)請(qǐng)求轉(zhuǎn)發(fā)至相應(yīng)的服務(wù)器；

視頻通話與指令服務(wù)器，用于依據(jù)接收到視頻通話和指令服務(wù)請(qǐng)求時(shí)，為相關(guān)客戶(hù)端建立視頻通話和指令收發(fā)通道；

人臉識(shí)別服務(wù)器，用于依據(jù)接收到人臉識(shí)別服務(wù)請(qǐng)求時(shí)，對(duì)客戶(hù)端發(fā)送過(guò)來(lái)的人臉圖像進(jìn)行識(shí)別并返回識(shí)別結(jié)果。

更進(jìn)一步的，所述機(jī)器人本體通過(guò)藍(lán)牙串口協(xié)議與所述機(jī)載移動(dòng)終端連接。

更進(jìn)一步的，機(jī)載移動(dòng)終端為手機(jī)或平板電腦。

更進(jìn)一步的，遠(yuǎn)程控制終端為智能移動(dòng)終端或者計(jì)算機(jī)。

一種采用上述基于智能移動(dòng)終端的機(jī)器人控制系統(tǒng)的控制方法，步驟如下：

a、遠(yuǎn)程控制端發(fā)送相應(yīng)控制指令，并通過(guò)云端服務(wù)器驗(yàn)證客戶(hù)端權(quán)限，并將服務(wù)請(qǐng)求轉(zhuǎn)發(fā)至相應(yīng)的服務(wù)器；

b、機(jī)載移動(dòng)終端接收來(lái)自于遠(yuǎn)程控制終端或云端服務(wù)器的請(qǐng)求時(shí)，并進(jìn)行相應(yīng)的操作；機(jī)載移動(dòng)終端接受的請(qǐng)求包括：視頻呼叫；照明開(kāi)啟；機(jī)器人運(yùn)動(dòng)控制；人臉檢測(cè)與識(shí)別；對(duì)指定的目標(biāo)進(jìn)行跟蹤；

c、視頻通話與指令服務(wù)器，接受來(lái)自云端服務(wù)器的請(qǐng)求，用于依據(jù)接收到視頻通話和指令服務(wù)請(qǐng)求，為機(jī)載移動(dòng)終端和遠(yuǎn)程控制端建立視頻通話和指令收發(fā)通道。

優(yōu)選的，所述指令為視頻呼叫時(shí)，所述機(jī)器人本體根據(jù)所述指令執(zhí)行對(duì)應(yīng)操作包括：所述遠(yuǎn)程控制終端向云端服務(wù)器發(fā)送對(duì)機(jī)器人的視頻通話請(qǐng)求，云端服務(wù)器請(qǐng)求視頻通話與指令服務(wù)器建立視頻通話和指令收發(fā)通道，并詢(xún)問(wèn)機(jī)載移動(dòng)終端是否同意視頻通話，如果同意將開(kāi)啟機(jī)載移動(dòng)終端的攝像頭和麥克風(fēng)，采集圖像和音頻壓縮成特定格式并發(fā)送到遠(yuǎn)程控制終端。

優(yōu)選的，所述指令為照明開(kāi)啟時(shí)，所述機(jī)器人本體根據(jù)所述指令執(zhí)行對(duì)應(yīng)操作包括：所述遠(yuǎn)程控制終端利用視頻通話時(shí)建立的視頻通話和指令收發(fā)通道，向機(jī)載移動(dòng)終端發(fā)送照明開(kāi)啟指令，機(jī)載移動(dòng)終端接收到照明開(kāi)啟指令后，機(jī)載移動(dòng)終端開(kāi)啟自身的led閃光燈，進(jìn)行照明。

優(yōu)選的，所述指令為機(jī)器人運(yùn)動(dòng)控制時(shí)，所述機(jī)器人本體根據(jù)所述指令執(zhí)行對(duì)應(yīng)操作包括：所述遠(yuǎn)程控制終端利用視頻通話時(shí)建立的視頻通話和指令收發(fā)通道，向機(jī)載移動(dòng)終端發(fā)送前進(jìn)、后退、轉(zhuǎn)彎運(yùn)動(dòng)指令，機(jī)載移動(dòng)終端通過(guò)藍(lán)牙通信模塊向所述機(jī)器人本體的嵌入式控制模塊發(fā)送運(yùn)動(dòng)指令，嵌入式控制模塊依據(jù)接收到的指令發(fā)出相應(yīng)pwm信號(hào)給電機(jī)驅(qū)動(dòng)模塊，電機(jī)工作，帶動(dòng)機(jī)器人移動(dòng)。

優(yōu)選的，所述指令為人臉檢測(cè)與識(shí)別時(shí)，所述機(jī)器人本體根據(jù)所述指令執(zhí)行對(duì)應(yīng)操作包括：所述機(jī)器人利用機(jī)載移動(dòng)終端攝像頭獲取并向遠(yuǎn)程控制終端發(fā)送人臉面部圖像；遠(yuǎn)處控制終端根據(jù)adaboost算法訓(xùn)練弱、強(qiáng)分類(lèi)器，構(gòu)建級(jí)聯(lián)分類(lèi)器，形成人臉檢測(cè)器；利用人臉檢測(cè)器從接收到的人臉面部圖像中檢測(cè)人臉并用矩形窗口標(biāo)示出來(lái)，將檢測(cè)到的人臉圖像發(fā)送至所述人臉識(shí)別服務(wù)器；所述人臉識(shí)別服務(wù)器將接收到的人臉圖像提取特征值后與人臉特征庫(kù)中的特征值進(jìn)行匹配，并返回處理結(jié)果。

優(yōu)選的，所述指令為對(duì)指定的目標(biāo)進(jìn)行跟蹤時(shí)，所述機(jī)器人本體根據(jù)所述指令執(zhí)行對(duì)應(yīng)操作包括：用矩形框標(biāo)記待跟蹤的目標(biāo)，根據(jù)cmt跟蹤算法構(gòu)建目標(biāo)跟蹤器，計(jì)算每一幀圖像中目標(biāo)矩形框的位置，發(fā)送前進(jìn)、后退、轉(zhuǎn)彎指令，控制機(jī)器人本體移動(dòng)。

3.有益效果

相比于現(xiàn)有技術(shù)，本發(fā)明的優(yōu)點(diǎn)在于：

(1)本方案采用基于智能移動(dòng)終端的機(jī)器人控制系統(tǒng)并配合控制方法，以智能移動(dòng)終端作為核心控制平臺(tái)，大大簡(jiǎn)化了機(jī)器人結(jié)構(gòu)，降低成本，同時(shí)移動(dòng)app軟件和云端服務(wù)器的應(yīng)用，讓主控方可以遠(yuǎn)程控制機(jī)器人行進(jìn)、采集并傳遞實(shí)時(shí)圖像以及進(jìn)行目標(biāo)識(shí)別和跟蹤，進(jìn)一步提升了機(jī)器人的可擴(kuò)展性和實(shí)用性，有效促進(jìn)機(jī)器人的使用和推廣；

(2)本方案包括多種控制模式，包括視頻呼叫；照明開(kāi)啟；機(jī)器人運(yùn)動(dòng)控制；人臉檢測(cè)與識(shí)別；對(duì)指定的目標(biāo)進(jìn)行跟蹤，控制模式多樣，可以使用不同的指令獲得不同的效果，且不需要增加機(jī)器人多余的控制部件，成本低，操作方便。

附圖說(shuō)明

圖1為基于智能移動(dòng)終端的機(jī)器人的結(jié)構(gòu)示意圖；

圖2為基于智能移動(dòng)終端的機(jī)器人的視頻通話和遠(yuǎn)程控制流程圖；

圖3為基于智能移動(dòng)終端的機(jī)器人的運(yùn)動(dòng)控制流程圖

圖4為基于智能移動(dòng)終端的機(jī)器人的人臉識(shí)別流程圖；

圖5為基于智能移動(dòng)終端的機(jī)器人的目標(biāo)跟蹤流程圖；

圖6為基于智能移動(dòng)終端的機(jī)器人的目標(biāo)跟蹤器工作流程圖。

圖中標(biāo)號(hào)說(shuō)明：

1、機(jī)器人本體，2、機(jī)載移動(dòng)終端，3、遠(yuǎn)程控制端，4、云端服務(wù)器，5、視頻通話與指令服務(wù)器，6、人臉識(shí)別服務(wù)器，11、嵌入式控制模塊，12、藍(lán)牙通信模塊，13、電機(jī)驅(qū)動(dòng)模塊。

具體實(shí)施方式

下面結(jié)合說(shuō)明書(shū)附圖和具體的實(shí)施例，對(duì)本發(fā)明作詳細(xì)描述。

實(shí)施例1

針對(duì)上述情況，本發(fā)明提出基于智能移動(dòng)終端的機(jī)器人控制系統(tǒng)及控制方法，利用智能移動(dòng)終端作為機(jī)器人的核心控制模塊，降低機(jī)器人的復(fù)雜程度，全面提升機(jī)器人的可擴(kuò)展性、易用性和人機(jī)交互體驗(yàn)。

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

如圖1所示，本發(fā)明公開(kāi)了基于智能移動(dòng)終端的機(jī)器人控制系統(tǒng)，包括：

機(jī)器人本體1，用于依據(jù)將藍(lán)牙通信模塊12接收到的控制指令，傳遞給嵌入式控制模塊11，由嵌入式控制模塊11發(fā)出pwm(脈沖寬度調(diào)制)信號(hào)給電機(jī)驅(qū)動(dòng)模塊13，進(jìn)而執(zhí)行相應(yīng)的動(dòng)作；

機(jī)載移動(dòng)終端2，用于依據(jù)接收到來(lái)自于遠(yuǎn)程控制終端3的視頻通話請(qǐng)求時(shí)，打開(kāi)攝像頭，采集并傳遞實(shí)時(shí)圖像至遠(yuǎn)程控制終端3，若接收到來(lái)自遠(yuǎn)程控制終端3的控制指令時(shí)，通過(guò)藍(lán)牙通信模塊11發(fā)送給機(jī)器人本體1；

遠(yuǎn)程控制終端3，用于依據(jù)接收來(lái)自于機(jī)載移動(dòng)終端2的實(shí)時(shí)圖像，將其在屏幕上顯示，同時(shí)利用客戶(hù)端應(yīng)用內(nèi)的按鍵控制、語(yǔ)音控制和陀螺儀控制三種控制模式，對(duì)機(jī)器人發(fā)送控制指令。

云端服務(wù)器4，用于在接收到來(lái)自客戶(hù)端的服務(wù)請(qǐng)求時(shí)，依據(jù)服務(wù)請(qǐng)求的內(nèi)容驗(yàn)證客戶(hù)端權(quán)限，并將服務(wù)請(qǐng)求轉(zhuǎn)發(fā)至相應(yīng)的服務(wù)器；

視頻通話與指令服務(wù)器5，用于依據(jù)接收到視頻通話和指令服務(wù)請(qǐng)求時(shí)，為相關(guān)客戶(hù)端建立視頻通話和指令收發(fā)通道；

人臉識(shí)別服務(wù)器6，用于依據(jù)接收到人臉識(shí)別服務(wù)請(qǐng)求時(shí)，對(duì)客戶(hù)端發(fā)送過(guò)來(lái)的人臉圖像進(jìn)行識(shí)別并返回識(shí)別結(jié)果。

所述智能移動(dòng)終端可以是安卓智或者蘋(píng)果智能手機(jī)、平板電腦。所述遠(yuǎn)程控制終端3可以是智能移動(dòng)終端或者計(jì)算機(jī)。本控制系統(tǒng)以機(jī)載移動(dòng)終端2作為核心控制器，固定在機(jī)器人云臺(tái)上，通過(guò)藍(lán)牙通信模塊12與機(jī)器人本體1進(jìn)行通信，遠(yuǎn)程控制終端3通過(guò)云端服務(wù)器4和客戶(hù)端應(yīng)用軟件與機(jī)載移動(dòng)終端交互，遠(yuǎn)程控制機(jī)器人。

本系統(tǒng)，分別設(shè)計(jì)服務(wù)器端和客戶(hù)端應(yīng)用程序，在服務(wù)器端應(yīng)用內(nèi)進(jìn)行客戶(hù)端之間視頻通話通道的建立和指令消息的轉(zhuǎn)發(fā)，并為客戶(hù)端提供人臉識(shí)別服務(wù)?？蛻?hù)端應(yīng)用內(nèi)通過(guò)云端服務(wù)器4建立的視頻通話通道進(jìn)行視頻通話，對(duì)攝像頭拍攝的圖像進(jìn)行人類(lèi)檢測(cè)，并將檢測(cè)到的人臉發(fā)送至云端服務(wù)器4進(jìn)行識(shí)別。按角色的不同將客戶(hù)端進(jìn)一步細(xì)分為：機(jī)載移動(dòng)終端客戶(hù)端和遠(yuǎn)程控制終端客戶(hù)端。機(jī)載移動(dòng)終端客戶(hù)端應(yīng)用內(nèi)進(jìn)行機(jī)器人姿態(tài)角度、運(yùn)動(dòng)速度等各種數(shù)據(jù)的采集、處理，接收來(lái)自遠(yuǎn)程控制移動(dòng)終端發(fā)來(lái)的控制指令，控制機(jī)器人進(jìn)行相關(guān)操作；遠(yuǎn)程控制終端客戶(hù)端應(yīng)用內(nèi)設(shè)置按鍵控制、語(yǔ)音控制和陀螺儀控制三種控制模式，通過(guò)視頻通話得到實(shí)時(shí)圖像對(duì)機(jī)器人進(jìn)行前進(jìn)、后退、轉(zhuǎn)彎等運(yùn)動(dòng)控制。

如圖2所示，基于智能移動(dòng)終端的機(jī)器人的視頻通話和遠(yuǎn)程控制流程圖步驟為：

步驟s101：遠(yuǎn)程控制終端3客戶(hù)端向云端服務(wù)器4發(fā)送視頻通話請(qǐng)求，云端服務(wù)器4查詢(xún)視頻通話與指令服務(wù)器5的工作狀態(tài)，如果條件符合返回可以視頻通話標(biāo)示，否則返回拒絕視頻通話標(biāo)示。云端服務(wù)器4接收到可以視頻通話標(biāo)示，發(fā)送視頻通話請(qǐng)求消息給機(jī)載移動(dòng)終端2客戶(hù)端，并將可以視頻通話標(biāo)示發(fā)送給遠(yuǎn)程控制終端3客戶(hù)端。機(jī)載移動(dòng)終端2客戶(hù)端同意視頻通話，視頻通話與指令服務(wù)器5建立視頻通話通道，兩客戶(hù)端之間開(kāi)始視頻通話。

步驟s102：將遠(yuǎn)程控制終端3利用按鍵控制、語(yǔ)音控制或者陀螺儀控制對(duì)機(jī)器人進(jìn)行操作的動(dòng)作轉(zhuǎn)換為指令，經(jīng)由云端服務(wù)器4和視頻通話與指令服務(wù)器4發(fā)送給機(jī)載移動(dòng)終端2，再由機(jī)載移動(dòng)終端2對(duì)機(jī)器人1進(jìn)行進(jìn)一步的控制。

步驟s103：遠(yuǎn)程控制終端3客戶(hù)端向云端服務(wù)器4發(fā)送視頻通話結(jié)束請(qǐng)求，云端服務(wù)器4向視頻通話與指令服務(wù)器5、機(jī)載移動(dòng)終端2客戶(hù)端和遠(yuǎn)程控制終端3客戶(hù)端發(fā)送視頻通話結(jié)束標(biāo)示，視頻通話與指令服務(wù)器5銷(xiāo)毀視頻通話通道，視頻通話結(jié)束。

如圖3所示，基于智能移動(dòng)終端的機(jī)器人的運(yùn)動(dòng)控制流程圖步驟為：

步驟s201：遠(yuǎn)程控制終端3客戶(hù)端內(nèi)置按鍵控制、語(yǔ)音控制、陀螺儀控制三種控制模式，用戶(hù)可根據(jù)自己的需求進(jìn)行選擇。

步驟s202：用戶(hù)選擇按鍵控制模式時(shí)，交互界面包含前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)按鈕，用戶(hù)對(duì)某個(gè)按鈕的點(diǎn)擊動(dòng)作，將生成相應(yīng)運(yùn)動(dòng)指令，用戶(hù)的抬起動(dòng)作，將生成停止指令。

步驟s203：用戶(hù)選擇語(yǔ)音控制模式時(shí)，借助于語(yǔ)音識(shí)別技術(shù)，將用戶(hù)的語(yǔ)音識(shí)別成文字，通過(guò)匹配查找“前進(jìn)”、“后退”、“左轉(zhuǎn)”、“右轉(zhuǎn)”、“停止”等關(guān)鍵字，生成相應(yīng)運(yùn)動(dòng)指令。

步驟s204：用戶(hù)選擇陀螺儀控制模式時(shí)，利用智能移動(dòng)終端自帶的陀螺儀，計(jì)算終端的傾斜方向和角度，生成相應(yīng)運(yùn)動(dòng)指令。

步驟s205：通過(guò)步驟s101建立的視頻通話通道，將步驟s202、s203、s204生成的運(yùn)動(dòng)指令發(fā)送到機(jī)載移動(dòng)終端2。

步驟s206：機(jī)載移動(dòng)終端2通過(guò)藍(lán)牙通信模塊12將控制指令發(fā)送到機(jī)器人本體1的嵌入式控制模塊11。

步驟s207：由嵌入式控制模塊11發(fā)出pwm信號(hào)給電機(jī)驅(qū)動(dòng)模塊13，電機(jī)進(jìn)行工作，從而驅(qū)動(dòng)機(jī)器人移動(dòng)。

如圖4所示，基于智能移動(dòng)終端的機(jī)器人的人臉識(shí)別流程圖步驟為：

步驟s301：在遠(yuǎn)程控制終端3和機(jī)載移動(dòng)終端2客戶(hù)端內(nèi)，調(diào)用終端設(shè)備的攝像頭拍攝圖片。

步驟s302：利用人臉檢測(cè)器從步驟s301拍攝的圖片中提取人臉圖像，并發(fā)送至人臉識(shí)別服務(wù)器6。

步驟s303：人臉識(shí)別服務(wù)器6接收到來(lái)自客戶(hù)端的服務(wù)請(qǐng)求和人臉圖像。

步驟s304：如果服務(wù)請(qǐng)求為添加數(shù)據(jù)時(shí)，將步驟s301接收到的人臉圖像按用戶(hù)提供的id存入人臉圖像庫(kù)。

步驟s305：利用特制值提取模塊從步驟s301接收到的人臉圖像中提取特征值，并按用戶(hù)提供的id存入人臉特征庫(kù)。

步驟s306：如果服務(wù)請(qǐng)求為人臉識(shí)別時(shí)，利用特制值提取模塊從從步驟s301接收到的人臉圖像中提取特征值。

步驟s307：利用特征值匹配模塊將步驟s304中得到的特征值與人臉特征庫(kù)中的數(shù)據(jù)進(jìn)行比較，并返回一個(gè)相似度高于閥值的最接近結(jié)果。

步驟s308：將步驟s303、s305得到的結(jié)果發(fā)送到客戶(hù)端。

如圖5所示，基于智能移動(dòng)終端的機(jī)器人的目標(biāo)跟蹤流程圖步驟為：

步驟s401：cmt算法具有較強(qiáng)的實(shí)時(shí)性和魯棒性，采用cmt算法構(gòu)建目標(biāo)跟蹤器。

步驟s402：使用矩形框標(biāo)記待追蹤目標(biāo)，對(duì)目標(biāo)跟蹤器進(jìn)行初始化。

步驟s403：目標(biāo)跟蹤器計(jì)算每一幀圖像中目標(biāo)所處的位置，更新矩形框。

步驟s404：分析矩形框在固定窗口中的位置，生成前進(jìn)、后退、轉(zhuǎn)彎指令。

步驟s405：機(jī)載移動(dòng)終端2通過(guò)藍(lán)牙通信模塊向12機(jī)器人發(fā)送控制指令，控制機(jī)器人移動(dòng)。

如圖6所示，基于智能移動(dòng)終端的機(jī)器人的目標(biāo)跟蹤器工作流程圖步驟為：

步驟s501：選擇待追蹤目標(biāo)的矩形框，從第一幀圖像中提取所有前景和背景關(guān)鍵點(diǎn)的特征描述，建立一個(gè)特征描述庫(kù)database。計(jì)算并保存第一幀中所有歸一化前景關(guān)鍵點(diǎn)與x軸的夾角(反正切)以及關(guān)鍵點(diǎn)兩兩之間的距離。

步驟s502：使用金字塔lk光流法計(jì)算前向光流和后向光流，再比較兩次得到的對(duì)應(yīng)關(guān)鍵點(diǎn)之間的距離，距離大于閾值的關(guān)鍵點(diǎn)對(duì)排除掉，剩下的關(guān)鍵點(diǎn)即作為跟蹤到的關(guān)鍵點(diǎn)。

步驟s503：將當(dāng)前幀中檢測(cè)到的所有關(guān)鍵點(diǎn)的特征描述與database進(jìn)行knnmatch匹配(k＝2)，每個(gè)特征描述子在database尋找最佳的2個(gè)匹配結(jié)果，將符合以下條件之一的匹配關(guān)鍵點(diǎn)排除：

匹配到了背景關(guān)鍵點(diǎn)；

最佳匹配的匹配距離大于閾值0.25；

最佳匹配與次佳匹配的匹配距離之比大于閾值0.8(比率越小，最佳匹配越優(yōu)于次佳匹配)

剩下的關(guān)鍵點(diǎn)即作為跟蹤到的關(guān)鍵點(diǎn)。

步驟s504：將光流法跟蹤到的關(guān)鍵點(diǎn)與全局匹配到的關(guān)鍵點(diǎn)融合，得到的關(guān)鍵點(diǎn)用于評(píng)估目標(biāo)的旋轉(zhuǎn)角度和尺度，以及找尋目標(biāo)中心位置。

步驟s505：計(jì)算步驟s504融合后得到的關(guān)鍵點(diǎn)的夾角以及關(guān)鍵點(diǎn)兩兩之間的距離，并與步驟s501對(duì)應(yīng)的前景關(guān)鍵點(diǎn)的夾角求差、距離求商，再分別取平均值，評(píng)估出當(dāng)前幀中目標(biāo)的尺度因子scale和旋轉(zhuǎn)角度rotation。

計(jì)算步驟s504融合后得到的關(guān)鍵點(diǎn)的投票，即每一個(gè)關(guān)鍵點(diǎn)與對(duì)應(yīng)的經(jīng)過(guò)尺度和旋轉(zhuǎn)變換后的前景關(guān)鍵點(diǎn)之間構(gòu)成的向量；計(jì)算向量的長(zhǎng)度，按長(zhǎng)度的大小進(jìn)行升序排列；聚類(lèi)并得到結(jié)果中最大的類(lèi)(當(dāng)兩個(gè)類(lèi)之間的距離小于閾值，合并這兩個(gè)類(lèi))；將此類(lèi)中的所有關(guān)鍵點(diǎn)的坐標(biāo)均值作為目標(biāo)中心點(diǎn)。

步驟s506：比較當(dāng)前幀中檢測(cè)得到的每一個(gè)關(guān)鍵點(diǎn)與第一幀中經(jīng)過(guò)旋轉(zhuǎn)和尺度變換之后的所有前景關(guān)鍵點(diǎn)之間的歐氏距離，小于閾值20則該前景關(guān)鍵點(diǎn)是有可能匹配上的，將這些可能的前景關(guān)鍵點(diǎn)構(gòu)造成一個(gè)特征描述庫(kù)database_potential；將當(dāng)前幀中檢測(cè)得到的每一個(gè)關(guān)鍵點(diǎn)的特征描述與database_potential進(jìn)行knnmatch匹配，每個(gè)特征描述子在database_potential尋找最佳的2個(gè)匹配結(jié)果，排除不穩(wěn)定的關(guān)鍵點(diǎn)的策略與同步驟s503。

步驟s507：將步驟s506中匹配到的關(guān)鍵點(diǎn)與步驟s505中聚類(lèi)得到的所有關(guān)鍵點(diǎn)融合，得到最終有效的目標(biāo)關(guān)鍵點(diǎn)，這些關(guān)鍵點(diǎn)用于下一幀的跟蹤。

步驟s508：計(jì)算新的跟蹤窗口，更新顯示圖像。

本方案采用基于智能移動(dòng)終端的機(jī)器人控制系統(tǒng)并配合控制方法，以智能移動(dòng)終端作為核心控制平臺(tái)，大大簡(jiǎn)化了機(jī)器人結(jié)構(gòu)，降低成本，同時(shí)移動(dòng)app軟件和云端服務(wù)器的應(yīng)用，讓主控方可以遠(yuǎn)程控制機(jī)器人行進(jìn)、采集并傳遞實(shí)時(shí)圖像以及進(jìn)行目標(biāo)識(shí)別和跟蹤，進(jìn)一步了提升機(jī)器人的可擴(kuò)展性和實(shí)用性，有效促進(jìn)機(jī)器人的使用和推廣。

以上示意性地對(duì)本發(fā)明創(chuàng)造及其實(shí)施方式進(jìn)行了描述，該描述沒(méi)有限制性，在不背離本發(fā)明的精神或者基本特征的情況下，能夠以其他的具體形式實(shí)現(xiàn)本發(fā)明。附圖中所示的也只是本發(fā)明創(chuàng)造的實(shí)施方式之一，實(shí)際的結(jié)構(gòu)并不局限于此，權(quán)利要求中的任何附圖標(biāo)記不應(yīng)限制所涉及的權(quán)利要求。所以，如果本領(lǐng)域的普通技術(shù)人員受其啟示，在不脫離本創(chuàng)造宗旨的情況下，不經(jīng)創(chuàng)造性的設(shè)計(jì)出與該技術(shù)方案相似的結(jié)構(gòu)方式及實(shí)施例，均應(yīng)屬于本專(zhuān)利的保護(hù)范圍。此外，“包括”一詞不排除其他元件或步驟，在元件前的“一個(gè)”一詞不排除包括“多個(gè)”該元件。產(chǎn)品權(quán)利要求中陳述的多個(gè)元件也可以由一個(gè)元件通過(guò)軟件或者硬件來(lái)實(shí)現(xiàn)。第一，第二等詞語(yǔ)用來(lái)表示名稱(chēng)，而并不表示任何特定的順序。