本發(fā)明涉及人機(jī)交互智能系統(tǒng)，具體涉及一種基于面部特征追蹤的人機(jī)交互系統(tǒng)及其工作方法。

背景技術(shù)：

隨著計(jì)算機(jī)的普遍應(yīng)用，人工智能技術(shù)、人機(jī)交互系統(tǒng)開(kāi)始發(fā)展起來(lái)。通過(guò)人機(jī)交互系統(tǒng)，人與計(jì)算機(jī)之間完成交流與通信，在最大程度上通過(guò)計(jì)算機(jī)智能為人們完成信息管理，服務(wù)和處理等功能。

現(xiàn)有的人機(jī)交互一般都是通過(guò)手動(dòng)輸入或通過(guò)身體接觸進(jìn)行人工操作的方式完成，使用時(shí)需要手指處于空閑狀態(tài)，否則難以完成。在一些特殊情況下容易造成用戶使用上的不方便，而且有時(shí)由于疏忽也會(huì)出現(xiàn)誤操作，造成用戶的其它困擾。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種操作簡(jiǎn)單、方便實(shí)用的基于面部特征追蹤的實(shí)時(shí)人機(jī)交互系統(tǒng)。

為解決上述技術(shù)問(wèn)題，本發(fā)明所采取的技術(shù)方案是：

一種基于面部特征追蹤的實(shí)時(shí)人機(jī)交互系統(tǒng)，包括數(shù)據(jù)采集組件、數(shù)據(jù)分析處理組件、動(dòng)作反饋組件和通信及操控組件，其中，

所述數(shù)據(jù)采集組件用于追蹤用戶頭部動(dòng)作和面部特征信息，并轉(zhuǎn)換成數(shù)據(jù)信號(hào)輸入系統(tǒng)中；

所述數(shù)據(jù)分析處理組件與數(shù)據(jù)采集組件連接，用于對(duì)數(shù)據(jù)采集組件追蹤的信息進(jìn)行分析處理；

所述動(dòng)作反饋組件與數(shù)據(jù)分析處理組件連接，用于對(duì)比分析數(shù)據(jù)分析處理組件處理的信息以及動(dòng)作反饋組件中儲(chǔ)存的信息，并得到反饋信息反饋給通信及操控組件，以判定通信及操控組件的操控動(dòng)作；

所述通信及操控組件與動(dòng)作反饋組件連接，用于接受動(dòng)作反饋組件提供的反饋信息，并根據(jù)反饋信息控制相應(yīng)設(shè)備的動(dòng)作。

進(jìn)一步的技術(shù)方案在于：所述數(shù)據(jù)采集組件包括多個(gè)設(shè)置在同一空間不同位置的攝像頭，每個(gè)攝像頭上均設(shè)置有用于感應(yīng)用戶動(dòng)作的傳感器。

進(jìn)一步的技術(shù)方案在于：所述數(shù)據(jù)分析處理組件包括圖像處理模塊、面部特征識(shí)別分析模塊和頭部動(dòng)作識(shí)別分析模塊，其中，

所述圖像處理模塊用于實(shí)時(shí)對(duì)每幀圖像進(jìn)行預(yù)處理；

面部特征識(shí)別分析模塊用于對(duì)圖像處理模塊中預(yù)處理完成的圖像的面部細(xì)節(jié)特征進(jìn)行識(shí)別；

頭部動(dòng)作識(shí)別分析模塊用于對(duì)圖像處理模塊中預(yù)處理完成的圖像的頭部動(dòng)作信息特征進(jìn)行識(shí)別。

進(jìn)一步的技術(shù)方案在于：所述圖像處理模塊對(duì)每幀圖像的預(yù)處理，包括但不限于：將多張圖片合成為全景圖片、灰度處理、高斯模糊、二值化處理，以為之后的識(shí)別做準(zhǔn)備。

進(jìn)一步的技術(shù)方案在于：所述面部特征識(shí)別分析模塊和頭部動(dòng)作識(shí)別分析模塊內(nèi)設(shè)置有至少一種算法，以用于識(shí)別用戶的面部、面部細(xì)節(jié)特征和頭部動(dòng)作信息特征。

進(jìn)一步的技術(shù)方案在于：所述動(dòng)作反饋組件包括面部特征數(shù)據(jù)庫(kù)模塊和頭部動(dòng)作分析數(shù)據(jù)庫(kù)模塊，其中，面部特征數(shù)據(jù)庫(kù)模塊中保存有用戶預(yù)設(shè)的對(duì)應(yīng)特定意義的面部特征動(dòng)作；頭部動(dòng)作分析數(shù)據(jù)庫(kù)模塊中保存有用戶預(yù)設(shè)的對(duì)應(yīng)特定意義的頭部特征動(dòng)作。

進(jìn)一步的技術(shù)方案在于：所述通信及操控組件包括Wi-Fi模塊、藍(lán)牙通信模塊、紅外發(fā)射模塊中的任意一種或任意幾種。

一種面部特征追蹤的實(shí)時(shí)人機(jī)交互系統(tǒng)的工作方法，包括如下步驟：

S1：所述數(shù)據(jù)采集組件追蹤用戶的頭部動(dòng)作和面部特征信息，并轉(zhuǎn)換成數(shù)據(jù)信號(hào)；

S2：所述數(shù)據(jù)分析處理組件對(duì)數(shù)據(jù)采集組件追蹤的信息進(jìn)行分析處理；

S3：所述動(dòng)作反饋組件對(duì)比分析數(shù)據(jù)分析處理組件處理的信息以及動(dòng)作反饋組件中儲(chǔ)存的信息，根據(jù)對(duì)比結(jié)果輸出不同結(jié)果至通信及操控組件，其中，若動(dòng)作反饋組件儲(chǔ)存的內(nèi)容中有與數(shù)據(jù)分析處理組件處理的信息相同的動(dòng)作，則輸出與該動(dòng)作對(duì)應(yīng)的特定動(dòng)作至通信及操控組件，若動(dòng)作反饋組件儲(chǔ)存的內(nèi)容中沒(méi)有與數(shù)據(jù)分析處理組件處理的信息相同的動(dòng)作，則進(jìn)行下一信息的對(duì)比分析；

S4：通信及操控組件根據(jù)動(dòng)作反饋組件輸入的特定動(dòng)作，控制相應(yīng)設(shè)備進(jìn)行相應(yīng)操作。

進(jìn)一步的技術(shù)方案在于：步驟S1中，通過(guò)數(shù)據(jù)采集組件中的多個(gè)攝像頭和傳感器進(jìn)行圖像采集，拍攝多張空間環(huán)境信息圖片。

進(jìn)一步的技術(shù)方案在于：所述步驟S2包括：

S21：所述數(shù)據(jù)分析處理組件中的圖像處理模塊將多張不同角度拍攝的空間環(huán)境信息圖片通過(guò)算法合成為一張空間環(huán)境信息全景圖片并做相應(yīng)圖片預(yù)處理；

S22：所述數(shù)據(jù)分析處理組件中的面部特征識(shí)別分析模塊和頭部動(dòng)作特征識(shí)別分析模塊對(duì)該全景圖片做面部特征識(shí)別分析及頭部動(dòng)作識(shí)別分析，并儲(chǔ)存進(jìn)緩存臨時(shí)保存。

采用上述技術(shù)方案所產(chǎn)生的有益效果在于：

本發(fā)明所述的系統(tǒng)通過(guò)數(shù)據(jù)采集組件實(shí)時(shí)追蹤拍攝用戶的頭部動(dòng)作和面部特征信息，經(jīng)過(guò)數(shù)據(jù)分析處理組件對(duì)得到的圖像進(jìn)行處理和識(shí)別，與動(dòng)作反饋組件中保存的數(shù)據(jù)進(jìn)行對(duì)比，由通信及操控組件最終做出反饋，將反饋結(jié)果發(fā)送至相應(yīng)的設(shè)備，實(shí)現(xiàn)了人工智能中無(wú)需身體接觸或人工操作的人機(jī)交互。本發(fā)明所述的實(shí)時(shí)人機(jī)交互系統(tǒng)，操作簡(jiǎn)單，使用方便，滿足實(shí)時(shí)的人機(jī)交互。

附圖說(shuō)明

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。

圖1是本發(fā)明系統(tǒng)的組成示意圖。

具體實(shí)施方式

下面結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明，但是本發(fā)明還可以采用其他不同于在此描述的其它方式來(lái)實(shí)施，本領(lǐng)域技術(shù)人員可以在不違背本發(fā)明內(nèi)涵的情況下做類似推廣，因此本發(fā)明不受下面公開(kāi)的具體實(shí)施例的限制。

如圖1所示，一種基于面部特征追蹤的實(shí)時(shí)人機(jī)交互系統(tǒng)包括數(shù)據(jù)采集組件、數(shù)據(jù)分析處理組件、動(dòng)作反饋組件和通信及操控組件。所述數(shù)據(jù)采集組件與數(shù)據(jù)分析處理組件相連；動(dòng)作反饋組件與數(shù)據(jù)分析處理組件連接；通信及操控組件與動(dòng)作反饋組件相連；通信及操控組件同時(shí)與相應(yīng)的智能電器相連接。

所述數(shù)據(jù)采集組件用于追蹤用戶頭部動(dòng)作和面部特征信息，并轉(zhuǎn)換成數(shù)據(jù)信號(hào)輸入到系統(tǒng)中。數(shù)據(jù)采集組件包括多個(gè)攝像頭，多個(gè)攝像頭分別安裝在同一空間中的不同位置，保證所有攝像頭在工作狀態(tài)時(shí)，能夠以360°無(wú)死角追蹤用戶的頭部動(dòng)作和面部特征信息，此處的空間為客廳、書(shū)房或者臥室等用戶所處的空間。為保證追蹤拍攝效果，所述攝像頭均選用高分辨率網(wǎng)絡(luò)攝像頭。在每個(gè)攝像頭上均設(shè)置有傳感器，用于感應(yīng)用戶的動(dòng)作，并將信息進(jìn)行數(shù)據(jù)轉(zhuǎn)換，輸入到數(shù)據(jù)分析處理組件中。

數(shù)據(jù)采集組件還包括一雷達(dá)掃描接收模塊，在攝像頭和傳感器進(jìn)行數(shù)據(jù)采集之前，通過(guò)雷達(dá)掃描接收模塊對(duì)空間環(huán)境進(jìn)行三維測(cè)繪和建立固定的空間坐標(biāo)系。上述空間坐標(biāo)系在人機(jī)交互系統(tǒng)進(jìn)行數(shù)據(jù)采集之前完成，在后續(xù)的工作步驟中，用于計(jì)算用戶的頭部定位的絕對(duì)坐標(biāo)位置和絕對(duì)朝向角度。所述絕對(duì)坐標(biāo)位置是指用戶頭部的中心點(diǎn)在其所在空間環(huán)境內(nèi)以雷達(dá)模塊為基準(zhǔn)點(diǎn)所建立的三維坐標(biāo)系中的坐標(biāo)，此坐標(biāo)用于定位用戶在該空間環(huán)境內(nèi)的位置，并追蹤頭部的運(yùn)動(dòng)軌跡。所述絕對(duì)朝向角度是指在上述的三維坐標(biāo)系中，用戶頭部朝向的方向向量與坐標(biāo)系X軸的夾角，此夾角用于追蹤用戶在該空間環(huán)境內(nèi)的視線的注意方向，并以此確定用戶欲進(jìn)行交互的對(duì)應(yīng)設(shè)備。

所述雷達(dá)掃描接收模塊包括二維激光掃描雷達(dá)、雷達(dá)縱向位移電極和雷達(dá)接收器，通過(guò)雷達(dá)縱向位移電極的推動(dòng)二維激光掃描雷達(dá)位移，以此對(duì)多個(gè)二維平面逐個(gè)進(jìn)行掃描，完成對(duì)三維空間環(huán)境進(jìn)行測(cè)距建模。二維激光掃描雷達(dá)和雷達(dá)接收器可以選用多種不同的實(shí)現(xiàn)方法，如相位差測(cè)距、時(shí)間差測(cè)距等。

所述數(shù)據(jù)分析處理組件用于對(duì)數(shù)據(jù)采集組件追蹤的信息進(jìn)行分析處理。數(shù)據(jù)分析處理組件將攝像頭拍攝到的多個(gè)圖片信息通過(guò)特定的算法進(jìn)行預(yù)處理，對(duì)圖像中面部特征和頭部動(dòng)作進(jìn)行識(shí)別分析，并進(jìn)行臨時(shí)緩存。數(shù)據(jù)分析處理組件包括圖像處理模塊、面部特征識(shí)別分析模塊和頭部動(dòng)作識(shí)別分析模塊。所述圖像處理模塊用于實(shí)時(shí)對(duì)每幀圖像進(jìn)行預(yù)處理，包括但不限于：將多張圖片合成為全景圖片、灰度處理、高斯模糊、二值化處理等，為之后的識(shí)別做準(zhǔn)備。所述面部特征識(shí)別分析模塊和頭部動(dòng)作識(shí)別分析模塊中內(nèi)置有一種或多種算法，保證面部特征識(shí)別分析模塊能夠識(shí)別預(yù)處理后的圖像中的用戶的面部及面部細(xì)節(jié)特征，所述面部細(xì)節(jié)特征主要包括多個(gè)面部特征點(diǎn)，這些面部特征點(diǎn)會(huì)根據(jù)精度和用途進(jìn)行選定，通常認(rèn)為在對(duì)人的面部信息進(jìn)行分類識(shí)別時(shí)會(huì)標(biāo)注68個(gè)特征點(diǎn)；頭部動(dòng)作識(shí)別分析模塊能夠識(shí)別預(yù)處理后的圖像中的用戶的頭部動(dòng)作信息特征，所述頭部動(dòng)作信息特征主要包括在空間環(huán)境中頭部的絕對(duì)坐標(biāo)位置和頭部朝向的絕對(duì)朝向角度。

所述動(dòng)作反饋組件用于對(duì)比分析數(shù)據(jù)分析處理組件處理的信息以及動(dòng)作反饋組件中儲(chǔ)存的信息，并得到反饋信息反饋給通信及操控組件，以判定通信及操控組件的操控動(dòng)作。動(dòng)作反饋組件將緩存的圖像與系統(tǒng)中用戶預(yù)設(shè)保存的圖像進(jìn)行對(duì)比，并根據(jù)對(duì)比的結(jié)果得到不同的輸出結(jié)果，將輸出結(jié)果傳送至通信及操控組件。動(dòng)作反饋組件包括面部特征數(shù)據(jù)庫(kù)模塊和頭部動(dòng)作分析數(shù)據(jù)庫(kù)模塊。所述面部特征數(shù)據(jù)庫(kù)模塊中保存由用戶預(yù)設(shè)的對(duì)應(yīng)特定意義的面部特征動(dòng)作，例如規(guī)律眨眼、動(dòng)眉毛等動(dòng)作，每個(gè)面部特征動(dòng)作由多幀典型面部動(dòng)作組成一個(gè)特征視頻流。頭部動(dòng)作分析數(shù)據(jù)庫(kù)模塊中保存有用戶預(yù)設(shè)的對(duì)應(yīng)特定意義的頭部特征動(dòng)作，例如規(guī)律晃頭、搖頭燈動(dòng)作，每個(gè)頭部動(dòng)作由多幀典型頭部動(dòng)作組成一個(gè)特征視頻流。

所述通信及操控組件用于接受動(dòng)作反饋組件提供的反饋信息，并根據(jù)反饋信息控制相應(yīng)設(shè)備的動(dòng)作。通信及操控組件包括Wi-Fi模塊、藍(lán)牙通信模塊、紅外發(fā)射模塊，實(shí)際使用時(shí)可以選用其中的任意一種或任意幾種進(jìn)行不同組合。

一種基于面部特征追蹤的實(shí)時(shí)人機(jī)交互系統(tǒng)的工作方法，包括如下步驟：

S1：數(shù)據(jù)采集：首先，通過(guò)雷達(dá)掃描接收模塊對(duì)空間環(huán)境進(jìn)行三維測(cè)繪，并建立固定的空間坐標(biāo)系。在空間坐標(biāo)系中，獲取用戶的頭部定位的絕對(duì)坐標(biāo)和絕對(duì)朝向角度。之后，多個(gè)攝像頭和傳感器對(duì)空間環(huán)境信息和用戶的頭部動(dòng)作及面部特征信息進(jìn)行實(shí)時(shí)追蹤拍攝進(jìn)行圖像采集，拍攝多張不同角度的空間環(huán)境信息圖片，并將這些信息轉(zhuǎn)換成數(shù)據(jù)信號(hào)輸入數(shù)據(jù)分析處理組件中。

S2：數(shù)據(jù)分析：所述數(shù)據(jù)分析處理組件對(duì)數(shù)據(jù)采集組件追蹤的信息進(jìn)行分析處理。

S21：首先由圖像處理模塊對(duì)數(shù)據(jù)采集得到的圖像進(jìn)行預(yù)處理：將多張不同角度拍攝的空間環(huán)境信息和用戶的動(dòng)作圖像通過(guò)算法合成為一張全景圖片并做相應(yīng)的圖片預(yù)處理，如灰度處理、高斯模糊、二值化處理等。

S22：之后由面部特征識(shí)別分析模塊和頭部動(dòng)作識(shí)別分析模塊對(duì)該全景圖片做面部特征識(shí)別分析和頭部動(dòng)作識(shí)別分析。對(duì)于面部特征識(shí)別分析，需要進(jìn)行人臉檢測(cè)和特征點(diǎn)檢測(cè)。在人臉檢測(cè)過(guò)程中，可以使用模板匹配法、特征不變法和基于先驗(yàn)知識(shí)法等多種方法。特征點(diǎn)檢測(cè)方法有基于紋理匹配的檢測(cè)方法、基于變形模板的檢測(cè)方法等。最終實(shí)現(xiàn)的目的是找到圖片中的人臉，建立人臉的相對(duì)二維坐標(biāo)系，找出面部特征點(diǎn)在二維坐標(biāo)系中的坐標(biāo)。這些面部特征點(diǎn)的坐標(biāo)用于在后續(xù)步驟中與面部特征數(shù)據(jù)庫(kù)模塊中的數(shù)據(jù)庫(kù)內(nèi)保存的用戶預(yù)設(shè)的特征動(dòng)作進(jìn)行對(duì)比。在找到圖片中的人臉后，進(jìn)行頭部動(dòng)作識(shí)別分析。首先以人臉中心的坐標(biāo)作為用戶頭部中心點(diǎn)的坐標(biāo)，此坐標(biāo)即為該空間環(huán)境中三維坐標(biāo)系的絕對(duì)坐標(biāo)，垂直于人臉相對(duì)二維坐標(biāo)系平面的向量為用戶頭部的絕對(duì)朝向角度的朝向方向向量，這些頭部動(dòng)作識(shí)別分析的信息用于后續(xù)步驟中與頭部動(dòng)作分析數(shù)據(jù)庫(kù)模塊中的數(shù)據(jù)庫(kù)內(nèi)保存的用戶預(yù)設(shè)的特征動(dòng)作進(jìn)行對(duì)比。將上述的面部特征識(shí)別分析和頭部動(dòng)作識(shí)別分析的信息儲(chǔ)存進(jìn)緩存中進(jìn)行臨時(shí)保存。

S3：對(duì)比判定：所述動(dòng)作反饋組件對(duì)比分析數(shù)據(jù)分析處理組件處理的信息以及動(dòng)作反饋組件中儲(chǔ)存的信息，根據(jù)對(duì)比結(jié)果輸出不同結(jié)果至通信及操控組件。

將緩存中臨時(shí)保存的由前幾幀全景圖片組成時(shí)段性的特征視頻流，取該特征視頻流與面部特征數(shù)據(jù)庫(kù)模塊和頭部動(dòng)作分析數(shù)據(jù)庫(kù)模塊中的數(shù)據(jù)庫(kù)內(nèi)保存的用戶預(yù)設(shè)的特征動(dòng)作進(jìn)行對(duì)比，根據(jù)對(duì)比結(jié)果得到不同的輸出結(jié)果：若在數(shù)據(jù)庫(kù)中存有高相似度的特征動(dòng)作，則輸出與該特征視頻流對(duì)應(yīng)的特定動(dòng)作，例如根據(jù)該特征視頻流對(duì)比得到與數(shù)據(jù)庫(kù)中保存的開(kāi)空調(diào)的特征動(dòng)作相對(duì)應(yīng)，則輸出結(jié)果“開(kāi)空調(diào)”至后續(xù)步驟；若在數(shù)據(jù)庫(kù)中沒(méi)有相似的特征動(dòng)作，則循環(huán)進(jìn)行下一幀的判定；

S4：通信及操控組件根據(jù)動(dòng)作反饋組件輸入的特定動(dòng)作，控制相應(yīng)設(shè)備進(jìn)行相應(yīng)操作。根據(jù)第步驟S4對(duì)比判定后的輸出結(jié)果，有不同的通信及操控模塊做出相應(yīng)動(dòng)作，例如輸出結(jié)果為“開(kāi)空調(diào)”，則調(diào)用紅外發(fā)射模塊發(fā)送信號(hào)給空調(diào)執(zhí)行開(kāi)啟動(dòng)作。

至此，所述實(shí)時(shí)人機(jī)交互系統(tǒng)完成一個(gè)工作循環(huán)。系統(tǒng)的工作效率及識(shí)別精度受限于組成本系統(tǒng)的各個(gè)組件選取的硬件設(shè)備，當(dāng)每秒進(jìn)行30個(gè)循環(huán)以上，即可保證系統(tǒng)正常流暢的工作。