本發(fā)明屬于智能機器人領(lǐng)域，尤其涉及一種基于智能機器人視覺識別人臉面部表情變化的方法及系統(tǒng)。

背景技術(shù)：

隨著智能機器人在多模態(tài)交互中的廣泛應(yīng)用，對其性能提出了新的要求。例如，對于具有拍照功能的智能機器人，不僅要求其能夠拍攝照片，更要求其具有自抓拍能力。

自抓拍的時間節(jié)點對抓拍照片的質(zhì)量至關(guān)重要，但由于自抓拍的時間節(jié)點一般是動態(tài)獲取的，應(yīng)該何時抓拍很難掌控，因此亟需一種可以精準(zhǔn)控制自抓拍時間節(jié)點的方法。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題之一是需要提供一種可以精準(zhǔn)控制自抓拍時間節(jié)點的方法。

為了解決上述技術(shù)問題，本申請的實施例首先提供了一種基于智能機器人視覺識別人臉面部表情變化的方法，所述智能機器人安裝有機器人操作系統(tǒng)，所述機器人操作系統(tǒng)執(zhí)行：接收來自第一應(yīng)用所獲取的人臉面部表情變化節(jié)點指令；根據(jù)所述指令調(diào)用視覺模塊循環(huán)以獲取圖像信息，記錄圖像信息中的人臉表情信息；根據(jù)記錄的所述人臉表情信息判斷人臉的面部表情是否發(fā)生變化，當(dāng)識別得到人臉面部表情變化的節(jié)點時反饋節(jié)點信息。

優(yōu)選地，所獲取的圖像信息通過如下方式執(zhí)行獲取：分別對獲取的每幀圖像進行識別，確定并記錄各幀圖像中所包含的人臉個數(shù)及與每個人臉對應(yīng)的情緒值。

優(yōu)選地，所述確定并記錄各幀圖像中所包含的人臉個數(shù)及與每個人臉對應(yīng)的情緒值，包括：當(dāng)所述圖像中所包含的人臉個數(shù)大于等于一個時，依次獲取每個人臉的表情信息；分別比較各人臉的表情與預(yù)設(shè)的人臉表情，將與所述人臉最相似的預(yù)設(shè)的人臉表情所對應(yīng)的數(shù)值作為該人臉的情緒值。

優(yōu)選地，所述根據(jù)記錄的所述人臉表情信息判斷人臉的面部表情是否發(fā)生變化，包括：依次比較每個人臉在相鄰兩幀圖像中的情緒值；當(dāng)有情緒值發(fā)生變化時，判斷人臉的面部表情發(fā)生變化。

優(yōu)選地，基于圖像的相似性比較判斷與所述人臉最相似的預(yù)設(shè)的人臉表情。

本申請的實施例還提供了一種基于智能機器人視覺識別人臉面部表情變化的系統(tǒng)，所述智能機器人安裝有機器人操作系統(tǒng)，該識別人臉面部表情變化的系統(tǒng)包括：指令接收模塊，其接收來自第一應(yīng)用所獲取的人臉面部表情變化節(jié)點指令；人臉表情信息識別模塊，其根據(jù)所述指令調(diào)用視覺模塊循環(huán)以獲取圖像信息，記錄圖像信息中的人臉表情信息；判斷反饋模塊，其根據(jù)記錄的所述人臉表情信息判斷人臉的面部表情是否發(fā)生變化，當(dāng)識別得到人臉面部表情變化的節(jié)點時反饋節(jié)點信息。

優(yōu)選地，所述人臉表情信息識別模塊通過如下方式獲取圖像信息：分別對獲取的每幀圖像進行識別，確定并記錄各幀圖像中所包含的人臉個數(shù)及與每個人臉對應(yīng)的情緒值。

優(yōu)選地，所述人臉表情信息識別模塊根據(jù)以下步驟確定并記錄各幀圖像中所包含的人臉個數(shù)及與每個人臉對應(yīng)的情緒值：當(dāng)所述圖像中所包含的人臉個數(shù)大于等于一個時，依次獲取每個人臉的表情信息；分別比較各人臉的表情與預(yù)設(shè)的人臉表情，將與所述人臉最相似的預(yù)設(shè)的人臉表情所對應(yīng)的數(shù)值作為該人臉的情緒值。

優(yōu)選地，所述判斷反饋模塊根據(jù)以下步驟判斷人臉的面部表情是否發(fā)生變化：依次比較每個人臉在相鄰兩幀圖像中的情緒值；當(dāng)有情緒值發(fā)生變化時，判斷人臉的面部表情發(fā)生變化。

優(yōu)選地，所述判斷反饋模塊基于圖像的相似性比較判斷與所述人臉最相似的預(yù)設(shè)的人臉表情。

與現(xiàn)有技術(shù)相比，上述方案中的一個或多個實施例可以具有如下優(yōu)點或有益效果：

通過調(diào)用視覺模塊持續(xù)獲取圖像信息，并通過分析和比較圖像中人臉的表情的情緒值來獲取人臉情緒的變化節(jié)點，以為系統(tǒng)應(yīng)用提供準(zhǔn)確的時間節(jié)點信息。該方法能夠及時識別用戶的感情變化，從而更好的實現(xiàn)自抓拍，改善用戶的交互體驗。

本發(fā)明的其他優(yōu)點、目標(biāo)，和特征在某種程度上將在隨后的說明書中進行闡述，并且在某種程度上，基于對下文的考察研究對本領(lǐng)域技術(shù)人員而言將是顯而易見的，或者可以從本發(fā)明的實踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點可以通過下面的說明書，權(quán)利要求書，以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。

附圖說明

附圖用來提供對本申請的技術(shù)方案或現(xiàn)有技術(shù)的進一步理解，并且構(gòu)成說明書的一部分。其中，表達本申請實施例的附圖與本申請的實施例一起用于解釋本申請的技術(shù)方案，但并不構(gòu)成對本申請技術(shù)方案的限制。

圖1為根據(jù)本發(fā)明第一實施例的基于智能機器人視覺識別人臉面部表情變化的方法的流程示意圖；

圖2為根據(jù)本發(fā)明第二實施例的基于智能機器人視覺識別人臉面部表情變化的方法的流程示意圖；

圖3為根據(jù)本發(fā)明第三實施例的基于智能機器人視覺識別人臉面部表情變化的系統(tǒng)的結(jié)構(gòu)示意圖。

具體實施方式

以下將結(jié)合附圖及實施例來詳細說明本發(fā)明的實施方式，借此對本發(fā)明如何應(yīng)用技術(shù)手段來解決技術(shù)問題，并達成相應(yīng)技術(shù)效果的實現(xiàn)過程能充分理解并據(jù)以實施。本申請實施例以及實施例中的各個特征，在不相沖突前提下可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護范圍之內(nèi)。

本發(fā)明實施例提供了一種利用智能機器人系統(tǒng)的視覺功能獲取自抓拍的時間點的方法。

第一實施例：

圖1為根據(jù)本發(fā)明第一實施例的基于智能機器人視覺識別人臉面部表情變化的方法的流程示意圖，如圖所示，該方法包括以下步驟：

步驟S110、接收來自第一應(yīng)用所獲取的人臉面部表情變化節(jié)點指令。

步驟S120、根據(jù)上述指令調(diào)用視覺模塊循環(huán)以獲取圖像信息，記錄圖像信息中的人臉表情信息。

步驟S130、根據(jù)記錄的人臉表情信息判斷人臉的面部表情是否發(fā)生變化，當(dāng)識別得到人臉面部表情變化的節(jié)點時反饋節(jié)點信息。

具體的，抓拍APP一般基于接收到的圖像中發(fā)生了設(shè)定的變化后進行抓拍，例如，當(dāng)圖像中的人臉的表情發(fā)生變化的時候。因此正確抓拍的關(guān)鍵是準(zhǔn)確獲知圖像中發(fā)生變化的時間點。

智能機器人安裝有智能機器人系統(tǒng)，智能機器人系統(tǒng)可以用于管理智能機器人的軟硬件的協(xié)調(diào)工作，包括調(diào)用智能機器人的各種傳感單元，例如視覺模塊(攝像頭)。因此，可以通過智能機器人系統(tǒng)對攝像頭的調(diào)用來輔助抓拍APP獲取圖像信息的變化。

在步驟S110中，抓拍APP在啟動抓拍功能的時候，會先向智能機器人系統(tǒng)發(fā)出請求獲取人臉面部表情變化節(jié)點的指令，智能機器人系統(tǒng)根據(jù)該請求獲取人臉面部表情變化節(jié)點的指令調(diào)用攝像頭，不斷獲取攝像頭中預(yù)覽的圖像信息。攝像頭會持續(xù)對一定范圍內(nèi)的環(huán)境取景，所以智能機器人系統(tǒng)能夠不斷獲取到預(yù)覽的圖像信息。

接下來，在步驟S120中，通過對圖像信息進行分析來獲得其中的人臉信息。具體的，是對獲取的每一幀圖像分別進行分析。接收到的各幀圖像，有可能不包含人臉，也有可能包含不止一個人臉，在分析圖像時，對于包含人臉的圖像，需要對一幀圖像中的每個人臉依次分析，并記錄分析結(jié)果以便于后續(xù)的比較。

在步驟S130中，根據(jù)記錄的人臉表情信息判斷人臉的面部表情是否發(fā)生了變化。記錄的人臉表情信息為多幀圖像信息，比較相鄰兩幀圖像中的人臉，當(dāng)人臉在相鄰兩幀圖像中的表情不同時，則可以判斷人臉表情發(fā)生了變化，進一步將其認(rèn)定為人臉面部表情變化的節(jié)點，在判斷出人臉面部表情變化的節(jié)點后，智能機器人系統(tǒng)將該節(jié)點信息反饋回至發(fā)出獲取請求的應(yīng)用。

如前所述，在相鄰的兩幀圖像中，有可能同時存在有同一個人臉，那么如果該人臉的面部表情發(fā)生了變化，則可以判斷發(fā)生變化的時刻為時間節(jié)點。也有可能在前一幀圖像中存在的人臉，在后一幀圖像中就不再存在(由于人物移動出攝像頭捕捉的范圍)，或者相反，在前一幀圖像中不存在的人臉，在后一幀圖像中存在，這種情況下，當(dāng)圖像中不包含人臉時，智能機器人系統(tǒng)不會記錄有相應(yīng)的人臉信息，也就是說，在進行相鄰的兩幀圖像的比較時，有一個被比較的對象為空，此時也可以根據(jù)設(shè)定判斷為人臉面部表情發(fā)生了變化，并由智能機器人系統(tǒng)反饋節(jié)點信息。

抓拍APP在接收到智能機器人系統(tǒng)反饋的節(jié)點信息后，可以根據(jù)該節(jié)點信息執(zhí)行抓拍功能。

由于智能機器人系統(tǒng)是持續(xù)刷新人臉表情信息，并持續(xù)對圖像中的人臉表情信息進行比較以獲取時間節(jié)點的，因此如果連續(xù)多幀圖像的相鄰兩幀圖像之間都判斷得到時間節(jié)點信息，則智能機器人系統(tǒng)會向應(yīng)用連續(xù)地返回節(jié)點信息，那么抓拍APP可以根據(jù)連續(xù)反饋的節(jié)點信息實現(xiàn)連拍。

本發(fā)明實施例的方法，提出一種能夠較精確的辨別出人臉出現(xiàn)表情變化的時間節(jié)點，從而更好的實現(xiàn)自抓拍的方法，能夠及時識別用戶的感情變化，優(yōu)化了應(yīng)用與系統(tǒng)功能。

第二實施例：

圖2為根據(jù)本發(fā)明第二實施例的基于智能機器人視覺識別人臉面部表情變化的方法的流程示意圖，在該實施例中，通過獲取圖像中與人臉對應(yīng)的情緒值來對圖像進行分析，下面結(jié)合實施例詳細說明。

如圖2所示，抓拍APP向智能機器人系統(tǒng)發(fā)出請求獲取人臉面部表情變化節(jié)點的指令，智能機器人系統(tǒng)根據(jù)抓拍APP的請求，調(diào)用攝像頭獲取預(yù)覽的圖像信息。該步驟執(zhí)行與第一實施例中步驟S110相同的操作，不再贅述。

智能機器人系統(tǒng)分別對獲取的每幀圖像進行識別，確定并記錄各幀圖像中所包含的人臉個數(shù)及與每個人臉對應(yīng)的情緒值。

在本實施例中，情緒值指的是將人臉信息所傳達的人的情緒進行數(shù)值化得到的結(jié)果。例如將微笑的情緒值設(shè)置為0，將流淚的情緒值設(shè)置為1，將憤怒的情緒值設(shè)置為2等。以情緒值記錄人臉信息，既能夠清楚地表明人臉?biāo)磉_的不同情緒特征，又能夠簡化信息的存儲。

進一步地，在確定并記錄各幀圖像中所包含的人臉個數(shù)及與每個人臉對應(yīng)的情緒值時，首先分別統(tǒng)計每幀圖像中所包含的人臉個數(shù)，當(dāng)人臉個數(shù)大于等于一個時，依次獲取每個人臉的表情信息。然后將每個人臉的表情與預(yù)設(shè)的人臉表情相比較來確定各人臉的情緒值。

預(yù)設(shè)的人臉表情是由智能機器人系統(tǒng)預(yù)先存儲的人臉表情的典型值，每種預(yù)設(shè)的人臉表情對應(yīng)于一個前面所說的情緒值。將與獲取的人臉表情最相似的預(yù)設(shè)的人臉表情所對應(yīng)的情緒值作為被比較的人臉的情緒值。

舉例而言，如果獲取的人臉表情與預(yù)設(shè)的表示微笑的人臉表情最相似，則將與預(yù)設(shè)的表示微笑的人臉表情對應(yīng)的情緒值確定為被比較的人臉表情的情緒值。利用上述方法，可以將每幀圖像中的每個人臉表情信息轉(zhuǎn)換為確定的數(shù)值進行存儲。

接下來，依次比較每個人臉在相鄰兩幀圖像中的情緒值，當(dāng)有情緒值發(fā)生變化時，判斷人臉的面部表情發(fā)生變化。

在相鄰的兩幀圖像中，首先統(tǒng)計出人臉的個數(shù)，當(dāng)圖像中只包含一個人臉時，比較該人臉在相鄰兩幀圖像中的情緒值，當(dāng)情緒值不相等時，說明該人臉的面部表情發(fā)生了變化，則可以判斷發(fā)生變化的時刻為時間節(jié)點。

進一步地，當(dāng)圖像中包含多個人臉時，在統(tǒng)計人臉的個數(shù)的時候?qū)⑷四樳M行編號，再分別確定每個人臉的情緒值，并將相鄰兩幀圖像中編號相同的人臉的情緒值進行比較。如果存在某編號的比較結(jié)果不相等，說明該人臉的面部表情發(fā)生了變化，則可以判斷發(fā)生變化的時刻為時間節(jié)點。

另外，實際中也有可能在前一幀圖像中存在的人臉，在后一幀圖像中就不再存在(由于人物移動出攝像頭捕捉的范圍)，這種情況下，該人臉在前一幀圖像中有一個與之對應(yīng)的情緒值，在后一幀圖像中的情緒值為空，因此比較的結(jié)果為判斷人臉面部表情發(fā)生了變化，并由智能機器人系統(tǒng)反饋節(jié)點信息。

實際中還有可能情況相反，在前一幀圖像中不存在的人臉，在后一幀圖像中存在。這種情況下，該人臉在前一幀圖像中沒有記錄與之對應(yīng)的情緒值，在后一幀圖像中有與之對應(yīng)的情緒值，此時根據(jù)約定，首次出現(xiàn)的確定了情緒值的人臉判斷為人臉面部表情發(fā)生了變化，并由智能機器人系統(tǒng)反饋節(jié)點信息。

在判斷出人臉面部表情變化的節(jié)點后，智能機器人系統(tǒng)將該節(jié)點信息反饋回至發(fā)出獲取請求的應(yīng)用(抓拍APP)。抓拍APP在接收到智能機器人系統(tǒng)反饋的節(jié)點信息后，可以根據(jù)該節(jié)點信息執(zhí)行抓拍功能。

本實施例的方法，利用與人臉表情相對應(yīng)的情緒值來獲取并記錄人臉表情變化的時間節(jié)點，能夠簡化比較流程，同時減少存儲的數(shù)據(jù)量。

需要說明的是，第一實施例和第二實施例中在進行圖像的比較時，可以根據(jù)圖像的相似性比較方法來判斷與預(yù)設(shè)的人臉表情最相似的人臉?？梢圆捎矛F(xiàn)有技術(shù)中常用的相似性度量方法來實施比較，本發(fā)明實施例對所采用的圖像的相似性比較方法不做限定。

第三實施例：

圖3為根據(jù)本發(fā)明第三實施例的基于智能機器人視覺識別人臉面部表情變化的系統(tǒng)的結(jié)構(gòu)示意圖，在智能機器人上安裝有機器人操作系統(tǒng)，該別人臉面部表情變化的系統(tǒng)包括：

指令接收模塊31，其接收來自第一應(yīng)用所獲取的人臉面部表情變化節(jié)點指令。

人臉表情信息識別模塊32，其根據(jù)指令調(diào)用視覺模塊循環(huán)以獲取圖像信息，記錄圖像信息中的人臉表情信息。

判斷反饋模塊33，其根據(jù)記錄的人臉表情信息判斷人臉的面部表情是否發(fā)生變化，當(dāng)識別得到人臉面部表情變化的節(jié)點時反饋節(jié)點信息。

其中，人臉表情信息識別模塊32分別對獲取的每幀圖像進行識別，確定并記錄各幀圖像中所包含的人臉個數(shù)及與每個人臉對應(yīng)的情緒值。

當(dāng)所述圖像中所包含的人臉個數(shù)大于等于一個時，人臉表情信息識別模塊32依次獲取每個人臉的表情信息，并分別比較各人臉的表情與預(yù)設(shè)的人臉表情，將與被比較人臉的表情最相似的預(yù)設(shè)的人臉表情所對應(yīng)的數(shù)值作為該人臉的情緒值。

判斷反饋模塊33依次比較每個人臉在相鄰兩幀圖像中的情緒值，當(dāng)有情緒值發(fā)生變化時，判斷人臉的面部表情發(fā)生變化。

本發(fā)明實施例的系統(tǒng)能夠響應(yīng)智能機器人系統(tǒng)的抓拍APP的獲取人臉情緒發(fā)生變化的時間節(jié)點的請求，及時向抓拍APP反饋節(jié)點信息，幫助抓拍APP實現(xiàn)抓拍和連拍功能。

本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。

雖然本發(fā)明所揭露的實施方式如上，但所述的內(nèi)容只是為了便于理解本發(fā)明而采用的實施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬技術(shù)領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實施的形式上及細節(jié)上作任何的修改與變化，但本發(fā)明的專利保護范圍，仍須以所附的權(quán)利要求書所界定的范圍為準(zhǔn)。