本發(fā)明涉及智能機(jī)器人領(lǐng)域，尤其涉及一種應(yīng)用于智能機(jī)器人的多模態(tài)交互方法及系統(tǒng)，

背景技術(shù)：

隨著智能機(jī)器人產(chǎn)品的逐漸普及，更多的智能機(jī)器人走進(jìn)家庭，成為孩子的玩伴和大人的管家。

在現(xiàn)有技術(shù)中，智能機(jī)器人在與用戶(hù)進(jìn)行多模態(tài)交互的過(guò)程中，一般是通過(guò)語(yǔ)音識(shí)別技術(shù)來(lái)識(shí)別用戶(hù)的語(yǔ)音指令，再根據(jù)指令內(nèi)容執(zhí)行相應(yīng)的多模態(tài)輸出。這種交互方式較為單調(diào)，而且對(duì)于某些情況特殊的用戶(hù)，語(yǔ)音方式較為不便，從而無(wú)法滿足用戶(hù)日益增長(zhǎng)的體驗(yàn)需求。

因此，亟需提供一種新型的多模態(tài)交互方法，能夠提高用戶(hù)體驗(yàn)，滿足用戶(hù)需求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題之一是需要提供一種能夠采用手勢(shì)識(shí)別的技術(shù)與用戶(hù)進(jìn)行多模態(tài)交互的方法及系統(tǒng)。

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)的實(shí)施例首先提供了一種應(yīng)用于智能機(jī)器人的多模態(tài)交互方法，包括：圖像獲取步驟，獲取包含執(zhí)行手勢(shì)動(dòng)作的手部的深度圖像和灰度圖像；姿態(tài)分類(lèi)解析步驟，對(duì)深度圖像和灰度圖像進(jìn)行處理，解析出手勢(shì)動(dòng)作所表示的姿態(tài)和具備的屬性；以及多模態(tài)輸出步驟，根據(jù)解析結(jié)果，執(zhí)行與手勢(shì)動(dòng)作對(duì)應(yīng)的多模態(tài)輸出指令。

優(yōu)選地，在姿態(tài)分類(lèi)解析步驟中，對(duì)深度圖像和灰度圖像進(jìn)行圖像處理，根據(jù)預(yù)設(shè)的手勢(shì)姿態(tài)分類(lèi)庫(kù)確定手勢(shì)動(dòng)作的姿態(tài)；判斷該手勢(shì)動(dòng)作是否具備靜態(tài)屬性，在該手勢(shì)動(dòng)作對(duì)應(yīng)的姿態(tài)不屬于靜止手勢(shì)范圍內(nèi)，則進(jìn)一步判斷該手勢(shì)動(dòng)作是否具有滑動(dòng)屬性。

優(yōu)選地，在判斷手勢(shì)動(dòng)作是否具有滑動(dòng)屬性的步驟中，記錄當(dāng)前手部在背景圖像中所處的位置和當(dāng)前圖像獲取時(shí)刻，并將該位置記為起點(diǎn)；若在有效時(shí)間段內(nèi)，捕捉到另一包含執(zhí)行相同手勢(shì)動(dòng)作的手部的圖像，且手部在同一背景圖像的位置與所述起點(diǎn)之間具有有效距離，則確定該手勢(shì)動(dòng)作具有滑動(dòng)屬性。

優(yōu)選地，在姿態(tài)分類(lèi)解析步驟中，對(duì)經(jīng)過(guò)預(yù)處理后的深度圖像進(jìn)行直方圖統(tǒng)計(jì)，找出圖像中的手部輪廓，并根據(jù)手部輪廓獲取矩形框；在經(jīng)過(guò)所述矩形框提取出的灰度圖像內(nèi)構(gòu)建多個(gè)比例尺度的滑動(dòng)窗口，獲取圖像不同區(qū)域的特征值；根據(jù)獲取的特征值，從預(yù)設(shè)的手勢(shì)姿態(tài)分類(lèi)庫(kù)中確定手勢(shì)動(dòng)作的姿態(tài)。

另一方面，本發(fā)明實(shí)施例還提供了一種應(yīng)用于智能機(jī)器人的多模態(tài)交互系統(tǒng)，包括：圖像獲取單元，其用于獲取包含執(zhí)行手勢(shì)動(dòng)作的手部的深度圖像和灰度圖像；姿態(tài)分類(lèi)解析單元，其用于對(duì)深度圖像和灰度圖像進(jìn)行處理，解析出手勢(shì)動(dòng)作所表示的姿態(tài)和具備的屬性；以及多模態(tài)輸出單元，其用于根據(jù)解析結(jié)果，執(zhí)行與手勢(shì)動(dòng)作對(duì)應(yīng)的多模態(tài)輸出指令。

優(yōu)選地，所述姿態(tài)分類(lèi)解析單元進(jìn)一步包括，姿態(tài)確定子單元，其用于對(duì)深度圖像和灰度圖像進(jìn)行圖像處理，根據(jù)預(yù)設(shè)的手勢(shì)姿態(tài)分類(lèi)庫(kù)確定手勢(shì)動(dòng)作的姿態(tài)；屬性確定子單元，其用于判斷該手勢(shì)動(dòng)作是否具備靜態(tài)屬性，在該手勢(shì)動(dòng)作對(duì)應(yīng)的姿態(tài)不屬于靜止手勢(shì)范圍內(nèi)，則進(jìn)一步判斷該手勢(shì)動(dòng)作是否具有滑動(dòng)屬性。

優(yōu)選地，所述屬性確定子單元進(jìn)一步用于：記錄當(dāng)前手部在背景圖像中所處的位置和當(dāng)前圖像獲取時(shí)刻，并將該位置記為起點(diǎn)；若在有效時(shí)間段內(nèi)，捕捉到另一包含執(zhí)行相同手勢(shì)動(dòng)作的手部的圖像，且手部在同一背景圖像的位置與所述起點(diǎn)之間具有有效距離，則確定該手勢(shì)動(dòng)作具有滑動(dòng)屬性。

優(yōu)選地，所述姿態(tài)確定子單元進(jìn)一步用于：對(duì)經(jīng)過(guò)預(yù)處理后的深度圖像進(jìn)行直方圖統(tǒng)計(jì)，找出圖像中的手部輪廓，并根據(jù)手部輪廓獲取矩形框；在經(jīng)過(guò)所述矩形框提取出的灰度圖像內(nèi)構(gòu)建多個(gè)比例尺度的滑動(dòng)窗口，獲取圖像不同區(qū)域的特征值；根據(jù)獲取的特征值，從預(yù)設(shè)的手勢(shì)姿態(tài)分類(lèi)庫(kù)中確定手勢(shì)動(dòng)作的姿態(tài)。

與現(xiàn)有技術(shù)相比，上述方案中的一個(gè)或多個(gè)實(shí)施例可以具有如下優(yōu)點(diǎn)或有益效果：

本發(fā)明實(shí)施例的方法或系統(tǒng)通過(guò)獲取包含執(zhí)行手勢(shì)動(dòng)作的手部的深度圖像和灰度圖像，對(duì)深度圖像和灰度圖像進(jìn)行處理，解析出手勢(shì)動(dòng)作所表示的姿態(tài)和具備的屬性，并且根據(jù)解析結(jié)果，執(zhí)行與手勢(shì)動(dòng)作對(duì)應(yīng)的多模態(tài)輸出指令，能夠?qū)崿F(xiàn)采用手勢(shì)識(shí)別的方式與用戶(hù)進(jìn)行多模態(tài)交互，提高了用戶(hù)體驗(yàn)。

本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且，部分地從說(shuō)明書(shū)中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明的技術(shù)方案而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書(shū)、權(quán)利要求書(shū)以及附圖中所特別指出的結(jié)構(gòu)和/或流程來(lái)實(shí)現(xiàn)和獲得。

附圖說(shuō)明

附圖用來(lái)提供對(duì)本申請(qǐng)的技術(shù)方案或現(xiàn)有技術(shù)的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分。其中，表達(dá)本申請(qǐng)實(shí)施例的附圖與本申請(qǐng)的實(shí)施例一起用于解釋本申請(qǐng)的技術(shù)方案，但并不構(gòu)成對(duì)本申請(qǐng)技術(shù)方案的限制。

圖1是根據(jù)本發(fā)明實(shí)施例的應(yīng)用于智能機(jī)器人的多模態(tài)交互方法的流程示意圖。

圖2是根據(jù)本發(fā)明實(shí)施例的對(duì)手勢(shì)動(dòng)作進(jìn)行姿態(tài)和屬性的解析的流程示意圖。

圖3是根據(jù)本發(fā)明實(shí)施例的采集手勢(shì)動(dòng)作數(shù)據(jù)和模型訓(xùn)練的流程示意圖。

圖4是根據(jù)本發(fā)明實(shí)施例的應(yīng)用于智能機(jī)器人的多模態(tài)交互系統(tǒng)4的結(jié)構(gòu)框圖。

具體實(shí)施方式

以下將結(jié)合附圖及實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段來(lái)解決技術(shù)問(wèn)題，并達(dá)成相應(yīng)技術(shù)效果的實(shí)現(xiàn)過(guò)程能充分理解并據(jù)以實(shí)施。本申請(qǐng)實(shí)施例以及實(shí)施例中的各個(gè)特征，在不相沖突前提下可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護(hù)范圍之內(nèi)。

另外，附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

圖1是根據(jù)本發(fā)明實(shí)施例的應(yīng)用于智能機(jī)器人的多模態(tài)交互方法的流程示意圖。下面參考圖1來(lái)說(shuō)明該方法的各個(gè)步驟。

首先，在步驟S110中，獲取包含執(zhí)行手勢(shì)動(dòng)作的手部的深度圖像和灰度圖像。

具體地，智能機(jī)器人通過(guò)自身的深度攝像頭獲取包含執(zhí)行手勢(shì)動(dòng)作的手部的圖像，從而接收來(lái)自用戶(hù)的手勢(shì)表達(dá)信號(hào)。相比一些現(xiàn)有技術(shù)，本例不需要獲取RGB圖像，取而代之的是直接獲取深度圖像和灰度圖像，這樣能夠縮短數(shù)據(jù)的傳輸時(shí)間且能夠加速處理算法。然而，不使用RGB圖像就無(wú)法通過(guò)膚色來(lái)提取手部，因此，在本步驟中使用雙目攝像頭來(lái)輔助判斷手部位置，再利用手部的灰度圖像來(lái)判斷手的具體位置和姿態(tài)。

需要說(shuō)明的是，雙目攝像頭是一種能夠產(chǎn)生并輸出深度圖像的傳感器形式的攝像頭，由兩個(gè)普通灰度相機(jī)組成，通過(guò)檢測(cè)兩個(gè)相機(jī)同一物體或者同一目標(biāo)歸屬的像素點(diǎn)的成像面的位差來(lái)判斷該物體的距離。深度圖像是通過(guò)某種傳感器來(lái)檢測(cè)前方每個(gè)像素點(diǎn)或者許多細(xì)分區(qū)域距離傳感器的距離的圖像，而灰度圖像是相較于RGB圖像，只具有黑白色、且每個(gè)像素的值范圍在0～255之間的圖像。

其次，在步驟S120中，對(duì)深度圖像和灰度圖像進(jìn)行處理，解析出手勢(shì)動(dòng)作所表示的姿態(tài)和具備的屬性。

通過(guò)雙目攝像頭采集到的圖像一般都具有噪聲，噪聲影響圖像處理的輸入、采集、處理的各個(gè)環(huán)節(jié)以及輸出結(jié)果的全過(guò)程，特別是在圖像的采集和輸入階段對(duì)噪聲的抑制是十分關(guān)鍵的問(wèn)題，若輸入伴有較大的噪聲，則必然影響處理全過(guò)程及輸出的結(jié)果。因此，需要對(duì)采集到的深度圖像和灰度圖像進(jìn)行高斯和中值濾波等濾波處理。

圖2是根據(jù)本發(fā)明實(shí)施例的對(duì)手勢(shì)動(dòng)作進(jìn)行姿態(tài)和屬性解析的流程示意圖。如圖2所示，首先對(duì)經(jīng)過(guò)預(yù)處理后的深度圖像進(jìn)行直方圖統(tǒng)計(jì)，找出圖像中的手部輪廓，并根據(jù)手部輪廓獲取矩形框。具體地，對(duì)濾波后的深度圖像在256個(gè)像素單位上進(jìn)行分布統(tǒng)計(jì)，在從高像素到低像素的方向?qū)ふ业谝粋€(gè)大于設(shè)定閾值的高峰，在深度圖像中僅留下高峰左右3個(gè)像素閾(共7個(gè)像素閾)的像素，即確定為手部區(qū)域。找出所有輪廓，留下最大輪廓，測(cè)算外接矩形生成圖層蒙版，提取出灰度圖像中在該矩形內(nèi)的部分像素。然后，在經(jīng)過(guò)矩形框提取出的灰度圖像內(nèi)構(gòu)建多個(gè)比例尺度的滑動(dòng)窗口，獲取圖像不同區(qū)域的特征值。具體來(lái)說(shuō)，在通過(guò)矩形框提取出的灰度圖內(nèi)構(gòu)建多個(gè)比例尺度的滑動(dòng)窗口，比例尺度例如可以為0.95^n，n＝1,2,3……，通過(guò)各個(gè)比例尺度不同的滑動(dòng)窗口獲取不同區(qū)域的方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征。HOG特征是一種在計(jì)算機(jī)視覺(jué)和圖像處理中用來(lái)進(jìn)行物體檢測(cè)的特征描述子，它是通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成的特征。接著，根據(jù)獲取的特征值，從預(yù)設(shè)的手勢(shì)姿態(tài)分類(lèi)庫(kù)中確定手勢(shì)動(dòng)作的姿態(tài)。具體地，將獲取的HOG特征值輸入至預(yù)先進(jìn)行模型訓(xùn)練得到的分類(lèi)器中，分類(lèi)器通過(guò)篩選輸出可能分類(lèi)和對(duì)應(yīng)投票(信任度)，找出所有投票值最大的分類(lèi)，并將該投票值與某設(shè)定閾值進(jìn)行比較，若該投票值大于該閾值則認(rèn)定為分類(lèi)準(zhǔn)確，輸出手勢(shì)動(dòng)作對(duì)應(yīng)的姿態(tài)分類(lèi)，若小于該閾值則認(rèn)定為無(wú)目標(biāo)。

需要說(shuō)明的是，該分類(lèi)器(手勢(shì)姿態(tài)分類(lèi)庫(kù))事先需要通過(guò)如圖3所示的流程圖來(lái)獲取。如圖3所示，在步驟S310中，先要采集各種類(lèi)別的手勢(shì)數(shù)據(jù)，例如手掌向前指向、豎大拇指、握拳等手勢(shì)的數(shù)據(jù)。本步驟中根據(jù)要識(shí)別的手勢(shì)，采集相關(guān)訓(xùn)練樣本，提取出僅包含手部的圖像。

然后在步驟S320中，從這些提取的手部圖像的手勢(shì)數(shù)據(jù)中提取出HOG特征，采取的方式可以與步驟S120中獲取HOG特征的相類(lèi)似，此處不再贅述。隨后，在步驟S130中，對(duì)這些HOG特征進(jìn)行SVM分類(lèi)器訓(xùn)練獲得模型。最終，在步驟S140中，對(duì)這些分類(lèi)模型進(jìn)行存儲(chǔ)得到適用于本發(fā)明實(shí)施例的分類(lèi)器。

在確定了手勢(shì)動(dòng)作對(duì)應(yīng)的姿態(tài)后，判斷該手勢(shì)動(dòng)作所具備的屬性。首先判斷該手勢(shì)動(dòng)作是否具備靜態(tài)屬性，即該手勢(shì)動(dòng)作對(duì)應(yīng)的姿態(tài)是否屬于預(yù)先設(shè)定的靜止手勢(shì)范圍內(nèi)，若是則確定該手勢(shì)動(dòng)作具備靜態(tài)屬性。

在該手勢(shì)動(dòng)作對(duì)應(yīng)的姿態(tài)不屬于靜止手勢(shì)范圍內(nèi)，則進(jìn)一步判斷該手勢(shì)動(dòng)作是否具有滑動(dòng)屬性。需要說(shuō)明的是，滑動(dòng)手勢(shì)應(yīng)該具有起點(diǎn)和終點(diǎn)，也可以稱(chēng)為觸發(fā)點(diǎn)，因此可以依據(jù)在有效時(shí)間段內(nèi)手在不同觸發(fā)點(diǎn)來(lái)判斷此時(shí)手是否完成一次滑動(dòng)手勢(shì)，若上次的觸發(fā)在起點(diǎn)，此次觸發(fā)在終點(diǎn)，則認(rèn)定有一個(gè)有效滑動(dòng)手勢(shì)形成。例如，手勢(shì)為從左往右揮動(dòng)，通過(guò)在有效時(shí)間段內(nèi)實(shí)時(shí)采集包含手勢(shì)動(dòng)作在內(nèi)的圖像，對(duì)每一圖像進(jìn)行上面步驟S120的處理，對(duì)比在該有效時(shí)間段內(nèi)兩個(gè)手勢(shì)動(dòng)作在同一背景圖像中的位置，若存在差異，則確定為滑動(dòng)手勢(shì)。

再次參考圖2，在判斷手勢(shì)動(dòng)作是否具有滑動(dòng)屬性的步驟中，記錄當(dāng)前手部在背景圖像中所處的位置和當(dāng)前圖像獲取時(shí)刻，并將該位置記為起點(diǎn)，若在有效時(shí)間段內(nèi)，捕捉到另一包含執(zhí)行相同手勢(shì)動(dòng)作的手部的圖像，且手部在同一背景圖像的位置與起點(diǎn)之間具有有效距離，則確定該手勢(shì)動(dòng)作具有滑動(dòng)屬性。

接下來(lái)，在步驟S130中，根據(jù)解析結(jié)果，執(zhí)行與手勢(shì)動(dòng)作對(duì)應(yīng)的多模態(tài)輸出指令。

具體地，根據(jù)解析結(jié)果查找與該結(jié)果對(duì)應(yīng)的多模態(tài)輸出指令。例如，若手勢(shì)動(dòng)作為從左至右揮動(dòng)手部，該手勢(shì)動(dòng)作對(duì)應(yīng)的多模態(tài)輸出指令是讓機(jī)器人播放下一首曲目，則向機(jī)器人輸出“播放下一首歌曲”的指令以使機(jī)器人播放下一首。若手勢(shì)動(dòng)作為手掌向前指向，該手勢(shì)動(dòng)作對(duì)應(yīng)的是讓機(jī)器人暫停播放當(dāng)前曲目，則向機(jī)器人輸出“暫停播放”的多模態(tài)輸出指令以使機(jī)器人停止播放音樂(lè)。除此之外，多模態(tài)輸出指令還可以是與機(jī)器人硬件相關(guān)的執(zhí)行指令，例如驅(qū)動(dòng)機(jī)器人臂部的電機(jī)動(dòng)作，完成機(jī)器人揮臂的多模態(tài)輸出。

另外，本發(fā)明實(shí)施例還公開(kāi)了一種多模態(tài)交互系統(tǒng)。圖4是根據(jù)本發(fā)明實(shí)施例的應(yīng)用于智能機(jī)器人的多模態(tài)交互系統(tǒng)4的結(jié)構(gòu)框圖。

如圖4所示，該多模態(tài)交互系統(tǒng)4包括圖像獲取單元410、姿態(tài)分類(lèi)解析單元420和多模態(tài)輸出單元430。

圖像獲取單元410，其用于獲取包含執(zhí)行手勢(shì)動(dòng)作的手部的深度圖像和灰度圖像。

姿態(tài)分類(lèi)解析單元420，其與圖像獲取單元410連接，用于對(duì)深度圖像和灰度圖像進(jìn)行處理，解析出手勢(shì)動(dòng)作所表示的姿態(tài)和具備的屬性。姿態(tài)分類(lèi)解析單元420進(jìn)一步包括姿態(tài)確定子單元421和屬性確定子單元422。

姿態(tài)確定子單元421，其用于對(duì)深度圖像和灰度圖像進(jìn)行圖像處理，根據(jù)預(yù)設(shè)的手勢(shì)姿態(tài)分類(lèi)庫(kù)確定手勢(shì)動(dòng)作的姿態(tài)。姿態(tài)確定子單元421在確定手勢(shì)動(dòng)作的姿態(tài)時(shí)進(jìn)一步對(duì)經(jīng)過(guò)預(yù)處理后的深度圖像進(jìn)行直方圖統(tǒng)計(jì)，找出圖像中的手部輪廓，并根據(jù)手部輪廓獲取矩形框；在經(jīng)過(guò)矩形框提取出的灰度圖像內(nèi)構(gòu)建多個(gè)比例尺度的滑動(dòng)窗口，獲取圖像不同區(qū)域的特征值；根據(jù)獲取的特征值，從預(yù)設(shè)的手勢(shì)姿態(tài)分類(lèi)庫(kù)中確定手勢(shì)動(dòng)作的姿態(tài)。

屬性確定子單元422，其用于判斷該手勢(shì)動(dòng)作是否具備靜態(tài)屬性，在該手勢(shì)動(dòng)作對(duì)應(yīng)的姿態(tài)不屬于靜止手勢(shì)范圍內(nèi)，則進(jìn)一步判斷該手勢(shì)動(dòng)作是否具有滑動(dòng)屬性。

屬性確定子單元422進(jìn)一步在判斷手勢(shì)動(dòng)作是否具有滑動(dòng)屬性時(shí)，記錄當(dāng)前手部在背景圖像中所處的位置和當(dāng)前圖像獲取時(shí)刻，并將該位置記為起點(diǎn)；若在有效時(shí)間段內(nèi)，捕捉到另一包含執(zhí)行相同手勢(shì)動(dòng)作的手部的圖像，且手部在同一背景圖像的位置與所述起點(diǎn)之間具有有效距離，則確定該手勢(shì)動(dòng)作具有滑動(dòng)屬性。

多模態(tài)輸出單元430，其與姿態(tài)分類(lèi)解析單元420連接，用于根據(jù)解析結(jié)果，執(zhí)行與手勢(shì)動(dòng)作對(duì)應(yīng)的多模態(tài)輸出指令。

具體地，多模態(tài)輸出單元430根據(jù)解析結(jié)果查找與該結(jié)果對(duì)應(yīng)的多模態(tài)輸出指令。例如，若手勢(shì)動(dòng)作為從左至右揮動(dòng)手部，該手勢(shì)動(dòng)作對(duì)應(yīng)的多模態(tài)輸出指令是讓機(jī)器人播放下一首曲目，則向機(jī)器人輸出“播放下一首歌曲”的指令以使機(jī)器人播放下一首。若手勢(shì)動(dòng)作為手掌向前指向，該手勢(shì)動(dòng)作對(duì)應(yīng)的是讓機(jī)器人暫停播放當(dāng)前曲目，則向機(jī)器人輸出“暫停播放”的多模態(tài)輸出指令以使機(jī)器人停止播放音樂(lè)。除此之外，多模態(tài)輸出指令還可以是與機(jī)器人硬件相關(guān)的執(zhí)行指令，例如驅(qū)動(dòng)機(jī)器人臂部的電機(jī)動(dòng)作，完成機(jī)器人揮臂的多模態(tài)輸出。

本發(fā)明實(shí)施例的方法或系統(tǒng)通過(guò)獲取包含執(zhí)行手勢(shì)動(dòng)作的手部的深度圖像和灰度圖像，對(duì)深度圖像和灰度圖像進(jìn)行處理，解析出手勢(shì)動(dòng)作所表示的姿態(tài)和具備的屬性，并且根據(jù)解析結(jié)果，執(zhí)行與手勢(shì)動(dòng)作對(duì)應(yīng)的多模態(tài)輸出指令，能夠?qū)崿F(xiàn)采用手勢(shì)識(shí)別的方式與用戶(hù)進(jìn)行多模態(tài)交互，提高了用戶(hù)體驗(yàn)。

本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計(jì)算裝置來(lái)實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來(lái)實(shí)現(xiàn)，從而，可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來(lái)執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來(lái)實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。

雖然本發(fā)明所揭露的實(shí)施方式如上，但所述的內(nèi)容只是為了便于理解本發(fā)明而采用的實(shí)施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬技術(shù)領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實(shí)施的形式上及細(xì)節(jié)上作任何的修改與變化，但本發(fā)明的專(zhuān)利保護(hù)范圍，仍須以所附的權(quán)利要求書(shū)所界定的范圍為準(zhǔn)。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，包括以上實(shí)施例的部分或全部步驟，所述的存儲(chǔ)介質(zhì)，如：ROM/RAM、磁碟、光盤(pán)等。