本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種自適應(yīng)唇語交互方法以及交互裝置。

背景技術(shù)：

在人工智能領(lǐng)域已經(jīng)圖像處理領(lǐng)域，利用目標(biāo)的圖像信息可以實(shí)現(xiàn)很多功能比如用來分析用戶的表情或動作信息等等。圖像獲取和識別一直是較為熱門的研究話題，涉及到用戶日常生活以及科學(xué)研究的多個方面。

例如，可通過對用戶面部進(jìn)行識別如唇語進(jìn)行識別的技術(shù)能提高體感交互、語音識別的準(zhǔn)確率，從而進(jìn)一步地帶來更加舒適的交互體驗(yàn)。

但是現(xiàn)有技術(shù)中，唇語識別一般是基于彩色相機(jī)來獲取用戶的面部信息，這種方式容易受到環(huán)境的影響，如光線太強(qiáng)或太弱都會直接影響到圖像獲取的精度，導(dǎo)致識率很低，最終導(dǎo)致交互的成功率并不高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明主要解決的技術(shù)問題是提供一種自適應(yīng)唇語交互方法以及交互裝置，能夠有效提高通過唇語識別來進(jìn)行交互的成功率。

為解決上述技術(shù)問題，本發(fā)明采用的一個技術(shù)方案是：提供一種自適應(yīng)唇語交互方法，所述自適應(yīng)唇語交互方法包括：

獲取目標(biāo)人體對象的深度圖像以及所述目標(biāo)人體對象的紅外圖像或彩色圖像；

分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像；

從所述唇部區(qū)域圖像提取唇部特征，并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別；

將所述唇語識別的結(jié)果轉(zhuǎn)化成對應(yīng)的操作指令，并根據(jù)所述操作指令進(jìn)行交互。

其中，所述獲取目標(biāo)人體對象的深度圖像以及所述目標(biāo)人體對象的紅外圖像或彩色圖像的步驟包括：

檢測所述目標(biāo)人體對象所處環(huán)境的光線強(qiáng)度；

根據(jù)所述光線強(qiáng)度確定獲取所述目標(biāo)人體對象的深度圖像以及紅外圖像，或所述目標(biāo)人體對象的深度圖像以及彩色圖像。

其中，所述根據(jù)所述光線強(qiáng)度確定獲取所述目標(biāo)人體對象的深度圖像以及紅外圖像，或所述目標(biāo)人體對象的深度圖像以及彩色圖像的步驟具體包括：

判斷所述光線強(qiáng)度是否超過預(yù)設(shè)光線閾值；

如果所述光線強(qiáng)度超過所述預(yù)設(shè)光線閾值，則獲取所述目標(biāo)人體對象的深度圖像以及彩色圖像；如果所述光線強(qiáng)度未超過所述預(yù)設(shè)光線閾值，則獲取所述目標(biāo)人體對象的深度圖像以及紅外圖像。

其中，所述分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像的步驟包括：

對所述深度圖像進(jìn)行分割得到所述深度圖像中所述目標(biāo)人體對象的人臉圖像；

根據(jù)所述深度圖像與所述紅外圖像或所述彩色圖像的位置對應(yīng)關(guān)系，提取所述彩色圖像或所述紅外圖像與所述深度圖像中人臉圖像對應(yīng)位置的區(qū)域圖像，作為所述紅外圖像或所述彩色圖像中所述目標(biāo)人體對象的人臉圖像；

從兩種所述人臉圖像中分別獲取所述目標(biāo)人體對象的唇部區(qū)域圖像。

其中，所述對所述深度圖像進(jìn)行分割得到所述深度圖像中所述目標(biāo)人體對象的人臉圖像的步驟具體包括：

根據(jù)深度特征信息判斷所述深度圖像信息中是否包括所述目標(biāo)人體對象的鼻尖；

在所述深度圖像信息中包括所述目標(biāo)人體對象的鼻尖時，檢測所述鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域；

如果存在所述人臉輪廓區(qū)域，獲取包括所述鼻尖以及人臉輪廓的區(qū)域圖像作為所述目標(biāo)人體對象的人臉圖像。

其中，所述分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像步驟包括：

從所述紅外圖像或所述彩色圖像中提取所述紅外圖像或所述彩色圖像中所述目標(biāo)人體對象的人臉圖像；

根據(jù)所述紅外圖像或所述彩色圖像與所述目標(biāo)人體對象的深度圖像的位置對應(yīng)關(guān)系，獲取所述深度圖像中所述目標(biāo)人體對象的人臉圖像；

從兩種所述人臉圖像中分別獲取所述目標(biāo)人體對象的唇部區(qū)域圖像。

其中，所述從兩種所述人臉圖像中分別獲取所述目標(biāo)人體對象的唇部區(qū)域圖像的步驟包括：

提取所述人臉圖像中的所述鼻尖下方的區(qū)域作為唇部區(qū)域圖像。

其中，所述從所述唇部區(qū)域圖像提取唇部特征，并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別的步驟具體包括：

通過外觀輪廓提取方法或輪廓特征提取方法中的至少一種從所述深度圖像以及所述紅外圖像或所述深度圖像以及所述彩色圖像的唇部區(qū)域圖像中提取唇部特征；

將分別從所述深度圖像的唇部區(qū)域圖像中提取到唇部特征以及所述紅外圖像或所述彩色圖像的唇部區(qū)域圖像中提取到唇部特征進(jìn)行融合處理；

將處理后的唇部特征與設(shè)定識別模型數(shù)據(jù)庫中的識別信息進(jìn)行比對，得到所述唇部特征對應(yīng)的唇語識別結(jié)果。

其中，所述將分別從所述深度圖像的唇部區(qū)域圖像中提取到唇部特征以及所述紅外圖像或所述彩色圖像的唇部區(qū)域圖像中提取到唇部特征進(jìn)行融合處理的步驟具體包括：

將所述深度圖像的唇部區(qū)域圖像中提取到的唇部特征以及所述紅外圖像或所述彩色圖像的唇部區(qū)域圖像中提取到的唇部特征直接組合，或?qū)⑺錾疃葓D像中提取到的唇部特征以及所述紅外圖像或彩色圖像提取到的唇部特征按照預(yù)設(shè)權(quán)重進(jìn)行加權(quán)處理后進(jìn)行組合，以進(jìn)行融合處理；

所述從所述唇部區(qū)域圖像提取唇部特征，并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別的步驟之后還包括：

通過邊緣檢測或閾值分割的圖像處理方法從所述唇部區(qū)域圖像中獲取所述目標(biāo)人體對象的雙唇圖像。

為解決上述技術(shù)問題，本發(fā)明采用的另一個技術(shù)方案是：提供一種自適應(yīng)唇語的交互裝置，

所述交互裝置包括：圖像獲取模塊、唇部區(qū)域圖像確定模塊、唇語識別模塊以及交互模塊，

所述圖像獲取模塊用于獲取目標(biāo)人體對象的深度圖像以及所述目標(biāo)人體對象的紅外圖像或彩色圖像；

所述唇部區(qū)域圖像確定模塊用于分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像；

所述唇語識別模塊用于從所述唇部區(qū)域圖像提取唇部特征，并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別；

所述交互模塊用于將所述唇語識別的結(jié)果轉(zhuǎn)化成對應(yīng)的操作指令，并根據(jù)所述操作指令進(jìn)行交互。

本發(fā)明的有益效果是：區(qū)別于現(xiàn)有技術(shù)的情況，本實(shí)施方式的自適應(yīng)唇語交互方法，首先獲取目標(biāo)人體對象的深度圖像以及彩色圖像或紅外圖像；分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像；從所述唇部區(qū)域圖像提取唇部特征，并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別，將所述唇語識別的結(jié)果轉(zhuǎn)化成對應(yīng)的操作指令，并根據(jù)所述操作指令進(jìn)行交互。上述通過獲取深度圖像以及彩色圖像或紅外圖像的方式，，相對于傳統(tǒng)直接通過彩色相機(jī)獲取圖像信息的方式，不容易受到環(huán)境如光線強(qiáng)弱的影響，能夠有效提高圖像識別的命中率，提高唇語識別的命中率，且通過將彩色圖像中的唇部特征與紅外圖像或彩色圖像中的唇部特征進(jìn)行融合的方式進(jìn)行唇語識別，進(jìn)一步地提高了唇語識別的命中率，最終可有效改善交互的執(zhí)行率和操作準(zhǔn)確率，有利于唇語識別應(yīng)用于交互技術(shù)中的推廣。

附圖說明

圖1是本發(fā)明自適應(yīng)唇語交互方法一實(shí)施方式的流程示意圖；

圖2是本發(fā)明自適應(yīng)唇語交互方法另一實(shí)施方式的流程示意圖；

圖3是本發(fā)明自適應(yīng)唇語交互方法再一實(shí)施方式的流程示意圖；

圖4是本發(fā)明自適應(yīng)唇語交互裝置一實(shí)施方式的結(jié)構(gòu)示意圖；

圖5是本發(fā)明自適應(yīng)唇語交互裝置另一實(shí)施方式的結(jié)構(gòu)示意圖。

具體實(shí)施方式

參閱圖1，圖1是本發(fā)明自適應(yīng)唇語交互方法一實(shí)施方式的流程示意圖。如圖1所示，本實(shí)施方式的交互方法包括如下步驟：

101：獲取目標(biāo)人體對象的深度圖像以及所述目標(biāo)人體對象的紅外圖像或彩色圖像。

唇語識別主要是通過對目標(biāo)人體對象的嘴唇的特征信息進(jìn)行提取，通過該特征信息以對目標(biāo)人體對象要表達(dá)的指令或語音進(jìn)行識別的過程。

通過唇語識別來實(shí)現(xiàn)交互由于其具有操作簡單方便，因此得到了廣泛應(yīng)用。

由于目標(biāo)人體對象的深度圖像包含更加準(zhǔn)確且豐富的目標(biāo)人體對象的圖像信息，且受光線影響較小，因此，本實(shí)施方式中首先獲取目標(biāo)人體對象的深度圖像以及目標(biāo)人體對象的紅外圖像或彩色圖像。

其中，該深度圖像信息包括深度相片以及視頻中的至少一種。

在具體的實(shí)施方式中，根據(jù)當(dāng)前環(huán)境的實(shí)際光線強(qiáng)度選擇采集目標(biāo)人體對象的深度圖像以及紅外圖像，或者目標(biāo)人體對象的深度圖像以及彩色圖像。

具體地，首先對當(dāng)前環(huán)境的光線進(jìn)行采集，確定當(dāng)前光線的光線強(qiáng)度，并將該采集到的光線強(qiáng)度與預(yù)設(shè)的光線閾值進(jìn)行比較，判斷當(dāng)前的光線強(qiáng)度是否超過該光線預(yù)設(shè)閾值。

如果該當(dāng)前的光線強(qiáng)度超過了該預(yù)設(shè)光線閾值，即當(dāng)前環(huán)境光線相對較亮，此時采集該目標(biāo)人體對象的深度圖像以及彩色圖像。如果當(dāng)前的光線強(qiáng)度未超過該預(yù)設(shè)光線閾值，即當(dāng)前環(huán)境光線相對較弱，由于紅外光線的圖像受環(huán)境光線強(qiáng)度的影響較小，此時采集該目標(biāo)人體對象的深度圖像以及紅外圖像。

具體地，該深度圖像可通過深度相機(jī)來獲取，在其他實(shí)施方式中，也可以通過其他方法來獲取，例如可通過通過雙目視覺的方法或基于結(jié)構(gòu)光的方法來獲取該深度圖像信息，還可以通過基于TOF的方法來獲取該深度圖像信息等，在此不做限定，只要能夠獲取或通過計算得到該目標(biāo)人體圖像的深度圖像信息的方法都屬于本實(shí)施方式包含的范圍。

具體地，基于雙目視覺的方法是以模仿目標(biāo)人體對象的雙眼為原理，按照預(yù)先設(shè)定的位置放置兩臺相機(jī)，通過該兩臺相機(jī)同步采集該目標(biāo)人體對象的第一圖像以及該目標(biāo)人體對象的第二圖像。再通過預(yù)定算法，對該第一圖像和第二圖像進(jìn)行處理，根據(jù)處理結(jié)果計算得到該目標(biāo)人體對象的深度圖像信息。其中，該第一目標(biāo)圖像和第二目標(biāo)圖像為彩色圖像。因此，也可以直接采集到該目標(biāo)人體對象的彩色圖像。通過本實(shí)施方式的獲取到的深度圖像以及彩色圖像的精度高，但是計算量相對較大。

如果通過該方法獲取目標(biāo)人體對象的深度圖像和紅外圖像時，可以通過添加紅外光源以及紅外相機(jī)的方式來獲取該目標(biāo)人體對象的紅外圖像。

基于結(jié)構(gòu)光獲取深度圖像信息的方法是首先確定待獲取的目標(biāo)人體對象所處的目標(biāo)區(qū)域，對目標(biāo)區(qū)域投射結(jié)構(gòu)光圖案，其中，該結(jié)構(gòu)光圖案為隨機(jī)排列的散斑圖案，再通過紅外相機(jī)獲取該目標(biāo)區(qū)域內(nèi)的目標(biāo)對象的結(jié)構(gòu)光紅外圖像。

在得到目標(biāo)對象的結(jié)構(gòu)光紅外圖像后，再從該紅外結(jié)構(gòu)光紅外圖像中采集該目標(biāo)對象的散斑紅外圖像，將該目標(biāo)對象的散斑紅外圖像與參考散斑圖像按照預(yù)定算法進(jìn)行圖像數(shù)據(jù)計算，獲取目標(biāo)對象上散斑紅外圖像的各個散斑點(diǎn)相對于參考散斑點(diǎn)相對于參考散斑圖像的移動距離。最后根據(jù)該移動距離、參考散斑圖像與紅外相機(jī)的距離以及用于采集圖像的紅外相機(jī)以及紅外攝像機(jī)之間的相對間隔值，利用三角法得到散斑紅外圖像的各個散斑點(diǎn)的深度值，并根據(jù)該深度值得到所述目標(biāo)對象的深度圖像。

在本實(shí)施方式中，由于結(jié)構(gòu)光紅外圖像中本身包括目標(biāo)人體對象的紅外圖像，只需將該結(jié)構(gòu)光紅外圖像進(jìn)行濾波處理，就可以得到該目標(biāo)人體對象的純凈的紅外圖像，在此不做限定。彩色圖像則需要通過添加彩色相機(jī)來獲取。

基于TOF的方法是通過向目標(biāo)人體對象所處的目標(biāo)區(qū)域投射紅外光，再通過紅外相機(jī)采集該紅外光反射的光線，根據(jù)該紅外光線飛行的時間即紅外光傳輸?shù)臅r間來計算目標(biāo)人體對象對應(yīng)的深度，即得到目標(biāo)人體對象的深度圖像信息。

在本實(shí)施方式中，不僅可以得到上述深度圖像信息，由于投射和采集的都是紅外光，因此，也可以直接獲取到該目標(biāo)人體對象的紅外圖像。而彩色圖像則需要通過配置彩色相機(jī)來獲取，在此不做限定。

102：分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像。

由于本實(shí)施方式中，獲取到的圖像包括目標(biāo)人體對象的深度圖像以及紅外圖像，或者目標(biāo)人體對象的深度圖像以及彩色圖像，因此，要分別獲取目標(biāo)人體對象的深度圖像中的唇部區(qū)域圖像以及彩色圖像中的唇部區(qū)域圖像或者紅外圖像中的唇部區(qū)域圖像。

在其中的具體的一個實(shí)施方式中，先獲取目標(biāo)人體對象的深度圖像中的唇部區(qū)域圖像，再根據(jù)該深度圖像中唇部區(qū)域圖像獲取彩色圖像或紅外圖像中唇部區(qū)域圖像。

具體地，如圖2所示，圖2是本發(fā)明自適應(yīng)唇語交互方法另一實(shí)施方式的流程示意圖。其中圖2是圖1的自適應(yīng)唇語交互方法的細(xì)化流程圖，在步驟201之后，還包括如下步驟：

202：對所述深度圖像信息進(jìn)行分割得到所述目標(biāo)人體對象的人臉圖像。

為了縮小從圖像信息中獲取唇部區(qū)域圖像的有效范圍，提高獲取精度，本實(shí)施方式在獲取到目標(biāo)人體對象的深度圖像信息后，先對該圖像信息進(jìn)行分割，得到該目標(biāo)人體對象的人臉圖像。

在一個具體的實(shí)施方式中，由于在人的人臉圖像中，一般情況下，人的鼻尖深度相對是最小的，因此，本實(shí)施方式首先根據(jù)深度特征信息判斷該深度圖像信息中是否包括該目標(biāo)人體對象的鼻尖，如果在該深度圖像信息信息中檢測到目標(biāo)人體對象的鼻尖，進(jìn)一步檢測鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域。如果存在該人臉輪廓區(qū)域，則獲取包括該鼻尖以及人臉輪廓的區(qū)域圖像作為該目標(biāo)人體對象的人臉圖像。

203：根據(jù)所述深度圖像與所述紅外圖像或所述彩色圖像的位置對應(yīng)關(guān)系，提取所述彩色圖像或所述紅外圖像與所述深度圖像中人臉圖像對應(yīng)位置的區(qū)域圖像，作為所述紅外圖像或所述彩色圖像中所述目標(biāo)人體對象的人臉圖像。

雖然采集到的深度圖像與紅外圖像或彩色圖像為目標(biāo)人體對象不同類型的圖像，但是不同類型的圖像中的目標(biāo)人體對象相同的部位存在位置對應(yīng)關(guān)系，因此，在獲取到深度圖像中人臉圖像后，可直接根據(jù)深度圖像與紅外圖像或彩色圖像的位置對應(yīng)關(guān)系，提取彩色圖像或紅外圖像與深度圖像中人臉圖像對應(yīng)位置的區(qū)域圖像，并將該區(qū)域圖像作為紅外圖像或彩色圖像中目標(biāo)人體對象的人臉圖像。

204：從兩種所述人臉圖像中分別獲取所述目標(biāo)人體對象的唇部區(qū)域圖像。

具體地，在獲取到該目標(biāo)人體圖像的人臉圖像后，進(jìn)一步地從該人臉圖像中來提取該人臉圖像中鼻尖下方的區(qū)域圖像，并將該區(qū)域圖像作為該唇部區(qū)域圖像。其中，該人臉圖像包括深度圖像中的人臉圖像，還包括紅外圖像中的人臉圖像或彩色圖像中的人臉圖像。

嘴唇區(qū)域一般是指雙唇以及雙唇中間的區(qū)域，在上述實(shí)施方式中，有時候人在講話時，周邊的部分可能也會有較大幅度的動作，因此，在上述實(shí)施方式中，嘴唇區(qū)域包括嘴唇周圍的部位，如下巴以及嘴唇兩邊的臉部。但是在其他實(shí)施方式中，考慮到人在說話時可能出現(xiàn)頭部傾斜或扭動的情形，從圖像信息中不能得到完整的嘴唇的圖像。但是由于嘴唇一般具有對稱性，在特殊情況下，也可以通過獲取半個嘴唇圖像或包括半個嘴唇周邊范圍內(nèi)人臉的圖像作為嘴唇區(qū)域。

如果是將雙唇以及雙唇中間的區(qū)域作為唇部區(qū)域圖像，在獲取到包括嘴唇周圍的部位的唇部區(qū)域圖像后，進(jìn)一步通過邊緣檢測或閾值分割的圖像處理方法從所述唇部區(qū)域圖像中獲取所述目標(biāo)人體對象的雙唇圖像。

在另一個具體的一個實(shí)施方式中，先獲取目標(biāo)人體對象的紅外圖像或彩色圖像中的唇部區(qū)域圖像，再根據(jù)紅外圖像或彩色圖像中的唇部區(qū)域圖像獲取深度圖像中的唇部區(qū)域圖像。具體地，如圖3所示，圖3是本發(fā)明自適應(yīng)唇語交互方法再一實(shí)施方式的流程示意圖。其中圖3是圖1自適應(yīng)唇語交互方法的細(xì)化流程圖，在步驟301之后，還包括如下步驟：

302：從所述紅外圖像或所述彩色圖像中提取所述紅外圖像或所述彩色圖像中所述目標(biāo)人體對象的人臉圖像。

在本實(shí)施方式中，可通過基于2D圖像的人臉檢測方法，如Viola-Jones人臉檢測算法，直接從獲取到的紅外圖像或彩色圖像中檢測目標(biāo)人體對象的人臉圖像。在其他實(shí)施方式中，也可以通過其他方法來獲取該紅外圖像或彩色圖像中檢測目標(biāo)人體對象的人臉圖像，在此不做限定。

303：根據(jù)所述紅外圖像或所述彩色圖像與所述目標(biāo)人體對象的深度圖像的位置對應(yīng)關(guān)系，獲取所述深度圖像中所述目標(biāo)人體對象的人臉圖像。

雖然采集到的深度圖像與紅外圖像或彩色圖像為目標(biāo)人體對象不同類型的圖像，但是不同類型的圖像中的目標(biāo)人體對象相同的部位存在位置對應(yīng)關(guān)系，因此，在獲取到紅外圖像或彩色圖像中人臉圖像后，可直接根據(jù)深度圖像與紅外圖像或彩色圖像的位置對應(yīng)關(guān)系，提取深度圖像中人臉圖像對應(yīng)位置的區(qū)域圖像，并將該區(qū)域圖像作為深度圖像中目標(biāo)人體對象的人臉圖像。

304：從兩種所述人臉圖像中分別獲取所述目標(biāo)人體對象的唇部區(qū)域圖像。

具體地，在獲取到該目標(biāo)人體圖像的人臉圖像后，進(jìn)一步地從該人臉圖像中來提取該人臉圖像中鼻尖下方的區(qū)域圖像，并將該區(qū)域圖像作為該唇部區(qū)域圖像。其中，該人臉圖像包括深度圖像中的人臉圖像，還包括紅外圖像中的人臉圖像或彩色圖像中的人臉圖像。

嘴唇區(qū)域一般是指雙唇以及雙唇中間的區(qū)域，在上述實(shí)施方式中，有時候人在講話時，周邊的部分可能也會有較大幅度的動作，因此，在上述實(shí)施方式中，嘴唇區(qū)域包括嘴唇周圍的部位，如下巴以及嘴唇兩邊的臉部。但是在其他實(shí)施方式中，考慮到人在說話時可能出現(xiàn)頭部傾斜或扭動的情形，從圖像信息中不能得到完整的嘴唇的圖像。但是由于嘴唇一般具有對稱性，在特殊情況下，也可以通過獲取半個嘴唇圖像或包括半個嘴唇周邊范圍內(nèi)人臉的圖像作為嘴唇區(qū)域。

如果是將雙唇以及雙唇中間的區(qū)域作為唇部區(qū)域圖像，在獲取到包括嘴唇周圍的部位的唇部區(qū)域圖像后，進(jìn)一步通過邊緣檢測或閾值分割的圖像處理方法從所述唇部區(qū)域圖像中獲取所述目標(biāo)人體對象的雙唇圖像。

步驟205～206以及步驟305～306與步驟103～104相同，具體請參閱下方的實(shí)施方式以及相關(guān)文字描述。

103：從所述唇部區(qū)域圖像提取唇部特征，并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別。

在獲取到唇部區(qū)域圖像后，進(jìn)一步地從該唇部區(qū)域圖像中提取唇部特征。具體地，可通過外觀輪廓提取方法或輪廓特征提取方法中的至少一種對該深度圖像以及彩色圖像或紅外圖像的唇部區(qū)域圖像進(jìn)行唇部特征提取。

例如通過主動形狀模型法ASM、主動外觀模型法AAM、主成分分析法PCA、離散余弦變換法DCT等方法對唇部區(qū)域圖像進(jìn)行唇部特征提取，在此不做限定。

再將分別從所述深度圖像的唇部區(qū)域圖像中提取到唇部特征以及所述紅外圖像或所述彩色圖像的唇部區(qū)域圖像中提取到唇部特征進(jìn)行融合處理。

這里指的融合處理可以是將深度、紅外以及彩色圖像中提取出的特征直接組合，也可以是將不同圖像中相同的特征進(jìn)行權(quán)重設(shè)定后組合，也可以有其他融合方式，最終是將融合后的特征用于下一步的唇語識別中。

進(jìn)一步地，將融合處理后的唇部特征與設(shè)定識別模型數(shù)據(jù)庫中的識別信息進(jìn)行比對，得到該特征提取結(jié)果對應(yīng)的唇語識別結(jié)果。該設(shè)定識別模型包括隱馬爾可夫模型、高斯混合模型等模型中的至少一種。

104：將所述唇語識別的結(jié)果轉(zhuǎn)化成對應(yīng)的操作指令，并根據(jù)所述操作指令進(jìn)行交互。

在對唇部特征進(jìn)行提取，得到唇部特征對應(yīng)的識別結(jié)果后，進(jìn)一步地根據(jù)實(shí)際需求對識別結(jié)果進(jìn)行處理。如將該識別結(jié)果轉(zhuǎn)換成用戶交互的操作指令，如識別結(jié)果進(jìn)行語言識別或?qū)⒃摬僮髦噶钷D(zhuǎn)換為控制遠(yuǎn)程設(shè)備的操作指令，控制體感游戲的操作指令，或控制智能設(shè)備如手機(jī)的操作指令等，在此不做限定。

在得到該操作指令后，進(jìn)一步地通過該操作指令對對應(yīng)的設(shè)備進(jìn)行交互控制，比如根據(jù)唇語識別技術(shù)控制手機(jī)，如通過特定的唇語識別實(shí)現(xiàn)手機(jī)的翻頁或撥打接聽電話等，在此不做限定。

在其他實(shí)施方式中，還可以直接將通過識別結(jié)果判斷出該當(dāng)前唇語的內(nèi)容，對語音進(jìn)行識別或通過語音來實(shí)現(xiàn)交互等。

區(qū)別于現(xiàn)有技術(shù)，本實(shí)施方式的自適應(yīng)唇語交互方法首先獲取目標(biāo)人體對象的深度圖像以及彩色圖像或紅外圖像；分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像；從所述唇部區(qū)域圖像提取唇部特征，并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別，將所述唇語識別的結(jié)果轉(zhuǎn)化成對應(yīng)的操作指令，并根據(jù)所述操作指令進(jìn)行交互。上述通過獲取深度圖像以及彩色圖像或紅外圖像的方式，，相對于傳統(tǒng)直接通過彩色相機(jī)獲取圖像信息的方式，不容易受到環(huán)境如光線強(qiáng)弱的影響，能夠有效提高圖像識別的命中率，提高唇語識別的命中率，且通過將彩色圖像中的唇部特征與紅外圖像或彩色圖像中的唇部特征進(jìn)行融合的方式進(jìn)行唇語識別，進(jìn)一步地提高了唇語識別的命中率，最終可有效改善交互的執(zhí)行率和操作準(zhǔn)確率，有利于唇語識別應(yīng)用于交互技術(shù)中的推廣。

另外，本實(shí)施方式根據(jù)深度特征信息判斷所述圖像信息中是否包括所述目標(biāo)人體對象的鼻尖，在圖像信息中包括所述目標(biāo)人體對象的鼻尖時，檢測所述鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域，并在存在所述人臉輪廓區(qū)域，獲取包括所述鼻尖以及人臉輪廓的區(qū)域圖像作為所述目標(biāo)人體對象的人臉圖像，提取所述人臉圖像中的所述鼻尖下方的區(qū)域圖像作為唇部區(qū)域圖像。上述實(shí)施方式不僅能夠縮小從圖像信息中獲取唇部區(qū)域圖像的有效范圍，提高獲取精度，而且，采用鼻尖深度信息特征的特殊性，能夠更加精確的獲取到唇部區(qū)域圖像，進(jìn)一步提高唇語識別的命中率。

另外，本實(shí)施方式中，根據(jù)檢測所述目標(biāo)人體對象所處環(huán)境的光線強(qiáng)度來確定獲取所述目標(biāo)人體對象的深度圖像以及紅外圖像，或所述目標(biāo)人體對象的深度圖像以及彩色圖像的方式，能夠使獲取到的圖像類型更加具有針對性，也更加合理，進(jìn)一步提高了圖像識別的命中率以及唇語識別的命中率。

參閱圖4，圖4是本發(fā)明自適應(yīng)唇語交互裝置一實(shí)施方式的結(jié)構(gòu)示意圖。本實(shí)施方式的交互裝置包括圖像獲取模塊401、唇部區(qū)域圖像確定模塊402、唇語識別模塊403以及交互模塊404，

圖像獲取模塊401用于獲取目標(biāo)人體對象的深度圖像以及所述目標(biāo)人體對象的紅外圖像或彩色圖像。

唇語識別主要是通過對目標(biāo)人體對象的嘴唇的特征信息進(jìn)行提取，通過該特征信息以對目標(biāo)人體對象要表達(dá)的指令或語音進(jìn)行識別的過程。

通過唇語識別來實(shí)現(xiàn)交互由于其具有操作簡單方便，因此得到了廣泛應(yīng)用。

由于目標(biāo)人體對象的深度圖像包含更加準(zhǔn)確且豐富的目標(biāo)人體對象的圖像信息，且受光線影響較小，因此，本實(shí)施方式中的圖像獲取模塊401首先獲取目標(biāo)人體對象的深度圖像以及目標(biāo)人體對象的紅外圖像或彩色圖像。

其中，該深度圖像信息包括深度相片以及視頻中的至少一種。

在具體的實(shí)施方式中，圖像獲取模塊401根據(jù)當(dāng)前環(huán)境的實(shí)際光線強(qiáng)度選擇采集目標(biāo)人體對象的深度圖像以及紅外圖像，或者目標(biāo)人體對象的深度圖像以及彩色圖像。

具體地，圖像獲取模塊401首先對當(dāng)前環(huán)境的光線進(jìn)行采集，確定當(dāng)前光線的光線強(qiáng)度，并將該采集到的光線強(qiáng)度與預(yù)設(shè)的光線閾值進(jìn)行比較，判斷當(dāng)前的光線強(qiáng)度是否超過該光線預(yù)設(shè)閾值。

如果該當(dāng)前的光線強(qiáng)度超過了該預(yù)設(shè)光線閾值，即當(dāng)前環(huán)境光線相對較亮，此時采集該目標(biāo)人體對象的深度圖像以及彩色圖像。如果當(dāng)前的光線強(qiáng)度未超過該預(yù)設(shè)光線閾值，即當(dāng)前環(huán)境光線相對較弱，由于紅外光線的圖像受環(huán)境光線強(qiáng)度的影響較小，此時采集該目標(biāo)人體對象的深度圖像以及紅外圖像。

其中，圖像獲取模塊401可通過深度相機(jī)來獲取該深度圖像信息，在其他實(shí)施方式中，深度圖像信息獲取模塊401也可以通過其他方法來獲取，例如可通過通過雙目視覺的方法或基于結(jié)構(gòu)光的方法來獲取該深度圖像信息，還可以通過基于TOF的方法來獲取該深度圖像信息等，在此不做限定，只要能夠獲取或通過計算得到該目標(biāo)人體圖像的深度圖像信息的方法都屬于本實(shí)施方式包含的范圍。

具體地，基于雙目視覺的方法是以模仿目標(biāo)人體對象的雙眼為原理，按照預(yù)先設(shè)定的位置放置兩臺相機(jī)，深度圖像信息獲取模塊401通過該兩臺相機(jī)同步采集該目標(biāo)人體對象的第一圖像以及該目標(biāo)人體對象的第二圖像。再通過預(yù)定算法，對該第一圖像和第二圖像進(jìn)行處理，根據(jù)處理結(jié)果計算得到該目標(biāo)人體對象的深度圖像信息。其中，該第一目標(biāo)圖像和第二目標(biāo)圖像為彩色圖像。因此，也可以直接采集到該目標(biāo)人體對象的彩色圖像。通過本實(shí)施方式的獲取到的深度圖像以及彩色圖像的精度高，但是計算量相對較大。

如果通過該方法獲取目標(biāo)人體對象的深度圖像和紅外圖像時，圖像獲取模塊401可以通過添加紅外光源以及紅外相機(jī)的方式來獲取該目標(biāo)人體對象的紅外圖像。

基于結(jié)構(gòu)光獲取深度圖像信息的方法是首先確定待獲取的目標(biāo)人體對象所處的目標(biāo)區(qū)域，對目標(biāo)區(qū)域投射結(jié)構(gòu)光圖案，其中，該結(jié)構(gòu)光圖案為隨機(jī)排列的散斑圖案，圖像獲取模塊401通過紅外相機(jī)獲取該目標(biāo)區(qū)域內(nèi)的目標(biāo)對象的結(jié)構(gòu)光紅外圖像。

圖像獲取模塊401在得到目標(biāo)對象的結(jié)構(gòu)光紅外圖像后，再從該紅外結(jié)構(gòu)光紅外圖像中采集該目標(biāo)對象的散斑紅外圖像，將該目標(biāo)對象的散斑紅外圖像與參考散斑圖像按照預(yù)定算法進(jìn)行圖像數(shù)據(jù)計算，獲取目標(biāo)對象上散斑紅外圖像的各個散斑點(diǎn)相對于參考散斑點(diǎn)相對于參考散斑圖像的移動距離。最后根據(jù)該移動距離、參考散斑圖像與紅外相機(jī)的距離以及用于采集圖像的紅外相機(jī)以及紅外攝像機(jī)之間的相對間隔值，利用三角法得到散斑紅外圖像的各個散斑點(diǎn)的深度值，并根據(jù)該深度值得到所述目標(biāo)對象的深度圖像。

在本實(shí)施方式中，由于結(jié)構(gòu)光紅外圖像中本身包括目標(biāo)人體對象的紅外圖像，只需將該結(jié)構(gòu)光紅外圖像進(jìn)行濾波處理，就可以得到該目標(biāo)人體對象的純凈的紅外圖像，在此不做限定。彩色圖像則需要通過添加彩色相機(jī)來獲取。

基于TOF的方法是通過向目標(biāo)人體對象所處的目標(biāo)區(qū)域投射紅外光，圖像獲取模塊401再通過紅外相機(jī)采集該紅外光反射的光線，根據(jù)該紅外光線飛行的時間即紅外光傳輸?shù)臅r間來計算目標(biāo)人體對象對應(yīng)的深度，即得到目標(biāo)人體對象的深度圖像信息。

在本實(shí)施方式中，不僅可以得到上述深度圖像信息，由于投射和采集的都是紅外光，因此，也可以直接獲取到該目標(biāo)人體對象的紅外圖像。而彩色圖像則需要通過配置彩色相機(jī)來獲取，在此不做限定。

唇部區(qū)域圖像確定模塊402用于分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像。

由于本實(shí)施方式中，圖像獲取模塊401獲取到的圖像包括目標(biāo)人體對象的深度圖像以及紅外圖像，或者目標(biāo)人體對象的深度圖像以及彩色圖像，因此，唇部區(qū)域圖像確定模塊402要分別獲取目標(biāo)人體對象的深度圖像中的唇部區(qū)域圖像以及彩色圖像中的唇部區(qū)域圖像或者紅外圖像中的唇部區(qū)域圖像。

在其中的具體的一個實(shí)施方式中，唇部區(qū)域圖像確定模塊402先獲取目標(biāo)人體對象的深度圖像中的唇部區(qū)域圖像，再根據(jù)該深度圖像中唇部區(qū)域圖像獲取彩色圖像或紅外圖像中唇部區(qū)域圖像。

具體地，如圖5所示，唇部區(qū)域圖像確定模塊502包括人臉圖像獲取模塊5021以及唇部區(qū)域圖像獲取模塊5022。

人臉圖像獲取模塊5021用于對所述深度圖像信息進(jìn)行分割得到所述目標(biāo)人體對象的人臉圖像。

為了縮小從圖像信息中獲取唇部區(qū)域圖像的有效范圍，提高獲取精度，本實(shí)施方式人臉圖像獲取模塊5021在圖像信息獲取模塊501獲取到目標(biāo)人體對象的深度圖像信息后，先對該圖像信息進(jìn)行分割，得到該目標(biāo)人體對象的人臉圖像。

在一個具體的實(shí)施方式中，由于在人的人臉圖像中，一般情況下，人的鼻尖深度相對是最小的，因此，本實(shí)施方式人臉圖像獲取模塊5021首先根據(jù)深度特征信息判斷該深度圖像信息中是否包括該目標(biāo)人體對象的鼻尖，如果在該深度圖像信息信息中檢測到目標(biāo)人體對象的鼻尖，進(jìn)一步檢測鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域。如果存在該人臉輪廓區(qū)域，則獲取包括該鼻尖以及人臉輪廓的區(qū)域圖像作為該目標(biāo)人體對象的人臉圖像。

人臉圖像獲取模塊5021還用于根據(jù)所述深度圖像與所述紅外圖像或所述彩色圖像的位置對應(yīng)關(guān)系，提取所述彩色圖像或所述紅外圖像與所述深度圖像中人臉圖像對應(yīng)位置的區(qū)域圖像，作為所述紅外圖像或所述彩色圖像中所述目標(biāo)人體對象的人臉圖像。

雖然采集到的深度圖像與紅外圖像或彩色圖像為目標(biāo)人體對象不同類型的圖像，但是不同類型的圖像中的目標(biāo)人體對象相同的部位存在位置對應(yīng)關(guān)系，因此，在獲取到深度圖像中人臉圖像后，可直接根據(jù)深度圖像與紅外圖像或彩色圖像的位置對應(yīng)關(guān)系，提取彩色圖像或紅外圖像與深度圖像中人臉圖像對應(yīng)位置的區(qū)域圖像，并將該區(qū)域圖像作為紅外圖像或彩色圖像中目標(biāo)人體對象的人臉圖像。

唇部區(qū)域圖像獲取模塊5022用于從兩種所述人臉圖像中分別獲取所述目標(biāo)人體對象的唇部區(qū)域圖像。

具體地，唇部區(qū)域圖像獲取模塊5022在人臉圖像獲取模塊5021獲取到該目標(biāo)人體圖像的人臉圖像后，進(jìn)一步地從該人臉圖像中來提取該人臉圖像中鼻尖下方的區(qū)域圖像，并將該區(qū)域圖像作為該唇部區(qū)域圖像。其中，該人臉圖像包括深度圖像中的人臉圖像，還包括紅外圖像中的人臉圖像或彩色圖像中的人臉圖像。

嘴唇區(qū)域一般是指雙唇以及雙唇中間的區(qū)域，在上述實(shí)施方式中，有時候人在講話時，周邊的部分可能也會有較大幅度的動作，因此，在上述實(shí)施方式中，嘴唇區(qū)域包括嘴唇周圍的部位，如下巴以及嘴唇兩邊的臉部。但是在其他實(shí)施方式中，考慮到人在說話時可能出現(xiàn)頭部傾斜或扭動的情形，從圖像信息中不能得到完整的嘴唇的圖像。但是由于嘴唇一般具有對稱性，在特殊情況下，也可以通過獲取半個嘴唇圖像或包括半個嘴唇周邊范圍內(nèi)人臉的圖像作為嘴唇區(qū)域。

如果是將雙唇以及雙唇中間的區(qū)域作為唇部區(qū)域圖像，在獲取到包括嘴唇周圍的部位的唇部區(qū)域圖像后，通過邊緣檢測或閾值分割的圖像處理方法從所述唇部區(qū)域圖像中獲取所述目標(biāo)人體對象的雙唇圖像。

在另一個具體的一個實(shí)施方式中，唇部區(qū)域圖像確定模塊402先獲取目標(biāo)人體對象的紅外圖像或彩色圖像中的唇部區(qū)域圖像，再根據(jù)紅外圖像或彩色圖像中的唇部區(qū)域圖像獲取深度圖像中的唇部區(qū)域圖像。

進(jìn)一步地參閱圖5，本實(shí)施方式的人臉圖像獲取模塊5021用于從所述紅外圖像或所述彩色圖像中提取所述紅外圖像或所述彩色圖像中所述目標(biāo)人體對象的人臉圖像。

在本實(shí)施方式中，人臉圖像獲取模塊5021可通過基于2D圖像的人臉檢測方法，如Viola-Jones人臉檢測算法，直接從獲取到的紅外圖像或彩色圖像中檢測目標(biāo)人體對象的人臉圖像。在其他實(shí)施方式中，也可以通過其他方法來獲取該紅外圖像或彩色圖像中檢測目標(biāo)人體對象的人臉圖像，在此不做限定。

人臉圖像獲取模塊5021還用于根據(jù)紅外圖像或所述彩色圖像與所述目標(biāo)人體對象的深度圖像的位置對應(yīng)關(guān)系，獲取所述深度圖像中所述目標(biāo)人體對象的人臉圖像。

雖然采集到的深度圖像與紅外圖像或彩色圖像為目標(biāo)人體對象不同類型的圖像，但是不同類型的圖像中的目標(biāo)人體對象相同的部位存在位置對應(yīng)關(guān)系，因此，在獲取到紅外圖像或彩色圖像中人臉圖像后，可直接根據(jù)深度圖像與紅外圖像或彩色圖像的位置對應(yīng)關(guān)系，提取深度圖像中人臉圖像對應(yīng)位置的區(qū)域圖像，并將該區(qū)域圖像作為深度圖像中目標(biāo)人體對象的人臉圖像。

唇部區(qū)域圖像獲取模塊5022用于從兩種所述人臉圖像中分別獲取所述目標(biāo)人體對象的唇部區(qū)域圖像。

具體地，唇部區(qū)域圖像獲取模塊5022在人臉圖像獲取模塊5021獲取到該目標(biāo)人體圖像的人臉圖像后，進(jìn)一步地從該人臉圖像中來提取該人臉圖像中鼻尖下方的區(qū)域圖像，并將該區(qū)域圖像作為該唇部區(qū)域圖像。其中，該人臉圖像包括深度圖像中的人臉圖像，還包括紅外圖像中的人臉圖像或彩色圖像中的人臉圖像。

嘴唇區(qū)域一般是指雙唇以及雙唇中間的區(qū)域，在上述實(shí)施方式中，有時候人在講話時，周邊的部分可能也會有較大幅度的動作，因此，在上述實(shí)施方式中，嘴唇區(qū)域包括嘴唇周圍的部位，如下巴以及嘴唇兩邊的臉部。但是在其他實(shí)施方式中，考慮到人在說話時可能出現(xiàn)頭部傾斜或扭動的情形，從圖像信息中不能得到完整的嘴唇的圖像。但是由于嘴唇一般具有對稱性，在特殊情況下，也可以通過獲取半個嘴唇圖像或包括半個嘴唇周邊范圍內(nèi)人臉的圖像作為嘴唇區(qū)域。

如果是將雙唇以及雙唇中間的區(qū)域作為唇部區(qū)域圖像，在獲取到包括嘴唇周圍的部位的唇部區(qū)域圖像后，通過邊緣檢測或閾值分割的圖像處理方法從所述唇部區(qū)域圖像中獲取所述目標(biāo)人體對象的雙唇圖像。

唇語識別模塊403用于從所述唇部區(qū)域圖像提取唇部特征，并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別。

進(jìn)一步地如圖4所示，唇語識別模塊403在獲取到唇部區(qū)域圖像后，進(jìn)一步地從該唇部區(qū)域圖像中提取唇部特征。具體地，可通過外觀輪廓提取方法或輪廓特征提取方法中的至少一種對該深度圖像以及彩色圖像或紅外圖像的唇部區(qū)域圖像進(jìn)行唇部特征提取，得到特征提取結(jié)果。

例如通過主動形狀模型法ASM、主動外觀模型法AAM、主成分分析法PCA、離散余弦變換法DCT等等方法對唇部區(qū)域圖像進(jìn)行唇部特征提取，在此不做限定。

再將分別從所述深度圖像的唇部區(qū)域圖像中提取到唇部特征以及所述紅外圖像或所述彩色圖像的唇部區(qū)域圖像中提取到唇部特征進(jìn)行融合處理。

這里指的融合處理可以是將深度、紅外以及彩色圖像中提取出的特征直接組合，也可以是將不同圖像中相同的特征進(jìn)行權(quán)重設(shè)定后組合，也可以有其他融合方式，最終是將融合后的特征用于下一步的唇語識別中。

進(jìn)一步地，唇語識別模塊403將融合處理后的唇部特征與設(shè)定識別模型數(shù)據(jù)庫中的識別信息進(jìn)行比對，得到該特征提取結(jié)果對應(yīng)的唇語識別結(jié)果。該設(shè)定識別模型包括隱馬爾可夫模型、高斯混合模型等模型中的至少一種。

交互模塊404用于將所述唇語識別的結(jié)果轉(zhuǎn)化成對應(yīng)的操作指令，并根據(jù)所述操作指令進(jìn)行交互。

交互模塊404在唇語識別模塊403對唇部特征進(jìn)行提取，得到唇部特征對應(yīng)的識別結(jié)果后，進(jìn)一步地根據(jù)實(shí)際需求對識別結(jié)果進(jìn)行處理。如將該識別結(jié)果轉(zhuǎn)換成用戶交互的操作指令，如識別結(jié)果進(jìn)行語言識別或?qū)⒃摬僮髦噶钷D(zhuǎn)換為控制遠(yuǎn)程設(shè)備的操作指令，控制體感游戲的操作指令，或控制智能設(shè)備如手機(jī)的操作指令等，在此不做限定。

交互模塊404在得到該操作指令后，進(jìn)一步地通過該操作指令對對應(yīng)的設(shè)備進(jìn)行交互控制，比如根據(jù)唇語識別技術(shù)控制手機(jī)，如通過特定的唇語識別實(shí)現(xiàn)手機(jī)的翻頁或撥打接聽電話等，在此不做限定。

在其他實(shí)施方式中，還可以直接將通過識別結(jié)果判斷出該當(dāng)前唇語的內(nèi)容，對語音進(jìn)行識別或通過語音來實(shí)現(xiàn)交互等。

區(qū)別于現(xiàn)有技術(shù)，本實(shí)施方式的自適應(yīng)唇語交互裝置的圖像獲取模塊首先獲取目標(biāo)人體對象的深度圖像以及彩色圖像或紅外圖像；唇部區(qū)域圖像確定模塊分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像；唇語識別模塊從所述唇部區(qū)域圖像提取唇部特征，并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別，交互模塊將所述唇語識別的結(jié)果轉(zhuǎn)化成對應(yīng)的操作指令，并根據(jù)所述操作指令進(jìn)行交互。上述通過獲取深度圖像以及彩色圖像或紅外圖像的方式，，相對于傳統(tǒng)直接通過彩色相機(jī)獲取圖像信息的方式，不容易受到環(huán)境如光線強(qiáng)弱的影響，能夠有效提高圖像識別的命中率，提高唇語識別的命中率，且通過將彩色圖像中的唇部特征與紅外圖像或彩色圖像中的唇部特征進(jìn)行融合的方式進(jìn)行唇語識別，進(jìn)一步地提高了唇語識別的命中率，最終可有效改善交互的執(zhí)行率和操作準(zhǔn)確率，有利于唇語識別應(yīng)用于交互技術(shù)中的推廣。

另外，本實(shí)施方式唇部區(qū)域圖像確定模塊通過人臉圖像獲取模塊根據(jù)深度特征信息判斷所述圖像信息中是否包括所述目標(biāo)人體對象的鼻尖，在圖像信息中包括所述目標(biāo)人體對象的鼻尖時，檢測所述鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域，并在存在所述人臉輪廓區(qū)域，獲取包括所述鼻尖以及人臉輪廓的區(qū)域圖像作為所述目標(biāo)人體對象的人臉圖像，通過唇部區(qū)域圖像獲取模塊提取所述人臉圖像中的所述鼻尖下方的區(qū)域圖像作為唇部區(qū)域圖像。上述實(shí)施方式不僅能夠縮小從圖像信息中獲取唇部區(qū)域圖像的有效范圍，提高獲取精度，而且，采用鼻尖深度信息特征的特殊性，能夠更加精確的獲取到唇部區(qū)域圖像，進(jìn)一步提高唇語識別的命中率。

另外，本實(shí)施方式中，圖像獲取模塊根據(jù)檢測所述目標(biāo)人體對象所處環(huán)境的光線強(qiáng)度來確定獲取所述目標(biāo)人體對象的深度圖像以及紅外圖像，或所述目標(biāo)人體對象的深度圖像以及彩色圖像的方式，能夠使獲取到的圖像類型更加具有針對性，也更加合理，進(jìn)一步提高了圖像識別的命中率以及唇語識別的命中率。

以上所述僅為本發(fā)明的實(shí)施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。