本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種唇語識別方法以及裝置。

背景技術(shù)：

在人工智能領(lǐng)域已經(jīng)圖像處理領(lǐng)域，利用目標(biāo)的圖像信息可以實現(xiàn)很多功能比如用來分析用戶的表情或動作信息等等。圖像獲取和識別一直是較為熱門的研究話題，涉及到用戶日常生活以及科學(xué)研究的多個方面。

例如，可通過對用戶面部進(jìn)行識別如唇語進(jìn)行識別的技術(shù)能提高體感交互、語音識別的準(zhǔn)確率，從而進(jìn)一步地帶來更加舒適的交互體驗。

盡管現(xiàn)有的唇語識別技術(shù)得到了廣泛的應(yīng)用，但是現(xiàn)有的唇語識別技術(shù)容易受環(huán)境影響，識別命中率并不高。

技術(shù)實現(xiàn)要素：

本發(fā)明主要解決的技術(shù)問題是提供一種唇語識別方法以及裝置，能夠有效提高唇語識別命中率。

為解決上述技術(shù)問題，本發(fā)明采用的一個技術(shù)方案是：提供一種唇語識別方法，所述唇語識別方法包括：

獲取目標(biāo)人體對象的圖像信息；

從所述圖像信息中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像；

從所述嘴唇區(qū)域圖像中提取唇部特征，并對所述唇部特征進(jìn)行唇語識別。

其中，所述從所述圖像信息中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像的步驟具體包括：

對所述圖像信息進(jìn)行分割得到所述目標(biāo)人體對象的人臉圖像；

從所述人臉圖像中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像。

其中，所述對所述圖像信息進(jìn)行分割得到所述目標(biāo)人體對象的人臉圖像的步驟具體包括：

根據(jù)深度特征信息判斷所述圖像信息中是否包括所述目標(biāo)人體對象的鼻尖；

在所述圖像信息中包括所述目標(biāo)人體對象的鼻尖時，檢測所述鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域；

如果存在所述人臉輪廓區(qū)域，獲取包括所述鼻尖以及人臉輪廓的區(qū)域圖像作為所述目標(biāo)人體對象的人臉圖像；

所述從所述人臉圖像中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像的步驟包括：

提取所述人臉圖像中的所述鼻尖下方的區(qū)域圖像作為嘴唇區(qū)域圖像。

其中，所述提取所述人臉圖像中的所述鼻尖下方的區(qū)域圖像作為嘴唇區(qū)域圖像的步驟之后還包括:

通過邊緣檢測或閾值分割的圖像處理方法從所述嘴唇區(qū)域圖像中獲取所述目標(biāo)人體對象的雙唇圖像。

其中，所述獲取目標(biāo)人體對象的圖像信息的步驟具體包括：

通過深度相機(jī)或深度相機(jī)與紅外相機(jī)、彩色相機(jī)中的至少一個相結(jié)合的方式獲取所述目標(biāo)人體對象的圖像信息。

其中，通過深度相機(jī)與紅外相機(jī)、彩色相機(jī)中的至少一個相結(jié)合的方式獲取所述目標(biāo)人體對象的圖像信息時，所述對所述圖像信息進(jìn)行分割，從所述圖像信息中獲取所述目標(biāo)人體對象的人臉圖像的步驟具體包括：

根據(jù)所述深度相機(jī)獲取到的所述目標(biāo)人體對象的深度信息，和所述紅外相機(jī)獲取到的紅外圖像或/和所述彩色相機(jī)獲取到的彩色圖像的位置對應(yīng)關(guān)系，提取所述彩色圖像或/和所述紅外圖像與所述深度圖像中人臉圖像對應(yīng)位置的區(qū)域的圖像確定為所述人臉圖像。

其中，通過深度相機(jī)與紅外相機(jī)、彩色相機(jī)中的至少一個相結(jié)合的方式獲取所述目標(biāo)人體對象的圖像信息時，所述對所述圖像信息進(jìn)行分割，從所述圖像信息中獲取所述目標(biāo)人體對象的人臉圖像的步驟具體包括：

從所述紅外相機(jī)獲取到的紅外圖像或/和所述彩色相機(jī)獲取到的彩色圖像中提取人臉圖像；

根據(jù)所述紅外圖像或/和所述彩色圖像與所述深度相機(jī)獲取到的所述目標(biāo)人體對象的深度圖像的位置對應(yīng)關(guān)系，獲取所述深度圖像中所述目標(biāo)人體對象的人臉圖像。

其中，所述從所述嘴唇區(qū)域圖像中提取唇部特征，并對所述唇部特征進(jìn)行唇語識別的步驟具體包括：

通過外觀輪廓提取方法或輪廓特征提取方法中的至少一種對所述嘴唇區(qū)域圖像進(jìn)行唇部特征提取，得到特征提取結(jié)果；

將所述特征提取結(jié)果與設(shè)定識別模型數(shù)據(jù)庫中的識別信息進(jìn)行比對，得到所述特征提取結(jié)果對應(yīng)的唇語識別結(jié)果。

為解決上述技術(shù)問題，本發(fā)明采用的另一個技術(shù)方案是：提供一種唇語識別裝置，所述唇語識別裝置包括圖像信息獲取模塊、嘴唇圖像提取模塊以及唇語識別模塊，

所述圖像信息獲取模塊用于獲取目標(biāo)人體對象的圖像信息；

所述嘴唇圖像提取模塊用于從所述圖像信息中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像；

所述唇語識別模塊用于從所述嘴唇區(qū)域圖像中提取唇部特征，并對所述唇部特征進(jìn)行唇語識別。

其中，所述嘴唇圖像提取模塊具體用于：

對所述圖像信息進(jìn)行分割得到所述目標(biāo)人體對象的人臉圖像；

從所述人臉圖像中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像。

本發(fā)明的有益效果是：區(qū)別于現(xiàn)有技術(shù)的情況，本實施方式獲取目標(biāo)人體對象的圖像信息，從所述圖像信息中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像；從所述嘴唇區(qū)域圖像中提取唇部特征，并對所述唇部特征進(jìn)行唇語識別。通過上述方式，不僅能夠有效提高圖像識別的命中率，而且不容易受到環(huán)境影響，進(jìn)一步提高唇語識別的命中率。

附圖說明

圖1是本發(fā)明唇語識別方法一實施方式的流程示意圖；

圖2是圖1唇語識別方法一實施方式的具體步驟細(xì)化流程示意圖；

圖3是本發(fā)明唇語識別裝置一實施方式的結(jié)構(gòu)示意圖；

圖4是本發(fā)明唇語識別裝置另一實施方式的結(jié)構(gòu)示意圖；

圖5是本發(fā)明唇語識別裝置再一實施方式的結(jié)構(gòu)示意圖。

具體實施方式

參閱圖1，圖1是本發(fā)明唇語識別方法一實施方式的流程示意圖。如圖1所示，本實施方式的唇語識別方法包括如下步驟：

101：獲取目標(biāo)人體對象的圖像信息。

唇語識別主要是通過對目標(biāo)人體對象的嘴唇的特征信息進(jìn)行提取，通過該特征信息以對目標(biāo)人體對象要表達(dá)的指令或語音進(jìn)行識別的過程。

本實施方式中，首先獲取目標(biāo)人體對象對應(yīng)的圖像信息。其中，該圖像信息可為深度圖像信息，也可以為深度圖像信息與紅外圖像以及彩色圖像中中的至少一個的組合圖像。

具體地，當(dāng)該圖像信息為深度圖像信息時，可直接通過深度相機(jī)來獲取。在其他實施方式中，也可以通過其他方法來獲取，如通過雙目視覺的方法、基于結(jié)構(gòu)光的方法，還可以通過基于TOF的方法等。

基于雙目視覺的方法是以模仿目標(biāo)人體對象的雙眼為原理，按照預(yù)先設(shè)定的位置放置兩臺相機(jī)，通過該兩臺相機(jī)同步獲取圖像信息的第一目標(biāo)圖像以及第二目標(biāo)圖像。再通過預(yù)定算法，對該第一目標(biāo)圖像和第二目標(biāo)圖像進(jìn)行處理后，得到目標(biāo)人體對象的深度圖像信息。其中，該第一目標(biāo)圖像和第二目標(biāo)圖像為彩色圖像。通過本實施方式的獲取到的深度圖像信息的精度高，但是計算量相對較大。

在本實施方式中，由于采集到的第一目標(biāo)圖像和第二目標(biāo)圖像均為彩色圖像，因此，可以直接得到目標(biāo)人體對象的彩色圖像。還可以通過添加紅外光源和紅外相機(jī)的方式來獲取目標(biāo)人體對象的紅外圖像。

基于結(jié)構(gòu)光獲取深度圖像信息的方法是首先確定待獲取的目標(biāo)人體對象所處的目標(biāo)區(qū)域，對目標(biāo)區(qū)域投射結(jié)構(gòu)光圖案，其中，該結(jié)構(gòu)光圖案為隨機(jī)排列的散斑圖案，再通過紅外相機(jī)獲取該目標(biāo)區(qū)域內(nèi)的目標(biāo)對象的結(jié)構(gòu)光紅外圖像。再從該紅外結(jié)構(gòu)光紅外圖像中采集該目標(biāo)對象的散斑紅外圖像，將該目標(biāo)對象的散斑紅外圖像與參考散斑圖像按照預(yù)定算法進(jìn)行圖像數(shù)據(jù)計算，獲取目標(biāo)對象上散斑紅外圖像的各個散斑點相對于參考散斑點相對于參考散斑圖像的移動距離。最后根據(jù)該移動距離、參考散斑圖像與紅外相機(jī)的距離以及用于采集圖像的紅外相機(jī)以及紅外攝像機(jī)之間的相對間隔值，利用三角法得到散斑紅外圖像的各個散斑點的深度值，并根據(jù)該深度值得到所述目標(biāo)對象的深度圖像。

在本實施方式中，由于結(jié)構(gòu)光紅外圖像中本身包括目標(biāo)人體對象的紅外圖像，只需將該結(jié)構(gòu)光紅外圖像進(jìn)行濾波處理，就可以得到該圖像信息的純紅外圖像，在此不做限定。彩色圖像則需要通過添加彩色相機(jī)來獲取。

基于TOF的方法是通過向目標(biāo)人體對象所處的目標(biāo)區(qū)域投射紅外光，再通過紅外相機(jī)采集返回的紅外光線，根據(jù)該紅外光線飛行的時間即紅外光傳輸?shù)臅r間來計算目標(biāo)人體對象對應(yīng)的深度，即得到目標(biāo)人體對象的深度圖像信息。

在本實施方式中，不僅可以得到上述深度圖像信息，由于投射和采集的都是紅外光，因此，也可以直接獲取到該目標(biāo)人體對象的紅外圖像。而彩色圖像則需要通過配置彩色相機(jī)來獲取，在此不做限定。

在上述任一實施方式中，當(dāng)獲取到的目標(biāo)人體對象的圖像信息為深度圖像信息與紅外圖像以及彩色圖像中中的至少一個的組合圖像時，均需要對獲取到的深度圖像信息與紅外圖像或/和彩色圖像進(jìn)行計算、處理融合得到圖像信息，以提高獲取到圖像的精度，在此不做限定。

102：從所述圖像信息中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像。

為了獲取到精準(zhǔn)的嘴唇區(qū)域圖像，進(jìn)一步參閱圖2，圖2是獲取嘴唇區(qū)域圖像的細(xì)化流程圖，如圖2所示，在獲取到目標(biāo)人體對象的圖像信息后，主要包括：

201：對所述圖像信息進(jìn)行分割得到所述目標(biāo)人體對象的人臉圖像。

為了縮小從圖像信息中獲取嘴唇區(qū)域圖像的有效范圍，提高獲取精度，本實施方式在獲取到目標(biāo)人體對象的圖像信息后首先對該圖像信息進(jìn)行分割，得到該目標(biāo)人體對象的人臉圖像。

在一個具體的實施方式中，由于在人的人臉圖像中，一般情況下，人的鼻尖深度相對是最小的，因此，本實施方式首先根據(jù)深度特征信息判斷該圖像信息中是否包括該目標(biāo)人體對象的鼻尖，如果在該圖像信息信息中檢測到目標(biāo)人體對象的鼻尖，進(jìn)一步檢測鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域。如果存在該人臉輪廓區(qū)域，則獲取包括該鼻尖以及人臉輪廓的區(qū)域圖像作為該目標(biāo)人體對象的人臉圖像。

在另一個實施方式中，當(dāng)通過深度相機(jī)與紅外相機(jī)、彩色相機(jī)中的至少一個相結(jié)合的方式獲取所述目標(biāo)人體對象的圖像信息時，根據(jù)所述深度相機(jī)獲取到的所述目標(biāo)人體對象的深度信息，和所述紅外相機(jī)獲取到的紅外圖像或/和所述彩色相機(jī)獲取到的彩色圖像的位置對應(yīng)關(guān)系，提取所述彩色圖像或/和所述紅外圖像與所述深度圖像中人臉圖像對應(yīng)位置的區(qū)域的圖像確定為所述人臉圖像。

在另一個實施方式中，當(dāng)通過深度相機(jī)與紅外相機(jī)、彩色相機(jī)中的至少一個相結(jié)合的方式獲取所述目標(biāo)人體對象的圖像信息時，從所述紅外相機(jī)獲取到的紅外圖像或/和所述彩色相機(jī)獲取到的彩色圖像中提取人臉圖像；根據(jù)所述紅外圖像或/和所述彩色圖像與所述深度相機(jī)獲取到的所述目標(biāo)人體對象的深度圖像的位置對應(yīng)關(guān)系，獲取所述深度圖像中所述目標(biāo)人體對象的人臉圖像。

202：從所述人臉圖像中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像。

具體地，在獲取到該目標(biāo)人體圖像的人臉圖像后，進(jìn)一步地從該人臉圖像中提取該人臉圖像中該鼻尖下方的區(qū)域圖像作為該嘴唇區(qū)域圖像。

嘴唇區(qū)域一般是指雙唇以及雙唇中間的區(qū)域，在上述實施方式中，有時候人在講話時，周邊的部分可能也會有較大幅度的動作，因此，在上述實施方式中，嘴唇區(qū)域包括嘴唇周圍的部位，如下巴以及嘴唇兩邊的臉部。但是在其他實施方式中，考慮到人在說話時可能出現(xiàn)頭部傾斜或扭動的情形，從圖像信息中不能得到完整的嘴唇的圖像。但是由于嘴唇一般具有對稱性，在特殊情況下，也可以通過獲取半個嘴唇圖像或包括半個嘴唇周邊范圍內(nèi)人臉的圖像作為嘴唇區(qū)域。

如果是將雙唇以及雙唇中間的區(qū)域作為嘴唇區(qū)域圖像，在獲取到包括嘴唇周圍的部位的嘴唇區(qū)域圖像后，進(jìn)一步的可通過邊緣檢測或閾值分割的圖像處理方法從所述嘴唇區(qū)域圖像中獲取所述目標(biāo)人體對象的雙唇圖像。

103：從所述嘴唇區(qū)域圖像中提取唇部特征，并對所述唇部特征進(jìn)行唇語識別。

在獲取到嘴唇區(qū)域圖像后，進(jìn)一步地從該嘴唇區(qū)域圖像中提取唇部特征。具體地，可通過外觀輪廓提取方法或輪廓特征提取方法中的至少一種對所述嘴唇區(qū)域圖像進(jìn)行唇部特征提取，得到特征提取結(jié)果。

例如通過主動形狀模型法ASM、主動外觀模型法AAM、主成分分析法PCA、離散余弦變換法DCT等等方法對嘴唇區(qū)域圖像進(jìn)行唇部特征提取，在此不做限定。

進(jìn)一步地，根據(jù)該特征提取結(jié)果與與設(shè)定識別模型數(shù)據(jù)庫中的識別信息進(jìn)行比對，得到該特征提取結(jié)果對應(yīng)的唇語識別結(jié)果。該設(shè)定識別模型包括隱馬爾可夫模型、高斯混合模型等模型中的至少一種。

區(qū)別于現(xiàn)有技術(shù)，本實施方式獲取目標(biāo)人體對象的圖像信息，從所述圖像信息中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像；從所述嘴唇區(qū)域圖像中提取唇部特征，并對所述唇部特征進(jìn)行唇語識別。通過上述方式，不僅能夠有效提高圖像識別的命中率，而且不容易受到環(huán)境影響，進(jìn)一步提高唇語識別的命中率。

另外，本實施方式根據(jù)深度特征信息判斷所述圖像信息中是否包括所述目標(biāo)人體對象的鼻尖，在圖像信息中包括所述目標(biāo)人體對象的鼻尖時，檢測所述鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域，并在存在所述人臉輪廓區(qū)域，獲取包括所述鼻尖以及人臉輪廓的區(qū)域圖像作為所述目標(biāo)人體對象的人臉圖像，提取所述人臉圖像中的所述鼻尖下方的區(qū)域圖像作為嘴唇區(qū)域圖像。上述實施方式不僅能夠縮小從圖像信息中獲取嘴唇區(qū)域圖像的有效范圍，提高獲取精度，而且，采用鼻尖深度信息特征的特殊性，能夠更加精確的獲取到嘴唇區(qū)域圖像，進(jìn)一步提高唇語識別的命中率。

參閱圖3，圖3是本發(fā)明唇語識別裝置一實施方式的結(jié)構(gòu)示意圖。本實施方式的唇語識別裝置包括圖像信息獲取模塊301、嘴唇圖像提取模塊302以及唇語識別模塊303。

圖像信息獲取模塊301用于獲取目標(biāo)人體對象的圖像信息。

唇語識別主要是通過對目標(biāo)人體對象的嘴唇的特征信息進(jìn)行提取，通過該特征信息以對目標(biāo)人體對象要表達(dá)的指令或語音進(jìn)行識別的過程。

本實施方式中，首先圖像信息獲取模塊301獲取目標(biāo)人體對象對應(yīng)的圖像信息。其中，該圖像信息可為深度圖像信息，也可以為深度圖像信息與紅外圖像以及彩色圖像中中的至少一個的組合圖像。

具體地，當(dāng)該圖像信息為深度圖像信息時，圖像信息獲取模塊301可直接通過深度相機(jī)來獲取。在其他實施方式中，圖像信息獲取模塊301也可以通過其他方法來獲取，如通過雙目視覺的方法、基于結(jié)構(gòu)光的方法，還可以通過基于TOF的方法等。

基于雙目視覺的方法是以模仿目標(biāo)人體對象的雙眼為原理，圖像信息獲取模塊301按照預(yù)先設(shè)定的位置放置兩臺相機(jī)，通過該兩臺相機(jī)同步獲取圖像信息的第一目標(biāo)圖像以及第二目標(biāo)圖像。再通過預(yù)定算法，對該第一目標(biāo)圖像和第二目標(biāo)圖像進(jìn)行處理后，得到目標(biāo)人體對象的深度圖像信息。其中，該第一目標(biāo)圖像和第二目標(biāo)圖像為彩色圖像。通過本實施方式的獲取到的深度圖像信息的精度高，但是計算量相對較大。

在本實施方式中，由于采集到的第一目標(biāo)圖像和第二目標(biāo)圖像均為彩色圖像，因此，可以直接得到目標(biāo)人體對象的彩色圖像。還可以通過添加紅外光源和紅外相機(jī)的方式來獲取目標(biāo)人體對象的紅外圖像。

基于結(jié)構(gòu)光獲取深度圖像信息的方法是圖像信息獲取模塊301首先確定待獲取的目標(biāo)人體對象所處的目標(biāo)區(qū)域，對目標(biāo)區(qū)域投射結(jié)構(gòu)光圖案，其中，該結(jié)構(gòu)光圖案為隨機(jī)排列的散斑圖案，再通過紅外相機(jī)獲取該目標(biāo)區(qū)域內(nèi)的目標(biāo)對象的結(jié)構(gòu)光紅外圖像。再從該紅外結(jié)構(gòu)光紅外圖像中采集該目標(biāo)對象的散斑紅外圖像，將該目標(biāo)對象的散斑紅外圖像與參考散斑圖像按照預(yù)定算法進(jìn)行圖像數(shù)據(jù)計算，獲取目標(biāo)對象上散斑紅外圖像的各個散斑點相對于參考散斑點相對于參考散斑圖像的移動距離。最后根據(jù)該移動距離、參考散斑圖像與紅外相機(jī)的距離以及用于采集圖像的紅外相機(jī)以及紅外攝像機(jī)之間的相對間隔值，利用三角法得到散斑紅外圖像的各個散斑點的深度值，并根據(jù)該深度值得到所述目標(biāo)對象的深度圖像。

在本實施方式中，由于結(jié)構(gòu)光紅外圖像中本身包括目標(biāo)人體對象的紅外圖像，只需將該結(jié)構(gòu)光紅外圖像進(jìn)行濾波處理，就可以得到該圖像信息的純紅外圖像，在此不做限定。彩色圖像則需要通過添加彩色相機(jī)來獲取。

基于TOF的方法是圖像信息獲取模塊301通過向目標(biāo)人體對象所處的目標(biāo)區(qū)域投射紅外光，再通過紅外相機(jī)采集返回的紅外光線，根據(jù)該紅外光線飛行的時間即紅外光傳輸?shù)臅r間來計算目標(biāo)人體對象對應(yīng)的深度，即得到目標(biāo)人體對象的深度圖像信息。

在本實施方式中，不僅可以得到上述深度圖像信息，由于投射和采集的都是紅外光，因此，也可以直接獲取到該目標(biāo)人體對象的紅外圖像。而彩色圖像則需要通過配置彩色相機(jī)來獲取，在此不做限定。

在上述任一實施方式中，當(dāng)獲取到的目標(biāo)人體對象的圖像信息為深度圖像信息與紅外圖像以及彩色圖像中中的至少一個的組合圖像時，均需要對獲取到的深度圖像信息與紅外圖像或/和彩色圖像進(jìn)行計算、處理融合得到圖像信息，以提高獲取到圖像的精度，在此不做限定。

嘴唇圖像提取模塊302用于從所述圖像信息中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像。

為了獲取到精準(zhǔn)的嘴唇區(qū)域圖像，進(jìn)一步地，如圖4所示，嘴唇圖像提取模塊402包括人臉圖像獲取模塊4021以及嘴唇區(qū)域圖像獲取模塊4022。

人臉圖像獲取模塊4021用于對所述圖像信息進(jìn)行分割得到所述目標(biāo)人體對象的人臉圖像。

為了縮小從圖像信息中獲取嘴唇區(qū)域圖像的有效范圍，提高獲取精度，本實施方式人臉圖像獲取模塊4021在圖像獲取模塊401獲取到目標(biāo)人體對象的圖像信息后首先對該圖像信息進(jìn)行分割，得到該目標(biāo)人體對象的人臉圖像。

在一個具體的實施方式中，由于在人的人臉圖像中，一般情況下，人的鼻尖深度相對是最小的，因此，本實施方式人臉圖像獲取模塊4021首先根據(jù)深度特征信息判斷該圖像信息中是否包括該目標(biāo)人體對象的鼻尖，如果在該圖像信息信息中檢測到目標(biāo)人體對象的鼻尖，進(jìn)一步檢測鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域。如果存在該人臉輪廓區(qū)域，則獲取包括該鼻尖以及人臉輪廓的區(qū)域圖像作為該目標(biāo)人體對象的人臉圖像。

在另一個實施方式中，當(dāng)通過深度相機(jī)與紅外相機(jī)、彩色相機(jī)中的至少一個相結(jié)合的方式獲取所述目標(biāo)人體對象的圖像信息時，人臉圖像獲取模塊4021根據(jù)所述深度相機(jī)獲取到的所述目標(biāo)人體對象的深度信息，和所述紅外相機(jī)獲取到的紅外圖像或/和所述彩色相機(jī)獲取到的彩色圖像的位置對應(yīng)關(guān)系，提取所述彩色圖像或/和所述紅外圖像與所述深度圖像中人臉圖像對應(yīng)位置的區(qū)域的圖像確定為所述人臉圖像。

在另一個實施方式中，當(dāng)通過深度相機(jī)與紅外相機(jī)、彩色相機(jī)中的至少一個相結(jié)合的方式獲取所述目標(biāo)人體對象的圖像信息時，人臉圖像獲取模塊4021從所述紅外相機(jī)獲取到的紅外圖像或/和所述彩色相機(jī)獲取到的彩色圖像中提取人臉圖像；根據(jù)所述紅外圖像或/和所述彩色圖像與所述深度相機(jī)獲取到的所述目標(biāo)人體對象的深度圖像的位置對應(yīng)關(guān)系，獲取所述深度圖像中所述目標(biāo)人體對象的人臉圖像。

嘴唇區(qū)域圖像獲取模塊4022用于從所述人臉圖像中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像。

具體地，嘴唇區(qū)域圖像獲取模塊4022在人臉圖像獲取模塊4021獲取到該目標(biāo)人體圖像的人臉圖像后，進(jìn)一步地從該人臉圖像中提取該人臉圖像中該鼻尖下方的區(qū)域圖像作為該嘴唇區(qū)域圖像。

嘴唇區(qū)域一般是指雙唇以及雙唇中間的區(qū)域，在上述實施方式中，有時候人在講話時，周邊的部分可能也會有較大幅度的動作，因此，在上述實施方式中，嘴唇區(qū)域包括嘴唇周圍的部位，如下巴以及嘴唇兩邊的臉部。但是在其他實施方式中，考慮到人在說話時可能出現(xiàn)頭部傾斜或扭動的情形，從圖像信息中不能得到完整的嘴唇的圖像。但是由于嘴唇一般具有對稱性，在特殊情況下，也可以通過獲取半個嘴唇圖像或包括半個嘴唇周邊范圍內(nèi)人臉的圖像作為嘴唇區(qū)域。

如果是將雙唇以及雙唇中間的區(qū)域作為嘴唇區(qū)域圖像，在獲取到包括嘴唇周圍的部位的嘴唇區(qū)域圖像后，進(jìn)一步的可通過邊緣檢測或閾值分割的圖像處理方法從所述嘴唇區(qū)域圖像中獲取所述目標(biāo)人體對象的雙唇圖像。

如果是將雙唇以及雙唇中間的區(qū)域作為嘴唇區(qū)域圖像，在獲取到包括嘴唇周圍的部位的嘴唇區(qū)域圖像后，進(jìn)一步地如圖5所示，本實施方式的唇語識別裝置還包括雙唇圖像提取模塊504，該雙唇圖像提取模塊504用于通過邊緣檢測或閾值分割的圖像處理方法從所述嘴唇區(qū)域圖像中獲取所述目標(biāo)人體對象的雙唇圖像。

唇語識別模塊303用于從所述嘴唇區(qū)域圖像中提取唇部特征，并對所述唇部特征進(jìn)行唇語識別。

進(jìn)一步地如圖3所示，唇語識別模塊303在嘴唇圖像提取模塊302獲取到嘴唇區(qū)域圖像后，進(jìn)一步地從該嘴唇區(qū)域圖像中提取唇部特征。具體地，可通過外觀輪廓提取方法或輪廓特征提取方法中的至少一種對所述嘴唇區(qū)域圖像進(jìn)行唇部特征提取，得到特征提取結(jié)果。

例如通過主動形狀模型法ASM、主動外觀模型法AAM、主成分分析法PCA、離散余弦變換法DCT等等方法對嘴唇區(qū)域圖像進(jìn)行唇部特征提取，在此不做限定。

進(jìn)一步地，唇語識別模塊303根據(jù)該特征提取結(jié)果與與設(shè)定識別模型數(shù)據(jù)庫中的識別信息進(jìn)行比對，得到該特征提取結(jié)果對應(yīng)的唇語識別結(jié)果。該設(shè)定識別模型包括隱馬爾可夫模型、高斯混合模型等模型中的至少一種。

區(qū)別于現(xiàn)有技術(shù)，本實施方式的圖像信息獲取模塊獲取目標(biāo)人體對象的圖像信息，從所述圖像信息中獲取所述目標(biāo)人體對象的嘴唇區(qū)域圖像；嘴唇圖像提取模塊從所述嘴唇區(qū)域圖像中提取唇部特征，唇語識別模塊并對所述唇部特征進(jìn)行唇語識別。通過上述方式，不僅能夠有效提高圖像識別的命中率，而且不容易受到環(huán)境影響，進(jìn)一步提高唇語識別的命中率。

另外，本實施方式嘴唇圖像提取模塊根據(jù)深度特征信息判斷所述圖像信息中是否包括所述目標(biāo)人體對象的鼻尖，在圖像信息中包括所述目標(biāo)人體對象的鼻尖時，檢測所述鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域，并在存在所述人臉輪廓區(qū)域，獲取包括所述鼻尖以及人臉輪廓的區(qū)域圖像作為所述目標(biāo)人體對象的人臉圖像，提取所述人臉圖像中的所述鼻尖下方的區(qū)域圖像作為嘴唇區(qū)域圖像。上述實施方式不僅能夠縮小從圖像信息中獲取嘴唇區(qū)域圖像的有效范圍，提高獲取精度，而且，采用鼻尖深度信息特征的特殊性，能夠更加精確的獲取到嘴唇區(qū)域圖像，進(jìn)一步提高唇語識別的命中率。

以上所述僅為本發(fā)明的實施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。