1.一種自適應(yīng)唇語交互方法,其特征在于,所述自適應(yīng)唇語交互方法包括:
獲取目標(biāo)人體對象的深度圖像以及所述目標(biāo)人體對象的紅外圖像或彩色圖像;
分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像;
從所述唇部區(qū)域圖像提取唇部特征,并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別;
將所述唇語識別的結(jié)果轉(zhuǎn)化成對應(yīng)的操作指令,并根據(jù)所述操作指令進(jìn)行交互。
2.根據(jù)權(quán)利要求1所述的自適應(yīng)唇語交互方法,其特征在于,所述獲取目標(biāo)人體對象的深度圖像以及所述目標(biāo)人體對象的紅外圖像或彩色圖像的步驟包括:
檢測所述目標(biāo)人體對象所處環(huán)境的光線強(qiáng)度;
根據(jù)所述光線強(qiáng)度確定獲取所述目標(biāo)人體對象的深度圖像以及紅外圖像,或所述目標(biāo)人體對象的深度圖像以及彩色圖像。
3.根據(jù)權(quán)利要求2所述的自適應(yīng)唇語交互方法,其特征在于,所述根據(jù)所述光線強(qiáng)度確定獲取所述目標(biāo)人體對象的深度圖像以及紅外圖像,或所述目標(biāo)人體對象的深度圖像以及彩色圖像的步驟具體包括:
判斷所述光線強(qiáng)度是否超過預(yù)設(shè)光線閾值;
如果所述光線強(qiáng)度超過所述預(yù)設(shè)光線閾值,則獲取所述目標(biāo)人體對象的深度圖像以及彩色圖像;如果所述光線強(qiáng)度未超過所述預(yù)設(shè)光線閾值,則獲取所述目標(biāo)人體對象的深度圖像以及紅外圖像。
4.根據(jù)權(quán)利要求1所述的自適應(yīng)唇語交互方法,其特征在于,所述分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像的步驟包括:
對所述深度圖像進(jìn)行分割得到所述深度圖像中所述目標(biāo)人體對象的人臉圖像;
根據(jù)所述深度圖像與所述紅外圖像或所述彩色圖像的位置對應(yīng)關(guān)系,提取所述彩色圖像或所述紅外圖像與所述深度圖像中人臉圖像對應(yīng)位置的區(qū)域圖像,作為所述紅外圖像或所述彩色圖像中所述目標(biāo)人體對象的人臉圖像;
從兩種所述人臉圖像中分別獲取所述目標(biāo)人體對象的唇部區(qū)域圖像。
5.根據(jù)權(quán)利要求4所述的自適應(yīng)唇語交互方法,其特征在于,所述對所述深度圖像進(jìn)行分割得到所述深度圖像中所述目標(biāo)人體對象的人臉圖像的步驟具體包括:
根據(jù)深度特征信息判斷所述深度圖像信息中是否包括所述目標(biāo)人體對象的鼻尖;
在所述深度圖像信息中包括所述目標(biāo)人體對象的鼻尖時(shí),檢測所述鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域;
如果存在所述人臉輪廓區(qū)域,獲取包括所述鼻尖以及人臉輪廓的區(qū)域圖像作為所述目標(biāo)人體對象的人臉圖像。
6.根據(jù)權(quán)利要求1所述的自適應(yīng)唇語交互方法,其特征在于,所述分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像步驟包括:
從所述紅外圖像或所述彩色圖像中提取所述紅外圖像或所述彩色圖像中所述目標(biāo)人體對象的人臉圖像;
根據(jù)所述紅外圖像或所述彩色圖像與所述目標(biāo)人體對象的深度圖像的位置對應(yīng)關(guān)系,獲取所述深度圖像中所述目標(biāo)人體對象的人臉圖像;
從兩種所述人臉圖像中分別獲取所述目標(biāo)人體對象的唇部區(qū)域圖像。
7.根據(jù)權(quán)利要求5或6所述的自適應(yīng)唇語交互方法,其特征在于,所述從兩種所述人臉圖像中分別獲取所述目標(biāo)人體對象的唇部區(qū)域圖像的步驟包括:
提取所述人臉圖像中的所述鼻尖下方的區(qū)域作為唇部區(qū)域圖像。
8.根據(jù)權(quán)利要求1所述的自適應(yīng)唇語交互方法,其特征在于,所述從所述唇部區(qū)域圖像提取唇部特征,并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別的步驟具體包括:
通過外觀輪廓提取方法或輪廓特征提取方法中的至少一種從所述深度圖像以及所述紅外圖像或所述深度圖像以及所述彩色圖像的唇部區(qū)域圖像中提取唇部特征;
將分別從所述深度圖像的唇部區(qū)域圖像中提取到唇部特征以及所述紅外圖像或所述彩色圖像的唇部區(qū)域圖像中提取到唇部特征進(jìn)行融合處理;
將處理后的唇部特征與設(shè)定識別模型數(shù)據(jù)庫中的識別信息進(jìn)行比對,得到所述唇部特征對應(yīng)的唇語識別結(jié)果。
9.根據(jù)權(quán)利要求8所述的自適應(yīng)唇語交互方法,其特征在于,
所述將分別從所述深度圖像的唇部區(qū)域圖像中提取到唇部特征以及所述紅外圖像或所述彩色圖像的唇部區(qū)域圖像中提取到唇部特征進(jìn)行融合處理的步驟具體包括:
將所述深度圖像的唇部區(qū)域圖像中提取到的唇部特征以及所述紅外圖像或所述彩色圖像的唇部區(qū)域圖像中提取到的唇部特征直接組合,或?qū)⑺錾疃葓D像中提取到的唇部特征以及所述紅外圖像或彩色圖像提取到的唇部特征按照預(yù)設(shè)權(quán)重進(jìn)行加權(quán)處理后進(jìn)行組合,以進(jìn)行融合處理;
所述從所述唇部區(qū)域圖像提取唇部特征,并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別的步驟之后還包括:
通過邊緣檢測或閾值分割的圖像處理方法從所述唇部區(qū)域圖像中獲取所述目標(biāo)人體對象的雙唇圖像。
10.一種自適應(yīng)唇語交互裝置,其特征在于,所述交互裝置包括:圖像獲取模塊、唇部區(qū)域圖像確定模塊、唇語識別模塊以及交互模塊,
所述圖像獲取模塊用于獲取目標(biāo)人體對象的深度圖像以及所述目標(biāo)人體對象的紅外圖像或彩色圖像;
所述唇部區(qū)域圖像確定模塊用于分別從所述深度圖像以及所述紅外圖像或彩色圖像中獲取所述目標(biāo)人體對象的唇部區(qū)域圖像;
所述唇語識別模塊用于從所述唇部區(qū)域圖像提取唇部特征,并將從所述深度圖像以及所述紅外圖像或從所述深度圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進(jìn)行唇語識別;
所述交互模塊用于將所述唇語識別的結(jié)果轉(zhuǎn)化成對應(yīng)的操作指令,并根據(jù)所述操作指令進(jìn)行交互。