專(zhuān)利名稱(chēng)：一種應(yīng)用于遠(yuǎn)程信息服務(wù)的人機(jī)交互識(shí)別系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)領(lǐng)域，特別是以人臉、臉部表情、語(yǔ)音、語(yǔ)音情感作為指令輸入手段的人機(jī)交互識(shí)別系統(tǒng)。
背景技術(shù)：
目前，人機(jī)交互的方法包括觸摸屏操作、鼠標(biāo)操作、語(yǔ)音控制等。目前，隨著智能控制技術(shù)的發(fā)展，一種綜合人臉、臉部表情、語(yǔ)音、語(yǔ)音情感等因素的人機(jī)交互手段將更能給用戶(hù)一種便捷、人性化的操作體驗(yàn)。如中國(guó)專(zhuān)利申請(qǐng)200810169232. 4(人機(jī)交互方法及系統(tǒng))公開(kāi)了一種人機(jī)交互方法及系統(tǒng)，將人機(jī)交互的過(guò)程劃分成不同的對(duì)話(huà)狀態(tài)，每個(gè)對(duì)話(huà)狀態(tài)分別對(duì)應(yīng)一個(gè)處理過(guò)程；該方法包括根據(jù)用戶(hù)輸入的即時(shí)上下文信息，獲得反映所述用戶(hù)需求的特征信息；至少根據(jù)所述特征信息和領(lǐng)域知識(shí)，確定當(dāng)前與所述用戶(hù)需求匹配的對(duì)話(huà)狀態(tài)；調(diào)用并執(zhí)行與所述確定的對(duì)話(huà)狀態(tài)對(duì)應(yīng)的處理過(guò)程，并將所述處理過(guò)程的處理結(jié)果返回給用戶(hù)。該發(fā)明，以匹配用戶(hù)需求，實(shí)現(xiàn)個(gè)性化的、擬人體驗(yàn)的人機(jī)交互過(guò)程，從而提高用戶(hù)體驗(yàn)性，但沒(méi)有考慮并綜合人臉、臉部表情、語(yǔ)音、語(yǔ)音情感等因素；中國(guó)專(zhuān)利申請(qǐng)200910061752.8(—種人機(jī)交互平臺(tái))提供了一種人機(jī)交互平臺(tái)，該平臺(tái)包括繪圖引擎，用于顯示圖形、文字；語(yǔ)音引擎，用于合成語(yǔ)音，進(jìn)行播報(bào)；圖像識(shí)別引擎，用于識(shí)別用戶(hù)輸入圖形的樣式，觸發(fā)不同的功能；跨平臺(tái)模塊，用于實(shí)現(xiàn)跨平臺(tái)功能；人機(jī)交互模塊，用于顯示人機(jī)界面；人機(jī)交互模塊通過(guò)接口，經(jīng)繪圖引擎連接跨平臺(tái)模塊；圖像識(shí)別引擎、語(yǔ)音引擎通過(guò)接口相連，并且分別通過(guò)接口連接跨平臺(tái)模塊；上述各模塊均安裝在人機(jī)交互硬件設(shè)備上，跨平臺(tái)模塊還與操作系統(tǒng)相交互。該發(fā)明綜合了圖形、文字、語(yǔ)音因素，但沒(méi)就如何處理人臉、臉部表情、語(yǔ)音、語(yǔ)音情感等因素并獲得操作指令提出解決方案。

發(fā)明內(nèi)容
本發(fā)明的目的就提出一種綜合考慮人臉、臉部表情、語(yǔ)音、語(yǔ)音情感因素，并對(duì)其代表的操作指令進(jìn)行識(shí)別的人機(jī)交互識(shí)別裝置，該人機(jī)交互識(shí)別裝置可以集成在提供網(wǎng)絡(luò)信息服務(wù)的服務(wù)系統(tǒng)或其客戶(hù)端，為用戶(hù)提供一種全新的操作體驗(yàn)方法。下面對(duì)本發(fā)明方案做進(jìn)一步描述一種應(yīng)用于遠(yuǎn)程信息服務(wù)的人機(jī)交互識(shí)別系統(tǒng)，其特征在于，提供網(wǎng)絡(luò)信息服務(wù)的服務(wù)系統(tǒng)或其客戶(hù)端至少具有一個(gè)人機(jī)交互識(shí)別裝置；所述的人機(jī)交互識(shí)別裝置包括聽(tīng)覺(jué)采集模塊，用于采集用戶(hù)的語(yǔ)音信號(hào)；視覺(jué)采集模塊，用于采集用戶(hù)的人臉圖像；第一預(yù)處理模塊，用于對(duì)視覺(jué)采集模塊采集的圖像進(jìn)行預(yù)處理；人臉特征提取模塊，用于通過(guò)對(duì)第一預(yù)處理模塊的圖像進(jìn)行分析，實(shí)現(xiàn)對(duì)人臉整體或特征部位的識(shí)別、定位；人臉識(shí)別模塊，用于根據(jù)人臉特征提取模塊獲得參數(shù)進(jìn)行識(shí)別，輸出人臉識(shí)別的結(jié)果；第二預(yù)處理模塊，用于對(duì)聽(tīng)覺(jué)采集模塊的語(yǔ)音信號(hào)進(jìn)行預(yù)處理；語(yǔ)音特征提取模塊，用于分析并獲得語(yǔ)音參數(shù)；語(yǔ)音識(shí)別模塊，用于根據(jù)語(yǔ)音特征提取模塊獲得的參數(shù)進(jìn)行識(shí)別并獲得該用戶(hù)語(yǔ)音對(duì)應(yīng)的請(qǐng)求或指令；第三預(yù)處理模塊，用于對(duì)視覺(jué)采集模塊采集的圖像進(jìn)行預(yù)處理，形成人臉表情圖像序列；人臉表情特征提取模塊，用于對(duì)第三預(yù)處理模塊輸入的圖像序列進(jìn)行分析處理，獲得人臉表情參數(shù)；人臉表情識(shí)別模塊，用于人臉表情參數(shù)進(jìn)行處理、識(shí)別進(jìn)而獲得人臉表情的識(shí)別結(jié)果；第四預(yù)處理模塊，用于對(duì)聽(tīng)覺(jué)采集模塊的語(yǔ)音信號(hào)進(jìn)行與語(yǔ)言情感相關(guān)的預(yù)處理；語(yǔ)言情感特征提取模塊，用于從第四預(yù)處理模塊輸入的信號(hào)中獲得語(yǔ)言情感特征的參數(shù)；語(yǔ)言情感識(shí)別模塊，用于通過(guò)對(duì)語(yǔ)言情感特征的參數(shù)的分析處理，識(shí)別出該語(yǔ)音信號(hào)包含的情感信息并輸出識(shí)別結(jié)果；顯性識(shí)別融合模塊，用于將人臉識(shí)別模塊和語(yǔ)音識(shí)別模塊的識(shí)別結(jié)果進(jìn)行融合處理，形成綜合了人臉特征和語(yǔ)音特征的識(shí)別結(jié)果；隱性識(shí)別融合模塊，用于將人臉表情識(shí)別模塊和語(yǔ)言情感識(shí)別模塊的識(shí)別結(jié)果進(jìn)行融合處理，形成綜合了人臉表情特征和語(yǔ)音情感特征的識(shí)別結(jié)果。進(jìn)一步，所述的人臉識(shí)別模塊、語(yǔ)音識(shí)別模塊、人臉識(shí)別模塊、語(yǔ)音識(shí)別模塊、顯性識(shí)別融合模塊和隱性識(shí)別融合模塊所形成的識(shí)別結(jié)果均被轉(zhuǎn)換成獲取信息服務(wù)的操作指令；服務(wù)系統(tǒng)將根據(jù)該指令輸出服務(wù)。更進(jìn)一步優(yōu)化，所述人機(jī)交互識(shí)別裝置還具有一個(gè)綜合交互模塊，用于根據(jù)服務(wù)的類(lèi)別，綜合人臉識(shí)別模塊、語(yǔ)音識(shí)別模塊、人臉識(shí)別模塊、語(yǔ)音識(shí)別模塊、顯性識(shí)別融合模塊和隱性識(shí)別融合模塊所形成一種或一種以上識(shí)別結(jié)果，經(jīng)處理后形成與該服務(wù)的類(lèi)別匹配的操作指令輸出。上任一所述的人臉表情識(shí)別模塊進(jìn)行識(shí)別的工具包括自組織影射神經(jīng)網(wǎng)絡(luò)分類(lèi)器、遺傳算法分類(lèi)器、K-鄰近分類(lèi)器、支持向量機(jī)分類(lèi)器、模糊邏輯分類(lèi)器、HMM分類(lèi)器、馬氏距離分類(lèi)器。上任一所述的人臉表情特征提取模塊的提取手段包括主元分析、小波變換。上任一所述的語(yǔ)音特征提取模塊獲得語(yǔ)音參數(shù)包括韻律、能量、基音均值、基音范圍、語(yǔ)速、音強(qiáng)、呼吸聲。上任一所述的顯性識(shí)別融合模塊、隱性識(shí)別融合模塊和綜合交互模塊進(jìn)行信息融合的技術(shù)手段包括統(tǒng)計(jì)模式識(shí)別法、多貝葉斯估計(jì)法、模糊邏輯法、神經(jīng)網(wǎng)絡(luò)法。綜上所述的本發(fā)明具有如下顯著特點(diǎn)或進(jìn)步1.具有六路識(shí)別通道輸出，分別是人臉識(shí)別結(jié)果、語(yǔ)音識(shí)別結(jié)果、人臉表情識(shí)別結(jié)果、語(yǔ)音情感識(shí)別結(jié)果、融合人臉和語(yǔ)音的顯性識(shí)別結(jié)果、融合人臉表情和語(yǔ)音情感的隱性識(shí)別結(jié)果。2.綜合交互模塊可以根據(jù)服務(wù)種類(lèi)對(duì)六路識(shí)別通道輸出進(jìn)行進(jìn)一步處理，更符合不同業(yè)務(wù)需要；3.適合各種處理算法在系統(tǒng)的綜合應(yīng)用，發(fā)揮各自的優(yōu)勢(shì)。


圖1是本發(fā)明系統(tǒng)的人機(jī)交互識(shí)別裝置的結(jié)構(gòu)示意圖。
具體實(shí)施例方式遠(yuǎn)程信息服務(wù)，是指遠(yuǎn)程的業(yè)務(wù)平臺(tái)通過(guò)網(wǎng)絡(luò)為用戶(hù)提供遠(yuǎn)程功能服務(wù)。提供遠(yuǎn)程信息服務(wù)的方式可以包括用戶(hù)直接登陸該業(yè)務(wù)平臺(tái)獲取，也可以通過(guò)本地的客戶(hù)端與遠(yuǎn)程的業(yè)務(wù)平臺(tái)的連接獲取。應(yīng)用于遠(yuǎn)程信息服務(wù)的人機(jī)交互識(shí)別系統(tǒng)，指采用具有人機(jī)交互識(shí)別功能，能對(duì)人的人臉、臉部表情、語(yǔ)音、語(yǔ)音情感進(jìn)行識(shí)別以獲取用戶(hù)需求的遠(yuǎn)程信息服務(wù)系統(tǒng)。人機(jī)交互識(shí)別功能可以集成在遠(yuǎn)程的業(yè)務(wù)平臺(tái)，也可以集成在客戶(hù)端。顯性信息，即提供識(shí)別說(shuō)話(huà)人的人臉圖像和唇讀，語(yǔ)言傳遞說(shuō)話(huà)內(nèi)容等信息；隱性消息，即傳送有關(guān)當(dāng)事人本身的心理活動(dòng)；包括人類(lèi)語(yǔ)言中包含有豐富的情感，情感的特征通過(guò)語(yǔ)言的韻律的變化而表現(xiàn)出來(lái)，不同情感在時(shí)間構(gòu)造、振幅構(gòu)造和基頻構(gòu)造等特征上都有不同程度的差別；人臉表情十分豐富，通常能提供人的思維信息，人的心理狀態(tài)或多或少都會(huì)顯現(xiàn)在人臉上。目前，單獨(dú)對(duì)顯性信息和隱性消息某一因素的識(shí)別已經(jīng)產(chǎn)生了各種算法，但沒(méi)有就如何綜合多種因素提高判定的準(zhǔn)確度和更適應(yīng)多變的業(yè)務(wù)操作需要提出整體的解決方案。下面將結(jié)合附圖，對(duì)本發(fā)明方案做進(jìn)一步描述如圖1所示，本發(fā)明的系統(tǒng)至少具有一個(gè)人機(jī)交互識(shí)別裝置。該裝置由聽(tīng)覺(jué)采集模塊、視覺(jué)采集模塊、第一預(yù)處理模塊、人臉特征提取模塊、人臉識(shí)別模塊、第二預(yù)處理模塊、語(yǔ)音特征提取模塊、語(yǔ)音識(shí)別模塊、第三預(yù)處理模塊、人臉表情特征提取模塊、人臉表情識(shí)別模塊、第四預(yù)處理模塊、語(yǔ)言情感特征提取模塊、語(yǔ)言情感識(shí)別模塊、顯性識(shí)別融合模塊、隱性識(shí)別融合模塊和綜合交互模塊等組成。各模塊之間的作用及關(guān)系為聽(tīng)覺(jué)采集模塊用于采集用戶(hù)的語(yǔ)音信號(hào)；視覺(jué)采集模塊用于采集用戶(hù)的人臉圖像；第一預(yù)處理模塊用于對(duì)視覺(jué)采集模塊采集的圖像進(jìn)行預(yù)處理；人臉特征提取模塊用于通過(guò)對(duì)第一預(yù)處理模塊的圖像進(jìn)行分析，實(shí)現(xiàn)對(duì)人臉整體或特征部位的識(shí)別、定位；人臉識(shí)別模塊用于根據(jù)人臉特征提取模塊獲得參數(shù)進(jìn)行識(shí)別，輸出人臉識(shí)別的結(jié)果，形成的識(shí)別結(jié)果被轉(zhuǎn)換成獲取信息服務(wù)的操作指令；服務(wù)系統(tǒng)將根據(jù)該指令輸出服務(wù)；第二預(yù)處理模塊用于對(duì)聽(tīng)覺(jué)采集模塊的語(yǔ)音信號(hào)進(jìn)行預(yù)處理；語(yǔ)音特征提取模塊用于分析并獲得語(yǔ)音參數(shù)；語(yǔ)音特征提取模塊獲得語(yǔ)音參數(shù)包括韻律、能量、基音均值、基音范圍、語(yǔ)速、音強(qiáng)、呼吸聲等參數(shù)；語(yǔ)音識(shí)別模塊用于根據(jù)語(yǔ)音特征提取模塊獲得的參數(shù)進(jìn)行識(shí)別并獲得該用戶(hù)語(yǔ)音對(duì)應(yīng)的請(qǐng)求或指令；形成的識(shí)別結(jié)果被轉(zhuǎn)換成獲取信息服務(wù)的操作指令；服務(wù)系統(tǒng)將根據(jù)該指令輸出服務(wù)；第三預(yù)處理模塊用于對(duì)視覺(jué)采集模塊采集的圖像進(jìn)行預(yù)處理，形成人臉表情圖像序列；人臉表情特征提取模塊用于對(duì)第三預(yù)處理模塊輸入的圖像序列進(jìn)行分析處理，獲得人臉表情參數(shù)；人臉表情特征提取模塊的提取手段包括主元分析、小波變換等；人臉表情識(shí)別模塊用于人臉表情參數(shù)進(jìn)行處理、識(shí)別進(jìn)而獲得人臉表情的識(shí)別結(jié)果；形成的識(shí)別結(jié)果被轉(zhuǎn)換成獲取信息服務(wù)的操作指令；服務(wù)系統(tǒng)將根據(jù)該指令輸出服務(wù)；人臉表情識(shí)別模塊進(jìn)行識(shí)別的工具包括自組織影射神經(jīng)網(wǎng)絡(luò)分類(lèi)器、遺傳算法分類(lèi)器、 K-鄰近分類(lèi)器、支持向量機(jī)分類(lèi)器、模糊邏輯分類(lèi)器、HMM分類(lèi)器、馬氏距離分類(lèi)器。第四預(yù)處理模塊用于對(duì)聽(tīng)覺(jué)采集模塊的語(yǔ)音信號(hào)進(jìn)行與語(yǔ)言情感相關(guān)的預(yù)處理；語(yǔ)言情感特征提取模塊用于從第四預(yù)處理模塊輸入的信號(hào)中獲得語(yǔ)言情感特征的參數(shù)；語(yǔ)言情感識(shí)別模塊用于通過(guò)對(duì)語(yǔ)言情感特征的參數(shù)的分析處理，識(shí)別出該語(yǔ)音信號(hào)包含的情感信息并輸出識(shí)別結(jié)果；形成的識(shí)別結(jié)果被轉(zhuǎn)換成獲取信息服務(wù)的操作指令；服務(wù)系統(tǒng)將根據(jù)該指令輸出服務(wù)；顯性識(shí)別融合模塊用于將人臉識(shí)別模塊和語(yǔ)音識(shí)別模塊的識(shí)別結(jié)果進(jìn)行融合處理，形成綜合了人臉特征和語(yǔ)音特征的識(shí)別結(jié)果；形成的識(shí)別結(jié)果被轉(zhuǎn)換成獲取信息服務(wù)的操作指令；服務(wù)系統(tǒng)將根據(jù)該指令輸出服務(wù)；本模塊實(shí)現(xiàn)信息融合的技術(shù)手段包括統(tǒng)計(jì)模式識(shí)別法、多貝葉斯估計(jì)法、模糊邏輯法、神經(jīng)網(wǎng)絡(luò)法；隱性識(shí)別融合模塊用于將人臉表情識(shí)別模塊和語(yǔ)言情感識(shí)別模塊的識(shí)別結(jié)果進(jìn)行融合處理，形成綜合了人臉表情特征和語(yǔ)音情感特征的識(shí)別結(jié)果；形成的識(shí)別結(jié)果被轉(zhuǎn)換成獲取信息服務(wù)的操作指令；服務(wù)系統(tǒng)將根據(jù)該指令輸出服務(wù)；本模塊實(shí)現(xiàn)信息融合的技術(shù)手段包括統(tǒng)計(jì)模式識(shí)別法、多貝葉斯估計(jì)法、模糊邏輯法、神經(jīng)網(wǎng)絡(luò)法；綜合交互模塊用于根據(jù)服務(wù)的類(lèi)別，綜合人臉識(shí)別模塊、語(yǔ)音識(shí)別模塊、人臉識(shí)別模塊、語(yǔ)音識(shí)別模塊、顯性識(shí)別融合模塊和隱性識(shí)別融合模塊所形成一種或一種以上識(shí)別結(jié)果，經(jīng)處理后形成與該服務(wù)的類(lèi)別匹配的操作指令輸出。本模塊實(shí)現(xiàn)信息融合的技術(shù)手段包括統(tǒng)計(jì)模式識(shí)別法、多貝葉斯估計(jì)法、模糊邏輯法、神經(jīng)網(wǎng)絡(luò)法。其中，綜合交互模塊對(duì)六路識(shí)別通道輸出，分別是人臉識(shí)別結(jié)果、語(yǔ)音識(shí)別結(jié)果、 人臉表情識(shí)別結(jié)果、語(yǔ)音情感識(shí)別結(jié)果、融合人臉和語(yǔ)音的顯性識(shí)別結(jié)果、融合人臉表情和語(yǔ)音情感的隱性識(shí)別結(jié)果進(jìn)行融合時(shí)候，可以根據(jù)服務(wù)種類(lèi)而進(jìn)行。例如，假如某項(xiàng)服務(wù)為語(yǔ)音優(yōu)先的，則可以通過(guò)加大輸出中語(yǔ)音及語(yǔ)音情感的識(shí)別權(quán)重來(lái)實(shí)現(xiàn)；某項(xiàng)服務(wù)是專(zhuān)門(mén)為語(yǔ)音不標(biāo)準(zhǔn)人員提供的，則可以加大輸出中人臉及人臉表情的識(shí)別權(quán)重來(lái)實(shí)現(xiàn)，達(dá)到更貼合業(yè)務(wù)的人性化體驗(yàn)需求。
權(quán)利要求
1.一種應(yīng)用于遠(yuǎn)程信息服務(wù)的人機(jī)交互識(shí)別系統(tǒng)，其特征在于，提供網(wǎng)絡(luò)信息服務(wù)的服務(wù)系統(tǒng)或其客戶(hù)端至少具有一個(gè)人機(jī)交互識(shí)別裝置；所述的人機(jī)交互識(shí)別裝置包括聽(tīng)覺(jué)采集模塊，用于采集用戶(hù)的語(yǔ)音信號(hào)；視覺(jué)采集模塊，用于采集用戶(hù)的人臉圖像；第一預(yù)處理模塊，用于對(duì)視覺(jué)采集模塊采集的圖像進(jìn)行預(yù)處理；人臉特征提取模塊，用于通過(guò)對(duì)第一預(yù)處理模塊的圖像進(jìn)行分析，實(shí)現(xiàn)對(duì)人臉整體或特征部位的識(shí)別、定位；人臉識(shí)別模塊，用于根據(jù)人臉特征提取模塊獲得參數(shù)進(jìn)行識(shí)別，輸出人臉識(shí)別的結(jié)果；第二預(yù)處理模塊，用于對(duì)聽(tīng)覺(jué)采集模塊的語(yǔ)音信號(hào)進(jìn)行預(yù)處理；語(yǔ)音特征提取模塊，用于分析并獲得語(yǔ)音參數(shù)；語(yǔ)音識(shí)別模塊，用于根據(jù)語(yǔ)音特征提取模塊獲得的參數(shù)進(jìn)行識(shí)別并獲得該用戶(hù)語(yǔ)音對(duì)應(yīng)的請(qǐng)求或指令；第三預(yù)處理模塊，用于對(duì)視覺(jué)采集模塊采集的圖像進(jìn)行預(yù)處理，形成人臉表情圖像序列；人臉表情特征提取模塊，用于對(duì)第三預(yù)處理模塊輸入的圖像序列進(jìn)行分析處理，獲得人臉表情參數(shù)；人臉表情識(shí)別模塊，用于人臉表情參數(shù)進(jìn)行處理、識(shí)別進(jìn)而獲得人臉表情的識(shí)別結(jié)果；第四預(yù)處理模塊，用于對(duì)聽(tīng)覺(jué)采集模塊的語(yǔ)音信號(hào)進(jìn)行與語(yǔ)言情感相關(guān)的預(yù)處理；語(yǔ)言情感特征提取模塊，用于從第四預(yù)處理模塊輸入的信號(hào)中獲得語(yǔ)言情感特征的參數(shù)；語(yǔ)言情感識(shí)別模塊，用于通過(guò)對(duì)語(yǔ)言情感特征的參數(shù)的分析處理，識(shí)別出該語(yǔ)音信號(hào)包含的情感信息并輸出識(shí)別結(jié)果；顯性識(shí)別融合模塊，用于將人臉識(shí)別模塊和語(yǔ)音識(shí)別模塊的識(shí)別結(jié)果進(jìn)行融合處理， 形成綜合了人臉特征和語(yǔ)音特征的識(shí)別結(jié)果；隱性識(shí)別融合模塊，用于將人臉表情識(shí)別模塊和語(yǔ)言情感識(shí)別模塊的識(shí)別結(jié)果進(jìn)行融合處理，形成綜合了人臉表情特征和語(yǔ)音情感特征的識(shí)別結(jié)果。
2.如權(quán)利要求1所述的人機(jī)交互識(shí)別系統(tǒng)，其特征在于，所述的人臉識(shí)別模塊、語(yǔ)音識(shí)別模塊、人臉識(shí)別模塊、語(yǔ)音識(shí)別模塊、顯性識(shí)別融合模塊和隱性識(shí)別融合模塊所形成的識(shí)別結(jié)果均被轉(zhuǎn)換成獲取信息服務(wù)的操作指令；服務(wù)系統(tǒng)將根據(jù)該指令輸出服務(wù)。
3.如權(quán)利要求2所述的人機(jī)交互識(shí)別系統(tǒng)，其特征在于，所述人機(jī)交互識(shí)別裝置還具有一個(gè)綜合交互模塊，用于根據(jù)服務(wù)的類(lèi)別，綜合人臉識(shí)別模塊、語(yǔ)音識(shí)別模塊、人臉識(shí)別模塊、語(yǔ)音識(shí)別模塊、顯性識(shí)別融合模塊和隱性識(shí)別融合模塊所形成一種或一種以上識(shí)別結(jié)果，經(jīng)處理后形成與該服務(wù)的類(lèi)別匹配的操作指令輸出。
4.如權(quán)利要求1至3任一所述的人機(jī)交互識(shí)別系統(tǒng)，其特征在于，所述人臉表情識(shí)別模塊進(jìn)行識(shí)別的工具包括自組織影射神經(jīng)網(wǎng)絡(luò)分類(lèi)器、遺傳算法分類(lèi)器、K-鄰近分類(lèi)器、支持向量機(jī)分類(lèi)器、模糊邏輯分類(lèi)器、HMM分類(lèi)器、馬氏距離分類(lèi)器。
5.如權(quán)利要求1至3任一所述的人機(jī)交互識(shí)別系統(tǒng)，其特征在于，所述人臉表情特征提取模塊的提取手段包括主元分析、小波變換。
6.如權(quán)利要求1至3任一所述的人機(jī)交互識(shí)別系統(tǒng)，其特征在于，所述語(yǔ)音特征提取模塊獲得語(yǔ)音參數(shù)包括韻律、能量、基音均值、基音范圍、語(yǔ)速、音強(qiáng)、呼吸聲。
7.如權(quán)利要求1至3任一所述的人機(jī)交互識(shí)別系統(tǒng)，其特征在于，所述顯性識(shí)別融合模塊、隱性識(shí)別融合模塊和綜合交互模塊進(jìn)行信息融合的技術(shù)手段包括統(tǒng)計(jì)模式識(shí)別法、多貝葉斯估計(jì)法、模糊邏輯法、神經(jīng)網(wǎng)絡(luò)法。
全文摘要
本發(fā)明屬于計(jì)算機(jī)領(lǐng)域，特別是一種應(yīng)用于遠(yuǎn)程信息服務(wù)的人機(jī)交互識(shí)別系統(tǒng)，其特征在于，提供網(wǎng)絡(luò)信息服務(wù)的服務(wù)系統(tǒng)或其客戶(hù)端至少具有一個(gè)人機(jī)交互識(shí)別裝置；所述的人機(jī)交互識(shí)別裝置包括聽(tīng)覺(jué)采集模塊，用于采集用戶(hù)的語(yǔ)音信號(hào)；視覺(jué)采集模塊，用于采集用戶(hù)的人臉圖像；第一預(yù)處理模塊、人臉特征提取模塊、人臉識(shí)別模塊；第二預(yù)處理模塊、語(yǔ)音特征提取模塊、語(yǔ)音識(shí)別模塊；第三預(yù)處理模塊、人臉表情特征提取模塊、人臉表情識(shí)別模塊；第四預(yù)處理模塊、語(yǔ)言情感特征提取模塊、語(yǔ)言情感識(shí)別模塊；顯性識(shí)別融合模塊，用于將人臉識(shí)別模塊和語(yǔ)音識(shí)別模塊的識(shí)別結(jié)果進(jìn)行融合處理，形成綜合了人臉特征和語(yǔ)音特征的識(shí)別結(jié)果；隱性識(shí)別融合模塊，用于將人臉表情識(shí)別模塊和語(yǔ)言情感識(shí)別模塊的識(shí)別結(jié)果進(jìn)行融合處理，形成綜合了人臉表情特征和語(yǔ)音情感特征的識(shí)別結(jié)果。
文檔編號(hào)G06K9/62GK102298694SQ20111017012
公開(kāi)日2011年12月28日 申請(qǐng)日期2011年6月21日 優(yōu)先權(quán)日2011年6月21日
發(fā)明者盧忠云, 盧林發(fā), 葉燦才, 黃家祺 申請(qǐng)人:廣東愛(ài)科數(shù)字科技有限公司