專利名稱：運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法
技術(shù)領(lǐng)域：
本發(fā)明是一種利用人在受到外部或內(nèi)部刺激后產(chǎn)生的生理變化的信息來實(shí)現(xiàn)人/機(jī)交互，實(shí)現(xiàn)對(duì)外部設(shè)備的自動(dòng)控制的方法。屬于人工智能應(yīng)用的技術(shù)領(lǐng)域。
背景技術(shù)：
現(xiàn)代科學(xué)技術(shù)的發(fā)展特別是信息技術(shù)的發(fā)展使得計(jì)算機(jī)成為人類生活中不可缺少的一部分。在很多的場(chǎng)合人的交互對(duì)象成為了計(jì)算機(jī)。計(jì)算機(jī)和先進(jìn)的通訊手段可以提高單體工作效率。比如在工業(yè)生長(zhǎng)中，基于計(jì)算機(jī)和通訊技術(shù)的工業(yè)自動(dòng)化使以前需要多人完成的工作只要一人或少數(shù)幾個(gè)人就能完成。此外，對(duì)于一些具有危險(xiǎn)性的工作遠(yuǎn)程控制的方法進(jìn)行操作?？茖W(xué)技術(shù)的這些進(jìn)步極大地減輕了人的勞動(dòng)強(qiáng)度。但是，同時(shí)帶來的問題使單體對(duì)外部過程的影響力增大。人的過失對(duì)整個(gè)生產(chǎn)過程有時(shí)會(huì)產(chǎn)生毀滅性的影響。這種過失往往是情緒性的。特別是人在困倦，壓抑，過度興奮的狀態(tài)下這種過失的可能性將極大地增大。因此，需要一個(gè)智能的人機(jī)界面，它能根據(jù)人的行為，生化生理參數(shù)的變化自動(dòng)對(duì)過失行為的可能性進(jìn)行判斷，并進(jìn)行報(bào)警，以減小過失概率。
這種利用情緒變化信息的智能人機(jī)界面對(duì)于一些特殊人群也有著十分重要的意義。比如在臨床中，利用病人情緒變化信息的人機(jī)界面可以有效地實(shí)現(xiàn)對(duì)病人的實(shí)時(shí)監(jiān)護(hù)。
此外，利用情緒變化的智能人機(jī)界面在汽車駕駛，銀行等重要場(chǎng)所和部門的保安，教育現(xiàn)場(chǎng)的兒童監(jiān)護(hù)等場(chǎng)合都有著十分重要的意義。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明的目的是提供一種運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法，該方法運(yùn)用人腦在外部和內(nèi)部刺激下產(chǎn)生的情緒和情緒變化信息構(gòu)建人/機(jī)界面，以實(shí)現(xiàn)人/機(jī)交互功能。
技術(shù)方案本人機(jī)界面由監(jiān)測(cè)對(duì)象、情緒信號(hào)采集系統(tǒng)、采集同步和控制系統(tǒng)、特征提取和識(shí)別、先驗(yàn)庫和數(shù)據(jù)庫、情緒響應(yīng)系統(tǒng)所組成。本人機(jī)界面的信號(hào)輸入端為一個(gè)情緒信號(hào)采集系統(tǒng)。該系統(tǒng)由肢體信號(hào)檢測(cè)系統(tǒng)、面部表情檢測(cè)系統(tǒng)、視覺信息檢測(cè)系統(tǒng)、語音和發(fā)音檢測(cè)系統(tǒng)、遞質(zhì)、激素、心率、血壓、腦電等生理信息檢測(cè)系統(tǒng)等與情緒有關(guān)的信號(hào)檢測(cè)系統(tǒng)中的一個(gè)或幾個(gè)檢測(cè)系統(tǒng)構(gòu)成。采集同步和控制系統(tǒng)與情緒信號(hào)采集系統(tǒng)構(gòu)成一個(gè)反饋系統(tǒng)。以保證情緒信號(hào)的正確采集。然后信號(hào)輸入特征提取和識(shí)別系統(tǒng)。通過特征提取和模式識(shí)別對(duì)可判斷情緒的特征型號(hào)進(jìn)行提取。并與先驗(yàn)庫中的先驗(yàn)知識(shí)進(jìn)行比較。在此基礎(chǔ)上對(duì)人的情緒進(jìn)行判斷。決定是否繼續(xù)跟蹤或改變跟蹤方法并根據(jù)人的情緒狀態(tài)決定情緒響應(yīng)系統(tǒng)是否對(duì)被檢測(cè)對(duì)象進(jìn)行干涉。
本發(fā)明運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法的具體構(gòu)建方法為a、確定檢測(cè)對(duì)象；b、啟動(dòng)情緒信號(hào)采集系統(tǒng)，對(duì)檢測(cè)對(duì)象的情緒信號(hào)進(jìn)行采集；c、將采集到的信號(hào)送入采集器同步和控制系統(tǒng)；d、將采集器同步和控制系統(tǒng)輸出的信號(hào)分別送入特征提取和識(shí)別和反饋到情緒信號(hào)采集系統(tǒng)；e、將特征提取和識(shí)別(輸出的信號(hào)送入先驗(yàn)庫和數(shù)據(jù)庫進(jìn)行學(xué)習(xí)和分析；判斷情緒是否正常；判斷是否需要繼續(xù)跟蹤或變換采集信號(hào)；f、在判斷是否需要繼續(xù)跟蹤或變換采集信號(hào)時(shí)，若是，則返回情緒信號(hào)采集系統(tǒng)；若否，則中終止；g、在判斷情緒類別后情緒響應(yīng)系統(tǒng)會(huì)根據(jù)情緒類別的不同作出響應(yīng)的判斷。
情緒信號(hào)采集系統(tǒng)輸入的信號(hào)是與情緒有關(guān)的肢體運(yùn)動(dòng)(21)、面部表情(22)、視覺信息、語音和發(fā)音、遞質(zhì)和激素、心率和血壓、……腦電。
情緒信號(hào)采集系統(tǒng)是多個(gè)不同類型的與情緒有關(guān)的肢體運(yùn)動(dòng)、面部表情、視覺信息、語音和發(fā)音、遞質(zhì)和激素、心率和血壓、……腦電的信號(hào)采集器。
先驗(yàn)庫和數(shù)據(jù)庫包括腦庫，生理信息庫，情緒行為庫，語音庫等與情緒有關(guān)的先驗(yàn)庫可以對(duì)人的行為作自動(dòng)判斷。
有益效果本發(fā)明中的人機(jī)界面的輸入信號(hào)采用的是與情緒有關(guān)的人的內(nèi)在和外在的信號(hào)。系統(tǒng)具有自主跟蹤情緒行為和判斷情緒狀態(tài)的功能。
所利用的生理信息包括面部和姿態(tài)的視覺信息，語言和發(fā)聲的聲學(xué)信息，遞質(zhì)和激素變化的生化信息，心率，血壓等。
本發(fā)明的方法使人腦在外部和內(nèi)部刺激下產(chǎn)生的情緒和情緒變化信息構(gòu)建人一機(jī)界面將在工業(yè)自動(dòng)化，安全保衛(wèi)，海關(guān)，醫(yī)院，教育現(xiàn)場(chǎng)等提供自動(dòng)報(bào)警，安全檢測(cè)，自動(dòng)服務(wù)等。


圖1是本發(fā)明的總體框架示意圖。其中有檢測(cè)對(duì)象1，情緒信號(hào)采集系統(tǒng)2，采集器同步和控制控制3，特征提取和識(shí)別4，先驗(yàn)庫和數(shù)據(jù)庫5，情緒響應(yīng)系統(tǒng)6。情緒信號(hào)采集系統(tǒng)2中的信號(hào)源有肢體運(yùn)動(dòng)21，面部表情22，視覺信息23，語音和發(fā)音24，遞質(zhì)和激素25，心率和血壓2N等與情緒有關(guān)的信號(hào)。先驗(yàn)庫和數(shù)據(jù)庫5包含腦庫51，生理信息庫52，情緒行為庫53，語音庫5N。
圖2是本發(fā)明實(shí)施方案一即從肢體運(yùn)動(dòng)感知情緒的人機(jī)界面構(gòu)建的方法示意圖。
圖3是本發(fā)明實(shí)施方案二即通過生理參數(shù)變化識(shí)別情緒的人機(jī)界面構(gòu)建的方法示意圖。
具體實(shí)施例方式
本發(fā)明構(gòu)建的方法為a、確定檢測(cè)對(duì)象1；b、啟動(dòng)情緒信號(hào)采集系統(tǒng)2，對(duì)檢測(cè)對(duì)象1的情緒信號(hào)進(jìn)行采集；c、將采集到的信號(hào)送入采集器同步和控制系統(tǒng)3；d、將采集器同步和控制系統(tǒng)3輸出的信號(hào)分別送入特征提取和識(shí)別4和反饋到情緒信號(hào)采集系統(tǒng)2；e、將特征提取和識(shí)別4輸出的信號(hào)送入先驗(yàn)庫和數(shù)據(jù)庫5進(jìn)行學(xué)習(xí)和分析；判斷情緒是否正常；判斷是否需要繼續(xù)跟蹤或變換采集信號(hào)；f、在判斷是否需要繼續(xù)跟蹤或變換采集信號(hào)時(shí)，若是，則返回情緒信號(hào)采集系統(tǒng)2；若否，則中終止；g、在判斷情緒類別后情緒響應(yīng)系統(tǒng)會(huì)根據(jù)情緒類別的不同作出響應(yīng)的判斷。。其中情緒信號(hào)采集系統(tǒng)2輸入的信號(hào)是與情緒有關(guān)的肢體運(yùn)動(dòng)21、面部表情22、視覺信息23、語音和發(fā)音24、遞質(zhì)和激素25、心率和血壓26、……腦電2N。
情緒信號(hào)采集系統(tǒng)2是多個(gè)不同類型的與情緒有關(guān)的肢體運(yùn)動(dòng)21、面部表情22、視覺信息23、語音和發(fā)音24、遞質(zhì)和激素25、心率和血壓26、……腦電2N的信號(hào)采集器。
先驗(yàn)庫和數(shù)據(jù)庫5包括腦庫51，生理信息庫52，情緒行為庫53，……語音庫5N等與情緒有關(guān)的先驗(yàn)庫可以對(duì)人的行為作自動(dòng)判斷。
實(shí)施方案一從肢體運(yùn)動(dòng)感知情緒的人機(jī)界面人的很多情緒都會(huì)通過肢體運(yùn)動(dòng)表現(xiàn)出來。因此，捕捉肢體運(yùn)動(dòng)變化方式對(duì)于比較全面地把握人的情緒變化具有重要價(jià)值，對(duì)于感知情緒的人機(jī)界面技術(shù)是必不可少的組成部分。
在基于肢體運(yùn)動(dòng)感知情緒的人機(jī)界面中被檢測(cè)對(duì)象1是人的肢體運(yùn)動(dòng)。人的肢體運(yùn)動(dòng)變化主要是由肢體的相對(duì)位移和姿態(tài)變化所描述的。利用計(jì)算機(jī)三維視覺技術(shù)，肢體在三維空間的運(yùn)動(dòng)位移和姿態(tài)變化都可以通過多個(gè)攝像機(jī)傳感器所同時(shí)獲得的二維圖像信息綜合計(jì)算出來。因此，由多個(gè)攝像機(jī)組成的一個(gè)同步拍攝的攝像機(jī)陣列構(gòu)成情緒信號(hào)采集系統(tǒng)2。
采集器同步和控制控制3由圖像采集與同步控制構(gòu)成。考慮人的肢體關(guān)節(jié)點(diǎn)可以代表肢體運(yùn)動(dòng)的主要軌跡，肢體關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)轉(zhuǎn)化為關(guān)鍵點(diǎn)在關(guān)鍵幀中的多視點(diǎn)聯(lián)合射影幾何約束三維結(jié)構(gòu)與運(yùn)動(dòng)計(jì)算問題。多視點(diǎn)攝像機(jī)陣列在捕捉處理之前，首先執(zhí)行離線攝像機(jī)參數(shù)定標(biāo)校準(zhǔn)預(yù)處理，包括攝像機(jī)內(nèi)參數(shù)和外參數(shù)定標(biāo)校準(zhǔn)處理。經(jīng)過攝像機(jī)陣列預(yù)定標(biāo)之后，關(guān)鍵點(diǎn)在關(guān)鍵幀中的多視點(diǎn)三維結(jié)構(gòu)與運(yùn)動(dòng)計(jì)算問題簡(jiǎn)化為多視點(diǎn)聯(lián)合歐氏幾何約束的三維空間點(diǎn)最小二乘優(yōu)化計(jì)算。
特征提取和識(shí)別4由多視點(diǎn)聯(lián)合三維結(jié)構(gòu)與運(yùn)動(dòng)計(jì)算，提取運(yùn)動(dòng)變化特征參數(shù)，情緒特征識(shí)別和數(shù)學(xué)計(jì)算功能庫構(gòu)成。對(duì)于捕捉的肢體運(yùn)動(dòng)變化參數(shù)，根據(jù)情緒變化相應(yīng)的肢體運(yùn)動(dòng)先驗(yàn)?zāi)Ｐ?，?jì)算最相近的情緒變化方式。與情緒變化相應(yīng)的肢體運(yùn)動(dòng)先驗(yàn)?zāi)Ｐ屯ㄟ^機(jī)器學(xué)習(xí)方法來獲得，即首先捕捉一定量的肢體運(yùn)動(dòng)參數(shù)樣本，并且預(yù)先對(duì)其的情緒變化做分類，然后對(duì)有代表性的參數(shù)樣本進(jìn)行學(xué)習(xí)和選擇，建立起與情緒變化相應(yīng)的肢體運(yùn)動(dòng)先驗(yàn)?zāi)Ｐ蛿?shù)據(jù)庫5。最后，通過判斷決定人機(jī)界面對(duì)情緒的響應(yīng)。
實(shí)施方案二通過生理參數(shù)變化識(shí)別情緒的人機(jī)界面人類的情緒活動(dòng)由于自主神經(jīng)系統(tǒng)的參與，常伴隨有一定的生理變化，因此，
可以將有機(jī)體的生理變化作為情緒的指標(biāo)加以測(cè)量和記錄，進(jìn)行情緒的分類和識(shí)別。其主要優(yōu)點(diǎn)是比較客觀。利用各種遙測(cè)電生理設(shè)備，以各種方法測(cè)量并記錄伴隨情緒而發(fā)生的生理變化，例如呼吸、心跳、血管收縮、皮膚電反應(yīng)、心電、腦電等等，并借助計(jì)算機(jī)對(duì)測(cè)量結(jié)果進(jìn)行處理，以達(dá)到對(duì)情緒比較客觀的測(cè)量。通過生理參數(shù)的變化識(shí)別情緒，來構(gòu)造感知情緒的人機(jī)界面，是一種可行的方法。通過生理參數(shù)變化識(shí)別情緒的人機(jī)界面中的檢測(cè)對(duì)象1是情緒狀態(tài)下人的各種生理指標(biāo)及其變化。這些生理指標(biāo)的變化是由于在不同的情緒狀態(tài)下，個(gè)體的自主神經(jīng)系統(tǒng)的調(diào)節(jié)活動(dòng)，導(dǎo)致一系列的內(nèi)部生理變化，它們?cè)隗w表導(dǎo)致相應(yīng)的生理改變，如心律、脈搏、血壓、血氧、呼吸、體溫、皮膚電、腦電圖、眼動(dòng)變化和體表血流等的改變。采用各種記錄和測(cè)量設(shè)備，檢測(cè)和記錄這些生理信號(hào)，結(jié)合計(jì)算機(jī)自動(dòng)分析識(shí)別方法進(jìn)行處理。這些記錄的電生理設(shè)備就構(gòu)成了情緒生理信號(hào)采集系統(tǒng)2。
各種記錄電生理設(shè)備必須利用同步采集和控制系統(tǒng)3進(jìn)行調(diào)控，以使各種采集設(shè)備能夠同步工作，以便于信號(hào)的處理和分析。由于單一生理指標(biāo)的測(cè)量并不能為特定的情緒提供明確的模式，只能提供的個(gè)體的特定喚醒水平的信息。只有這樣才能將各種生理指標(biāo)對(duì)應(yīng)起來，進(jìn)行綜合分析才能對(duì)特定情緒的進(jìn)行測(cè)量和分析。
特征提取和識(shí)別模塊4是利用各種信號(hào)處理和分析的方法對(duì)不同電生理設(shè)備記錄到的生理指標(biāo)進(jìn)行變換和處理，并將提取的信號(hào)變化特征參數(shù)與先驗(yàn)知識(shí)數(shù)據(jù)庫中5的先驗(yàn)知識(shí)進(jìn)行比對(duì)，進(jìn)行情緒測(cè)量和分類。情緒狀態(tài)下的生理指標(biāo)變化先驗(yàn)數(shù)據(jù)庫5是由預(yù)先進(jìn)行的情緒測(cè)量和分類研究獲得；同時(shí)在系統(tǒng)的使用過程中也可以利用先驗(yàn)?zāi)Ｐ屯ㄟ^機(jī)器學(xué)習(xí)方法來獲得，即先測(cè)量一定的情緒變化生理參數(shù)樣本，并且預(yù)先對(duì)其進(jìn)行情緒分類，然后對(duì)有代表性的參數(shù)樣本進(jìn)行學(xué)習(xí)和選擇，建立起與情緒變化相應(yīng)的情緒變化生理指標(biāo)先驗(yàn)?zāi)Ｐ蛿?shù)據(jù)庫。最后，利用計(jì)算機(jī)自動(dòng)分析識(shí)別方法判斷是何種情緒，再根據(jù)具體應(yīng)用由情緒響應(yīng)系統(tǒng)6決定人機(jī)界面對(duì)情緒的響應(yīng)。
權(quán)利要求
1.一種運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法，其特征在于構(gòu)建的方法為a、確定檢測(cè)對(duì)象(1)；b、啟動(dòng)情緒信號(hào)采集系統(tǒng)(2)，對(duì)檢測(cè)對(duì)象(1)的情緒信號(hào)進(jìn)行采集；c、將采集到的信號(hào)送入采集器同步和控制系統(tǒng)(3)；d、將采集器同步和控制系統(tǒng)(3)輸出的信號(hào)分別送入特征提取和識(shí)別(4)和反饋到情緒信號(hào)采集系統(tǒng)(2)；e、將特征提取和識(shí)別(4)輸出的信號(hào)送入先驗(yàn)庫和數(shù)據(jù)庫(5)進(jìn)行學(xué)習(xí)和分析；判斷情緒是否正常；判斷是否需要繼續(xù)跟蹤或變換采集信號(hào)；f、在判斷是否需要繼續(xù)跟蹤或變換采集信號(hào)時(shí)，若是，則返回情緒信號(hào)采集系統(tǒng)(2)；若否，則中終止；g、根據(jù)權(quán)利要求1所述的運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法，其特征在于情緒信號(hào)采集系統(tǒng)(2)輸入的信號(hào)是與情緒有關(guān)的肢體運(yùn)動(dòng)(21)、面部表情(22)、視覺信息(23)、語音和發(fā)音(24)、遞質(zhì)和激素(25)、心率和血壓(26)、腦電(2N)。
3.根據(jù)權(quán)利要求1或所述的運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法，其特征在于情緒信號(hào)采集系統(tǒng)(2)是多個(gè)不同類型的與情緒有關(guān)的肢體運(yùn)動(dòng)(21)、面部表情(22)、視覺信息(23)、語音和發(fā)音(24)、遞質(zhì)和激素(25)、心率和血壓(26)、腦電(2N)的信號(hào)采集器。
4.根據(jù)權(quán)利要求1所述的運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法，其特征在于先驗(yàn)庫和數(shù)據(jù)庫(5)包括腦庫(51)，生理信息庫(52)，情緒行為庫(53)，語音庫(5N)等與情緒有關(guān)的先驗(yàn)庫可以對(duì)人的行為作自動(dòng)判斷。
全文摘要
運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法是一種利用人在受到外部或內(nèi)部刺激后產(chǎn)生的生理變化的信息來實(shí)現(xiàn)人/機(jī)交互，實(shí)現(xiàn)對(duì)外部設(shè)備的自動(dòng)控制的方法，其構(gòu)建的方法為確定檢測(cè)對(duì)象；啟動(dòng)情緒信號(hào)采集系統(tǒng)；將采集到的信號(hào)送入采集器同步和控制系統(tǒng)然后分別送入特征提取和識(shí)別和反饋到情緒信號(hào)采集系統(tǒng)；將特征提取和識(shí)別輸出的信號(hào)送入先驗(yàn)庫和數(shù)據(jù)庫進(jìn)行學(xué)習(xí)和分析；判斷情緒是否正常；判斷是否需要繼續(xù)跟蹤或變換采集信號(hào)，若是，則返回情緒信號(hào)采集系統(tǒng)，若否，則中終止；在判斷情緒是否正常時(shí)，若是，則輸出的信號(hào)到情緒響應(yīng)系統(tǒng)輸出響應(yīng)信號(hào)；若否，則返回繼續(xù)判斷是否需要繼續(xù)跟蹤或變換采集信號(hào)。
文檔編號(hào)G06F17/00GK1581149SQ20041001444
公開日2005年2月16日 申請(qǐng)日期2004年3月25日 優(yōu)先權(quán)日2004年3月25日
發(fā)明者韋鈺, 顧忠澤, 阮宗才, 周建中 申請(qǐng)人:東南大學(xué)