本發(fā)明涉及信號(hào)與信息處理領(lǐng)域,更具體地來說,特別涉及一種視覺感知識(shí)別系統(tǒng)。
背景技術(shù):
隨著計(jì)算機(jī)技術(shù)的進(jìn)步,人機(jī)交互正在朝著人性化與簡單化的方向不斷發(fā)展,非接觸式手勢(shì)交互逐漸成為人機(jī)交互的一個(gè)重要方式。與鼠標(biāo)、鍵盤、觸摸屏等接觸式的操作方式相比,非接觸式的手勢(shì)交互更加符合人的自然行為。近年來,隨著計(jì)算機(jī)視覺和圖像處理技術(shù)的發(fā)展,基于機(jī)器視覺的手勢(shì)與計(jì)算機(jī)交互的方式正在成為新型人機(jī)交互方式的主流。然而,現(xiàn)有的手勢(shì)交互體驗(yàn)并不理想,如何克服環(huán)境因素的干擾,準(zhǔn)確獲取手勢(shì)信息并進(jìn)行有效識(shí)別,如何設(shè)計(jì)一種友好、高效的手勢(shì)交互方式來實(shí)現(xiàn)人與計(jì)算機(jī)之間的直接對(duì)話,是目前社會(huì)上要解決的技術(shù)難題。
目前在人機(jī)交互技術(shù)領(lǐng)域的研究中,非接觸式機(jī)器視覺手勢(shì)交互由于其便于識(shí)別,自然、直觀、簡單的特性,成為非接觸式人機(jī)交互中的主流操作方式。但這種交互方式無論從技術(shù)還是人體生理學(xué)角度來說都同樣存在局限性,因此一個(gè)有效的可以用于評(píng)價(jià)交互執(zhí)行效能以及指導(dǎo)改善用戶界面設(shè)計(jì)的工效模型顯得至關(guān)重要。
費(fèi)茲原理作為指點(diǎn)操作領(lǐng)域中最著名的工效模型,已經(jīng)得到了廣泛的應(yīng)用。該模型適用的操作界面維度經(jīng)歷了一維、二維再到三維空間的發(fā)展,適用的交互設(shè)備也從物理空間中的鐵筆發(fā)展到了物理—信息交互空間的操縱桿、軌跡球、觸摸屏以及鼠標(biāo)等。費(fèi)茲原理可適用于非接觸式機(jī)器視覺手勢(shì)交互的大部分操作情形,但適用程度相比鼠標(biāo)等接觸式指點(diǎn)設(shè)備來說已經(jīng)有所降低;更進(jìn)一步的,費(fèi)茲原理適用于本實(shí)驗(yàn)提出的八個(gè)操作方向上的中長度距離(30cm-40cm),并且,根據(jù)操作方向的不同,費(fèi)茲原理也可適用于更短或更長的距離;不僅如此,用戶使用該交互方式的最佳操作距離為30cm和40cm,其中,當(dāng)操作任務(wù)的難度系數(shù)較小時(shí),操作距離在30cm左右最好,當(dāng)操作任務(wù)的難度系數(shù)較大時(shí),操作距離在40cm左右最好。另外,本結(jié)論是基于右手操作,實(shí)驗(yàn)結(jié)果表明向左和向下移動(dòng)的操作效率偏低,可見手勢(shì)交互不僅與交互技術(shù)有關(guān),也會(huì)受到用戶身體結(jié)構(gòu)的影響。
現(xiàn)有的如以色列beyondverb的語音識(shí)別為基礎(chǔ)的情緒識(shí)別系統(tǒng),在排除人種差別的基礎(chǔ)上通過語音語調(diào)的大規(guī)模數(shù)據(jù)庫分析,鑒別新用戶的情緒基本指標(biāo),其優(yōu)點(diǎn)是適合當(dāng)前語音識(shí)別與人機(jī)交互在商業(yè)領(lǐng)域的普及和大規(guī)模使用,缺點(diǎn)是使用場(chǎng)景只能在通話和交流中感知很少的情緒特征,更由于情緒語調(diào)的可偽裝性,使得其準(zhǔn)確性和實(shí)用價(jià)值大打折扣。以微軟、affective等公司采用面部微表情識(shí)別為基礎(chǔ)的五到八種情緒識(shí)別技術(shù),可在數(shù)字相片和視頻中截取用戶的表情所反映的心理狀態(tài),由于表情不能完整和客觀的表達(dá)復(fù)雜的情緒狀態(tài),故其技術(shù)不能作為嚴(yán)謹(jǐn)科學(xué)手段。還有基于腦電波特征的情緒狀態(tài)識(shí)別方法,如專利號(hào):cn102715911a,其用于醫(yī)學(xué)領(lǐng)域的情緒識(shí)別,缺點(diǎn)是需要特殊的接觸式儀器放于用戶身上,使用場(chǎng)景和使用成本嚴(yán)重受限。
已有的非接觸式人機(jī)交互情緒識(shí)別系統(tǒng)存在上述各種各樣的問題,本發(fā)明能夠解決這些問題。
技術(shù)實(shí)現(xiàn)要素:
為了克服前述問題,本發(fā)明的目的在于提供一種非接觸式智能人機(jī)交互可以全面直觀評(píng)估心理和生理對(duì)應(yīng)關(guān)系的視覺感知識(shí)別系統(tǒng)。
本發(fā)明提供一種視覺感知識(shí)別系統(tǒng),包括:
收集高采樣率的視頻圖像中人物的皮膚圖像變化并且進(jìn)行信號(hào)放大;
進(jìn)行一系列濾波處理和數(shù)字信號(hào)處理,得到需要hr、hrv、br、os生理參數(shù),建立非線性的特征工程;
利用神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)建模;
利用weavlet、svm等對(duì)心理狀況和生理指標(biāo)之間的對(duì)應(yīng)關(guān)系進(jìn)行分類;
在二維坐標(biāo)空間類通過lyapunov指數(shù)得到較明顯的區(qū)分度,可用于正向情緒和負(fù)向情緒的分類。
前面所述的一種視覺感知識(shí)別系統(tǒng),其特征在于:所述系統(tǒng)信號(hào)處理依據(jù)容積脈搏波描述法,得到心率的波型描述和定位,以及呼吸的變化信號(hào)。
前面所述的一種視覺感知識(shí)別系統(tǒng),其特征在于:所述系統(tǒng)在采集數(shù)據(jù)不斷增加情況下做更多分類維度,具有較好的進(jìn)化性。
前面所述的一種視覺感知識(shí)別系統(tǒng),其特征在于:所述系統(tǒng)收集信號(hào)采用非接觸式的方法,不需要佩戴傳感器。
前面所述的一種視覺感知識(shí)別系統(tǒng),其特征在于:所述系統(tǒng)使用醫(yī)學(xué)信號(hào)代替圖像特征做數(shù)據(jù)基礎(chǔ)。
前面所述的一種視覺感知識(shí)別系統(tǒng),其特征在于:所述系統(tǒng)使用非線性的分析方法可以全面直觀評(píng)估心理和生理的對(duì)應(yīng)關(guān)系。
前面所述的一種視覺感知識(shí)別系統(tǒng),其特征在于:所述系統(tǒng)可根據(jù)結(jié)論需求不同,建立無限種生理和心理對(duì)應(yīng)模型。
本發(fā)明的有益效果是生理信號(hào)的采集在不依賴穿戴設(shè)備和醫(yī)用傳感器,通過視頻分析提取足夠精度的生理信號(hào)。這樣就可以通過大量普遍上市的攝像頭設(shè)備進(jìn)行信號(hào)采集的工作,在無語音、無表情的使用場(chǎng)景下大量的、連續(xù)的采集用戶的生理信號(hào)用于分析。由于視頻信號(hào)的連續(xù)性,給予生理信號(hào)的連續(xù)性,所以可以彌補(bǔ)語音、面部識(shí)別等不能實(shí)時(shí)分析的缺點(diǎn),并且生物信號(hào)的數(shù)據(jù)格式完全自主設(shè)計(jì),不存在像面部圖像、指紋、聲音等明文特征被盜用或破解,安全保密性可控。
具體實(shí)施方式
1.通過攝像頭等視頻信號(hào)采集設(shè)備捕捉人物信號(hào);
2.通過電腦對(duì)人物信號(hào)進(jìn)行處理,建立非線性的特征工程;
3.進(jìn)行數(shù)據(jù)建模;
4.利用統(tǒng)計(jì)學(xué)、概率學(xué)對(duì)weavlet、svm等對(duì)心理狀況和生理指標(biāo)之間的對(duì)應(yīng)關(guān)系進(jìn)行分類;
5.在二維坐標(biāo)空間類通過lyapunov指數(shù)得到較明顯的區(qū)分度,可用于正向情緒和負(fù)向情緒的分類。