本發(fā)明涉及的是一種信息處理領(lǐng)域的技術(shù)，具體是一種基于眼動(dòng)數(shù)據(jù)的腦電實(shí)驗(yàn)評(píng)估系統(tǒng)及方法。

背景技術(shù)：

機(jī)器學(xué)習(xí)是一門(mén)人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能。機(jī)器學(xué)習(xí)從學(xué)習(xí)方式上，可以分成：1.監(jiān)督學(xué)習(xí)；2.非監(jiān)督學(xué)習(xí)；3.半監(jiān)督學(xué)習(xí)；4.增強(qiáng)學(xué)習(xí)。當(dāng)今監(jiān)督學(xué)習(xí)在各領(lǐng)域均有相對(duì)較成熟的運(yùn)用，但是，監(jiān)督學(xué)習(xí)對(duì)樣本標(biāo)簽的依賴限制了其進(jìn)一步發(fā)展：標(biāo)簽不精確、樣本基數(shù)過(guò)大導(dǎo)致給定標(biāo)簽代價(jià)過(guò)大等等均可能影響監(jiān)督學(xué)習(xí)準(zhǔn)確度。相反，半監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)以及增強(qiáng)學(xué)習(xí)更加接近于人類(lèi)的學(xué)習(xí)方式，通過(guò)觀察來(lái)學(xué)習(xí)做成如何的動(dòng)作，每個(gè)動(dòng)作都會(huì)對(duì)環(huán)境有所影響，學(xué)習(xí)對(duì)象根據(jù)觀察到的周?chē)h(huán)境的反饋來(lái)做出判斷。因此，半監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)以及增強(qiáng)學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域占據(jù)了很重要的一部分。反饋是實(shí)現(xiàn)半監(jiān)督、非監(jiān)督學(xué)習(xí)、增強(qiáng)學(xué)習(xí)十分重要的一環(huán)。因此，此方法的提出也是實(shí)現(xiàn)更好的非監(jiān)督學(xué)習(xí)的重要的一步。

現(xiàn)今多數(shù)實(shí)驗(yàn)均需要通過(guò)對(duì)象參與實(shí)驗(yàn)采集數(shù)據(jù)，因此，對(duì)象參與程度直接影響了數(shù)據(jù)的優(yōu)劣程度。例如在情緒識(shí)別實(shí)驗(yàn)中，對(duì)象通過(guò)觀看刺激素材，被誘發(fā)相應(yīng)的情緒并采集腦電數(shù)據(jù)，根據(jù)腦電數(shù)據(jù)預(yù)測(cè)對(duì)象在觀看各個(gè)刺激素材時(shí)的情緒。如果對(duì)象在觀看刺激素材是，出現(xiàn)發(fā)呆、走神、或故意不認(rèn)真觀看素材的行為，將導(dǎo)致數(shù)據(jù)質(zhì)量低下、模型預(yù)測(cè)精確度降低。在此方法提出之前，普遍采用填表反饋的方式，對(duì)象在結(jié)束一個(gè)片段的觀看后，在反饋表格上填寫(xiě)對(duì)自己情緒的評(píng)價(jià)。這種反饋主觀因素過(guò)大，也存在對(duì)象故意隱瞞、欺騙的可能性，因此，一個(gè)客觀的基于真實(shí)數(shù)據(jù)來(lái)評(píng)估對(duì)象參與程度的方式十分的重要。

動(dòng)態(tài)時(shí)間規(guī)整算法(dtw)曾經(jīng)是語(yǔ)音識(shí)別的一種主流方法。其將時(shí)間規(guī)整與距離規(guī)整測(cè)度結(jié)合起來(lái)，采用動(dòng)態(tài)規(guī)劃技術(shù)，比較兩個(gè)大小不同的模式，解決語(yǔ)音識(shí)別中語(yǔ)速多變的難題。其基于動(dòng)態(tài)規(guī)劃，能有效減小搜索時(shí)間，但對(duì)于大量樣本數(shù)據(jù)，o(n²)時(shí)間復(fù)雜度仍然會(huì)消耗大量運(yùn)算時(shí)間。因此，本方法中采用了dtw的快速技術(shù)，由文獻(xiàn)stansalvador&philipchan,fastdtw:towardaccuratedynamictimewarpinginlineartimeandspace.kddworkshoponminingtemporalandsequentialdata提出的fastdtw算法。由于眼動(dòng)數(shù)據(jù)的長(zhǎng)度不一，本方法將原用于語(yǔ)音識(shí)別的技術(shù)用在眼動(dòng)數(shù)據(jù)匹配上，成為本方法重要的一個(gè)組成部分。

眼動(dòng)儀是近年新型的科技產(chǎn)品，佩戴之后，可以精確采集佩戴者關(guān)于眼睛運(yùn)動(dòng)的信息，包括：眨眼、注視點(diǎn)、注視時(shí)長(zhǎng)、瞳孔大小。并可統(tǒng)計(jì)出：眨眼次數(shù)，注視次數(shù)，掃視、平均瞳孔大小、平均眨眼時(shí)長(zhǎng)、眨眼頻率、注視頻率等。在文獻(xiàn)yifeilu,wei-longzheng,binbinli,andbao-lianglu,combiningeyemovementsandeegtoenhanceemotionrecognition,inproc.oftheinternationaljointconferenceonartificialintelligence(ijcai'15)中，通過(guò)從眼動(dòng)儀統(tǒng)計(jì)數(shù)據(jù)中提取特征，可以單獨(dú)用作情緒識(shí)別或構(gòu)造多模態(tài)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的上述不足，提出一種基于眼動(dòng)數(shù)據(jù)的腦電實(shí)驗(yàn)評(píng)估系統(tǒng)及方法，客觀量化評(píng)價(jià)對(duì)象參與實(shí)驗(yàn)認(rèn)真程度，為實(shí)驗(yàn)以及模型形成反饋，以保證數(shù)據(jù)質(zhì)量以及提高模型預(yù)測(cè)精確度。對(duì)對(duì)象參與實(shí)驗(yàn)的程度進(jìn)行了量化的評(píng)估，構(gòu)造了情緒識(shí)別實(shí)驗(yàn)的量化反饋。

本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

本發(fā)明涉及一種基于眼動(dòng)數(shù)據(jù)的腦電實(shí)驗(yàn)評(píng)估系統(tǒng)，包括：眼動(dòng)儀、距離矩陣生成模塊、參與度檢測(cè)模塊以及情緒識(shí)別模塊，其中：眼動(dòng)儀與距離矩陣生成模塊相連并傳輸眼動(dòng)數(shù)據(jù)信息，距離矩陣生成模塊與參與度檢測(cè)模塊相連并傳輸距離信息，參與度檢測(cè)模塊與情緒識(shí)別模塊相連并傳輸參與度檢測(cè)結(jié)果信息以及情緒識(shí)別結(jié)果信息。

所述的眼動(dòng)數(shù)據(jù)包括：注視坐標(biāo)、注視時(shí)長(zhǎng)、注視起始結(jié)束時(shí)間、掃視起始坐標(biāo)、掃視路徑、掃視時(shí)長(zhǎng)、掃視起始結(jié)束時(shí)間、掃視角度。

本發(fā)明涉及一種基于上述系統(tǒng)的基于眼動(dòng)數(shù)據(jù)的腦電實(shí)驗(yàn)評(píng)估方法，通過(guò)眼動(dòng)儀采集對(duì)象眼動(dòng)數(shù)據(jù)，根據(jù)眼動(dòng)數(shù)據(jù)中的注視點(diǎn)建立時(shí)間-空間模型；然后使用動(dòng)態(tài)時(shí)間規(guī)整算法快速技術(shù)計(jì)算序列之間相似程度并構(gòu)建距離矩陣，再通過(guò)基于密度的聚類(lèi)算法進(jìn)行離群點(diǎn)檢測(cè)和量化排序，得到對(duì)象的參與度。

所述的距離矩陣，通過(guò)以下方式得到：

i)順序提取對(duì)象觀看刺激素材片段期間的所有注視點(diǎn)，即：{(x1,y1,t1),(x2,y2,t2),…,(xn,yn,tn)}，其中：xi,yi是第i個(gè)注視點(diǎn)坐標(biāo)，ti是第i個(gè)注視點(diǎn)時(shí)長(zhǎng)，n為片段注視點(diǎn)個(gè)數(shù)；

ii)將持續(xù)時(shí)長(zhǎng)小于某預(yù)定閾值δ的注視點(diǎn)視為無(wú)效注視點(diǎn)，從序列中刪除無(wú)效注視點(diǎn)。將有效注視點(diǎn)依次展開(kāi)，即重復(fù)坐標(biāo)t/δ次，其中：t是該注視點(diǎn)的持續(xù)時(shí)間；

iii)將步驟ii)中的注視點(diǎn)根據(jù)區(qū)域?qū)π蛄芯幋a；

iv)使用動(dòng)態(tài)時(shí)間規(guī)整算法兩兩比較序列相似度，得到一個(gè)具體數(shù)值表示兩序列相似程度，越小表示相似度越高；

所述的動(dòng)態(tài)時(shí)間規(guī)整算法是指：fastdtw[stansalvador&philipchan,fastdtw:towardaccuratedynamictimewarpinginlineartimeandspace.kddworkshoponminingtemporalandsequentialdata,pp.70-80,2004]。

v)將每?jī)蓚€(gè)序列相似度數(shù)值作為距離，構(gòu)造距離矩陣其中：dij＝dji，dij是第i個(gè)序列和第j個(gè)序列之間的距離，m為單個(gè)刺激素材樣本總數(shù)，即對(duì)象人數(shù)；

所述的離群點(diǎn)檢測(cè)和量化排序，具體包括以下步驟：

i)基于前一模塊的距離數(shù)據(jù)，使用基于密度的聚類(lèi)算法，檢測(cè)出離群點(diǎn)和非離群點(diǎn)。

ii)提取每個(gè)序列到聚類(lèi)結(jié)果中非離群點(diǎn)的距離作為特征向量<v1,v2,…,vp>，其中vi為第i個(gè)特征值，p為特征總數(shù)，即非離群點(diǎn)個(gè)數(shù)；

iii)針對(duì)每一個(gè)刺激素材片段，對(duì)需要反饋的實(shí)驗(yàn)的樣本根據(jù)情緒識(shí)別結(jié)果精度排序，作為訓(xùn)練標(biāo)簽；

iv)依次選取一個(gè)刺激素材片段作為測(cè)試集，使用剩余所有刺激素材片段作為訓(xùn)練集，使用svmrank訓(xùn)練模型，預(yù)測(cè)測(cè)試樣本排序。

所述的離群點(diǎn)檢測(cè)，將對(duì)象分成了兩類(lèi)：眼動(dòng)數(shù)據(jù)被檢測(cè)成離群點(diǎn)的對(duì)象的參與實(shí)驗(yàn)程度不高，腦電、眼動(dòng)數(shù)據(jù)質(zhì)量低下，因此可以科學(xué)的避免使用這一部分?jǐn)?shù)據(jù)；眼動(dòng)數(shù)據(jù)被檢測(cè)成非離群點(diǎn)的對(duì)象，說(shuō)明其認(rèn)真地參與了實(shí)驗(yàn)，情緒理應(yīng)得到很好的誘發(fā)，數(shù)據(jù)質(zhì)量?jī)?yōu)秀，因此僅使用這一部分?jǐn)?shù)據(jù)可以有效提高模型預(yù)測(cè)精確度。

所述的量化排序，預(yù)測(cè)測(cè)試樣本排序，量化每個(gè)對(duì)象的參與程度。量化的結(jié)果，用于改進(jìn)實(shí)驗(yàn)，在對(duì)象多次實(shí)驗(yàn)過(guò)程中，給予對(duì)象反饋信息，提高對(duì)象參與程度。并可將結(jié)果融入進(jìn)原實(shí)驗(yàn)，例如給予腦電的情緒識(shí)別，預(yù)測(cè)模型中，提高模型精度。

技術(shù)效果

與現(xiàn)有技術(shù)相比，本發(fā)明通過(guò)參與度檢測(cè)，挑選并使用優(yōu)質(zhì)數(shù)據(jù)，有效的提高情緒識(shí)別預(yù)測(cè)準(zhǔn)確度，其次本發(fā)明通過(guò)參與度檢測(cè)，在被試實(shí)驗(yàn)過(guò)程中，給予被試反饋信息，提高被試參與程度；使用本發(fā)明方法進(jìn)行實(shí)驗(yàn)評(píng)估，比使用隱馬爾科夫模型(hmm)在實(shí)現(xiàn)難度上更加簡(jiǎn)單，有效。

附圖說(shuō)明

圖1為基于眼動(dòng)數(shù)據(jù)的腦電實(shí)驗(yàn)評(píng)估系統(tǒng)示意圖；

圖2為實(shí)施例眼動(dòng)序列示意圖；

圖3為實(shí)施例架構(gòu)示意圖。

具體實(shí)施方式

實(shí)施例1

如圖1所示，本實(shí)施例通過(guò)smiiviewetg眼動(dòng)儀采集對(duì)象眼動(dòng)數(shù)據(jù)，使用begaze軟件提取眼動(dòng)數(shù)據(jù)，根據(jù)眼動(dòng)數(shù)據(jù)中的注視點(diǎn)通過(guò)距離矩陣模塊生成距離矩陣；然后通過(guò)參與度檢測(cè)模塊與情緒識(shí)別模塊得出結(jié)果。

如圖3所示，本實(shí)施例在受?chē)?yán)格控制的實(shí)驗(yàn)環(huán)境中進(jìn)行。實(shí)驗(yàn)實(shí)在一個(gè)獨(dú)立并且隔音的房間中進(jìn)行，室內(nèi)照明由照明系統(tǒng)控制，保證光照強(qiáng)度適中且恒定不變，室溫由空調(diào)系統(tǒng)維持在令人舒適的溫度。

本實(shí)施例中通過(guò)對(duì)10名對(duì)象進(jìn)行檢測(cè)，測(cè)試其參與情緒識(shí)別實(shí)驗(yàn)并佩戴眼動(dòng)儀采集眼動(dòng)數(shù)據(jù)，其中5名被要求認(rèn)真觀看刺激素材，5名被要求不認(rèn)真觀看刺激素材。使用本發(fā)明方法，分類(lèi)結(jié)果準(zhǔn)確度高達(dá)90％。

表1。帶有標(biāo)簽的眼動(dòng)數(shù)據(jù)聚類(lèi)結(jié)果

注：“1”表示認(rèn)真觀看刺激素材，“-1”表示不認(rèn)真觀看刺激素材。

實(shí)施例2

本實(shí)施例采用與實(shí)施例1相同的環(huán)境及相同的眼動(dòng)數(shù)據(jù)采集裝備。另外，本實(shí)施例使用了esineuroscan系統(tǒng)進(jìn)行腦電的采集。腦電帽擁有64個(gè)電極，電極分布符合國(guó)際統(tǒng)一的10-20系統(tǒng)標(biāo)準(zhǔn)，其中兩導(dǎo)不利用，因此一共采集62導(dǎo)腦電數(shù)據(jù)。腦電帽采樣頻率為1000hz。

本實(shí)施例以26名對(duì)象進(jìn)行測(cè)試，檢測(cè)其參與情緒識(shí)別實(shí)驗(yàn)并佩戴眼動(dòng)儀采集眼動(dòng)數(shù)據(jù)，實(shí)驗(yàn)過(guò)程中，對(duì)象認(rèn)真程度未知。使用本發(fā)明方法，將對(duì)象數(shù)據(jù)分為認(rèn)真、不認(rèn)真兩類(lèi)。使用基于腦電的情緒識(shí)別方法，計(jì)算出每個(gè)人情緒識(shí)別準(zhǔn)確度。其中，所有對(duì)象平均情緒識(shí)別準(zhǔn)確度為68.52％，被分為認(rèn)真的對(duì)象平均情緒識(shí)別準(zhǔn)確度為81.70％，倍分為不認(rèn)真的對(duì)象平均準(zhǔn)確度為57.26％?；诰垲?lèi)結(jié)果，進(jìn)行量化后，預(yù)測(cè)排序與真實(shí)排序相關(guān)性高達(dá)0.77。

表2。不帶標(biāo)簽的眼動(dòng)數(shù)據(jù)聚類(lèi)結(jié)果

表3。量化評(píng)估排序結(jié)果

本發(fā)明上述實(shí)施例的方法說(shuō)明了本發(fā)明的有效性及顯著效果。通過(guò)注意力預(yù)測(cè)的情緒識(shí)別準(zhǔn)確度與真實(shí)情緒識(shí)別準(zhǔn)確度具有較大的相關(guān)系數(shù)。

上述具體實(shí)施可由本領(lǐng)域技術(shù)人員在不背離本發(fā)明原理和宗旨的前提下以不同的方式對(duì)其進(jìn)行局部調(diào)整，本發(fā)明的保護(hù)范圍以權(quán)利要求書(shū)為準(zhǔn)且不由上述具體實(shí)施所限，在其范圍內(nèi)的各個(gè)實(shí)現(xiàn)方案均受本發(fā)明之約束。