專利名稱：視聽聯(lián)合刺激產(chǎn)生事件相關(guān)電位的特征提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及腦-機(jī)接口領(lǐng)域，尤其是視聽聯(lián)合刺激產(chǎn)生事件相關(guān)電位的特征提取 方法。
背景技術(shù)：
腦-機(jī)接口(Brain-Computer Interface，BCI)技術(shù)是通過(guò)計(jì)算機(jī)監(jiān)測(cè)、識(shí)別大腦 思維意念信號(hào)模式，產(chǎn)生可控制和操縱周邊通訊或工作設(shè)備的指令，以達(dá)到預(yù)想操作目的 或?qū)崿F(xiàn)與外界信息交流功能。BCI可以幫助肢體殘疾但思維意識(shí)正常的患者，使他們?cè)谝欢?程度上修復(fù)與外界的信息交流能力，從而改善他們的生活質(zhì)量，這是BCI研究的初始目的 之一，也是目前最受認(rèn)可的一個(gè)直接應(yīng)用途徑。與感覺、認(rèn)知密切相關(guān)的事件相關(guān)電位(ERP)是腦-機(jī)接口(BCI)系統(tǒng)自主意識(shí) 信息轉(zhuǎn)化的經(jīng)典范式之一。經(jīng)典的ERP主要成分包括Pl、m、P2、N2、P3，其中前三種稱為外 源性成分，而后兩種稱為內(nèi)源性成分(如圖1)。這幾種成分的主要特點(diǎn)是首先不僅僅是 大腦單純生理活動(dòng)的體現(xiàn)，而且反映了心理活動(dòng)的某些方面；其次，它們的引出必須要有特 殊的刺激安排，而且是兩個(gè)以上的刺激或者是刺激的變化。從而對(duì)于ERP的研究實(shí)際上就 是對(duì)這些主要成分的分析。最初對(duì)于事件相關(guān)電位的研究主要是單通道的刺激，如視覺刺激，聽覺刺激，體感 刺激等。隨著信號(hào)處理方法和硬件技術(shù)的發(fā)展，對(duì)于ERP的研究開始向雙通道刺激轉(zhuǎn)換，如 視覺_聽覺刺激，聽覺_體感刺激等。視聽聯(lián)合刺激是近年神經(jīng)電生理領(lǐng)域的熱點(diǎn)之一，研 究表明它具有波幅高、潛伏期短且含有高維度空間分布信息的特點(diǎn)，可彌補(bǔ)單一感覺誘發(fā) ERP信息過(guò)少、不利識(shí)別的缺陷，從而提高信息轉(zhuǎn)化速度和分類準(zhǔn)確率。理論上說(shuō)，神經(jīng)系統(tǒng)不同感覺通路之間并不是完全隔絕分離，而是存在相互整合 的現(xiàn)象。多感覺整合對(duì)于人類感知、記憶等具有重要作用。俞黎平在其文獻(xiàn)中提出了多感 覺的行為和心理效應(yīng)，并介紹了感覺皮層的跨模式可塑性。最近國(guó)外的研究結(jié)果否認(rèn)了之前認(rèn)為的各個(gè)感覺通道對(duì)于外部事物獲取相對(duì)獨(dú) 立信息的假設(shè)，Driver等提出從一個(gè)感覺通道獲取的信息可以影響大腦對(duì)原屬于另一感 覺通道信息的判斷。比如在聽覺刺激的同時(shí)輸入與之相應(yīng)的視覺信息，就會(huì)加強(qiáng)對(duì)聽覺信 息的理解；盡管體感刺激本身不會(huì)傳遞顏色信息，但是在給定位置施加體感刺激也會(huì)提高 人對(duì)于視覺顏色的判斷等等。這些例子都表明一個(gè)通道的信息內(nèi)容有可能影響另一個(gè)感覺 通道的信息加工過(guò)程。

發(fā)明內(nèi)容
為克服現(xiàn)有技術(shù)的不足，彌補(bǔ)現(xiàn)有技術(shù)在空間采樣密度上的缺陷，使系統(tǒng)兼具有 超靈敏度和高時(shí)空分辨測(cè)量性能，繼而實(shí)現(xiàn)高質(zhì)量的多組分、多參數(shù)成像功能。為達(dá)到上述 目的，本發(fā)明采用的技術(shù)方案是視聽聯(lián)合刺激產(chǎn)生事件相關(guān)電位的特征提取方法，采集實(shí) 驗(yàn)數(shù)據(jù)后，進(jìn)行下列步驟
首先利用CZ導(dǎo)聯(lián)處P300信號(hào)的時(shí)域信息作為已知的先驗(yàn)知識(shí)確定P300信號(hào)出 現(xiàn)的時(shí)間，并將其作為時(shí)域約束來(lái)構(gòu)造參考信號(hào)；然后對(duì)采集到的腦電數(shù)據(jù)進(jìn)行受時(shí)域信 息約束的獨(dú)立分量分析，提取出最能體現(xiàn)信號(hào)特征的一個(gè)信源。所述時(shí)域約束條件表示成<formula>formula see original document page 4</formula>(1)式中ω j是解混矩陣W中的某一行矢量，而待求解量7」= jX； ε (ω」)表征估計(jì) 得的與參考信號(hào)r間的相似程度；ξ是其閾值。所述進(jìn)行受時(shí)域信息約束的獨(dú)立分量分析是采用FICA算法，用下面的公式近似 表示負(fù)熵J(y) P {E[G(y)-G(g)]}2(2)式中ρ是正常數(shù)，g是零均值、單位方差的高斯信號(hào)，y是待提取的信源，它也是單 位方差的，G( ·)可以取任何非二次函數(shù)；用&與r間的均方誤差或互相關(guān)作為相似程度的度量，當(dāng)采用后者作度量時(shí)，互 相關(guān)愈大愈相似，有D(Coj) = ξ-E[CCR(r，ω jX)]彡 O(3)式中CCR代表互相關(guān)，此時(shí)ξ是最優(yōu)互相關(guān)的下限，于是算法可以表示成選COjHF(GJj) = ρ {E[G(cojX)]-E[G(g)]}2 極大(4-1)約束條件 Dipj)< 0,E(y))-l = 0,￡(r2 -l) = 0 (4-2)后兩個(gè)約束條件是要求y」和r的方差等于1 ；公式(4-1)、(4-1)式屬于受約束的優(yōu)化問題，采用增廣的拉格朗日函數(shù)，結(jié)合似 牛頓的學(xué)習(xí)算法調(diào)節(jié)w和拉格朗日參數(shù)來(lái)求解。本發(fā)明系統(tǒng)采用光纖耦合非接觸模式來(lái)實(shí)現(xiàn)時(shí)域D0T/FMT原型測(cè)量，其特點(diǎn)在 于利用受時(shí)域信息約束的獨(dú)立分量分析，一方面降低了信號(hào)的維度；另一方面，根據(jù) 所提取信息的時(shí)域特點(diǎn)作為參考信號(hào)，可以減少其他成分及噪音的干擾，有利于后期的模 式識(shí)別。


圖1事件相關(guān)電位各主要成分示意圖。其中前三個(gè)成分Pl，Ni, P2屬于外源性成 分，受外界刺激參數(shù)所影響。而后三個(gè)成分N2，P3則屬于內(nèi)源性成分，主要與人的感覺和認(rèn) 知有關(guān)。圖2實(shí)驗(yàn)流程示意圖。實(shí)驗(yàn)包含5個(gè)session，每個(gè)session都有不同的目標(biāo)刺激 數(shù)字。每個(gè)session包含15個(gè)block。每個(gè)block中包含9個(gè)不同trial。每個(gè)trial分 別是一個(gè)數(shù)字的閃爍與對(duì)應(yīng)的漢語(yǔ)發(fā)音。如閃爍2時(shí)，伴有“er”的發(fā)音。圖3本實(shí)驗(yàn)，屏幕上顯示從1到9，九個(gè)數(shù)字的3*3矩陣，每個(gè)trial隨機(jī)閃爍其中 的一個(gè)數(shù)字，其他數(shù)字則為灰色。實(shí)驗(yàn)中一個(gè)trial的演示。圖中閃爍的數(shù)字是“5”，同時(shí) 伴有“mi”的漢語(yǔ)發(fā)音。圖4腦電電極安置方案。
圖5ICA的簡(jiǎn)單框圖說(shuō)明圖6信號(hào)處理時(shí)所使用的參考信號(hào)。由于p300信號(hào)是在刺激后250ms到450ms 之間產(chǎn)生的。故本實(shí)驗(yàn)中采用每個(gè)trial開始后250ms到450ms的正脈沖作為參考信號(hào)。圖7Cz導(dǎo)聯(lián)處目標(biāo)刺激與非目標(biāo)刺激序列的信號(hào)分別經(jīng)過(guò)相干平均后的結(jié)果。圖8經(jīng)過(guò)CICA處理后，目標(biāo)刺激與非目標(biāo)刺激序列信號(hào)分別相干平均所得到的信號(hào)。
具體實(shí)施例方式本發(fā)明設(shè)計(jì)了基于受時(shí)域信息約束的獨(dú)立分量分析(constrained IndependentComponent Analysis, CICA)的事件相關(guān)電位p300特征提取的新方法。該方 法首先利用CZ導(dǎo)聯(lián)處P300信號(hào)的時(shí)域信息作為已知的先驗(yàn)知識(shí) 確定p300信號(hào)出現(xiàn)的時(shí) 間。并將其作為時(shí)域約束來(lái)構(gòu)造參考信號(hào)，從而對(duì)采集到的腦電數(shù)據(jù)進(jìn)行受時(shí)域信息約束 的獨(dú)立分量分析，提取出最能體現(xiàn)信號(hào)特征的一個(gè)信源。為克服單一通道模式下，靶刺激的出現(xiàn)速度、任務(wù)刺激中靶刺激的配比數(shù)目和任 務(wù)刺激的識(shí)別準(zhǔn)確率這三個(gè)因素之間形成的相互制約的關(guān)系，并提升有效信息的轉(zhuǎn)化速 度。本發(fā)明提出了基于受時(shí)間限制的獨(dú)立分量分析(CICA)方法提取視聽聯(lián)合刺激下事件 相關(guān)電位P300特征的新方法。本發(fā)明設(shè)計(jì)了基于受時(shí)域信息約束的獨(dú)立分量分析(constrained IndependentComponent Analysis, CICA)的事件相關(guān)電位p300特征提取的新方法。該方 法首先利用CZ導(dǎo)聯(lián)處P300信號(hào)的時(shí)域信息作為已知的先驗(yàn)知識(shí)確定p300信號(hào)出現(xiàn)的時(shí) 間。并將其作為時(shí)域約束來(lái)構(gòu)造參考信號(hào)，從而對(duì)采集到的腦電數(shù)據(jù)進(jìn)行受時(shí)域信息約束 的獨(dú)立分量分析，提取出最能體現(xiàn)信號(hào)特征的一個(gè)信源。1實(shí)驗(yàn)方案1. 1實(shí)驗(yàn)數(shù)據(jù)采集本文實(shí)驗(yàn)數(shù)據(jù)取自8名右利手的健康成人志愿者(均為本校大學(xué)生，6男4女， 平均年齡24. 3士3. 1歲)，實(shí)驗(yàn)的刺激產(chǎn)生設(shè)備使用的是STIM 2系統(tǒng)，而采集系統(tǒng)則使用 Neuroscan的SCan4. 3數(shù)字采集系統(tǒng)。實(shí)驗(yàn)室的電磁屏蔽與隔音效果均良好(室內(nèi)背景噪 聲約為31dB，背景光照為2cd/m2)。實(shí)驗(yàn)過(guò)程中，受試者以感覺舒適但不影響數(shù)據(jù)采集的姿 勢(shì)坐在扶手椅中，面對(duì)正前方1米左右距離顯示屏上的實(shí)驗(yàn)任務(wù)提示符。視聽聯(lián)合刺激中受試對(duì)象注視著電腦屏幕上從1到9的9個(gè)數(shù)字的3*3矩陣。整 個(gè)實(shí)驗(yàn)分為5個(gè)session。(如圖2)每個(gè)session分為15個(gè)block，在每個(gè)session前都 會(huì)提示下一組session需要注意的數(shù)字。每個(gè)block是又從1到9的9個(gè)數(shù)字的隨機(jī)閃爍 及聲音構(gòu)成的，每個(gè)單次閃爍實(shí)驗(yàn)，矩陣中的9個(gè)數(shù)字隨機(jī)閃爍其中的一個(gè)，同時(shí)受試者還 會(huì)聽到相應(yīng)的聲音。閃爍或發(fā)聲時(shí)長(zhǎng)為300ms，間隔200ms后閃爍下一個(gè)隨機(jī)數(shù)字(如圖 3)。1. 2數(shù)據(jù)記錄和預(yù)處理實(shí)驗(yàn)中64導(dǎo)腦電采集電極位置如圖4所示，實(shí)驗(yàn)所用電極均為Ag/AgCI電極(阻 抗小于5000歐姆)；以雙側(cè)乳突作為參考電平，腦電采樣頻率為1000Hz，濾波通帶為0. 5 100Hz，并采用50Hz陷波器去除工頻干擾。
2受時(shí)域信息約束的獨(dú)立分量分析2. 1獨(dú)立分量分析及其實(shí)質(zhì)獨(dú)立分量分析(ICA)是信號(hào)處理領(lǐng)域20世紀(jì)90年代后期發(fā)展起來(lái)的信號(hào)處理方 法。它將本來(lái)由若干個(gè)獨(dú)立信號(hào)源混合而成的信號(hào)分解成若干個(gè)互相獨(dú)立的成分，即把這 些信源分解開來(lái)。圖5可以簡(jiǎn)單說(shuō)明ICA基本的處理過(guò)程。多導(dǎo)觀察X是多個(gè)信源S經(jīng)混 合矩陣A組合而成(X = AS)。而獨(dú)立分量分析的主要任務(wù)是在S和A未知的條件下，求 取一個(gè)解混矩陣B，使得X通過(guò)它后所得輸出Y(Y = BX)是S的最優(yōu)逼近。要求Y中的各分 量相互獨(dú)立，但是允許Y跟S中的各分量排序不一定相同，比例尺也不一定相同。ICA分解的基本原則可粗略分為兩條。1、非線性去相關(guān)，求解混陣B使其任意量輸出yi，yj(i Φ j)之間不但本身不相關(guān)， 而且經(jīng)過(guò)非線性變換后的分量g(yi)和h(yj)也不相關(guān)。函數(shù)g，h要選擇合適。2、使輸出盡可能高斯化。在輸出某分量y的方差恒定的條件下，將輸入X各分量
作線性組合y =優(yōu)化選擇各權(quán)重bi;使y盡可能高斯化，則y的非高斯性的每一個(gè)局
I
ο
部極大值給出一個(gè)獨(dú)立分量。2. 2受時(shí)域信息約束的ICA分析步驟通常情況下經(jīng)ICA后各分量是同時(shí)分解出來(lái)的。要從辨識(shí)出所要提取的獨(dú)立分量 仍需要一定得先驗(yàn)知識(shí)。當(dāng)通道數(shù)目比較多時(shí)，很難從眾多的獨(dú)立分量中找到所需要的分 量。受時(shí)域信息約束的ICA則是利用代提取信源的時(shí)域先驗(yàn)知識(shí)作為約束條件來(lái)達(dá)到提取 所需分量的目的。此方法屬于逐個(gè)提取獨(dú)立分量，因此適應(yīng)于采用快速ICA(FICA)算法。FICA算法是從“首先提取最非高斯的分量”(也就是負(fù)熵最大的分量)這一思路 出發(fā)的。但是最非高斯的分量未必恰好就是想提取的信號(hào)，因此需要引入約束條件于尋優(yōu) 過(guò)程，使想提取的信號(hào)被首先提取出來(lái)。FICA用下面的公式近似表示負(fù)熵J(y) P {E[G(y)-G(g)]}2(1)式中P是正常數(shù)，g是零均值、單位方差的高斯信號(hào)。y是待提取的信源，它也是 單位方差的。G( ·)可以取任何非二次函數(shù)。為了使優(yōu)化過(guò)程收斂于所希望提取的獨(dú)立分量，需要有一個(gè)與該獨(dú)立分量很接近 的參考信號(hào)r(t)。r(t)并不一定要等于待提取的信源，也不一定要與該信源匹配得很好， 但它要有能力使優(yōu)化過(guò)程向著希望的方向收斂。約束條件可一般地表示成D ( ω ρ = ξ - ε ( ω ^ ^O(2)式中ω j是解混矩陣W中的某一行矢量，而待求解量y」=ω jX ； ε ( ω」)表征估計(jì) 得的與參考信號(hào)r間的相似程度；ξ是其閾值。通?？捎脃j與r間的均方誤差或互相關(guān)作為相似程度的度量。當(dāng)采用后者作度 量時(shí)，互相關(guān)愈大愈相似。因此有D(Coj) = ξ-E[CCR(r，ω jX)]彡 0(3)式中CCR代表互相關(guān)，此時(shí)ξ是最優(yōu)互相關(guān)的下限。于是算法可以表示成選ω」 使 F(Coj) = ρ {E[G( jX)]-E[G(g)]}2 極大(4-1)約束條件Dipj)< O,E(y))-l = 0,￡(r2 -l) = 0(4-2)后兩個(gè)約束條件是要求y」和r的方差等于1.公式(4-1)、(4-2)式屬于受約束的優(yōu)化問題，采用增廣的拉格朗日函數(shù)，結(jié)合似 牛頓的學(xué)習(xí)算法調(diào)節(jié)w和拉格朗日參數(shù)來(lái)求解。本發(fā)明采用刺激開始后250ms-450ms時(shí)間段的一個(gè)脈沖作為參考信號(hào)r (t)。如下 圖所示。有益效果由于事件相關(guān)電位p300特性主要集中在IOHZ以下，所以，對(duì)于采集到的數(shù)據(jù)先進(jìn) 行I-IOHz的濾波，去除其他不需要的信息以及噪聲的干擾。之后對(duì)應(yīng)該包含P300及不該 包含P300的數(shù)據(jù)分別進(jìn)行相干平均。對(duì)于每次試驗(yàn)，有5個(gè)目標(biāo)刺激數(shù)字。每個(gè)目標(biāo)刺激 數(shù)字分別有15個(gè)block，每個(gè)block的9個(gè)trial中只有一個(gè)是目標(biāo)刺激。所以整個(gè)實(shí)驗(yàn) 中總共有15*5個(gè)trial包含p300，600個(gè)trial不包含p300信號(hào)。圖7是將Cz導(dǎo)聯(lián)處目標(biāo)刺激和非目標(biāo)刺激所得到的數(shù)據(jù)分別相干平均所得(取 每次刺激開始到之后700ms的數(shù)據(jù))。由此可以看到，對(duì)于目標(biāo)刺激產(chǎn)生的事件相關(guān)電位中 P300信息得到了突出，但是，目標(biāo)刺激與非目標(biāo)刺激的區(qū)別并不是很明顯。另外，還有其他 成分以及噪聲的干擾。圖8則是利用受時(shí)域信息約束的獨(dú)立分量分析進(jìn)行處理后相干平均的結(jié)果。圖中 可以明顯的看出目標(biāo)刺激序列的P300特征。并且目標(biāo)刺激與非目標(biāo)刺激的區(qū)別比較明顯， 并去除了其他噪聲對(duì)信號(hào)的影響。利用受時(shí)域信息約束的獨(dú)立分量分析，一方面降低了信號(hào)的維度。該專利中是將64維的數(shù)據(jù)降到了 1維，只取獨(dú)立分量中與參考信號(hào)關(guān)系最密切的最非高斯分量。另一方 面，根據(jù)所提取信息的時(shí)域特點(diǎn)作為參考信號(hào)，可以減少其他成分及噪音的干擾。以利于后 期的模式識(shí)別。本發(fā)明設(shè)計(jì)了基于受時(shí)域信息約束的獨(dú)立分量分析(constrained IndependentComponent Analysis, CICA)的事件相關(guān)電位p300特征提取的新方法。對(duì)于 特征提取，該方法一方面降低了信號(hào)的維度，另一方面增強(qiáng)了 P300特征，有利于以后的模 式識(shí)別。
權(quán)利要求
一種視聽聯(lián)合刺激產(chǎn)生事件相關(guān)電位的特征提取方法，其特征是，采集實(shí)驗(yàn)數(shù)據(jù)后，進(jìn)行下列步驟首先利用CZ導(dǎo)聯(lián)處P300信號(hào)的時(shí)域信息作為已知的先驗(yàn)知識(shí)確定p300信號(hào)出現(xiàn)的時(shí)間，并將其作為時(shí)域約束來(lái)構(gòu)造參考信號(hào)；然后對(duì)采集到的腦電數(shù)據(jù)進(jìn)行受時(shí)域信息約束的獨(dú)立分量分析，提取出最能體現(xiàn)信號(hào)特征的一個(gè)信源。
2.根據(jù)權(quán)利要求1所述的一種視聽聯(lián)合刺激產(chǎn)生事件相關(guān)電位的特征提取方法，其特 征是，時(shí)域約束條件表示成<formula>formula see original document page 2</formula>(1)式中是解混矩陣W中的某一行矢量，而待求解量7」= jX； e 表征估計(jì)得的 與參考信號(hào)r間的相似程度；I是其閾值。
3.根據(jù)權(quán)利要求1所述的一種視聽聯(lián)合刺激產(chǎn)生事件相關(guān)電位的特征提取方法，其 特征是，進(jìn)行受時(shí)域信息約束的獨(dú)立分量分析是采用FICA算法，用下面的公式近似表示負(fù) 熵<formula>formula see original document page 2</formula>(2)式中P是正常數(shù)，g是零均值、單位方差的高斯信號(hào)，y是待提取的信源，它也是單位方 差的，G( )可以取任何非二次函數(shù)；用y」與r間的均方誤差或互相關(guān)作為相似程度的度量，當(dāng)采用后者作度量時(shí)，互相關(guān) 愈大愈相似，有<formula>formula see original document page 2</formula>(3)式中CCR代表互相關(guān)，此時(shí)I是最優(yōu)互相關(guān)的下限，于是算法可以表示成<formula>formula see original document page 2</formula>后兩個(gè)約束條件是要求yj和r的方差等于1 ；公式(4-1)、(4-2)屬于受約束的優(yōu)化問題，采用增廣的拉格朗日函數(shù)，結(jié)合似牛頓的 學(xué)習(xí)算法調(diào)節(jié)w和拉格朗日參數(shù)來(lái)求解。
全文摘要
本發(fā)明涉及腦-機(jī)接口領(lǐng)域。為提供具有超靈敏度和高時(shí)空分辨測(cè)量性能，繼而實(shí)現(xiàn)高質(zhì)量的多組分、多參數(shù)成像功能的視聽聯(lián)合刺激產(chǎn)生事件相關(guān)電位的特征提取方法，本發(fā)明采用的技術(shù)方案是采集實(shí)驗(yàn)數(shù)據(jù)后，進(jìn)行下列步驟首先利用CZ導(dǎo)聯(lián)處P300信號(hào)的時(shí)域信息作為已知的先驗(yàn)知識(shí)確定P300信號(hào)出現(xiàn)的時(shí)間，并將其作為時(shí)域約束來(lái)構(gòu)造參考信號(hào)；然后對(duì)采集到的腦電數(shù)據(jù)進(jìn)行受時(shí)域信息約束的獨(dú)立分量分析，提取出最能體現(xiàn)信號(hào)特征的一個(gè)信源。本發(fā)明主要應(yīng)用于視聽聯(lián)合刺激產(chǎn)生事件相關(guān)電位的特征提取。
文檔編號(hào)G06F3/01GK101833669SQ201010170300
公開日2010年9月15日 申請(qǐng)日期2010年5月13日 優(yōu)先權(quán)日2010年5月13日
發(fā)明者萬(wàn)柏坤, 孫長(zhǎng)城, 安興偉, 明東, 綦宏志 申請(qǐng)人:天津大學(xué)