一種基于圖標(biāo)腦電控制的數(shù)字界面交互方法
【專利摘要】一種基于圖標(biāo)腦電控制的數(shù)字界面交互方法，有：圖標(biāo)搜集與處理步驟從多款數(shù)字界面搜集圖標(biāo)，運(yùn)用圖形圖像處理軟件對(duì)圖標(biāo)圖片處理；獲取圖標(biāo)圖片的用戶計(jì)算機(jī)功能控制命令步驟包括腦電設(shè)備與測(cè)試用計(jì)算機(jī)的通信，測(cè)試過程，原始信號(hào)離線分析，群組平均腦電信號(hào)時(shí)域和頻域特征的提取和微處理器處理；目標(biāo)圖標(biāo)圖片的腦電信號(hào)的時(shí)域和頻域特征提取步驟；相似度計(jì)算和激發(fā)目標(biāo)圖標(biāo)圖片的控制指令步驟。本發(fā)明是一種基于圖標(biāo)腦電控制的數(shù)字界面交互方法，直接采集人對(duì)不同圖標(biāo)圖片的腦電信號(hào)，依據(jù)腦電信號(hào)的不同實(shí)現(xiàn)了圖標(biāo)對(duì)數(shù)字界面的腦機(jī)交互，提高了數(shù)字界面的交互效率。
【專利說明】—種基于圖標(biāo)腦電控制的數(shù)字界面交互方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于圖標(biāo)腦電控制的數(shù)字界面交互方法，屬于神經(jīng)科學(xué)與人機(jī)交互的交叉領(lǐng)域，為一種全新的數(shù)字界面交互方式，采用腦機(jī)接口技術(shù)實(shí)現(xiàn)圖標(biāo)對(duì)數(shù)字界面的交互和控制，可作為無手操作的新型的數(shù)字界面交互方式，適用于殘疾人等特殊人群和
軍事人員。
【背景技術(shù)】
[0002]隨著科學(xué)技術(shù)的發(fā)展和進(jìn)步，數(shù)字界面已廣泛應(yīng)用于汽車駕駛、核電廠控制、航空艦載操控、戰(zhàn)場(chǎng)指揮等復(fù)雜系統(tǒng)領(lǐng)域，并取代傳統(tǒng)人-機(jī)硬件界面成為主要的功能載體和交互載體。圖標(biāo)是數(shù)字界面的重要組成部分，圖標(biāo)的應(yīng)用可方便用戶更快速的理解界面，消除用戶與計(jì)算機(jī)的溝通障礙，使用戶與計(jì)算機(jī)之間的交流更簡單、自然、友好和方便。本發(fā)明中“圖標(biāo)”指數(shù)字界面中的功能標(biāo)識(shí)符號(hào)。
[0003]計(jì)算機(jī)用戶界面經(jīng)歷了以符號(hào)為主的命令語言式界面、以視覺感知為主的圖形用戶界面、兼顧聽覺感知的多媒體用戶界面和綜合運(yùn)用多種感官(包括觸覺等)的虛擬現(xiàn)實(shí)系統(tǒng)界面等四個(gè)階段。人機(jī)交互方式也越來越多樣化，除了傳統(tǒng)的鼠標(biāo)、鍵盤之外，語音控制、手勢(shì)操作、人臉識(shí)別、觸摸控制等交互方式都在數(shù)字界面上得到了不同程度的應(yīng)用，各項(xiàng)技術(shù)正在不斷發(fā)展、日益成熟。
[0004]目前,腦機(jī)接口(Brain-computer Interface,BCI)已變成一種新型的人機(jī)交互方式，BCI通過采集和傳送大腦神經(jīng)系統(tǒng)的電活動(dòng)信號(hào)，然后進(jìn)行信號(hào)處理與模式識(shí)別，使計(jì)算機(jī)能夠識(shí)別用戶的腦電信號(hào)，最終完成用戶希望的控制行為。
[0005]腦機(jī)接口應(yīng)用系統(tǒng)主要分為兩大類應(yīng)用:其一是直接用腦電信號(hào)控制家電、醫(yī)療器材等智能設(shè)備，其二是實(shí)現(xiàn)`對(duì)計(jì)算機(jī)的控制。本發(fā)明屬于第二種應(yīng)用，屬于視覺誘發(fā)事件相關(guān)電位的腦機(jī)接口，基于圖標(biāo)腦電控制實(shí)現(xiàn)對(duì)數(shù)字界面的交互。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的提供了一種基于圖標(biāo)腦電控制的數(shù)字界面交互方法，通過獲取數(shù)字界面中不同圖標(biāo)的腦電信號(hào)特征，依據(jù)不同圖標(biāo)腦電信號(hào)的差異，實(shí)現(xiàn)對(duì)數(shù)字界面的腦電控制，使得特殊場(chǎng)合和特殊人群的人機(jī)交互更加友好方便。
[0007]—種基于圖標(biāo)腦電控制的數(shù)字界面交互方法，其特征在于，包括以下步驟:
[0008]步驟I圖標(biāo)搜集與處理:從多款數(shù)字界面中搜集i個(gè)功能圖標(biāo)圖片，i=l、2、……、
10,運(yùn)用Photoshop, Illustrator或Coreldraw圖形圖像處理軟件對(duì)圖標(biāo)圖片處理，得到面積和像素均為48px*48px的png格式的圖標(biāo)圖片，將png格式的圖標(biāo)圖片放入面積為1024px*768px的白色背景圖片中央，生成文件格式為bmp的圖標(biāo)圖片，
[0009]步驟2獲取圖標(biāo)圖片的用戶計(jì)算機(jī)功能控制命令:
[0010]步驟2.1將事件相關(guān)電位ERP腦電設(shè)備與裝載E-prime軟件的測(cè)試用計(jì)算機(jī)連接，以實(shí)現(xiàn)事件相關(guān)電位ERP腦電設(shè)備與裝載E-prime軟件的測(cè)試用計(jì)算機(jī)的通信，[0011]步驟2.2選取20名被試者，每名被試者對(duì)張圖標(biāo)圖片均進(jìn)行10次重復(fù)測(cè)試，每張圖標(biāo)圖片獲得200個(gè)測(cè)試樣本并將200個(gè)測(cè)試樣本組成一個(gè)群組，所述測(cè)試的過程為:將一張測(cè)試圖像呈現(xiàn)在被試者的面前并對(duì)被試者的視覺形成刺激，使用佩戴在被試者頭上的由事件相關(guān)電位ERP腦電設(shè)備中配置的電極帽以及Scan軟件采集被試者對(duì)所述一張測(cè)試圖像的刺激時(shí)段的原始腦電信號(hào)且采樣率為500赫茲，遍歷所有單張測(cè)試圖像，得到被試者對(duì)所有測(cè)試圖像的刺激時(shí)段的原始腦電信號(hào)，所述一張測(cè)試圖像的呈現(xiàn)包括提示階段、圖標(biāo)圖片視覺刺激呈現(xiàn)階段及空屏階段，在提示階段，屏幕中央將呈現(xiàn)面積為32px*32px黑色十字叉，呈現(xiàn)1000ms后消失，該階段被試者需集中注意力；在圖標(biāo)圖片視覺刺激呈現(xiàn)階段，屏幕中央將呈現(xiàn)面積為48px*48px的任一單張圖標(biāo)圖片，被試者仔細(xì)觀察任一單張圖標(biāo)圖片，呈現(xiàn)1000ms后消失；在空屏階段，屏幕呈現(xiàn)白色空屏，呈現(xiàn)時(shí)間1000ms，以消除被試者的視覺殘留，
[0012]步驟2.3用Scan軟件對(duì)原始腦電信號(hào)離線分析，所述離線分析包括對(duì)各原始腦電信號(hào)進(jìn)行預(yù)處理和各群組疊加平均，獲取各圖標(biāo)圖片的群組平均腦電信號(hào)@@為圖
標(biāo)圖片的群組平均腦電信號(hào)的表達(dá)通式，表示第i個(gè)圖標(biāo)圖片的群組平均腦電信號(hào)，
[0013]所述預(yù)處理是分別對(duì)各個(gè)原始腦電信號(hào)進(jìn)行預(yù)覽和去除眼電偽跡，再對(duì)原始腦電信號(hào)進(jìn)行分段提取，得到第i圖標(biāo)圖片視覺刺激原始腦電信號(hào)yi(t)，t為采樣時(shí)間點(diǎn)且t =1000+2m，m為圖標(biāo)圖片視覺刺激原始腦電信號(hào)的采樣個(gè)數(shù)且m為[1，500]區(qū)間上的整數(shù)，最后對(duì)圖標(biāo)圖片視覺刺激原始腦電信號(hào)yi(t)進(jìn)行基線矯正及去除偽跡，所述群組疊加平均是分別對(duì)20名被試者的10次測(cè)試所得的去除偽跡后的圖標(biāo)圖片視覺刺激原始腦電信號(hào)
yi(t)進(jìn)行疊加平均得到; [0014]步驟2.4分別對(duì)各圖標(biāo)圖片的群組平均腦電信號(hào);^進(jìn)行時(shí)域和頻域特征的提取，所述的時(shí)域特征萬包括均值萬、絕對(duì)平均幅值5、方差萬、均方根值&、峰峰值萬、波形因子萬峭度因子偏斜度因子萬，所述的頻域特征忑包括頻譜平均振幅g、頻譜方差€第一頻譜特征頻車^和第二頻譜特征頻車i
[0015]步驟2.5分別將已提取的各圖標(biāo)圖片的群組平均腦電信號(hào)的時(shí)域特征值和頻域特征值，送入微處理器處理，轉(zhuǎn)換為用戶計(jì)算機(jī)可識(shí)別的數(shù)字信號(hào)，并通過USB或其它通用輸入端口送入用戶計(jì)算機(jī)的控制信號(hào)輸入端，作為相應(yīng)圖標(biāo)圖片的用戶計(jì)算機(jī)的功能控制命令，存儲(chǔ)于用戶計(jì)算機(jī)的圖標(biāo)激發(fā)命令模塊，
[0016]步驟3目標(biāo)圖標(biāo)圖片的腦電信號(hào)的時(shí)域和頻域特征提取:
[0017]將事件相關(guān)電位ERP腦電設(shè)備與用戶計(jì)算機(jī)連接，用戶佩戴由事件相關(guān)電位ERP腦電設(shè)備中配置的電極帽，觀察既定的目標(biāo)圖標(biāo)圖片，使既定的目標(biāo)圖標(biāo)圖片對(duì)用戶產(chǎn)生1000ms的刺激，使用事件相關(guān)電位ERP腦電設(shè)備中配置的Scan軟件采集受刺激時(shí)的用戶的原始腦電信號(hào)且采樣率為500赫茲，對(duì)所采集到的受刺激時(shí)的用戶的原始腦電信號(hào)進(jìn)行預(yù)覽、去除眼電偽跡、基線矯正及去除偽跡，再對(duì)去除偽跡后的腦電信號(hào)y/ (t’)進(jìn)行時(shí)域特征1和頻域特征提取，[0018]所述y/ (t’)為去除偽跡后的受既定的目標(biāo)圖標(biāo)圖片刺激時(shí)的腦電信號(hào)的表達(dá)通式，表示第i個(gè)圖標(biāo)圖片所對(duì)應(yīng)的既定的目標(biāo)圖標(biāo)圖片的腦電信號(hào)，t’為觀察既定的目標(biāo)圖標(biāo)圖片時(shí)腦電采樣時(shí)間點(diǎn)，既定的目標(biāo)圖標(biāo)圖片刺激開始為計(jì)時(shí)零點(diǎn)，且t’ = 2n其中η為既定的目標(biāo)圖標(biāo)圖片刺激原始腦電信號(hào)的采樣個(gè)數(shù)且η為[1，500]區(qū)間上的整數(shù)，
[0019]所述的時(shí)域特征Yi包括均值Υη、絕對(duì)平均幅值Yi2、方差Yi3、均方根值Yi4、峰峰值Yi5、波形因子Yi6、峭度因子Yi7和偏斜度因子Yi8，所述的頻域特征Si包括頻譜平均振幅sn、頻譜方差Si2、第一頻譜特征頻率Si3和第二頻譜特征頻率si4，
[0020]步驟4相似度計(jì)算和激發(fā)目標(biāo)圖標(biāo)圖片的控制指令:
[0021]計(jì)算去除偽跡后的受既定的目標(biāo)圖標(biāo)圖片刺激時(shí)的腦電信號(hào)的時(shí)域特征Yi與相
對(duì)應(yīng)的圖標(biāo)圖片的群組平均腦電信號(hào)的時(shí)域特征$的時(shí)域相似度A，再計(jì)算去除偽跡后的
受既定的目標(biāo)圖標(biāo)圖片刺激時(shí)的腦電信號(hào)的頻域特征Si與相對(duì)應(yīng)的圖標(biāo)圖片的群組平均
腦電信號(hào)的頻域特征$的頻域相似度B，若時(shí)域相似度A及頻域相似度B都大于90%，則激
發(fā)既定目標(biāo)圖標(biāo)圖片的控制指令，實(shí)現(xiàn)圖標(biāo)誘發(fā)腦電信號(hào)對(duì)界面的控制，所述的i指第i個(gè)圖標(biāo)圖片。
[0022]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn):
[0023]本發(fā)明首次將圖標(biāo)認(rèn)知的相關(guān)神經(jīng)信號(hào)應(yīng)用于數(shù)字界面之中，是一種全新范式下的腦-機(jī)接口。與傳統(tǒng)的人機(jī)交互方法相比，本發(fā)明不需要任何語言和動(dòng)作，直接通過圖標(biāo)交互實(shí)現(xiàn)對(duì)數(shù)字界面的腦電控制，因此，適用于殘疾人等特殊人群，也可用于正常人不便用手操作計(jì)算機(jī)的場(chǎng)合，如宇航員在飛船或太空艙操作計(jì)算機(jī)等。
[0024]本發(fā)明一種基于圖標(biāo)腦電控制的數(shù)字界面交互方法的特點(diǎn)是，突破傳統(tǒng)的計(jì)算機(jī)人機(jī)交互方式，提取圖標(biāo)對(duì)人的視覺誘發(fā)電位，將腦電信號(hào)轉(zhuǎn)換成計(jì)算機(jī)的控制信號(hào)，通過腦電測(cè)試獲取圖標(biāo)的群組腦電信號(hào)的時(shí)域特征和頻域特征，和用戶實(shí)際測(cè)試的腦電信號(hào)的進(jìn)行相似度對(duì)比，實(shí)現(xiàn)圖標(biāo)腦電信號(hào)對(duì)數(shù)字界面的控制。該方法不存在視覺刺激概率偏差的要求和限制，更加符合實(shí)際使用情況，有較高的準(zhǔn)確率。相比較其他交互方式，本發(fā)明更加直接和簡潔，可節(jié)省操作時(shí)間，顯著提高控制效率。
[0025]采用視覺想象運(yùn)動(dòng)電位腦電測(cè)試產(chǎn)生誘發(fā)腦電想象信號(hào)，實(shí)現(xiàn)對(duì)數(shù)字界面中光標(biāo)的控制，進(jìn)而實(shí)現(xiàn)對(duì)數(shù)字界面的控制，相比較此種方式，本發(fā)明所選擇的基于圖標(biāo)腦電控制的數(shù)字界面交互方法是通過運(yùn)用圖形圖像處理軟件對(duì)圖標(biāo)進(jìn)行處理，用戶直接觀察數(shù)字界面的圖標(biāo)，采集用戶理解圖標(biāo)過程中的腦電波，并從時(shí)域和頻域兩個(gè)維度計(jì)算目標(biāo)圖標(biāo)視覺誘發(fā)腦電信號(hào)和相應(yīng)圖標(biāo)的群組腦電信號(hào)的相似度，從界面圖標(biāo)的角度上更加直觀、準(zhǔn)確地實(shí)現(xiàn)腦電信號(hào)對(duì)用戶計(jì)算機(jī)的觸發(fā)和交互，克服了在信號(hào)匹配過程中的不穩(wěn)定性，并能實(shí)現(xiàn)對(duì)無經(jīng)驗(yàn)數(shù)據(jù)的腦電信號(hào)的分析和計(jì)算，更加客觀、快速和準(zhǔn)確。
【專利附圖】

【附圖說明】
[0026]圖1是基于圖標(biāo)腦電控制的數(shù)字界面交互方法的流程圖；
[0027]圖2是圖標(biāo)搜集與處理過程圖；
[0028]圖3是腦電測(cè)試過程示意圖；
[0029]圖4是腦電設(shè)備與測(cè)試用計(jì)算機(jī)的通信示意圖；[0030]圖5是原始腦電信號(hào)離線分析圖；
[0031]圖6是微處理器處理圖；
[0032]圖7是激發(fā)目標(biāo)圖標(biāo)圖片控制指令的示意圖。
【具體實(shí)施方式】
[0033]下面結(jié)合附圖，對(duì)本發(fā)明一種基于圖標(biāo)腦電控制的數(shù)字界面交互方法做進(jìn)一步詳細(xì)描述。
[0034]如圖1所示，一種基于圖標(biāo)腦電控制的數(shù)字界面交互方法，其特征在于，包括以下步驟:
[0035]步驟1圖標(biāo)搜集與處理:從多款數(shù)字界面中搜集i個(gè)功能圖標(biāo)圖片，i=l、2、……、10,運(yùn)用Photoshop, Illustrator或Corel draw圖形圖像處理軟件對(duì)圖標(biāo)圖片處理，得到面積和像素均為48px*48px的png格式的圖標(biāo)圖片，將png格式的圖標(biāo)圖片放入面積為1024px*768px的白色背景圖片中央，生成文件格式為bmp的圖標(biāo)圖片，
[0036]步驟2獲取圖標(biāo)圖片的用戶計(jì)算機(jī)功能控制命令:
[0037]步驟2.1將事件相關(guān)電位ERP腦電設(shè)備與裝載E-prime軟件的測(cè)試用計(jì)算機(jī)連接，以實(shí)現(xiàn)事件相關(guān)電位ERP腦電設(shè)備與裝載E-prime軟件的測(cè)試用計(jì)算機(jī)的通信，
[0038]步驟2.2選取20名被試者，每名被試者對(duì)張圖標(biāo)圖片均進(jìn)行10次重復(fù)測(cè)試，每張圖標(biāo)圖片獲得200個(gè)測(cè)試樣本并將200個(gè)測(cè)試樣本組成一個(gè)群組，所述測(cè)試的過程為:將一張測(cè)試圖像呈現(xiàn)在被試者的面前并對(duì)被試者的視覺形成刺激，使用佩戴在被試者頭上的由事件相關(guān)電位ERP腦電設(shè)備中配置的電極帽以及Scan軟件采集被試者對(duì)所述一張測(cè)試圖像的刺激時(shí)段的原始腦電信號(hào)`且采樣率為500赫茲，遍歷所有單張測(cè)試圖像，得到被試者對(duì)所有測(cè)試圖像的刺激時(shí)段的原始腦電信號(hào)，所述一張測(cè)試圖像的呈現(xiàn)包括提示階段、圖標(biāo)圖片視覺刺激呈現(xiàn)階段及空屏階段，在提示階段，屏幕中央將呈現(xiàn)面積為32px*32px黑色十字叉，呈現(xiàn)1000ms后消失，該階段被試者需集中注意力；在圖標(biāo)圖片視覺刺激呈現(xiàn)階段，屏幕中央將呈現(xiàn)面積為48px*48px的任一單張圖標(biāo)圖片，被試者仔細(xì)觀察任一單張圖標(biāo)圖片，呈現(xiàn)1000ms后消失；在空屏階段，屏幕呈現(xiàn)白色空屏，呈現(xiàn)時(shí)間1000ms，以消除被試者的視覺殘留，
[0039]步驟2.3用Scan軟件對(duì)原始腦電信號(hào)離線分析，所述離線分析包括對(duì)各原始腦電信號(hào)進(jìn)行預(yù)處理和各群組疊加平均，獲取各圖標(biāo)圖片的群組平均腦電信號(hào)@為圖
標(biāo)圖片的群組平均腦電信號(hào)的表達(dá)通式，表示第i個(gè)圖標(biāo)圖片的群組平均腦電信號(hào)，
[0040]所述預(yù)處理是分別對(duì)各個(gè)原始腦電信號(hào)進(jìn)行預(yù)覽和去除眼電偽跡，再對(duì)原始腦電信號(hào)進(jìn)行分段提取，得到第i圖標(biāo)圖片視覺刺激原始腦電信號(hào)yi(t)，t為采樣時(shí)間點(diǎn)且t =1000+2m，m為圖標(biāo)圖片視覺刺激原始腦電信號(hào)的采樣個(gè)數(shù)且m為[1，500]區(qū)間上的整數(shù)，最后對(duì)圖標(biāo)圖片視覺刺激原始腦電信號(hào)yi(t)進(jìn)行基線矯正及去除偽跡，所述群組疊加平均是分別對(duì)20名被試者的10次測(cè)試所得的去除偽跡后的圖標(biāo)圖片視覺刺激原始腦電信號(hào)
yi(t)進(jìn)行疊加平均得到
[0041]步驟2.4分別對(duì)各圖標(biāo)圖片的群組平均腦電信號(hào);^進(jìn)行時(shí)域和頻域特征的提取，所述的時(shí)域特征萬包括均值廠絕對(duì)平均幅值Ya方差萬、均方根值YA、峰峰值7；政形因子[峭度因子f和偏斜度因子I，所述的頻域特征I包括頻譜平均振幅1、頻譜方差:第一頻譜特征頻率I和第二頻譜特征頻率I，
[0042]步驟2.5分別將已提取的各圖標(biāo)圖片的群組平均腦電信號(hào)的時(shí)域特征值和頻域特征值，送入微處理器處理，轉(zhuǎn)換為用戶計(jì)算機(jī)可識(shí)別的數(shù)字信號(hào)，并通過USB或其它通用輸入端口送入用戶計(jì)算機(jī)的控制信號(hào)輸入端，作為相應(yīng)圖標(biāo)圖片的用戶計(jì)算機(jī)的功能控制命令，存儲(chǔ)于用戶計(jì)算機(jī)的圖標(biāo)激發(fā)命令模塊，
[0043]步驟3目標(biāo)圖標(biāo)圖片的腦電信號(hào)的時(shí)域和頻域特征提取:
[0044]將事件相關(guān)電位ERP腦電設(shè)備與用戶計(jì)算機(jī)連接，用戶佩戴由事件相關(guān)電位ERP腦電設(shè)備中配置的電極帽，觀察既定的目標(biāo)圖標(biāo)圖片，使既定的目標(biāo)圖標(biāo)圖片對(duì)用戶產(chǎn)生1000ms的刺激，使用事件相關(guān)電位ERP腦電設(shè)備中配置的Scan軟件采集受刺激時(shí)的用戶的原始腦電信號(hào)且采樣率為500赫茲，對(duì)所采集到的受刺激時(shí)的用戶的原始腦電信號(hào)進(jìn)行預(yù)覽、去除眼電偽跡、基線矯正及去除偽跡，再對(duì)去除偽跡后的腦電信號(hào)y/ (t’)進(jìn)行時(shí)域特征1和頻域特征SJA提取，
[0045]所述y/ (t’)為去除偽跡后的受既定的目標(biāo)圖標(biāo)圖片刺激時(shí)的腦電信號(hào)的表達(dá)通式，表示第i個(gè)圖標(biāo)圖片所對(duì)應(yīng)的既定的目標(biāo)圖標(biāo)圖片的腦電信號(hào)，t’為觀察既定的目標(biāo)圖標(biāo)圖片時(shí)腦電采樣時(shí)間點(diǎn)，既定的目標(biāo)圖標(biāo)圖片刺激開始為計(jì)時(shí)零點(diǎn)，且t’ = 2n其中η為既定的目標(biāo)圖標(biāo)圖片刺激原始腦電信號(hào)的采樣個(gè)數(shù)且η為[1，500]區(qū)間上的整數(shù)，
[0046]所述的時(shí)域特征Yi包括均值Υη、絕對(duì)平均幅值Yi2、方差Yi3、均方根值Yi4、峰峰值Yi5、波形因子Yi6、峭度因子Yi7和偏斜度因子Yi8，所述的頻域特征Si包括頻譜平均振幅sn、頻譜方差Si2、第一頻譜特征頻率Si3和第二頻譜特征頻率si4，
[0047]步驟4相似度計(jì)算和激發(fā)目標(biāo)圖標(biāo)圖片的控制指令:
[0048]計(jì)算去除偽跡后的受既定的目標(biāo)圖標(biāo)圖片刺激時(shí)的腦電信號(hào)的時(shí)域特征Yi與相
對(duì)應(yīng)的圖標(biāo)圖片的群組平均腦電信號(hào)的時(shí)域特征$的時(shí)域相似度A，再計(jì)算去除偽跡后的
受既定的目標(biāo)圖標(biāo)圖片刺激時(shí)的腦電信號(hào)的頻域特征Si與相對(duì)應(yīng)的圖標(biāo)圖片的群組平均
腦電信號(hào)的頻域特征I的頻域相似度B，若時(shí)域相似度A及頻域相似度B都大于90%，則激
發(fā)既定目標(biāo)圖標(biāo)圖片的控制指令，實(shí)現(xiàn)圖標(biāo)誘發(fā)腦電信號(hào)對(duì)界面的控制，所述的i指第i個(gè)圖標(biāo)圖片。
[0049]實(shí)施例中對(duì)步驟I的說明:
[0050]本實(shí)施例中圖標(biāo)搜集是指，運(yùn)用截屏工具從數(shù)字界面中獲取常用功能圖標(biāo)圖片。本實(shí)施例所述的功能圖標(biāo)圖片為關(guān)閉圖標(biāo)圖片、保存圖標(biāo)圖片、撤消圖標(biāo)圖片、如進(jìn)圖標(biāo)圖片、放大圖標(biāo)圖片、縮小圖標(biāo)圖片、選擇圖標(biāo)圖片、到切圖標(biāo)圖片、最大化圖標(biāo)圖片或最小化圖標(biāo)圖片。所述圖標(biāo)的處理，是為排除視角和清晰度不同而產(chǎn)生干擾，運(yùn)用Photoshop，Illustrator或Coreldraw圖形圖像處理軟件對(duì)圖標(biāo)處理,得到面積和像素均為48px*48px的png格式的圖標(biāo)圖片，將圖標(biāo)圖片放入面積為1024px*768px的白色背景圖片中央，生成文件格式為bmp的圖標(biāo)圖片。如圖2所示，以“放大鏡”為例，從Visio軟件、圖片預(yù)覽軟件、Photoshop CC和Auto CAD軟件等10款數(shù)字界面中，搜集“放大鏡”功能圖標(biāo)圖片，通過圖形圖像軟件的處理，生成滿足測(cè)試要求的圖標(biāo)圖片。
[0051 ] 實(shí)施例中對(duì)步驟2的說明:
[0052]實(shí)施例中步驟2獲取圖標(biāo)圖片的用戶計(jì)算機(jī)功能控制命令包括以下階段:腦電設(shè)備與測(cè)試用計(jì)算機(jī)的通信，測(cè)試過程，原始信號(hào)離線分析，群組平均腦電信號(hào)時(shí)域和頻域特征的提取和微處理器處理。
[0053]實(shí)施例中對(duì)步驟2.1的說明:
[0054]實(shí)施例中所述的E-Prime軟件是一套針對(duì)心理與行為實(shí)驗(yàn)的計(jì)算機(jī)化的實(shí)驗(yàn)設(shè)計(jì)、生成和運(yùn)行的軟件，所述的事件相關(guān)電位是從自發(fā)電位中經(jīng)計(jì)算機(jī)提取而獲得的腦的高級(jí)功能電位，所述的事件相關(guān)電位ERP腦電設(shè)備為Neuroscan事件相關(guān)電位系統(tǒng)。如圖4所示，所述的所述事件相關(guān)電位ERP腦電設(shè)備與裝載E-prime軟件的測(cè)試用計(jì)算機(jī)的通信是在E-Prime中選取和腦電設(shè)備相對(duì)應(yīng)的數(shù)據(jù)傳輸com接口，和在E-Prime中插入inline語句來實(shí)現(xiàn)腦電設(shè)備的觸發(fā)、記錄、視覺刺激與腦電信號(hào)同步和marker標(biāo)記。
[0055]實(shí)施例中對(duì)步驟2.2的說明:
[0056]本實(shí)施例中被試者20名，其中男女各10名，均具有大學(xué)教育背景，年齡在20-30歲之間，均為右利手，無精神病史或大腦創(chuàng)傷，視力正?；虺C正視力正常。所述的Neuroscan事件相關(guān)電位系統(tǒng)包括Synamp2導(dǎo)信號(hào)放大器、Scan腦電記錄分析系統(tǒng)和64導(dǎo)Ag/AgCl電極帽，按照國際10-20系統(tǒng)來放置電極。所述的Scan軟件是Neuroscan事件相關(guān)電位系統(tǒng)的腦電信號(hào)記錄和分析處理軟件，腦電信號(hào)記錄之前，Scan參數(shù)設(shè)置包括:參考電極置于雙側(cè)乳突連線，接地電極在FPZ電極和FZ電極連線中點(diǎn)，同時(shí)記錄水平眼電和垂直眼電，高低帶通為0.05-100赫茲，采樣頻率為500赫茲，電極與頭皮接觸電阻均小于5k歐。測(cè)試過程中刺激呈現(xiàn)采用E-Prime軟件，每個(gè)事件類型的腦電信號(hào)通過Scan軟件同步記錄。視覺刺激程序在E-Prime上運(yùn)行，通過CRT顯示器呈現(xiàn)，測(cè)試過程中所有圖片背景均為白色，所有刺激物均位于屏幕中央，如圖3所示為測(cè)試過程示意圖。
[0057]實(shí)施例中對(duì)步驟2.3的說明:
[0058]本實(shí)施例中所述的離線分析是對(duì)記錄到的原始生理信號(hào)進(jìn)行再分析處理的過程，離線分析的所有過程是在Scan軟件中完成的，所述的離線分析過程包括腦電預(yù)覽、去除眼動(dòng)偽跡、腦電信號(hào)分段、基線矯正、去除偽跡和群組疊加平均，如圖5所示。所述的腦電預(yù)覽指剔除明顯漂移的腦電數(shù)據(jù)；所述的去除眼動(dòng)偽跡通過參考眼電的幅值正負(fù)、眼電方向與腦電方向，運(yùn)用ICA獨(dú)立成分分析法來實(shí)現(xiàn)；所述的原始腦電信號(hào)分段提取通過對(duì)連續(xù)記錄的原始腦電數(shù)據(jù)進(jìn)行分段，根據(jù)每張圖標(biāo)圖片出現(xiàn)的時(shí)間點(diǎn)和marker標(biāo)記選取圖標(biāo)圖片出現(xiàn)開始到消失的1000ms，即截取每張圖標(biāo)圖片出現(xiàn)前后總計(jì)1000ms時(shí)長的時(shí)間段；所述的基線矯正可消除腦電相對(duì)基線的偏移，以圖標(biāo)圖片出現(xiàn)時(shí)的信號(hào)為基線進(jìn)行基線矯正；所述的去除偽跡將分段時(shí)間內(nèi)的腦電數(shù)據(jù)中幅度較高的偽跡剔除，偽跡剔除的幅值設(shè)定范圍為±50μν?±100μν;所述的群組疊加平均是對(duì)所有被試者的腦電數(shù)據(jù)進(jìn)行總疊加和平均，得到相應(yīng)圖標(biāo)圖片的群組平均腦電信號(hào)。單個(gè)被試者對(duì)每種圖標(biāo)圖片重復(fù)測(cè)試次數(shù)為10次，測(cè)試樣本人數(shù)為20，共計(jì)200次，即單個(gè)圖標(biāo)圖片的群組平均腦電信號(hào)是200次疊加平均后的腦電信號(hào)。
[0059]實(shí)施例中對(duì)步驟2.4的說明:[0060]1)所述第i個(gè)圖標(biāo)圖片的群組平均腦電信號(hào);^的時(shí)域特征的提取方法如下:
[0061]所述第i個(gè)圖標(biāo)圖片的群組平均腦電信號(hào)@的時(shí)域特征^中的均值f為:
【權(quán)利要求】
1.一種基于圖標(biāo)腦電控制的數(shù)字界面交互方法，其特征在于，包括以下步驟: 步驟I圖標(biāo)搜集與處理:從多款數(shù)字界面中搜集i個(gè)功能圖標(biāo)圖片，i=l、2、……、.10,運(yùn)用Photoshop, Illustrator或Coreldraw圖形圖像處理軟件對(duì)圖標(biāo)圖片處理，得到面積和像素均為48px*48px的png格式的圖標(biāo)圖片，將png格式的圖標(biāo)圖片放入面積為.1024px*768px的白色背景圖片中央，生成文件格式為bmp的圖標(biāo)圖片， 步驟2獲取圖標(biāo)圖片的用戶計(jì)算機(jī)功能控制命令: 步驟2.1將事件相關(guān)電位ERP腦電設(shè)備與裝載E-prime軟件的測(cè)試用計(jì)算機(jī)連接，以實(shí)現(xiàn)事件相關(guān)電位ERP腦電設(shè)備與裝載E-prime軟件的測(cè)試用計(jì)算機(jī)的通信， 步驟2.2選取20名被試者，每名被試者對(duì)張圖標(biāo)圖片均進(jìn)行10次重復(fù)測(cè)試，每張圖標(biāo)圖片獲得200個(gè)測(cè)試樣本并將200個(gè)測(cè)試樣本組成一個(gè)群組，所述測(cè)試的過程為:將一張測(cè)試圖像呈現(xiàn)在被試者的面前并對(duì)被試者的視覺形成刺激，使用佩戴在被試者頭上的由事件相關(guān)電位ERP腦電設(shè)備中配置的電極帽以及Scan軟件采集被試者對(duì)所述一張測(cè)試圖像的刺激時(shí)段的原始腦電信號(hào)且采樣率為500赫茲，遍歷所有單張測(cè)試圖像，得到被試者對(duì)所有測(cè)試圖像的刺激時(shí)段的原始腦電信號(hào)，所述一張測(cè)試圖像的呈現(xiàn)包括提示階段、圖標(biāo)圖片視覺刺激呈現(xiàn)階段及空屏階段，在提示階段，屏幕中央將呈現(xiàn)面積為32px*32px黑色十字叉，呈現(xiàn)1000ms后消失，該階段被試者需集中注意力；在圖標(biāo)圖片視覺刺激呈現(xiàn)階段，屏幕中央將呈現(xiàn)面積為48px*48px的任一單張圖標(biāo)圖片，被試者仔細(xì)觀察任一單張圖標(biāo)圖片，呈現(xiàn)1000ms后消失；在空屏階段，屏幕呈現(xiàn)白色空屏，呈現(xiàn)時(shí)間1000ms，以消除被試者的視覺殘留， 步驟2.3用Scan軟件對(duì)原始腦電信號(hào)離線分析，所述離線分析包括對(duì)各原始腦電信號(hào)進(jìn)行預(yù)處理和各群組疊加平均，獲取各圖標(biāo)圖片的群組平均腦電信號(hào)@@為圖標(biāo)圖片的群組平均腦電信號(hào)的表達(dá)通式，表示第i個(gè)圖標(biāo)圖片的群組平均腦電信號(hào)， 所述預(yù)處理是分別對(duì)各個(gè)原始腦電信號(hào)進(jìn)行預(yù)覽和去除眼電偽跡，再對(duì)原始腦電信號(hào)進(jìn)行分段提取，得到第i圖標(biāo)圖片視覺刺激原始腦電信號(hào)yi(t)，t為采樣時(shí)間點(diǎn)且t =1000+2m，m為圖標(biāo)圖片視覺刺激原始腦電信號(hào)的采樣個(gè)數(shù)且m為[1，500]區(qū)間上的整數(shù)，最后對(duì)圖標(biāo)圖片視覺刺激原始腦電信號(hào)yjt)進(jìn)行基線矯正及去除偽跡，所述群組疊加平均是分別對(duì)20名被試者的10次測(cè)試所得的去除偽跡后的圖標(biāo)圖片視覺刺激原始腦電信號(hào)Yi (t)進(jìn)行疊加平均得到 步驟2.4分別對(duì)各圖標(biāo)圖片的群組平均腦電信號(hào);^進(jìn)行時(shí)域和頻域特征的提取，所述的時(shí)域特征7包括均值E、絕對(duì)平均幅值 方差5、均方根值f峰峰值F波形因子&、峭度因子f和偏斜度因子I，所述的頻域特征g包括頻譜平均振幅g、頻譜方差Sn、第一頻譜特征頻率4和第二頻譜特征頻率-S1i4， 步驟2.5分 別將已提取的各圖標(biāo)圖片的群組平均腦電信號(hào)的時(shí)域特征值和頻域特征值，送入微處理器處理，轉(zhuǎn)換為用戶計(jì)算機(jī)可識(shí)別的數(shù)字信號(hào)，并通過USB或其它通用輸入端口送入用戶計(jì)算機(jī)的控制信號(hào)輸入端，作為相應(yīng)圖標(biāo)圖片的用戶計(jì)算機(jī)的功能控制命令，存儲(chǔ)于用戶計(jì)算機(jī)的圖標(biāo)激發(fā)命令模塊，步驟3目標(biāo)圖標(biāo)圖片的腦電信號(hào)的時(shí)域和頻域特征提取:將事件相關(guān)電位ERP腦電設(shè)備與用戶計(jì)算機(jī)連接，用戶佩戴由事件相關(guān)電位ERP腦電設(shè)備中配置的電極帽，觀察既定的目標(biāo)圖標(biāo)圖片，使既定的目標(biāo)圖標(biāo)圖片對(duì)用戶產(chǎn)生1000ms的刺激，使用事件相關(guān)電位ERP腦電設(shè)備中配置的Scan軟件采集受刺激時(shí)的用戶的原始腦電信號(hào)且采樣率為500赫茲，對(duì)所采集到的受刺激時(shí)的用戶的原始腦電信號(hào)進(jìn)行預(yù)覽、去除眼電偽跡、基線矯正及去除偽跡，再對(duì)去除偽跡后的腦電信號(hào)yi' (t’)進(jìn)行時(shí)域特征1和頻域特征提取，所述yi' (f)為去除偽跡后的受既定的目標(biāo)圖標(biāo)圖片刺激時(shí)的腦電信號(hào)的表達(dá)通式，表示第i個(gè)圖標(biāo)圖片所對(duì)應(yīng)的既定的目標(biāo)圖標(biāo)圖片的腦電信號(hào)，t’為觀察既定的目標(biāo)圖標(biāo)圖片時(shí)腦電采樣時(shí)間點(diǎn)，既定的目標(biāo)圖標(biāo)圖片刺激開始為計(jì)時(shí)零點(diǎn)，且t’ =2n其中η為既定的目標(biāo)圖標(biāo)圖片刺激原始腦電信號(hào)的采樣個(gè)數(shù)且n為[1，500]區(qū)間上的整數(shù)，所述的時(shí)域特征Yi包括均值Yi1、絕對(duì)平均幅值Yi2、方差Yi3、均方根值Yi4、峰峰值Yi5、波形因子Yi6、峭度因子Yi7和偏斜度因子Yi8，所述的頻域特征Si包括頻譜平均振幅Sn、頻譜方差Si2、第一頻譜特征頻率Si3和第二頻譜特征頻率Si4，步驟4相似度計(jì)算和激發(fā)目標(biāo)圖標(biāo)圖片的控制指令:計(jì)算去除偽跡后的受既定的目標(biāo)圖標(biāo)圖片刺激時(shí)的腦電信號(hào)的時(shí)域特征1與相對(duì)應(yīng)的圖標(biāo)圖片的群組平均腦電信號(hào)的時(shí)域特征$的時(shí)域相似度A，再計(jì)算去除偽跡后的受既定的目標(biāo)圖標(biāo)圖片刺激時(shí)的腦電信號(hào)的頻域特征&與相對(duì)應(yīng)的圖標(biāo)圖片的群組平均腦電信號(hào)的頻域特征$的頻域相似度B，若時(shí)域相似度A及頻域相似度B都大于90%，則激發(fā)既定目標(biāo)圖標(biāo)圖片的控制指令，實(shí)現(xiàn)圖標(biāo)誘發(fā)腦電信號(hào)對(duì)界面的控制，所述的i指第i個(gè)圖標(biāo)圖片。
2.如權(quán)利要求1所述的基于圖標(biāo)腦電控制的數(shù)字界面交互方法，其特征在于，所述的功能圖標(biāo)圖片為關(guān)閉圖標(biāo)圖片、保存圖標(biāo)圖片、撤消圖標(biāo)圖片、如進(jìn)圖標(biāo)圖片、放大圖標(biāo)圖片、縮小圖標(biāo)圖片、選擇圖標(biāo)圖片、到切圖標(biāo)圖片、最大化圖標(biāo)圖片或最小化圖標(biāo)圖片。
3.如權(quán)利要求1所述的基于圖標(biāo)腦電控制的數(shù)字界面交互方法，其特征在于，所述第i個(gè)圖標(biāo)圖片的群組平均腦電信號(hào)yi(t)的時(shí)域特征Yi中的均值YA為:
4.如權(quán)利要求1所述的基于圖標(biāo)腦電控制的數(shù)字界面交互方法，其特征在于，所述第i個(gè)圖標(biāo)圖片的群組平均腦電信號(hào)Yi(t)的頻域特征的提取方法如下:首先，分別對(duì)圖標(biāo)圖片的群組平均腦電信號(hào)Yi(t)進(jìn)行傅立葉變換，得到如下Yi(t)的頻譜函數(shù)
5.如權(quán)利要求1所述的基于圖標(biāo)腦電控制的數(shù)字界面交互方法，其特征在于， 所述第i個(gè)圖標(biāo)圖片所對(duì)應(yīng)的既定的目標(biāo)圖標(biāo)圖片的腦電信號(hào)y/ (f)的時(shí)域特征Yi

6.如權(quán)利要求1所述的基于圖標(biāo)腦電控制的數(shù)字界面交互方法，其特征在于，所述第i個(gè)圖標(biāo)圖片所對(duì)應(yīng)的既定的目標(biāo)圖標(biāo)圖片的腦電信號(hào)y/ (f)的頻域特征的提取方法如下:首先，分別對(duì)既定的目標(biāo)圖標(biāo)圖片的腦電信號(hào)y/ (f)進(jìn)行傅立葉變換，得到y(tǒng)/ (f)的頻譜函數(shù)Si (k’):
7.如權(quán)利要求1所述的基于圖標(biāo)腦電控制的數(shù)字界面交互方法，其特征在于， 所述第i個(gè)圖標(biāo)圖片的既定的目標(biāo)圖標(biāo)圖片的腦電信號(hào)與相應(yīng)圖標(biāo)圖片群組平均腦電信號(hào)的時(shí)域相似度A的計(jì)算過程如下:
其中4
【文檔編號(hào)】A61B5/0484GK103699230SQ201410016943
【公開日】2014年4月2日 申請(qǐng)日期:2014年1月14日 優(yōu)先權(quán)日:2014年1月14日
【發(fā)明者】薛澄岐, 牛亞峰, 王海燕, 李晶, 陳默 申請(qǐng)人:東南大學(xué)