本發(fā)明涉及腦科學技術和計算機技術，更具體地說，本發(fā)明涉及腦機接口技術與字符輸入技術。

背景技術：

人腦通過神經肌肉通道與外界通信或控制外部環(huán)境，而許多疾病可能破壞這些神經肌肉通道。例如，肌肉萎縮性側索硬化、腦干中風、脊髓損傷、腦癱、帕金森氏、多種硬化病以及其他許多疾病會損害控制肌肉的神經通道或損害肌肉本身。那些受到這些疾病嚴重影響的人可能會失去自主的肌肉控制，因而產生運動功能障礙，以至于不能與外界進行通信或控制外部設備。

腦機接口(brain-computerinterface,bci)監(jiān)測用戶的腦活動，解讀用戶的意圖，并將用戶的意圖轉換為外部命令。作為一種新的、非肌肉的通信通道，bci能夠使人直接通過大腦來表達思想或操縱設備，而不需要借助語言或肢體動作。對于嚴重的運動殘疾患者，bci能夠將他們的意圖傳送到外部裝置，比如計算機、家用電器、護理設備以及神經假體等，從而改進他們的生活質量。

傳統(tǒng)的字符輸入方法，無論是基于鍵盤或鼠標，還是基于手寫或手勢，都需要健全的手指才能實現(xiàn)。對于那些遭受運動功能障礙以至于上肢殘疾的患者，這些方法都無能為力。為了解放雙手，實現(xiàn)不依賴于人手的字符輸入，人們發(fā)明了基于語音技術、視線跟蹤技術以及腦機接口技術的字符輸入方法。語音技術的局限是易受環(huán)境噪聲的影響，而視線跟蹤技術的缺點是視線點定位精度低。另外，視線跟蹤系統(tǒng)無法對用戶操作時有意和無意的目標選擇活動進行有效的區(qū)分，限制了這類系統(tǒng)的實際應用。

不同的腦電(electroencephalography,eeg)信號分量，例如慢皮層電位、運動想象產生的mu/beta節(jié)律、事件相關p300電位、以及視覺誘發(fā)電位(visualevokedpotential,vep)，都可以用作bci的特征信號。其中，基于p300電位的bci能夠提供足夠多的控制命令，實現(xiàn)一個控制命令輸入一個字符，因而大多數(shù)現(xiàn)有的腦拼寫器(mentalspeller)使用p300電位作為bci的特征信號。然而，基于p300電位的bci存在兩個固有的缺點：一是當需輸入的字符數(shù)較多時，輸入一個字符所需要的時間較長，導致低的字符輸入速度；二是缺乏時間上和用戶之間的穩(wěn)健性，導致低的字符輸入正確率。其中第一個缺點可通過其他技術進行彌補，而第二個缺點是難以克服的，使基于p300的bci在實際應用中受到限制。在這些bci實現(xiàn)方法中，基于vep的bci由于具有如下四個優(yōu)點，因而獲得了越來越多的注意和重視：1)高的信息傳輸率；2)幾乎不需要用戶訓練；3)低的用戶變化率；4)易于使用。

在一個基于vep的bci中，用戶注視由不同序列調制的多個視覺刺激之一。通過分析用戶大腦產生的vep，用戶注視的視覺刺激能夠被識別為一個接口的命令。在這種類型的bci系統(tǒng)中，刺激序列設計起著重要的作用。根據(jù)刺激序列的不同，veps可以分為時間調制的(timemodulated)vep(t-vep)、頻率調制的(frequencymodulated)vep(f-vep)以及偽隨機編碼調制的(pseudorandomcodemodulated)vep(c-vep)三種類型。在基于f-vep的bci中，每個視覺刺激由不同頻率的信號進行調制。當視覺刺激的重復頻率較低時，兩次連續(xù)刺激引起的響應不會產生交迭，每次刺激產生的響應獨立于以前的刺激，這種響應稱為暫態(tài)vep(transientvep,tvep)；當視覺刺激的重復頻率高于6hz時，連續(xù)幾次刺激誘發(fā)的響應會迭加在一起，使大腦皮層神經元發(fā)放與刺激頻率同步，在枕區(qū)和頂區(qū)腦電活動的節(jié)律明顯增強，形成一種穩(wěn)定的響應，稱為穩(wěn)態(tài)vep(steady-statevep,ssvep)。ssvep具有與視覺刺激頻率相同的基波頻率及其諧波，其基波頻率可用特定的信號處理算法進行檢測。

視覺刺激可以使用發(fā)光二極管(light-emittingdiode,led)或計算機屏幕來呈現(xiàn)。當使用計算機顯示器來呈現(xiàn)視覺刺激時，視覺刺激的強度、顏色、模式、大小以及位置等刺激參數(shù)可以靈活地進行配置。由于受到屏幕刷新率和諧波頻率的制約，傳統(tǒng)的基于計算機lcd顯示器的視覺刺激器最多只能產生5個基于頻率編碼的刺激頻率(即控制命令)。最新的研究進展表明，通過近似一個刺激閃爍頻率，可以突破計算機屏幕產生的刺激頻率的數(shù)目，從而可以呈現(xiàn)低于屏幕刷新率一半的任何頻率，為設計并實現(xiàn)基于ssvepbci的復雜應用奠定了基礎和提供了可能。

字符輸入是bci技術最重要的應用之一。對上肢運動障礙患者而言，不能進行字符輸入，就不能使用手機和電腦等現(xiàn)代電子設備，更不可能使用電話、短信、微信、qq以及互聯(lián)網等技術與他人進行通信和交流，嚴重影響他們的生活質量。字符輸入一般有兩種方法，即直接書寫法和字符選擇法?，F(xiàn)有的基于ssvepbci的字符輸入技術，都是基于對字符表中的字符進行選擇。本發(fā)明通過在計算機屏幕上呈現(xiàn)9個不同頻率的視覺刺激，實現(xiàn)一種基于自然書寫的字符輸入方法及系統(tǒng)。

目前存在的利用bci實現(xiàn)字符輸入的主要技術是基于p300的bci技術、基于視線跟蹤和p300的技術，基于ssvep和p300的混合bci技術、以及基于ssvep的bci技術。例如，中國專利“基于p300腦電電位的中文輸入bci系統(tǒng)(200710164418.6)”，將漢字按五筆字型拆分為5個基本筆劃，通過檢測p300電位輸入每個漢字所需筆劃，實現(xiàn)中文文字輸入；中國專利“一種基于視線跟蹤和p300腦電電位的字符輸入裝置(200910080852.5)”，以視線點為中心限定需輸入字符所在的區(qū)域，在限定區(qū)域通過檢測p300電位實現(xiàn)字符的輸入；中國專利“采用腦電時頻成分雙重定位范式的快速字符輸入方法(201210013087.7)”，將可輸入的字符按功能分為4個區(qū)域，通過檢測ssvep電位選擇字符所在的分區(qū)，在選定的區(qū)域內通過檢測p300電位進行字符輸入；中國專利“一種基于穩(wěn)態(tài)視覺誘發(fā)電位腦機接口的字符輸入方法及系統(tǒng)(201410171291.0)”，采用一個兩步的判決樹字符輸入規(guī)則，使用少量的led按鍵實現(xiàn)較多字符的輸入，并且輸入一個字符或功能命令最多需要兩個選擇。這些技術除了第一個實現(xiàn)漢字輸入外，其它都是采用字符選擇法實現(xiàn)字符的輸入。

技術實現(xiàn)要素：

本發(fā)明的目的是提供一種基于視覺腦機接口的自然書寫字符輸入方法及系統(tǒng)，其特點是自然書寫輸入、輸入正確率高、系統(tǒng)穩(wěn)健性好、不需要用戶訓練。

本發(fā)明是通過以下技術方案實現(xiàn)的。

本發(fā)明所述的基于視覺腦機接口的自然書寫字符輸入方法，其特征在于，采用可變幀數(shù)的視覺刺激產生方法，在計算機屏幕上呈現(xiàn)9個不同頻率的圓形刺激，將它們按照3×3的矩陣排列，通過在左邊6個刺激圓之間畫線輸入字符，使用右邊3個刺激圓對字符輸入操作進行控制，從而實現(xiàn)基于自然書寫風格的字符輸入。

所述的可變幀數(shù)的視覺刺激產生方法是指，對于一個特定的刺激頻率，使用正弦信號產生函數(shù)計算該頻率對應的二進制編碼，由該編碼調制產生的視覺刺激，其閃爍頻率不一定是固定的，而是可變的。

所述的通過在左邊6個刺激圓之間畫線輸入字符是指，根據(jù)字符的形狀和筆劃，在兩個刺激圓之間畫線構造字符，而畫線本身可通過注視這兩個刺激圓來實現(xiàn)。

所述的使用右邊3個刺激圓對字符輸入操作進行控制是指，使用‘delete’刺激圓命令，刪除前一個錯誤的操作；使用‘enter’刺激圓命令將一個書寫好的字符送到文本行顯示；使用‘s/l’刺激圓命令將當前輸入到文本行的字符進行大寫/小寫轉換。

字符輸入的過程是：

用戶先后注視兩個刺激圓，系統(tǒng)正確識別用戶的命令后，自動在這兩個刺激圓之間繪制一條線段。根據(jù)字符的筆畫和書寫順序，用戶一步一步地繪制字符。當字符繪制完成后，用戶注視‘enter’刺激圓，將構造的字符輸送到文本區(qū)顯示。通過注視‘s/l’刺激圓，用戶可將當前輸入文本區(qū)的字符進行大/小寫轉換。在字符輸入過程中，如果出現(xiàn)用戶操作錯誤或系統(tǒng)識別錯誤，通過注視‘delete’刺激圓可刪除本次操作。

本發(fā)明所述的基于視覺腦機接口的自然書寫字符輸入系統(tǒng)，包括一個基于計算機顯示器的視覺刺激器、一個腦電采集平臺、一個pc實時處理系統(tǒng)和一個字符輸入接口，pc實時處理系統(tǒng)分別與視覺刺激器、腦電采集平臺、字符輸入接口連接。其中，視覺刺激器用于產生不同頻率的視覺刺激，對應于不同的命令；腦電采集平臺用于實時采集ssvep信號，經過放大、濾波與模數(shù)轉換后，通過數(shù)據(jù)線輸入pc計算機；pc實時處理系統(tǒng)用于對接收的ssvep信號進行實時處理，檢測ssvep信號的頻率，并將其代表的命令傳送到字符輸入接口；字符輸入接口根據(jù)命令的類型做相應的處理，并將當前書寫的字符傳送到文本區(qū)顯示。

1、所述的基于計算機顯示器的視覺刺激器由軟件編程實現(xiàn)，用于產生9個不同頻率的圓形視覺刺激。

其中，所述的計算機顯示器的屏幕大小為24英寸，屏幕分辨率為1920×1080象素，屏幕刷新率為60hz。

其中，所述的9個不同頻率在8～15hz的α頻帶中選擇，最小頻率間隔為0.5hz。每個刺激頻率fi(i＝1,2,…,9)對應的刺激序列由正弦信號抽樣產生，計算公式如下

式中j為幀指針，r為屏幕刷新率。

其中，9個圓形刺激的直徑為4cm，相互之間的橫向距離為5cm，縱向距離為3cm。刺激序列的動態(tài)范圍為0～1，這里0表示黑(即不發(fā)光)，1表示最亮(即發(fā)白光)。

其中，9個圓形刺激按功能分為兩組：左邊6個刺激圓為‘書寫’按鍵，用于書寫字符；右邊3個刺激圓為‘控制’按鍵，用于控制字符輸入。

2、所述腦電采集平臺包括電極帽與腦電放大器，電極帽用于采集腦電信號，腦電放大器用于對采集的腦電信號進行放大、濾波與模數(shù)轉換。電極帽包括由9個電極組成的ssvep信號記錄通道，位于大腦枕區(qū)和頂區(qū)。按照國際10/20系統(tǒng)放置標準，這9個信號電極分別位于p3、pz、p4、po7、poz、po8、o1、oz與o2，地電極位于fz，參考電極位于左耳垂。腦電放大器的放大倍數(shù)約為20000倍，濾波頻帶為0.01～100hz，模數(shù)轉換抽樣率為1000hz。

3、所述pc實時處理系統(tǒng)執(zhí)行系統(tǒng)初始化、視覺刺激器啟動、數(shù)據(jù)采集控制、數(shù)據(jù)接收與保存、數(shù)字信號處理、以及控制命令輸出等操作。pc實時處理系統(tǒng)具有兩個主要功能：一是對整個系統(tǒng)的工作狀態(tài)進行控制，二是對腦電數(shù)據(jù)進行實時處理，識別用戶的操作命令。系統(tǒng)控制軟件基于matlab環(huán)境開發(fā)，刺激程序使用心理學工具箱ptb3.0+實現(xiàn)。數(shù)字信號處理程序由matlab語言編寫，通過應用程序接口(applicationprograminterface,api)由系統(tǒng)控制程序調用。腦電放大器與計算機之間的數(shù)據(jù)傳輸遵循tcp/ip協(xié)議。刺激程序產生的事件觸發(fā)信號從計算機并口輸入腦電放大器，并由其事件通道進行記錄，用于同步eeg數(shù)據(jù)。

其中，數(shù)字信號處理是指使用專門的信號處理算法，對當前記錄的一段腦電信號進行實時處理，檢測ssvep信號并識別其對應的頻率。本發(fā)明提供的字符輸入系統(tǒng)使用濾波器組典型相關分析(filterbankcanonicalcorrelationanalysis,fbcca)算法對ssvep信號的頻率進行檢測。該算法包括以下三個步驟：

1)對ssvep信號進行子帶濾波。將頻帶8hz～88hz分解為n個子帶，這些子帶的頻率范圍為n×8hz～88hz,n＝1,2,…n。設計一個包括n個子帶濾波器的濾波器組，對原始的ssvep信號進行子帶濾波。在本系統(tǒng)中，子帶濾波器為零相位chebishev類型i無限沖擊響應(iir)濾波器，使用matlab中的filtfilt函數(shù)實現(xiàn)。

2)對每個子帶信號進行cca分析。典型相關分析(canonicalcorrelationanalysis,cca)是一種測量兩個多維變量之間隱含相關的統(tǒng)計方法。假設兩個多維變量為x與y，它們的線性結合為x＝x^twx與y＝y(tǒng)^twy，cca算法尋找權向量wx與wy，通過解下面的優(yōu)化問題，使x與y之間的相關最大化

ρc的最大值稱為最大典型相關。在本系統(tǒng)的頻率檢測中，x為多通道子帶ssvep信號，而y為正弦與余弦構成的參考信號，用公式表示如下

yf＝[sin(2πft),cos(2πft),…,sin(2πnhft),cos(2πnhft)]^t(3)

式中f為刺激頻率，nh為諧波次數(shù)。對于每一個刺激頻率，將ssvep信號與該刺激頻率的參考信號做cca分析，得到的權向量wx與wy作為空域濾波器，分別對x與yf進行空域濾波，再計算這兩個空域濾波后的信號之間的pearson相關(即普通相關)系數(shù)ρ，作為識別ssvep信號頻率的特征信號。

3)目標識別。在對ssvep信號進行子帶濾波后，將cca算法應用于每一個子帶信號。對于每個刺激頻率fk(k＝1,2,…,9)，計算每個子帶信號分量xsbn(n＝1,2,…n)與每個刺激頻率的參考信號之間的pearson相關系數(shù)。對于第k個刺激頻率的參考信號，將n個子帶的pearson相關系數(shù)連接成一個列向量ρk，如下式所示

式中ρ(x,y)表示x與y之間的pearson相關系數(shù)。將ρk各個分量(即)的平方加權和作為識別ssvep信號頻率(即刺激目標)的特征信號，如下式所示

式中n表示子帶指針。子帶pearson相關系數(shù)平方的權系數(shù)w(n)定義如下

w(n)＝n^-a+b,n∈[1,n](6)

式中a與b是用于優(yōu)化分類性能的兩個常數(shù)，分別在[0,2]與[0,1]中選擇，最優(yōu)值可在離線數(shù)據(jù)分析中使用網搜的方法確定。最后，ssvep信號的頻率由所有的來確定，具有最大值的參考信號的頻率fk被判決為ssvep信號的頻率。

4、所述字符輸入接口接收pc實時處理系統(tǒng)發(fā)送的命令，根據(jù)命令的類型進行相應的處理，包括以下兩種情況：

1)如果接收的是字符‘書寫’命令，則首先判斷是第一個‘書寫’命令還是第二個‘書寫’命令。若是第一個‘書寫’命令，則保存用戶注視的刺激圓的位置信息，等待接收第二個‘書寫’命令；若是第二個‘書寫’命令，則保存用戶注視的刺激圓的位置信息，并在兩個刺激圓之間繪制一條綠色的直線；

2)如果接收的是字符‘控制’命令，則根據(jù)控制命令的功能做相應的處理。若是‘delete(刪除)’命令，則刪除前一個書寫或控制操作；若是‘s/l(大寫/小寫轉換)’命令，則將當前輸入到文本行的字符進行大小寫轉換；若是‘enter(回車)’命令，則將已書寫(或繪制)好的字符輸入到文本區(qū)顯示。

本發(fā)明的基本思想是，基于人類自然書寫的習慣，通過在兩個刺激圓之間畫線的方法，一步一步地將要輸入的字符繪制出來，實現(xiàn)基于視覺注意的字符輸入。由于ssvep信號的穩(wěn)定性好，這種字符輸入系統(tǒng)在確保高輸入正確率的前提下，具有高的穩(wěn)健性和可靠性，而且?guī)缀醪恍枰脩粲柧?，使該字符輸入系統(tǒng)能夠作為一個實際應用系統(tǒng)，服務于廣大的上肢運動障礙患者。

與現(xiàn)有技術相比，本發(fā)明具有以下有益的效果：

1)本發(fā)明提供的字符輸入系統(tǒng)以ssvep信號作為bci系統(tǒng)的輸入信號，具有高的字符輸入準確率、以及在時間上和用戶之間的高穩(wěn)健性；

2)本發(fā)明提供的字符輸入系統(tǒng)采用自然書寫的方法輸入字符，符合人們的書寫習慣，易于被上肢運動障礙患者接受；

3)本發(fā)明提供的字符輸入系統(tǒng)工作穩(wěn)定，用戶幾乎不需要訓練就能使用。

附圖說明

圖1是本發(fā)明基于視覺腦機接口的自然書寫字符輸入系統(tǒng)原理圖。

圖2是本發(fā)明九個圓形視覺刺激在顯示器屏幕上排列示意圖。

圖3是本發(fā)明九個不同頻率視覺刺激信號的刺激序列波形圖。

圖4是本發(fā)明自然書寫字符輸入系統(tǒng)圖形用戶接口示意圖。

圖5是本發(fā)明可直接輸入的字符集合及輸入筆劃示意圖。

圖6是本發(fā)明自然書寫字符輸入系統(tǒng)腦電記錄電極分布圖。

圖7是本發(fā)明自然書寫字符輸入系統(tǒng)實時處理程序流程圖。

圖8是本發(fā)明刺激目標的頻率識別算法fbcca原理圖。

圖9是本發(fā)明字符輸入系統(tǒng)字符輸入接口程序流程圖。

具體實施方式

為使本發(fā)明的目的、技術方案及優(yōu)點更加清楚、明確，以下參照附圖并舉實施例進一步詳細說明。應當理解的是，本發(fā)明的應用不限于下述的舉例，對本領域的專業(yè)人員來說，可以根據(jù)上述說明加以改進或變換，所有這些改進和變換都屬于本發(fā)明所附權利要求的保護范圍。

如圖1所示，基于視覺腦機接口的自然書寫字符輸入系統(tǒng)包括一個基于計算機顯示器的視覺刺激器、一個腦電采集平臺、一個pc實時處理系統(tǒng)和一個字符輸入接口。其中，視覺刺激器用于產生不同頻率的視覺刺激，對應于不同的命令；腦電采集平臺用于實時采集ssvep信號，經過放大、濾波與模數(shù)轉換后，通過數(shù)據(jù)線輸入pc計算機；pc實時處理系統(tǒng)用于對接收的ssvep信號進行實時處理，檢測ssvep信號的頻率，識別該頻率對應的刺激圓，并將其代表的命令傳送到字符輸入接口；字符輸入接口用于根據(jù)命令的類型做相應的處理，并將欲輸入的字符顯示在文本輸入行。

如圖2所示，基于計算機顯示器的視覺刺激器包括9個圓形視覺刺激，它們的直徑為4cm，相互之間的橫向距離為5cm、縱向距離為3cm。這些刺激目標的發(fā)光頻率分布于頻帶8hz～12hz，頻率之間的間隔為0.5hz。當用戶注視某個刺激圓時，在其大腦枕區(qū)會產生ssvep信號，其基波頻率與刺激頻率相同。通過檢測ssvep信號的頻率，就可識別用戶當前注視的刺激圓，從而判斷用戶想要執(zhí)行命令。當某個刺激圓被系統(tǒng)識別后，該刺激圓的圓周會變成紅色，提示用戶當前選擇的刺激目標(即系統(tǒng)將要執(zhí)行的命令)。

如圖3所示為9個不同刺激頻率產生的刺激序列波形，它們的幅度隨著屏幕刷新在1與0之間呈周期性(10hz與12hz)或非周期性(其它頻率)變化，產生的視覺刺激在最亮(對應幅度為1)與黑(對應幅度為0)之間變化。這些刺激頻率fi(i＝1,2,…,9)對應的刺激序列由抽樣的正弦信號產生，計算公式如下

式中j為幀指針，r為屏幕刷新率。

如圖4所示是本發(fā)明自然書寫字符輸入系統(tǒng)圖形用戶接口，其中分布了9個圓形刺激，相當于9個虛擬按鍵命令。這9個圓形刺激分為兩組，左邊6個刺激圓為‘書寫’按鍵，用于書寫(或繪制)字符；右邊3個刺激圓為控制按鍵，用于控制字符輸入。每個按鍵通過用戶的視覺注視進行選擇，完成一次選擇的時間為1.25秒，用于目光轉移的時間為0.5秒。基于人們的自然書寫習慣，根據(jù)字符的筆劃及書寫順序，字符輸入通過在兩個刺激圓之間畫線來完成，而畫線操作由用戶對這兩個刺激圓進行選擇來實現(xiàn)。當用戶完成了兩個刺激圓的正確選擇后，系統(tǒng)會在這兩個刺激圓之間繪制一條綠色的線段，同時清除這兩個刺激圓上的紅色標記，等待用戶繪制另一條線段。

當一個字符的所有線段書寫完后，用戶可用‘enter’按鍵將該字符顯示在文本輸入?yún)^(qū)，同時清除所有刺激圓之間的線段，等待輸入下一個字符；在字符輸入過程中，根據(jù)字符輸入的容易程度，用戶可選擇輸入大寫或小寫字符，然后通過‘s/l’鍵將已輸入的字符轉換為想要的小寫或大寫字符；在書寫字符或執(zhí)行控制命令過程中，如果用戶錯誤地選擇了一個刺激命令(包括書寫命令和控制命令)或系統(tǒng)錯誤地識別了一個刺激目標，用戶可用‘delete’按鍵刪除本次操作。

如圖5所示是本發(fā)明可直接輸入的字符集合及輸入筆劃示意圖。圖中包括26個英文字母和10個數(shù)字。絕大多數(shù)英文字母具有大寫和小寫兩種類型。少量的字母只有大寫(k,l,m,p,t,v,w)或小寫(o,q)，可通過‘s/l’按鍵將大寫或小寫字符轉換為需要的類型。一些字母具有多種寫法(如大寫字母n、小寫字母c,n,i,o,r,s,u,x,z)，以方便用戶靈活書寫。三個大寫字符t，v與w，需要向右旋轉90度進行書寫。

如圖6所示，電極帽用于采集腦電信號，電極按照國際10/20系統(tǒng)放置。位于枕區(qū)的9個電極作為腦電信號記錄通道，它們位置分別為p3、pz、p4、po7、poz、po8、o1、oz、o2。地電極位于fz，而參考電極位于左耳垂。為保證電極與頭皮接觸良好，電極插孔中注入導電特性良好的導電膠，電極阻抗保持在10千歐以下。

受試者通過注視特定的刺激圓來表達操作意圖，相應的腦電信號經電極帽采集，再經腦電放大器放大、濾波和模數(shù)轉換后，傳輸?shù)絧c實時處理系統(tǒng)。腦電放大器的放大倍數(shù)約為20000倍，濾波頻帶為0.01～100hz，模數(shù)轉換抽樣率為1000hz。

如圖7所示，pc實時處理系統(tǒng)在計算機中通過軟件來實現(xiàn)，其處理步驟依次為系統(tǒng)初始化、視覺刺激器啟動、數(shù)據(jù)采集控制、數(shù)據(jù)接收與保存、數(shù)字信號處理以及控制命令輸出。pc實時處理系統(tǒng)具有兩個主要功能：一是對整個系統(tǒng)的工作狀態(tài)進行控制，二是對腦電數(shù)據(jù)進行實時處理，識別用戶的操作命令。系統(tǒng)控制軟件基于matlab環(huán)境開發(fā)，刺激程序使用心理學工具箱ptb3.0+實現(xiàn)。數(shù)字信號處理程序由matlab語言編寫，由系統(tǒng)控制程序通過應用程序接口(api)調用。腦電放大器與計算機之間的數(shù)據(jù)傳輸遵循tcp/ip協(xié)議。刺激程序產生的事件觸發(fā)信號從計算機并口輸入到腦電放大器，并由其事件通道進行記錄，用于同步eeg數(shù)據(jù)。

數(shù)字信號處理是指使用濾波器組典型相關分析(filterbankcanonicalcorrelationanalysis,fbcca)算法對數(shù)字化的腦電信號進行實時處理，檢測ssvep信號的頻率，將該頻率對應的刺激圓代表的命令輸入字符輸入接口。fbcca算法將原始的ssvep信號分解為許多不同帶寬的子帶信號，在各個子帶進行典型相關分析(cca)，并將各子帶的平方相關系數(shù)的加權和作為分類刺激頻率的特征信號。用于實時處理的腦電數(shù)據(jù)長度為1.25秒，用戶選擇目標時目光轉移的時間為0.5秒。

如圖8所示，使用fbcca算法識別ssvep信號頻率的具體步驟如下：

1)對ssvep信號進行子帶濾波。將頻帶8hz～88hz分解為n個子帶，這些子帶的頻率范圍為n×8hz～88hz,n＝1,2,…n。本實施例中，n＝7。設計一個包括n個子帶濾波器的濾波器組，對原始的ssvep信號進行子帶濾波。子帶濾波器為零相位chebishev類型i無限沖擊響應(iir)濾波器，使用matlab中的filtfilt函數(shù)實現(xiàn)。

2)對每個子帶信號進行cca分析。cca是一種測量兩個多維變量之間隱含相關的統(tǒng)計方法。假設兩個多維變量為x與y，它們的線性結合為x＝x^twx與y＝y(tǒng)^twy，cca算法尋找權向量wx與wy，通過解下面的優(yōu)化問題，使x與y之間的相關最大化

ρc的最大值稱為最大典型相關。在本系統(tǒng)的頻率檢測中，x為多通道子帶ssvep信號，而y為正弦與余弦構成的參考信號，用公式表示如下

yf＝[sin(2πft),cos(2πft),…,sin(2πnhft),cos(2πnhft)]^t(3)

式中f為刺激頻率，nh為諧波次數(shù)。本實施例中，nh＝5。對于每一個刺激頻率，將ssvep信號與該刺激頻率的參考信號做cca分析，得到的權向量wx與wy作為空域濾波器，分別對x與yf進行空域濾波，再計算空域濾波后這兩個信號之間的pearson相關(即普通相關)系數(shù)ρ，作為識別ssvep信號頻率的特征信號。

3)目標識別。在對ssvep信號進行子帶濾波后，將cca算法應用于每一個子帶信號。對于每個刺激頻率fk(k＝1,2,…,9)，計算每個子帶信號分量xsbn(n＝1,2,…n)與每個刺激頻率的參考信號之間的pearson相關系數(shù)。對于第k個刺激頻率的參考信號，將n個子帶的pearson相關系數(shù)連接成一個列向量ρk，如下式所示

式中ρ(x,y)表示x與y之間的pearson相關系數(shù)。將ρk各個分量(即)的平方加權和作為識別ssvep信號頻率(即刺激目標)的特征信號，如下式所示

式中n表示子帶指針。子帶pearson相關系數(shù)平方的權系數(shù)w(n)定義如下

w(n)＝n^-a+b,n∈[1,n](6)

式中a與b是用于優(yōu)化分類性能的兩個常數(shù)，分別在[0,2]與[0,1]中選擇。在本實施例中，a＝1.25,b＝0.25。最后，ssvep信號的頻率由所有的來確定，具有最大值的參考信號的頻率fk被判決為ssvep信號的頻率。

如圖9所示，字符輸入接口在計算機中由軟件實現(xiàn)，用于接收pc實時處理系統(tǒng)發(fā)送的命令，并根據(jù)命令的類型進行相應的處理，包括以下兩種情況：

1)如果字符輸入接口接收的是書寫命令，則根據(jù)命令的次序做如下處理：

①如果是第1個書寫命令，則保存第1個刺激圓的位置信息，同時給其加上紅色提示標記，并將書寫刺激圓計數(shù)器加1后，返回等待接收新的命令；

②如果是第2個書寫命令，則保存第2個刺激圓的位置信息，同時給其加上紅色提示標記，并將書寫刺激圓計數(shù)器減1，在兩個有紅色標記的刺激圓之間畫一條綠色的直線。等待0.5秒后，清除兩個刺激圓上的紅色標記后返回。

2)如果字符輸入接口接收的是控制命令，則根據(jù)命令的類型做如下處理：

①如果是enter鍵命令，則將書寫的字符與字符表中的字符進行匹配。如果能匹配上某個字符，則將字符表中該字符對應的標準字符送文本輸入?yún)^(qū)顯示；如果不能匹配上任何字符，則返回等待接收新的命令；

②如果是delete鍵命令，則要判斷前一個命令的類型。如果是書寫命令，則清除該書寫命令對應刺激圓上的紅色標記，并根據(jù)書寫命令的次序，將書寫刺激圓計數(shù)器減1或加1；如果是控制命令，則取消前一個控制命令操作。

③如果是s/l鍵命令，則要判斷前一個命令的類型。如果是有效的enter鍵命令，則將當前輸入文本區(qū)的字符進行大寫/小寫轉換；如果不是有效的enter鍵命令，則不執(zhí)行任何操作，返回等待接收新的命令。