本發(fā)明涉及電位檢測，具體的是基于雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)的p300檢測方法及裝置。

背景技術(shù)：

1、腦機(jī)接口(brain-computer?interface，bci)建立了人類大腦和外部設(shè)備的直接通路，允許人們通過大腦活動在不需要任何動作的情況下直接與外部世界交流，提升了那些由于肌肉無力或其他運動障礙等原因無法使用傳統(tǒng)輸入設(shè)備的人的生活質(zhì)量。而事件相關(guān)電位(event?relatedpotential，erp)信號廣泛應(yīng)用于腦機(jī)接口領(lǐng)域；在眾多類型的erp信號中，p300事件相關(guān)電位表示人接收到目標(biāo)刺激后于300毫秒左右出現(xiàn)的正峰，在腦機(jī)接口中應(yīng)用最為廣泛。研究學(xué)者們指出，人在對一系列視覺刺激進(jìn)行觀察時，在觀察到目標(biāo)物體時會誘發(fā)p300事件相關(guān)電位。因此，準(zhǔn)確地識別eeg信號中的p300誘發(fā)電位是bci領(lǐng)域的重要關(guān)鍵技術(shù)。

技術(shù)實現(xiàn)思路

1、為解決上述背景技術(shù)中提到的不足，本發(fā)明的目的在于提供基于雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)的p300檢測方法及裝置。

2、第一方面，本發(fā)明的目的可以通過以下技術(shù)方案實現(xiàn)：基于雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)的p300檢測方法，方法包括以下步驟：

3、獲取若干p300事件相關(guān)電位腦電數(shù)據(jù)以及對應(yīng)的p300事件相關(guān)電位標(biāo)簽，對若干p300事件相關(guān)電位腦電數(shù)據(jù)進(jìn)行預(yù)處理，得到處理后的p300事件相關(guān)電位腦電數(shù)據(jù)；

4、將處理后的p300事件相關(guān)電位腦電數(shù)據(jù)和對應(yīng)的p300事件相關(guān)電位標(biāo)簽輸入至預(yù)先建立的雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)訓(xùn)練，得到訓(xùn)練后的雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)模型；

5、獲取待識別腦電樣本，將待識別腦電樣本輸入至訓(xùn)練后的雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)，輸出得到p300事件相關(guān)電位檢測結(jié)果。

6、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該方法還包括：所述若干p300事件相關(guān)電位腦電數(shù)據(jù)表示某一個腦電數(shù)據(jù)，c為腦電電極數(shù)，n為時間點數(shù)；

7、所述對應(yīng)的p300事件相關(guān)電位標(biāo)簽內(nèi)：0表示該腦電樣本中不包含p300事件相關(guān)電位，1表示該腦電樣本中包含p300事件相關(guān)電位。

8、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該方法還包括：所述對若干p300事件相關(guān)電位腦電數(shù)據(jù)進(jìn)行預(yù)處理的過程包括濾波和標(biāo)準(zhǔn)化，其中，對于若干p300事件相關(guān)電位腦電數(shù)據(jù)使用帶通濾波器進(jìn)行濾波，其中，所述帶通濾波器為4階巴特沃斯濾波器；

9、對于經(jīng)過帶通濾波處理后的腦電數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，得到處理后的p300事件相關(guān)電位腦電數(shù)據(jù)：

10、

11、其中xij是樣本x中第i個電極的第j個時間點，和σi是第i個電極的平均值和標(biāo)準(zhǔn)差。

12、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該方法還包括：所述預(yù)先建立的雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)模型包括：時空映射模塊、雙流圖卷積時空特征提取模塊、注意力時空特征融合模塊和結(jié)果預(yù)測模塊；

13、所述時空映射模塊用于將輸入的腦電數(shù)據(jù)維度變換為動態(tài)地學(xué)習(xí)到腦電信號時空維度間的相互耦合性，其中vs＝vt＝c，所述雙流圖卷積時空特征提取模塊用于分別提取腦電數(shù)據(jù)中的空間和時間信息，所述注意力時空特征融合模塊基于注意力機(jī)制，將雙流圖卷積時空特征提取模塊中兩條支路分別提取出的時間和空間特征進(jìn)行融合，得到高維度的時空特征，結(jié)果預(yù)測模塊用于獲取高維度的時空特征后，輸出是否包含p300事件相關(guān)電位的預(yù)測結(jié)果，作為p300事件相關(guān)電位檢測結(jié)果。

14、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該方法還包括：所述時空映射模塊由一個一維卷積單元和子空間映射層組成；

15、將輸入的腦電數(shù)據(jù)維度變換為的計算公式：

16、xm＝wtxcnnws+bst

17、其中表示一維卷積單元的輸出，和為可訓(xùn)練的參數(shù)。

18、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該方法還包括：所述雙流圖卷積時空特征提取模塊包含兩條并行的分支空間特征提取分支和時間特征提取分支，分別從腦電信號中提取空間和時間特征，其中空間特征提取分支由批歸一化層、空間圖卷積層、空間特征注意力層組成，選擇xm中的每一行作為空間圖卷積層的節(jié)點；時間特征提取分支由批歸一化層、時間圖卷積層、時間特征注意力層組成，選擇xm中的每一列作為時間圖卷積層的節(jié)點。

19、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該方法還包括：所述空間特征提取分支空間圖卷積層的鄰接矩陣在訓(xùn)練過程中動態(tài)更新，計算方式為：

20、as＝softmax(h(xm)h(xm)t)

21、其中h(?)表示tanh激活函數(shù)；空間圖卷積層利用k階多項式形式的圖濾波器在空間視角進(jìn)行圖卷積，計算方式為：

22、

23、其中，αk為多項式系數(shù)，為空間圖的對稱歸一化拉普拉斯矩陣，為k階濾波器，為維度變換矩陣，空間特征注意力層為空間圖卷積層輸出的特征的通道自適應(yīng)分配權(quán)重，在高度冗余的腦電信號中提取到任務(wù)相關(guān)的空間特征，計算方式為：

24、

25、其中和分別為將gs進(jìn)行平均池化和最大池化后的輸出，為可訓(xùn)練的參數(shù)，r是維度削減比例；

26、所述時間特征提取分支內(nèi)時間圖卷積層的鄰接矩陣在訓(xùn)練過程中動態(tài)更新，計算方式為：

27、at＝softmax(h(xm)th(xm))

28、其中h()表示tanh激活函數(shù)，時間圖卷積層利用k階多項式形式的圖濾波器在時間視角進(jìn)行圖卷積，計算方式為：

29、

30、其中，βk為多項式系數(shù)，為時間圖的對稱歸一化拉普拉斯矩陣，為k階濾波器，為維度變換矩陣，時間特征注意力層為時間圖卷積層輸出的特征的通道自適應(yīng)分配權(quán)重，在高度冗余的腦電信號中提取到任務(wù)相關(guān)的時間特征，計算方式為：

31、

32、其中和分別為將gt進(jìn)行平均池化和最大池化后的輸出，為可訓(xùn)練的參數(shù)，r是維度削減比例。

33、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該方法還包括：所述注意力時空特征融合模塊的計算方式為：

34、

35、fst＝o×vt+vs

36、其中qs＝fswas，而是可訓(xùn)練的參數(shù)，d＝out；kt＝ftwat，而是可訓(xùn)練的參數(shù)，計算得來的注意力分?jǐn)?shù)矩陣，是最終得到的時空特征，作為高維度的時空特征；

37、所述結(jié)果預(yù)測模塊由第一全連接層、第二全連接層組成。

38、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該方法還包括：所述預(yù)先建立的雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程所使用的損失函數(shù)為標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)，計算方式為：

39、

40、其中m為用于訓(xùn)練的腦電樣本總數(shù)，yic是樣本對應(yīng)的p300事件相關(guān)電位的真實標(biāo)簽，是雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)測結(jié)果。

41、第二方面，為了達(dá)到上述目的，本發(fā)明公開了基于雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)的p300檢測裝置，包括：

42、數(shù)據(jù)處理模塊，用于獲取若干p300事件相關(guān)電位腦電數(shù)據(jù)以及對應(yīng)的p300事件相關(guān)電位標(biāo)簽，對若干p300事件相關(guān)電位腦電數(shù)據(jù)進(jìn)行預(yù)處理，得到處理后的p300事件相關(guān)電位腦電數(shù)據(jù)；

43、模型訓(xùn)練模塊，用于將處理后的p300事件相關(guān)電位腦電數(shù)據(jù)和對應(yīng)的p300事件相關(guān)電位標(biāo)簽輸入至預(yù)先建立的雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)訓(xùn)練，得到訓(xùn)練后的雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)模型；

44、電位檢測模塊，用于獲取待識別腦電樣本，將待識別腦電樣本輸入至訓(xùn)練后的雙流時空圖卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)，輸出得到p300事件相關(guān)電位檢測結(jié)果。

45、本發(fā)明的有益效果：

46、本發(fā)明基于圖神經(jīng)網(wǎng)絡(luò)，可以更加高效準(zhǔn)確地捕捉腦電信號中復(fù)雜、互補的時間、空間信息，并且使用注意力機(jī)制將時間、空間信息進(jìn)行融合得到高維度的時空特征；本發(fā)明識別準(zhǔn)確率更高。