本發(fā)明屬于虛擬現(xiàn)實、人機交互領域，尤其涉及一種運動訓練評估方法及裝置。

背景技術：

現(xiàn)有的虛擬現(xiàn)實系統(tǒng)要求多模態(tài)的交互通道，其中，腦-機接口是一種很有發(fā)展?jié)摿Φ慕换ネǖ?。腦-機接口技術是一種不依賴大腦外圍神經和肌肉輸出通道的新型外部信息交換與控制技術。

目前，研究人員已經對融合視、聽覺反饋的虛擬現(xiàn)實腦-機接口技術開展了一系列研究。除了視、聽覺感知之外，觸覺感知作為虛擬現(xiàn)實系統(tǒng)的重要組成部分，也越來越受到更多學者的關注。通過引入觸覺反饋，將進一步提高基于虛擬現(xiàn)實的腦-機接口系統(tǒng)的可操作性。

針對現(xiàn)有的視、觸覺反饋的評估方法，傳統(tǒng)的問卷調查或行為測量等手段，雖然在以往研究中取得成功，但存在一定的局限性，主要是無法定量、準確地評估觸覺反饋是如何影響受試者運動訓練過程中的大腦活動。因此，目前有研究人員將測量并分析腦電信號作為一種定量評估觸覺反饋的手段。

然而，目前研究大都基于2d(二維)虛擬運動訓練場景，系統(tǒng)僅能提供平面信息。由于結合觸覺反饋的交互系統(tǒng)大部分應用于3d(三維)虛擬場景中，比如虛擬訓練系統(tǒng)、虛擬現(xiàn)實游戲等，在這些三維交互系統(tǒng)中深度信息必不可缺，僅在2d場景中對觸覺反饋進行評估遠遠不夠。

技術實現(xiàn)要素：

本發(fā)明實施例的目的在于提供一種運動訓練評估方法，旨在解決現(xiàn)有評估手段無法提供直觀、定量的運動訓練效果評價指標的問題。

本發(fā)明實施例是這樣實現(xiàn)的，一種運動訓練評估方法，包括：

腦-機接口系統(tǒng)利用虛擬現(xiàn)實中的觸覺仿真與交互反饋的方式，建立三維運動訓練場景；

通過檢測和分析受試者在所述三維運動訓練場景中進行運動訓練時的腦電信號變化，從而對交互系統(tǒng)中的觸覺反饋進行定量化評估。

本發(fā)明實施例的另一目的在于提供一種運動訓練評估裝置，包括：

融合模塊，用于利用虛擬現(xiàn)實中的觸覺仿真與交互反饋的方式，建立三維運動訓練場景；

評估模塊，用于通過檢測和分析受試者在所述三維運動訓練場景中進行運動訓練時的腦電信號變化，從而對交互系統(tǒng)中的觸覺反饋進行定量化評估。

在本發(fā)明實施例中，創(chuàng)建了基于三維可視化和觸覺反饋的腦-機接口系統(tǒng)，利用虛擬現(xiàn)實中的觸覺仿真與交互反饋技術建立三維運動訓練場景，為受試者提供更好的訓練學習體驗，通過檢測和分析受試者進行運動訓練時的腦電信號變化從而對交互系統(tǒng)中的觸覺反饋進行定量化評估。解決了現(xiàn)有評估手段無法提供直觀、定量的運動訓練效果評價指標的問題，能方便地應用于融合視/觸覺反饋的三維虛擬訓練系統(tǒng)中，彌補了諸如問卷調查或行為測量等現(xiàn)有評估手段的不足，提高了觸覺反饋評估的智能程度。

附圖說明

圖1是本發(fā)明實施例提供的運動訓練評估方法的實現(xiàn)流程圖；

圖2是本發(fā)明實施例提供的運動訓練評估方法步驟s102的實現(xiàn)流程圖；

圖3是本發(fā)明實施例提供的運動訓練評估系統(tǒng)較佳的系統(tǒng)框架圖；

圖4是本發(fā)明實施例提供的融合視、觸覺反饋的三維可視化場景較佳的樣例圖；

圖5是本發(fā)明實施例提供動訓練評估的實驗結果圖；

圖6是本發(fā)明實施例提供的運動訓練評估裝置的結構框圖。

具體實施方式

為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

應當理解，當在本說明書和所附權利要求書中使用時，術語“包括”和“包含”指示所描述特征、整體、步驟、操作、元素和/或組件的存在，但并不排除一個或多個其它特征、整體、步驟、操作、元素、組件和/或其集合的存在或添加。

還應當理解，在此本發(fā)明說明書中所使用的術語僅僅是出于描述特定實施例的目的而并不意在限制本發(fā)明。如在本發(fā)明說明書和所附權利要求書中所使用的那樣，除非上下文清楚地指明其它情況，否則單數形式的“一”、“一個”及“該”意在包括復數形式。

還應當進一步理解，在本發(fā)明說明書和所附權利要求書中使用的術語“和/或”是指相關聯(lián)列出的項中的一個或多個的任何組合以及所有可能組合，并且包括這些組合。

如在本說明書和所附權利要求書中所使用的那樣，術語“倘若”可以依據上下文被解釋為“當...時”或“一旦”或“響應于確定”或“響應于檢測到”。類似地，短語“倘若確定”或“倘若讀取到[所描述條件或事件]”可以依據上下文被解釋為意指“一旦確定”或“響應于確定”或“一旦檢測到[所描述條件或事件]”或“響應于檢測到[所描述條件或事件]”。

實施例一

圖1是本發(fā)明實施例提供的運動訓練評估方法的實現(xiàn)流程圖，詳述如下：

在步驟s101中，腦-機接口系統(tǒng)利用虛擬現(xiàn)實中的觸覺仿真與交互反饋的方式，建立三維運動訓練場景；

在步驟s102中，通過檢測和分析受試者在所述三維運動訓練場景中進行運動訓練時的腦電信號變化，從而對交互系統(tǒng)中的觸覺反饋進行定量化評估。

步驟s102，具體為：

通過檢測受試者在所述三維運動訓練場景中進行運動訓練時的腦電信號；

利用car簡單平均參考的方式，降低所述腦電信號的噪聲；

采用五階巴特沃斯濾波器，對降低噪聲后的腦電信號進行濾波；

根據濾波后的腦電信號的變化，對交互系統(tǒng)中的視/觸覺反饋進行定量化評估。

在本發(fā)明實施例中，創(chuàng)建了基于三維可視化和觸覺反饋的腦-機接口系統(tǒng)，利用虛擬現(xiàn)實中的觸覺仿真與交互反饋技術建立三維運動訓練場景，為受試者提供更好的訓練學習體驗，通過檢測和分析受試者運動訓練時位于大腦感覺運動皮層區(qū)域腦電信號的變化，評估在三維虛擬運動訓練場景中不同設置的視/觸覺反饋對受試者訓練效果的影響，完善了觸覺反饋的評估手段，提高了觸覺反饋評估的智能程度。

實施例二

本發(fā)明實施例描述了融合視/觸覺反饋的三維虛擬運動訓練場景的實現(xiàn)流程，詳述如下：

設置白球對應觸覺設備中觸筆的當前位置，設置黑球對應移動控制的目標位置，設置灰球對應觸筆移動過程中的跟蹤點位置，以在三維虛擬運動訓練場景中融合實時的視覺反饋；

監(jiān)控所述觸筆沿著管道的中心線在牽引力的作用下跟蹤灰球的操作，若所述牽引力反饋所述觸筆的當前位置偏離中心線并超出管道范圍，則將產生引導力將白球拉回到中心線，同時管道的顏色發(fā)生改變，以在三維虛擬運動訓練場景中融合實時的觸覺反饋。

在本發(fā)明實施例中，建立了融合虛擬現(xiàn)實視/觸覺反饋的運動訓練評估框架，實現(xiàn)了具有牽引力和引導力觸覺反饋仿真的三維可視化運動訓練環(huán)境，同時搭建了基于三維可視化和觸覺反饋的可用于運動訓練評估的腦-機接口系統(tǒng)，能彌補諸如問卷調查或行為測量等現(xiàn)有評估手段不足。

實施例三

圖2是本發(fā)明實施例提供的運動訓練評估方法步驟s102的實現(xiàn)流程圖，詳述如下：

在步驟s201中，在三維虛擬運動訓練場景中，采集受試者執(zhí)行有觸覺反饋和無觸覺反饋的運動訓練任務時產生的腦電信號數據；

采集受試者執(zhí)行有觸覺反饋的運動訓練任務時產生的腦電信號數據；

采集受試者執(zhí)行無觸覺反饋的運動訓練任務時產生的腦電信號數據。

在步驟s202中，根據所述腦電信號數據，對交互系統(tǒng)中的視/觸覺反饋進行定量化評估。

在本發(fā)明實施例中，根據所述腦電信號數據，評估在三維虛擬運動訓練場景中設置不同的視/觸覺反饋對所述受試者訓練效果的影響。

實施例四

本發(fā)明實施例描述了運動訓練評估方法步驟s202的實現(xiàn)流程，詳述如下：

利用預建的腦電信號時頻特征生成模型以及受試者執(zhí)行有觸覺反饋的運動訓練任務時產生的腦電信號數據，生成有觸覺反饋的腦電信號時頻特征；

利用預建的腦電信號時頻特征生成模型以及受試者執(zhí)行無觸覺反饋的運動訓練任務時產生的腦電信號數據，生成無觸覺反饋的腦電信號時頻特征。

有觸覺反饋的腦電信號時頻特征為：受試者在有觸覺反饋的運動訓練任務下位于大腦感覺運動感覺區(qū)域的腦電信號時頻特征。

無觸覺反饋的腦電信號時頻特征為：受試者在無觸覺反饋的運動訓練任務下位于大腦感覺運動感覺區(qū)域的腦電信號時頻特征。

在步驟s202之后，運動訓練評估方法還包括：

統(tǒng)計所述有觸覺反饋的腦電信號時頻特征、所述無觸覺反饋的腦電信號時頻特征，并統(tǒng)計兩者之間的差異。

評估在三維虛擬運動訓練場景中設置不同的視/觸覺反饋對所述受試者訓練效果的影響。

實施例五

本發(fā)明實施例描述了運動訓練評估方法中，建立腦電信號時頻特征模型的實現(xiàn)流程，詳述如下：

建立腦電信號時頻特征模型，所述腦電信號時頻特征模型，具體為：

其中，ersp為腦電信號時頻特征，fk(f,t)表示在給定和時間t相對于事件前基線的單個運動訓練任務k的頻譜估計，n為運動訓練任務k的執(zhí)行次數。

實施例六

本發(fā)明實施例描述了運動訓練評估方法較佳的實現(xiàn)流程，詳述如下：

1)系統(tǒng)框架搭建

參考圖3，圖3是本發(fā)明實施例提供的運動訓練評估系統(tǒng)較佳的系統(tǒng)框架圖，詳述如下：

系統(tǒng)框架主要包括兩個部分：融合視/觸覺反饋的三維虛擬運動訓練環(huán)境、腦-機接口系統(tǒng)。

虛擬運動訓練系統(tǒng)使用c#語言和opengl(opengraphicslibrary,開放圖形庫)在具有intelxeone5-16203.5ghzcpu，32gbram和nvidiaquadrok2200顯卡的計算機上實現(xiàn)，其中觸覺交互設備采用能夠提供高保真力反饋輸出的geomagictouchx，腦電采集系統(tǒng)使用具有32導ag/agcl電極的biosemiactivetwo。

2)實驗過程

參考圖4，圖4是本發(fā)明實施例提供的融合視、觸覺反饋的三維可視化場景較佳的樣例圖。

在整個實驗過程中，融合視/觸覺反饋的三維可視化場景設置如圖2所示。每個受試者在3d(三維)虛擬訓練環(huán)境中學習控制觸覺設備的觸筆的移動，上述運動訓練過程同時提供實時的視覺反饋和觸覺反饋。

在圖4中，白球和黑球分別表示觸覺裝置觸筆的當前位置和移動控制的起始位置，灰球(以恒定速度移動)表示觸覺設備移動過程中的跟蹤點位置。3d(三維)虛擬環(huán)境系統(tǒng)還為受試者提供了兩種類型的力反饋模擬：牽引力和引導力。受試者控制觸筆沿著管道的中心線在牽引力的作用下跟蹤灰球，若所述牽引力反饋所述觸筆的當前位置偏離中心線并超出管道范圍，則仿真系統(tǒng)將產生引導力將白球拉回到中心線，同時管道的顏色發(fā)生改變。

整個實驗采集5名受試者的腦電信號數據，每名受試者在融合視/觸覺反饋的三維可視化場景中隨機執(zhí)行有觸覺反饋和無觸覺反饋的運動訓練任務。

實驗過程中，單個運動訓練任務包括1秒的基線周期和6秒的運動訓練周期，每名受試者各執(zhí)行50次有觸覺反饋和無觸覺反饋的運動訓練任務。

其中，運動訓練周期和運動訓練任務的次數，本領域的技術人員可以根據需要自行設定，在此不做限制。

3)實驗數據分析

所有的腦電信號數據通過matlab軟件和開源工具箱eeglab處理。每個實驗數據提取跟蹤任務開始前的1秒和跟蹤任務開始后的6秒的連續(xù)腦電信號數據，首先利用car(commonaveragereference,簡單平均參考)重參考方法降低腦電信號中的噪聲，然后使用五階巴特沃斯濾波器對數據進行濾波，濾波范圍為8-25hz。

進而，經預處理的腦電信號數據通過ersp(event-relatedspectralperturbation，時間相關譜擾動)時間頻率分析方法分析相關運動訓練任務的功率譜的平均動態(tài)變化。

對于n個運動訓練任務，fk(f,t)表示在給定頻率f和時間t相對于事件前基線的單個運動訓練任務k的頻譜估計。在研究中，我們使用stft(短時傅里葉變換)方法計算fk(f,t)，公式如下：

本發(fā)明的實驗數據分析包括兩部分：

a)分別對有、無觸覺反饋運動訓練任務下大腦運動感覺區(qū)域的腦電信號時頻特征(ersp)進行顯著統(tǒng)計分析。

b)針對兩類(有、無觸覺反饋)運動訓練任務的腦電信號時頻特征之間的差異進行顯著統(tǒng)計分析。

實施例七

參考圖5，圖5是本發(fā)明實施例提供動訓練評估的實驗結果圖。

本發(fā)明提出并建立了融合虛擬現(xiàn)實視/觸覺反饋的運動訓練評估框架及系統(tǒng)，實現(xiàn)了通過檢測受試者腦電信號對觸覺反饋進行定量化評估。實驗結果表明，在有無觸覺反饋任務對比實驗中，有觸覺反饋時在左右感覺運動皮層區(qū)域的eeg信號會出現(xiàn)顯著的β節(jié)律(20hz附近)能量抑制，證明了觸覺反饋可以影響大腦感覺運動區(qū)域中的腦電信號節(jié)律。具體的實驗結果，如圖5所示。

采用本發(fā)明得到的實驗結果，在有觸覺反饋hapticfeedback和無觸覺反饋non-hapticfeedback兩種情況下：

(a)代表感覺運動皮層區(qū)域左側c3電極處的eeg信號的ersp

(b)代表感覺運動皮層區(qū)域右側c4電極處的eeg信號的ersp。

其中，第三列的ersp表示了有、無觸覺反饋的eeg信號在β節(jié)律(20hz附近)具有顯著差異。

實施例八

圖6是本發(fā)明實施例提供的運動訓練評估裝置的結構框圖，該裝置可以運行于用戶設備中。用戶設備包括但不限于虛擬現(xiàn)實設備、人機交互設備、移動電話、口袋計算機(pocketpersonalcomputer，ppc)、掌上電腦、計算機、筆記本電腦、個人數字助理(personaldigitalassistant，pda)、mp4、mp3。為便于說明，僅示出了與本實施例相關的部分。為了便于說明，僅示出了與本實施例相關的部分。

參照圖6，該運動訓練評估裝置，包括：

融合模塊61，用于利用虛擬現(xiàn)實中的觸覺仿真與交互反饋的方式，建立三維運動訓練場景；

評估模塊62，用于通過檢測和分析受試者在所述三維運動訓練場景中進行運動訓練時的腦電信號變化，從而對交互系統(tǒng)中的觸覺反饋進行定量化評估。

作為本實施例的一種實現(xiàn)方式，在所述運動訓練評估裝置中，所述融合模塊，包括：

視覺反饋融合單元，用于設置白球對應觸覺設備中觸筆的當前位置，設置黑球對應移動控制的目標位置，設置灰球對應觸筆移動過程中的跟蹤點位置，以在三維虛擬運動訓練場景中融合實時的視覺反饋；

觸覺反饋融合單元，用于監(jiān)控所述觸筆沿著管道的中心線在牽引力的作用下跟蹤灰球的操作，若所述牽引力反饋所述觸筆的當前位置偏離中心線并超出管道范圍，則將產生引導力將白球拉回到中心線，同時管道的顏色發(fā)生改變，以在三維虛擬運動訓練場景中融合實時的觸覺反饋。

作為本實施例的一種實現(xiàn)方式，在所述運動訓練評估裝置中，所述評估模塊，具體包括：

采集單元，用于在三維虛擬運動訓練場景中，采集受試者執(zhí)行有觸覺反饋和無觸覺反饋的運動訓練任務時產生的腦電信號數據；

評估單元，用于根據所述腦電信號數據，對交互系統(tǒng)中的視/觸覺反饋進行定量化評估。

作為本實施例的一種實現(xiàn)方式，在所述運動訓練評估裝置中，所述評估單元，具體包括：

觸覺反饋評估單元，用于利用預建的腦電信號時頻特征生成模型以及受試者執(zhí)行有觸覺反饋的運動訓練任務時產生的腦電信號數據，生成有觸覺反饋的腦電信號時頻特征；

無觸覺反饋評估單元，用于利用預建的腦電信號時頻特征生成模型以及受試者執(zhí)行無觸覺反饋的運動訓練任務時產生的腦電信號數據，生成無觸覺反饋的腦電信號時頻特征。

作為本實施例的一種實現(xiàn)方式，在所述運動訓練評估裝置中，所述運動訓練評估裝置，還包括：

腦電信號時頻特征模型建立模塊，用于建立腦電信號時頻特征模型，

所述腦電信號時頻特征模型，具體為：

其中，ersp為腦電信號時頻特征，fk(f,t)表示在給定和時間t相對于事件前基線的單個運動訓練任務k的頻譜估計，n為運動訓練任務k的執(zhí)行次數。

實施例九

本發(fā)明實施例提供了一種運動訓練評估設備，包括：至少一個處理器，通信接口，存儲介質和總線；

其中處理器、通信接口、存儲介質通過總線完成相互間的通信；

所述通信接口，用于與外界設備通信；

所述存儲介質，用于存放計算機執(zhí)行指令；

所述至少一個處理器，用于執(zhí)行存儲介質存儲的計算機執(zhí)行指令，使得設備執(zhí)行上述實施例一至實施例六提供的運動訓練評估方法。

本發(fā)明實施例方法中的步驟可以根據實際需要進行順序調整、合并和刪減。

本發(fā)明實施例裝置和裝置中的單元可以根據實際需要進行合并、劃分和刪減。

本發(fā)明實施例提供的裝置可以應用在前述對應的方法實施例中，詳情參見上述實施例的描述，在此不再贅述。

在本申請所提供的幾個實施例中，應該理解到，所揭露的系統(tǒng)、裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網絡單元上?？梢愿鶕嶋H的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。

所述功能如果以軟件功能單元的形式實現(xiàn)并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解，本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分或者該技術方案的部分可以以軟件產品的形式體現(xiàn)出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、移動硬盤、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、磁碟或者光盤等各種可以存儲程序代碼的介質。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內，可輕易想到的變化或替換，都應涵蓋在本發(fā)明的保護范圍之內。因此，本發(fā)明的保護范圍應以權利要求的保護范圍為準。