本發(fā)明涉及腦機接口技術領域，具體而言，涉及一種基于腦機接口的可移動頭戴終端及系統。

背景技術：

聾啞人由于無法清楚地聽到外界聲音而不能順暢獲取信息，也無從表達自己的意愿，因此在與外界溝通交流的過程中存在諸多障礙。希望和正常人一樣方便自由地和外界進行交互，是每一位聾啞人的愿望。

現有的輔助聾啞人的信息技術可以分為三個層次：首先是非干擾技術，例如“手語合成”與“手語識別”技術；其次是半干擾技術，采用佩戴輔助設備的方式，例如骨導助聽器和骨導耳機；第三種是干擾性技術，需要對人體進行一定程度的侵入性操作，例如人工耳蝸。然而上述信息技術存在使用不便或者成本高昂的問題，無法滿足聾啞人的要求。

針對上述輔助聾啞人的信息技術存在的使用不便或者成本高昂的問題，目前尚未提出有效的解決方案。

技術實現要素：

有鑒于此，本發(fā)明的目的在于提供一種基于腦機接口的可移動頭戴終端及系統，輔助聾啞人交流，使用方便且成本較低。

第一方面，本發(fā)明實施例提供了一種基于腦機接口的可移動頭戴終端，包括：頭戴裝置和多個電極；該頭戴裝置包括彼此連接的固定帶和固定架；固定帶用于將上述多個電極安放到用戶頭部的不同位置；固定架用于固定顯示與語音播報終端；上述電極用于與顯示與語音播報終端連接后，實時獲取用戶的腦電信號，將該腦電信號發(fā)送給顯示與語音播報終端，以使顯示與語音播報終端根據腦電信號播放用戶欲表達的文字。

結合第一方面，本發(fā)明實施例提供了第一方面的第一種可能的實施方式，其中，多個電極為12個，分別對應于用戶頭部的額中點、額頂中點、中央點、頂枕中點、頂點、枕點、左頂、左后枕、左枕、右枕、右頂和右后枕；或者，多個電極為8個，分別對應于用戶頭部的額中點、中央點、頂點、枕點、左頂、左枕、右枕和右頂。

結合第一方面或第一方面的第一種可能的實施方式，本發(fā)明實施例提供了第一方面的第二種可能的實施方式，其中，固定架包括面殼和基座；該基座呈弧形，且在佩戴時與用戶的臉部接觸；該面殼與基座可拆卸連接；至少面殼和基座之一設置有鎖緊部件，該鎖緊部件用于固定顯示與語音播報終端。

結合第一方面或第一方面的第一種可能的實施方式，本發(fā)明實施例提供了第一方面的第三種可能的實施方式，其中，固定帶包括環(huán)帶和頂帶，上述多個電極分別固定在環(huán)帶和頂帶的預定位置，以采集用戶的P300腦電信號。

結合第一方面或第一方面的第一種可能的實施方式，本發(fā)明實施例提供了第一方面的第四種可能的實施方式，其中，頭戴裝置是VR眼鏡。

第二方面，本發(fā)明實施例還提供一種基于腦機接口的系統，包括：顯示與語音播報終端和第一方面及其各可能的實施方式提供的可移動頭戴終端，該顯示與語音播報終端固定在可移動頭戴終端中。

結合第二方面，本發(fā)明實施例提供了第二方面的第一種可能的實施方式，其中，顯示與語音播報終端包括顯示屏、處理器、攝像頭和揚聲器；處理器用于接收腦電信號，并根據腦電信號確定用戶欲表達的文字，控制揚聲器播放文字；攝像頭用于采集外界圖像并由顯示屏顯示。

結合第二方面或第二方面的第一種可能的實施方式，本發(fā)明實施例提供了第二方面的第二種可能的實施方式，其中，顯示屏還用于顯示輸入界面，并循環(huán)閃爍輸入界面中的按鍵，在一個循環(huán)周期內按鍵不重復隨機閃爍；處理器還用于根據用戶的腦電信號是否大于閾值電位確定用戶欲選擇的按鍵，并按照該選擇的按鍵進行對應操作。

結合第二方面，本發(fā)明實施例提供了第二方面的第三種可能的實施方式，其中，顯示與語音播報終端還包括麥克風，該麥克風用于采集語音；顯示屏還用于顯示語音對應的文字。

結合第二方面，本發(fā)明實施例提供了第二方面的第四種可能的實施方式，其中，顯示與語音播報終端是智能手機。

本發(fā)明實施例帶來了以下有益效果：

通過頭戴裝置將多個電極固定到用戶的頭部的不同位置，采集該用戶的腦電信號并發(fā)送給顯示與語音播報終端，從而將該用戶欲表達的文字通過該顯示與語音播報終端播報出來，從而幫助聾啞人表達，使用方便且成本低，便于推廣應用。

本發(fā)明的其他特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點在說明書、權利要求書以及附圖中所特別指出的結構來實現和獲得。

為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。

附圖說明

為了更清楚地說明本發(fā)明具體實施方式或現有技術中的技術方案，下面將對具體實施方式或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施方式，對于本領域技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例提供的可移動頭戴終端的結構示意圖；

圖2為本發(fā)明實施例提供的可移動頭戴終端使用的電極的位置示意圖；

圖3為本發(fā)明實施例提供的用戶佩戴可移動頭戴終端的示意圖；

圖4為本發(fā)明實施例提供的基于腦機接口的系統的結構框圖；

圖5為本發(fā)明實施例提供的基于腦機接口的系統的標準輸入界面示意圖；

圖6為本發(fā)明實施例提供的基于腦機接口的系統的快捷輸入界面示意圖；

圖7為本發(fā)明實施例提供的基于腦機接口的系統的聽音輸入界面示意圖。

圖標：

100-可移動頭戴終端；200-語音播報終端；110-頭戴裝置；120-電極；111-固定帶；112-固定架；211-面殼；212-基座；310-智能手機；311-環(huán)帶；312-頂帶。

具體實施方式

為使本發(fā)明實施例的目的、技術方案和優(yōu)點更加清楚，下面將結合附圖對本發(fā)明的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

目前輔助聾啞人的信息技術存在的使用不便或者成本高昂的問題，基于此，本發(fā)明實施例提供的一種基于腦機接口的可移動頭戴終端及系統，用于幫助聾啞人交流，使用方便且成本較低。

為便于對本實施例進行理解，首先對本發(fā)明實施例所公開的一種基于腦機接口的可移動頭戴終端進行詳細介紹。

實施例一：

本發(fā)明實施例1提供了一種基于腦機接口的可移動頭戴終端。腦機接口(brain-computer interface,BCI)是在人腦和計算機或其他電子設備之間建立的一種直接的信息交流和控制通道，不依賴于常規(guī)腦外周神經和肌肉系統，直接在人腦和計算機等電子設備之間進行信息交流和控制。BCI系統涉及兩個主要的方面，一方面是對腦電信號的采集以及如何使大腦產生容易被區(qū)分和識別的控制信號；另一方面是計算機如何有效處理信號，提出腦電信號的特征并選擇識別這些特征。本實施例提供了一種基于腦機接口的可移動頭戴終端，具體如下：

如圖1所示，可移動頭戴終端包括頭戴裝置110和多個電極120，其中頭戴裝置110包括彼此連接的固定帶111和固定架112。

具體地，固定帶111用于將多個電極120安放到用戶頭部的不同位置.固定架112用于固定顯示與語音播報終端(未圖示)；上述電極120用于與顯示與語音播報終端連接后，實時獲取用戶的腦電信號，并將該腦電信號發(fā)送給顯示與語音播報終端，以使顯示與語音播報終端根據腦電信號播放用戶欲表達的文字。

在圖1中還示出了固定架112的具體結構，具體包括面殼211和基座212。其中基座212優(yōu)選為弧形，以方便在使用時與用戶臉部貼合，避免外界的光線從基座212與臉部的縫隙進入，影響顯示與語音播報終端的顯示效果。

面殼211和基座212可拆卸連接，具體可以通過卡扣或者螺紋等方式連接。至少在面殼211和基座212中之一設置有鎖緊部件，該鎖緊部件用于固定顯示與語音播報終端。

在圖1中還示出了固定帶111的具體結構，具體包括環(huán)帶311和頂帶312，上述多個電極120分別固定在環(huán)帶311和頂帶312的預定位置，以采集用戶的P300腦電信號。其中P300是一種誘發(fā)電位，是神經系統接受特定模式下的視覺刺激所產生的特定電活動，發(fā)生于特定的時間，在特定的腦頭皮區(qū)域信號能量分布比較明顯，相對容易檢測，適合于腦機接口應用。使用者無需特別訓練就可以達到較好的效果。在圖1中，頂帶312與環(huán)帶311和基座212均相連，可以理解頂帶312可以與兩者之一相連，僅起到固定電極的作用。

采集上述P300腦電信號的電極位置如圖2所示，由于P300腦電信號是由視覺誘發(fā)的腦電洗好，而視覺的產生主要集中在枕葉區(qū)，故在該電極位置示意圖中選擇兩矩形框中包括的電極。在使用12通道時(電極為12個)，電極位置包括：額中點(FZ)、額頂中點(FCz)、中央點(Cz)、頂枕中點(CPz)、頂點(Pz)、枕點(Oz)、左頂(P3)、左后枕(P7)、左枕(O1)、右枕(O2)、右頂(P4)和右后枕(P8)。在使用8通道時(電極為8個)，電極位置包括：額中點(FZ)、中央點(Cz)、頂點(Pz)、枕點(Oz)、左頂(P3)、左枕(O1)、右枕(O2)和右頂(P4)。

上述頭戴裝置110可以使用現有技術中的VR眼鏡(或稱為VR頭盔)，一般VR眼鏡包括的環(huán)帶恰好覆蓋上述后枕區(qū)，而頂帶則恰好覆蓋上述額頂區(qū)，因此可以將電極直接固定在上述環(huán)帶及頂帶上，美觀簡潔，適合實際使用。上述VR眼鏡還可以包括與眼鏡一體制造及出售的顯示與語音播報終端，也可以根據需要放入其他顯示與語音播報終端，例如智能手機等。如圖3所示的用戶佩戴可移動頭戴終端的示意圖，其中顯示了智能手機310。

除上述方式外，還可以使用特意制作的頭戴裝置來固定電極，或者在VR眼鏡上增加固定部件等，只要滿足固定電極到需要的采集位置即可。

上述實施例1中的可移動頭戴終端，穿戴在用戶頭部，可以實時采集用戶的腦電信號，并發(fā)送給顯示與語音播報終端，從而將該用戶欲表達的文字通過該顯示與語音播報終端播報出來，上述終端對幫助聾啞人進行溝通交流具有重要的意義，使用方便且成本低，便于推廣應用。

實施例二：

本發(fā)明實施例2提供了一種基于腦機接口的系統，如圖4所示，包括上述實施例中提供的可移動頭戴終端100和顯示與語音播報終端200，且該顯示與語音播報終端200固定在可移動頭戴終端100中。

具體地，顯示與語音播報終端200包括顯示屏、處理器、攝像頭和揚聲器；處理器用于接收腦電信號，并根據腦電信號確定用戶欲表達的文字，控制揚聲器播放上述文字；攝像頭用于采集外界圖像并由顯示屏顯示。因此用戶可以在佩戴上述系統的情況下，可以通過攝像頭及顯示屏看到外界的景象，能夠自由移動，使用方便靈活。

進一步，顯示屏還用于顯示輸入界面，并循環(huán)閃爍輸入界面中的按鍵，在一個循環(huán)周期內按鍵不重復隨機閃爍；處理器還用于根據用戶的腦電信號是否大于閾值電位確定用戶欲選擇的按鍵，并按照該選擇的按鍵進行對應操作。此時輸入界面與外界的景象疊加顯示，用戶可以在觀察外界(例如談話的對象)的同時進行上述輸入。

考慮到聾啞人的聽力存在問題，為了將其他人的語音轉化為聾啞人能夠識別的形式，顯示與語音播報終端200還包括麥克風，該麥克風用于采集語音；顯示屏還用于顯示語音對應的文字。

上述頭戴裝置110可以使用現有技術中的VR眼鏡(或稱為VR頭盔)，顯示與語音播報終端200可以是與眼鏡一體制造及出售的顯示與語音播報裝置，也可以是其他智能終端，例如智能手機等。在上述顯示與語音播報終端或者智能終端中安裝有相應的輸入判斷軟件。

以下介紹腦機接口系統的使用流程：

首先介紹標準輸入方法，以下為示例：

1、用戶開啟系統，此時默認進入觀察模式，攝像頭開啟并在顯示屏上上顯示采集到的外界圖像，用戶看到的就是外界實時的景象。

2、當用戶需要與其他人交流時，可以通過實體按鈕等方式切換到輸入模式。此時顯示屏上顯示輸入界面，如圖5所示，此時外界景象與輸入界面疊加顯示，為了表示清楚實時的外界景象未在圖中示出。下文以九宮格拼音輸入法為例進行介紹，可以理解也可以采取其他輸入方式，例如QWERTY鍵盤、五筆輸入法、按照英文字母順序排列的鍵盤或者其他方式任意排列的鍵盤等。在圖5中同時示出了九宮格的按鍵及功能鍵，功能鍵具體包括“確定”、“選詞/快捷”和“撤銷/切換”，同時還示出了輸入框。

3、在進入輸入界面后，提示倒計時3秒。倒計時結束后，按鈕將進行閃爍。

在實際實施時，可以將一次按鍵的閃爍和停頓定為一個試驗(下文使用trial表示)。例如，將每個trial設置為耗時150ms，該按鍵將顯示一個設置好的圖片75ms，并停止75ms等待下一個按鍵的閃爍。在本實施例中將如圖5中所示的11個按鍵各經過一個trial定為一個循環(huán)(下文使用round表示)。在一個round中，11個按鍵將通過隨機函數不重復地各經過trial。因此一個round就將耗時11*0.15s＝1.65s。

用戶將至少經歷前三個round，為保證識別率前三個round是必經程序，原因在于腦電信號作為一種復雜的非平穩(wěn)隨機信號，需要必要次數的疊加才能保證識別的準確率，次數越多準確率越高。為了兼顧準確率和輸入花費的時間，此處采用三次循環(huán)的方式，可以理解的采用其他次數循環(huán)也能實現。

4、電極將上述round中用戶的腦電信號采集并發(fā)送到顯示與語音播報終端的處理器，通過貝葉斯分類器將判斷是否檢測到達到閾值的P300電位。如果判斷檢測到，將通過時間順序判斷用戶輸入，完成第一輪判斷。第一輪耗時3*1.65s＝4.95s。其中貝葉斯分類器的分類原理是通過某對象的先驗概率，利用貝葉斯公式計算出其后驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類作為該對象所屬的類。同時上述貝葉斯分類器已完成利用樣本進行訓練。

5、如果在第一輪判斷系統沒有檢測出達到閾值的電位，則進行第二輪判斷。處理器將篩選出在第一輪中前5個最有可能是用戶輸入的按鍵，并將它們通過隨機函數不重復地經過trial。這5個trial構成新的一個round。每個round過后，系統將進行判斷，如果結合第一輪數據有P300電位達到閾值，系統將進行輸入。這樣系統就直接省略了未進行的round，減少了輸入需要的時間。第二輪最多4個round，如果在這4個round之后仍然沒有達到閾值的P300電位，系統將輸出最有可能的那個按鍵。最壞情況下，第二輪耗時0.15s*5*4＝3s。

例如，在輸入“腦”時，首先輸入“nao”中的“n”。在成功輸入之前，用戶需持續(xù)關注帶有“MNO”的按鈕，注意其閃爍的次數。(在此將這種輸入方法定義為標準輸入方法)如此輸入“nao”之后，用戶就需要在字詞備選框中選擇“腦”字。如果備選框中第一個字，即默認選擇的字，就是“腦”，用戶就可以依據標準輸入方法選擇“確定”鍵進行確定選詞。如果需要選擇下一個詞，用戶需要依據輸入方法選擇“選詞/快捷”按鍵，接到此指令后選詞框將移至下一個備選字。以此類推用戶可以將選詞框移至需要的字上，然后通過“確定”確定輸入。

以此類推輸入完“腦機接口”后，用戶可以通過再次輸入“確定”鍵確定朗讀。系統接到此命令后將通過揚聲器朗讀已經輸入的詞句，并通過擴音器標志閃爍表示朗讀狀態(tài)。至此完成了將用戶的腦電信號轉換成語音輸出的整個過程，使聾啞人具備了“說”的能力，實現了聾啞人表達自己意愿的目的。

其次介紹快捷輸入方法，以下為示例：

1、在用戶使用前，可以預先錄入最多8個快捷輸入詞句。用戶可以通過快捷輸入提高輸入效率。

2、在輸入模式界面下用戶通過標準輸入方法輸入“選詞/快捷”將切換到快捷輸入模式。在此模式下8個按鈕將變?yōu)閿底宙I，如圖6所示，分別對應著8個用戶預先設置好的句子或詞語。如：1鍵代表著用戶預先設置的“你好”。如果需要輸入“你好”，用戶此時可以通過記憶，用標準輸入模式選擇1鍵。接到指令，輸入框中將出現“你好”詞句。之后，用戶可以選擇輸入“確定”直接朗讀，或者通過快捷輸入或者切換回一般輸入模式進行其他的輸入，與已輸入內容一起構成詞句進行朗讀。

最后介紹聽音方法，以下為示例：

用戶在需要接收外界的聲音時，可以輸入撤銷/切換鍵切換到聽音模式。此時，系統將顯示聽音標志和顯示框。切換后倒計時3秒后。系統將開啟麥克風，將聽到的語音轉化為文本在顯示框中顯示，如圖7所示的顯示框中的內容為“腦機接口，是在人腦和計算機或其他電子設備之間建立的一種直接的信息交流和控制通道，不依賴于常規(guī)腦外周神經和肌肉系統，直接在人腦和計算機等電子設備之間進行信息交流和控制”。聽音轉化時，聽音標志將進行閃爍。如用戶需停止聽音，可以輸入“確定”。切換回輸入模式需要輸入“切換”。通過聽音的方式，將外界的聲音例如其他正常人的對話轉換為文字并顯示在顯示屏上，使聾啞人具備了“聽”的能力。具體的語音轉化方式使用現有技術，在此不再贅述。

上述實施例2中的基于腦機接口的系統，可以實時采集用戶的P300腦電信號，并發(fā)送給顯示與語音播報終端，該顯示與語音播報終端可以根據上述腦電信號確定用戶欲表達的文字并控制揚聲器播放上述文字，并且能夠通過聽音將外界的聲音轉換為文字并顯示在顯示屏上，使聾啞人具備“說”和“聽”的能力，對幫助聾啞人進行溝通交流具有重要的意義，使用方便且成本低，便于推廣應用。

另外，在本發(fā)明實施例的描述中，除非另有明確的規(guī)定和限定，術語“安裝”、“相連”、“連接”應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通。對于本領域技術人員而言，可以具體情況理解上述術語在本發(fā)明中的具體含義。

上述功能如果以軟件功能單元的形式實現并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中?；谶@樣的理解，本發(fā)明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟件產品的形式體現出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質。

在本發(fā)明的描述中，需要說明的是，術語“中心”、“上”、“下”、“左”、“右”、“豎直”、“水平”、“內”、“外”等指示的方位或位置關系為基于附圖所示的方位或位置關系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發(fā)明的限制。此外，術語“第一”、“第二”、“第三”僅用于描述目的，而不能理解為指示或暗示相對重要性。

最后應說明的是：以上實施例，僅為本發(fā)明的具體實施方式，用以說明本發(fā)明的技術方案，而非對其限制，本發(fā)明的保護范圍并不局限于此，盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領域技術人員應當理解：任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內，其依然可以對前述實施例所記載的技術方案進行修改或可輕易想到變化，或者對其中部分技術特征進行等同替換；而這些修改、變化或者替換，并不使相應技術方案的本質脫離本發(fā)明實施例技術方案的精神和范圍，都應涵蓋在本發(fā)明的保護范圍之內。因此，本發(fā)明的保護范圍應以權利要求的保護范圍為準。