基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)一種基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，包括便攜式生理信號(hào)采集與分析系統(tǒng)、基于視頻分析的行為識(shí)別系統(tǒng)、無(wú)線網(wǎng)關(guān)和數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)；本發(fā)明能夠解決認(rèn)知/情緒等腦高級(jí)功能的解析與反饋問(wèn)題，并突破傳統(tǒng)認(rèn)知和情緒分離的腦特異性理論的局限，構(gòu)建基于情緒-認(rèn)知整合框架下的認(rèn)知與情緒感知與計(jì)算的多模態(tài)腦機(jī)接口系統(tǒng)，揭示認(rèn)知/情緒層次腦機(jī)融合的計(jì)算規(guī)律，實(shí)現(xiàn)腦與機(jī)器之間的高效匹配。
【專利說(shuō)明】基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及腦機(jī)接口領(lǐng)域，具體涉及一種用于認(rèn)知/情緒層次的腦與信息系統(tǒng)交互的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)。

【背景技術(shù)】
[0002]人腦是世界上最復(fù)雜的、威力最強(qiáng)大的系統(tǒng)，在人腦與機(jī)器之間建立腦機(jī)接口(01-8111-180111116811)，即建立直接的信息通道和全新的交互方式，將涉及眾多領(lǐng)域創(chuàng)新的前沿，對(duì)科技、經(jīng)濟(jì)、軍事，甚至社會(huì)的發(fā)展影響巨大。
[0003]而腦機(jī)接口技術(shù)因其涉及眾多領(lǐng)域創(chuàng)新的前沿，對(duì)科技、經(jīng)濟(jì)、軍事，甚至社會(huì)的發(fā)展影響巨大，但截至目前，國(guó)內(nèi)外腦機(jī)接口領(lǐng)域主要關(guān)注的是運(yùn)動(dòng)/感覺(jué)層次腦機(jī)接口領(lǐng)域的研究，只涉及到對(duì)腦低層次功能的解析和反饋。國(guó)內(nèi)外腦機(jī)接口領(lǐng)域主要關(guān)注的是運(yùn)動(dòng)/感覺(jué)層次腦機(jī)接口研究，也取得了一些大的進(jìn)展?，F(xiàn)在不僅發(fā)展了一些由肌電、腦電、視覺(jué)、語(yǔ)音控制的信息系統(tǒng)，以修復(fù)一些動(dòng)作功能(如行走、取物)、以及修復(fù)一些感知功能(如耳蝸、視力恢復(fù))；還為腦或脊髓損傷、中風(fēng)、腦癱等因素導(dǎo)致的外周神經(jīng)或肌肉運(yùn)動(dòng)功能受損人群開(kāi)發(fā)了機(jī)能增強(qiáng)技術(shù)和設(shè)備。
[0004]現(xiàn)有技術(shù)中，有大量專利公開(kāi)了運(yùn)動(dòng)/感覺(jué)層次腦機(jī)接口系統(tǒng)的構(gòu)建方法，例如:《基于多模態(tài)腦機(jī)接口的智能輪椅》(⑶201110268891.5)、《針對(duì)下肢的層級(jí)式功能性電刺激康復(fù)系統(tǒng)》(⑶200910310630.8)、《一種基于運(yùn)動(dòng)想象與？300腦電電位的功能鍵選擇方法》(⑶201010509550.8)等。雖然運(yùn)動(dòng)/感覺(jué)層次腦機(jī)接口取得了長(zhǎng)足進(jìn)展，但運(yùn)動(dòng)/感覺(jué)層次腦機(jī)接口研究只涉及到對(duì)腦低層次功能的解析和反饋。近15年來(lái)，在認(rèn)知神經(jīng)科學(xué)、神經(jīng)生化、心理生理計(jì)算、信息技術(shù)等相關(guān)學(xué)科的推動(dòng)下，使得涉及認(rèn)知和情緒等腦高級(jí)智能的腦機(jī)接口的研究變得可能。認(rèn)知/情緒層面腦機(jī)接口涉及到對(duì)人認(rèn)知、情感和決策行為的感知、解讀、識(shí)別和反饋控制，直接涉及更廣闊的國(guó)家戰(zhàn)略需求。
[0005]此外，目前國(guó)內(nèi)外認(rèn)知與情緒狀態(tài)分析與識(shí)別研究主要還是集中在對(duì)6種基本情感(高興、悲傷、憤怒、恐懼、驚奇、厭惡)的識(shí)別及少量認(rèn)知狀態(tài)的識(shí)別，而采用的方法主要是單模態(tài)分析。目前已經(jīng)發(fā)展的單模態(tài)認(rèn)知與情緒評(píng)測(cè)方法存在一些局限，多模態(tài)信息感知與融合方法已經(jīng)成為國(guó)際學(xué)術(shù)界公認(rèn)的方案。但眾多指標(biāo)之間的關(guān)聯(lián)關(guān)系、各模態(tài)之間的關(guān)聯(lián)關(guān)系、各個(gè)模態(tài)對(duì)辨識(shí)目標(biāo)的貢獻(xiàn)率等多模態(tài)分析的關(guān)鍵問(wèn)題沒(méi)有得到很好的解決。


【發(fā)明內(nèi)容】

[0006]發(fā)明目的:本發(fā)明的目的在于突破傳統(tǒng)單模態(tài)腦功能感知方法存在的局限，從生理-行為多模態(tài)信息融合視角下實(shí)現(xiàn)對(duì)認(rèn)知與情緒狀態(tài)的實(shí)時(shí)感知與識(shí)別，最終提供一種基于認(rèn)知與情緒狀態(tài)多I吳態(tài)感知的腦機(jī)接口系統(tǒng)。
[0007]技術(shù)方案:本發(fā)明的一種基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，包括便攜式生理信號(hào)采集與分析系統(tǒng)、基于視頻分析的行為識(shí)別系統(tǒng)、無(wú)線網(wǎng)關(guān)和數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)；所述便攜式生理信號(hào)采集與分析系統(tǒng)以及基于視頻分析的行為識(shí)別系統(tǒng)均通過(guò)無(wú)線網(wǎng)關(guān)分別與數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)雙向通訊連接；所述數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)通過(guò)無(wú)線網(wǎng)關(guān)向便攜式生理信號(hào)采集與分析系統(tǒng)以及基于視頻分析的行為識(shí)別系統(tǒng)同步發(fā)送數(shù)據(jù)采集指令，然后二者分別進(jìn)行數(shù)據(jù)生理信號(hào)和行為數(shù)據(jù)的同步采集與實(shí)時(shí)分析，所述數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)收到所述分析結(jié)果后，對(duì)所獲得的生理數(shù)據(jù)和行為數(shù)據(jù)進(jìn)行融合計(jì)算并得到認(rèn)知與情緒狀態(tài)的估計(jì)結(jié)果，所述估計(jì)結(jié)果將進(jìn)一步反饋給執(zhí)行機(jī)構(gòu)從而實(shí)現(xiàn)腦與機(jī)器的雙向交互接口。
[0008]進(jìn)一步的，所述便攜式生理信號(hào)采集與分析系統(tǒng)包括微處理器、用于采集原始腦電信號(hào)的雙導(dǎo)腦電采集模塊、用于采集與心率同步的脈沖信號(hào)的耳夾式紅外心率采集模塊、無(wú)線收發(fā)模塊、SD卡讀寫(xiě)模塊、電源調(diào)節(jié)與管理模塊、鋰電池和USB充電模塊，所述微處理器對(duì)存儲(chǔ)于SD卡讀寫(xiě)模塊中的原始腦電信號(hào)和脈沖信號(hào)數(shù)據(jù)進(jìn)行分析處理，并通過(guò)無(wú)線收發(fā)模塊將分析處理結(jié)果實(shí)時(shí)發(fā)送至數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)；所述USB充電模塊對(duì)鋰電池充電。
[0009]進(jìn)一步的，所述原始腦電信號(hào)中可提取出反映大腦活動(dòng)節(jié)律的腦電波功率譜，所述腦電波功率譜包括δ波、Θ波、α波、β波和Υ波；所述脈沖信號(hào)中可獲得產(chǎn)生心率變異性時(shí)域和頻率指標(biāo)。
[0010]進(jìn)一步的，所述雙導(dǎo)腦電采集模塊由干電池供電，在采集腦電信號(hào)時(shí)，頭皮位置的作用電極放置于雙側(cè)前額葉，參考電極和地電極分別放置于左右耳垂處。
[0011]進(jìn)一步的，所述基于視頻分析的行為識(shí)別系統(tǒng)包括嵌入式平臺(tái)、攝像機(jī)、無(wú)線收發(fā)模塊和SD卡讀寫(xiě)模塊，所述嵌入式平臺(tái)通過(guò)攝像機(jī)實(shí)時(shí)記錄和分析用戶的行為和面部表情并存儲(chǔ)于SD卡讀寫(xiě)模塊，同時(shí)通過(guò)無(wú)線收發(fā)模塊實(shí)時(shí)將行為和面部表情的數(shù)據(jù)發(fā)送至數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)。
[0012]進(jìn)一步的，所述數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)包括計(jì)算機(jī)和執(zhí)行機(jī)構(gòu)，所述計(jì)算機(jī)通過(guò)無(wú)線網(wǎng)關(guān)將采樣指令同步發(fā)送給便攜式生理信號(hào)采集與分析系統(tǒng)和基于視頻分析的行為識(shí)別系統(tǒng)，實(shí)現(xiàn)生理信號(hào)和行為信號(hào)同步采集，并同時(shí)通過(guò)無(wú)線網(wǎng)關(guān)接受便攜式生理信號(hào)采集與分析系統(tǒng)以及基于視頻分析的行為識(shí)別系統(tǒng)的計(jì)算結(jié)果，該計(jì)算結(jié)果經(jīng)過(guò)數(shù)據(jù)融合算法生成控制信號(hào)來(lái)驅(qū)動(dòng)執(zhí)行機(jī)構(gòu)實(shí)現(xiàn)腦與機(jī)器的雙向交互接口。
[0013]進(jìn)一步的，所述數(shù)據(jù)融合算法通過(guò)分析多模態(tài)指標(biāo)與識(shí)別目標(biāo)之間的關(guān)聯(lián)關(guān)系獲得認(rèn)知與情緒狀態(tài)識(shí)別的關(guān)鍵生理及行為指標(biāo)。
[0014]進(jìn)一步的，所述執(zhí)行機(jī)構(gòu)為機(jī)械機(jī)構(gòu)(例如假肢和康復(fù)機(jī)械等)和虛擬3D場(chǎng)景中的任意一種。
[0015]有益效果:與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn):
[0016](I)國(guó)內(nèi)外腦機(jī)接口技術(shù)目前主要聚焦于對(duì)腦低層次功能的解析和反饋；本發(fā)明從情緒-認(rèn)知整合視角對(duì)認(rèn)知與情緒狀態(tài)進(jìn)行多模態(tài)信息感知，建立認(rèn)知與情緒評(píng)測(cè)的關(guān)鍵生理及行為指標(biāo)，實(shí)現(xiàn)對(duì)認(rèn)知、情感和決策行為的感知、解讀與識(shí)別，在此基礎(chǔ)上構(gòu)建認(rèn)知/情緒層次腦機(jī)接口系統(tǒng)。
[0017](2)本發(fā)明突破傳統(tǒng)認(rèn)知和情緒分離的腦特異性理論的局限，提出基于情緒-認(rèn)知整合框架下的認(rèn)知與情緒感知與計(jì)算新方法，探索認(rèn)知/情緒層次腦機(jī)融合的感知與認(rèn)知的計(jì)算規(guī)律，實(shí)現(xiàn)腦與機(jī)器之間的高效匹配。
[0018](3)本發(fā)明建立我國(guó)特定人群的核心認(rèn)知與情緒表征集，并建立多模態(tài)指標(biāo)和認(rèn)知與情緒評(píng)測(cè)目標(biāo)之間的關(guān)聯(lián)關(guān)系，在此基礎(chǔ)上建立認(rèn)知與情緒評(píng)測(cè)的關(guān)鍵指標(biāo)，并據(jù)此通過(guò)機(jī)器學(xué)習(xí)的方法建立認(rèn)知與情緒狀態(tài)估計(jì)模型。
[0019](4)本發(fā)明提出了一種新的多元數(shù)據(jù)分析方法，分析獲得多模態(tài)指標(biāo)與識(shí)別目標(biāo)之間的關(guān)聯(lián)關(guān)系，在此基礎(chǔ)上建立認(rèn)知與情緒評(píng)測(cè)的關(guān)鍵生理及行為指標(biāo)。
[0020](5)目前國(guó)內(nèi)外認(rèn)知與情緒狀態(tài)分析與識(shí)別研究主要集中在對(duì)6種基本情感(高興、悲傷、憤怒、恐懼、驚奇、厭惡)的識(shí)別及少量認(rèn)知狀態(tài)的識(shí)別，本發(fā)明實(shí)現(xiàn)了對(duì)復(fù)雜認(rèn)知與情緒狀態(tài)的感知與識(shí)別。
[0021](6)本發(fā)明突破傳統(tǒng)單模態(tài)認(rèn)知與情緒狀態(tài)感知技術(shù)存在的局限，采用生理-行為多模態(tài)感知與融合技術(shù)，實(shí)現(xiàn)對(duì)認(rèn)知與情緒狀態(tài)的實(shí)時(shí)感知與估計(jì)。

【專利附圖】

【附圖說(shuō)明】
[0022]圖1為本發(fā)明的整體組成框圖；
[0023]圖2為本發(fā)明中的便攜式生理信號(hào)采集與分析系統(tǒng)的組成框圖；
[0024]圖3為本發(fā)明中的基于視頻分析的行為識(shí)別系統(tǒng)的組成框圖；
[0025]圖4為本發(fā)明中的無(wú)線網(wǎng)關(guān)的組成框圖；
[0026]圖5為本發(fā)明中的數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)的組成框圖。

【具體實(shí)施方式】
[0027]下面對(duì)本發(fā)明技術(shù)方案結(jié)合附圖進(jìn)行詳細(xì)說(shuō)明。
[0028]如圖1所示，本發(fā)明的一種基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，包括便攜式生理信號(hào)采集與分析系統(tǒng)10、基于視頻分析的行為識(shí)別系統(tǒng)20、無(wú)線網(wǎng)關(guān)30和數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)40 ；所述便攜式生理信號(hào)采集與分析系統(tǒng)10以及基于視頻分析的行為識(shí)別系統(tǒng)20均通過(guò)無(wú)線網(wǎng)關(guān)30分別與數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)40實(shí)現(xiàn)雙向通訊連接；所述數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)40通過(guò)無(wú)線網(wǎng)關(guān)30向便攜式生理信號(hào)采集與分析系統(tǒng)10以及基于視頻分析的行為識(shí)別系統(tǒng)20同步發(fā)送數(shù)據(jù)采集指令，然后二者分別進(jìn)行數(shù)據(jù)生理信號(hào)和行為數(shù)據(jù)的同步采集與實(shí)時(shí)分析，所述數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)40收到所述分析結(jié)果后，對(duì)所獲得的生理數(shù)據(jù)和行為數(shù)據(jù)進(jìn)行融合計(jì)算并得到認(rèn)知與情緒狀態(tài)的估計(jì)結(jié)果，所述估計(jì)結(jié)果將進(jìn)一步反饋給執(zhí)行機(jī)構(gòu)從而實(shí)現(xiàn)腦與機(jī)器的雙向交互接0。
[0029]如圖2所示，本實(shí)施例中的便攜式生理信號(hào)采集與分析系統(tǒng)10的整體封裝于可頭戴的外殼中，具體包括微處理器、無(wú)線收發(fā)模塊、30卡讀寫(xiě)模塊、耳夾式紅外心率采集模塊、雙導(dǎo)腦電采集模塊、電源調(diào)節(jié)與管理模塊、鋰電池』38充電模塊等模塊，所述微處理器對(duì)存儲(chǔ)于30卡讀寫(xiě)模塊中的原始腦電信號(hào)和脈沖信號(hào)數(shù)據(jù)進(jìn)行分析處理，并通過(guò)無(wú)線收發(fā)模塊將分析處理結(jié)果實(shí)時(shí)發(fā)送至數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)40 ；通過(guò)與計(jì)算機(jī)的…8接口或者與帶舊8接口的八00(:器件相連，舊8充電模塊能夠?qū)崿F(xiàn)對(duì)鋰電池的充電功能；由于鋰電池輸出電壓范圍為3.7-4.2^,電源調(diào)節(jié)與管理模塊可以對(duì)本系統(tǒng)所有模塊單元提供穩(wěn)定可靠的3.和訊電源；雙導(dǎo)腦電采集模塊包括干電極、三級(jí)放大電路、帶通濾波器和入/0轉(zhuǎn)換器等單元組成，兩個(gè)干電極布置在雙側(cè)前額葉，而參考電極和地電極分別位布置在雙耳耳垂；由干電極獲得的腦電信號(hào)經(jīng)過(guò)三級(jí)放大電路放大后再經(jīng)過(guò)帶通濾波器獲得信噪比較高的信號(hào)，該信號(hào)再經(jīng)過(guò)高精度八/0轉(zhuǎn)換器處理后獲得穩(wěn)定的原始腦電信號(hào)；耳夾式紅外心率采集模塊由耳夾式紅外傳感器、放大電路、比較器、濾波器等單元組成，由耳夾式紅外傳感器獲得的信號(hào)經(jīng)過(guò)放大電路放大后再經(jīng)過(guò)比較器和濾波器處理后獲得與心率同步的脈沖信號(hào)，該脈沖信號(hào)直接與微處理器的1/0 口相連，微處理器將通過(guò)現(xiàn)有公知技術(shù)計(jì)算產(chǎn)生心率變異性時(shí)域和頻率指標(biāo)；大腦活動(dòng)節(jié)律的8波、0波、0波、波、^波功率譜、以及心率變異性時(shí)域和頻率指標(biāo)，將通過(guò)無(wú)線收發(fā)模塊實(shí)時(shí)發(fā)送給無(wú)線網(wǎng)關(guān)30。
[0030]從上述原始腦電信號(hào)中可提取出反映大腦活動(dòng)節(jié)律的腦電波功率譜，其中腦電波功率譜包括 8 波(1-3?)、0 波(4-7?)、0 波(8-13?)、波(14-25?)和、波(25?以上)；且從脈沖信號(hào)中可獲得產(chǎn)生心率變異性時(shí)域和頻率指標(biāo)。
[0031]如圖3所示，在本實(shí)施例中，基于視頻分析的行為識(shí)別系統(tǒng)20包括嵌入式平臺(tái)、攝像機(jī)、無(wú)線收發(fā)模塊、80卡讀寫(xiě)模塊、液晶顯示模塊、電源調(diào)節(jié)與管理模塊、鋰電池、^88充電模塊等模塊單元；所述嵌入式平臺(tái)通過(guò)攝像機(jī)實(shí)時(shí)記錄和分析用戶的行為和面部表情并存儲(chǔ)于30卡讀寫(xiě)模塊，同時(shí)通過(guò)無(wú)線收發(fā)模塊實(shí)時(shí)將行為和面部表情的數(shù)據(jù)發(fā)送至數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)40。
[0032]其中，通過(guò)與計(jì)算機(jī)…8接口或者與帶…8接口的…-0(:器件相連，…8充電模塊實(shí)現(xiàn)對(duì)鋰電池的充電功能；由于鋰電池輸出電壓范圍為3.7-4.2、，電源調(diào)節(jié)與管理模塊可以對(duì)本系統(tǒng)所有功能單元提供穩(wěn)定可靠的3.和訊電源。
[0033]如圖4所示，在本實(shí)施例中，無(wú)線網(wǎng)關(guān)30由微處理器、無(wú)線收發(fā)模塊、串口轉(zhuǎn)…8接口模塊、電源調(diào)節(jié)與管理模塊等組成；電源調(diào)節(jié)與管理模塊獲得穩(wěn)定的3.舊電源供無(wú)線網(wǎng)關(guān)30系統(tǒng)使用；微處理器通過(guò)串口轉(zhuǎn)口38接口模塊與數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)40的…8接口相連，并采用無(wú)線組網(wǎng)技術(shù)與便攜式生理信號(hào)采集與分析系統(tǒng)10以及基于視頻分析的行為識(shí)別系統(tǒng)20實(shí)現(xiàn)雙向無(wú)線通訊。
[0034]如圖5所示，在本實(shí)施例中，數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)40包括計(jì)算機(jī)、第一口38接口、第二舊8接口、執(zhí)行機(jī)構(gòu)和電源調(diào)節(jié)與管理模塊，所述計(jì)算機(jī)通過(guò)第一舊8接口與無(wú)線網(wǎng)關(guān)30相連，然后通過(guò)無(wú)線網(wǎng)關(guān)30將采樣指令同步發(fā)送給便攜式生理信號(hào)采集與分析系統(tǒng)10和基于視頻分析的行為識(shí)別系統(tǒng)20，實(shí)現(xiàn)生理信號(hào)和行為信號(hào)同步采集，并同時(shí)通過(guò)無(wú)線網(wǎng)關(guān)30接受便攜式生理信號(hào)采集與分析系統(tǒng)10以及基于視頻分析的行為識(shí)別系統(tǒng)20的計(jì)算結(jié)果，該計(jì)算結(jié)果經(jīng)過(guò)數(shù)據(jù)融合算法通過(guò)第二舊8接口生成執(zhí)行機(jī)構(gòu)的控制信號(hào)來(lái)驅(qū)動(dòng)執(zhí)行機(jī)構(gòu)實(shí)現(xiàn)腦與機(jī)器的雙向交互接口 ；其中電源調(diào)節(jié)與管理模塊將為計(jì)算機(jī)以及執(zhí)行機(jī)構(gòu)提供所需穩(wěn)定電源。
[0035]上述的所述數(shù)據(jù)融合算法通過(guò)分析多模態(tài)指標(biāo)與識(shí)別目標(biāo)之間的關(guān)聯(lián)關(guān)系獲得認(rèn)知與情緒狀態(tài)識(shí)別的關(guān)鍵生理及行為指標(biāo)。
[0036]綜上所述，本發(fā)明能夠?qū)崟r(shí)獲取對(duì)象的生理-行為多模態(tài)數(shù)據(jù)，借助多元數(shù)據(jù)分析方法分析獲得多I旲態(tài)指標(biāo)與識(shí)別目標(biāo)之間的關(guān)聯(lián)關(guān)系，在此基礎(chǔ)上建立認(rèn)知與情緒評(píng)測(cè)的關(guān)鍵生理及行為指標(biāo)；且本發(fā)明將獲取的認(rèn)知與情緒狀態(tài)的實(shí)時(shí)感知與識(shí)別結(jié)果進(jìn)行實(shí)時(shí)反饋控制，在腦與機(jī)器之間建立直接雙向信息通道和認(rèn)知/情緒層次交互接口。
【權(quán)利要求】
1.一種基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:包括便攜式生理信號(hào)采集與分析系統(tǒng)、基于視頻分析的行為識(shí)別系統(tǒng)、無(wú)線網(wǎng)關(guān)和數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)； 所述便攜式生理信號(hào)采集與分析系統(tǒng)以及基于視頻分析的行為識(shí)別系統(tǒng)均通過(guò)無(wú)線網(wǎng)關(guān)分別與數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)雙向通訊連接； 所述數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)通過(guò)無(wú)線網(wǎng)關(guān)向便攜式生理信號(hào)采集與分析系統(tǒng)以及基于視頻分析的行為識(shí)別系統(tǒng)同步發(fā)送數(shù)據(jù)采集指令，然后二者分別進(jìn)行數(shù)據(jù)生理信號(hào)和行為數(shù)據(jù)的同步采集與實(shí)時(shí)分析； 所述數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)收到所述分析結(jié)果后，對(duì)所獲得的生理數(shù)據(jù)和行為數(shù)據(jù)進(jìn)行融合計(jì)算并得到認(rèn)知與情緒狀態(tài)的估計(jì)結(jié)果，所述估計(jì)結(jié)果將進(jìn)一步反饋給執(zhí)行機(jī)構(gòu)從而實(shí)現(xiàn)腦與機(jī)器的雙向交互接口。
2.根據(jù)權(quán)利要求1所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述便攜式生理信號(hào)采集與分析系統(tǒng)包括微處理器、用于采集原始腦電信號(hào)的雙導(dǎo)腦電采集模塊、用于采集與心率同步的脈沖信號(hào)的耳夾式紅外心率采集模塊、無(wú)線收發(fā)模塊、SD卡讀寫(xiě)模塊、電源調(diào)節(jié)與管理模塊、鋰電池和USB充電模塊，所述微處理器對(duì)存儲(chǔ)于SD卡讀寫(xiě)模塊中的原始腦電信號(hào)和脈沖信號(hào)數(shù)據(jù)進(jìn)行分析處理，并通過(guò)無(wú)線收發(fā)模塊將分析處理結(jié)果實(shí)時(shí)發(fā)送至數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)；所述USB充電模塊對(duì)鋰電池充電。
3.根據(jù)權(quán)利要求2所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述原始腦電信號(hào)中可提取出反映大腦活動(dòng)節(jié)律的腦電波功率譜，所述腦電波功率譜包括δ波、Θ波、α波、β波和Υ波；所述脈沖信號(hào)中可獲得產(chǎn)生心率變異性時(shí)域和頻率指標(biāo)。
4.根據(jù)權(quán)利要求2所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述雙導(dǎo)腦電采集模塊由干電池供電，在采集腦電信號(hào)時(shí)，頭皮位置的作用電極放置于雙側(cè)前額葉，參考電極和地電極分別放置于左右耳垂處。
5.根據(jù)權(quán)利要求1所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述基于視頻分析的行為識(shí)別系統(tǒng)包括嵌入式平臺(tái)、攝像機(jī)、無(wú)線收發(fā)模塊和SD卡讀寫(xiě)模塊，所述嵌入式平臺(tái)通過(guò)攝像機(jī)實(shí)時(shí)記錄和分析用戶的行為和面部表情并存儲(chǔ)于SD卡讀寫(xiě)模塊，同時(shí)通過(guò)無(wú)線收發(fā)模塊實(shí)時(shí)將行為和面部表情的數(shù)據(jù)發(fā)送至數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)。
6.根據(jù)權(quán)利要求1所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述數(shù)據(jù)融合與反饋計(jì)算機(jī)系統(tǒng)包括計(jì)算機(jī)和執(zhí)行機(jī)構(gòu)，所述計(jì)算機(jī)通過(guò)無(wú)線網(wǎng)關(guān)將采樣指令同步發(fā)送給便攜式生理信號(hào)采集與分析系統(tǒng)和基于視頻分析的行為識(shí)別系統(tǒng)，實(shí)現(xiàn)生理信號(hào)和行為信號(hào)同步采集，并同時(shí)通過(guò)無(wú)線網(wǎng)關(guān)接受便攜式生理信號(hào)采集與分析系統(tǒng)以及基于視頻分析的行為識(shí)別系統(tǒng)的計(jì)算結(jié)果，該計(jì)算結(jié)果經(jīng)過(guò)數(shù)據(jù)融合算法生成控制信號(hào)來(lái)驅(qū)動(dòng)執(zhí)行機(jī)構(gòu)實(shí)現(xiàn)腦與機(jī)器的雙向交互接口。
7.根據(jù)權(quán)利要求6所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述數(shù)據(jù)融合算法通過(guò)分析多模態(tài)指標(biāo)與識(shí)別目標(biāo)之間的關(guān)聯(lián)關(guān)系獲得認(rèn)知與情緒狀態(tài)識(shí)別的關(guān)鍵生理及行為指標(biāo)。
8.根據(jù)權(quán)利要求6所述的基于認(rèn)知與情緒狀態(tài)多模態(tài)感知的腦機(jī)接口系統(tǒng)，其特征在于:所述執(zhí)行機(jī)構(gòu)為機(jī)械機(jī)構(gòu)和虛擬3D場(chǎng)景中的任意一種。
【文檔編號(hào)】A61B5/16GK104391569SQ201410547000
【公開(kāi)日】2015年3月4日 申請(qǐng)日期:2014年10月15日 優(yōu)先權(quán)日:2014年10月15日
【發(fā)明者】禹東川 申請(qǐng)人:東南大學(xué)