本發(fā)明涉及終端技術(shù)領(lǐng)域，具體而言，本發(fā)明涉及一種交互系統(tǒng)、方法及裝置。

背景技術(shù)：

目前存在很多聽(tīng)力受損或聽(tīng)力障礙的用戶，例如耳聾的用戶。這些聽(tīng)力障礙的用戶(本文后續(xù)簡(jiǎn)稱用戶)，通常采用手語(yǔ)或者書(shū)寫(xiě)的交互方式，與其他用戶進(jìn)行交流。

然而，本發(fā)明的發(fā)明人發(fā)現(xiàn)，在用戶已經(jīng)感知到其他用戶在向該用戶主動(dòng)交互的基礎(chǔ)上，上述手語(yǔ)或書(shū)寫(xiě)的交互方式才得以成立。當(dāng)用戶沒(méi)有感知到其他用戶在向該用戶主動(dòng)交互時(shí)，無(wú)法進(jìn)行手語(yǔ)或書(shū)寫(xiě)交流。例如，當(dāng)其他用戶主動(dòng)向用戶打招呼，期望與該用戶交流時(shí)，該用戶因?yàn)槁?tīng)力障礙，沒(méi)有感知到存在其他用戶期望與其交流，自然不會(huì)進(jìn)入到手語(yǔ)或書(shū)寫(xiě)的交互階段。這種現(xiàn)有的交互方法，導(dǎo)致用戶容易錯(cuò)過(guò)大量的交流溝通的機(jī)會(huì)，大大降低了用戶與其他用戶進(jìn)行交流的幾率，嚴(yán)重影響用戶的日常生活、工作和學(xué)習(xí)。

另一種現(xiàn)有的交互方法通常是，用戶通過(guò)佩戴的助聽(tīng)器，感知其他用戶的聲音，進(jìn)而與其他用戶進(jìn)行交流。然而，本發(fā)明的發(fā)明人發(fā)現(xiàn)，對(duì)于聽(tīng)力障礙較為嚴(yán)重的用戶而言，即使已佩戴了助聽(tīng)器，也經(jīng)常出現(xiàn)忽略發(fā)聲(例如打招呼)期望與該用戶進(jìn)行交流的其他用戶，容易錯(cuò)過(guò)大量的交流溝通的機(jī)會(huì)，大大降低了用戶與其他用戶進(jìn)行交流的幾率，嚴(yán)重影響用戶的日常生活、工作和學(xué)習(xí)。

綜上，針對(duì)聽(tīng)力障礙的用戶的現(xiàn)有的交互方法，存在聽(tīng)力障礙的用戶容易忽略期望通過(guò)語(yǔ)音與其進(jìn)行交流的其他用戶而錯(cuò)失交流機(jī)會(huì)的缺陷。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)現(xiàn)有的聽(tīng)力障礙的用戶存在的容易忽略期望通過(guò)語(yǔ)音與該用戶進(jìn)行交流的其他用戶的缺陷，提供了一種交互系統(tǒng)、交互方法以及交互裝置，目的在于將聲源(例如其他用戶)發(fā)出的聲音轉(zhuǎn)換為人腦可以感知到的觸感信號(hào)，使得聽(tīng)力存在障礙的用戶通過(guò)觸覺(jué)感知到聲源方位，從而意識(shí)到該方位存在期望與其交流的其他用戶，大大提升了具有聽(tīng)力障礙的用戶與其他用戶進(jìn)行交流溝通的幾率。

本發(fā)明實(shí)施例根據(jù)第一個(gè)方面，提供一種交互系統(tǒng)，包括：

腦電電極陣列，覆蓋于用戶頭部表面；

微型麥克風(fēng)陣列；

信號(hào)處理電路，分別與所述腦電電極陣列和微型麥克風(fēng)陣列電連接；

存儲(chǔ)器，與所述信號(hào)處理電路電連接；

至少一個(gè)程序，存儲(chǔ)于所述存儲(chǔ)器中，被配置為由所述信號(hào)處理電路執(zhí)行，用于：

根據(jù)所述微型麥克風(fēng)陣列輸出的基于聲源的音頻信號(hào)，確定出所述聲源的方位；

確定出所述腦電電極陣列中與所述聲源的方位相對(duì)應(yīng)的腦電電極；

調(diào)用所述相對(duì)應(yīng)的腦電電極輸出觸感信號(hào)，使得所述用戶感知。

進(jìn)一步地，所述信號(hào)處理電路，分別與所述腦電電極陣列和微型麥克風(fēng)陣列電連接，包括：

信號(hào)處理電路，位于所述腦電電極陣列之上，并與所述腦電電極陣列電連接；

微型麥克風(fēng)陣列，覆蓋于所述信號(hào)處理電路，并與所述信號(hào)處理電路電連接。

進(jìn)一步地，所述微型麥克風(fēng)陣列包括：多個(gè)微型麥克風(fēng)；

所述信號(hào)處理電路包括：處理器和多個(gè)轉(zhuǎn)換電路；以及

所述微型麥克風(fēng)陣列，與所述信號(hào)處理電路電連接，包括：

各微型麥克風(fēng)分別與各轉(zhuǎn)換電路電連接；各轉(zhuǎn)換電路都與所述處理器電連接；以及

所述信號(hào)處理電路，與所述腦電電極陣列電連接，包括：

所述處理器與所述腦電電極陣列中的各腦電電極電連接；以及

所述至少一個(gè)程序，被配置為由所述信號(hào)處理電路執(zhí)行，包括：

所述至少一個(gè)程序被配置為由所述處理器執(zhí)行。

進(jìn)一步地，所述至少一個(gè)程序具體配置用于：

根據(jù)所述多個(gè)微型麥克風(fēng)輸出的基于聲源的音頻信號(hào)的強(qiáng)度，確定出各微型麥克風(fēng)與所述聲源之間的距離；

根據(jù)各微型麥克風(fēng)與所述聲源之間的距離，確定出所述聲源的方位。

較佳地，本發(fā)明實(shí)施例提供的交互系統(tǒng)還包括：顯示設(shè)備；以及

所述至少一個(gè)程序還配置用于確定出所述聲源的方位后，調(diào)用所述顯示設(shè)備進(jìn)行對(duì)應(yīng)顯示。

較佳地，本發(fā)明實(shí)施例提供的交互系統(tǒng)還包括：揚(yáng)聲器陣列；所述揚(yáng)聲器陣列中的多個(gè)揚(yáng)聲器都與所述處理器電連接；以及

所述至少一個(gè)程序還配置用于通過(guò)所述腦電電極陣列獲取用戶的交互內(nèi)容腦電信號(hào)和用戶指定的方向；調(diào)用對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音。

進(jìn)一步地，所述至少一個(gè)程序配置用于通過(guò)所述腦電電極陣列接收到用戶的啟動(dòng)主動(dòng)交互腦電信號(hào)時(shí)，調(diào)用所述顯示設(shè)備在第一方向選擇界面中依次突出顯示多個(gè)方向范圍；

通過(guò)所述腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的方向范圍確定為用戶指定的方向范圍；

確定所述用戶指定的方向范圍后，調(diào)用所述顯示設(shè)備顯示交互信息輸入界面；

通過(guò)所述腦電電極陣列接收到用戶針對(duì)所述交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用所述用戶指定的方向范圍對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音。

進(jìn)一步地，所述至少一個(gè)程序還配置用于確定所述用戶指定的方向范圍后，調(diào)用所述顯示設(shè)備在第二方向選擇界面中依次突出顯示多個(gè)角度方向；

通過(guò)所述腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的角度方向確定為用戶指定的角度方向；

確定所述用戶指定的角度方向后，調(diào)用所述顯示設(shè)備顯示交互信息輸入界面；

通過(guò)所述腦電電極陣列接收到用戶針對(duì)所述交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用所述用戶指定的角度方向?qū)?yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音。

本發(fā)明的實(shí)施例根據(jù)第二個(gè)方面，還提供了一種交互方法，包括：

根據(jù)微型麥克風(fēng)陣列輸出的基于聲源的音頻信號(hào)，確定出所述聲源的方位；

確定出腦電電極陣列中與所述聲源的方位相對(duì)應(yīng)的腦電電極；

調(diào)用所述相對(duì)應(yīng)的腦電電極輸出觸感信號(hào)，使得所述用戶感知。

進(jìn)一步地，所述根據(jù)微型麥克風(fēng)陣列輸出的基于聲源的音頻信號(hào)，確定出所述聲源的方位，包括：

根據(jù)所述多個(gè)微型麥克風(fēng)輸出的基于聲源的音頻信號(hào)的強(qiáng)度，確定出各微型麥克風(fēng)與所述聲源之間的距離；

根據(jù)各微型麥克風(fēng)與所述聲源之間的距離，確定出所述聲源的方位。

較佳地，本發(fā)明實(shí)施例提供的交互方法，在確定出所述聲源的方位后還包括：

調(diào)用顯示設(shè)備對(duì)確定出的所述聲音的方向進(jìn)行對(duì)應(yīng)顯示。

較佳地，本發(fā)明實(shí)施例提供的交互方法中，調(diào)用顯示設(shè)備對(duì)確定出的所述聲音的方向進(jìn)行對(duì)應(yīng)顯示，還包括：

通過(guò)所述腦電電極陣列獲取用戶的交互內(nèi)容腦電信號(hào)和用戶指定的方向；調(diào)用揚(yáng)聲器陣列中對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音。

進(jìn)一步地，所述通過(guò)所述腦電電極陣列獲取用戶的交互內(nèi)容腦電信號(hào)和用戶指定的方向，包括：

通過(guò)所述腦電電極陣列接收到用戶的啟動(dòng)主動(dòng)交互腦電信號(hào)時(shí)，調(diào)用所述顯示設(shè)備在第一方向選擇界面中依次突出顯示多個(gè)方向范圍；

通過(guò)所述腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的方向范圍確定為用戶指定的方向范圍；以及

所述調(diào)用揚(yáng)聲器陣列中對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音，包括：

確定所述用戶指定的方向范圍后，調(diào)用所述顯示設(shè)備顯示交互信息輸入界面；

通過(guò)所述腦電電極陣列接收到用戶針對(duì)所述交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用所述用戶指定的方向范圍對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音。

進(jìn)一步地，所述通過(guò)所述腦電電極陣列獲取用戶的交互內(nèi)容腦電信號(hào)和用戶指定的方向，還包括：

確定所述用戶指定的方向范圍后，調(diào)用所述顯示設(shè)備在第二方向選擇界面中依次突出顯示多個(gè)角度方向；

通過(guò)所述腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的角度方向確定為用戶指定的角度方向；以及

所述調(diào)用揚(yáng)聲器陣列中對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音，還包括：

確定所述用戶指定的角度方向后，調(diào)用所述顯示設(shè)備顯示交互信息輸入界面；

通過(guò)所述腦電電極陣列接收到用戶針對(duì)所述交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用所述用戶指定的角度方向?qū)?yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音。

本發(fā)明的實(shí)施例根據(jù)第三個(gè)方面，還提供了一種交互裝置，包括：

聲源方向確定模塊，用于根據(jù)微型麥克風(fēng)陣列輸出的基于聲源的音頻信號(hào)，確定出所述聲源的方位；

腦電電極確定模塊，用于確定出腦電電極陣列中與所述聲源的方位相對(duì)應(yīng)的腦電電極；

信號(hào)輸出模塊，用于調(diào)用所述相對(duì)應(yīng)的腦電電極輸出觸感信號(hào)，使得所述用戶感知。

進(jìn)一步地，所述聲源方向確定模塊具體用于根據(jù)所述多個(gè)微型麥克風(fēng)輸出的基于聲源的音頻信號(hào)的強(qiáng)度，確定出各微型麥克風(fēng)與所述聲源之間的距離；根據(jù)各微型麥克風(fēng)與所述聲源之間的距離，確定出所述聲源的方位。

進(jìn)一步地，所述信號(hào)輸出模塊還用于調(diào)用顯示設(shè)備對(duì)所述聲源方向確定模塊確定出的所述聲音的方向進(jìn)行對(duì)應(yīng)顯示。

較佳地，還包括：聲音輸出模塊，用于通過(guò)所述腦電電極陣列獲取用戶的交互內(nèi)容腦電信號(hào)和用戶指定的方向；調(diào)用揚(yáng)聲器陣列中對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音。

進(jìn)一步地，所述聲音輸出模塊具體用于通過(guò)所述腦電電極陣列接收到用戶的啟動(dòng)主動(dòng)交互腦電信號(hào)時(shí)，調(diào)用所述顯示設(shè)備在第一方向選擇界面中依次突出顯示多個(gè)方向范圍；通過(guò)所述腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的方向范圍確定為用戶指定的方向范圍；確定所述用戶指定的方向范圍后，調(diào)用所述顯示設(shè)備顯示交互信息輸入界面；通過(guò)所述腦電電極陣列接收到用戶針對(duì)所述交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用所述用戶指定的方向范圍對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音。

進(jìn)一步地，所述聲音輸出模塊還用于確定所述用戶指定的方向范圍后，調(diào)用所述顯示設(shè)備在第二方向選擇界面中依次突出顯示多個(gè)角度方向；通過(guò)所述腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的角度方向確定為用戶指定的角度方向；確定所述用戶指定的角度方向后，調(diào)用所述顯示設(shè)備顯示交互信息輸入界面；通過(guò)所述腦電電極陣列接收到用戶針對(duì)所述交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用所述用戶指定的角度方向?qū)?yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音。

本發(fā)明的實(shí)施例(提供的交互系統(tǒng)、交互方法或交互裝置)中，根據(jù)微型麥克風(fēng)陣列輸出的基于聲源的音頻信號(hào)，可以確定出聲源(例如其他用戶)的方向；確定出腦電電極陣列中與聲源的方位相對(duì)應(yīng)的腦電電極并輸出觸感信號(hào)，相當(dāng)于將聲音轉(zhuǎn)換成觸感信號(hào)，通過(guò)與用戶頭部皮膚相接觸的腦電電極激勵(lì)用戶頭部使其感知，并且輸出觸感信號(hào)的腦電電極的所對(duì)應(yīng)的方位表示了聲源的方位。即使用戶聽(tīng)力障礙，也可以通過(guò)觸覺(jué)感知到對(duì)應(yīng)的腦電電極輸出的觸感信號(hào)及其方位，從而意識(shí)到該方位存在期望與其交流的其他用戶，可大大提升用戶與其他用戶進(jìn)行交流溝通的幾率，有助于提升用戶的生活、工作和學(xué)習(xí)品質(zhì)。

而且，本發(fā)明的實(shí)施例中，實(shí)現(xiàn)了無(wú)需采集或確定每個(gè)微型麥克風(fēng)的音頻信號(hào)的方向，利用微型麥克風(fēng)陣列所接收到得音頻信號(hào)強(qiáng)度皆可實(shí)現(xiàn)聲源定向，由于微型麥克風(fēng)與聲源之間的距離并不包含方向，屬于標(biāo)量，因此對(duì)各微型麥克風(fēng)與聲源之間的距離進(jìn)行處理確定出聲源位置的過(guò)程，是一個(gè)對(duì)標(biāo)量進(jìn)行處理的過(guò)程，相比于傳統(tǒng)的利用包含方向的矢量進(jìn)行處理的過(guò)程，大大降低了運(yùn)算量，提升了確定出聲源位置的速度和效率，有利于提升交互系統(tǒng)后續(xù)輸出觸感信號(hào)的實(shí)時(shí)性。

進(jìn)一步，本發(fā)明的實(shí)施例中，通過(guò)利用各種界面具體、形象地引導(dǎo)用戶選擇方向，輸入待表達(dá)的內(nèi)容，使得具有聽(tīng)力障礙或言語(yǔ)障礙的用戶與其他用戶交流更加方便。

本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

附圖說(shuō)明

本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1為用戶佩戴本發(fā)明實(shí)施例的交互系統(tǒng)中的頭戴式交互設(shè)備的頭型示例。

圖2為本發(fā)明實(shí)施例的腦電電極陣列的一個(gè)實(shí)例示意圖。

圖3為本發(fā)明實(shí)施例中交互系統(tǒng)中的頭戴式交互設(shè)備一個(gè)實(shí)例的結(jié)構(gòu)示意圖。

圖4a為本發(fā)明實(shí)施例提供的一種交互方法的流程示意圖。

圖4b為本發(fā)明實(shí)施例提供的另一種交互方法的流程示意圖。

圖5a和5b為本發(fā)明實(shí)施例提供的交互方法中的聲源定位原理和方法的一個(gè)實(shí)例的示意圖

圖6為本發(fā)明實(shí)施例提供的交互方法的第一方向選擇界面的一個(gè)實(shí)例的示意圖。

圖7為本發(fā)明實(shí)施例提供的交互方法的第二方向選擇界面的一個(gè)實(shí)例的示意圖。

圖8為本發(fā)明實(shí)施例提供的交互裝置的內(nèi)部結(jié)構(gòu)的框架示意圖。

附圖標(biāo)記如下：101-腦電電極，102-固定電極，103-振動(dòng)膜片，104-mems麥克風(fēng)，105-信號(hào)處理電路，106-保護(hù)外殼，107-絕緣結(jié)構(gòu)，108-電極，109-保護(hù)罩，110-頭部皮膚。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。

本發(fā)明的發(fā)明人考慮到，可以采用多個(gè)麥克風(fēng)，例如電容式麥克風(fēng)，又稱電容式傳聲器，來(lái)采集聲源發(fā)出的聲音，并通過(guò)后續(xù)處理確定出聲源的位置，并通知到聽(tīng)力障礙的用戶。

然而，本發(fā)明的發(fā)明人發(fā)現(xiàn)，直接采用多個(gè)麥克風(fēng)(電容式傳聲器)采集聲源發(fā)出的聲音存在很多技術(shù)問(wèn)題。例如，傳統(tǒng)的電容式傳聲器的重量和體積都較大，用戶難以隨身攜帶。例如，電容式傳聲器的輸出阻抗呈容性，電容量小，但低頻時(shí)容抗會(huì)很大。為了保證電容式傳聲器在低頻時(shí)的靈敏度，應(yīng)有一個(gè)輸入阻抗大于或等于傳聲器輸出阻抗的阻抗變換器與其相連，經(jīng)阻抗變換后再用傳輸線與放大器相連；并且電容式傳聲器需要使用電源，電源的存在導(dǎo)致整個(gè)裝置或設(shè)備的重量和體積都較大，導(dǎo)致使用很不方便。

下面結(jié)合附圖介紹本發(fā)明的技術(shù)方案。本發(fā)明的技術(shù)方案所適用的用戶包括：聽(tīng)力障礙的用戶。聽(tīng)力障礙可以是先天性的、也可以是后天造成的。聽(tīng)力障礙的用戶可以包括：指定聲響以下不具備聽(tīng)力的用戶(例如100分貝以下不具備聽(tīng)力的用戶)、徹底喪失聽(tīng)力的用戶(俗稱聾人)。進(jìn)一步，聽(tīng)力障礙的用戶還可以包括：聽(tīng)力和語(yǔ)言能力都存在障礙的用戶；例如聾啞人。

本發(fā)明提供的交互系統(tǒng)的一個(gè)具體實(shí)施例包括：頭戴式交互設(shè)備。

頭戴式交互設(shè)備包括：腦電電極陣列、信號(hào)處理電路、微型麥克風(fēng)陣列和存儲(chǔ)器。例如，圖1的左半部分為佩戴有本發(fā)明實(shí)施例交互系統(tǒng)(中的頭戴式交互設(shè)備)的用戶頭型的左側(cè)視示意圖。圖1的左半部分中接近于圓形的大圓表示用戶的頭部、大圓下方探出的圓柱面表示用戶的脖子、大圓左側(cè)探出的三角形表示用戶的鼻子、大圓內(nèi)與該三角形對(duì)應(yīng)的小橢圓表示用戶的左眼、以及大圓內(nèi)上部的小圓表示本發(fā)明實(shí)施例中的腦電電極陣列中的腦電電極101。圖1的右半部分為佩戴有本發(fā)明實(shí)施例交互系統(tǒng)(中的頭戴式交互設(shè)備)的用戶頭型的俯視示意圖。圖1的右半部分中大圓表示用戶的頭部、大圓下方探出的三角形表示用戶的鼻子、大圓內(nèi)的小圓表示腦電電極陣列中的腦電電極101。

腦電電極陣列，覆蓋于用戶頭部表面，例如，腦電電極陣列與用戶的頭部的皮膚直接接觸。

信號(hào)處理電路，分別與腦電電極陣列和微型麥克風(fēng)陣列電連接。

較佳地，信號(hào)處理電路，位于腦電電極陣列之上，并與腦電電極陣列電連接。

存儲(chǔ)器，與信號(hào)處理電路電連接。

微型麥克風(fēng)陣列，覆蓋于信號(hào)處理電路，并與信號(hào)處理電路電連接。

可以理解，信號(hào)處理電路位于腦電電極陣列與微型麥克風(fēng)陣列之間，相當(dāng)于在大體上將腦電電極陣列與微型麥克風(fēng)陣列相互(空間)隔離，有利于減少腦電電極陣列與微型麥克風(fēng)陣列之間的干擾；腦電電極陣列位于交互系統(tǒng)的頭戴式交互設(shè)備的最下方，有利于向下獲取用戶的腦電信號(hào)；微型麥克風(fēng)陣列位于交互系統(tǒng)的頭戴式交互設(shè)備的最上方，有利于向上和向水平周圍獲取各種聲源發(fā)出的聲音；并且，減少微型麥克風(fēng)陣列和腦電電極陣列兩者工作時(shí)的相互干擾。為了滿足不同客戶的使用偏好，本實(shí)施例中涉及的微型麥克風(fēng)的數(shù)量獨(dú)立，沒(méi)有固定限制，可以根據(jù)不同用戶需求靈活選擇不同數(shù)量的微型麥克風(fēng)，以多種布設(shè)方式形成微型麥克風(fēng)陣列覆蓋于用戶頭部表面。

進(jìn)一步，此處的上方和下方僅僅相對(duì)于腦電電極陣列、信號(hào)處理電路、和微型麥克風(fēng)陣列之間的設(shè)置層面而言，實(shí)際產(chǎn)品為腦電電極陣列、信號(hào)處理電路、和微型麥克風(fēng)陣列皆承載于頭戴式交互設(shè)備的襯底上，為一體式設(shè)備。頭戴式交互設(shè)備的襯底可以根據(jù)實(shí)際需要，設(shè)置為發(fā)夾形、頭箍形、帽形或頭盔形等等適合用戶頭部佩戴的形狀。

較佳地，微型麥克風(fēng)陣列包括：多個(gè)微型麥克風(fēng)。微型麥克風(fēng)具體可以是mems(micro-electro-mechanicalsystem，微機(jī)電系統(tǒng))麥克風(fēng)。本領(lǐng)域技術(shù)人員，可以根據(jù)實(shí)驗(yàn)數(shù)據(jù)、經(jīng)驗(yàn)數(shù)據(jù)、歷史數(shù)據(jù)和/或?qū)嶋H情況，確定微型麥克風(fēng)陣列中微型麥克風(fēng)的數(shù)量和排布方式。mems也叫做微電子機(jī)械系統(tǒng)、微系統(tǒng)、微機(jī)械等，是在微電子技術(shù)(半導(dǎo)體制造技術(shù))基礎(chǔ)上發(fā)展起來(lái)的，融合了光刻、腐蝕、薄膜、liga、硅微加工、非硅微加工和精密機(jī)械加工等技術(shù)制作的高科技電子機(jī)械器件。

liga這一詞源自德文lithographie，galvanoformung和abformung三個(gè)詞語(yǔ)的縮寫(xiě)，li指深度x射線刻蝕，g指電鑄成型，a指的是塑料鑄模。

信號(hào)處理電路包括：處理器和多個(gè)轉(zhuǎn)換電路。處理器可以具體是cpu(centralprocessingunit，中央處理器)、mcu(microprogrammedcontrolunit，微程序控制器)或fpga(field-programmablegatearray，現(xiàn)場(chǎng)可編程門陣列)等。

腦電電極陣列包括：多個(gè)腦電電極。本領(lǐng)域技術(shù)人員，可以根據(jù)實(shí)驗(yàn)數(shù)據(jù)、經(jīng)驗(yàn)數(shù)據(jù)、歷史數(shù)據(jù)和/或?qū)嶋H情況，確定腦電電極陣列中腦電電極的數(shù)量和排布方式。

例如，圖2示出了本發(fā)明實(shí)施例的腦電電極陣列的一個(gè)實(shí)例，可以看出圖2中的腦電電極陣列中多個(gè)腦電電極的排布方式考慮到人體腦部的多個(gè)對(duì)應(yīng)部位以求后續(xù)精準(zhǔn)定位聲源方向和采集腦電信號(hào)。圖2中包含af、f、p、po等字樣的小圓圈皆代表(標(biāo)準(zhǔn))腦電電極，為了區(qū)分腦電電極和兩大腦半球的關(guān)系，通常將設(shè)置在用戶頭頂右側(cè)用以采集用戶右腦半球的腦電信號(hào)的腦電電極用偶數(shù)標(biāo)記，將設(shè)置在用戶頭頂左側(cè)用以采集用戶左腦半球的腦電信號(hào)的腦電電極用奇數(shù)標(biāo)記。從鼻根至枕骨粗隆連一正中矢狀線，再?gòu)膬赏紫蛏稀⑾蚝笈c正中矢狀線等距的平行線順延至枕骨粗隆稱左右瞳枕線。上述腦電電極的數(shù)量和排布方式只是本發(fā)明可以采用的眾多數(shù)量和排布方式中的一種特例，還可以根據(jù)不同用戶的不同需求靈活調(diào)整腦電電極的數(shù)量和排布方式。

微型麥克風(fēng)陣列中的各微型麥克風(fēng)分別與信號(hào)處理電路中的各轉(zhuǎn)換電路電連接；各轉(zhuǎn)換電路都與處理器電連接。處理器與腦電電極陣列中的各腦電電極電連接。處理器與存儲(chǔ)器電連接。物理上，處理器可以與存儲(chǔ)器集成在一起，例如集成在同一芯片中。

較佳地，下面介紹本發(fā)明實(shí)施例中交互系統(tǒng)中的頭戴式交互設(shè)備的一個(gè)實(shí)例。圖3為本發(fā)明實(shí)施例中交互系統(tǒng)中的頭戴式交互設(shè)備一個(gè)實(shí)例的結(jié)構(gòu)示意圖。為了便于理解，如圖3所示，以一個(gè)mems麥克風(fēng)104表示微型麥克風(fēng)陣列，以一個(gè)腦電電極101表示腦電電極陣列；頭戴式交互設(shè)備最下層是直接接觸用戶頭部皮膚的腦電電極陣列，腦電電極陣列位于交互設(shè)備最下方，覆蓋于用戶頭部表面；有利于向下獲取用戶的腦電信號(hào)；連接腦電電極陣列的是位于腦電電極陣列之上的信號(hào)處理電路105，信號(hào)處理電路105分別與腦電電極陣列和位于頭戴式交互設(shè)備的最上方的微型麥克風(fēng)陣列電連接；微型麥克風(fēng)陣列覆蓋于信號(hào)處理電路105，位于交互裝置最上方，有利于向上和水平周圍獲取聲音；信號(hào)處理電路105包括處理器和多個(gè)轉(zhuǎn)換電路。為了更精準(zhǔn)高效地獲取音頻，每個(gè)轉(zhuǎn)換電路可以一一對(duì)應(yīng)一個(gè)微型麥克風(fēng)。而處理器只需配置一個(gè)，有利于簡(jiǎn)化交互系統(tǒng)電路、降低系統(tǒng)裝置成本。

圖3中，腦電電極的底面與用戶頭部皮膚110直接接觸，絕緣結(jié)構(gòu)覆蓋腦電電極的上表面，信號(hào)處理電路105設(shè)置在絕緣結(jié)構(gòu)107的上表面，mems麥克風(fēng)104設(shè)置在信號(hào)處理電路105的上方?！暗筶型”的電極108起到連接導(dǎo)線的作用，用以將信號(hào)處理電路105中處理器的輸入輸出引腳與腦電電極101相電連接?？梢岳斫?，諸如mcu的處理器型號(hào)多種多樣、其輸入輸出引腳的數(shù)量和排布方式也是多種多樣，因此“倒l型”僅僅是一個(gè)連接導(dǎo)線的特例或其部分的剖面圖示，也可以選擇其他種類處理器的輸入輸出引腳與連接導(dǎo)線之間的連接，形狀包括但不局限于“倒l型”。

mems麥克風(fēng)(屬于微型麥克風(fēng))包括位于最外層的保護(hù)罩109、位于內(nèi)部空腔中的振動(dòng)膜片103和位于底部的固定電極102。該固定電極102與信號(hào)處理電路105電連接。進(jìn)一步，腦電電極還配置有保護(hù)外殼106，用以抵抗外界干擾，例如抵抗機(jī)械外力或化學(xué)物的侵蝕，抗外界電信號(hào)干擾，從而保護(hù)腦電電極。

更優(yōu)的，本發(fā)明實(shí)施例的交互系統(tǒng)中，還包括：顯示設(shè)備。在結(jié)構(gòu)上，顯示設(shè)備可以設(shè)置在頭戴式交互設(shè)備中，也可以設(shè)置在周圍環(huán)境中；在信號(hào)交互上，顯示設(shè)備可以與信號(hào)處理電路有線或者無(wú)線電連接。

顯示設(shè)備包括顯示屏幕，顯示屏幕用于輸入和/或顯示用戶指定的(用以主動(dòng)交互的)方向。

顯示屏幕的實(shí)體形態(tài)有多種選擇，可以是板式顯示屏，也可以是滿足具有聽(tīng)力障礙的用戶向聲源方向回應(yīng)交流的迫切需求，進(jìn)一步支持用戶主動(dòng)發(fā)起交互的需求，例如基于虛擬現(xiàn)實(shí)技術(shù)研制出的vr(virtualreality，虛擬現(xiàn)實(shí))眼鏡。還可以是通過(guò)遠(yuǎn)程無(wú)線連接并且可供多人同時(shí)觀看的大屏幕。虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，它利用計(jì)算機(jī)生成一種模擬環(huán)境，是一種多源信息融合的、交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。

更優(yōu)的，本發(fā)明實(shí)施例的交互系統(tǒng)的頭戴式交互設(shè)備中，還包括：揚(yáng)聲器陣列。

揚(yáng)聲器陣列中的多個(gè)揚(yáng)聲器都與處理器電連接。揚(yáng)聲器陣列中的多個(gè)揚(yáng)聲器都與信號(hào)處理電路中的處理器電連接；當(dāng)信號(hào)處理電路中的至少一個(gè)程序通過(guò)腦電電極陣列獲取用戶的交互內(nèi)容腦電信號(hào)和用戶指定的方向后；調(diào)用對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于交互內(nèi)容腦電信號(hào)的聲音，即揚(yáng)聲器陣列朝向聲源方向發(fā)出語(yǔ)音。

揚(yáng)聲器的數(shù)量設(shè)置和排布方式也有多種，根據(jù)用戶不同需求可以設(shè)置一個(gè)、兩個(gè)或兩個(gè)以上揚(yáng)聲器。當(dāng)設(shè)置一個(gè)揚(yáng)聲器時(shí)，可以選擇將揚(yáng)聲器設(shè)設(shè)置在頭頂正上方；當(dāng)設(shè)置兩個(gè)揚(yáng)聲器時(shí)，可以選擇將揚(yáng)聲器分別排布在左右腦半球區(qū)域；當(dāng)設(shè)置兩個(gè)以上揚(yáng)聲器，例如四個(gè)揚(yáng)聲器時(shí)，可以選擇將揚(yáng)聲器分別排布在東西南北不同方向的頭部區(qū)域。

與上述實(shí)施例提供的交互系統(tǒng)相配套，本發(fā)明還提供一種交互方法，該方法的流程示意圖如圖4a所示，包括下述步驟：s401：根據(jù)微型麥克風(fēng)陣列輸出的基于聲源的音頻信號(hào)，確定出聲源的方位。s402：確定出腦電電極陣列中與聲源的方位相對(duì)應(yīng)的腦電電極。s403：調(diào)用相對(duì)應(yīng)的腦電電極輸出觸感信號(hào)，使得用戶感知。

上述步驟s401中，根據(jù)微型麥克風(fēng)陣列輸出的基于聲源的音頻信號(hào)，確定出聲源的方位的具體方法，進(jìn)一步包括：

根據(jù)多個(gè)微型麥克風(fēng)輸出的基于聲源的音頻信號(hào)的強(qiáng)度，確定出各微型麥克風(fēng)與聲源之間的距離。根據(jù)各微型麥克風(fēng)與聲源之間的距離，確定出聲源的方位。

進(jìn)一步地，微型麥克風(fēng)陣列包含多個(gè)微型麥克風(fēng)，利用多個(gè)微型麥克風(fēng)針對(duì)同一聲源所采集轉(zhuǎn)化的音頻信號(hào)強(qiáng)度，確定出聲源位置。

上述利用多個(gè)微型麥克風(fēng)針對(duì)同一聲源所采集轉(zhuǎn)化的音頻信號(hào)強(qiáng)度，確定出聲源位置的過(guò)程，無(wú)需采集或確定每個(gè)微型麥克風(fēng)的音頻信號(hào)的方向，利用基于聲源的音頻信號(hào)的強(qiáng)度，即可確定出各微型麥克風(fēng)與聲源之間的距離，進(jìn)而確定出聲源位置。

本發(fā)明的發(fā)明人經(jīng)過(guò)研究發(fā)現(xiàn)，聲源發(fā)出的音頻會(huì)隨著音頻傳輸距離而變化，在沒(méi)有外界擴(kuò)音設(shè)備參與下，音頻強(qiáng)度與傳播距離成反比關(guān)系；位于頭部上方不同位置的多個(gè)微型麥克風(fēng)針對(duì)同一聲源在同一時(shí)間所采集的音頻信號(hào)強(qiáng)度有所不同，信號(hào)強(qiáng)代表聲源與強(qiáng)信號(hào)所對(duì)應(yīng)的微型麥克風(fēng)之間的距離較小，信號(hào)弱代表聲源與弱信號(hào)所對(duì)應(yīng)的微型麥克風(fēng)之間的距離較大。因此，基于上述發(fā)現(xiàn)，本發(fā)明實(shí)施例中可以根據(jù)多個(gè)微型麥克風(fēng)輸出的基于聲源的音頻信號(hào)的強(qiáng)度，確定出各微型麥克風(fēng)與聲源之間的距離。

容易看出，本發(fā)明實(shí)施例中，確定出的微型麥克風(fēng)與聲源之間的距離與該微型麥克風(fēng)接收到聲源的聲音強(qiáng)度成正比，接收到的聲音強(qiáng)度越大，轉(zhuǎn)換出的音頻信號(hào)的強(qiáng)度越大，確定出的微型麥克風(fēng)與聲源之間的距離越小。反之亦然。

微型麥克風(fēng)與聲源之間的距離并不包含方向，屬于標(biāo)量，因此對(duì)各微型麥克風(fēng)與聲源之間的距離進(jìn)行處理確定出聲源位置的過(guò)程，是一個(gè)對(duì)標(biāo)量進(jìn)行處理的過(guò)程，相比于傳統(tǒng)的利用包含方向的矢量進(jìn)行處理的過(guò)程，大大降低了運(yùn)算量，提升了確定出聲源位置的速度和效率，有利于提升交互系統(tǒng)后續(xù)輸出觸感信號(hào)的實(shí)時(shí)性。

下面具體介紹根據(jù)各微型麥克風(fēng)與聲源之間的距離，確定出聲源的方位的原理和方法。

較佳地，根據(jù)各微型麥克風(fēng)與聲源之間的距離，確定出聲源的方位的一種原理和方法包括：

根據(jù)第一、二個(gè)微型麥克風(fēng)與聲源之間的距離，確定出聲源的多個(gè)候選位置，這些候選位置構(gòu)成以該兩個(gè)微型麥克風(fēng)所在線段為軸的圓。

根據(jù)第三個(gè)微型麥克風(fēng)與聲源之間的距離，從聲源的多個(gè)候選位置中，確定出聲源的兩個(gè)鏡像候選位置。具體地，第一、二個(gè)微型麥克風(fēng)投影到多個(gè)候選位置所在平面的投影點(diǎn)(重合)都為上述圓的圓心，第三個(gè)微型麥克風(fēng)投影到該平面的投影點(diǎn)為第三投影點(diǎn)，過(guò)圓心和第三投影點(diǎn)的直徑將上述圓分成軸對(duì)稱的(鏡像的)兩部分。通常該圓上存在兩個(gè)點(diǎn)關(guān)于上述直徑對(duì)稱，即為聲源的兩個(gè)鏡像候選位置。兩個(gè)鏡像候選位置到第三投影點(diǎn)的距離(可以稱為面內(nèi)距離)相等；第三個(gè)微型麥克風(fēng)到每個(gè)鏡像候選位置的距離，都等于第三個(gè)微型麥克風(fēng)到上述平面的距離(可以稱為軸向距離)。因此，第三個(gè)微型麥克風(fēng)到聲源的兩個(gè)鏡像候選位置的距離相等。

根據(jù)第四個(gè)微型麥克風(fēng)與聲源之間的距離，從聲源的兩個(gè)鏡像候選位置中，確定出聲源的真實(shí)位置。

可以理解，無(wú)需遍歷微型麥克風(fēng)陳列中的所有微型麥克風(fēng)，只需任意或者隨機(jī)選擇4個(gè)(例如第一至第四)微型麥克風(fēng)，就可以根據(jù)4個(gè)微型麥克風(fēng)與聲源之間的距離，確定出聲源的真實(shí)位置。

進(jìn)一步，可以從微型麥克風(fēng)陳列中選取相互之間距離超過(guò)設(shè)定間距閾值的4個(gè)微型麥克風(fēng)，微型麥克風(fēng)之間的間距越大，則不同微型麥克風(fēng)針對(duì)同一聲源輸出的音頻信號(hào)的強(qiáng)度的差值越大，確定出的不同微型麥克風(fēng)與同一聲源之間的距離的差別更大，更有利于減小誤差對(duì)確定聲源的真實(shí)位置的影響。例如，可以從微型麥克風(fēng)陳列中選取最靠前、最靠后、最靠左和最靠右的4個(gè)微型麥克風(fēng)，以確定出聲源的真實(shí)位置。

例如，如圖5a所示，a、b、c和d4個(gè)小圓分別表示微型麥克風(fēng)陣列中的4個(gè)微型麥克風(fēng)，位于上方的小圓表示聲源的真實(shí)位置。a、d、r分別表示微型麥克風(fēng)a與聲源之間的距離、微型麥克風(fēng)d與聲源之間的距離、微型麥克風(fēng)a與微型麥克風(fēng)d之間的距離。

圖5b為聲源定位過(guò)程中聲源的多個(gè)候選位置所在平面的一個(gè)實(shí)例的示意圖，圖5b的觀看角度(或方向)為基于圖5a，沿點(diǎn)d向點(diǎn)a方向的觀看角度(或方向)。

如圖5b所示，以ad為軸旋轉(zhuǎn)一周，得到一個(gè)位于與ad垂直的平面上的圓，a和d都投影在該圓上。d1為d在該平面中的投影點(diǎn)。該圓上的每個(gè)點(diǎn)都是聲源的候選位置。也就是說(shuō)，聲源的每個(gè)候選位置都滿足到微型麥克風(fēng)a、d的距離分別為a和d。

引入第三個(gè)微型麥克風(fēng)b，將b到聲源的之間的距離分解為b點(diǎn)到聲源的多個(gè)候選位置構(gòu)成圓所在平面的軸向距離(即b到其投影點(diǎn)b1的距離)、以及b的投影點(diǎn)b1與聲源的候選位置之間的面內(nèi)距離。b1和d1所在直徑將該圓等分成對(duì)稱的兩半，將從該圓上確定出到b投影點(diǎn)b1的面內(nèi)距離相等且該面內(nèi)距離符合b到聲源的之間的距離的兩個(gè)點(diǎn)，作為聲源的兩個(gè)鏡像候選位置。圖5b中s1和s’1分別為作為聲源的兩個(gè)候選位置。所謂面內(nèi)距離符合b到聲源的之間的距離，包括：以軸向距離和面內(nèi)距離分別為直角三角形的兩個(gè)直角邊長(zhǎng)度，滿足該直接三角形的斜邊長(zhǎng)度等于b到聲源的之間的距離。此時(shí)，聲源的兩個(gè)鏡像候選位置與b之間的距離相等，且都等于b與聲源之間的距離。

引入第四個(gè)微型麥克風(fēng)c，聲源的兩個(gè)鏡像候選位置中必然只存在一個(gè)位置，使得該一個(gè)位置與c之間的距離，等于預(yù)先確定出的c與音源之間的距離，該一個(gè)位置即為聲源的真實(shí)位置。因此，可以根據(jù)c與音源之間的距離，從聲源的兩個(gè)鏡像候選位置中確定出聲源的真實(shí)位置。

較佳地，根據(jù)各微型麥克風(fēng)與所述聲源之間的距離，確定出所述聲源的方位的另一種原理和方法包括：

首先，以每個(gè)微型麥克風(fēng)底部的固定電極所在位置為一個(gè)基準(zhǔn)點(diǎn)，選取至少四個(gè)基準(zhǔn)點(diǎn)，所選的四個(gè)基準(zhǔn)點(diǎn)滿足以下條件：四個(gè)基準(zhǔn)點(diǎn)中任意三個(gè)基準(zhǔn)點(diǎn)不在同一直線上。

其次，微型麥克風(fēng)接收到的來(lái)自聲源的聲音信號(hào)，由于聲音信號(hào)的強(qiáng)弱與聲源至微型麥克風(fēng)的距離有關(guān)系，因此需要檢測(cè)聲源至每個(gè)微型麥克風(fēng)接收到的音頻的強(qiáng)度特征進(jìn)而獲得每個(gè)微型麥克風(fēng)與聲源之間的距離參數(shù)。

再次，在上述已選取的四個(gè)基準(zhǔn)點(diǎn)中任意選擇出三個(gè)基準(zhǔn)點(diǎn)，根據(jù)三角定理推算出得出第一聲源位置和第二聲源位置，所述第一聲源位置為真實(shí)聲源，所述第二聲源位置為真實(shí)聲源的虛擬鏡像。

然后，引入第四個(gè)基準(zhǔn)點(diǎn)，結(jié)合第四個(gè)基準(zhǔn)點(diǎn)所屬微型麥克風(fēng)與聲源之間的距離參數(shù)特征，依據(jù)音頻強(qiáng)度與傳播距離成反比關(guān)系，排除不符合客觀規(guī)律的第二聲源位置，進(jìn)而唯一判斷出真實(shí)聲源方位。

還可以：先選擇兩個(gè)基準(zhǔn)點(diǎn)，然后隨機(jī)引入第三個(gè)基準(zhǔn)點(diǎn)，判定所選的三個(gè)基準(zhǔn)點(diǎn)是否在同一直線上，若三點(diǎn)在同一直線，則將第三個(gè)基準(zhǔn)點(diǎn)作為無(wú)效點(diǎn)處理，重新引入新的第三個(gè)基準(zhǔn)點(diǎn)，再次判斷，直至三點(diǎn)不同屬同一條直線為止。根據(jù)三角定理推算得出代表真實(shí)聲源的第一聲源位置和代表虛擬鏡像的第二聲源位置。隨機(jī)引入第四個(gè)基準(zhǔn)點(diǎn)，依據(jù)音頻強(qiáng)度與傳播距離成反比關(guān)系，排除不符合客觀規(guī)律的第二聲源位置，進(jìn)而唯一判斷出真實(shí)聲源方位。

四個(gè)基準(zhǔn)點(diǎn)的選取還存在另一種實(shí)施方式：即

預(yù)先設(shè)定一個(gè)閾值，作為引入基準(zhǔn)點(diǎn)的準(zhǔn)入條件；接下來(lái)，隨機(jī)選取兩個(gè)基準(zhǔn)點(diǎn)，判斷所選取的兩個(gè)基準(zhǔn)點(diǎn)之間的距離是否大于或等于預(yù)先設(shè)定的這個(gè)閾值；若所選的兩個(gè)基準(zhǔn)點(diǎn)之間的距離大于或等于這個(gè)閾值，則認(rèn)為所選的這兩個(gè)基準(zhǔn)點(diǎn)為有效點(diǎn)，保留；若小于這個(gè)預(yù)先設(shè)定的閾值，則認(rèn)為這兩個(gè)基準(zhǔn)點(diǎn)為無(wú)效點(diǎn)，舍棄。重新選擇基準(zhǔn)點(diǎn)，直至所選的兩個(gè)基準(zhǔn)點(diǎn)皆滿足準(zhǔn)入條件；閾值的設(shè)定一方面考慮到腦電電極陣列所包含的腦電電極的數(shù)量，另一方面考慮到腦電電極陣列的排布方式，若腦電電極兩個(gè)基準(zhǔn)點(diǎn)之間的距離優(yōu)選為大于兩個(gè)相鄰腦電電極的直線距離。然后隨機(jī)引入第三個(gè)基準(zhǔn)點(diǎn)，判定所選的第三個(gè)基準(zhǔn)點(diǎn)是否與上述已經(jīng)選出的兩個(gè)基準(zhǔn)點(diǎn)在同一直線上，若三點(diǎn)在同一直線上，則將第三個(gè)基準(zhǔn)點(diǎn)作為無(wú)效點(diǎn)處理，重新引入新的第三個(gè)基準(zhǔn)點(diǎn)，再次判斷，直至三點(diǎn)不同屬同一條直線為止。

根據(jù)三角定理推算得出代表真實(shí)聲源的第一聲源位置和代表虛擬鏡像的第二聲源位置。隨機(jī)引入第四個(gè)基準(zhǔn)點(diǎn)，依據(jù)音頻強(qiáng)度與傳播距離成反比關(guān)系，排除不符合客觀規(guī)律的第二聲源位置，進(jìn)而唯一判斷出真實(shí)聲源方位。

上述步驟s402中，確定出腦電電極陣列中與聲源的方位相對(duì)應(yīng)的腦電電極的具體方法進(jìn)一步包括：將已確定出的聲源方向與布設(shè)在不同方位的腦電電極的朝向進(jìn)行匹配，選出朝向與聲源方向最為契合(最為接近)的一個(gè)或多個(gè)腦電電極，作為與聲源的方位相對(duì)應(yīng)的腦電電極。較佳地，將朝向與聲源方向最為契合(最為接近)的一個(gè)或多個(gè)腦電電極列入備選組。結(jié)合聲源距離、用戶腦使用偏好、腦電電極排布密度等因素從備選組選出一個(gè)或多個(gè)腦電電極，將其認(rèn)定為與聲源的方位相對(duì)應(yīng)的腦電電極。

較佳地，利用已確定出的聲源方向與布設(shè)在不同方位的腦電電極之間的距離不同，選出與聲源方向距離相對(duì)較近的一個(gè)或多個(gè)腦電電極。

上述步驟s403中，調(diào)用所述相對(duì)應(yīng)的腦電電極輸出觸感信號(hào)，使得所述用戶感知的具體方法進(jìn)一步包括：

控制腦電電極陣列中與聲源的方位相對(duì)應(yīng)的腦電電極發(fā)出觸感信號(hào)，觸感信號(hào)包括電流和/或振動(dòng)，以使用戶通過(guò)受到電流激勵(lì)和/或振動(dòng)激勵(lì)明確感知到聲源方向。

較佳地，電流激勵(lì)是指腦電電極向與用戶接觸的頭部外表皮發(fā)出一定強(qiáng)度范圍內(nèi)的電流，用以提示用戶感知聲源位置；震動(dòng)激勵(lì)是指腦電電極在與用戶接觸的頭部外表皮產(chǎn)生一定強(qiáng)度范圍內(nèi)的機(jī)械震動(dòng)，用以提示用戶感知聲源位置。

可以理解，確定出腦電電極陣列中與聲源的方位相對(duì)應(yīng)的腦電電極并輸出觸感信號(hào)，相當(dāng)于將聲音轉(zhuǎn)換為了用戶的觸覺(jué)可以感知到的觸感信號(hào)，并且輸出觸感信號(hào)的腦電電極的方位表示了聲源的方位。即使用戶聽(tīng)力障礙，也可以通過(guò)觸覺(jué)感知到對(duì)應(yīng)的腦電電極輸出的觸感信號(hào)及其方位，從而意識(shí)到該方位存在期望與其交流的其他用戶，可大大提升用戶與其他用戶進(jìn)行交流溝通的幾率，有助于提升用戶的生活、工作和學(xué)習(xí)品質(zhì)。

較佳地，在上述步驟s401中確定出聲源的方位后，還可以調(diào)用顯示設(shè)備進(jìn)行對(duì)應(yīng)顯示確定出的聲源的方位。較佳地，調(diào)用顯示設(shè)備在其顯示界面中顯示聲源的方位，以提示用戶。例如，根據(jù)聲源的方位，在顯示設(shè)備的對(duì)應(yīng)的象限或者方向上、且與表示用戶的原點(diǎn)之間的距離為與聲源的音頻信號(hào)的強(qiáng)度成設(shè)定比例的距離處，顯示閃爍的光標(biāo)、或表示方向的箭頭等等。

有些聽(tīng)力障礙的用戶視力并不存在障礙，這些用戶既能夠接收腦電電極發(fā)來(lái)的以電流和/或振動(dòng)方式的觸感信號(hào)，還能夠通過(guò)基于視覺(jué)方式獲得方向信息。因此，增設(shè)顯示設(shè)備恰好滿足了這部分用戶的需求。

很多聽(tīng)力障礙的用戶雖然通過(guò)本發(fā)明實(shí)施例提供的上述交互方法已經(jīng)成功解決了通過(guò)觸覺(jué)感知到存在期望與該用戶進(jìn)行交流的其他用戶的方位信息問(wèn)題，但隨之又產(chǎn)生了聽(tīng)力障礙的用戶期望回應(yīng)有交流意愿的其他用戶的需求，此處的其他用戶是指本發(fā)明中作為聲源的用戶或是聲源位置所在的用戶。

為了滿足具有聽(tīng)力障礙的用戶向聲源方向回應(yīng)交流的迫切需求，進(jìn)一步支持用戶主動(dòng)發(fā)起交互的需求，本發(fā)明在上述交互方法的基礎(chǔ)上，還提供了另一種交互方法，該另一個(gè)交互方法的流程示意圖如圖4b所示，包括上述步驟s401-s403，還包括如下步驟：

步驟s404：通過(guò)腦電電極陣列獲取用戶的交互內(nèi)容腦電信號(hào)和用戶指定的方向。

通過(guò)腦電電極陣列接收到用戶的啟動(dòng)主動(dòng)交互腦電信號(hào)時(shí)，調(diào)用顯示設(shè)備在第一方向選擇界面中依次突出顯示多個(gè)方向范圍；通過(guò)腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的方向范圍確定為用戶指定的方向范圍。

這里的啟動(dòng)主動(dòng)交互腦電信號(hào)是指用戶向腦電電極陣列發(fā)出的用于表達(dá)已經(jīng)存在主動(dòng)與其他用戶交流需求的請(qǐng)求、提示性腦電信號(hào)。

交互內(nèi)容腦電信號(hào)承載了用戶想要表達(dá)的與其他用戶的進(jìn)行交流的內(nèi)容。本發(fā)明實(shí)施例中，通常在接收到用戶產(chǎn)生(即認(rèn)為用戶主動(dòng)發(fā)送)的在啟動(dòng)主動(dòng)交互腦電信號(hào)被響應(yīng)后，進(jìn)一步才能獲取繼續(xù)發(fā)出用戶產(chǎn)生的交互內(nèi)容腦電信號(hào)。

較佳地，可以預(yù)選對(duì)用戶的啟動(dòng)主動(dòng)交互腦電信號(hào)進(jìn)行訓(xùn)練，訓(xùn)練得到用戶的樣本啟動(dòng)主動(dòng)交互腦電信號(hào)。例如，讓用戶重復(fù)地想象開(kāi)始與其他用戶進(jìn)行交流的動(dòng)作、或神態(tài)等場(chǎng)景狀態(tài)，同時(shí)通過(guò)專門的設(shè)備收集用戶在想象時(shí)的腦電信號(hào)，對(duì)收集得到的腦電信號(hào)進(jìn)行處理，得到樣本啟動(dòng)主動(dòng)交互腦電信號(hào)，生成樣本啟動(dòng)主動(dòng)交互腦電信號(hào)的訓(xùn)練模型。

之后，當(dāng)接收到用戶的腦電信號(hào)時(shí)，將接收到的用戶的腦電信號(hào)，與訓(xùn)練模型中的樣本啟動(dòng)主動(dòng)交互腦電信號(hào)進(jìn)行比較；若比較結(jié)果為一致，則確定接收到的用戶的腦電信號(hào)為啟動(dòng)主動(dòng)交互腦電信號(hào)；若比較結(jié)果為不一致，則確定接收到的用戶的腦電信號(hào)不是啟動(dòng)主動(dòng)交互腦電信號(hào)，例如可以放棄該腦電信號(hào)以及后續(xù)的流程，以節(jié)省處理資源。

同理，可以訓(xùn)練出各樣本交互內(nèi)容腦電信號(hào)，并確定出各交互內(nèi)容腦電信號(hào)；可以訓(xùn)練出后續(xù)的樣本確定腦電信號(hào)，并確定出確定腦電信號(hào)；可以訓(xùn)練出后續(xù)的樣本否定腦電信號(hào)，并確定出否定腦電信號(hào)；不再贅述。

步驟s405，調(diào)用對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于交互內(nèi)容腦電信號(hào)的聲音。

確定用戶指定的方向范圍后，調(diào)用顯示設(shè)備顯示交互信息輸入界面；通過(guò)腦電電極陣列接收到用戶針對(duì)交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用用戶指定的方向范圍對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于交互內(nèi)容腦電信號(hào)的聲音。

進(jìn)一步地，上述步驟s404中，確定所述用戶指定的方向范圍后，調(diào)用顯示設(shè)備在第二方向選擇界面中依次突出顯示多個(gè)角度方向；通過(guò)腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的角度方向確定為用戶指定的角度方向。進(jìn)一步地，上述步驟s405中，確定所述用戶指定的角度方向后，調(diào)用顯示設(shè)備顯示交互信息輸入界面；通過(guò)腦電電極陣列接收到用戶針對(duì)交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用用戶指定的角度方向?qū)?yīng)的至少一個(gè)揚(yáng)聲器輸出基于交互內(nèi)容腦電信號(hào)的聲音。

進(jìn)一步地，腦電電極陣列接收到用戶的腦電信號(hào)后首先對(duì)比確定所接收的腦電信號(hào)是否是代表著“用戶指定的方向范圍”的確定腦電信號(hào)，這個(gè)過(guò)程通過(guò)預(yù)先采集大量腦電信號(hào)作為樣本，經(jīng)訓(xùn)練得出與聲源方位信息相對(duì)應(yīng)的腦電信號(hào)作為標(biāo)準(zhǔn)參照樣本存儲(chǔ)至位于信號(hào)處理電路的樣本庫(kù)中，當(dāng)用戶主動(dòng)發(fā)射出包含聲源方位信息的確定腦電信號(hào)時(shí)，將其與樣本庫(kù)中的樣本做一一比對(duì)，分析選出樣本庫(kù)中與所述確定腦電信號(hào)相匹配的樣本。

確定腦電信號(hào)是指用戶發(fā)出的作出肯定判斷的的腦電信號(hào)；否定腦電信號(hào)是指用戶發(fā)出的作出否定判斷的腦電信號(hào)。

結(jié)合圖6所示，圖6示出了第一方向選擇界面的一個(gè)實(shí)例，將方位分為東西南北4個(gè)方向，然后光標(biāo)在4個(gè)象限依次閃爍(也可以采用其他提示標(biāo)識(shí)在第一方向選擇界面上依次突出顯示，對(duì)腦電測(cè)試，反饋為“強(qiáng)”的說(shuō)明在這個(gè)象限范圍內(nèi)。此處的“強(qiáng)”是指腦電電極陣列接收到用戶的確定腦電信號(hào)滿足了上述經(jīng)訓(xùn)練得出與聲源方位信息相對(duì)應(yīng)的作為標(biāo)準(zhǔn)參照樣本的腦電信號(hào)的對(duì)應(yīng)條件。圖7為第二方向選擇界面的一個(gè)實(shí)例的示意圖。結(jié)合圖7可知，用戶選擇了一個(gè)較大范圍的方向范圍之后，可以在第二方向選擇界面的提示下進(jìn)一步明確用戶所選擇的某一個(gè)角度方向，例如30°，45°，60°。用戶響應(yīng)第二方向選擇界面的提示信息，例如第二方向選擇界面上出現(xiàn)依次在30°，45°，60°的區(qū)域范圍內(nèi)閃爍的光標(biāo)，當(dāng)接收到用戶輸出的確定腦電信號(hào)時(shí)，認(rèn)為用戶選擇了“是”，將此時(shí)對(duì)應(yīng)閃爍的30°、45°或60°作為該用戶指定的角度方向。

可以理解，當(dāng)用戶主動(dòng)向其他用戶發(fā)聲(交互或表達(dá))時(shí)，系統(tǒng)包括如下三種腦電信號(hào)協(xié)同作用：

用以觸發(fā)主動(dòng)互交的啟動(dòng)主動(dòng)交互腦電信號(hào)、用以獲取用戶指定(發(fā)聲)方向的確定腦電信號(hào)和用以獲取用戶待表達(dá)內(nèi)容的交互內(nèi)容腦電信號(hào)。

啟動(dòng)主動(dòng)交互腦電信號(hào)是指當(dāng)用戶向交互系統(tǒng)的腦電電極陣列發(fā)射具有主動(dòng)交互的主觀意愿的腦電信號(hào)；確定腦電信號(hào)是當(dāng)交互系統(tǒng)中的顯示設(shè)備在某一方向選擇界面中突出顯示多個(gè)方向范圍時(shí)，用戶向交互系統(tǒng)的腦電電極陣列發(fā)射表示完全肯定或完全否定的具有確定性回應(yīng)的腦電信號(hào)。

交互內(nèi)容腦電信號(hào)是當(dāng)本實(shí)施例提供的交互系統(tǒng)通過(guò)腦電電極陣列接收到用戶的確定腦電信號(hào)后，提示用戶輸入待表達(dá)的內(nèi)容，用戶在此種提示界面下向腦電電極陣列反饋的表示具體交流信息的腦電信號(hào)，例如：“您好”，“幸會(huì)”。

上述實(shí)施例提供的包含顯示設(shè)備和揚(yáng)聲器陣列的交互方法中體現(xiàn)了顯示設(shè)備和揚(yáng)聲器陣列的協(xié)同工作過(guò)程，通過(guò)識(shí)別聽(tīng)力障礙用戶主動(dòng)發(fā)起交互的時(shí)機(jī)、識(shí)別聽(tīng)力障礙用戶指定的方向、獲取聽(tīng)力障礙用戶待表達(dá)的內(nèi)容并定向發(fā)送。通?；加新?tīng)力障礙的用戶往往言語(yǔ)表達(dá)方面也不同程度地存在缺陷，有的甚至不能正常發(fā)出聲音，無(wú)法言語(yǔ)。通過(guò)上述實(shí)施例提供的交互方法使得具有聽(tīng)力障礙的用戶實(shí)現(xiàn)了通過(guò)識(shí)別用戶指定的方向，利用各種界面具體、形象地引導(dǎo)用戶選擇方向，輸入待表達(dá)的內(nèi)容。

上述交互方法在具體實(shí)施過(guò)程中，由信號(hào)處理電路中的處理器執(zhí)行至少一個(gè)程序來(lái)完成。較佳地，至少一個(gè)程序用于：根據(jù)微型麥克風(fēng)陣列輸出的基于聲源的音頻信號(hào)，確定出聲源的方位；確定出腦電電極陣列中與聲源的方位相對(duì)應(yīng)的腦電電極；調(diào)用與聲源的方位相對(duì)應(yīng)的腦電電極輸出觸感信號(hào)以便于用戶感知。

至少一個(gè)程序用于：根據(jù)多個(gè)微型麥克風(fēng)輸出的基于聲源的音頻信號(hào)的強(qiáng)度，確定出各微型麥克風(fēng)與聲源之間的距離；根據(jù)各微型麥克風(fēng)與聲源之間的距離，確定出所述聲源的方位。

當(dāng)至少一個(gè)程序通過(guò)腦電電極陣列接收到用戶的啟動(dòng)主動(dòng)交互腦電信號(hào)時(shí)，調(diào)用顯示設(shè)備在第一方向選擇界面中依次突出顯示多個(gè)方向范圍；例如，顯示設(shè)備在第一方向選擇界面中一次出現(xiàn)閃爍光標(biāo)，用以提示用戶選擇目標(biāo)方向。通過(guò)腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的方向范圍確定為用戶指定的方向范圍；

確定用戶指定的方向范圍后，調(diào)用顯示設(shè)備顯示交互信息輸入界面；通過(guò)腦電電極陣列接收到用戶針對(duì)交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用用戶指定的方向范圍對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于交互內(nèi)容腦電信號(hào)的聲音。

當(dāng)至少一個(gè)程序還配置用于確定用戶指定的方向范圍后，調(diào)用顯示設(shè)備在第二方向選擇界面中依次突出顯示多個(gè)角度方向；利用不同的界面，區(qū)分哪些腦電信號(hào)是用戶用以選擇方向的信號(hào)，哪些腦電信號(hào)是攜帶了用戶待向聲源(例如其他用戶)表達(dá)的內(nèi)容的信號(hào)。

通過(guò)腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的角度方向確定為用戶指定的角度方向；確定所述用戶指定的角度方向后，調(diào)用所述顯示設(shè)備顯示交互信息輸入界面；通過(guò)所述腦電電極陣列接收到用戶針對(duì)交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用所述用戶指定的角度方向?qū)?yīng)的至少一個(gè)揚(yáng)聲器輸出基于所述交互內(nèi)容腦電信號(hào)的聲音。

本發(fā)明還提供一種交互裝置的實(shí)施例，該裝置的內(nèi)部結(jié)構(gòu)的框架示意圖。如圖8所示，包括：聲源方向確定模塊801、腦電電極確定模塊802和信號(hào)輸出模塊803。

其中，聲源方向確定模塊801用于根據(jù)微型麥克風(fēng)陣列輸出的基于聲源的音頻信號(hào)，確定出聲源的方位。

腦電電極確定模塊802用于確定出腦電電極陣列中與聲源的方位相對(duì)應(yīng)的腦電電極。

信號(hào)輸出模塊803用于調(diào)用相對(duì)應(yīng)的腦電電極輸出觸感信號(hào)，使得用戶感知。

較佳地，聲源方向確定模塊801具體用于根據(jù)所述多個(gè)微型麥克風(fēng)輸出的基于聲源的音頻信號(hào)的強(qiáng)度，確定出各微型麥克風(fēng)與聲源之間的距離；根據(jù)各微型麥克風(fēng)與所述聲源之間的距離，確定出聲源的方位。

較佳地，信號(hào)輸出模塊803還用于調(diào)用顯示設(shè)備對(duì)所述聲源方向確定模塊確定出的所述聲音的方向進(jìn)行對(duì)應(yīng)顯示。

為了進(jìn)一步增強(qiáng)上述交互裝置的交互能力，使得使用該裝置的用戶能夠做到向指定方向主動(dòng)發(fā)出交互信息，如圖8所示，該交互裝置還包括以下模塊：聲音輸出模塊804。

聲音輸出模塊804，用于通過(guò)所述腦電電極陣列獲取用戶的交互內(nèi)容腦電信號(hào)和用戶指定的方向；調(diào)用揚(yáng)聲器陣列中對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于交互內(nèi)容腦電信號(hào)的聲音。

較佳地，聲音輸出模塊804具體用于通過(guò)腦電電極陣列接收到用戶的啟動(dòng)主動(dòng)交互腦電信號(hào)時(shí)，調(diào)用顯示設(shè)備在第一方向選擇界面中依次突出顯示多個(gè)方向范圍；通過(guò)腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的方向范圍確定為用戶指定的方向范圍；確定用戶指定的方向范圍后，調(diào)用顯示設(shè)備顯示交互信息輸入界面；通過(guò)腦電電極陣列接收到用戶針對(duì)交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用用戶指定的方向范圍對(duì)應(yīng)的至少一個(gè)揚(yáng)聲器輸出基于交互內(nèi)容腦電信號(hào)的聲音。

較佳地，聲音輸出模塊804還用于確定用戶指定的方向范圍后，調(diào)用顯示設(shè)備在第二方向選擇界面中依次突出顯示多個(gè)角度方向；通過(guò)腦電電極陣列接收到用戶的確定腦電信號(hào)時(shí)，將當(dāng)前突出顯示的角度方向確定為用戶指定的角度方向；確定用戶指定的角度方向后，調(diào)用顯示設(shè)備顯示交互信息輸入界面；通過(guò)腦電電極陣列接收到用戶針對(duì)交互信息輸入界面的指引反饋的交互內(nèi)容腦電信號(hào)時(shí)，調(diào)用用戶指定的角度方向?qū)?yīng)的至少一個(gè)揚(yáng)聲器輸出基于交互內(nèi)容腦電信號(hào)的聲音。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說(shuō)明書(shū)中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加至少一個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱元件被“連接”或“耦接”到另一元件時(shí)，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“耦接”可以包括無(wú)線連接或無(wú)線耦接。這里使用的措辭“和/或”包括一個(gè)或更多個(gè)相關(guān)聯(lián)的列出項(xiàng)的全部或任一單元和全部組合。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(yǔ)(包括技術(shù)術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ))，具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語(yǔ)，應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非像這里一樣被特定定義，否則不會(huì)用理想化或過(guò)于正式的含義來(lái)解釋。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，可以用計(jì)算機(jī)程序指令來(lái)實(shí)現(xiàn)這些結(jié)構(gòu)圖和/或框圖和/或流圖中的每個(gè)框以及這些結(jié)構(gòu)圖和/或框圖和/或流圖中的框的組合。本技術(shù)領(lǐng)域技術(shù)人員可以理解，可以將這些計(jì)算機(jī)程序指令提供給通用計(jì)算機(jī)、專業(yè)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理方法的處理器來(lái)實(shí)現(xiàn)，從而通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理方法的處理器來(lái)執(zhí)行本發(fā)明公開(kāi)的結(jié)構(gòu)圖和/或框圖和/或流圖的框或多個(gè)框中指定的方案。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，本發(fā)明中已經(jīng)討論過(guò)的各種操作、方法、流程中的步驟、措施、方案可以被交替、更改、組合或刪除。進(jìn)一步地，具有本發(fā)明中已經(jīng)討論過(guò)的各種操作、方法、流程中的其他步驟、措施、方案也可以被交替、更改、重排、分解、組合或刪除。進(jìn)一步地，現(xiàn)有技術(shù)中的具有與本發(fā)明中公開(kāi)的各種操作、方法、流程中的步驟、措施、方案也可以被交替、更改、重排、分解、組合或刪除。

以上所述僅是本發(fā)明的部分實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。