本發(fā)明涉及智能設(shè)備領(lǐng)域,特別涉及一種信息處理方法及裝置、電子設(shè)備、可穿戴設(shè)備。
背景技術(shù):
在乘坐飛機(jī)的過程中,多數(shù)人都會或多或少感到耳部不適。這主要是因?yàn)轱w機(jī)在起飛、飛行和降落的過程中氣壓不斷變化,耳室內(nèi)部受外界氣壓影響造成,分隔中耳室與外耳道的鼓膜在大氣壓力的作用下發(fā)生形變,從而引起人的耳部不適。目前,通常采用圖文、語音、振動(dòng)等提示信息提示乘客自行調(diào)節(jié),例如廣播提示乘客進(jìn)行吞咽動(dòng)作以緩解人耳在乘坐飛機(jī)時(shí)的不適。但是,提示信息通常無法準(zhǔn)確地適應(yīng)于實(shí)際氣壓變化,而且不同人對于氣壓變化的實(shí)際反應(yīng)各不相同,導(dǎo)致現(xiàn)有方式無法有效解決因氣壓變化引起人耳不適的問題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提供一種信息處理方法及裝置、電子設(shè)備、可穿戴設(shè)備,可以適應(yīng)于環(huán)境氣壓變化幫助人體緩解耳部不適。
第一方面,本發(fā)明提供一種信息處理方法,包括:
獲取用戶耳道內(nèi)的鼓膜圖像;
根據(jù)所述鼓膜圖像判斷所述用戶的鼓膜形變量是否滿足第一預(yù)設(shè)條件;
在所述用戶的鼓膜形變量滿足第一預(yù)設(shè)條件時(shí),生成至少一個(gè)觸發(fā)信號;
其中,所述觸發(fā)信號用于使所述用戶進(jìn)行吞咽動(dòng)作。
在一種可能的實(shí)現(xiàn)方式中,所述生成至少一個(gè)觸發(fā)信號,包括:
向體表電極施加電刺激信號,以在所述體表電極可導(dǎo)電地配置于所述用戶的預(yù)定體表位置時(shí)形成對所述用戶的吞咽刺激;
或者,
向外部設(shè)備發(fā)送控制信號,以使所述外部設(shè)備在接收到所述控制信號時(shí)向所連接的體表電極施加電刺激信號,以在所述體表電極可導(dǎo)電地配置于所述用戶的預(yù)定體表位置時(shí)形成對所述用戶的吞咽刺激。
在一種可能的實(shí)現(xiàn)方式中,所述在所述用戶的鼓膜形變量滿足第一預(yù)設(shè)條件時(shí),生成至少一個(gè)觸發(fā)信號,包括:
獲取所述用戶的外耳道氣壓;
在所述用戶的鼓膜形變量滿足第一預(yù)設(shè)條件,所述用戶的外耳道氣壓在單位時(shí)長內(nèi)的變化量滿足第二預(yù)設(shè)條件時(shí),生成所述至少一個(gè)觸發(fā)信號。
在一種可能的實(shí)現(xiàn)方式中,所述方法還包括:
在所述用戶的鼓膜形變量不滿足所述第一預(yù)設(shè)條件時(shí),獲取所述用戶的外耳道氣壓;
判斷所述用戶的外耳道氣壓在單位時(shí)長內(nèi)的變化量是否滿足第二預(yù)設(shè)條件;
在所述用戶的外耳道氣壓在單位時(shí)長內(nèi)的變化量滿足所述第二預(yù)設(shè)條件時(shí),生成所述至少一個(gè)觸發(fā)信號。
在一種可能的實(shí)現(xiàn)方式中,所述獲取用戶耳道內(nèi)的鼓膜圖像,包括:
獲取在至少兩個(gè)不同時(shí)刻對用戶的耳道內(nèi)的同一包含鼓膜的區(qū)域采集的至少兩個(gè)散斑圖像;
相應(yīng)地,所述根據(jù)所述鼓膜圖像判斷所述用戶的鼓膜形變量是否滿足第一預(yù)設(shè)條件,包括:
在所述至少兩個(gè)散斑圖像中確定鼓膜形變量為參考值的樣本圖像,和鼓膜形變量待測量的目標(biāo)圖像;
比較所述樣本圖像和所述目標(biāo)圖像,以確定所述樣本圖像和所述目標(biāo)圖像中最大形變位置處的散斑場區(qū)域;
基于散斑圖像的相關(guān)分析計(jì)算所述鼓膜形變量,以在所述鼓膜形變量大于預(yù)設(shè)閾值時(shí)確定其滿足所述第一預(yù)設(shè)條件,所述鼓膜形變量是所述樣本圖像和所述目標(biāo)圖像中最大形變位置處的散斑場區(qū)域之間的空間位移。
第二方面,本發(fā)明還提供一種信息處理裝置,包括:
獲取模塊,用于獲取用戶耳道內(nèi)的鼓膜圖像;
判斷模塊,用于根據(jù)所述鼓膜圖像判斷所述用戶的鼓膜形變量是否滿足第一預(yù)設(shè)條件;
生成模塊,用于在所述用戶的鼓膜形變量滿足第一預(yù)設(shè)條件時(shí),生成至少一個(gè)觸發(fā)信號;
其中,所述觸發(fā)信號用于使所述用戶進(jìn)行吞咽動(dòng)作。
第三方面,本發(fā)明還提供一種信息處理裝置,包括:
處理部件;
用于存儲所述處理部件可執(zhí)行的指令的存儲部件;
其中,所述處理部件被配置為:
獲取用戶耳道內(nèi)的鼓膜圖像;
根據(jù)所述鼓膜圖像判斷所述用戶的鼓膜形變量是否滿足第一預(yù)設(shè)條件;
當(dāng)所述用戶的鼓膜形變量滿足第一預(yù)設(shè)條件時(shí),生成至少一個(gè)觸發(fā)信號;
其中,所述觸發(fā)信號用于使所述用戶進(jìn)行吞咽動(dòng)作。
第四方面,本發(fā)明還提供一種可穿戴設(shè)備,包括支撐部件、攝像部件和數(shù)據(jù)發(fā)送模塊;其中,
所述支撐部件可穿戴在用戶的頭部或耳部;
所述攝像部件設(shè)置在所述支撐部件上,以使用戶穿戴所述支撐部件時(shí)所述攝像部件的鏡頭能夠?qū)?zhǔn)用戶的耳道內(nèi)的鼓膜;
所述數(shù)據(jù)發(fā)送模塊連接所述攝像部件,所述數(shù)據(jù)發(fā)送模塊用于將所述攝像部件采集的用戶的耳道內(nèi)采集的鼓膜圖像發(fā)送給信息處理裝置,以使所述信息處理裝置:
接收來自所述數(shù)據(jù)發(fā)送模塊的鼓膜圖像;
根據(jù)所述鼓膜圖像判斷所述用戶的鼓膜形變量是否滿足第一預(yù)設(shè)條件;
在所述用戶的鼓膜形變量滿足第一預(yù)設(shè)條件時(shí),生成至少一個(gè)觸發(fā)信號;
其中,所述觸發(fā)信號用于使所述用戶進(jìn)行吞咽動(dòng)作。
在一種可能的實(shí)現(xiàn)方式中,所述可穿戴設(shè)備還包括體表電極,所述體表電極通過電極支架固定在所述支撐部件上,以使用戶穿戴所述支撐部件時(shí)所述體表電極能夠位于用戶的預(yù)定體表位置;
所述信息處理裝置在所述用戶的鼓膜形變量滿足第一預(yù)設(shè)條件時(shí)生成第一信號;所述可穿戴設(shè)備還包括用于接收所述第一信號的接收模塊,以及連接所述接收模塊的電信號生成模塊;
所述電信號生成模塊用于在所述接收模塊接收到所述第一信號時(shí)向所連接的體表電極施加電刺激信號,以在所述體表電極可導(dǎo)電地配置于用戶的所述預(yù)定體表位置時(shí)對用戶施加吞咽刺激。
在一種可能的實(shí)現(xiàn)方式中,所述信息處理裝置作為所述可穿戴設(shè)備的一部分設(shè)置在所述支撐部件上。
由上述技術(shù)方案可知,本發(fā)明基于耳道內(nèi)的圖像獲取與鼓膜圖像的圖像處理之間的結(jié)合,可以在鼓膜形變量滿足第一預(yù)設(shè)條件時(shí)促使用戶進(jìn)行吞咽動(dòng)作,因而可以實(shí)時(shí)地適應(yīng)于用戶的實(shí)際狀態(tài)來緩解其由氣壓變化所引起的耳部不適,甚至可以在用戶感受到耳部不適之前就藉由吞咽動(dòng)作的進(jìn)行來避免其鼓膜的進(jìn)一步形變,從而可以極大程度地幫助用戶緩解可以由環(huán)境氣壓變化所造成的耳部不適,提升人體在處于氣壓變化環(huán)境時(shí)的舒適感。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案,下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明一個(gè)實(shí)施例提供的信息處理方法的流程圖;
圖2是本發(fā)明一個(gè)實(shí)施例提供的可穿戴設(shè)備的結(jié)構(gòu)示意圖;
圖3是本發(fā)明又一實(shí)施例提供的信息處理方法的實(shí)現(xiàn)方式示意圖;
圖4是本發(fā)明又一實(shí)施例提供的信息處理方法的實(shí)現(xiàn)方式示意圖;
圖5是本發(fā)明又一個(gè)實(shí)施例提供的信息處理方法的步驟流程圖;
圖6是本發(fā)明又一個(gè)實(shí)施例提供的信息處理方法的步驟流程圖;
圖7是本發(fā)明一個(gè)實(shí)施例提供的信息處理裝置的結(jié)構(gòu)框圖。
具體實(shí)施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖對本發(fā)明實(shí)施方式作進(jìn)一步地詳細(xì)描述。需指出的是,本發(fā)明提供的方法均用于非治療目的。
圖1是本發(fā)明一個(gè)實(shí)施例提供的信息處理方法的流程圖。參見圖1,本實(shí)施例的信息處理方法包括:
步驟101:獲取用戶耳道內(nèi)的鼓膜圖像。
步驟102:根據(jù)鼓膜圖像判斷用戶的鼓膜形變量是否滿足第一預(yù)設(shè)條件。
步驟103:在用戶的鼓膜形變量滿足第一預(yù)設(shè)條件時(shí),生成至少一個(gè)觸發(fā)信號。其中,觸發(fā)信號用于使用戶進(jìn)行吞咽動(dòng)作。
需要說明的是,本實(shí)施例的信息處理方法可以應(yīng)用于任一種具有圖像處理功能的電子設(shè)備,用以單獨(dú)地或與其他設(shè)備相結(jié)合地實(shí)現(xiàn)緩解用戶耳部不適的功能,具體示例將會在后文詳細(xì)描述。
還需要說明的是,本實(shí)施例中采集鼓膜圖像的可以例如是任一種可用于外耳道內(nèi)鼓膜表面成像的攝像部件,如微型攝像頭、光纖探頭、紅外線傳感器、配備有圖像傳感器的耳鏡等等,其成像精度可以根據(jù)對鼓膜形變的判斷精度要求而適應(yīng)性配置,并可以配備有照明器件以提高成像質(zhì)量。在此基礎(chǔ)之上,獲取鼓膜圖像的方式可以例如是以信號傳輸線路接收來自攝像部件的鼓膜圖像的電信號,或者基于有線或無線的通信連接接收攝像部件所發(fā)送的鼓膜圖像,等等。所獲取的鼓膜圖像可以是采集所直接得到的原始信號,也可以是由原始信號經(jīng)過例如放大、降噪、截取、壓縮等處理得到的圖像信號;適應(yīng)于鼓膜形變量的判斷,可以在原始信號中去除至少部分與鼓膜形變量判斷無關(guān)的數(shù)據(jù),以提升傳輸效率和處理速度。
還需要說明的是,本實(shí)施例中的鼓膜形變量指的是描述鼓膜形變程度大小的物理量,本實(shí)施例中的第一預(yù)設(shè)條件指的是用以基于鼓膜圖像確定是否需要使用戶進(jìn)行吞咽動(dòng)作的界定標(biāo)準(zhǔn),均可在實(shí)施時(shí)根據(jù)實(shí)際需求預(yù)先設(shè)定。例如,可以對若干張獲取到的鼓膜圖像進(jìn)行圖像識別,以確定至少一張鼓膜沒有發(fā)生形變的鼓膜圖像,提取出沒有發(fā)生形變的鼓膜的圖像特征,從而將第一預(yù)設(shè)條件設(shè)置為:鼓膜圖像中提取到的鼓膜的圖像特征相比于沒有發(fā)生形變的鼓膜的圖像特征的匹配率小于等于70%,以基于對鼓膜圖像的圖像處理快速得到鼓膜形變量的判斷結(jié)果。從上例中可以看出,判斷用戶的鼓膜形變量是否滿足第一預(yù)設(shè)條件并不一定包含根據(jù)鼓膜圖像計(jì)算鼓膜形變量的過程,而根據(jù)設(shè)定方式的不同可以具有相對應(yīng)的形式。
還需要說明的是,上述至少一個(gè)觸發(fā)信號可以包括直接輸出給用戶的提示信號(例如用于向用戶傳達(dá)提示信息的燈光、圖像、語音、文字、振動(dòng)或者其結(jié)合),或者觸發(fā)用戶提示流程的信號(例如傳輸給顯示裝置的圖像數(shù)據(jù)信號、輸出給發(fā)光二極管的開啟電壓信號,或者發(fā)送給智能手機(jī)以觸發(fā)用戶提示過程的無線信號,等等),還可以包括促使用戶進(jìn)行吞咽動(dòng)作的人體刺激信號(例如通過條件反射促使人體分泌唾液的圖像信號,或者在吞咽神經(jīng)、相關(guān)穴位等預(yù)定體表位置處對人體施加的電刺激信號,等等),或者觸發(fā)促使用戶進(jìn)行吞咽動(dòng)作的過程的信號(例如控制電刺激裝置向體表電極輸出電刺激信號的有線信號)。由于觸發(fā)用戶進(jìn)行吞咽動(dòng)作
可以看出,本發(fā)明實(shí)施例基于耳道內(nèi)的圖像獲取與鼓膜圖像的圖像處理之間的結(jié)合,可以在鼓膜形變量滿足第一預(yù)設(shè)條件時(shí)促使用戶進(jìn)行吞咽動(dòng)作,因而可以實(shí)時(shí)地適應(yīng)于用戶的實(shí)際狀態(tài)來緩解其由氣壓變化所引起的耳部不適,甚至可以在用戶感受到耳部不適之前就藉由吞咽動(dòng)作的進(jìn)行來避免其鼓膜的進(jìn)一步形變,從而可以極大程度地幫助用戶緩解可以由環(huán)境氣壓變化所造成的耳部不適,提升人體在處于氣壓變化環(huán)境時(shí)的舒適感。
圖2是本發(fā)明一個(gè)實(shí)施例提供的可穿戴設(shè)備的結(jié)構(gòu)示意圖,該可穿戴設(shè)備可用于實(shí)現(xiàn)上述信息處理方法。該可穿戴設(shè)備在本實(shí)施中具體為一個(gè)頭戴式的耳機(jī),參見圖2,該可穿戴設(shè)備包括支架21a、左右兩個(gè)耳機(jī)單元21b、微型攝像頭22、信息處理裝置23、體表電極24和電極支架25,其中:
支架21a整體上呈與人體頭部曲線相適應(yīng)的弧形,并且能夠伸縮以適應(yīng)于不同使用者的佩戴需求;兩個(gè)耳機(jī)單元21b分別安裝在支架21a的兩端,并通過隱藏在支架21a的內(nèi)部空腔中的連接線彼此相連。支架21a與兩個(gè)耳機(jī)單元21b組成可穿戴設(shè)備的支撐部件,該支撐部件不僅起到固定和支撐其他部件的作用,還能夠被用戶穿戴在頭部,提供了采集鼓膜圖像所需要的位置和視角。
微型攝像頭22作為可穿戴設(shè)備的攝像部件設(shè)置在左耳的耳機(jī)單元21b的內(nèi)側(cè),其在相對位置和相對角度上的設(shè)置使得在用戶穿戴支撐部件后微型攝像頭22的鏡頭能夠?qū)?zhǔn)用戶的耳道內(nèi)的鼓膜。未在圖2中示出的是,微型攝像頭22的外殼上設(shè)置有用于提供照明的導(dǎo)光纖維,能夠在用戶穿戴支撐部件后發(fā)出照明光來進(jìn)行耳道內(nèi)鼓膜的成像;微型攝像頭22包括圖像傳感器,能夠接收鼓膜反射回來的光并轉(zhuǎn)換為圖像信號,進(jìn)而通過隱藏在支架21a內(nèi)部的連接線傳輸給信息處理裝置23進(jìn)行處理。
信息處理裝置23設(shè)置在支架21a的內(nèi)部,包括圖像信號接口、處理部件、存儲部件和電刺激信號輸出端口等,能夠通過圖像信號接口接收來自微型攝像頭22的圖像信號,基于處理部件與存儲部件的相互配合執(zhí)行上述步驟101至步驟103的流程。例如,存儲部件中存儲有處理部件可執(zhí)行的指令,使得處理部件能夠根據(jù)可執(zhí)行的指令:接收圖像信號以獲取鼓膜圖像;基于白光數(shù)字散斑法對獲取到的鼓膜圖像進(jìn)行處理,通過鼓膜上隨機(jī)分布的斑點(diǎn)計(jì)算鼓膜形變量(最大形變位置處的空間位移);在鼓膜形變量大于預(yù)設(shè)閾值(例如0.1mm~2mm)時(shí),通過電刺激信號輸出端口和連接線向體表電極24輸出電刺激信號。
體表電極24通過電極支架25固定在支撐部件上,以使用戶穿戴支撐部件時(shí)所述體表電極能夠位于用戶的預(yù)定體表位置(例如圖2中所示的體表電極24的設(shè)置方式使得其能在用戶佩戴耳機(jī)時(shí)大致處于用戶體表的風(fēng)池穴的位置)?;谌我环N能夠促使人體進(jìn)行吞咽動(dòng)作的電刺激方式,可以預(yù)先設(shè)置:體表電極的數(shù)量、每個(gè)體表電極所對應(yīng)的預(yù)定體表位置、與每個(gè)體表電極對應(yīng)的電刺激信號,以及為體表電極施加電刺激信號的信號時(shí)序等等。例如圖2所示出的可穿戴設(shè)備中設(shè)置了一個(gè)與風(fēng)池穴對應(yīng)的體表電極24,可以通過向該體表電極24施加固定頻率的脈沖信號來促使人體進(jìn)行吞咽動(dòng)作。需要說明的是,神經(jīng)刺激和電子針灸等能夠促使人體進(jìn)行吞咽動(dòng)作的電刺激方式均是本領(lǐng)域技術(shù)人員所熟知的,在此不再贅述。
需要說明的是,上述處理部件可以包括中央處理器(cpu),圖形處理器(graphicsprocessingunit,gpu),微處理器,特定應(yīng)用集成電路(applicationspecificintegratedcircuit,asic),數(shù)字信號處理器(dsp)、數(shù)字信號處理設(shè)備(dspd)、可編程邏輯器件(pld)、現(xiàn)場可編程門陣列(fpga)、控制器、微控制器,或者多個(gè)用于控制程序執(zhí)行的集成電路等等。
上述存儲部件可以包括只讀存儲器(read-onlymemory,rom)或可存儲靜態(tài)信息和指令的其他類型的靜態(tài)存儲設(shè)備,隨機(jī)存取存儲器(randomaccessmemory,ram)或者可存儲信息和指令的其他類型的動(dòng)態(tài)存儲設(shè)備,也可以包括電可擦可編程只讀存儲器(electricallyerasableprogrammablerom,eeprom)、只讀光盤(compactdiscrom,cd-rom)或其他光盤存儲、光碟存儲(包括壓縮光碟、激光碟、光碟、數(shù)字通用光碟、藍(lán)光光碟等)、磁盤存儲介質(zhì)或者其他磁存儲設(shè)備、或者能夠用于攜帶或存儲具有指令或數(shù)據(jù)結(jié)構(gòu)形式的期望的程序代碼并能夠被存取的任何其他介質(zhì),等等。
本實(shí)施例中的信息處理裝置23能夠作為一種具有圖像處理功能的電子設(shè)備實(shí)現(xiàn)上述信息處理方法,而將信息處理裝置23作為內(nèi)部組成部分的可穿戴設(shè)備可以在被用戶穿戴后,結(jié)合上述信息處理方法在用戶鼓膜形變量過大時(shí)促使用戶進(jìn)行吞咽動(dòng)作。作為一種示例,本實(shí)施例的可穿戴設(shè)備使用過程如下所述:
參見圖2和圖3,在用戶佩戴圖2所示的頭戴式耳機(jī)之后,微型攝像頭22探入用戶的左耳耳道,并使其鏡頭對準(zhǔn)鼓膜。同時(shí),用戶可以在擦拭風(fēng)池穴后通過調(diào)整電極支架25來將體表電極24可導(dǎo)電地貼在風(fēng)池穴上,以完成開機(jī)前的準(zhǔn)備工作。在接通耳機(jī)的電源之后,信息處理裝置23開始處于工作狀態(tài),并在初始化階段采集圖像以進(jìn)行鼓膜的識別,若識別成功(例如在圖像中識別到了鼓膜)則確認(rèn)各部件均正常工作且耳機(jī)已被正確佩戴,若識別失敗(例如在圖像中未識別到鼓膜)則提示用戶工作狀態(tài)異常。在初始化階段結(jié)束之后的正常工作階段,信息處理裝置23周期性地采集鼓膜圖像,并在鼓膜形變量滿足第一預(yù)設(shè)條件時(shí)向體表電極輸出固定頻率的脈沖信號,以形成對用戶的吞咽刺激,促使用戶進(jìn)行吞咽動(dòng)作以打開咽鼓管,平衡鼓膜兩側(cè)的氣壓。在例如乘坐飛機(jī)的使用場景下,圖2所示的可穿戴設(shè)備可以通過實(shí)時(shí)地監(jiān)測用戶的鼓膜形變狀態(tài),來幫助用戶保持鼓膜兩側(cè)的氣壓平衡,緩解鼓膜兩側(cè)氣壓相差過大而引起的耳部不適。
可以看出的是,本實(shí)施例的可穿戴設(shè)備可以實(shí)時(shí)地適應(yīng)于用戶的實(shí)際狀態(tài)來緩解其由氣壓變化所引起的耳部不適,甚至可以在用戶感受到耳部不適之前就藉由吞咽動(dòng)作的進(jìn)行來避免其鼓膜的進(jìn)一步形變,可以幫助用戶緩解可以由環(huán)境氣壓變化所造成的耳部不適,提升人體在處于氣壓變化環(huán)境時(shí)的舒適感。
可理解的是,圖2所示的可穿戴設(shè)備的結(jié)構(gòu)僅是一種示例,其每個(gè)組成部分的數(shù)量、類型、結(jié)構(gòu)、設(shè)置方式都可以在可實(shí)現(xiàn)的范圍內(nèi)進(jìn)行調(diào)整,并可以在可實(shí)現(xiàn)的范圍內(nèi)去除一部分的部件或者增加其他部件。比如,可以對稱地在右耳的耳機(jī)單元21b上增設(shè)一個(gè)微型攝像頭,并設(shè)置相應(yīng)的連接線將該微型攝像頭連接至信息處理裝置23的另一圖像信號接口,以與左耳同樣的方式幫助保持右耳耳道內(nèi)鼓膜兩側(cè)氣壓的平衡。再如,信息處理裝置23可以與耳機(jī)原有的電路結(jié)構(gòu)相互集成,例如所有電路元件可以共同設(shè)置在同一塊電路基板上,或者基于耳機(jī)原有的處理部件和存儲部件配置與上述信息處理方法對應(yīng)的可執(zhí)行指令,并增設(shè)相應(yīng)的電路連接線和信號接口等等。
圖4是本發(fā)明又一實(shí)施例提供的信息處理方法的實(shí)現(xiàn)方式示意圖。參見圖4,本實(shí)施例中實(shí)現(xiàn)上述信息處理方法的電子設(shè)備具體是終端設(shè)備41,該終端設(shè)備41可以接收來自可穿戴設(shè)備42的鼓膜圖像,并可以根據(jù)對鼓膜圖像的處理發(fā)出用戶提示,在用戶的鼓膜形變量滿足第一預(yù)設(shè)條件時(shí)促使用戶進(jìn)行吞咽動(dòng)作。
具體地,本實(shí)施例中的可穿戴設(shè)備42包括外形與耳塞式耳機(jī)或入耳式耳機(jī)的耳機(jī)外殼相同的支撐部件(包括左右兩個(gè)耳機(jī)頭),因此可以按照與耳塞式耳機(jī)或入耳式耳機(jī)相同的方式佩戴在耳部。圖4中未示出的是,可穿戴設(shè)備42的支撐部件上設(shè)置有攝像部件,其設(shè)置方式使得用戶在將支撐部件佩戴在耳部時(shí),攝像部件的鏡頭能夠隨耳機(jī)頭探入用戶的耳道,并對準(zhǔn)用戶的耳道內(nèi)的鼓膜。攝像部件的可選實(shí)現(xiàn)方式已在前文中說明,在此不再贅述。此外在圖4中已示出的是,可穿戴設(shè)備42還包括分別設(shè)置在左右兩個(gè)耳機(jī)頭上的兩個(gè)數(shù)據(jù)發(fā)送模塊421,這兩個(gè)數(shù)據(jù)發(fā)送模塊421可以預(yù)先通過有線或者無線的方式與終端設(shè)備41之間建立通信連接,從而基于該通信連接將攝像部件采集的用戶的耳道內(nèi)采集的鼓膜圖像發(fā)送給電子設(shè)備。
本實(shí)施例中的終端設(shè)備41可以具體是智能手機(jī)、平板電腦、筆記本電腦、個(gè)人數(shù)字助理(personaldigitalassistant,pda)等等的電子設(shè)備,可以包含上述任何一種形式的處理組件和上述任何一種形式的存儲組件,并通過有線通信和/或無線通信的方式接收來自可穿戴設(shè)備42的鼓膜圖像。在接收到鼓膜圖像之后,終端設(shè)備41可以進(jìn)行鼓膜形變量是否滿足第一預(yù)設(shè)條件的判斷,并在判斷結(jié)果為是時(shí)生成至少一個(gè)觸發(fā)信號,以促使用戶進(jìn)行吞咽動(dòng)作。
在一個(gè)示例中,終端設(shè)備41通過網(wǎng)絡(luò)連接向云服務(wù)器發(fā)送按照時(shí)間順序排列的鼓膜圖像,以使用云服務(wù)器的云計(jì)算資源來獲取鼓膜形變量隨時(shí)間的變化,從而依照與第一預(yù)設(shè)條件對應(yīng)的觸發(fā)策略,在鼓膜形變量超過用戶設(shè)定的閾值時(shí)以彈窗消息和提示音的形式提醒用戶進(jìn)行吞咽動(dòng)作,并在鼓膜形變量在單位時(shí)間內(nèi)的變化量超過用戶設(shè)定的閾值時(shí)向電刺激設(shè)備(圖4中未示出)發(fā)送第一信號,使得電刺激設(shè)備在接收到第一信號時(shí)向所連接的體表電極施加電刺激信號,以在體表電極可導(dǎo)電地配置于用戶的預(yù)定體表位置時(shí)對用戶施加吞咽刺激。可以看出,觸發(fā)策略主要包括與鼓膜形變量有關(guān)的判斷條件,以及與每一判斷結(jié)果對應(yīng)的觸發(fā)動(dòng)作;在所有可能的實(shí)現(xiàn)方式中,觸發(fā)策略中的內(nèi)容可以來源于出廠設(shè)置、用戶設(shè)置、服務(wù)器的推送等等。其中,電刺激設(shè)備與可穿戴設(shè)備42可以是彼此相互獨(dú)立的設(shè)備,也可以是彼此相互結(jié)合的設(shè)備。例如,可穿戴設(shè)備42中可以設(shè)置電信號生成模塊,以在接收到上述第一信號時(shí)向所連接的體表電極施加電刺激信號,即將電刺激設(shè)備集成到可穿戴設(shè)備42當(dāng)中。其中,可穿戴設(shè)備上與電信號生成模塊相連的體表電極的設(shè)置方式可以參考圖2中體表電極24的設(shè)置方式,在此不在贅述。
根據(jù)上文中提供的可穿戴設(shè)備的示例,可以得到其他形式的可穿戴設(shè)備。例如,圖2中的微型攝像頭22可以與支架21a、左右兩個(gè)耳機(jī)單元21b的外殼、以及上述數(shù)據(jù)發(fā)送模塊421組成經(jīng)過簡化的可穿戴設(shè)備,即可以使用頭戴式耳機(jī)的機(jī)械結(jié)構(gòu)承載攝像部件和數(shù)據(jù)發(fā)送模塊,實(shí)現(xiàn)與圖4所示的工作流程。再如,圖4所示的可穿戴設(shè)備42上也可以還包括上述信息處理裝置23、體表電極24和電極支架25,以實(shí)現(xiàn)圖2所示的可穿戴設(shè)備所能夠?qū)崿F(xiàn)的功能。此外,本發(fā)明的可穿戴設(shè)備并不僅限于耳機(jī)的形式,而還可以具有形如耳塞、耳墜、頭環(huán)、眼鏡等等的形式。而基于實(shí)現(xiàn)上述信息處理方法的電子設(shè)備作為耳機(jī)的一部分的設(shè)計(jì),電子設(shè)備可以直接輸出音頻形式的觸發(fā)信號以使用戶進(jìn)行吞咽動(dòng)作。例如,上述至少一個(gè)觸發(fā)信號可以包括信息處理裝置23通過其音頻輸出端口傳輸給兩個(gè)耳機(jī)單元21b的聲音提示信號,用以通過聲音提示用戶進(jìn)行吞咽動(dòng)作??梢钥闯觯谏鲜鲈O(shè)計(jì),耳機(jī)的音頻播放功能可以被結(jié)合至消除用戶耳部不適的過程當(dāng)中,實(shí)現(xiàn)各功能之間的高度集成。
根據(jù)上文中提供的電刺激方式的示例,可以推知上述信息處理方法中的步驟103可以包括:向體表電極施加電刺激信號,以在所述體表電極可導(dǎo)電地配置于所述用戶的預(yù)定體表位置時(shí)形成對所述用戶的吞咽刺激;或者,向外部設(shè)備發(fā)送控制信號,以使所述外部設(shè)備在接收到所述控制信號時(shí)向所連接的體表電極施加電刺激信號,以在所述體表電極可導(dǎo)電地配置于所述用戶的預(yù)定體表位置時(shí)形成對所述用戶的吞咽刺激。即,在實(shí)現(xiàn)信息處理方法的電子設(shè)備配備有電刺激信號的發(fā)生裝置以及體表電極時(shí),可以直接由電子設(shè)備向用戶的預(yù)定體表位置施加電刺激信號;而在其他情形下,該電子設(shè)備可以通過控制信號控制外部設(shè)備完成這一過程,以簡化電子設(shè)備的結(jié)構(gòu)并優(yōu)化使用流程。
在上述任意一種信息處理方法的基礎(chǔ)上,可以還包括圖5所示的下述步驟:
步驟501:在用戶的鼓膜形變量不滿足第一預(yù)設(shè)條件時(shí),獲取用戶的外耳道氣壓。
步驟502:判斷用戶的外耳道氣壓在單位時(shí)長內(nèi)的變化量是否滿足第二預(yù)設(shè)條件。
步驟503:在用戶的外耳道氣壓在單位時(shí)長內(nèi)的變化量滿足第二預(yù)設(shè)條件時(shí),生成至少一個(gè)觸發(fā)信號。
其中,獲取用戶的外耳道氣壓的方式可以包括:在可穿戴設(shè)備探入耳道的位置處設(shè)置氣壓傳感器,以通過信號連接線將采集到的氣壓信號傳輸給用于實(shí)現(xiàn)信息處理方法的電子設(shè)備;或者,用于實(shí)現(xiàn)信息處理方法的電子設(shè)備接收外部設(shè)備以無線通信方式發(fā)送的環(huán)境氣壓,該外部設(shè)備可以例如是飛機(jī)機(jī)艙內(nèi)的氣壓監(jiān)測器。而且,上述第二預(yù)設(shè)條件指的是用以基于外耳道氣壓確定是否需要使用戶進(jìn)行吞咽動(dòng)作的界定標(biāo)準(zhǔn),均可在實(shí)施時(shí)根據(jù)實(shí)際需求預(yù)先設(shè)定。例如,上述第二預(yù)設(shè)條件可以包括:外耳道氣壓在單位時(shí)間內(nèi)的變化量超過預(yù)設(shè)值(例如超過20~200hpa/s)。此外,上述至少一個(gè)觸發(fā)信號的示例已在前文中詳述,在此不再贅述。
基于上述過程,本實(shí)施例的信息處理方法可以在鼓膜圖像獲取異常,無法正常觸發(fā)人體的吞咽動(dòng)作時(shí),基于外耳道氣壓的監(jiān)測來輔助進(jìn)行吞咽動(dòng)作的觸發(fā),有助于提升產(chǎn)品的可靠性和適用范圍。
此外,上述步驟103:在用戶的鼓膜形變量滿足第一預(yù)設(shè)條件時(shí),生成至少一個(gè)觸發(fā)信號,可以具體包括附圖中未示出的下述步驟:
獲取所述用戶的外耳道氣壓;
在所述用戶的鼓膜形變量滿足第一預(yù)設(shè)條件,所述用戶的外耳道氣壓在單位時(shí)長內(nèi)的變化量滿足第二預(yù)設(shè)條件時(shí),生成所述至少一個(gè)觸發(fā)信號。
基于上述過程,本發(fā)明的信息處理方法可以在第一預(yù)設(shè)條件和第二預(yù)設(shè)條件都得到滿足時(shí)再生成觸發(fā)信號,即將鼓膜形變量和外耳道氣壓在單位時(shí)長內(nèi)的變化量均作為生成觸發(fā)信號的必要條件,有助于減少誤輸出的情況。
在上述任意一種信息處理方法中,所述的步驟101:獲取用戶耳道內(nèi)的鼓膜圖像,可以具體包括:獲取在至少兩個(gè)不同時(shí)刻對用戶的耳道內(nèi)的同一包含鼓膜的區(qū)域采集的至少兩個(gè)散斑圖像。相應(yīng)地,參見圖6,上述步驟102:根據(jù)鼓膜圖像判斷用戶的鼓膜形變量是否滿足第一預(yù)設(shè)條件,包括:
步驟601:在至少兩個(gè)散斑圖像中確定鼓膜形變量為參考值的樣本圖像,和鼓膜形變量待測量的目標(biāo)圖像。
步驟602:比較樣本圖像和目標(biāo)圖像,以確定樣本圖像和目標(biāo)圖像中最大形變位置處的散斑場區(qū)域。
步驟603:基于散斑圖像的相關(guān)分析計(jì)算鼓膜形變量,以在鼓膜形變量大于預(yù)設(shè)閾值時(shí)確定其滿足第一預(yù)設(shè)條件,鼓膜形變量是樣本圖像和目標(biāo)圖像中最大形變位置處的散斑場區(qū)域之間的空間位移。
需要說明的是,該散斑圖像的獲取和比較可以基于例如激光散斑法或者白光散斑法,而樣本圖像可以在整個(gè)監(jiān)測過程中僅確定一次,并用于多次鼓膜形變量的計(jì)算?;谏鲜鲞^程,本發(fā)明實(shí)施例的信息處理方法可以實(shí)現(xiàn)實(shí)時(shí)、快速、無損傷的鼓膜形變量測量,并且相較于傳統(tǒng)成像方式省去了很多無關(guān)圖像信息的處理流程,有助于提升產(chǎn)品的反應(yīng)速度。
基于同樣的發(fā)明構(gòu)思,圖7是本發(fā)明一個(gè)實(shí)施例提供的信息處理裝置的結(jié)構(gòu)框圖。參見圖7,本發(fā)明實(shí)施例的信息處理裝置包括:
獲取模塊71,用于獲取用戶耳道內(nèi)的鼓膜圖像;
判斷模塊72,用于根據(jù)鼓膜圖像判斷用戶的鼓膜形變量是否滿足第一預(yù)設(shè)條件;
生成模塊73,用于在用戶的鼓膜形變量滿足第一預(yù)設(shè)條件時(shí),生成至少一個(gè)觸發(fā)信號;其中,觸發(fā)信號用于使用戶進(jìn)行吞咽動(dòng)作。
需要說明的是,本實(shí)施例的信息處理裝置可以應(yīng)用于任一種具有圖像處理功能的電子設(shè)備,用以單獨(dú)地或與其他設(shè)備相結(jié)合地實(shí)現(xiàn)緩解用戶耳部不適的功能。該電子設(shè)備的具體示例已在前文中詳細(xì)描述,在此不再贅述。
還需要說明的是,本實(shí)施例中采集鼓膜圖像的可以例如是任一種可用于外耳道內(nèi)鼓膜表面成像的攝像部件,如微型攝像頭、光纖探頭、紅外線傳感器、配備有圖像傳感器的耳鏡等等,其成像精度可以根據(jù)對鼓膜形變的判斷精度要求而適應(yīng)性配置,并可以配備有照明器件以提高成像質(zhì)量。在此基礎(chǔ)之上,獲取鼓膜圖像的方式可以例如是以信號傳輸線路接收來自攝像部件的鼓膜圖像的電信號,或者基于有線或無線的通信連接接收攝像部件所發(fā)送的鼓膜圖像,等等。所獲取的鼓膜圖像可以是采集所直接得到的原始信號,也可以是由原始信號經(jīng)過例如放大、降噪、截取、壓縮等處理得到的圖像信號;適應(yīng)于鼓膜形變量的判斷,可以在原始信號中去除至少部分與鼓膜形變量判斷無關(guān)的數(shù)據(jù),以提升傳輸效率和處理速度。
還需要說明的是,本實(shí)施例中的鼓膜形變量指的是描述鼓膜形變程度大小的物理量,本實(shí)施例中的第一預(yù)設(shè)條件指的是用以基于鼓膜圖像確定是否需要使用戶進(jìn)行吞咽動(dòng)作的界定標(biāo)準(zhǔn),均可在實(shí)施時(shí)根據(jù)實(shí)際需求預(yù)先設(shè)定。例如,可以對若干張獲取到的鼓膜圖像進(jìn)行圖像識別,以確定至少一張鼓膜沒有發(fā)生形變的鼓膜圖像,提取出沒有發(fā)生形變的鼓膜的圖像特征,從而將第一預(yù)設(shè)條件設(shè)置為:鼓膜圖像中提取到的鼓膜的圖像特征相比于沒有發(fā)生形變的鼓膜的圖像特征的匹配率小于等于70%,以基于對鼓膜圖像的圖像處理快速得到鼓膜形變量的判斷結(jié)果。從上例中可以看出,判斷用戶的鼓膜形變量是否滿足第一預(yù)設(shè)條件并不一定包含根據(jù)鼓膜圖像計(jì)算鼓膜形變量的過程,而根據(jù)設(shè)定方式的不同可以具有相對應(yīng)的形式。
還需要說明的是,上述至少一個(gè)觸發(fā)信號可以包括直接輸出給用戶的提示信號(例如用于向用戶傳達(dá)提示信息的燈光、圖像、語音、文字、振動(dòng)或者其結(jié)合),或者觸發(fā)用戶提示流程的信號(例如傳輸給顯示裝置的圖像數(shù)據(jù)信號、輸出給發(fā)光二極管的開啟電壓信號,或者發(fā)送給智能手機(jī)以觸發(fā)用戶提示過程的無線信號,等等),還可以包括促使用戶進(jìn)行吞咽動(dòng)作的人體刺激信號(例如通過條件反射促使人體分泌唾液的圖像信號,或者在吞咽神經(jīng)、相關(guān)穴位等預(yù)定體表位置處對人體施加的電刺激信號,等等),或者觸發(fā)促使用戶進(jìn)行吞咽動(dòng)作的過程的信號(例如控制電刺激裝置向體表電極輸出電刺激信號的有線信號)。由于觸發(fā)用戶進(jìn)行吞咽動(dòng)作
可以看出,本發(fā)明實(shí)施例基于耳道內(nèi)的圖像獲取與鼓膜圖像的圖像處理之間的結(jié)合,可以在鼓膜形變量滿足第一預(yù)設(shè)條件時(shí)促使用戶進(jìn)行吞咽動(dòng)作,因而可以實(shí)時(shí)地適應(yīng)于用戶的實(shí)際狀態(tài)來緩解其由氣壓變化所引起的耳部不適,甚至可以在用戶感受到耳部不適之前就藉由吞咽動(dòng)作的進(jìn)行來避免其鼓膜的進(jìn)一步形變,從而可以極大程度地幫助用戶緩解可以由環(huán)境氣壓變化所造成的耳部不適,提升人體在處于氣壓變化環(huán)境時(shí)的舒適感。
在一種可能的實(shí)現(xiàn)方式中,生成模塊73具體用于向體表電極施加電刺激信號,以在體表電極可導(dǎo)電地配置于用戶的預(yù)定體表位置時(shí)形成對用戶的吞咽刺激;或者,生成模塊73具體用于向外部設(shè)備發(fā)送控制信號,以使外部設(shè)備在接收到控制信號時(shí)向所連接的體表電極施加電刺激信號,以在體表電極可導(dǎo)電地配置于用戶的預(yù)定體表位置時(shí)形成對用戶的吞咽刺激。
在一種可能的實(shí)現(xiàn)方式中,生成模塊73包括:
獲取單元,用于獲取用戶的外耳道氣壓;
生成單元,用于在用戶的鼓膜形變量滿足第一預(yù)設(shè)條件,用戶的外耳道氣壓在單位時(shí)長內(nèi)的變化量滿足第二預(yù)設(shè)條件時(shí),生成至少一個(gè)觸發(fā)信號。
在一種可能的實(shí)現(xiàn)方式中,裝置還包括:
第二獲取模塊,用于在用戶的鼓膜形變量不滿足第一預(yù)設(shè)條件時(shí),獲取用戶的外耳道氣壓;
第二判斷模塊,用于判斷用戶的外耳道氣壓在單位時(shí)長內(nèi)的變化量是否滿足第二預(yù)設(shè)條件;
第二生成模塊,用于在用戶的外耳道氣壓在單位時(shí)長內(nèi)的變化量滿足第二預(yù)設(shè)條件時(shí),生成至少一個(gè)觸發(fā)信號。
在一種可能的實(shí)現(xiàn)方式中,所獲取模塊71具體用于獲取在至少兩個(gè)不同時(shí)刻對用戶的耳道內(nèi)的同一包含鼓膜的區(qū)域采集的至少兩個(gè)散斑圖像;相應(yīng)地,判斷模塊72包括:
確定單元,用于在至少兩個(gè)散斑圖像中確定鼓膜形變量為參考值的樣本圖像,和鼓膜形變量待測量的目標(biāo)圖像;
比較單元,用于比較樣本圖像和目標(biāo)圖像,以確定樣本圖像和目標(biāo)圖像中最大形變位置處的散斑場區(qū)域;
計(jì)算單元,用于基于散斑圖像的相關(guān)分析計(jì)算鼓膜形變量,以在鼓膜形變量大于預(yù)設(shè)閾值時(shí)確定其滿足第一預(yù)設(shè)條件,鼓膜形變量是樣本圖像和目標(biāo)圖像中最大形變位置處的散斑場區(qū)域之間的空間位移。
關(guān)于上述實(shí)施例中的裝置,其中各個(gè)模塊執(zhí)行操作的具體方式已經(jīng)在有關(guān)該方法的實(shí)施例中進(jìn)行了詳細(xì)描述,此處將不做詳細(xì)闡述說明。
以上所述僅為本發(fā)明的較佳實(shí)施例,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。