本發(fā)明涉及一種輸入由佩戴于用戶的傳感器探測用戶的動作所得到的信號的輸入設(shè)備、生物體傳感器、程序、計算機可讀取的介質(zhì)以及模式設(shè)定方法。
背景技術(shù):
專利文獻1中公開了如下方法:預先登記以眨眼時閉著眼睛的時間的長度和睜著眼睛的時間的長度為特征量的眨眼的圖案,檢測用戶是否再現(xiàn)了與所登記的眨眼圖案相同圖案的眨眼,來增加所能夠切換的模式的種類。
專利文獻1:日本特開2013-214073號公報
技術(shù)實現(xiàn)要素:
發(fā)明要解決的問題
然而,在專利文獻1所記載的技術(shù)中,要預先登記眨眼的動作圖案,因此在使用戶一個人一個人地登記眨眼的動作圖案上花費工夫。并且,用戶準確地再現(xiàn)與自己登記過的眨眼動作相同的眨眼動作并不容易。另一方面,在預先對全部用戶決定共同的眨眼動作圖案的方法中,要求用戶準確地再現(xiàn)眨眼動作圖案中的動作時間的長度,這并不容易。
即,上述的現(xiàn)有技術(shù)具有如下問題:再現(xiàn)預先登記的眨眼動作圖案并不容易,因此使進行是否設(shè)定被控制對象的模式的判斷錯誤的可能性高。
本發(fā)明的目的在于提供一種能夠使進行是否設(shè)定被控制對象的模式的判定的錯誤減少的輸入設(shè)備、生物體傳感器、程序、計算機可讀取的介質(zhì)以及模式設(shè)定方法。
用于解決問題的方案
為了實現(xiàn)上述目的,基于本發(fā)明的一個方式的輸入設(shè)備的特征在于,具備:傳感器信號獲取部,其獲取傳感器信號;波形對照部,其將所述傳感器信號中的兩個以上的時間區(qū)間的波形彼此對照;以及模式設(shè)定部,其基于所述波形對照部的對照結(jié)果來設(shè)定被控制對象裝置的模式。
為了實現(xiàn)上述目的,基于本發(fā)明的一個方式的程序的特征在于,使計算機作為上述基于本發(fā)明的一個方式的輸入設(shè)備發(fā)揮功能。
為了實現(xiàn)上述目的,基于本發(fā)明的一個方式的計算機可讀取的介質(zhì)的特征在于,具有基于本發(fā)明的一個方式的程序。
為了實現(xiàn)上述目的,基于本發(fā)明的一個方式的模式設(shè)定方法的特征在于,將傳感器信號中的兩個以上的時間區(qū)間的波形彼此對照,基于所述波形彼此對照的結(jié)果來設(shè)定被控制對象裝置的模式。
為了實現(xiàn)上述目的,基于本發(fā)明的一個方式的生物體傳感器佩戴于生物體來從該生物體獲取生物體信息,該生物體傳感器的特征在于,具備:傳感器信號獲取部,其獲取由該生物體傳感器進行采樣所得到的傳感器信號;波形對照部,其將該傳感器信號中的兩個以上的區(qū)間的波形彼此對照;以及模式設(shè)定部,其基于所述波形對照部的對照結(jié)果來設(shè)定被控制對象裝置的模式。
發(fā)明的效果
根據(jù)本發(fā)明的各方式,能夠使進行是否設(shè)定被控制對象的模式的判定的錯誤減少。
附圖說明
圖1是本發(fā)明的第一實施方式的輸入設(shè)備的功能框圖。
圖2是說明本發(fā)明的第一實施方式的圖,是示出節(jié)奏(rhythm)與節(jié)拍(tempo)的組合的圖。
圖3是說明發(fā)明的第一實施方式的圖,是示出基于動作時間與動作次數(shù)的9種變化的圖。
圖4是說明本發(fā)明的第一實施方式的圖,是示出波形對照部102中的使用了相關(guān)系數(shù)的波形對照方法的流程的一例的流程圖。
圖5是本發(fā)明的第二實施方式的輸入設(shè)備的功能框圖。
圖6是說明本發(fā)明的第二實施方式的圖,是示出符號圖案的曲線圖。
圖7是說明本發(fā)明的第二實施方式的圖,是示出波形對照部102中的使用了符號圖案和面積的波形對照方法的流程的一例的流程圖。
圖8是說明本發(fā)明的第二實施方式的圖,是示出相關(guān)性判定處理的流程的一例的流程圖。
圖9是說明本發(fā)明的第三實施方式的圖,是皮膚導電率傳感器的外觀圖。
圖10是說明本發(fā)明的第三實施方式的圖,是設(shè)置于皮膚導電率傳感器的傳感器信號獲取部的功能框圖。
圖11是說明本發(fā)明的第三實施方式的圖,是皮膚電阻傳感器的信號的相臨差的曲線圖。
圖12是本發(fā)明的第四實施方式的輸入設(shè)備的功能框圖。
圖13是說明本發(fā)明的第五實施方式的圖,是示出佩戴于手腕的脈搏波傳感器中的檢測波形的一例的圖。
圖14是說明本發(fā)明的第五實施方式的圖,是生物體傳感器800的功能框圖。
圖15是說明本發(fā)明的第六實施方式的圖,是將手移動時來自紅外線傳感器的信號曲線圖化所得到的圖。
具體實施方式
(第一實施方式)
本發(fā)明的第一實施方式著眼于用戶易于使某個動作有節(jié)奏地連續(xù)重復進行兩次以上,其特征在于,對進行采樣所得到的輸入信號能夠被視作連續(xù)的兩個周期的波形的程度進行評價來切換被控制對象的模式。該重復動作不需要事前登記,可以由用戶當場自由地想出,并能夠隨時變更。以下對本實施方式的輸入設(shè)備進行說明。
圖1是第一實施方式的輸入設(shè)備的功能框圖。
本實施方式的輸入設(shè)備100具備:傳感器信號獲取部101,其獲取傳感器信號;波形對照部102,其將傳感器信號中的兩個以上的時間區(qū)間的波形彼此對照;以及模式設(shè)定部103,其基于波形對照部的對照結(jié)果來設(shè)定被控制對象裝置110的模式。該傳感器信號是由構(gòu)成為能夠佩戴于生物體的傳感器進行采樣所得到的信號。另外,輸入設(shè)備100具備存儲評價數(shù)據(jù)的評價數(shù)據(jù)串存儲部104,其中,該評價數(shù)據(jù)是傳感器信號,或者是通過規(guī)定的加工方法對傳感器信號進行加工所得到的數(shù)據(jù)。輸入設(shè)備100與作為模式設(shè)定對象的被控制對象裝置110相連接。輸入設(shè)備100與被控制對象裝置110通過有線或無線相連接,或者經(jīng)由網(wǎng)絡(luò)相連接。例如在使用輸入設(shè)備100執(zhí)行的模式設(shè)定方法中,由波形對照部102將傳感器信號中的兩個以上的時間區(qū)間的波形彼此對照,并由模式設(shè)定部103基于波形彼此對照的結(jié)果來設(shè)定被控制對象裝置110的模式。
傳感器信號獲取部101是傳感器的硬件部分。傳感器信號獲取部101不僅可以是檢測用戶的動作的加速度傳感器或角速度傳感器(陀螺儀)等運動傳感器,也可以是例如檢測上下的動作的氣壓傳感器。并且,傳感器信號獲取部101還可以是通過在指尖佩戴磁體并在手腕佩戴磁傳感器來檢測伴隨手的動作的磁體與磁傳感器之間的位置關(guān)系的變化的傳感器。
并且,傳感器信號獲取部101還可以利用皮膚導電率傳感器中的運動偽影(motion artifact),該皮膚導電率傳感器佩戴于手掌或手腕的內(nèi)側(cè)來測定兩個電極之間的皮膚導電率(皮膚電阻的倒數(shù))從而檢測用戶的情緒的產(chǎn)生。運動偽影是由于用戶的動作而皮膚與電極的接觸狀態(tài)發(fā)生變化所產(chǎn)生的信號。運動偽影不是由情緒引起的信號,因此通常全部作為噪聲而被排除。同樣地,在使用了發(fā)光二極管(LED)和光電二極管(PD)的脈搏波傳感器中也能夠利用運動偽影。
本發(fā)明中使用的傳感器不限定于上述的傳感器。本發(fā)明中使用的傳感器只要是能夠以固定時間間隔獲取數(shù)字數(shù)據(jù)的傳感器即可。即使是通常作為噪聲而被排除的信號,若其波形與用戶的動作相應(yīng)地變化,則這樣的傳感器全都為本發(fā)明中使用的傳感器的對象。
另外,將皮膚導電率傳感器和加速度傳感器設(shè)置在佩戴于手腕的一個設(shè)備,當用戶在靜止時進行手的開閉時,僅在皮膚導電率傳感器中產(chǎn)生用戶所意圖那樣的周期性的運動偽影的信號,當用戶走路或跑步時,在皮膚導電率傳感器和加速度傳感器這兩方的傳感器中產(chǎn)生用戶不意圖的周期性的運動偽影的信號,利用上述情形,能夠區(qū)分皮膚導電率傳感器中產(chǎn)生的周期性的運動偽影的信號是用戶意圖產(chǎn)生的信號還是用戶不意圖產(chǎn)生的信號。也可以使用角速度傳感器來代替加速度傳感器。
波形對照部102、模式設(shè)定部103以及評價數(shù)據(jù)串存儲部104由未圖示的具有CPU(Central Processing Unit:中央運算處理裝置)和存儲器裝置的微計算機實現(xiàn)。
波形對照部102以由傳感器信號獲取部101進行采樣所得到的傳感器信號為輸入。波形對照部102可以將傳感器信號直接作為評價數(shù)據(jù)。另外,波形對照部102也可以取被輸入的傳感器信號中的相鄰的傳感器信號的N次差(N為1以上)來作為評價數(shù)據(jù)。
評價數(shù)據(jù)串存儲部104設(shè)置于上述的未圖示的存儲器裝置中,按時間序列保存由波形對照部102生成的上述的評價數(shù)據(jù)。評價數(shù)據(jù)串存儲部104所存儲的評價數(shù)據(jù)是傳感器信號或通過規(guī)定的加工方法對傳感器信號進行加工所得到的數(shù)據(jù)。
取上述相鄰的傳感器信號的差所得到的相鄰差不限于與前一個傳感器信號之間的差,也可以使用與M個之前的傳感器信號之間的差。通過將M取得大,能夠減小由傳感器所具有的電氣性波動而產(chǎn)生的噪聲的影響。優(yōu)選的是,根據(jù)傳感器的采樣頻率和由于用戶的動作而產(chǎn)生的波形變化的速度來設(shè)定該M。例如在使用采樣頻率為20Hz的傳感器來捕捉以0.5秒間隔變化的動作時,該M被設(shè)定為2~6。
在上述的皮膚導電率傳感器、脈搏波傳感器中,通過取1次差,能夠得到值被平衡良好地分配為正負的評價數(shù)據(jù)。因此,皮膚導電率傳感器、脈搏波傳感器在按后述的相同符號的數(shù)據(jù)連續(xù)的圖案進行對照時是優(yōu)選的。此外,在著眼于相同符號的方法中,需要辨別傳感器信號長期處于上升趨勢還是下降趨勢來進行校正。已知在上述的皮膚導電率傳感器中,在佩戴后由于溫熱性發(fā)汗而皮膚傳導率逐漸上升。此時例如為了捕捉兩個周期的最大長度為4秒的動作,優(yōu)選求出僅使用最近的8秒以上的數(shù)據(jù)的50%中間值的數(shù)據(jù)所得到的相加平均(trim mean:截尾均值)來進行校正。
波形對照部102根據(jù)兩個以上的時間區(qū)間的波形的相關(guān)系數(shù)來將波形彼此對照。在提供包括2組數(shù)值的數(shù)據(jù)串{(xi,yi)}(i=1,2,…,n)時,如以下的文字式(1)那樣求出相關(guān)系數(shù)。
[數(shù)式1]
是數(shù)據(jù)x={xi}的相加平均,
是數(shù)據(jù)y={yi}的相加平均。
在波形對照部102中,對這樣獲取到的評價數(shù)據(jù)的波形能夠被視作連續(xù)的兩個周期的波形的程度進行評價,并作為對照結(jié)果輸出。對照結(jié)果的信息包含用戶是否重復進行了相同動作的信息、以及用戶重復進行了相同動作的情況下的每次的動作時間和重復的次數(shù)的信息。
在兩個以上的時間區(qū)間的波形大致相同的情況下,模式設(shè)定部103設(shè)定被控制對象裝置110的模式,或者根據(jù)被判定為大致相同的波形的時間長度來設(shè)定被控制對象裝置110的模式。例如,模式設(shè)定部103以上述的對照結(jié)果為輸入。在用戶重復進行了相同動作的情況下,模式設(shè)定部103根據(jù)動作時間、動作次數(shù)來切換地設(shè)定被控制對象裝置110的模式。為了增加動作時間的變化,優(yōu)選使用節(jié)奏和節(jié)拍。
圖2是示出節(jié)奏與節(jié)拍的組合的圖。圖2的(a)示出動作時間短的組合,圖2的(b)示出動作時間普通的組合,圖2的(c)示出動作時間長的組合。能夠以“合上、打開”為1組來以節(jié)奏與節(jié)拍的組合增加切換的變化。
例如在圖2的(c)的上部示出了通過加長每次合上手或打開手的時間來實現(xiàn)動作時間長的組合的例子,但是實際上對用戶來說難以有節(jié)奏地劃分長的時間,期望如圖2的(c)的下部所示那樣縮短每次合上手或打開手的時間。在圖2的(c)的下部,一個區(qū)間中存在兩組“合上打開”的組,但是在前半部分的一組與后半部分的一組中開閉的速度即節(jié)奏不同,因此不具有相關(guān)性,而在將后續(xù)的第二個區(qū)間中的兩組與第一個區(qū)間中的兩組之間進行比較后初次判定為具有相關(guān)性。
能夠如圖2的(b)的上部、圖2的(c)的下部所示的開閉要領(lǐng)那樣設(shè)計以下動作:該動作是使兩個區(qū)間的波形大致相同的動作,但該動作在1個區(qū)間內(nèi)不存在能夠被視作大致相同波形的波形,且用戶能夠以大致相同的節(jié)拍重復進行該動作。
圖3是示出基于動作時間與動作次數(shù)的9種變化的圖,是與以下的表1相對應(yīng)的波形圖。圖3中的上部與表1所示的“動作時間”欄的“短”相對應(yīng),圖3中的中部與表1所示的“動作時間”欄的“普通”相對應(yīng),圖3中的下部與表1所示的“動作時間”欄的“長”相對應(yīng)。例如在被控制對象裝置為音樂播放器的情況下,將動作時間分類為短、普通、長這樣的3種,將動作次數(shù)分類為2~4次這3種,從而能夠設(shè)定表1的9種模式。
在此,設(shè)想利用佩戴于手腕的皮膚導電率傳感器來設(shè)定安裝于智能手機、頭戴式耳機中的音樂播放器的模式的例子來進行了說明,但是傳感器與被控制對象裝置也可以相互獨立的設(shè)備,還能夠?qū)⑵つw導電率傳感器和音樂播放器安裝于智能手表。
[表1]
或者也可以不利用閾值對動作時間進行分類,而根據(jù)動作時間計算節(jié)拍,自動地選擇與計算出的節(jié)拍匹配的樂曲?;诠?jié)拍的樂曲的自動選擇在慢跑中選擇與自己跑步的節(jié)拍匹配的BGM(Background music,背景音樂)時是有用的。在被控制對象裝置為游戲機的情況下,還能夠?qū)幼鲿r間換算為速度來控制游戲中的與速度有關(guān)的特性?;跈z測出的動作時間的控制對象不必限定于與時間、速度有關(guān)的特性,音量、明度、色彩、容積、面積、距離、溫度、濕度、硬度、角度等連續(xù)且平穩(wěn)地變化的特性全部都能夠成為控制對象。
對將波形對照部102中的兩個以上的時間區(qū)間的波形彼此對照的方法進行說明。特別是,著眼于用戶易于使某個動作有節(jié)奏地重復進行兩次以上,針對輸入信號能夠被視作連續(xù)的兩個周期的波形的程度的評價方法,以上述的皮膚導電率傳感器中采樣頻率為20Hz的情況為例進行說明。
兩個以上的時間區(qū)間是在時間軸上相鄰的兩個區(qū)間。當在像這樣兩個區(qū)間在時間軸上相鄰的情況下使用相關(guān)系數(shù)時,從最新的輸入數(shù)據(jù)起回溯而將N個數(shù)據(jù)設(shè)為1個區(qū)間,將從N+1個之前到N+N個之前為止的N個數(shù)據(jù)設(shè)為比較對象的1個區(qū)間,求出這兩個區(qū)間的相關(guān)系數(shù)。
每輸入1個傳感器信號,就針對人所能夠?qū)嵤┑膭幼鲿r間的所有N求出相關(guān)系數(shù)。例如在將1個周期為0.5秒到2秒設(shè)計為對象的情況下,使N從10個逐個地錯位到40個來針對31種N計算相關(guān)系數(shù),根據(jù)相關(guān)系數(shù)是否超過了預先設(shè)定的閾值來判定是否具有相關(guān)性。如果為文字式(1)所示的相關(guān)系數(shù),則例如優(yōu)選將0.95設(shè)為閾值。顯而易見的是,為了省略分母的平方根的計算而將分子平方后與0.95×0.95=0.9相比較,由此能夠削減處理量。
圖4是用于說明波形對照部102中的使用了相關(guān)系數(shù)的波形對照方法的一例的流程圖。
在步驟S301中,由傳感器信號獲取部101的傳感器以固定時間間隔獲取傳感器信號。
在步驟S301的接下來的步驟S302中,將從所獲取到的傳感器信號的值減去獲取到的前1個傳感器信號的值所得到的值作為評價數(shù)據(jù)。關(guān)于評價數(shù)據(jù),一邊從當前的評價數(shù)據(jù)起向過去回溯一邊賦予序號,標記為評價數(shù)據(jù)(No.1)、評價數(shù)據(jù)(No.2)。在以20Hz進行采樣且進行評價的1個周期最大為2秒的情況下,1個區(qū)間中有40個評價數(shù)據(jù),在連續(xù)檢查到3次的情況下,3個區(qū)間中有120個評價數(shù)據(jù),因此在上述的評價數(shù)據(jù)串存儲部104中最大保存到評價數(shù)據(jù)(No.120)。然后,為了根據(jù)評價數(shù)據(jù)(No.1)至評價數(shù)據(jù)(No.10)以及評價數(shù)據(jù)(No.11)至評價數(shù)據(jù)(No.20)的組合來求出相關(guān)系數(shù),而對變量N設(shè)置10。
在步驟S302的接下來的步驟S303中,進行用于以下判定的判定處理:如果變量N為40以下,則重復進行用于求出相關(guān)系數(shù)的步驟S304,如果變量N超過了40,則前進到步驟S305。
在步驟S304中,求出評價數(shù)據(jù)(No.1)至評價數(shù)據(jù)(No.N)與評價數(shù)據(jù)(No.N+1)至評價數(shù)據(jù)(No.N+N)的相關(guān)系數(shù),作為相關(guān)系數(shù)(N)保存到上述的波形對照部102的未圖示的存儲器裝置中。對還承擔循環(huán)處理的計數(shù)器作用的變量N加1后返回到步驟S303。
在步驟S305中,求出相關(guān)系數(shù)(10)至相關(guān)系數(shù)(40)中的最大值的相關(guān)系數(shù)(M)。
在步驟S305的接下來的步驟S306中,進行用于以下判定的判定處理:如果最大值的相關(guān)系數(shù)(M)為0.95以上,則前進到步驟S307以進行具有相關(guān)性的處理,如果相關(guān)系數(shù)(M)小于0.95,則判斷為不具有相關(guān)性,前進到步驟S308。
在步驟S307中,進行判定為具有相關(guān)性的情況下的規(guī)定的模式設(shè)定的處理。M相當于動作時間,因此能夠判定出該M后在上述的音樂播放器的模式設(shè)定中使用。
在步驟S308中,為了準備獲取新的傳感器信號,逐個地使評價數(shù)據(jù)(No.119)錯位到評價數(shù)據(jù)(No.120)、使評價數(shù)據(jù)(No.118)錯位到評價數(shù)據(jù)(No.119)、…、使評價數(shù)據(jù)(No.1)錯位到評價數(shù)據(jù)(No.2),返回到步驟S301。
在利用相關(guān)系數(shù)進行評價的情況下,當相關(guān)系數(shù)(M)超過0.95時,在獲取接下來的傳感器信號來求出相關(guān)系數(shù)時相關(guān)系數(shù)(M)或相關(guān)系數(shù)(M+1)還是再次超過閾值0.95的情形多。這會導致進行不需要的模式設(shè)定,因此重復進行步驟S301、步驟S302以及步驟S308,以使得不對接下來輸入的M個傳感器信號進行相關(guān)性的評價。此外,在重復次數(shù)為第二次的時間點不進行模式設(shè)定而等待是否存在第三次以后的重復的情況下,設(shè)置重復次數(shù)存儲變量來進行計數(shù)即可。即,在啟動時將重復次數(shù)存儲變量事先設(shè)定為零,在初次判定為具有相關(guān)性的時間點將重復次數(shù)存儲變量設(shè)定為2。然后,跳過M個傳感器信號并重新評價相關(guān)系數(shù)(M),如果判定為具有相關(guān)性,則對重復次數(shù)存儲變量加1而設(shè)為3。
還能夠考慮如下情況:由于每個用戶的節(jié)奏感、操作的熟練程度的不同而兩個區(qū)間的界線不緊密地相鄰。或者在采樣頻率大的情況下也同樣。在該情況下,只要設(shè)想兩個區(qū)間重疊或分離的情況而設(shè)置緩沖,例如將上述的N+1個之前至N+N個之前為止的N個數(shù)據(jù)設(shè)為“N+1+B個之前至N+N+B個之前為止的N個數(shù)據(jù)、其中B為±1”即可。這樣,兩個以上的時間區(qū)間允許相當于規(guī)定時間以內(nèi)的時間的采樣數(shù)(在本例中為B個)互相重合或分離。此外,如圖3所示的那樣,普通(Middle)的動作時間比短(Short)的動作時間增加50%,因此優(yōu)選將B的范圍設(shè)定為N的±25%以內(nèi)以區(qū)別這兩個動作時間。
關(guān)于上述的相關(guān)系數(shù),在每個時間區(qū)間內(nèi)使用相加平均來進行標準化?,F(xiàn)實中存在如下噪聲:在一方的時間區(qū)間偏向正值,在另一方的時間區(qū)間偏向負值。但是,有時當相關(guān)系數(shù)在各個時間區(qū)間被標準化時針對該噪聲的相關(guān)系數(shù)的值變大。著眼于用戶反復進行相同動作時的波形在每個這種時間區(qū)間不發(fā)生不同的偏差,在兩個時間區(qū)間中共同使用兩個時間區(qū)間內(nèi)的所有評價數(shù)據(jù)的相加平均,由此能夠進行僅排除噪聲的改善。
另外,現(xiàn)實中存在兩個時間區(qū)間內(nèi)振幅不同但形狀相似的相似形的噪聲,并且依然存在相關(guān)系數(shù)的值變大的情況。著眼于用戶反復進行相同動作時的波形的振幅也為大致相同的大小,為了排除該相似形的噪聲,使用1個區(qū)間內(nèi)的信號的絕對值、平方值來比較其總和、平均值、最大值等,由此能夠改善上述的基于相關(guān)系數(shù)的評價方法。
相關(guān)系數(shù)具有以下特征:只要振幅變?yōu)榉逯档臅r間點匹配,相關(guān)系數(shù)的值就變大。例如還有時在采樣頻率為20Hz且動作周期為1秒時,當兩個峰值一致時相關(guān)系數(shù)超過0.95。這會導致在用戶的動作中途實施模式設(shè)定的問題。
作為該問題的對策,還能夠應(yīng)用以下方法:求出時間上相對應(yīng)的時間點、例如1個之前與N+1個之前、2個之前與N+2個之前的數(shù)據(jù)之差的絕對值的總和來進行判定。
求出振幅的絕對值的總和并與閾值進行比較,以避免在用戶完全不進行動作從而為零排列而成的數(shù)據(jù)中誤判定為具有相關(guān)性。
在評價數(shù)據(jù)的符號被平衡良好地分配為正負從而相加平均能夠長期被視作零的情況下,優(yōu)選的是著眼于符號。首先,將不存在用戶的動作的狀態(tài)下的接近零的微小值全部置換為零,將其余的數(shù)據(jù)以只著眼于符號的方式置換為±1后計算相關(guān)系數(shù)。在該情況下,將平均值視作零來省略基于平均值的校正處理,分母的平方計算被匯總為1或0,分子的乘法運算通過符號的組合而被匯總為±1或0,因此能夠大幅地削減計算量。對于僅振幅不同的相似形的波形的問題,能夠通過求出振幅的絕對值的總和并與閾值進行比較來解決。
(第二實施方式)
如圖5所示,關(guān)于硬件的結(jié)構(gòu)、功能模塊的結(jié)構(gòu),除了波形對照部102具備狀態(tài)信息串存儲部102a這一點以外,與第一實施方式相同,因此省略詳細的說明。
作為解決相似形的波形的問題且大幅地削減處理量的方法,優(yōu)選的是著眼于相同符號的數(shù)據(jù)持續(xù)的時間的長度和面積的圖案。例如通過在皮膚導電率傳感器、脈搏波傳感器中取輸入數(shù)據(jù)的相鄰差,能夠獲取根據(jù)用戶的運動而符號被平衡良好地分配為正負的數(shù)據(jù)串。波形對照部102將符號相同的評價數(shù)據(jù)連續(xù)的區(qū)間設(shè)為作為1個單位的小區(qū)間,將符號信息、表示屬于該小區(qū)間的評價數(shù)據(jù)的個數(shù)的區(qū)間長度、以及屬于該小區(qū)間的評價數(shù)據(jù)的值的總和或表示屬于該小區(qū)間的評價數(shù)據(jù)的值的絕對值的總和的面積作為狀態(tài)信息,以小區(qū)間為單位將該狀態(tài)信息按時間序列存儲到狀態(tài)信息串存儲部102a中,在后面敘述波形對照部102的詳細內(nèi)容。并且,波形對照部102根據(jù)相鄰的兩個時間區(qū)間內(nèi)的按時間序列對應(yīng)的每個小區(qū)間的狀態(tài)信息,來將相鄰的兩個時間區(qū)間的波形彼此對照。
圖6是根據(jù)符號和面積來進行兩個以上的時間區(qū)間的波形彼此的對照時的波形例。
如果有5個正值的數(shù)據(jù)連續(xù),則表示為P(5),如果有7個負值的數(shù)據(jù)連續(xù),則表示為M(7),如果有3個不存在用戶的動作的狀態(tài)下的振幅接近零的微小值連續(xù),則表示為Z(3)。P(n)、M(n)以及Z(n)(n為任意的整數(shù))相當于將符號相同的評價數(shù)據(jù)連續(xù)的區(qū)間設(shè)為作為1個單位的小區(qū)間。P、M以及Z分別表示符號信息,n表示區(qū)間長度,該區(qū)間長度表示屬于小區(qū)間的評價數(shù)據(jù)的個數(shù)。從當前時間點向過去回溯,例如如果排列為“P(5)Z(3)M(7)P(5)Z(3)M(7)”,則將5+3+7=15個數(shù)據(jù)作為1個周期而判定為具有相關(guān)性。此外,在“P(5)Z(3)M(7)P(5)Z(3)M(7)”中,區(qū)間長度n的值從左邊起依次為5、3、7、5、3、7。
在“P(5)Z(3)P(7)P(5)Z(3)M(7)”這種排列中,符號的圖案為[P,Z,P]和[P,Z,M]而不一致,因此判定為不具有相關(guān)性。
在“P(5)Z(3)M(7)P(3)Z(3)M(7)”這種排列中,符號的圖案為[P,Z,M]和[P,Z,M]而一致,但是當查看符號連續(xù)的個數(shù)時,為[5,3,7][3,3,7]而不一致,因此判定為不具有相關(guān)性。
狀態(tài)變化不限定于上述的3個的組合,例如以“P(6)M(6)P(3)M(3)P(6)M(6)P(3)M(3)”這種4個的組合也能夠?qū)嵤?。此外,如果系統(tǒng)設(shè)計者判斷為“顯然不可能被人實施”,則還能夠?qū)顟B(tài)變化的個數(shù)設(shè)置限制以削減處理量。
接著,對用于解決相似形的波形的問題的面積的利用進行說明。只要在連續(xù)輸入的數(shù)據(jù)的符號相同的期間內(nèi)單純地將這些數(shù)據(jù)相加即可。如圖6所示,例如將“P(5)Z(3)M(7)P(5)Z(3)M(7)”的原本的數(shù)據(jù)、即屬于各小區(qū)間的評價數(shù)據(jù)設(shè)為以下那樣。
P(5):100,150,500,300,100
Z(3):1,0,-2
M(7):-100,-200,-300,-500,-400,-300,-100
P(5):90,160,490,310,110
Z(3):2,0,1
M(7):-110,-210,-320,-500,-380,-300,-70
在該情況下,例如如上述的那樣,表示屬于原本的數(shù)據(jù)為“100,150,500,300,100”的小區(qū)間P(5)的評價數(shù)據(jù)的值的總和的面積為“100+150+500+300+100=1150”。其它各小區(qū)間也能夠以同樣的方式求出表示屬于小區(qū)間的評價數(shù)據(jù)的值的總和的面積。因而,表示屬于小區(qū)間P(5)、M(7)、Z(3)的評價數(shù)據(jù)的值的總和的面積被計算為“P(1150)Z(-1)M(-1900)P(1160)Z(3)M(-1890)”。作為負的區(qū)間的M的面積也可以使用絕對值來表示為M(1900)、M(1890)。這樣求出的各面積、符號信息以及區(qū)間長度作為狀態(tài)信息以小區(qū)間為單位按時間序列存儲到狀態(tài)信息串存儲部102a中。
Z原本就微小,因此可以不評價面積。對于小區(qū)間P(5)和小區(qū)間M(7),求出與相關(guān)的組合的對方之間的面積比,例如如果將1.5倍以內(nèi)規(guī)定為具有相關(guān)性,則是優(yōu)選的。
波形對照部102對相鄰的兩個時間區(qū)間內(nèi)的按時間序列對應(yīng)的每個小區(qū)間P(5)和每個小區(qū)間M(7)的狀態(tài)信息(計算出的面積)進行對照。關(guān)于小區(qū)間P(5)的組,為1150×1.5>1160且1150<1160×1.5,因此判定為具有相關(guān)性。關(guān)于小區(qū)間M(7)的組,使用其絕對值,為1900×1.5>1890且1900<1890×1.5,因此判定為具有相關(guān)性。這樣,在小區(qū)間P(5)的組和小區(qū)間M(7)的組中的所有組中均判定為面積具有相關(guān)性,因此判定為整體上具有相關(guān)性。此外,不需要每獲取1個傳感器信號就進行該評價。通過僅在評價數(shù)據(jù)的符號變化時進行評價,能夠削減處理量,并且能夠在用戶的動作完成的時間點時機良好地給出判定結(jié)果。
圖7是用于說明波形對照部102中的使用上述的符號圖案和面積的波形對照方法的一例的流程圖。
在此,定義以下用語。
狀態(tài)序列(No.)(符號標志)(連續(xù)數(shù))(面積)
No.:當前為1。越向過去回溯,則按連續(xù)序號賦予越大的序號。
符號標志:正值為P,負值為M,接近零的微小值為Z。
連續(xù)數(shù):相同符號標志連續(xù)的評價數(shù)據(jù)的個數(shù)。
面積:相同符號標志連續(xù)的評價數(shù)據(jù)的值的總和。
初期只存在沒有動作的狀態(tài)持續(xù)了100秒而得到的狀態(tài)序列(No.1)(標志Z)(連續(xù)數(shù)2000)(面積0)。在此,“符號標志”相當于符號信息,“連續(xù)數(shù)”相當于表示屬于小區(qū)間的評價數(shù)據(jù)的個數(shù)的區(qū)間長度,“面積”相當于表示屬于小區(qū)間的評價數(shù)據(jù)的值的總和或?qū)儆谛^(qū)間的評價數(shù)據(jù)的值的絕對值的總和的面積。
當前狀態(tài)數(shù)
當前有效的上述狀態(tài)序列的個數(shù)。
初始值為1。
相關(guān)性狀態(tài)數(shù)
評價相關(guān)性的1個區(qū)間的波形的狀態(tài)序列的個數(shù)。
例如在如以下那樣的狀態(tài)序列的排列中,相關(guān)性狀態(tài)數(shù):3,具有相關(guān)性。
狀態(tài)序列(No.1)(標志P)(連續(xù)數(shù)5)(面積200)
狀態(tài)序列(No.2)(標志Z)(連續(xù)數(shù)3)(面積0)
狀態(tài)序列(No.3)(標志M)(連續(xù)數(shù)7)(面積-300)
狀態(tài)序列(No.4)(標志P)(連續(xù)數(shù)5)(面積200)
狀態(tài)序列(No.5)(標志Z)(連續(xù)數(shù)3)(面積0)
狀態(tài)序列(No.6)(標志M)(連續(xù)數(shù)7)(面積-300)
最大判定對象數(shù)據(jù)數(shù)
以數(shù)據(jù)數(shù)表示用戶能夠重復進行的動作時間的最大值。
例如當將1個周期設(shè)為5秒、以20Hz進行采樣、將重復次數(shù)設(shè)為3次時,
最大判定對象數(shù)據(jù)數(shù)為“5×20×3=300”。
在步驟S401中,由傳感器信號獲取部101的傳感器以固定時間間隔獲取傳感器信號。
在步驟S401的接下來的步驟S402中,將從所獲取到的傳感器信號的值減去獲取到的前一個傳感器信號的值所得到的值作為當前數(shù)據(jù)。設(shè)置能夠根據(jù)預先設(shè)定的閾值或所獲取到的傳感器信號的大小而自動調(diào)整的閾值,并在當前數(shù)據(jù)的絕對值小于該閾值的情況下,將當前數(shù)據(jù)置換為0。
在步驟S402的接下來的步驟S403中,判定當前數(shù)據(jù)的符號標志是否與狀態(tài)序列(No.1)的符號標志相同,如果相同則前進到進入步驟S404,如果不同則前進到步驟S405。
在步驟S404中,對狀態(tài)序列(No.1)的連續(xù)數(shù)加1,對面積加上當前數(shù)據(jù)的值。
在步驟S405中,進行使用圖8在后面敘述的相關(guān)性判定處理。
在步驟S405的接下來的步驟S406中,為了將狀態(tài)序列(No.1)設(shè)為空閑的序號以準備接下來的步驟中創(chuàng)建新的狀態(tài)序列(No.1),而對所有狀態(tài)序列的序號No.加1來使狀態(tài)序列的序號逐一錯位。
在步驟S406的接下來的步驟S407中,新創(chuàng)建狀態(tài)序列(No.1),對符號標志設(shè)置當前數(shù)據(jù)的符號標志,對連續(xù)數(shù)設(shè)置1,對面積設(shè)置當前數(shù)據(jù)的值。由于狀態(tài)序列增加了1個,因此對當前狀態(tài)數(shù)加1。
在步驟S404或步驟S407的接下來的步驟S408中,為了判定保存數(shù)據(jù)是否超過了上限,求出所有狀態(tài)序列的連續(xù)數(shù)的總和后與最大判定對象數(shù)據(jù)數(shù)進行比較。如果所求出的總和大于最大判定對象數(shù)據(jù)數(shù),則前進到步驟S409,如果所求出的總和等于或小于最大判定對象數(shù)據(jù)數(shù),則返回到步驟S401。
在步驟S409中,將作為最早的狀態(tài)序列的狀態(tài)序列(No.當前狀態(tài)數(shù))廢棄,狀態(tài)序列由于廢棄而減少1個,因此從當前狀態(tài)數(shù)減1。
接著,對圖8的相關(guān)性判定處理塊進行說明。
在步驟S501中,由于要調(diào)查狀態(tài)序列以每幾個相關(guān),因此為了將作為相關(guān)的最少個數(shù)的2個作為初始值而對相關(guān)性狀態(tài)數(shù)N設(shè)置2。關(guān)于狀態(tài)序列,每次符號標志變化時創(chuàng)建新的狀態(tài)序列。由此,相臨的狀態(tài)序列的符號標志一定不同。符號標志不同是指不相關(guān),因此狀態(tài)序列為一個的情況不設(shè)為評價對象,因此初始值設(shè)為2即可。
在步驟S501的接下來的步驟S502中,為了判定評價對象的狀態(tài)序列是否已到最后,如果相關(guān)性狀態(tài)數(shù)N的2倍為當前狀態(tài)數(shù)以下,則前進到步驟S503,否則返回并前進到步驟S406。
在步驟S502的接下來的步驟S503中,判定要對照的兩個時間區(qū)間在符號圖案(符號標志和連續(xù)數(shù))上是否相關(guān)。更具體地說,判定狀態(tài)序列(No.1)與狀態(tài)序列(No.1+N)、狀態(tài)序列(No.2)與狀態(tài)序列(No.2+N)、…、狀態(tài)序列(No.N)與狀態(tài)序列(No.N+N)中的所有符號標志與連續(xù)數(shù)是否一致。如果一致,則前進到步驟S504,如果不一致,則前進到步驟S505。此外,通過以要對照的兩個時間區(qū)間各自的連續(xù)數(shù)的總和大致一致為條件而允許各個狀態(tài)序列的連續(xù)數(shù)最大相差±1個,能夠在考慮每個用戶的節(jié)奏感或熟練程度、或者緩和采樣頻率大時的反復動作的準確性上進行研究。例如,如果排列為“P(5)Z(3)M(7)P(6)Z(4)M(6)”,則連續(xù)數(shù)的總和為5+3+7=15和6+4+6=16即相差1,因此認為大致一致,而各自的對應(yīng)的狀態(tài)序列“P(5)-P(6),Z(3)-Z(4),M(7)-M(6)”的連續(xù)數(shù)的差異為±1,因此判定為總的來說具有相關(guān)性。在此示出了連續(xù)數(shù)的總和相差1的例子,但是如圖3示出的那樣,普通的動作時間比短的動作時間增加50%,因此優(yōu)選的是,將連續(xù)數(shù)的總和的差設(shè)定為連續(xù)數(shù)的總和大的一方的25%以內(nèi)以區(qū)別這兩個動作時間。
在步驟S504中,為了判定要對照的兩個時間區(qū)間在面積上是否相關(guān),判定狀態(tài)序列(No.1)與狀態(tài)序列(No.1+N)、狀態(tài)序列(No.2)與狀態(tài)序列(No.2+N)、…、狀態(tài)序列(No.N)與狀態(tài)序列(No.N+N)的所有面積比(將大的一方除以小的一方所得到的比率)是否為1.5倍以內(nèi)。如果為1.5倍以內(nèi),則前進到步驟S506,否則前進到步驟S505。
在步驟S505中,對相關(guān)性狀態(tài)數(shù)N加1以使要對照的狀態(tài)序列增加1個。
在步驟S506中,在進行了判定為具有相關(guān)性的情況下的規(guī)定的模式設(shè)定的處理之后返回,前進到步驟S406。狀態(tài)序列(No.1)~(No.N)的連續(xù)數(shù)的總和相當于動作時間,因此能夠判定該值來在上述的音樂播放器的模式設(shè)定中使用。
例如在正在駕駛車輛時為了給朋友打電話而打算以重復次數(shù)兩次來調(diào)用地址簿檢索應(yīng)用程序并且在動作的中途突然想起某事而想要取消該動作的情況下,如果通過進一步追加1次重復動作就能夠取消,則很方便。在對重復次數(shù)為第3次進行判定時,使上述的相關(guān)性狀態(tài)數(shù)N固定,評價狀態(tài)序列(No.1)~(No.N)和狀態(tài)序列(No.N+N+1)~(No.N+N+N)的符號標志、連續(xù)數(shù)、面積比。能夠?qū)崿F(xiàn)以下處理:如果重復動作為第3次,則將緊接在該第3次之前的第2次時的模式設(shè)定取消。
在以上所說明的使用符號圖案和面積的波形對照方法中,通過進一步在1個周期的最后設(shè)置不進行動作的狀態(tài),能夠?qū)Σ簧瞄L快速動作的用戶提供一種增加動作的變化的方法。
例如通過瞬間進行使手緊接在“打開合上休息”、“打開合上休息”之后打開的動作,來使系統(tǒng)檢測符號標志的變化。
例如,有時存在如下一種用戶,這種用戶不擅長如圖2的(b)中的上部使用“四分音符、四分音符、八分音符、八分音符、四分音符、四分音符、八分音符、八分音符”表示的那樣的“嗒~嗒~嗒嗒、嗒~嗒~嗒嗒”P(6)M(6)P(3)M(3)P(6)M(6)P(3)M(3)的節(jié)奏中的嗒嗒P(3)M(3)這種快速動作。在該情況下,如圖2的(b)中的下部使用“四分音符、四分音符、四分休止符、四分音符、四分音符、四分休止符”表示的那樣使用“嗒~嗒~_、嗒~嗒~_”P(6)M(6)Z(6)P(6)M(6)Z(6),在1個周期的最后設(shè)置不進行動作的狀態(tài),由此產(chǎn)生能夠?qū)崿F(xiàn)相同長度的周期這樣的優(yōu)點。此外,“_”表示不進行動作的狀態(tài)。
在1個周期的開頭設(shè)置不進行動作的狀態(tài)也能夠同樣地實施。
(第三實施方式)
說明對佩戴于手腕的皮膚導電率傳感器(佩戴于生物體的傳感器的一例)安裝本發(fā)明的例子。除傳感器以外的硬件的結(jié)構(gòu)、功能塊的結(jié)構(gòu)與第一實施方式相同,因此省略說明。在本實施方式中,由佩戴于生物體的傳感器進行采樣所得到的信號被用作傳感器信號。
圖9示出作為生物體傳感器之一的皮膚導電率傳感器的外觀圖,圖10是設(shè)置于皮膚導電率傳感器中的傳感器信號獲取部的功能框圖。圖9的(a)示出皮膚導電率傳感器201的從與人的皮膚接觸的一側(cè)觀看到的狀態(tài),圖9的(b)示出人佩戴時的狀態(tài)。
如圖9的(a)和圖9的(b)所示,皮膚導電率傳感器201具有收納有微計算機和電池的盒部202、與人的皮膚緊密貼合的兩個電極203、204以及佩戴時卷繞在人的手腕上的佩戴用帶205。如圖9的(b)所示,在盒部202的側(cè)面設(shè)置有電源開關(guān)。
如圖10所示,設(shè)置于盒部202的傳感器信號獲取部210具有電流源213、用于對電流源213的電流量進行控制的電流控制部212、與電流控制部212連接的兩個電極203、204以及用于將流過兩個電極203、204之間的電流轉(zhuǎn)換為導電率的導電率轉(zhuǎn)換部211。
皮膚導電率傳感器201是使兩個電極203、204與人的皮膚緊密貼合后向電極203、204之間施加微弱的電壓并將流過電極之間的電流轉(zhuǎn)換為導電率來進行監(jiān)視的傳感器。人的皮膚因出汗而皮膚的導電率發(fā)生變化。皮膚導電率傳感器201的主要用途是,通過對由交感神經(jīng)的作用引起的手掌、手腕的出汗所導致的皮膚導電率的變化進行監(jiān)視,來探測引起交感神經(jīng)的興奮的情緒的產(chǎn)生。然而,當兩個電極203、204與皮膚的接觸狀態(tài)發(fā)生變化時,皮膚導電率傳感器201也發(fā)生反應(yīng)。在佩戴于手腕的情況下,由于使手指運動、使手腕彎曲或者使手腕轉(zhuǎn)動而接觸狀態(tài)發(fā)生變化。通常,基于這些動作的檢測信號被視作噪聲而排除,但是本發(fā)明在檢測用戶是否有節(jié)奏地重復進行了相同動作中使用該檢測信號。
圖11是皮膚電阻傳感器的信號的相臨差“Skin Conductance Response(SCR)(皮膚導電反應(yīng))”的曲線圖。圖11的(a)是源自鑒賞運動圖像中產(chǎn)生的情緒的曲線圖,圖11的(b)是基于手指的屈伸的運動偽影的曲線圖。通過使用上述的相關(guān)系數(shù)、符號信息進行解析,能夠檢測出圖11的(b)中有節(jié)奏地重復進行了相同動作。
該安裝的第一優(yōu)點在于,即使在將手放在衣兜中或戴著手套的狀態(tài)下也能夠檢測由單手進行的動作。如果是在進行作為將人叫到跟前時的動作方式之一的“過來過來”時的使食指至小拇指一起運動的動作,則即使戴著連指手套也能夠進行動作。在隆冬時節(jié)用便攜式音樂播放器聽音樂的場景下,在對裝備于頭戴式耳機的開關(guān)進行操作的現(xiàn)有技術(shù)中,不得不將手從衣兜拿出并摘下手套,但是如果使用佩戴于手腕的本發(fā)明的皮膚導電率傳感器201,則無需這樣做。
該安裝的第二優(yōu)點在于,即使是使用佩戴于同一手腕的加速度傳感器無法檢測出的細微的動作,皮膚導電率傳感器201也能夠檢測。反過來說,在佩戴于同一手腕的加速度傳感器檢測出同樣的有節(jié)奏的動作的情況下,能夠?qū)⒃搫幼髯鳛樵肼暥懦?。能夠在模式設(shè)定中使用上述的使手指運動的動作,能夠?qū)⑻杌蛞贿厰[手一邊走路時的有節(jié)奏的信號作為噪聲忽略。
該安裝的第三優(yōu)點在于,能夠削減由預備動作引起的對作為識別對象的手勢的誤識別。例如在重復進行手的開閉動作的情況下,本發(fā)明不需要預先登記動作圖案。因此,用戶只要進行以下動作即可:如果自己是從將手打開的狀態(tài)起開始進行動作的,則進行“合上打開、合上打開”,如果自己是從將手合上的狀態(tài)起開始進行動作的,則進行“打開合上、打開合上”。由于預備動作本身不再存在,因此能夠削減預備動作招致誤識別的問題。當應(yīng)用于握著汽車的方向盤的情況時,只要進行“打開合上、打開合上”即可,不需要預備動作,并且在動作結(jié)束時再次返回到握住方向盤的狀態(tài),因此在安全方面也可以說是優(yōu)良的方法。
在皮膚導電率傳感器201的實施例中,對不設(shè)置閾值的優(yōu)點進行說明。
皮膚導電率傳感器201能夠捕捉到通過因手的開閉動作而手腕內(nèi)側(cè)的肌肉重復進行隆起和凹陷而產(chǎn)生的皮膚與電極203、204的接觸狀態(tài)的變化。對于皮下脂肪少的用戶而言,由于肌肉的凹陷而皮膚與電極203、204分離,皮膚導電率幾乎變?yōu)榱?,因此能夠設(shè)置閾值來與噪聲進行區(qū)分。但是,如果是皮下脂肪厚的用戶,則皮膚與電極203、204不會分離,皮膚導電率只是平穩(wěn)地變化而不變?yōu)榱恪R虼?,本發(fā)明不通過皮膚導電率是否超過閾值來判定是否為用戶有意識的動作,而是根據(jù)信號平穩(wěn)地變化的情形是否周期性地重復來判定是否為用戶有意識的動作。
根據(jù)本發(fā)明,不僅能夠幫助皮下脂肪厚的用戶,還能夠應(yīng)對使手腕向手背側(cè)彎曲而使手腕內(nèi)側(cè)的皮膚伸展的動作,并且還能夠應(yīng)對只是握緊拳頭或放松拳頭這種微小動作。
在本實施方式中,作為生物體信息,取皮膚導電率即皮膚電阻的信息為例子進行了說明,但是還能夠?qū)⑿穆?、脈搏、血壓、血氧濃度、體溫、呼吸、腦電波、眨眼以及步數(shù)中的任意的信息設(shè)為對象。
(第四實施方式)
對本發(fā)明與音樂播放之間的關(guān)聯(lián)進行說明。如圖12所示,在本實施方式中,在被控制對象裝置110中安裝具備音樂播放功能的音樂播放部110a、音樂信息獲取功能,除此以外,輸入設(shè)備中的硬件的結(jié)構(gòu)、功能塊的結(jié)構(gòu)與第一實施方式相同,因此省略詳細的說明。本實施方式中的模式設(shè)定部103將兩個以上的時間區(qū)間的波形被判定為是大致相同的波形的波形的時間長度換算為節(jié)拍,在將該節(jié)拍與音樂播放部110a中正在播放的音樂的節(jié)拍進行比較而判定為具有相關(guān)性的情況下,將判定為是大致相同的波形的該判定廢棄。
在輸入信號被視作連續(xù)的兩個周期的波形的情況下,實際上有可能只是用戶正在隨著音樂跳舞,而并不是用戶意識到輸入而進行了動作。為了對此進行確認,在模式設(shè)定部103中,從被控制對象裝置110獲得音樂播放的信息(音樂播放部110a中正在播放的音樂的節(jié)拍),將輸入信號被視作連續(xù)的兩個周期的波形(兩個以上的時間區(qū)間的波形)的波形的時間的長度(時間長度)換算為節(jié)拍,判定換算出的節(jié)拍與正在播放的音樂的節(jié)拍是否一致或者某一方是否為另一方的整數(shù)倍。在判定的結(jié)果為兩個節(jié)拍一致、即具有相關(guān)性的情況下,判定為是用戶在跳舞,將被視作為連續(xù)的兩個周期的波形的波形廢棄,不進行模式的設(shè)定。
在該實施方式中,說明了模式設(shè)定部103中的判定要領(lǐng),但是也可以是模式設(shè)定部103向被控制對象裝置110提供輸入信號被視作為連續(xù)的兩個周期的波形的波形長度的信息。被控制對象裝置110根據(jù)被提供的波形長度來計算節(jié)拍,并與自身正在播放的音樂的節(jié)拍進行比較。
或者,被控制對象裝置110也可以具備麥克風來代替音樂播放功能,根據(jù)被輸入的聲音信號來檢測外部環(huán)境音樂的節(jié)拍,并將檢測出的節(jié)拍與根據(jù)從模式設(shè)定部103提供的波形的長度計算出的節(jié)拍進行比較。通過該結(jié)構(gòu)能夠削減卡拉OK房間中的誤動作。
接著,對以下安裝進行說明:即使節(jié)拍一致,如果是預先已登記的動作,則不將該動作廢棄而進行模式設(shè)定。著眼于如果是播放著相同節(jié)拍的音樂則用戶能夠容易準確地再現(xiàn)過去的動作,本實施方式進行了在預先登記動作的以往的方式中使用音樂的研究。
在登記時,一邊播放音樂一邊進行用戶自己所決定的動作,來登記該動作圖案、播放的音樂的節(jié)拍以及模式設(shè)定要領(lǐng)。在模式設(shè)定時,一邊播放音樂一邊等待接收用戶的動作,當檢測出是連續(xù)的兩個周期的波形時,判定是否與正在播放的音樂的節(jié)拍匹配。如果與正在播放的音樂的節(jié)拍匹配,則判定是否與已登記的動作圖案的波形相關(guān),如果判定為具有相關(guān)性,則按照已登記的模式設(shè)定要領(lǐng)進行模式設(shè)定。
另外,在要進行對照的波形中的兩個以上的時間區(qū)間在時間軸上不相鄰并且在該兩個以上的時間區(qū)間中播放音樂的環(huán)境下使用輸入設(shè)備100的情況下,波形對照部102在播放的音樂的節(jié)拍在兩個以上的時間區(qū)間內(nèi)不同的情況下,根據(jù)在進行對照的兩個時間區(qū)間內(nèi)播放的音樂的節(jié)拍的不同,對進行對照的兩個時間區(qū)間中的一方的區(qū)間的波形的信息進行編輯以使得能夠視作該一方的區(qū)間的波形的長度與另一方的區(qū)間的波形的長度大致一致,之后將波形彼此對照。
例如,在登記時和模式設(shè)定時的兩個時間區(qū)間在時間軸上不相鄰并且該登記時播放的音樂與該模式設(shè)定時播放的音樂不同的情況下,根據(jù)登記時的音樂的節(jié)拍與模式設(shè)定時的音樂的節(jié)拍之間的比率來使所登記的動作的長度伸縮。在使用相關(guān)系數(shù)的第一實施方式中,能夠使用未圖示的采樣率轉(zhuǎn)換器來實現(xiàn)該伸縮。例如在以20Hz進行采樣的皮膚導電率傳感器中,在登記時播放的音樂的節(jié)拍為“將四分音符設(shè)為40”并且模式設(shè)定時的音樂的節(jié)拍為“將四分音符設(shè)為80”的情況下,使用采樣率轉(zhuǎn)換器來將模式設(shè)定時的采樣數(shù)以40Hz的采樣進行上采樣后進行對照。另外,能夠通過增減第二實施方式中的相關(guān)性判定處理塊的步驟S503中的連續(xù)數(shù)的數(shù)量、或者增減相關(guān)性判定處理塊的步驟S504中的面積的比率來實現(xiàn)。
除了重復進行兩次已登記的動作圖案的實施例以外,以下應(yīng)用程序也屬于本發(fā)明的范疇,該應(yīng)用程序為:在緊挨在重復進行兩次用于啟動模式設(shè)定功能的未登記的動作之后,進行一次用于指定模式的已登記的動作圖案。
根據(jù)本發(fā)明,在一邊播放音樂一邊駕駛車輛時只通過手的動作就能夠向指定的對方撥打電話或者調(diào)用重撥、回撥的功能。例如要調(diào)用撥打電話的功能時,進行以下過程。當重復進行兩次未登記的相同動作時,地址簿檢索應(yīng)用程序啟動。為了指定撥打電話的對方,最好為容易記憶的動作,用戶事先登記例如如下動作來作為動作圖案,該動作為:在要向山下先生撥打電話時在空中書寫字母Y字,在要向?qū)鞠壬鷵艽螂娫挄r在空中書寫字母O字。一邊播放音樂一邊實際地進行書寫字母的動作,來登記動作圖案、節(jié)拍以及功能。在用戶要向山下先生撥打電話的情況下,用戶使手開閉兩次后隨著正在播放的音樂在空中書寫一次Y。系統(tǒng)將使手開閉兩次的部分的評價數(shù)據(jù)檢測為連續(xù)的兩個周期的動作,并判定為與啟動地址簿檢索應(yīng)用程序的動作圖案匹配。接著,該系統(tǒng)一邊逐次獲取使手開閉兩次的部分的接下來的評價數(shù)據(jù),一邊根據(jù)正在播放的音樂的節(jié)拍和已登記的節(jié)拍來使已登記的動作圖案伸縮,并且重復進行與已登記的電話號碼的動作圖案的對照。接著,該系統(tǒng)在用戶寫完Y的時刻判定為與已登記的山下先生的Y的動作圖案匹配,從而向山下先生撥打電話。也可以將兩個以上的傳感器組合,在本例中,優(yōu)選的是,利用皮膚導電率傳感器來檢測手的開閉,利用加速度傳感器來檢測書寫字母的動作。
在通常的手勢識別中,為了吸收用戶的動作時間不穩(wěn)定的情況而使用隱馬爾可夫模型(Hidden Markov Model)、動態(tài)時間伸縮法(Dynamic time warping),但是存在計算量大這種問題。在本發(fā)明中,通過播放音樂來使用戶的動作時間保持固定,從而能夠應(yīng)用計算量少的算法。
(第五實施方式)
在佩戴于手腕、手臂、手指、頭、耳、腰、腹、胸等生物體的各種部位的佩戴型設(shè)備所具備的生物體傳感器中,除了存在由于本來的生物體反應(yīng)而產(chǎn)生的傳感器信號波動以外,還存在由于佩戴者的動作而產(chǎn)生的傳感器信號波動。
本發(fā)明的重要的視點之一在于,不妨礙根據(jù)由于生物體反應(yīng)而產(chǎn)生的傳感器信號波動來檢測生物體信息的生物體傳感器的本來的功能,能夠從由于佩戴者的動作而產(chǎn)生的傳感器信號波動中檢測由于佩戴者有意的動作而產(chǎn)生的傳感器信號波動。
近年來,開發(fā)出了腕帶型(手表型)、眼鏡型、戒指型、其它各種形式的佩戴型設(shè)備。這種佩戴型設(shè)備被用于如下用途:與便攜式電話設(shè)備、智能手機等移動信息終端協(xié)作地獲取并顯示各種信息。特別是,佩戴型設(shè)備被用于如下用途:檢測佩戴者的生物體信息,進行各種信息處理、信息管理,由佩戴者閱覽這些信息,系統(tǒng)向佩戴者發(fā)出各種警報,掌握佩戴者的活動量、健康狀態(tài)、感情狀態(tài)來進一步進行控制。
生物體傳感器設(shè)為檢測對象的生物體信息為心率、心音、脈搏、血壓、血氧濃度、體溫、呼吸、皮膚導電率、皮膚電位、腦電波、眨眼數(shù)等各種生物體信息。該生物體傳感器大多直接或間接地與皮膚接觸來測定皮膚的電阻、靜電電容等,或者向測定對象照射光、電磁波、超聲波并測定這些光、電磁波、超聲波的反射、吸收,來獲取并解析傳感器信號。
在這些測定方法中,不僅由于佩戴了具備生物體傳感器的佩戴型設(shè)備的佩戴者的生物體反應(yīng)而在傳感器信號中產(chǎn)生波動,還由于佩戴者的動作而在傳感器信號中產(chǎn)生波動。不僅存在直接移動佩戴部位的情況,例如還存在如下情況:在佩戴于手腕的皮膚導電率傳感器中,由于佩戴者的深呼吸而間接地在傳感器信號中產(chǎn)生波動。
在圖11所示的皮膚導電率傳感器中,利用由情緒產(chǎn)生的波形不存在周期性,來檢測由于佩戴者有意進行的周期性的動作而產(chǎn)生的波形,由此在保持本來的情緒檢測的功能的狀態(tài)下,實現(xiàn)新添加檢測有意的動作的功能。
圖13是示出佩戴于手腕的脈搏波傳感器中的檢測波形的一例的圖。圖13的(a)示出基于手指的屈伸的周期性動作的檢測波形,圖13的(b)將縱軸擴大60倍來示出圖13的(a)中的期間T的一部分的期間。
在圖13所示的脈搏波傳感器中,雖然脈搏波本身呈現(xiàn)周期性的波形,但是由于佩戴者有意進行的周期性的動作而產(chǎn)生的波形的最大振幅為脈搏波的最大振幅的50倍到100倍。因此,通過對評價數(shù)據(jù)的絕對值設(shè)置閾值并將基于脈搏波的振幅近似為零,能夠檢測由于佩戴者有意進行的周期性的動作而產(chǎn)生的波形。反之,能夠通過使振幅超過閾值的時間區(qū)間在前后留有余量并忽略該余量來從其余的時間區(qū)間檢測脈搏波。
這樣,由于有意進行的周期性的動作而產(chǎn)生的傳感器信號能夠以其波動的周期性、振幅的大小來與由于生物體反應(yīng)而產(chǎn)生的傳感器信號波動區(qū)分地進行處理,其周期性的判定能夠通過本發(fā)明中的方法來實施。
根據(jù)本發(fā)明,能夠不妨礙佩戴型設(shè)備所具備的生物體傳感器本來的生物體信息的檢測功能地將該生物體傳感器還用作如下的輸入設(shè)備:通過還檢測由用戶有意進行的周期性的動作引起的傳感器信號波動來進行用戶所意圖的模式設(shè)定。
圖14是生物體傳感器800的功能框圖。生物體傳感器800包含:生物體信號獲取部801,其獲取由構(gòu)成為能夠佩戴于生物體的傳感器進行采樣所得到的傳感器信號;評價數(shù)據(jù)串存儲部803,其存儲評價數(shù)據(jù),其中,該評價數(shù)據(jù)是傳感器信號,或者是通過規(guī)定的加工方法對傳感器信號進行加工所得到的數(shù)據(jù);生物體信息檢測部804,其根據(jù)評價數(shù)據(jù)檢測生物體信息;有意動作檢測部805,其按照本發(fā)明來根據(jù)評價數(shù)據(jù)檢測周期性的動作;以及評價數(shù)據(jù)分配部802,如果有必要則設(shè)置閾值來一邊加工評價數(shù)據(jù)一邊根據(jù)應(yīng)檢測的信息來將評價數(shù)據(jù)分配給生物體信息檢測部804和有意動作檢測部805。
由此,不需要配置用于檢測意圖進行模式設(shè)定的動作的專用的傳感器,只通過追加對由生物體傳感器獲取到的傳感器信號施加適當?shù)男盘柼幚淼墓ば?,就能夠在進行作為生物體傳感器的本來的功能的生物體信息檢測的同時,實現(xiàn)用于檢測意圖進行模式設(shè)定的動作并進行設(shè)備操作、信息輸入等的輸入設(shè)備。
在此使用皮膚導電率傳感器和脈搏波傳感器這兩個例子進行了說明,但是顯而易見的是,在其它現(xiàn)有的生物體傳感器或者今后開發(fā)的生物體傳感器中,也能夠通過在使用上述的測定方法的生物體傳感器中使用本發(fā)明的方法,而不妨礙本來的生物體信息的檢測功能地檢測由于用戶有意進行的周期性的動作而產(chǎn)生的傳感器信號波動。
關(guān)于測定來源于生物體的體溫的紅外線的傳感器的用途,例如還存在如個人計算機的離席探測系統(tǒng)那樣不佩戴于生物體的情況。能夠應(yīng)用于以下應(yīng)用程序:根據(jù)是否在離席前進行周期性的動作來區(qū)分地設(shè)定是否在省電模式下施加鎖定。另外,在智能手機中,還能夠?qū)ε渲糜趽P聲器附近的紅外線傳感器應(yīng)用本發(fā)明,以減少由于用戶的臉與操作面接觸而產(chǎn)生的誤動。在該情況下,由該紅外線傳感器進行采樣所得到的信號(采樣信號)被用作傳感器信號。例如,能夠應(yīng)用于以下應(yīng)用程序:在將智能手機設(shè)置于音樂播放用的對接臺(docking station)來播放音樂時,不需要將智能手機拿到手中,而通過用手遮住該紅外線傳感器并有節(jié)奏地進行動作來進行表1所記載的模式設(shè)定。
(第六實施方式)
對在根據(jù)生物體的體溫發(fā)生反應(yīng)的紅外線傳感器中安裝本發(fā)明的例子進行說明。除傳感器以外的硬件的結(jié)構(gòu)、功能塊的結(jié)構(gòu)與第一實施方式相同,因此省略說明。在本實施方式中,由紅外線傳感器進行采樣所得到的信號(采樣信號)被用作傳感器信號。用于檢測作為生物體的手與紅外線傳感器之間的位置關(guān)系的變化。
圖15是將使手時而靠近時而遠離紅外線傳感器時的信號、以及使手靠近紅外線傳感器后快速地晃動手時的信號曲線圖化所得到的圖。圖15中的信號波形α是使手緩慢地時而靠近時而遠離傳感器時的波形。圖15中的信號波形β是進行使手靠近傳感器后在傳感器前快速地晃動手的動作時的波形??芍斢脩暨M行周期性的動作時紅外線傳感器的輸入信號能夠被視作連續(xù)的兩個周期的波形。
另外,可知能夠通過一個波形的區(qū)間長度(或信號的波峰與波峰的間隔的長度)的不同來區(qū)分緩慢地進行動作時(信號波形α)與快速地進行動作時(信號波形β)。
只是傳感器不佩戴于生物體這一點與第一實施方式不同,能夠與第一實施方式同樣地處理所獲取的信號。
本發(fā)明能夠具體化為計算機程序。例如,還能夠?qū)⑤斎朐O(shè)備100、傳感器信號獲取部210的各部的功能或者圖4、圖7以及圖8所示的各流程圖以程序?qū)崿F(xiàn)。因而,本發(fā)明的一部分或全部能夠編入硬件或軟件(包括固件、常駐軟件、微代碼、狀態(tài)機、門陣列等)。并且,本發(fā)明能夠取能夠由計算機使用的存儲介質(zhì)或計算機可讀的存儲介質(zhì)上的計算機程序制品的形式,在該介質(zhì)中編入能夠由計算機使用的程序代碼或計算機可讀的程序代碼。在本說明書的上下文中,能夠由計算機使用的介質(zhì)或計算機可讀的介質(zhì)能夠設(shè)為由命令執(zhí)行系統(tǒng)、裝置或設(shè)備使用或與這些一起使用的能夠?qū)Τ绦蜻M行收錄、存儲、通信、傳輸或輸送的任意的介質(zhì)。
如以上說明的那樣,根據(jù)本發(fā)明,能夠?qū)崿F(xiàn)以下的信號處理:對由用戶所佩戴的傳感器進行采樣所得到的(以固定時間間隔獲取到的)數(shù)據(jù)進行解析,探測用戶有意識地有節(jié)奏地重復進行了多次的動作,來切換被控制對象的模式。另外,根據(jù)本發(fā)明,起到如下效果:取消了預先登記動作圖案,或者使預先登記的動作圖案的準確再現(xiàn)變得容易,由此使進行是否設(shè)定被控制對象的模式的判定的錯誤減小。
附圖標記說明
100:輸入設(shè)備;101:傳感器信號獲取部;102:波形對照部;102a:狀態(tài)信息存儲部;103:模式設(shè)定部;104、803:評價數(shù)據(jù)串存儲部;110:被控制對象裝置;110a:音樂播放部;201:皮膚導電率傳感器;201:皮膚導電率傳感器;202:盒部;203、204:電極;205:佩戴用帶;210:傳感器信號獲取部;211:導電率轉(zhuǎn)換部;212:電流控制部;213:電流源;800:生物體傳感器;801:生物體信號獲取部;802:評價數(shù)據(jù)分配部;804:生物體信息檢測部;805:有意動作檢測部。