專利名稱：用于使用聲學(xué)信號(hào)提供用戶接口的方法和設(shè)備、包括用戶接口的裝置的制作方法
技術(shù)領(lǐng)域：
以下描述涉及使用聲學(xué)信號(hào)(acoustic signal)(例如，表面聲學(xué)信號(hào))提供用戶接口。
背景技術(shù)：
主要以操作鍵、按鈕、鼠標(biāo)或觸 摸屏的形式開發(fā)了用于提供用戶接口以操作電子裝置來執(zhí)行功能的設(shè)備。由于傳統(tǒng)用戶接口提供設(shè)備代表性地包括采用諸如按鈕和屏幕的裝置的電子電路，因此存在有限的用戶可輸入命令的區(qū)域。換言之，存在沒有安裝這種電子電路的輸入裝置的區(qū)域無法用作接口(即，無法用作輸入范圍)的限制。此外，當(dāng)將接口設(shè)備裝入彎曲區(qū)域(而不是平坦平面)以及一般對(duì)象(諸如一件家具或墻壁)時(shí)，用戶接口需要面對(duì)沖擊和污染物是耐用的。但是，難以實(shí)現(xiàn)這樣的質(zhì)量。傳統(tǒng)用戶接口提供設(shè)備在固定到電子裝置的預(yù)定區(qū)域的狀態(tài)下操作。為此，如果電子裝置的接口(即，輸入范圍)被布置在用戶難以達(dá)到的位置(諸如衣服內(nèi)或包內(nèi))，則接口變得不便于操作。具體地講，當(dāng)電子裝置具有有限量的空間(例如，在移動(dòng)裝置中)時(shí)，難以確保充足的輸入空間。因此，存在對(duì)于能夠克服接口的輸入空間的限制并且比傳統(tǒng)的接口裝置減少成本的接口技術(shù)的需求。

發(fā)明內(nèi)容
技術(shù)問題在一個(gè)總體方面，提供了一種用于提供裝置的用戶接口的設(shè)備，包括表面聲學(xué)信號(hào)獲取單元，獲取從布置于所述裝置的外部的介質(zhì)產(chǎn)生的表面聲學(xué)信號(hào)；模式識(shí)別單元，通過分析表面聲學(xué)信號(hào)的特征來識(shí)別表面聲學(xué)信號(hào)的模式；用戶輸入識(shí)別單元，基于表面聲學(xué)信號(hào)的模式識(shí)別用戶的輸入信號(hào)。所述介質(zhì)可通過接觸所述裝置的對(duì)象提供給用戶。表面聲學(xué)信號(hào)獲取單元可包括接觸接觸器，通過接觸所述對(duì)象來接收表面聲學(xué)信號(hào)；聲學(xué)傳感器，將表面聲學(xué)信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。所述介質(zhì)可通過所述裝置的外部殼體而提供給用戶。模式識(shí)別單元可包括特征提取器，提取時(shí)域特征和/或頻域特征；模式分析器，基于時(shí)域特征和/或頻域特征分析表面聲學(xué)信號(hào)的模式。時(shí)域特征可包括表面聲學(xué)信號(hào)的幅度、過零的分布、能量的量、表面聲學(xué)信號(hào)的長度或表面聲學(xué)信號(hào)的形狀。模式識(shí)別單元可使用測試信號(hào)確定所述介質(zhì)的類型，并且可基于所述介質(zhì)的類型識(shí)別表面聲學(xué)信號(hào)的模式。模式識(shí)別單元可基于表面聲學(xué)信號(hào)的頻域特征來估計(jì)產(chǎn)生表面聲學(xué)信號(hào)的工具，并且可基于工具確定表面聲學(xué)信號(hào)的模式。用戶輸入識(shí)別單元可對(duì)與表面聲學(xué)信號(hào)的模式匹配的最小有意義單元進(jìn)行分類，并基于最小有意義單元識(shí)別用戶的輸入信號(hào)。用戶輸入識(shí)別單元可通過從模式識(shí)別單元順序接收多個(gè)模式并且組合與所述多個(gè)模式對(duì)應(yīng)的最小有意義單元，來識(shí)別用戶的輸入信號(hào)。模式可包括與表面聲學(xué)信號(hào)的方向?qū)?yīng)的信息，用戶輸入識(shí)別單?？苫谂c表面聲學(xué)信號(hào)的方向?qū)?yīng)的信息，識(shí)別用戶的輸入信號(hào)。
所述設(shè)備還可包括模式模型存儲(chǔ)單元，存儲(chǔ)根據(jù)介質(zhì)和/或輸入工具的類型分類的表面聲學(xué)信號(hào)的模式模型。用戶的輸入信號(hào)可包括通過所述介質(zhì)輸入的字符、圖形、拖動(dòng)、觸摸事件或字符、圖形、拖動(dòng)、觸摸事件的任意組合。在另一總體方面，一種提供裝置的用戶接口的方法包括以下步驟獲取表面聲學(xué)信號(hào)；提取表面聲學(xué)信號(hào)的時(shí)域特征和/或頻域特征；基于所述時(shí)域特征和/或頻域特征分析表面聲學(xué)信號(hào)的模式；以及，基于表面聲學(xué)信號(hào)的模式，識(shí)別用戶的輸入信號(hào)。分析表面聲學(xué)信號(hào)的模式的步驟可包括通過使用測試信號(hào)，來確定介質(zhì)的類型；基于表面聲學(xué)信號(hào)的頻域特征，來估計(jì)產(chǎn)生表面聲學(xué)信號(hào)的工具的類型；基于所述介質(zhì)和/或產(chǎn)生表面聲學(xué)信號(hào)的工具的類型，識(shí)別表面聲學(xué)信號(hào)的模式。識(shí)別的步驟可包括順序接收多個(gè)模式；通過組合與模式對(duì)應(yīng)的最小有意義單元，來識(shí)別用戶的輸入信號(hào)。在另一總體方面，一種提供裝置的用戶接口的方法包括以下步驟執(zhí)行從布置于所述裝置的外部的介質(zhì)接收用戶的輸入信號(hào)的外部輸入模式；響應(yīng)于從所述介質(zhì)接收到表面聲學(xué)信號(hào)，通過分析表面聲學(xué)信號(hào)的特征來識(shí)別與所述介質(zhì)對(duì)應(yīng)的表面聲學(xué)信號(hào)的模式；以及，基于表面聲學(xué)信號(hào)的模式，識(shí)別用戶的輸入信號(hào)。在另一總體方面，一種提供裝置的用戶接口的方法包括如下步驟執(zhí)行從布置于所述裝置的外部的介質(zhì)接收用戶的輸入信號(hào)的外部輸入模式；響應(yīng)于從所述介質(zhì)接收到表面聲學(xué)信號(hào)，確定表面聲學(xué)信號(hào)的方向；以及，執(zhí)行裝置的與表面聲學(xué)信號(hào)的方向?qū)?yīng)的功倉泛?？赏ㄟ^表面聲學(xué)信號(hào)的波形的形狀、第一聲學(xué)傳感器接收的第一表面聲學(xué)信號(hào)與第二聲學(xué)傳感器接收的第二聲學(xué)表面信號(hào)之間的時(shí)間差、第一表面聲學(xué)信號(hào)和第二表面聲學(xué)信號(hào)的大小的變化，或者通過表面聲學(xué)信號(hào)的波形的形狀、第一聲學(xué)傳感器接收的第一表面聲學(xué)信號(hào)與第二聲學(xué)傳感器接收的第二聲學(xué)表面信號(hào)之間的時(shí)間差、第一表面聲學(xué)信號(hào)和第二表面聲學(xué)信號(hào)的大小的變化的任意組合，來確定表面聲學(xué)信號(hào)的方向。在另一總體方面，一種設(shè)置有用戶接口的裝置，包括傳感器，獲取在所述裝置的外部產(chǎn)生的表面聲學(xué)信號(hào)；至少一個(gè)處理器，被配置為通過分析表面聲學(xué)信號(hào)的特征來對(duì)表面聲學(xué)信號(hào)的模式進(jìn)行分類以及基于表面聲學(xué)信號(hào)的模式識(shí)別與表面聲學(xué)信號(hào)對(duì)應(yīng)的用戶的輸入信號(hào)。在另一總體方面，一種提供裝置的用戶接口的方法包括如下步驟從所述裝置的外部接收用戶產(chǎn)生的聲學(xué)信號(hào)；分析獲取的聲學(xué)信號(hào)；以及，基于分析的聲學(xué)信號(hào)分析用戶的輸入信號(hào)。
可通過介質(zhì)與用戶的手之間的接觸，而產(chǎn)生聲學(xué)信號(hào)?？赏ㄟ^介質(zhì)與用戶使用的工具之間的接觸，而產(chǎn)生聲學(xué)信號(hào)。可在所述裝置與用戶接觸的介質(zhì)接觸的情況下，獲取聲學(xué)信號(hào)。所述聲學(xué)信號(hào)可以是表面聲學(xué)信號(hào)。 在另一總體方面，提供了一種設(shè)置有用戶接口的裝置，包括傳感器，感測表面聲學(xué)信號(hào)；識(shí)別單元，識(shí)別與所述表面聲學(xué)信號(hào)對(duì)應(yīng)的用戶輸入。所述表面聲學(xué)信號(hào)可從圍繞所述裝置的殼體發(fā)生。所述表面聲學(xué)信號(hào)可從遠(yuǎn)離所述裝置的點(diǎn)發(fā)生。識(shí)別單元可根據(jù)位置模板匹配方案和/或到達(dá)的時(shí)間差方案識(shí)別用戶輸入。在另一總體方面，一種提供裝置的用戶接口的方法的步驟包括感測表面聲學(xué)信號(hào)；以及，識(shí)別與所述表面聲學(xué)信號(hào)對(duì)應(yīng)的用戶輸入。識(shí)別用戶輸入的步驟可包括分析所述表面聲學(xué)信號(hào)，以確定用于產(chǎn)生所述表面聲學(xué)信號(hào)的工具。識(shí)別用戶輸入的步驟可包括確定在所屬裝置外部的介質(zhì)的類型，并根據(jù)介質(zhì)的類型分析表面聲學(xué)信號(hào)。至少兩個(gè)傳感器可被用于感測表面聲學(xué)信號(hào)，可根據(jù)所述至少兩個(gè)傳感器之間的空間差執(zhí)行識(shí)別用戶輸入。其它特征和方面將從以下詳細(xì)的描述、附圖和權(quán)利要求變得清楚。


圖I是示出使用表面聲學(xué)信號(hào)(surface acoustic signal)的擴(kuò)展的接口的示例的示圖。圖2是示出用戶接口提供設(shè)備的示例的示圖。圖3是示出在圖I和圖2中示出的表面聲學(xué)信號(hào)獲取單元的示例結(jié)構(gòu)的示圖。圖4是示出示例用戶接口提供設(shè)備的結(jié)構(gòu)的示圖。圖5和圖6是示出從圖4的濾波器和簡化器輸出的信號(hào)的示例的示圖。圖7是示出最小有意義單元的示例。圖8至圖11是示出根據(jù)輸入工具的表面聲學(xué)信號(hào)的頻率特征的示圖。圖12是在用戶的輸入信號(hào)為字符的情況下識(shí)別用戶的輸入信號(hào)的示例的示圖。圖13和圖14中的每一個(gè)是示出與直線對(duì)應(yīng)的示例波形的示圖。圖15是在至少兩個(gè)聲學(xué)傳感器設(shè)置在用戶接口提供設(shè)備的情況下獲得的表面聲學(xué)信號(hào)的示例的示圖。圖16是示出裝置的示例殼體的示圖。圖17是示出提供裝置的用戶接口的方法的示例的流程圖。圖18是示出圖17的分析表面聲學(xué)信號(hào)的模式(pattern)的操作的示例的流程圖。圖19是示出提供裝置的用戶接口的方法的另一示例的流程圖。圖20是示出提供裝置的用戶接口的方法的另一示例的流程圖。貫穿附圖和詳細(xì)描述，除非另有描述，相同附圖標(biāo)號(hào)將被理解為指示相同元件、特征和結(jié)構(gòu)。為了清楚、示出和便利，可夸大這些元件的相對(duì)大小和示出。
具體實(shí)施例方式提供以下詳細(xì)描述，以幫助讀者獲得在此描述的方法、設(shè)備和/或系統(tǒng)的全面理解。因此，在此描述的系統(tǒng)、設(shè)備和/或方法的各種改變、修改和等效物將被建議給本領(lǐng)域的普通技術(shù)人員。描述的操作的處理是示例，但是，操作的順序不限于在此闡述的順序，并且除必需以特定順序發(fā)生的操作之外，可以以本領(lǐng)域所知的方式改變操作的順序。此外，為了更加清楚和簡明，可省略公知功能和結(jié)構(gòu)的描述。在以下描述中，“裝置”可包括便攜式裝置、電子裝置等。用戶接口提供設(shè)備可以是裝置的部件。即，用戶接口提供設(shè)備可提供裝置的用戶接口。術(shù)語“裝置”可包括用戶可操作的所有裝置，例如，移動(dòng)終端、平板PC、便攜式媒體播放器、家電等。圖I是示出使用表面聲學(xué)信號(hào)(surface acoustic signal)的接口的示例的示 圖。參照?qǐng)D1，裝置120可被布置在包括特定介質(zhì)的對(duì)象110之上。對(duì)象110可以是，例如，桌子、書桌等。通過例如用戶的手勢導(dǎo)致的表面聲學(xué)信號(hào)可從對(duì)象110的表面產(chǎn)生。用戶的手勢可包括各種觸摸事件，諸如，拖動(dòng)、用于字符輸入的輕敲等。表面聲學(xué)信號(hào)可不考慮介質(zhì)的形狀而通過所有類型的介質(zhì)(諸如，空氣、玻璃、金屬、木材等)傳播。在參照?qǐng)DI描述的示例中，通過用戶的手勢產(chǎn)生的表面聲學(xué)信號(hào)可對(duì)應(yīng)于用于操作裝置120的“用戶輸入信號(hào)”。裝置120可執(zhí)行與用戶的輸入信號(hào)對(duì)應(yīng)的功能。為了執(zhí)行與用戶的輸入信號(hào)對(duì)應(yīng)的功能，所述裝置可配備有用于通過擴(kuò)展的接口獲取用戶的輸入信號(hào)的功能以及用于識(shí)別用戶的輸入信號(hào)的功能。換言之，可離開所述裝置自身的物理邊界擴(kuò)展可用的接口。裝置120可通過識(shí)別用戶的輸入信號(hào)來精確地知道用戶的意圖。在圖I的示例中，裝置120可包括傳感器，用于獲取表面聲學(xué)信號(hào)；至少一個(gè)處理器，被配置為識(shí)別用戶的輸入信號(hào)。因此，裝置120還可包括顯示器，用于指示用戶的輸入信號(hào)或顯示與所述輸入信號(hào)對(duì)應(yīng)的操作和/或功能。在該示例中，所述至少一個(gè)處理器可被配置為通過分析表面聲學(xué)信號(hào)的特征來分類表面聲學(xué)信號(hào)的模式，且可基于表面聲學(xué)信號(hào)的模式識(shí)別用戶的輸入信號(hào)。換言之，通過用戶的手勢產(chǎn)生的表面聲學(xué)信號(hào)可被用作用于執(zhí)行操作裝置120的命令、字符輸入和/或其它各種功能的輸入信號(hào)。裝置120從獨(dú)立于裝置120的介質(zhì)獲取用戶產(chǎn)生的聲學(xué)信號(hào)，分析獲取的聲學(xué)信號(hào)，并基于分析的聲學(xué)信號(hào)識(shí)別用戶的輸入信號(hào)?？赏ㄟ^介質(zhì)與用戶的手之間的接觸而產(chǎn)生聲學(xué)信號(hào)。此外，可通過介質(zhì)與用戶使用的工具之間的接觸而產(chǎn)生聲學(xué)信號(hào)。用戶使用的工具可以是例如觸控筆或用于模仿書寫、繪畫等的其他這樣的物體。聲學(xué)信號(hào)可以是從介質(zhì)的表面產(chǎn)生的表面聲學(xué)信號(hào)。圖2是示出用戶接口提供設(shè)備的示例的示圖。圖2中示出的用戶接口提供設(shè)備可被設(shè)置在圖I的裝置120中。參照?qǐng)D2，用戶接口提供設(shè)備200可包括表面聲學(xué)信號(hào)獲取單元210、模式識(shí)別單元220和用戶輸入識(shí)別單元230。用戶接口提供設(shè)備200還可包括模式模型存儲(chǔ)單元240。表面聲學(xué)信號(hào)獲取單元210可獲取從布置在所述裝置的外部的介質(zhì)產(chǎn)生的表面聲學(xué)信號(hào)。所述介質(zhì)可對(duì)應(yīng)于通過接觸裝置的對(duì)象提供給用戶的擴(kuò)展的接口?？蛇x擇地，或與這樣的擴(kuò)展的接口結(jié)合，所述介質(zhì)可通過裝置的外部殼體被提供給用戶。表面聲學(xué)信號(hào)獲取單元210可包括至少一個(gè)聲學(xué)傳感器。在這種情況下，可響應(yīng)于裝置120與介質(zhì)接觸而容易獲取表面聲學(xué)信號(hào)，并且即使所述裝置120與所述介質(zhì)物理地分離時(shí)所述表面聲學(xué)信號(hào)也可以是可獲取的。例如，即使在由于所述裝置120被用戶持握而與介質(zhì)物理地分離的情況下，也可以獲取表面聲學(xué)信號(hào)。模式識(shí)別單元220可分析表面聲學(xué)信號(hào)的特征，從而模式識(shí)別單元220可識(shí)別與介質(zhì)對(duì)應(yīng)的表面聲學(xué)信號(hào)的模式。模式識(shí)別單元220可包括特征提取器221，用于提取表面聲學(xué)信號(hào)的時(shí)域特征和/或頻域特征；模式分析器223，用于基于表面聲學(xué)信號(hào)的時(shí)域特征和/或頻域特征分析表面聲學(xué)信號(hào)的模式。模式識(shí)別單元220還可包括用于執(zhí)行與噪聲去除、信號(hào)放大、信號(hào)簡化(simplification)等相關(guān)的操作的表面聲學(xué)信號(hào)處理器(未示出)。時(shí)域特征可包括表面聲學(xué)信號(hào)的幅度、過零的分布、能量的量、表面聲學(xué)信號(hào)的長度、表面聲學(xué)信號(hào)的形狀等。模式識(shí)別單兀220可執(zhí)行“表面聲學(xué)信號(hào)的特征的提取”、“產(chǎn)生表面聲學(xué)信號(hào)的工具的類型的估計(jì)”、“傳播表面聲學(xué)信號(hào)的介質(zhì)的類型的估計(jì)”。因此，盡管輸入工具或介質(zhì) 變化，模式識(shí)別單元220可精確識(shí)別表面聲學(xué)信號(hào)的模式。用戶輸入識(shí)別單元230可基于表面聲學(xué)信號(hào)識(shí)別用戶的輸入信號(hào)。用戶輸入識(shí)別單元230可對(duì)與表面聲學(xué)信號(hào)的模式匹配的“最小有意義單元”分類，并基于“最小有意義單元”識(shí)別用戶的輸入信號(hào)。另外，用戶輸入識(shí)別單元230可通過從模式識(shí)別單元230順序地接收多個(gè)模式并組合與所述多個(gè)模式分別對(duì)應(yīng)的“最小有意義單元”，來識(shí)別用戶的輸入信號(hào)。識(shí)別的用戶輸入信號(hào)可被發(fā)送到安裝到所述裝置的顯示器和控制器。如果用戶的輸入信號(hào)是字符，則由用戶輸入的字符可被顯示。如果用戶的輸入信號(hào)是用于執(zhí)行特定功能的命令，則控制單元可執(zhí)行所述功能。模式模型存儲(chǔ)單元240可存儲(chǔ)通過介質(zhì)和輸入工具的類型分類的表面聲學(xué)信號(hào)的模式模型。換言之，模式模型存儲(chǔ)單元240可存儲(chǔ)通過各種介質(zhì)和各種輸入工具產(chǎn)生的每一個(gè)表面聲學(xué)信號(hào)的模式模型。例如，對(duì)于與木質(zhì)桌面和塑料觸控筆對(duì)應(yīng)的各種字母和/或數(shù)字的模式模型可被存儲(chǔ)在模式模型存儲(chǔ)單元240中。下面，將進(jìn)一步描述用戶接口提供設(shè)備200所執(zhí)行的“表面聲學(xué)信號(hào)的特征的提取”、“產(chǎn)生表面聲學(xué)信號(hào)的工具的類型的估計(jì)”和“傳播表面聲學(xué)信號(hào)的介質(zhì)的類型的估計(jì)”。然后，將進(jìn)一步描述用戶接口提供設(shè)備200所執(zhí)行的“用戶的輸入信號(hào)的識(shí)別”?！碔.表面聲學(xué)信號(hào)的特征的提取〉在表面聲學(xué)信號(hào)的特征的提取的處理中，可從表面聲學(xué)信號(hào)提取對(duì)于表面聲學(xué)信號(hào)的特征的分析有益的特征。根據(jù)示例，可通過硬件裝置(諸如數(shù)字信號(hào)處理器(DSP))、軟件裝置、對(duì)于硬件裝置編程的單元等執(zhí)行所述提取。為了方便描述，在此假設(shè)特征提取器221執(zhí)行表面聲學(xué)信號(hào)的特征的提取。表面聲學(xué)信號(hào)的特征可被分類為具有特定含義的“最小有意義單元”。“最小有意義單元”被定義為對(duì)于用戶的輸入信號(hào)的識(shí)別有益的最基本形式。如將在本說明書中稍后更加詳細(xì)討論的圖6所示，“最小有意義單元”可包括表面聲學(xué)信號(hào)的單元，其中，每一個(gè)單元具有最小含義，諸如，點(diǎn)、圓、直線、字母等。當(dāng)用戶使用對(duì)象(諸如，手和/或筆)在介質(zhì)的表面上人為地產(chǎn)生聲音時(shí)，可獲取表面聲學(xué)信號(hào)。為了表面聲學(xué)信號(hào)的特征的提取，所述信號(hào)可被分析且可被劃分為最小有意義單元。各種最小有意義單元中的每一個(gè)可具有唯一模式。因此，特征提取器221可以能夠從表面聲學(xué)信號(hào)提取特征并使用提取的特征對(duì)最小有意義單元分類。根據(jù)示例，最小有意義單元可通過以下描述的5個(gè)處理被提取。I.可從獲取的表面聲學(xué)信號(hào)分離最小有意義單元的信號(hào)S。2.最小有意義單元的信號(hào)S可被劃分為N個(gè)幀。3. N個(gè)幀中的每一個(gè)幀的特征值Cn可被提取和存儲(chǔ)。4.所有獲取的表面聲學(xué)信號(hào)的特征值Ct可被提取和存儲(chǔ)。5.響應(yīng)于最小有意義單元的模式模型被存儲(chǔ)在數(shù)據(jù)庫(DB)中，可使用值Cn和Ct 產(chǎn)生機(jī)器學(xué)習(xí)模型M且可將所述機(jī)器學(xué)習(xí)模型M存儲(chǔ)在DB中。上述5個(gè)處理可被用于將最小有意義單元的模式模型存儲(chǔ)在DB中。換言之，不同介質(zhì)和輸入工具的每一個(gè)模式模型可被存儲(chǔ)在DB中。當(dāng)前正被輸入的表面聲學(xué)信號(hào)的模式可通過比較從當(dāng)前正被輸入的表面聲學(xué)信號(hào)提取的特征與存儲(chǔ)在DB中的“最小有意義單元的模式模型”被識(shí)別。在上述5個(gè)處理中，術(shù)語“特征值”可以是對(duì)應(yīng)信號(hào)的時(shí)域特征的時(shí)間歸一化值。此外，“特征值”可以是對(duì)應(yīng)信號(hào)的頻域特征?？赏ㄟ^適當(dāng)組合時(shí)域特征和頻域特征并使用各種機(jī)器學(xué)習(xí)技術(shù)，來產(chǎn)生“最小有意義單元的模式模型”。時(shí)域特征可包括幅度之間的標(biāo)準(zhǔn)偏差和波斜率(wave slope)、幅度的動(dòng)態(tài)范圍、幅度的分布、過零的分布和變化、能量之和及能量的變化、信號(hào)長度等。例如，聲學(xué)信號(hào)具有可用作特征值的強(qiáng)度等級(jí)。離散信號(hào)值(幅度)的數(shù)量可從聲學(xué)信號(hào)獲得，并且信號(hào)值之間的改變可被測量。信號(hào)的幅度的變化可被用于識(shí)別輸入到介質(zhì)上的直線、曲線、折線等。特征提取器221可使用對(duì)應(yīng)信號(hào)的幅度分布來分類相似信號(hào)。例如，與圓對(duì)應(yīng)的信號(hào)的幅度的分布可具有一致分布。過零的分布表示信號(hào)的符號(hào)(sign)進(jìn)行改變的點(diǎn)的數(shù)量。換言之，過零表示在一個(gè)幀中信號(hào)程度達(dá)到零的點(diǎn)。過零的分布示出信號(hào)的高頻與低頻的比率。例如，假設(shè)“N”表示時(shí)間的長度，則可通過下面的等式I來定義過零的分布。[等式I]ZCR = —^― ΣI蝴"[+1)]-郵"[χ( )]|
Jm ^ /V 一 I J特征提取器221可使用過零分布、過零分布的變化等，來提取對(duì)應(yīng)信號(hào)的特定特征。特征提取器221可將信號(hào)的能量的總和用作信號(hào)的特征。當(dāng)“N”表示時(shí)間的長度時(shí)，可通過以下的等式2來計(jì)算在時(shí)間N期間的離散信號(hào)X(i)的能量的總和。[等式2]
I j λ-iν[Λ] = 4|~~τΣΧ (O
V N /=0另外，特征提取器221可將每一個(gè)幀中的能量的量用作信號(hào)的特征。特征提取器221可通過信號(hào)的長度，來區(qū)分信號(hào)。時(shí)間可以是信號(hào)長度的單位。例如，點(diǎn)和圓明顯具有相互不同的信號(hào)長度。因此，特征提取器221可將從開始獲取表面聲學(xué)信號(hào)的時(shí)間點(diǎn)至完成獲取表面聲學(xué)信號(hào)的時(shí)間點(diǎn)的時(shí)間段，確定為表面聲學(xué)信號(hào)的長度?？梢砸詤⒖紩r(shí)間單位歸一化信號(hào)的時(shí)域特征，且歸一化值可被存儲(chǔ)在DB中。在這種情況下，可減小存儲(chǔ)的數(shù)據(jù)的大小。例如，在存在長直線和短直線的情況下，可首先識(shí)別直線的特征，然后可使用長度信息測量相對(duì)長度?？赏ㄟ^傅里葉變換、譜分析等，來識(shí)別信號(hào)的頻域特征?！?.傳播表面聲學(xué)信號(hào)的介質(zhì)的類型的估計(jì)〉可通過比較從表面聲學(xué)信號(hào)提取的特征與模式模型，來執(zhí)行介質(zhì)類型的估計(jì)。用于產(chǎn)生表面聲學(xué)信號(hào)的輸入介質(zhì)可包括單一介質(zhì)(諸如玻璃)、混合介質(zhì)(諸如桌子)等。介質(zhì)的表面的形狀可改變表面聲學(xué)信號(hào)?？赏ㄟ^硬件裝置(諸如DSP)、軟件裝置、對(duì)于硬件 裝置編程的單元中的任意一個(gè)執(zhí)行介質(zhì)類型的估計(jì)。但是，為了便于描述，在此假設(shè)通過模式識(shí)別單元220執(zhí)行介質(zhì)類型的估計(jì)。模式識(shí)別單元220可使用測試信號(hào)來確定介質(zhì)類型并基于介質(zhì)類型識(shí)別表面聲學(xué)信號(hào)的模式。例如，可通過下面描述的3個(gè)處理來估計(jì)介質(zhì)類型。I.可產(chǎn)生測試信號(hào)。2.可獲取通過與所述裝置接觸的介質(zhì)傳播的表面聲學(xué)信號(hào)。3.可從在處理2獲取的表面聲學(xué)信號(hào)獲取特征，并且可在DB中搜索匹配介質(zhì)?？赏ㄟ^設(shè)置在所述裝置中或設(shè)置于所述裝置的揚(yáng)聲器或振動(dòng)產(chǎn)生器產(chǎn)生測試信號(hào)。測試信號(hào)可以是具有短周期的預(yù)定義的信號(hào)的聲學(xué)信號(hào)、振動(dòng)和/或等。可由設(shè)置在所述裝置中或設(shè)置于所述裝置的麥克風(fēng)和壓電傳感器獲取與測試信號(hào)對(duì)應(yīng)的表面聲學(xué)信號(hào)。模式識(shí)別單元220可通過計(jì)算在處理2中獲取的表面聲學(xué)信號(hào)的幅度、傳播速度、頻率的分布范圍并比較所述數(shù)據(jù)與存儲(chǔ)在DB中的模型，來估計(jì)接觸所述裝置的介質(zhì)的類型。在不存在與在處理2中獲取的表面聲學(xué)信號(hào)的特征匹配的模型的情況下，模式識(shí)別單元220可將最相似的模型確定為接觸所述裝置的介質(zhì)?？赏ㄟ^比較獲取的幅度、傳播速度、頻率的分布范圍與存儲(chǔ)在DB中的各種模型的屬性來做出所述確定。如果周期性地執(zhí)行介質(zhì)類型的估計(jì)，則可幾乎實(shí)時(shí)估計(jì)介質(zhì)的變化?！?.產(chǎn)生表面聲學(xué)信號(hào)的工具的類型的估計(jì)〉可通過估計(jì)用戶的輸入信號(hào)來執(zhí)行產(chǎn)生表面聲學(xué)信號(hào)的工具的類型的估計(jì)。輸入工具可以是手指、筆、觸控筆或其它各種工具。即，用戶能夠通過各種輸入工具(諸如他或她的手指和觸控筆)操作所述裝置?？赏ㄟ^硬件裝置(諸如，DSP)、軟件裝置、對(duì)于硬件裝置編程的單元等執(zhí)行工具的類型的估計(jì)。但是，為了便于描述，在此假設(shè)通過模式識(shí)別單元220執(zhí)行工具的類型的估計(jì)。模式識(shí)別單元220可基于表面聲學(xué)信號(hào)的頻域特征執(zhí)行產(chǎn)生表面聲學(xué)信號(hào)的工具的類型的估計(jì)，并且可考慮產(chǎn)生表面聲學(xué)信號(hào)的工具來識(shí)別表面聲學(xué)信號(hào)的模式?？赏ㄟ^各種方法提取信號(hào)的頻率特征。例如，可通過對(duì)對(duì)應(yīng)信號(hào)進(jìn)行離散傅里葉變換(DFT)來提取頻率特征。此外，可使用總功率譜、子帶功率、中心頻率、帶寬、譜通量(spectrum flux)等提取頻率特征。輸入工具的頻率特征可通過機(jī)器學(xué)習(xí)模型存儲(chǔ)在DB中。將參照?qǐng)D7進(jìn)一步描述輸入工具的頻域特征的各種示例。
〈4.用戶的輸入信號(hào)的識(shí)別〉用戶的輸入信號(hào)的識(shí)別確定用戶的意圖或手勢。用戶的輸入信號(hào)可包括簡單拖動(dòng)、字符輸入、輕敲、特定觸摸事件等。所述裝置能夠通過識(shí)別用戶的輸入信號(hào)來執(zhí)行各種功能。例如，當(dāng)用戶執(zhí)行在接觸所述裝置的表面上的從左向右的拖動(dòng)時(shí)，所述裝置可被設(shè)置為執(zhí)行預(yù)定功能?？赏ㄟ^估計(jì)表面聲學(xué)信號(hào)的方向來識(shí)別拖動(dòng)方向?？赏ㄟ^單個(gè)聲學(xué)信號(hào)或通過多個(gè)表面聲學(xué)信號(hào)，來識(shí)別表面聲學(xué)信號(hào)的方向。即，表面聲學(xué)信號(hào)的模式可包括關(guān)于表面聲學(xué)信號(hào)的方向的信息。用戶輸入識(shí)別單元230可基于關(guān)于表面聲學(xué)信號(hào)的方向的信息，識(shí)別用戶的輸入信號(hào)。例如，在用戶在接觸所述裝置的介質(zhì)的表面上輸入字符的情況下，可使用“最小有意義單元”識(shí)別所述字符。圖3示出在圖I和圖2中示出的表面聲學(xué)信號(hào)獲取單元210的結(jié)構(gòu)的示例。 參照?qǐng)D3，表面聲學(xué)信號(hào)獲取單元210可包括介質(zhì)接觸器311和聲學(xué)傳感器313。介質(zhì)接觸器311可通過接觸對(duì)象110來接收表面聲學(xué)信號(hào)?？赏ㄟ^能夠保持緊密接觸對(duì)象Iio的各種材料來制作介質(zhì)接觸器311。聲學(xué)傳感器313可將表面聲學(xué)信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。電容器型麥克風(fēng)、電子麥克風(fēng)、壓電傳感器、超聲傳感器等可被用作聲學(xué)傳感器313。電容器型麥克風(fēng)和電子麥克風(fēng)是可將通過介質(zhì)(諸如，空氣)傳播的聲音的壓力程度轉(zhuǎn)換為電信號(hào)的噪聲傳感器。壓電傳感器是可將從人或?qū)ο螽a(chǎn)生的振動(dòng)獲得的壓力轉(zhuǎn)換為電信號(hào)的振動(dòng)傳感器。超聲傳感器可通過感測人類聽不見的超聲波來確定聲學(xué)信號(hào)的距離或位置。圖4示出示例用戶接口提供設(shè)備的結(jié)構(gòu)。如圖4所示，用戶接口提供設(shè)備400可包括表面聲學(xué)信號(hào)獲取單元410、聲學(xué)信號(hào)處理單元420、特征提取單元430、DB 440、模式確定單元450、時(shí)間信號(hào)計(jì)算單元460和用戶輸入識(shí)別單元470。表面聲學(xué)信號(hào)獲取單兀410可執(zhí)行與圖2的表面聲學(xué)信號(hào)獲取單兀210相同或相似的功能。聲學(xué)信號(hào)處理單元420從表面聲學(xué)信號(hào)濾除噪聲，并對(duì)噪聲濾除的表面聲學(xué)信號(hào)的波形進(jìn)行簡化(simplify)。為了濾除噪聲并簡化波形，聲學(xué)信號(hào)處理單元420可包括放大器421、濾波器423和簡化器425。放大器421可放大獲取的表面聲學(xué)信號(hào)。濾波器423可根據(jù)特定頻率范圍選擇性地對(duì)放大的表面聲學(xué)信號(hào)進(jìn)行濾波，從而去除添加到放大的表面聲學(xué)信號(hào)的噪聲。例如，濾波器423可將具有比表面聲學(xué)信號(hào)的最大頻率(即，3KHz)大的頻率的信號(hào)考慮為噪聲，并因此可以去除噪聲。簡化器425可簡化噪聲濾除的表面聲學(xué)信號(hào)，以實(shí)時(shí)處理更多噪聲濾除的表面聲學(xué)信號(hào)。圖5中示出的信號(hào)為從濾波器423輸出的表面聲學(xué)信號(hào)，圖6中示出的信號(hào)為簡化的表面聲學(xué)信號(hào)。圖5和圖6的“幅度”表示信號(hào)的強(qiáng)度或高度，“t”表示時(shí)間。簡化器435可確定信號(hào)的高度，從而簡化信號(hào)。聲學(xué)信號(hào)處理單元420可將簡化的表面聲學(xué)信號(hào)輸出到特征提取單元430，且可將通過聲學(xué)信號(hào)獲取單元410的每一個(gè)傳感器獲取的表面聲學(xué)信號(hào)輸出到時(shí)間信號(hào)計(jì)算單元460。特征提取單元430可執(zhí)行先前稱作“I.表面聲學(xué)信號(hào)的特征的提取”的操作。即，特征提取單元430可執(zhí)行與圖2的特征提取器221相同或相似的功能。DB 440可存儲(chǔ)對(duì)于識(shí)別表面聲學(xué)信號(hào)的模式和識(shí)別用戶的輸入信號(hào)有益的模式模型。例如，在“I.表面聲學(xué)信號(hào)的特征的提取”中描述的“最小有意義單元的模式模型”和“機(jī)器學(xué)習(xí)模型M”可被存儲(chǔ)在DB 440中?？筛鶕?jù)輸入工具存儲(chǔ)模式模型。此外，可根據(jù)介質(zhì)類型存儲(chǔ)模式模型。因此，特征提取單元430可以例如以輸入工具估計(jì)-輸入介質(zhì)估計(jì)-特征提取的順序操作，或者，作為另一示例，特征提取單元430可以以輸入介質(zhì)估計(jì)-輸入工具估計(jì)-特征提取的順序操作。在表I中示出了 DB 440中存儲(chǔ)的模式模型的示例查詢表。[表I]
權(quán)利要求
1.一種用于提供裝置的用戶接口的設(shè)備，包括 表面聲學(xué)信號(hào)獲取單元，獲取從布置于所述裝置的外部的介質(zhì)產(chǎn)生的表面聲學(xué)信號(hào)； 模式識(shí)別單元，通過分析表面聲學(xué)信號(hào)的特征來識(shí)別表面聲學(xué)信號(hào)的模式； 用戶輸入識(shí)別單元，基于表面聲學(xué)信號(hào)的模式識(shí)別用戶的輸入信號(hào)。
2.如權(quán)利要求I所述的設(shè)備，其中，所述介質(zhì)通過接觸所述裝置的對(duì)象提供給用戶。
3.如權(quán)利要求2所述的設(shè)備，其中，表面聲學(xué)信號(hào)獲取單元包括 接觸接觸器，通過接觸所述對(duì)象來接收表面聲學(xué)信號(hào)； 聲學(xué)傳感器，將表面聲學(xué)信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。
4.如權(quán)利要求I所述的設(shè)備，其中，所述介質(zhì)通過所述裝置的外部殼體而提供給用戶。
5.如權(quán)利要求I所述的設(shè)備，其中，模式識(shí)別單元包括 特征提取器，提取時(shí)域特征和/或頻域特征； 模式分析器，基于時(shí)域特征和/或頻域特征分析表面聲學(xué)信號(hào)的模式。
6.如權(quán)利要求5所述的設(shè)備，其中，時(shí)域特征包括表面聲學(xué)信號(hào)的幅度、過零的分布、能量的量、表面聲學(xué)信號(hào)的長度或表面聲學(xué)信號(hào)的形狀。
7.如權(quán)利要求I所述的設(shè)備，其中，模式識(shí)別單元使用測試信號(hào)確定所述介質(zhì)的類型，并基于所述介質(zhì)的類型識(shí)別表面聲學(xué)信號(hào)的模式。
8.如權(quán)利要求I所述的設(shè)備，其中，模式識(shí)別單元使用測試信號(hào)確定所述介質(zhì)的類型，并基于所述介質(zhì)的類型識(shí)別表面聲學(xué)信號(hào)的模式。
9.如權(quán)利要求I所述的設(shè)備，其中，用戶輸入識(shí)別單元對(duì)與表面聲學(xué)信號(hào)的模式匹配的最小有意義單元進(jìn)行分類，并基于最小有意義單元識(shí)別用戶的輸入信號(hào)。
10.如權(quán)利要求I所述的設(shè)備，其中，用戶輸入識(shí)別單元通過從模式識(shí)別單元順序接收多個(gè)模式并且組合與所述多個(gè)模式對(duì)應(yīng)的最小有意義單元，來識(shí)別用戶的輸入信號(hào)。
11.如權(quán)利要求I所述的設(shè)備，其中，模式包括與表面聲學(xué)信號(hào)的方向?qū)?yīng)的信息， 用戶輸入識(shí)別單元基于與表面聲學(xué)信號(hào)的方向?qū)?yīng)的信息，識(shí)別用戶的輸入信號(hào)。
12.如權(quán)利要求I所述的設(shè)備，還包括模式模型存儲(chǔ)單元，存儲(chǔ)根據(jù)介質(zhì)和/或輸入工具的類型分類的表面聲學(xué)信號(hào)的模式模型。
13.如權(quán)利要求I所述的設(shè)備，其中，用戶的輸入信號(hào)包括通過所述介質(zhì)輸入的字符、圖形、拖動(dòng)、觸摸事件或包括通過所述介質(zhì)輸入的字符、圖形、拖動(dòng)、觸摸事件的任意組合。
14.一種提供裝置的用戶接口的方法，所述方法包括以下步驟 獲取表面聲學(xué)信號(hào)； 提取表面聲學(xué)信號(hào)的時(shí)域特征和/或頻域特征； 基于所述時(shí)域特征和/或頻域特征分析表面聲學(xué)信號(hào)的模式；以及 基于表面聲學(xué)信號(hào)的模式，識(shí)別用戶的輸入信號(hào)。
15.如權(quán)利要求14所述的方法，其中，分析表面聲學(xué)信號(hào)的模式的步驟包括 通過使用測試信號(hào)，來確定介質(zhì)的類型； 基于表面聲學(xué)信號(hào)的頻域特征，來估計(jì)產(chǎn)生表面聲學(xué)信號(hào)的工具的類型； 基于所述介質(zhì)和/或產(chǎn)生表面聲學(xué)信號(hào)的工具的類型，識(shí)別表面聲學(xué)信號(hào)的模式。
16.如權(quán)利要求14所述的方法，其中，識(shí)別的步驟包括 順序接收多個(gè)模式；通過組合與模式對(duì)應(yīng)的最小有意義單元，來識(shí)別用戶的輸入信號(hào)。
17.一種提供裝置的用戶接口的方法，所述方法包括以下步驟 執(zhí)行從布置于所述裝置的外部的介質(zhì)接收用戶的輸入信號(hào)的外部輸入模式； 響應(yīng)于從所述介質(zhì)接收到表面聲學(xué)信號(hào)，通過分析表面聲學(xué)信號(hào)的特征來識(shí)別與所述介質(zhì)對(duì)應(yīng)的表面聲學(xué)信號(hào)的模式；以及 基于表面聲學(xué)信號(hào)的模式，識(shí)別用戶的輸入信號(hào)。
18.一種提供裝置的用戶接口的方法，所述方法包括如下步驟 執(zhí)行從布置于所述裝置的外部的介質(zhì)接收用戶的輸入信號(hào)的外部輸入模式； 響應(yīng)于從所述介質(zhì)接收到表面聲學(xué)信號(hào)，確定表面聲學(xué)信號(hào)的方向；以及 執(zhí)行裝置的與表面聲學(xué)信號(hào)的方向?qū)?yīng)的功能。
19.如權(quán)利要求18所述的方法，其中，通過表面聲學(xué)信號(hào)的波形的形狀、第一聲學(xué)傳感器接收的第一表面聲學(xué)信號(hào)與第二聲學(xué)傳感器接收的第二聲學(xué)表面信號(hào)之間的時(shí)間差、第一表面聲學(xué)信號(hào)和第二表面聲學(xué)信號(hào)的大小的變化，或者通過表面聲學(xué)信號(hào)的波形的形狀、第一聲學(xué)傳感器接收的第一表面聲學(xué)信號(hào)與第二聲學(xué)傳感器接收的第二聲學(xué)表面信號(hào)之間的時(shí)間差、第一表面聲學(xué)信號(hào)和第二表面聲學(xué)信號(hào)的大小的變化的任意組合，來確定表面聲學(xué)信號(hào)的方向。
20.一種設(shè)置有用戶接口的裝置，包括 傳感器，獲取在所述裝置的外部產(chǎn)生的表面聲學(xué)信號(hào)； 至少一個(gè)處理器，被配置為通過分析表面聲學(xué)信號(hào)的特征來對(duì)表面聲學(xué)信號(hào)的模式進(jìn)行分類以及基于表面聲學(xué)信號(hào)的模式識(shí)別與表面聲學(xué)信號(hào)對(duì)應(yīng)的用戶的輸入信號(hào)。
21.一種提供裝置的用戶接口的方法，所述方法包括如下步驟 從所述裝置的外部接收用戶產(chǎn)生的聲學(xué)信號(hào)； 分析獲取的聲學(xué)信號(hào)；以及 基于分析的聲學(xué)信號(hào)分析用戶的輸入信號(hào)。
22.如權(quán)利要求21所述的方法，其中，通過介質(zhì)與用戶的手之間的接觸，而產(chǎn)生聲學(xué)信號(hào)。
23.如權(quán)利要求21所述的方法，其中，通過介質(zhì)與用戶使用的工具之間的接觸，而產(chǎn)生聲學(xué)信號(hào)。
24.如權(quán)利要求21所述的方法，其中，在所述裝置與用戶接觸的介質(zhì)接觸的情況下，獲取聲學(xué)信號(hào)。
25.如權(quán)利要求21所述的方法，其中，所述聲學(xué)信號(hào)是表面聲學(xué)信號(hào)。
全文摘要
提供了使用聲學(xué)信號(hào)的用戶接口。具有所述用戶接口的裝置包括用于獲取在所述裝置的外部產(chǎn)生的表面聲學(xué)信號(hào)的傳感器以及至少一個(gè)處理器。所述處理器通過分析表面聲學(xué)信號(hào)的特征來對(duì)表面聲學(xué)信號(hào)的模式進(jìn)行分類以及基于表面聲學(xué)信號(hào)的模式識(shí)別與表面聲學(xué)信號(hào)對(duì)應(yīng)的用戶的輸入信號(hào)。
文檔編號(hào)G10L17/00GK102741919SQ201180008099
公開日2012年10月17日 申請(qǐng)日期2011年2月1日 優(yōu)先權(quán)日2010年2月2日
發(fā)明者崔賢真, 張慶娥, 李善栽, 李昊燮, 蔡承澈 申請(qǐng)人:三星電子株式會(huì)社