專利名稱：為使用腦機接口的命令控制任務(wù)提供分層方法的裝置、方法和計算機程序產(chǎn)品的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的示例性和非限制性實施例一般涉及無線通信系統(tǒng)、方法、設(shè) 備和計算機程序產(chǎn)品，并且更具體地，涉及用于控制設(shè)備的操作或者該設(shè)
備所實現(xiàn)的應(yīng)用或任務(wù)的技術(shù)。
背景技術(shù)：
腦機接口 ( BCI) (brain-computer interface)是一種系統(tǒng)，該系統(tǒng)旨 在允許用戶通過僅使用他或她的思想(更具體地，使用從大腦或其它神經(jīng) 組織所檢測到的神經(jīng)生理信號)來控制應(yīng)用/設(shè)備。BCI系統(tǒng)典型地基于從 頭皮記錄的腦電圖(EEG)。在用戶想象不同事情(例如，移動左手或右 手)時測量和采樣EEG。取決于BCI，特定的預(yù)處理和特征提取方法被應(yīng) 用于具有特定長度的EEG樣本，且目標(biāo)是從來自具有特定準(zhǔn)確性級別的 EEG樣本的EEG信號或模式中可靠地檢測出有限的心理狀態(tài)(mind state)。
至少部分地由于對人腦及其內(nèi)在的電活動(electrical activities)的了 解有限，產(chǎn)生了心理狀態(tài)檢測的準(zhǔn)確性隨著心理狀態(tài)的數(shù)目增加而降低的 問題。例如，目前還不可能識別用戶可能想到的詞語(為了實現(xiàn)聽寫任務(wù)， 這可能是令人期望的)。然而，當(dāng)前的技術(shù)水平一般允許可靠地檢測少量 的'清緒狀態(tài)(emotional state)和/或運動意圖(motor intention )，諸如放 水>模式相對于受壓模式、移動右手、移動左手，等等。
近年來，構(gòu)造可靠BCI的問題已受到廣泛的關(guān)注。使用EEG信號作 為非侵害性(non-invasive)的方法已凈皮證明是BCI中的一種可行方法。然而，如以上所指出的，由于對人腦及其電活動的了解有限，僅僅可以可
態(tài)，諸如蘇醒/睡目R^漠式、與運動相關(guān)的EEG改變，以及某種程度上的情 緒狀態(tài)。
以前的研究集中在將EEG信號應(yīng)用于簡單的命令控制任務(wù)，例如， 在計算機屏幕上移動光標(biāo)，或者控制機器人或^手的移動。該類型的命 令控制已通過線性方式實現(xiàn)，即，BCI控制被構(gòu)造成從EEG檢測主體的 心理狀態(tài)，并且將所檢測的心理狀態(tài)轉(zhuǎn)換成對應(yīng)的命令。如可以理解的， 該類型的簡單線性控制在處理更復(fù)雜的任務(wù)時會變得有問題。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的非限制性和示例性實施例，克服了前述的和其它的問題， 并且實現(xiàn)其它優(yōu)勢。
根據(jù)本發(fā)明的示例性實施例的第一方面，提供了一種方法，所述方法 包括提供一種包括內(nèi)部節(jié)點和葉節(jié)點的分層多級決策樹結(jié)構(gòu)，所述決策 樹結(jié)構(gòu)表示任務(wù)；以及使用從被檢測到的用戶心智狀態(tài)(mentalstates)所 導(dǎo)出的信息，導(dǎo)航通過所述決策樹結(jié)構(gòu)的級別以到達葉節(jié)點來完成所述任 務(wù)。
才艮據(jù)本發(fā)明的示例性實施例的進一步的方面，提供了一種計算*序 產(chǎn)品，所述計算機程序產(chǎn)品體現(xiàn)在有形的存儲介質(zhì)中，并且包M序指令， 所述程序指令當(dāng)被數(shù)據(jù)處理器執(zhí)行時導(dǎo)致操作，所述操作包括提供一種 包括內(nèi)部節(jié)點和葉節(jié)點的分層多級決策樹結(jié)構(gòu)，所述決策樹結(jié)構(gòu)表示任務(wù)； 以及使用從被檢測到的用戶心智狀態(tài)所導(dǎo)出的信息，導(dǎo)航通過所述決策樹 結(jié)構(gòu)的級別以到達葉節(jié)點來完成所述4壬務(wù)。
根據(jù)本發(fā)明的示例性實施例的另一方面，提供了一種i殳備，所述設(shè)備 包括數(shù)據(jù)處理器，所述數(shù)據(jù)處理器被配置以便提供一種包括內(nèi)部節(jié)點和 葉節(jié)點的分層多級決策樹結(jié)構(gòu)，所述決策樹結(jié)構(gòu)表示任務(wù)；以及用戶接口， 所述用戶接口被配置以便使用從被檢測到的用戶心智狀態(tài)所導(dǎo)出的信息，使得所述用戶能夠?qū)Ш酵ㄟ^所述決策樹結(jié)構(gòu)的級別以到達葉節(jié)點來完成所 述任務(wù)。
才艮據(jù)本發(fā)明的示例性實施例的又一方面，換:供了一種裝備，所述裝備 包括用于提供一種包括內(nèi)部節(jié)點和葉節(jié)點的分層多級決策樹結(jié)構(gòu)的表示 的裝置，所述決策樹結(jié)構(gòu)表示任務(wù)；以及響應(yīng)于從被檢測到的用戶心智狀 態(tài)所導(dǎo)出的信息，用于使得所述用戶能夠穿過所述決策樹結(jié)構(gòu)以到達葉節(jié) 點來完成所述任務(wù)的裝置。
根據(jù)本發(fā)明的示例性實施例的再一方面，提供了一種方法，所述方法 包括向用戶顯示多級多節(jié)點結(jié)構(gòu)的至少一部分，所述多級多節(jié)點結(jié)構(gòu)表 示應(yīng)用對話；檢測所述用戶的心智狀態(tài)，以l更導(dǎo)航所述結(jié)構(gòu)而到達所期望 的級別和節(jié)點；以及響應(yīng)于所述用戶生成特定的心智狀態(tài)，4吏用與所期望 的節(jié)點相關(guān)聯(lián)的信息來實現(xiàn)應(yīng)用任務(wù)。


當(dāng)結(jié)合附圖閱讀時，本發(fā)明所教導(dǎo)的前述和其它方面在以下詳細描述 中更加明顯，在附圖中
圖1是根據(jù)本發(fā)明的示例性實施例來構(gòu)造和操作的諸如通信設(shè)備這樣 的設(shè)備的簡化框圖2示出了用于表示名稱撥號任務(wù)的示例性決策樹結(jié)構(gòu)；
圖3是根據(jù)基于本發(fā)明的示例性實施例的方法以及計算,序產(chǎn)品的 操作的邏輯流程圖；以及
圖4是根據(jù)基于本發(fā)明的示例性實施例的進一步的方法以及計算^4呈 序產(chǎn)品的操作的邏輯流程圖。
具體實施例方式
本發(fā)明的示例性實施例提供了 一種使用有限的心理狀態(tài)來控制復(fù)雜任 務(wù)的能力。通過"任務(wù)"(其一般意味著是應(yīng)用)，其中，通過菜單結(jié)構(gòu) 或者從列表做出選擇(例如，從電話簿選擇名稱進行電話呼叫)。對本發(fā)
8明示例性實施例的使用提供了 一種能力，其協(xié)調(diào)了必須在較為復(fù)雜的任務(wù) 中進行控制的數(shù)目增加的命令與當(dāng)前能夠被可靠檢測的有限數(shù)目的心理狀
態(tài)之間的矛盾。本發(fā)明的示例性實施例致力于并解決了以下問題在給定 的有限數(shù)目的離散心理狀態(tài)(可以從可觀察到的EEG或類似類型的信號 中解碼得到這些心理狀態(tài))的情況下，如何控制復(fù)雜任務(wù)，例如，在通信 設(shè)備中的名稱撥號。
首先參照圖l，圖1示出了電子設(shè)備10的非限制性實施例的筒化框圖， 該電子設(shè)備10適于在實踐本發(fā)明的示例性實施例中使用。假定設(shè)備10包 括與程序存儲器14耦合的數(shù)據(jù)處理器(DP) 12,其中，程序存儲器14含 有可執(zhí)^^序指令，并且進一步與應(yīng)用數(shù)據(jù)存儲器16耦合，作為一個非限 制性例子，應(yīng)用數(shù)據(jù)存儲器16含有聯(lián)系人數(shù)據(jù)16A (例如，具有名稱以及 相關(guān)聯(lián)的電話號碼、電子郵件地址等的電話簿列表)。在一些實施例中， 程序存儲器14和應(yīng)用數(shù)據(jù)存儲器16可以含于一個存儲設(shè)備中。設(shè)備10 還包括用戶接口 18，用戶接口 18包括特定類型的可視顯示器20 (例如， CRT、 LCD或等離子類型的顯示器，其可以是或可以不4Ji敏型的)。出 于描述本發(fā)明的目的，設(shè)備10進一步包括BCI22或者與BCI22耦合，在 一個非限制性例子中，BCI22具有EEG或類似類型的電極(傳感器)24。 要注意,傳感器24可以是接觸型的傳感器，或者可能是非接觸型的傳感器。 BCI 22的輸出22A是表示了經(jīng)由傳感器24從主體(此處也,皮稱為用戶) 所獲得的被檢測到的電信號(EEG)的數(shù)據(jù)。出于完整性，設(shè)備10還可 以包括特定類型的適當(dāng)?shù)氖瞻l(fā)器26 (例如，電信號)ML器、射頻信號^ 器、光信號收發(fā)器)，用于使得諸如電話呼叫和/或數(shù)據(jù)網(wǎng)絡(luò)訪問(例如， 因特網(wǎng)訪問)的通信能夠發(fā)生。
當(dāng)在用戶與BCI 22之間典型地要求特定訓(xùn)練過程時，BCI 22被示出 與數(shù)據(jù)處理器12雙向耦合。該訓(xùn)練可以采取任何適當(dāng)?shù)男问剑缤ㄟ^在 顯示器20上顯示信息，并且然后在用戶生成用于選擇和/或?qū)Ш酵ㄟ^該信 息的心智狀態(tài)時與BCI22進行交互。在訓(xùn)練期間，可以使用更常規(guī)的用戶 接口 (例如，觸M或鍵盤/鍵板)來向BCI 22指示正確的和不正確的結(jié)果，用于將BCI22的響應(yīng)調(diào)整到用戶在被呈現(xiàn)訓(xùn)練信息時的心智狀態(tài)。
應(yīng)當(dāng)注意，BCI 22可以不形成設(shè)備10的一部分，并且可以不與^殳備 IO共址。例如，BCI22和傳感器24可以體現(xiàn)在用戶佩戴的分離單元中， 在這種情況下，輸出22A可以由電線組成，用于構(gòu)成到i殳備10的直接電 接口 ，或者輸出22A可以是與設(shè)備10的無線接口 ，諸如低功率RF或光接 口 (例如，藍牙T嗜口 )。
應(yīng)當(dāng)注意，BCI 22的構(gòu)造和操作的細節(jié)以及傳感器24的^Mt和/或類 型與本發(fā)明不是特別相關(guān)，只要BCI 22能夠在輸出22A處向數(shù)據(jù)處理器 12提供與用戶所生成的各種心智狀態(tài)有關(guān)的可靠指示。
也就是說， 一般地，BCI22可以通過任何類型的當(dāng)前可用的或未來的 技術(shù)來體現(xiàn)，該技術(shù)能夠檢測用戶的心智活動/狀態(tài)，并且還能夠提儉ft息 來區(qū)分一個所檢測到的心智活動/狀態(tài)與另一個所檢測到的心智活動/狀態(tài)。 對檢測和解釋EEG信號的BCI 22/傳感器24的使用因而僅是一個非限制 性的和示例性的實施例。然而，應(yīng)當(dāng)注意，在本發(fā)明的一些實施例中，BCI 接口 22A可以簡單傳達原始的或預(yù)處理的心智狀態(tài)數(shù)據(jù)(例如，EEG數(shù) 據(jù))，并且對該數(shù)據(jù)的處理可以在i殳備10內(nèi)發(fā)生，例如通過數(shù)據(jù)處理器 12或另一數(shù)據(jù)處理器，以便提供對用戶所生成的各種心智狀態(tài)的指示。
響應(yīng)于從輸出22A接收到的信息，數(shù)據(jù)處理器12在存儲于程序存儲 器14中的一個或多個程序的控制下操作，如下文進一步描述的，用于根據(jù) 本發(fā)明的示例性實施例來實施一個或多個任務(wù)。 一般地，通過可由數(shù)據(jù)處 理器12執(zhí)行的計算M件、或者通過硬件、或者通過軟件、固件和硬件的 組合，可以實現(xiàn)本發(fā)明的示例性實施例。
設(shè)備IO的各種實施例可以包括但不限于蜂窩電話、具有通信能力的 個人數(shù)字助理(PDA)、具有通信能力的便攜式計算機、具有通信能力的 諸如數(shù)字照相機這樣的圖像捕獲設(shè)備、具有通信能力的游戲設(shè)備、具有通 信能力的音樂存儲和回放工具、允許因特網(wǎng)接入和瀏覽的因特網(wǎng)工具，以 及合并了這樣的功能組合的便攜式單元或終端。
要注意，對本發(fā)明的示例性實施例的使用不要求存在通信能力。例如，并且如以下將描述的，對示例性實施例的使用使得能夠諸如在照相機或音
樂工具中實現(xiàn)設(shè)備控制功能性，這并不要求向設(shè)備10外部通信的能力。
存儲器14、 16可以具有適合本地技術(shù)環(huán)境的任何類型，并且可以使用 任何適當(dāng)?shù)臄?shù)據(jù)存儲技術(shù)來實現(xiàn)，例如基于半導(dǎo)體的存^i殳備、閃存、磁 存^i殳備和系統(tǒng)、光存^i殳備和系統(tǒng)、固定存儲器和可裝卸存儲器。數(shù)據(jù) 處理器12可以具有適合本地技術(shù)環(huán)境的任何類型，并且作為非限制性例 子，可以包括以下中的一個或多個通用計算機、專用計算機、微處理器、 數(shù)字信號處理器(DSP)和基于多核處理器體系結(jié)構(gòu)的處理器。
本發(fā)明的示例性實施例提供了基于BCI22的使用的分層選擇方法學(xué)。 至少部分地由于當(dāng)前在對大腦的電信號(EEG)進4亍分類方面的技術(shù)限制， 控制選擇步驟被分成諸如在分層樹型結(jié)構(gòu)中的各個階段。在每個階段，僅 有有限數(shù)目的可用選項(選擇)，使得能夠使用相當(dāng)筒單的基于BCI的 EEG分類來導(dǎo)航通逸逸項空間。作為非限制性例子，該類型的決策樹方法 可以^皮用來有利于移動通信設(shè)備10中基于名稱的電話號碼撥號。
決策樹是這樣的樹，在該樹中，每個內(nèi)部節(jié)點表示在多個備選對象之 間的抉擇，并且每個葉節(jié)點表示分類或命令控制。例如，人們經(jīng)常將另一 個人與他們的屬性相關(guān)聯(lián)。舉例來說，可以如下來輕松描述以前的同事 同事，男，住在赫爾辛基，中國人，工作于語音識別。盡管可以容易地想 起該同事的姓名，然而，記憶該同事的身份的關(guān)聯(lián)技術(shù)將解決任何的模糊 性(ambiguity)。可以根據(jù)本發(fā)明的示例性實施例來實現(xiàn)該類型的關(guān)聯(lián)方 法。
如先前所提出的，對BCI的使用已被研究并且應(yīng)用于向外部世界發(fā)送 消息并且在外部世界中控制命令。特別地，類似EEG的信號一般被用于 在控制任務(wù)中解碼心理狀態(tài)。受到對大腦功能的新的理解的鼓勵，并結(jié)合 強大的低成本計算芯片和模式識別技術(shù)的m，由EEG驅(qū)動的BCI作為 增強型用戶接口正變得切實可行。
根據(jù)本發(fā)明的示例性實施例，BCI22允許用戶在不使用大腦周圍神經(jīng) 和肌肉的正常輸出5MS的情況下控制設(shè)備10。命令不需要通過肌肉收縮來表達，而是通過在大腦中始發(fā)的EEG (或某種其它)信號。僅使用從EEG 信號解碼的有限心理狀態(tài)來獲得改進的性能。
在常規(guī)意義上，當(dāng)心理狀態(tài)的數(shù)目增加時，心理狀態(tài)分類的準(zhǔn)確性顯 著減少，因而使得難以將BCI應(yīng)用于復(fù)雜的控制任務(wù)，例如，名稱撥號。 本發(fā)明的示例性實施例提供了一種解決這個問題和其它問題的方法。
現(xiàn)在描述用于與BCI 22 —起使用的具有分層結(jié)構(gòu)的基于決策樹的分 類的非限制性情況。為了簡單起見，在名稱撥號任務(wù)的上下文中使用EEG 信號，但是應(yīng)當(dāng)認識到，EEG可以被擴展到其它與大腦相關(guān)的生物信號， 并且除名稱撥號之外，可以對許多其它的命令控制任務(wù)進行相同的應(yīng)用。
可以使用圖2中所示出的決策樹結(jié)構(gòu)30來表示名稱撥號任務(wù)。在該示 例性實施例中，存在根節(jié)點30A，被標(biāo)記為聯(lián)系人列表，具有屬性名稱 組。根節(jié)點被進一步拆分成至少一個內(nèi)部節(jié)點30B，并且每個內(nèi)部節(jié)點對 應(yīng)于^f艮節(jié)點屬性的回答或值中的一個。例如，根節(jié)點具有屬性 <屬性名 稱組>。它的值是{家庭，朋友，......}。內(nèi)部節(jié)點被標(biāo)記為具有 <屬性后
代>的"家庭"和具有<屬性位置>的"朋友"。最后，存在葉節(jié)點30C， 諸如在內(nèi)部節(jié)點"家庭"下所示出的一個葉節(jié)點，具體來說是"妻子"。 此外，在內(nèi)部節(jié)點"家庭，，之下，進一步可能是諸如"孩子"和"祖父母"
的內(nèi)部節(jié)點(取決于用戶的情況)，其各自具有 <屬性性別>。因而， 可以存在超過一級的內(nèi)部節(jié)點30B。整個決策樹結(jié)構(gòu)30可以^L視為表示人 物(和/或諸如商務(wù)這樣的非人物實體)的層次，并且因而可以被視為分層 樹結(jié)構(gòu)。
決策樹30被用于BCI22命令控制任務(wù)，其中，聯(lián)系人或名稱列表被 分解為具有根節(jié)點30A、內(nèi)部節(jié)點30B和葉節(jié)點30C的決策樹。在內(nèi)部節(jié) 點30B中存儲了屬性和屬性值。在葉節(jié)點30C中存儲了被解碼的命令或名 稱(例如，葉節(jié)點可以含有或指向要撥打的電話號碼，或者電子郵件地址， 或者某種其它類型的與聯(lián)系A(chǔ)^目關(guān)的信息)。決策樹搜索/攀爬(climb) 在葉節(jié)點處終止。
在決策樹30中，屬性指定了將何種上下文信息考慮用于對節(jié)點中的命令/名稱進行建模。可能的抉擇取決于特定的任務(wù)。在名稱撥號的非限制性
情況中，上下文屬性可以是具有值的類別組，諸如家庭、同事、朋友、 商務(wù)伙伴；具有男性和女性二元值的性別；具有7>司的商務(wù)單位、城市的 值的位置；等等。屬性和它們的值全部優(yōu)選地被預(yù)先定義。由于決策樹30 取決于屬性值的數(shù)目而具有分支，因此優(yōu)選地將離散的可能的屬性值* 在相對小的范圍內(nèi)以便管理復(fù)雜性。給定上下文，從葉節(jié)點30C中選擇命 令或名稱。
可以基于特定準(zhǔn)則(例如，基于熵的信息增益準(zhǔn)則)來訓(xùn)練內(nèi)部節(jié)點 30B中的屬性，以便有可能使模式分類任務(wù)的性能最大化。 一般地，已知 決策樹是一種非常有效的利用上下文信息的方式。通過以這樣的方式拆分 任務(wù)/數(shù)據(jù)來找到最相關(guān)的上下文信息，例如，熵被最小化。為了甚至進一 步改進性能，期望用戶具有對信號特征的控制，并且BCI22從EEG中正 確導(dǎo)出用戶的心理狀態(tài)。另一方面，期望用戶維護在紀(jì)眸碼的心理狀態(tài)與 信號特征之間的密切相關(guān)性，以便促進BCI22將信號特征解碼成正確命令 來完成用戶意圖的任務(wù)。對決策樹30的訓(xùn)練有益于使得用戶和BCI 22在 最初并且持續(xù)i^L此適應(yīng)，從而保證改進的性能。在該方法中，用戶專注 于不同的心智任務(wù)，例如，改變情緒狀態(tài)或睡眠模式，想象移動手，等等。 專注于這些心智任務(wù)產(chǎn)生了由BCI22從EEG信號解碼的不同心理狀態(tài)。 利用從含有不同心智任務(wù)的EEG信號所提取的特征來訓(xùn)練決策樹30。在 決策樹30之前的附加分類器也可以被訓(xùn)練以l更對來自EEG特征的心理狀 態(tài)進行分類。
在訓(xùn)練中，決策樹30的根節(jié)點30A首先被拆分。為了將根節(jié)點30A 拆分成子節(jié)點，屬性被選擇。然后測試不同的屬性，并且選擇使信息增益 最大化的一個用于拆分根節(jié)點30A。為了計算信息增益，在拆分根節(jié)點之 前的數(shù)據(jù)分布應(yīng)當(dāng)是已知的?；诟?jié)點中的數(shù)據(jù)分布，根據(jù)以下來計算 熵
五=—.iog2/,其中，7V是數(shù)據(jù)的數(shù)目，f,是第/個數(shù)據(jù)的相對出現(xiàn)頻率(概率)。基于 預(yù)定義的上下文，根節(jié)點30A中的訓(xùn)練情況根據(jù)可能的屬性被拆分成子集。 對于給定的屬性，在拆分之后，熵被計算為子集的熵的平均熵。信息增益 被計算為在根熵與對每個屬性進行拆分之后的平均熵之間的變化，并且具 有最高信息增益的屬性被選擇作為根屬性。對于根節(jié)點30A的子節(jié)點(內(nèi) 部節(jié)點)，重復(fù)對決策樹30中的節(jié)點的拆分。屬于每個子節(jié)點的訓(xùn)練情況 根據(jù)不同的屬性被進一步拆分成子集。對于每個子節(jié)點，具有最高信息增 益的屬性被選擇。對決策樹30中的節(jié)點的拆分繼續(xù)，直至滿足特定的停止 準(zhǔn)則。關(guān)于這樣的訓(xùn)練過程， 一般可以參考例如Quinlan， J.， G/.5: /Vog"flwis Mac/nVie丄ear"/"g. Morgan Kaufmann Publishers Inc., San Mateo, CA, 1993。
在決策樹30的訓(xùn)練和4吏用期間，可以在顯示器20上向用戶顯示相同 的表示。
在操作中，當(dāng)用戶穿過(即，導(dǎo)航)決策樹30到達葉節(jié)點"妻子" Mary時，通過存儲器14中所存儲的撥號器應(yīng)用軟件，可以自動從聯(lián)系人 數(shù)據(jù)16A中檢索電話號碼，并且撥打該號碼。對于非終止型內(nèi)部節(jié)點的情 況，如果用戶具有至少兩個不同性別的孩子，則在到達所期望的葉節(jié)點之 前做出進一步的選擇，在所期望的葉節(jié)點處，可以撥打相關(guān)聯(lián)的電話號碼。
作為進一步的例子，考慮內(nèi)部節(jié)點30B "朋友"，其中<屬性位置> 可以被細分為城內(nèi)和城外，其中，選擇城外則通向進一步的內(nèi)部節(jié)點，其 具有屬性國內(nèi)和國外，等等。
基于前述內(nèi)容，應(yīng)當(dāng)理解，本發(fā)明的示例性實施例提供了一種能力來 在分類過程中可靠地使用心理狀態(tài)，因為復(fù)雜的任務(wù)(例如，名稱撥號) 被分層處理。因而，當(dāng)用戶導(dǎo)航通過決策樹30時，在決策樹30的每層， 僅存在有限數(shù)目的狀態(tài)(即，屬性值)用于用戶通過生成有限數(shù)目的心理 狀態(tài)之一來在它們之間進行選擇。進一步地，可以基于特定準(zhǔn)則(例如， 基于熵的信息增益準(zhǔn)則)來訓(xùn)練內(nèi)部節(jié)點30B中的屬性。另外，決策樹30 的訓(xùn)練使得用戶和BCI22在最初并且持續(xù)地相互適應(yīng)。對于名稱撥號的示例性情況，從BCI22輸出的被解碼的心理狀態(tài)控制 了屬性而不是名稱。通過將控制/選擇過程(在該例中的名稱識別過程)分 解成屬性識別過程，可以在使用用戶心理狀態(tài)的有限集合的情況下，獲得 可靠的控制和選擇，其中，用戶心理狀態(tài)可以被高效地和準(zhǔn)確地識別和應(yīng) 用。
本發(fā)明示例性實施例的實現(xiàn)可以以很多方式變化。 一個示例性實施例 是在諸如移動通信設(shè)備這樣的設(shè)備10的基本功能上提供基于BCI的控制。
作為另一非限制性例子，本發(fā)明的示例性實施例可以用于音樂回滋j殳 備10中，以便導(dǎo)航通過音樂選擇菜單，在該音樂選擇菜單中，節(jié)點具有諸 如"古典/現(xiàn)代"的屬性，并且選擇古典屬性可以通向具有諸如"巴洛克式 /19世紀(jì)"的屬性的內(nèi)部節(jié)點，等等，直至到達葉節(jié)點30C，葉節(jié)點30C 存儲或指向要播放的特定標(biāo)題。
如應(yīng)當(dāng)明顯的是，通過使用本發(fā)明的示例性實施例所獲得的一個非限 制性優(yōu)勢是復(fù)雜的任務(wù)(例如，名稱撥號)被分層處理，并且被分解成 在每個內(nèi)部節(jié)點30B處的多個小任務(wù)，其可以通過從BCI 22所接收的被 解碼的心理狀態(tài)來可靠地控制。因而，基于BCI的過程的性能和準(zhǔn)確性得 到改進。
通過使用本發(fā)明的示例性實施例獲得的另 一優(yōu)勢是代替直接控制命 令，屬性被用作在完成整個控制任務(wù)中所執(zhí)行的輔助命令，其中，由用戶 逐級導(dǎo)航通過決策樹30來實現(xiàn)整個控制任務(wù)。
通過使用本發(fā)明的示例性實施例獲得的附加優(yōu)勢包括但不限于使用 的簡易(自然、直觀、直接、免提、在物理意義上不費力、很好地適合于 有特定殘疾的人)；功能的靈活性，其使得當(dāng)手、眼或聲音受傷或繁忙時 能夠?qū)崿F(xiàn)控制；以及為移動設(shè)備(特別是為具有物理約束的UI的移動設(shè) 備)提供新的/備選的用戶接口范例。另外，當(dāng)移動設(shè)備10的至少特定控 制特征被緊密鏈二接到該設(shè)備的特定用戶時，實現(xiàn)了該設(shè)備進一步的個性化 (以及安全性)。
參照圖3，根據(jù)方法以及計算枳^呈序產(chǎn)品的操作，本發(fā)明的示例性實施例包括(框3A)提供一種包括內(nèi)部節(jié)點和葉節(jié)點的分層多級決策樹結(jié) 構(gòu)，所述決策樹結(jié)構(gòu)表示任務(wù)；以及(框3B)使用從被檢測到的用戶心智 狀態(tài)所導(dǎo)出的信息，導(dǎo)航通過決策樹結(jié)構(gòu)的級別以到達葉節(jié)點來完成任務(wù)。 導(dǎo)航的步驟包括使用從被檢測到的用戶心智狀態(tài)所導(dǎo)出的信息，在與決 策樹結(jié)構(gòu)的內(nèi)部節(jié)點相關(guān)聯(lián)的屬性值之間進行選擇。
圖3中示出的各個框塊可以被視為方法步驟，和/或根據(jù)計算^序代 碼的操作所產(chǎn)生的操作，和/或被構(gòu)造來執(zhí)行關(guān)聯(lián)功能的多個耦合邏輯電路 元件。
一般地，各種示例性實施例可以通過硬件或?qū)Ｓ秒娐贰④浖?、邏輯?其任何組合來實現(xiàn)。例如， 一些方面可以通過硬件實現(xiàn)，而其它方面可以 通過固件或軟件來實現(xiàn)，所述固件或軟件可以由控制器、微處理器或其它 計算設(shè)g行，盡管本發(fā)明不限于此。雖然本發(fā)明的示例性實施例的各方 面可以被示出和描述為框圖、流程圖或使用一些其它的圖形表示，但是很 好理解的是，作為非限制性例子，此處所描述的這些框塊、裝置、系統(tǒng)、 技術(shù)或方法可以通過硬件、軟件、固件、專用電路或邏輯、通用硬件或控 制器或其它計算設(shè)備或其某種組合來實現(xiàn)。
同樣地，應(yīng)當(dāng)理解，本發(fā)明的示例性實施例的至少一些方面可以通過 諸如集成電路芯片和模塊這樣的各種組件來實踐。集成電路的設(shè)計大體上 是高度自動化的過程。復(fù)雜的和強有力的軟件工具可用于將邏輯級設(shè)計轉(zhuǎn) 換成準(zhǔn)備好在半導(dǎo)體基片上制造的半導(dǎo)體電路設(shè)計。這樣的軟件工具使用 已確立的設(shè)計規(guī)則以及預(yù)存的設(shè)計模塊庫，可以自動路由導(dǎo)體并且在半導(dǎo) 體基片上定位組件。 一旦半導(dǎo)體電路的設(shè)計已完成，具有標(biāo)準(zhǔn)化電子格式 (例如，Opus、 GDSII以及類似格式)的所產(chǎn)生的設(shè)計可以被傳送到半導(dǎo) 體制造設(shè)施，用于制造為一個或多個集成電路設(shè)備。
當(dāng)結(jié)合附圖和所附權(quán)利要求閱讀時，鑒于前述的描述，各種修改和調(diào) 適對于相關(guān)領(lǐng)域的技術(shù)人員可以變得顯而易見。作為一些例子，本領(lǐng)域的 技術(shù)人員可以嘗試使用其它類似的或等同的用于檢測和解碼用戶的心智狀 態(tài)的技術(shù)。此外，應(yīng)當(dāng)理解，用于決策樹的基于熵的分類只是一種可以被采用的 適當(dāng)技術(shù)。
進一步地，還應(yīng)該注意，命令/控制任務(wù)可以被視為在任何給定時間在
有限數(shù)目的抉擇上JH^出的決M列。同樣地，還可以使用其它適當(dāng)?shù)姆?類技術(shù)。還要注意，決策樹可以被視為應(yīng)用(例如以上描述的名稱撥號應(yīng) 用)的結(jié)構(gòu)或?qū)υ捜蝿?wù)。在樹的每一級和分支處，存在至少一個抉擇，并 且可能的抉擇的總數(shù)一般只是幾個。為了在這些抉擇之間進行區(qū)分，可以 應(yīng)用在原始信號或特征提取信號上IMt的任何分類方法。 一個非限制性例
子是隱式馬爾可夫模型(HMM)，已知在例如語音識別系統(tǒng)和方法中使 用隱式馬爾可夫模型(HMM)。由于BCI22所生成的信號(例如，EEG 信號)具有時間性質(zhì)(temporal nature ),可以與這些信號一起使用HMM。 在該情況中，為每個節(jié)點訓(xùn)練HMM，以便使得HMM對每個更低層級的 葉節(jié)點是可標(biāo)識的。
因而，應(yīng)當(dāng)理解，以上已描述的以及在圖2中所示出的決策樹表示應(yīng) 當(dāng)被視為多級多節(jié)點結(jié)構(gòu)(其適于表示應(yīng)用對話)的適當(dāng)表示的一個非限 制性例子。
進一步通過示例，如果僅有三個要區(qū)分的心智狀態(tài)，例如，向上、向 下和選擇(或者向左、向右和選擇)，則可以獲得更一般的表示。在該情 況中，可以采用用于向上和向下的線性(例如，垂直)列表來向用戶呈現(xiàn) 名稱列表。在該情況中，用戶的任務(wù)是生成以下心智狀態(tài)(向上和/或向 下)瀏覽列表，直至用戶定位所期望的名稱。 一旦所期望的名稱4皮定位， 便產(chǎn)生"選擇"心智狀態(tài)，用于促使底層應(yīng)用采取適當(dāng)?shù)拇胧＿@種技術(shù) 的一個優(yōu)勢是僅有三個不同的心智狀態(tài)需要被訓(xùn)練。要注意，如果使用 水平的左-右導(dǎo)航選項(與垂直的上-下導(dǎo)航選項相對)，那么結(jié)構(gòu)仍然可 以4皮視為包括多個級別(或?qū)哟?和節(jié)點。
同樣地，并且參照圖4，可以看出本發(fā)明的示例性實施例進一步提供 用于(框4A)向用戶顯示表示了應(yīng)用對話的多級多節(jié)點結(jié)構(gòu)的至少一部 分；(框4B)檢測用戶的心智狀態(tài)，以便導(dǎo)航該結(jié)構(gòu)而到達所期望的級別和節(jié)點；以及(框4C)響應(yīng)于用戶生成特定的心智狀態(tài)，使用與所期望的 節(jié)點相關(guān)聯(lián)的信息來實現(xiàn)應(yīng)用任務(wù)。
還應(yīng)當(dāng)注意，用盧接口 18的顯示器20不需要顯示整個決策樹結(jié)構(gòu)。 相反，它可以被顯示為例如滾動類型的呈現(xiàn)模式，該滾動類型的呈現(xiàn)模式 聚焦于特定的(當(dāng)前)級別，并且還有可能聚焦于一個鄰近(例如，更低) 級別。通過這種方式，用戶的注意力可以僅凈皮吸引到當(dāng)前的相關(guān)選項，而 不被其它顯示信息分心。
然而，對本發(fā)明的教導(dǎo)的所有這樣的和類似的修改仍將落入本發(fā)明的 范圍內(nèi)。
此外，本發(fā)明的示例的一些特征可以在不相應(yīng)地使用其它特征的情況 下用于獲得優(yōu)勢。同樣地，前述描述應(yīng)當(dāng)被視為僅是對本發(fā)明的原理、教 導(dǎo)、示例和示例性實施例的說明，而不對其加以限制。
權(quán)利要求
1.一種方法，其包括提供一種包括內(nèi)部節(jié)點和葉節(jié)點的分層多級決策樹結(jié)構(gòu)，所述決策樹結(jié)構(gòu)表示任務(wù)；以及使用從被檢測到的用戶心智狀態(tài)所導(dǎo)出的信息，導(dǎo)航通過所述決策樹結(jié)構(gòu)的級別以到達葉節(jié)點來完成所述任務(wù)。
2. 根據(jù)權(quán)利要求l的方法，其中導(dǎo)航包括使用從被檢測到的用戶 心智狀態(tài)所導(dǎo)出的信息，在與所述決策樹結(jié)構(gòu)的內(nèi)部節(jié)點相關(guān)聯(lián)的屬性值 之間進行選擇。
3. 根據(jù)權(quán)利要求l的方法，其中導(dǎo)航包括向所述用戶顯示所述分 層多級決策樹結(jié)構(gòu)的表示。
4. 根據(jù)權(quán)利要求2的方法，其中，與內(nèi)部節(jié)點相關(guān)聯(lián)的屬性是基于 至少 一個準(zhǔn)則而被訓(xùn)練的。
5. 根據(jù)權(quán)利要求4的方法，其中，所述至少一個準(zhǔn)則包括基于熵的 信息增益準(zhǔn)則。
6. 根據(jù)權(quán)利要求l的方法，所述方法是在設(shè)備中實現(xiàn)的，所述設(shè)備 包括用于檢測所述用戶的心智狀態(tài)的裝置。
7. 根據(jù)權(quán)利要求l的方法，所述方法是在設(shè)備中實現(xiàn)的，所述設(shè)備 被配置以〗更從位于遠處的用于檢測所述用戶的心智狀態(tài)的裝置接收輸入。
8. 根據(jù)權(quán)利要求1的方法，所述方法是在通信設(shè)備中實現(xiàn)的，其中， 所述任務(wù)包括名稱撥號任務(wù)或命令/控制任務(wù)。
9. 根據(jù)權(quán)利要求l的方法，其中，從^L檢測到的用戶心智狀態(tài)所導(dǎo) 出的信息;l使用腦電圖(EEG)獲得的。
10. —種體現(xiàn)在有形的存儲介質(zhì)中的計算一序產(chǎn)品，其包括當(dāng)被數(shù) 據(jù)處理器執(zhí)行時導(dǎo)致操作的程序指令，所述操作包括提供一種包括內(nèi)部節(jié)點和葉節(jié)點的分層多級決策樹結(jié)構(gòu)，所述決策樹 結(jié)構(gòu)表示任務(wù)；以及使用從被檢測到的用戶心智狀態(tài)所導(dǎo)出的信息，導(dǎo)航通過所述決策樹 結(jié)構(gòu)的級別以到達葉節(jié)點來完成所述任務(wù)。
11. 根據(jù)權(quán)利要求10的計算機程序產(chǎn)品，其中導(dǎo)航操作包括使用 從^L檢測到的用戶心智狀態(tài)所導(dǎo)出的信息，在與所述決策樹結(jié)構(gòu)的內(nèi)部節(jié) 點相關(guān)聯(lián)的屬性值之間進行選擇。
12. 根據(jù)權(quán)利要求10的計算積4呈序產(chǎn)品，其中導(dǎo)航操作包括向所 述用戶顯示所述分層多級決策樹結(jié)構(gòu)的表示。
13. 根據(jù)權(quán)利要求11的計算M序產(chǎn)品，其中，與內(nèi)部節(jié)點相關(guān)聯(lián) 的屬性是基于至少 一個準(zhǔn)則而被訓(xùn)練的。
14. 根據(jù)權(quán)利要求13的計算枳一呈序產(chǎn)品，其中，所述至少一個準(zhǔn)則 包括基于熵的信息增益準(zhǔn)則。
15. 根據(jù)權(quán)利要求10的計算M序產(chǎn)品，其中，所述操作是在設(shè)備 中實現(xiàn)的，所述設(shè)備包括用于檢測所述用戶的心智狀態(tài)的裝置。
16. 根據(jù)權(quán)利要求10的計算*序產(chǎn)品，其中，所述操作是在設(shè)備 中實現(xiàn)的，所述設(shè)備被配置以便從位于遠處的用于檢測所述用戶的心智狀 態(tài)的裝置接收輸入。
17. 根據(jù)權(quán)利要求10的計算機程序產(chǎn)品，其中，所述操作是在通信 設(shè)備中實現(xiàn)的，其中，所述任務(wù)包括名稱撥號任務(wù)或命令/控制任務(wù)。
18. 根據(jù)權(quán)利要求10的計算M序產(chǎn)品，其中，從被檢測到的用戶 心智狀態(tài)所導(dǎo)出的信息是使用腦電圖(EEG)獲得的。
19. 一種設(shè)備，其包括數(shù)據(jù)處理器，所述數(shù)據(jù)處理器被配置以便提供一種包括內(nèi)部節(jié)點和 葉節(jié)點的分層多級決策樹結(jié)構(gòu)，所述決策樹結(jié)構(gòu)表示任務(wù)；以及用戶接口，所述用戶接口被配置以便使用從被檢測到的用戶心智狀 態(tài)所導(dǎo)出的信息，使得所述用戶能夠?qū)Ш酵ㄟ^所述決策樹結(jié)構(gòu)的級別以到 達葉節(jié)點來完成所述任務(wù)。
20. 根據(jù)權(quán)利要求19的設(shè)備，其中，所述用戶接口使得所述用戶能 夠使用從被檢測到的用戶心智狀態(tài)所導(dǎo)出的信息，在與所述決策樹結(jié)構(gòu)的內(nèi)部節(jié)點相關(guān)聯(lián)的屬性值之間進行選擇。
21. 根據(jù)權(quán)利要求19的設(shè)備，其中，所述用戶接口向所述用戶顯示 所述分層多級決策樹結(jié)構(gòu)的表示。
22. 根據(jù)權(quán)利要求20的設(shè)備，其中，與內(nèi)部節(jié)點相關(guān)聯(lián)的屬性由所 述數(shù)據(jù)處理器結(jié)合所述用戶接口基于至少一個準(zhǔn)則來進行訓(xùn)練。
23. 根據(jù)權(quán)利要求22的設(shè)備，其中，所述至少一個準(zhǔn)則包括基于熵 的信息增益準(zhǔn)則。
24. 根據(jù)權(quán)利要求19的設(shè)備，其進一步包括用于檢測所述用戶的 心智狀態(tài)的裝置。
25. 根據(jù)權(quán)利要求19的設(shè)備，其進一步包括用于從位于遠處的用 于檢測所述用戶的心智狀態(tài)的裝置接收輸入的接口 。
26. 根據(jù)權(quán)利要求19的設(shè)備，其中，所述設(shè)備是通信設(shè)備，并且其 中，所述任務(wù)包括名稱撥號任務(wù)或命令/控制任務(wù)。
27. 根據(jù)權(quán)利要求19的設(shè)備，其中，從被檢測到的用戶心智狀態(tài)所 導(dǎo)出的信息是使用腦電圖(EEG)獲得的。
28. —種裝備，其包括用于提供一種包括內(nèi)部節(jié)點和葉節(jié)點的分層多級決策樹結(jié)構(gòu)的表示的 裝置，所述決策樹結(jié)構(gòu)表示任務(wù)；以及響應(yīng)于從被檢測到的用戶心智狀態(tài)所導(dǎo)出的信息，用于使得所述用戶 能夠穿過所述決策樹結(jié)構(gòu)到達葉節(jié)點來完成所述任務(wù)的裝置。
29. 根據(jù)權(quán)利要求28的裝備，其中，所述使能裝置使得所述用戶能 夠使用從被檢測到的用戶心智狀態(tài)所導(dǎo)出的信息，在與所述決策樹結(jié)構(gòu)的 內(nèi)部節(jié)點相關(guān)聯(lián)的屬性值之間進行選擇。
30. 根據(jù)權(quán)利要求28的裝備，其進一步包括用于訓(xùn)練與所述決策 樹結(jié)構(gòu)的節(jié)點相關(guān)聯(lián)的屬性的裝置。
31. 根據(jù)權(quán)利要求28的裝備，其進一步包括用于檢測所述用戶的 心智狀態(tài)的裝置。
32. 根據(jù)權(quán)利要求28的裝備，其進一步包括用于從位于遠處的用于檢測所述用戶的心智狀態(tài)的裝置接收輸入的裝置。
33. 根據(jù)權(quán)利要求28的裝備，其中，從被檢測到的用戶心智狀態(tài)所 導(dǎo)出的信息包括通過腦電圖(EEG)所獲得的信息。
34. 根據(jù)權(quán)利要求28的裝備，其體現(xiàn)在設(shè)備中，并且所述任務(wù)涉及 在所述設(shè)備的存儲器中存儲的信息。
35. 根據(jù)權(quán)利要求28的裝備，其體現(xiàn)在設(shè)備中，并且其中，所述使 能裝置向所述用戶提供一種能力來實現(xiàn)以下中的至少一個執(zhí)^i殳W令 或控制功能，以及選擇要由所述設(shè)備實現(xiàn)的動作。
36. 根據(jù)權(quán)利要求35的裝備，其中所述動作包括實現(xiàn)與所述用戶 經(jīng)由用于使能的所述裝置而選擇的實體建立通信的任務(wù)。
37. 根據(jù)權(quán)利要求35的裝備，其中所述動作包括所述用戶經(jīng)由用 于使能的所述裝置實現(xiàn)從菜單或列表選擇項目的任務(wù)。
38. —種方法，其包括向用戶顯示多級多節(jié)點結(jié)構(gòu)的至少一部分，所述多級多節(jié)點結(jié)構(gòu)表示 應(yīng)用對話；檢測所述用戶的心智狀態(tài)，以便導(dǎo)航所述結(jié)構(gòu)而到達所期望的級別和 節(jié)點；以及響應(yīng)于所述用戶生成特定的心智狀態(tài)，4吏用與所期望的節(jié)點相關(guān)聯(lián)的 信息來實現(xiàn)應(yīng)用任務(wù)。
39. 根據(jù)權(quán)利要求38的方法，其進一步包括使用基于熵的技術(shù)來 訓(xùn)練所述結(jié)構(gòu)。
40. 根據(jù)權(quán)利要求38的方法，其進一步包括使用隱式馬爾科夫模 型4支術(shù)來訓(xùn)練所述結(jié)構(gòu)。'
41. 根據(jù)權(quán)利要求38的方法，所述方法是在通信設(shè)備中實現(xiàn)的，其 中，所述應(yīng)用包括與通信相關(guān)的應(yīng)用。
全文摘要
公開了一種方法、計算機程序產(chǎn)品和設(shè)備，響應(yīng)于被檢測到的用戶心智狀態(tài)，所述方法、計算機程序產(chǎn)品和設(shè)備實現(xiàn)選擇過程來執(zhí)行任務(wù)。所述方法包括提供一種包括內(nèi)部節(jié)點和葉節(jié)點的分層多級決策樹結(jié)構(gòu)，其中，所述決策樹結(jié)構(gòu)表示任務(wù)。所述方法進一步包括使用從被檢測到的用戶心智狀態(tài)所導(dǎo)出的信息，導(dǎo)航通過所述決策樹結(jié)構(gòu)的級別以到達葉節(jié)點來完成所述任務(wù)。所述導(dǎo)航步驟包括使用從被檢測到的用戶心智狀態(tài)所導(dǎo)出的信息，在與所述決策樹結(jié)構(gòu)的內(nèi)部節(jié)點相關(guān)聯(lián)的屬性值之間進行選擇。作為非限制性例子，所述設(shè)備可以是通信設(shè)備，并且所述任務(wù)可以是名稱撥號或命令/控制任務(wù)。
文檔編號G06F3/01GK101641660SQ200880009543
公開日2010年2月3日 申請日期2008年3月11日 優(yōu)先權(quán)日2007年3月23日
發(fā)明者A·韋泰克, J·田, P·博達, T·阿赫曼尼米 申請人:諾基亞公司