專利名稱：數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、以及程序，更具體而言，涉及用于隨機(jī) 預(yù)測(cè)在未來(lái)期望時(shí)間使用者活動(dòng)狀態(tài)的多個(gè)概率的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、以及程序。
背景技術(shù)：
近年來(lái)，對(duì)如下內(nèi)容進(jìn)行了積極研究通過(guò)使用從可穿戴式傳感器(使用者可 以佩戴的傳感器)獲得的時(shí)序數(shù)據(jù)對(duì)使用者的狀態(tài)進(jìn)行建模和學(xué)習(xí)以及通過(guò)經(jīng)過(guò)學(xué)習(xí) 獲得的模型識(shí)別使用者的當(dāng)前狀態(tài)。例如，“Life Patterns structure from wearable sensors”，Brian Patrick Clarkson, Doctor Thesis, MIT，2002 提出 了如下這種方法根 據(jù)簡(jiǎn)單地以時(shí)序方式累積的圖像采集數(shù)據(jù)識(shí)別使用者的當(dāng)前活動(dòng)地點(diǎn)，而無(wú)需預(yù)先把使用 者活動(dòng)定義成一些活動(dòng)模型(標(biāo)記)。另外，提出了基于從傳感器獲得的傳感器數(shù)據(jù)預(yù)測(cè) 在以后時(shí)間的使用者活動(dòng)的方法(例如，日本未審查專利申請(qǐng)公開(kāi)No. 2006-134080 ；日本 未審查專利申請(qǐng)公開(kāi) No. 2008-204040 ；以及 “Life Patterns structure from wearable sensors", Brian Patrick Clarkson, Doctor Thesis，MIT，2002)。

發(fā)明內(nèi)容
然而，根據(jù)相關(guān)技術(shù)中的方法，可以僅預(yù)測(cè)在隨后時(shí)間的使用者活動(dòng)，不隨機(jī)預(yù)測(cè) 在從當(dāng)前時(shí)間逝去預(yù)定時(shí)間的未來(lái)時(shí)間使用者活動(dòng)狀態(tài)的多個(gè)概率。鑒于上述狀況做出了本發(fā)明，期望隨機(jī)預(yù)測(cè)在未來(lái)期望時(shí)間使用者活動(dòng)狀態(tài)的多 個(gè)概率。根據(jù)本發(fā)明的實(shí)施例，提供了一種數(shù)據(jù)處理裝置，包括獲得部件，被配置成從可 穿戴式傳感器獲得時(shí)序數(shù)據(jù)；活動(dòng)模型學(xué)習(xí)部件，被配置成根據(jù)獲得的時(shí)序數(shù)據(jù)以隨機(jī)狀 態(tài)轉(zhuǎn)換模型的形式學(xué)習(xí)代表使用者活動(dòng)狀態(tài)的活動(dòng)模型；識(shí)別部件，被配置成通過(guò)使用活 動(dòng)模型學(xué)習(xí)部件獲得的使用者的活動(dòng)模型識(shí)別當(dāng)前使用者活動(dòng)狀態(tài)；以及預(yù)測(cè)部件，被配 置成根據(jù)識(shí)別部件識(shí)別出的當(dāng)前使用者活動(dòng)狀態(tài)預(yù)測(cè)在從當(dāng)前時(shí)間逝去預(yù)定時(shí)間之后的 使用者活動(dòng)狀態(tài)。根據(jù)本發(fā)明的實(shí)施例，提供了一種數(shù)據(jù)處理方法，用于被配置成處理時(shí)序數(shù)據(jù)的 數(shù)據(jù)處理裝置，所述方法包括如下步驟從可穿戴式傳感器獲得時(shí)序數(shù)據(jù)；根據(jù)獲得的時(shí) 序數(shù)據(jù)以隨機(jī)狀態(tài)轉(zhuǎn)換模型的形式學(xué)習(xí)代表使用者活動(dòng)狀態(tài)的活動(dòng)模型；通過(guò)使用通過(guò)學(xué) 習(xí)獲得的使用者的活動(dòng)模型識(shí)別當(dāng)前使用者活動(dòng)狀態(tài)；以及根據(jù)識(shí)別出的當(dāng)前使用者活動(dòng) 狀態(tài)預(yù)測(cè)在從當(dāng)前時(shí)間逝去預(yù)定時(shí)間之后的使用者活動(dòng)狀態(tài)。根據(jù)本發(fā)明的實(shí)施例，提供了一種程序，用于使得計(jì)算機(jī)作為獲得部件，被配置 成從可穿戴式傳感器獲得時(shí)序數(shù)據(jù)；活動(dòng)模型學(xué)習(xí)部件，被配置成根據(jù)獲得的時(shí)序數(shù)據(jù)以 隨機(jī)狀態(tài)轉(zhuǎn)換模型的形式學(xué)習(xí)代表使用者活動(dòng)狀態(tài)的活動(dòng)模型；識(shí)別部件，被配置成通過(guò) 使用活動(dòng)模型學(xué)習(xí)部件獲得的使用者的活動(dòng)模型識(shí)別當(dāng)前使用者活動(dòng)狀態(tài)；以及預(yù)測(cè)部件，被配置成根據(jù)識(shí)別部件識(shí)別出的當(dāng)前使用者活動(dòng)狀態(tài)預(yù)測(cè)在從當(dāng)前時(shí)間逝去預(yù)定時(shí)間 之后的使用者活動(dòng)狀態(tài)。根據(jù)本發(fā)明的實(shí)施例，從可穿戴式傳感器獲得時(shí)序數(shù)據(jù)，根據(jù)獲得的時(shí)序數(shù)據(jù)以 隨機(jī)狀態(tài)轉(zhuǎn)換模型的形式學(xué)習(xí)代表使用者活動(dòng)狀態(tài)的活動(dòng)模型，通過(guò)使用通過(guò)學(xué)習(xí)獲得的 使用者活動(dòng)模型識(shí)別當(dāng)前使用者活動(dòng)狀態(tài)，根據(jù)識(shí)別出的當(dāng)前使用者活動(dòng)狀態(tài)預(yù)測(cè)在從當(dāng) 前時(shí)間逝去預(yù)定時(shí)間之后的使用者活動(dòng)狀態(tài)。根據(jù)本發(fā)明的實(shí)施例，可以隨機(jī)預(yù)測(cè)在未來(lái)期望時(shí)間使用者活動(dòng)狀態(tài)的多個(gè)概率。


圖1是示出了根據(jù)應(yīng)用了本發(fā)明的實(shí)施例的數(shù)據(jù)處理系統(tǒng)的配置實(shí)例的方框圖；圖2是示出了圖1的數(shù)據(jù)處理裝置的詳細(xì)配置實(shí)例的方框圖；圖3是用于描述使用者活動(dòng)模型學(xué)習(xí)處理的流程圖；圖4是用于描述響應(yīng)處理學(xué)習(xí)處理的流程圖；圖5是用于描述使用者活動(dòng)預(yù)測(cè)控制處理的流程圖；圖6示出了 HMM的實(shí)例；圖7示出了左到右型HMM的實(shí)例；圖8A和圖8B示出了加置了稀疏限制的HMM ；圖9是用于描述第一實(shí)驗(yàn)的概況的說(shuō)明圖；圖10是示出了用于第一實(shí)驗(yàn)實(shí)例的數(shù)據(jù)處理裝置的配置實(shí)例的方框圖；圖11示出了預(yù)處理單元的處理結(jié)果；圖12示出了預(yù)處理單元的處理結(jié)果；圖13示出了使用者活動(dòng)模型學(xué)習(xí)單元的學(xué)習(xí)結(jié)果；圖14示出了使用者活動(dòng)模型學(xué)習(xí)單元的學(xué)習(xí)結(jié)果；圖15A至圖15C示出了使用者活動(dòng)識(shí)別單元的識(shí)別結(jié)果；圖16A至圖16C示出了使用者活動(dòng)預(yù)測(cè)單元的預(yù)測(cè)結(jié)果；圖17是用于描述響應(yīng)處理學(xué)習(xí)單元的學(xué)習(xí)表的說(shuō)明圖；圖18是用于描述響應(yīng)處理選擇單元的選擇處理的說(shuō)明圖；圖19是用于描述實(shí)驗(yàn)2中數(shù)據(jù)處理裝置的識(shí)別結(jié)果和預(yù)測(cè)結(jié)果的說(shuō)明圖；圖20是用于描述實(shí)驗(yàn)2中數(shù)據(jù)處理裝置的識(shí)別結(jié)果和預(yù)測(cè)結(jié)果的說(shuō)明圖；以及圖21是示出了根據(jù)應(yīng)用了本發(fā)明的實(shí)施例的計(jì)算機(jī)的配置實(shí)例的方框圖。
具體實(shí)施例方式圖1是示出了根據(jù)應(yīng)用了本發(fā)明的實(shí)施例的數(shù)據(jù)處理系統(tǒng)的配置實(shí)例的方框圖。圖1的數(shù)據(jù)處理系統(tǒng)包括可穿戴式傳感器1、數(shù)據(jù)處理裝置2、以及控制對(duì)象裝置 3?？纱┐魇絺鞲衅?是使用者本身可以佩戴的傳感器并且包括例如，攝像裝置、麥 克風(fēng)、GPS(全球定位系統(tǒng))接收器、鐘表、加速度傳感器、陀螺儀傳感器、生物信息傳感器 等?？纱┐魇絺鞲衅?把通過(guò)感測(cè)獲得的時(shí)序數(shù)據(jù)(在下文中，還將稱為傳感器數(shù)據(jù))輸出給數(shù)據(jù)處理裝置2。數(shù)據(jù)處理裝置2是尺寸對(duì)于使用者而言便攜的裝置，并且被配置成基于從可穿戴 式傳感器1提供的時(shí)序數(shù)據(jù)，學(xué)習(xí)使用者活動(dòng)狀態(tài)(代表動(dòng)作和活動(dòng)模式的狀態(tài))作為隨 機(jī)狀態(tài)轉(zhuǎn)換模型。對(duì)于用于學(xué)習(xí)的隨機(jī)狀態(tài)轉(zhuǎn)換模型，例如，可以采用例如包括隱狀態(tài)的遍 歷HMM(隱馬爾可夫模型)的隨機(jī)狀態(tài)轉(zhuǎn)換模型。將參照?qǐng)D6等對(duì)遍歷HMM進(jìn)行描述。通過(guò)使用學(xué)習(xí)后的隨機(jī)狀態(tài)轉(zhuǎn)換模型，數(shù)據(jù)處理裝置2首先識(shí)別當(dāng)前使用者活動(dòng) 狀態(tài)。接下來(lái)，通過(guò)使用學(xué)習(xí)后的隨機(jī)狀態(tài)轉(zhuǎn)換模型，數(shù)據(jù)處理裝置2根據(jù)迄今為止獲得的 傳感器數(shù)據(jù)預(yù)測(cè)直到未來(lái)期望時(shí)間為止各狀態(tài)的出現(xiàn)概率，以隨機(jī)預(yù)測(cè)在未來(lái)期望時(shí)間使 用者活動(dòng)狀態(tài)。隨后，數(shù)據(jù)處理裝置2向控制對(duì)象裝置3輸出控制信號(hào)，用于使得控制對(duì)象 裝置3按照預(yù)測(cè)的使用者活動(dòng)狀態(tài)執(zhí)行預(yù)定處理。應(yīng)當(dāng)注意，數(shù)據(jù)處理裝置2執(zhí)行的處理的一部分可以按如下這種方式執(zhí)行把數(shù) 據(jù)通過(guò)無(wú)線通信或者經(jīng)由互聯(lián)網(wǎng)等的通信傳送給遠(yuǎn)程裝置并在遠(yuǎn)程地點(diǎn)執(zhí)行處理?？刂茖?duì)象裝置3是要由數(shù)據(jù)處理裝置2控制的對(duì)象的裝置，如，顯示器、揚(yáng)聲器、AV 設(shè)備、照明設(shè)備、或者諸如空氣調(diào)節(jié)設(shè)備的家電裝備?；蛘?，控制對(duì)象裝置3也可以是用于 控制顯示器、揚(yáng)聲器、AV設(shè)備、照明設(shè)備、空氣調(diào)節(jié)設(shè)備等的控制器等。因此，控制對(duì)象裝置 3的數(shù)量不限于一個(gè)，也可以存在多個(gè)控制對(duì)象裝置3。應(yīng)當(dāng)注意，可穿戴式傳感器1和數(shù)據(jù)處理裝置2是可佩戴的，但控制對(duì)象裝置3不 限于可穿戴式裝置。當(dāng)然，控制對(duì)象裝置3也可以是可穿戴式裝置。另外，可以按無(wú)線或有 線方式進(jìn)行數(shù)據(jù)處理裝置2與控制對(duì)象裝置3之間的信號(hào)交換。根據(jù)如此構(gòu)建的數(shù)據(jù)處理系統(tǒng)，可以實(shí)現(xiàn)如下?tīng)顟B(tài)。例如，當(dāng)學(xué)習(xí)使用者在家的情形中的活動(dòng)狀態(tài)作為隨機(jī)狀態(tài)轉(zhuǎn)換模型時(shí)，數(shù)據(jù)處 理裝置2識(shí)別例如使用者“在起居室中”、“在廚房中”等的當(dāng)前活動(dòng)狀態(tài)。隨后，數(shù)據(jù)處理裝 置2基于隨機(jī)狀態(tài)轉(zhuǎn)換模型預(yù)測(cè)在預(yù)定時(shí)間逝去之后的使用者活動(dòng)狀態(tài)。例如，數(shù)據(jù)處理 裝置2預(yù)測(cè)使用者“在預(yù)定時(shí)間逝去之后在廚房中”、“在預(yù)定時(shí)間逝去之后移動(dòng)到起居室” 等的活動(dòng)狀態(tài)。隨后，數(shù)據(jù)處理裝置2進(jìn)行對(duì)于控制對(duì)象裝置3的與預(yù)測(cè)到的活動(dòng)狀態(tài)對(duì)應(yīng)的控 制。例如，在數(shù)據(jù)處理裝置2識(shí)別出使用者“在廚房中”的當(dāng)前活動(dòng)狀態(tài)并且使用者“在預(yù) 定時(shí)間逝去之后移動(dòng)到起居室”的情形中，開(kāi)啟起居室中作為控制對(duì)象裝置3的照明設(shè)備和 空氣調(diào)節(jié)設(shè)備。另外，數(shù)據(jù)處理裝置2可以開(kāi)啟起居室中的電視接收機(jī)(在下文中，還將稱 為TV)、記錄和再現(xiàn)裝置、以及諸如音頻立體聲的AV設(shè)備。另外，當(dāng)學(xué)習(xí)使用者在辦公室的情形中的活動(dòng)狀態(tài)作為隨機(jī)狀態(tài)轉(zhuǎn)換模型時(shí)，數(shù) 據(jù)處理裝置2可以識(shí)別使用者“在辦公室(在其自身的工位)”、“在會(huì)議室”等的當(dāng)前活動(dòng)狀 態(tài)。隨后，按照預(yù)測(cè)到的在預(yù)定時(shí)間逝去之后的活動(dòng)狀態(tài)，可以進(jìn)行“開(kāi)啟在諸如會(huì)議室的 各地點(diǎn)中的空氣調(diào)節(jié)設(shè)備”、“開(kāi)啟復(fù)印機(jī)”、“把電梯移動(dòng)到使用者所在的樓層”等的控制。 即，此情形中的控制對(duì)象裝置3是空氣調(diào)節(jié)設(shè)備、復(fù)印機(jī)、電梯等。此外，例如，在使用者在商店中購(gòu)物的場(chǎng)景中，識(shí)別當(dāng)前使用者活動(dòng)狀態(tài)，即，預(yù)測(cè) 使用者當(dāng)前正在看的產(chǎn)品等，并在作為控制對(duì)象裝置3的顯示器上顯示產(chǎn)品信息。或者，可 以在作為控制對(duì)象裝置3的顯示器上顯示在行進(jìn)方向上陳列的產(chǎn)品之中推薦產(chǎn)品等的信 息ο
另外，在學(xué)習(xí)使用者通勤往返、上學(xué)等采取的移動(dòng)路線作為活動(dòng)狀態(tài)的模型的情 形中，當(dāng)數(shù)據(jù)處理裝置2預(yù)測(cè)例如使用者正前往車站時(shí)，可以在作為控制對(duì)象裝置3的顯示 器上顯示時(shí)間表。另外，數(shù)據(jù)處理裝置2根據(jù)移動(dòng)路線預(yù)測(cè)停留商店，以及可以顯示商店的 詳細(xì)信息(開(kāi)放時(shí)間、銷售信息等)。將對(duì)數(shù)據(jù)處理裝置2的詳細(xì)內(nèi)容進(jìn)行描述，采用該數(shù)據(jù)處理裝置2可以進(jìn)行對(duì)使 用者活動(dòng)狀態(tài)的上述預(yù)測(cè)以及相應(yīng)控制處理。數(shù)據(jù)處理裝置2的詳細(xì)配置實(shí)例圖2是示出了數(shù)據(jù)處理裝置2的詳細(xì)配置實(shí)例的方框圖。傳感器輸入單元Il1獲得從可穿戴式傳感器1輸出的要提供給預(yù)處理單元U1的 傳感器數(shù)據(jù)。對(duì)于傳感器輸入單元Ii2和Ii3也一樣。然而應(yīng)當(dāng)注意，輸入單元Ii1至Ii3 獲得的傳感器數(shù)據(jù)彼此不同。因此，數(shù)據(jù)處理裝置2可以從多個(gè)可穿戴式傳感器1獲得傳 感器數(shù)據(jù)，且可以按照獲得對(duì)象的可穿戴式傳感器1的數(shù)量提供傳感器輸入單元11和預(yù)處 理單元12。應(yīng)當(dāng)注意，獲得對(duì)象的可穿戴式傳感器1的數(shù)量當(dāng)然可以是一個(gè)。在下文中，把 傳感器輸入單元Il1至Il3以及預(yù)處理單元至123分別簡(jiǎn)單地稱為傳感器輸入單元11 和預(yù)處理單元12，如果沒(méi)有必要進(jìn)行區(qū)別的話。預(yù)處理單元U1至123中的每個(gè)預(yù)處理單元按照數(shù)據(jù)特征對(duì)從傳感器輸入單元Il1 至Ii3提供的傳感器數(shù)據(jù)應(yīng)用預(yù)處理，如，圖像特征量提取處理或低通濾波器處理，以便提 供給使用者活動(dòng)模型學(xué)習(xí)單元13和使用者活動(dòng)識(shí)別單元15。S卩，預(yù)處理單元12i至123中 的每個(gè)預(yù)處理單元把傳感器數(shù)據(jù)轉(zhuǎn)化成最適于提供給使用者活動(dòng)模型學(xué)習(xí)單元13和使用 者活動(dòng)識(shí)別單元15的數(shù)據(jù)，并把轉(zhuǎn)化后的傳感器數(shù)據(jù)提供給使用者活動(dòng)模型學(xué)習(xí)單元13 和使用者活動(dòng)識(shí)別單元15?；趶念A(yù)處理單元U1至123分別提供的傳感器數(shù)據(jù)，使用者活動(dòng)模型學(xué)習(xí)單元13 學(xué)習(xí)通過(guò)對(duì)使用者的活動(dòng)狀態(tài)進(jìn)行建模獲得的隨機(jī)狀態(tài)轉(zhuǎn)換模型(使用者活動(dòng)模型)。根 據(jù)本實(shí)施例，對(duì)于隨機(jī)狀態(tài)轉(zhuǎn)換模型，采用通過(guò)對(duì)遍歷HMM加置稀疏限制獲得的模型。使用 者活動(dòng)模型學(xué)習(xí)單元13把作為學(xué)習(xí)的結(jié)果獲得的使用者活動(dòng)模型的參數(shù)提供給使用者活 動(dòng)模型參數(shù)存儲(chǔ)單元14。使用者活動(dòng)模型參數(shù)存儲(chǔ)單元14存儲(chǔ)從使用者活動(dòng)模型學(xué)習(xí)單 元13提供的參數(shù)，并隨著時(shí)機(jī)出現(xiàn)把參數(shù)提供給使用者活動(dòng)識(shí)別單元15和使用者活動(dòng)預(yù) 測(cè)單元16。應(yīng)當(dāng)注意，將參照?qǐng)D6至圖8A和圖8B對(duì)加置了稀疏限制的遍歷HMM、用于遍歷HMM 的參數(shù)的計(jì)算方法等進(jìn)行描述。當(dāng)經(jīng)由傳感器輸入單元11和預(yù)處理單元12輸入新的傳感器數(shù)據(jù)時(shí)，基于通過(guò)學(xué) 習(xí)獲得的使用者活動(dòng)模型，使用者活動(dòng)識(shí)別單元15識(shí)別(辨識(shí))當(dāng)前使用者活動(dòng)狀態(tài)(在 下文中，還將稱為使用者活動(dòng)狀態(tài))。使用者活動(dòng)識(shí)別單元15把代表識(shí)別出的當(dāng)前使用者 活動(dòng)狀態(tài)的狀態(tài)ID提供給使用者活動(dòng)預(yù)測(cè)單元16和響應(yīng)處理學(xué)習(xí)單元18。使用者活動(dòng)預(yù)測(cè)單元16基于通過(guò)學(xué)習(xí)獲得的使用者活動(dòng)模型預(yù)測(cè)在預(yù)定時(shí)間逝 去之后的使用者活動(dòng)狀態(tài)。更具體地，為使用者活動(dòng)預(yù)測(cè)單元16提供代表使用者當(dāng)前狀態(tài) 的狀態(tài)ID。根據(jù)在當(dāng)前時(shí)間Τ(Τ>0)的使用者活動(dòng)狀態(tài)，使用者活動(dòng)預(yù)測(cè)單元16確定在 預(yù)定時(shí)間逝去之后的時(shí)間Τ+Ν(Ν > 0)其出現(xiàn)概率等于或大于預(yù)定閾值的活動(dòng)狀態(tài)或者其 出現(xiàn)概率最大的活動(dòng)狀態(tài)。隨后，使用者活動(dòng)預(yù)測(cè)單元16把代表所確定的活動(dòng)狀態(tài)的狀態(tài)ID作為在時(shí)間T+N的使用者活動(dòng)狀態(tài)的預(yù)測(cè)結(jié)果提供給響應(yīng)處理選擇單元19。響應(yīng)處理獲得單元17為由數(shù)據(jù)處理裝置2對(duì)控制對(duì)象裝置3執(zhí)行的控制中的每 個(gè)控制分配處理ID。在控制對(duì)象裝置3中執(zhí)行為其分配了處理ID的控制時(shí)，響應(yīng)處理獲得 單元17獲得要提供給響應(yīng)處理學(xué)習(xí)單元18的處理ID。響應(yīng)處理學(xué)習(xí)單元18存儲(chǔ)學(xué)習(xí)表，在該學(xué)習(xí)表中，處理ID與狀態(tài)ID相關(guān)聯(lián)。在 從響應(yīng)處理獲得單元17提供處理ID的情形中，響應(yīng)處理學(xué)習(xí)單元18把學(xué)習(xí)表中代表當(dāng)前 使用者活動(dòng)狀態(tài)的狀態(tài)ID中的所提供處理ID的計(jì)數(shù)增加。作為結(jié)果，對(duì)于使用者活動(dòng)狀 態(tài)的狀態(tài)ID中的每個(gè)狀態(tài)ID，對(duì)處理ID的頻度進(jìn)行計(jì)數(shù)。據(jù)此，響應(yīng)處理學(xué)習(xí)單元18學(xué) 習(xí)當(dāng)使用者處于哪個(gè)活動(dòng)狀態(tài)時(shí)對(duì)控制對(duì)象裝置3是哪個(gè)操作(控制)。S卩，響應(yīng)處理學(xué)習(xí) 單元18學(xué)習(xí)與代表當(dāng)前使用者活動(dòng)狀態(tài)的狀態(tài)ID對(duì)應(yīng)的對(duì)控制對(duì)象裝置3的處理。從使用者活動(dòng)預(yù)測(cè)單元16向響應(yīng)處理選擇單元19提供作為在預(yù)定時(shí)間逝去之后 的時(shí)間T+N使用者活動(dòng)狀態(tài)的預(yù)測(cè)結(jié)果的狀態(tài)ID。響應(yīng)處理選擇單元19根據(jù)在響應(yīng)處理 學(xué)習(xí)單元18中存儲(chǔ)的學(xué)習(xí)結(jié)果選擇(確定)與從使用者活動(dòng)預(yù)測(cè)單元16提供的狀態(tài)ID對(duì) 應(yīng)的處理的處理ID。響應(yīng)處理選擇單元19把選擇的處理ID提供給響應(yīng)處理輸出單元20。響應(yīng)處理輸出單元20對(duì)控制對(duì)象裝置3執(zhí)行與從響應(yīng)處理選擇單元19提供的處 理ID對(duì)應(yīng)的控制。使用者活動(dòng)模型學(xué)習(xí)處理圖3是用于描述數(shù)據(jù)處理裝置2所進(jìn)行的使用者活動(dòng)模型學(xué)習(xí)處理的流程圖。首先，在步驟Sl中，傳感器輸入單元11獲得可穿戴式傳感器1輸出的要提供給預(yù) 處理單元12的傳感器數(shù)據(jù)。在步驟S2中，預(yù)處理單元12對(duì)從傳感器輸入單元11提供的傳感器數(shù)據(jù)應(yīng)用預(yù)處 理，并把處理后的傳感器數(shù)據(jù)提供給使用者活動(dòng)模型學(xué)習(xí)單元13。在步驟S3中，使用者活動(dòng)模型學(xué)習(xí)單元13基于從預(yù)處理單元12提供的傳感器數(shù) 據(jù)學(xué)習(xí)使用者活動(dòng)模型。即，使用者活動(dòng)模型學(xué)習(xí)單元13計(jì)算隨機(jī)狀態(tài)轉(zhuǎn)換模型的參數(shù)作 為使用者活動(dòng)模型。在步驟S4中，使用者活動(dòng)模型參數(shù)存儲(chǔ)單元14存儲(chǔ)作為使用者活動(dòng)模型學(xué)習(xí)單 元13進(jìn)行學(xué)習(xí)的結(jié)果所獲得的使用者活動(dòng)模型的參數(shù)(使用者活動(dòng)模型參數(shù))以結(jié)束處理。響應(yīng)處理學(xué)習(xí)處理圖4是用于學(xué)習(xí)響應(yīng)于使用者活動(dòng)狀態(tài)的控制對(duì)象裝置3的處理的響應(yīng)處理學(xué)習(xí) 處理的流程圖?？梢栽趫D3的使用者活動(dòng)模型學(xué)習(xí)處理確定使用者活動(dòng)模型之后執(zhí)行此處理。首先，在步驟Sll中，傳感器輸入單元11獲得可穿戴式傳感器1輸出的要提供給 預(yù)處理單元12的傳感器數(shù)據(jù)。在步驟S12中，預(yù)處理單元12對(duì)從傳感器輸入單元11提供的傳感器數(shù)據(jù)應(yīng)用預(yù) 處理，并把處理后的傳感器數(shù)據(jù)提供給使用者活動(dòng)識(shí)別單元15。在步驟S13中，使用者活動(dòng)識(shí)別單元15從使用者活動(dòng)模型參數(shù)存儲(chǔ)單元14讀取 出使用者活動(dòng)模型的參數(shù)。在步驟S14中，使用者活動(dòng)識(shí)別單元15基于以讀取出的參數(shù)為基礎(chǔ)的使用者活動(dòng)模型識(shí)別(辨識(shí))當(dāng)前使用者活動(dòng)狀態(tài)。使用者活動(dòng)識(shí)別單元15把作為識(shí)別結(jié)果的代表 使用者活動(dòng)狀態(tài)的狀態(tài)ID提供給響應(yīng)處理學(xué)習(xí)單元18。在步驟S15中，響應(yīng)處理獲得單元17獲得要提供給響應(yīng)處理學(xué)習(xí)單元18的在控 制對(duì)象裝置3中執(zhí)行的處理的處理ID。步驟S14中的處理和步驟S15中的處理并行執(zhí)行。在步驟S16中，響應(yīng)處理學(xué)習(xí)單元18把從響應(yīng)處理獲得單元17提供的處理ID以 及從使用者活動(dòng)識(shí)別單元15提供的代表當(dāng)前使用者活動(dòng)狀態(tài)的狀態(tài)ID在學(xué)習(xí)表中彼此相 關(guān)聯(lián)地進(jìn)行存儲(chǔ)，以結(jié)束處理。通過(guò)重復(fù)執(zhí)行上述處理，數(shù)據(jù)處理裝置2可以學(xué)習(xí)當(dāng)使用者處于哪個(gè)狀態(tài)時(shí)對(duì)控 制對(duì)象裝置3是哪個(gè)操作(控制)。使用者活動(dòng)預(yù)測(cè)控制處理圖5是用于基于輸入的傳感器數(shù)據(jù)預(yù)測(cè)使用者的活動(dòng)狀態(tài)以及按照預(yù)測(cè)的使用 者活動(dòng)狀態(tài)對(duì)控制對(duì)象裝置3執(zhí)行控制的使用者活動(dòng)預(yù)測(cè)控制處理的流程圖?？梢栽趫?zhí)行 圖3的使用者活動(dòng)模型學(xué)習(xí)處理和圖4的響應(yīng)處理學(xué)習(xí)處理之后或者與圖4的響應(yīng)處理學(xué) 習(xí)處理并行地執(zhí)行此處理。首先，在步驟S21中，傳感器輸入單元11獲得可穿戴式傳感器1輸出的要提供給 預(yù)處理單元12的傳感器數(shù)據(jù)。在步驟S22中，預(yù)處理單元12對(duì)從傳感器輸入單元11提供的傳感器數(shù)據(jù)應(yīng)用預(yù) 處理，并把處理后的傳感器數(shù)據(jù)提供給使用者活動(dòng)識(shí)別單元15。步驟S21和S22中的處理 與圖4的步驟Sll和S12中的處理相同。在與圖4的處理并行地執(zhí)行圖5的處理的情形中， 可以按單個(gè)處理的形式分別執(zhí)行步驟Sll和S21以及步驟S12和S22。在步驟S23中，使用者活動(dòng)預(yù)測(cè)單元16從使用者活動(dòng)模型參數(shù)存儲(chǔ)單元14讀取 出使用者活動(dòng)模型的參數(shù)。另外，在步驟S23中，使用者活動(dòng)識(shí)別單元15也從使用者活動(dòng) 模型參數(shù)存儲(chǔ)單元14讀取出使用者活動(dòng)模型的參數(shù)。在步驟S24中，使用者活動(dòng)識(shí)別單元15根據(jù)以讀取出的參數(shù)為基礎(chǔ)的使用者活動(dòng) 模型識(shí)別當(dāng)前使用者活動(dòng)狀態(tài)。隨后，使用者活動(dòng)識(shí)別單元15把作為識(shí)別結(jié)果的代表使用 者活動(dòng)狀態(tài)的狀態(tài)ID提供給響應(yīng)處理學(xué)習(xí)單元18。在步驟S25中，在把當(dāng)前時(shí)間T的使用者活動(dòng)狀態(tài)設(shè)置成開(kāi)始點(diǎn)的情況下，使用者 活動(dòng)預(yù)測(cè)單元16預(yù)測(cè)在預(yù)定時(shí)間逝去之后的時(shí)間T+N的使用者活動(dòng)狀態(tài)。使用者活動(dòng)預(yù) 測(cè)單元16把作為預(yù)測(cè)結(jié)果的代表在預(yù)定時(shí)間逝去之后使用者活動(dòng)狀態(tài)的狀態(tài)ID提供給響 應(yīng)處理選擇單元19。在步驟S26中，響應(yīng)處理選擇單元19根據(jù)通過(guò)圖4的處理在響應(yīng)處理學(xué)習(xí)單元18 中存儲(chǔ)的學(xué)習(xí)表，選擇與從使用者活動(dòng)預(yù)測(cè)單元16提供的狀態(tài)ID對(duì)應(yīng)的處理ID。即，響應(yīng) 處理選擇單元19選擇在時(shí)間T+N與預(yù)測(cè)的使用者活動(dòng)狀態(tài)對(duì)應(yīng)的對(duì)控制對(duì)象裝置3的控 制。把選擇的處理ID提供給響應(yīng)處理輸出單元20。在步驟S27中，響應(yīng)處理輸出單元20對(duì)控制對(duì)象裝置3執(zhí)行與從響應(yīng)處理選擇單 元19提供的處理ID對(duì)應(yīng)的控制，以結(jié)束處理。如上所述，在數(shù)據(jù)處理裝置2中，通過(guò)圖3的使用者活動(dòng)模型學(xué)習(xí)處理計(jì)算使用者 活動(dòng)模型的參數(shù)，并且基于使用計(jì)算出的參數(shù)的使用者活動(dòng)模型，識(shí)別當(dāng)前使用者活動(dòng)狀 態(tài)。隨后，從當(dāng)前使用者活動(dòng)狀態(tài)，預(yù)測(cè)在未來(lái)預(yù)定時(shí)間T+N的使用者活動(dòng)狀態(tài)，并對(duì)控制對(duì)象裝置3執(zhí)行按照預(yù)測(cè)的使用者活動(dòng)狀態(tài)的控制。關(guān)于遍歷HMM接下來(lái)，將對(duì)數(shù)據(jù)處理裝置2采用的作為學(xué)習(xí)模型的遍歷HMM進(jìn)行描述。圖6示出了 HMM的實(shí)例。HMM是具有狀態(tài)以及狀態(tài)之間轉(zhuǎn)換的狀態(tài)轉(zhuǎn)換模型。圖6示出了三個(gè)狀態(tài)中HMM的實(shí)例。在圖6中(對(duì)于后面的圖也一樣)，圓形符號(hào)代表狀態(tài)(對(duì)應(yīng)于上述使用者活動(dòng)狀 態(tài))，以及箭頭符號(hào)代表狀態(tài)轉(zhuǎn)換。另外，在圖6中，Si(在圖6中，i = 1、2、3)代表狀態(tài)，以及％代表從狀態(tài)Si向狀 態(tài)S」的狀態(tài)轉(zhuǎn)換的狀態(tài)轉(zhuǎn)換概率。此外，bj(x)代表在去往狀態(tài)~的狀態(tài)轉(zhuǎn)換時(shí)觀測(cè)到觀 測(cè)值X的輸出概率密度函數(shù)，以及η i代表狀態(tài)Si處于初始狀態(tài)的初始概率。應(yīng)當(dāng)注意，對(duì)于輸出概率密度函數(shù)bj(x)，例如，使用污染正態(tài)概率分布等。在本文中，通過(guò)狀態(tài)轉(zhuǎn)換概率aij、輸出概率密度函數(shù)bj(x)、以及初始概率Jii定義 HMM(連續(xù)HMM)。把狀態(tài)轉(zhuǎn)換概率、輸出概率密度函數(shù)…(χ)、以及初始概率π i稱為HMM ={aij,bj(X), πi,i = 1、2、…、M，j = l、2、…、Μ}的參數(shù)λ。M代表HMM的狀態(tài)的數(shù)量。對(duì)于用于估算HMM的參數(shù)λ的方法，廣泛采用Baum-Welch的最大似然估算方法。 Baum-Welch的最大似然估算方法是以ΕΜ(期望最大化)算法為基礎(chǔ)的參數(shù)估算方法。根據(jù)Baum-Welch的最大似然估算方法，基于觀測(cè)到的時(shí)序數(shù)據(jù)χ = Xl、x2、…、xT， 進(jìn)行對(duì)HMM的參數(shù)λ的估算，以使得從出現(xiàn)概率(觀測(cè)到(生成)時(shí)序數(shù)據(jù)的概率)獲得 的似然值最大。在本文中，Xt代表在時(shí)間t觀測(cè)到的信號(hào)(樣本值)，以及T代表時(shí)序數(shù)據(jù) 的長(zhǎng)度(樣本數(shù)量)。例如,"Pattern Recognition and Machine Learning (Information Science and Statistics)”，Christopher M. Bishop, Springer，紐約，2006 (將稱為文件 A)中描述了 Baum-Welch的最大似然估算方法。把從傳感器輸入單元11獲得的傳感器數(shù)據(jù)以時(shí)序數(shù)據(jù)χ = Xl、X2>…、xT的形式 提供給預(yù)處理單元12。隨后，把預(yù)處理單元12對(duì)其應(yīng)用了預(yù)定處理的傳感器數(shù)據(jù)以時(shí)序數(shù) 據(jù)χ' =X1' 、x2'、…、XT'的形式提供給使用者活動(dòng)模型學(xué)習(xí)單元13。從而，通過(guò)使用預(yù)處理之后的傳感器數(shù)據(jù)χ' =X1' ,X2'、…、xT'，使用者活動(dòng) 模型學(xué)習(xí)單元13估算代表使用者活動(dòng)模型的HMM的參數(shù)λ。應(yīng)當(dāng)注意，Baum-Welch的最大似然估算方法是以似然值最大化為基礎(chǔ)的參數(shù)估算 方法但不保證最佳性，這根據(jù)HMM的結(jié)構(gòu)和參數(shù)λ的初始值可以收斂成局部解。在語(yǔ)音識(shí)別中廣泛采用ΗΜΜ。在語(yǔ)音識(shí)別中采用的HMM中，通常，預(yù)先確定狀態(tài)的 數(shù)量、狀態(tài)轉(zhuǎn)換的方式等。圖7示出了語(yǔ)音識(shí)別中采用的HMM的實(shí)例。把圖7的HMM稱為左到右型。在圖7中，狀態(tài)的數(shù)量為3，且狀態(tài)轉(zhuǎn)換限于如下這種結(jié)構(gòu)只允許自身轉(zhuǎn)換(從 狀態(tài)Si向狀態(tài)Si的狀態(tài)轉(zhuǎn)換)以及從左邊的狀態(tài)向右邊的相鄰狀態(tài)的狀態(tài)轉(zhuǎn)換。相比于如同圖7的HMM—樣存在對(duì)狀態(tài)轉(zhuǎn)換限制的ΗΜΜ，圖6中所示的不存在對(duì) 狀態(tài)轉(zhuǎn)換限制的ΗΜΜ，即，允許從任意狀態(tài)Si向任意狀態(tài)~的狀態(tài)轉(zhuǎn)換的ΗΜΜ，被稱為遍歷HMM。遍歷HMM是在結(jié)構(gòu)上具有極高自由度的HMM，但如果狀態(tài)的數(shù)量大，則對(duì)參數(shù)λ的 估算是困難的。例如，在遍歷HMM中狀態(tài)的數(shù)量為1000的情形中，狀態(tài)轉(zhuǎn)換的數(shù)量為1百萬(wàn)(= 1000X1000)。因此，在此情形中，在參數(shù)λ之中，例如，對(duì)于狀態(tài)轉(zhuǎn)換概率aij，估算1百萬(wàn)個(gè)狀 態(tài)轉(zhuǎn)換概率aijt)鑒于以上內(nèi)容，例如，可以對(duì)針對(duì)狀態(tài)設(shè)置的狀態(tài)轉(zhuǎn)換加置稀疏結(jié)構(gòu)的限制(稀 疏限制)。在本文中，稀疏結(jié)構(gòu)是如下這種結(jié)構(gòu)其中，與密集狀態(tài)轉(zhuǎn)換(如，允許從任意狀 態(tài)向任意狀態(tài)的狀態(tài)轉(zhuǎn)換的遍歷HMM)不同，允許自某個(gè)狀態(tài)起的狀態(tài)轉(zhuǎn)換的狀態(tài)是極其 受限的。應(yīng)當(dāng)注意，在本文中，即使在稀疏結(jié)構(gòu)的情形中，也存在去往另一狀態(tài)的至少一個(gè) 狀態(tài)轉(zhuǎn)換，以及還存在自身轉(zhuǎn)換。圖8A和圖8B示出了加置了稀疏限制的HMM。在本文中，在圖8A和圖8B中，連接兩個(gè)狀態(tài)的雙向箭頭代表從兩個(gè)狀態(tài)的一個(gè)狀 態(tài)向另一狀態(tài)的狀態(tài)轉(zhuǎn)換以及從所述另一狀態(tài)向所述一個(gè)狀態(tài)的狀態(tài)轉(zhuǎn)換。另外，在圖8A 和圖8B中，各狀態(tài)允許自身轉(zhuǎn)換，略去了對(duì)代表自身轉(zhuǎn)換的箭頭的圖示。在圖8A和圖8B中，以網(wǎng)狀模式在二維空間上布置16個(gè)狀態(tài)。S卩，在圖8A和圖8B 中，在橫向方向上，布置四個(gè)狀態(tài)，另外，在縱向方向上，布置四個(gè)狀態(tài)。現(xiàn)在，把在橫向方向上相鄰的狀態(tài)之間的距離以及在縱向方向上相鄰的狀態(tài)之間 的距離均設(shè)置成1，然后，圖8A示出了加置了稀疏限制的HMM，其中，允許去往距離等于或小 于1的狀態(tài)的狀態(tài)轉(zhuǎn)換，而不允許去往其它狀態(tài)的狀態(tài)轉(zhuǎn)換。另外，圖8B示出了加置了稀疏限制的HMM，其中，允許去往距離等于或小于V 2的 狀態(tài)，而不允許去往其它狀態(tài)的狀態(tài)轉(zhuǎn)換。使用者活動(dòng)識(shí)別單元15對(duì)通過(guò)學(xué)習(xí)(HMM)獲得的使用者活動(dòng)模型應(yīng)用Viterbi 方法，以獲得如下這種狀態(tài)轉(zhuǎn)換的過(guò)程(狀態(tài)的線路)(路徑)(在下文中，還將稱為最大似 然路徑)其中，觀測(cè)到來(lái)自預(yù)處理單元12的處理之后的傳感器數(shù)據(jù)χ' =X1' ,X2'、…、 Xx'的似然值最大。據(jù)此，識(shí)別當(dāng)前使用者動(dòng)作狀態(tài)。在本文中，Viterbi方法是如下這種算法用于確定使值(出現(xiàn)概率)最大化的路 徑(最大似然路徑)，該值是通過(guò)把在從各狀態(tài)Si開(kāi)始的狀態(tài)轉(zhuǎn)換的路徑之中在時(shí)間t進(jìn) 行從狀態(tài)Si向狀態(tài)Sj的狀態(tài)轉(zhuǎn)換的狀態(tài)轉(zhuǎn)換概率aij以及在該狀態(tài)轉(zhuǎn)換中在處理后的傳感 器數(shù)據(jù)X' =X1' >X2'、…、χ/之中觀測(cè)到在時(shí)間t的樣本值χ' t的概率(從輸出概率 密度函數(shù)獲得的輸出概率)在處理后的時(shí)序數(shù)據(jù)X'的長(zhǎng)度T上進(jìn)行累加獲得的。使用者活動(dòng)預(yù)測(cè)單元16對(duì)通過(guò)學(xué)習(xí)(HMM)獲得的使用者活動(dòng)模型應(yīng)用前向_后 向算法，可以計(jì)算在把由使用者活動(dòng)識(shí)別單元15識(shí)別出的當(dāng)前使用者活動(dòng)狀態(tài)設(shè)置成開(kāi) 始點(diǎn)的情況下直到時(shí)間T+N為止各狀態(tài)Si的出現(xiàn)概率。應(yīng)當(dāng)注意，當(dāng)計(jì)算出現(xiàn)概率時(shí)，使用 者活動(dòng)預(yù)測(cè)單元16可以采用如下這種方法在假定在各時(shí)間的各狀態(tài)Si的觀測(cè)概率為相 等概率的情況下，基于狀態(tài)轉(zhuǎn)換概計(jì)算直到時(shí)間T+N為止各狀態(tài)Si的出現(xiàn)概率，或者， 可以采用如下這種方法通過(guò)使用基于狀態(tài)轉(zhuǎn)換概率的隨機(jī)數(shù)以實(shí)驗(yàn)方式確定，來(lái)計(jì)算直到時(shí)間T+N為止各狀態(tài)Si的出現(xiàn)概率。在本文中，前向-后向算法是用于通過(guò)如下方式計(jì)算概率值的算法對(duì)通過(guò)在時(shí) 間方向上向前傳播概率以達(dá)到各狀態(tài)Si而獲得的前向概率ai(t)以及通過(guò)在時(shí)間方向上 向后傳播概率以達(dá)到各狀態(tài)Si而獲得的后向概率進(jìn)行積分。應(yīng)當(dāng)注意，也可以只使 用用于計(jì)算前向概率ajt)的前向算法或者用于計(jì)算后向概率i3i(t)的后向算法。在上述文件A的347頁(yè)描述了 Viterbi方法，以及在上述文件A的336頁(yè)描述了 前向-后向算法。第一實(shí)驗(yàn)實(shí)例接下來(lái)，將對(duì)數(shù)據(jù)處理裝置2所進(jìn)行的預(yù)測(cè)控制以及對(duì)使用者活動(dòng)模型的學(xué)習(xí)的 具體實(shí)例進(jìn)行描述。首先，將參照?qǐng)D9對(duì)第一實(shí)驗(yàn)的概況進(jìn)行描述。根據(jù)第一實(shí)驗(yàn)，使用者隨處攜帶作為可穿戴式傳感器1的攝像裝置，并獲得使用 者在視覺(jué)上識(shí)別出的圖像(視頻)數(shù)據(jù)作為時(shí)序數(shù)據(jù)。在圖9中所示的住宅中，使用者執(zhí) 行包括如下內(nèi)容的活動(dòng)(動(dòng)作)(1)在起居室中看電視、(2)在用餐空間中進(jìn)食、(3)在書(shū) 房中思考、(4)在廚房中做飯、以及(5)在洗漱間中化妝。另外，使用者對(duì)作為控制對(duì)象裝 置3的照明設(shè)備、電視接收機(jī)等執(zhí)行如下這些操作如，開(kāi)啟室燈以及開(kāi)啟電視(TV)開(kāi)關(guān)?；陔S著使用者的活動(dòng)獲得的圖像的時(shí)序數(shù)據(jù)，數(shù)據(jù)處理裝置2使得遍歷HMM學(xué) 習(xí)使用者活動(dòng)狀態(tài)。隨后，作為學(xué)習(xí)之后的驗(yàn)證，輸入通過(guò)使用者的動(dòng)作獲得的新圖像的時(shí) 序數(shù)據(jù)，并把使用者活動(dòng)識(shí)別單元15所進(jìn)行的對(duì)使用者活動(dòng)狀態(tài)的識(shí)別與實(shí)際使用者活 動(dòng)相比較。應(yīng)當(dāng)注意，數(shù)據(jù)處理裝置2從作為可穿戴式傳感器1的攝像裝置只獲得圖像的 時(shí)序數(shù)據(jù)，不進(jìn)行與使用者活動(dòng)相關(guān)的做標(biāo)記等。然而應(yīng)當(dāng)注意，作為學(xué)習(xí)之后的驗(yàn)證，為 了把使用者的實(shí)際活動(dòng)與識(shí)別結(jié)果相比較，在本實(shí)驗(yàn)中，對(duì)獲得的各圖像添加表明住宅中 位置的偽坐標(biāo)。另外，對(duì)于學(xué)習(xí)之后的各狀態(tài)，也與該狀態(tài)中分配的輸入圖像的偽坐標(biāo)的平 均值相關(guān)聯(lián)，以及可以采用偽坐標(biāo)檢查識(shí)別結(jié)果的各狀態(tài)。第一實(shí)驗(yàn)實(shí)例中數(shù)據(jù)處理裝置2的配置圖10是示出了用于第一實(shí)驗(yàn)實(shí)例的數(shù)據(jù)處理裝置2的配置實(shí)例的方框圖。傳感器輸入單元11-1獲得從作為可穿戴式傳感器1的攝像裝置輸出的時(shí)序圖像 數(shù)據(jù)作為要提供給預(yù)處理單元12-1的傳感器數(shù)據(jù)。預(yù)處理單元12-1從由傳感器輸入單元11-1提供的圖像數(shù)據(jù)提取圖像特征量。即， 預(yù)處理單元12-1把時(shí)序圖像數(shù)據(jù)轉(zhuǎn)化成圖像特征量的時(shí)序數(shù)據(jù)。此外，預(yù)處理單元12-1 壓縮圖像特征量時(shí)序數(shù)據(jù)的維數(shù)，并把維度壓縮之后的圖像特征量的時(shí)序數(shù)據(jù)提供給使用 者活動(dòng)模型學(xué)習(xí)單元13-1和使用者活動(dòng)識(shí)別單元15-1。例如，預(yù)處理單元12-1采用稱作GIST的特征量，作為提取的圖像特征量。 “Context-based vision system for place and object recognition", A. Torralba> K. P. Murphy、W. T. Freeman 禾口 M.A.Rubin, IEEE Intl. Conference on Computer Vision (ICCV)，尼斯，法國(guó)，2003年10月中描述了 GIST的詳細(xì)內(nèi)容。應(yīng)當(dāng)注意，圖像特征量不限于GIST，例如，也可以采用HLCA(高階局部相關(guān))、 LBP(局部二元模式)、顏色直方圖、邊緣直方圖等。例 如，N. Otsu、Τ. Kurita, "A new scheme for practical flexible and intelligent vision systems”，Proc. IAPR Workshop on Computer Vision，431—435頁(yè)，1988 中描述了 HLCA 的詳細(xì)內(nèi)容。例如，Ojala τ、Pietikainen M& Maenpaa τ, "MuItiresoIution gray-scale and rotation invariant texture classification with Local Binary Patterns，，，IEEE Transactions on Pattern Analysis and Machine Intelligence 24(7) :971_987 中描述了 LBP 的詳細(xì)內(nèi)容。另外，預(yù)處理單元12-1可以通過(guò)執(zhí)行主成分分析(PCA)進(jìn)行對(duì)圖像特征量時(shí)序數(shù) 據(jù)的維度壓縮。預(yù)處理單元12-1基于PCA的結(jié)果壓縮(限制)圖像特征量(GIST)時(shí)序數(shù) 據(jù)的維數(shù)，以使得累積貢獻(xiàn)率變成較高的值(例如，不小于95等)。使用者活動(dòng)模型學(xué)習(xí)單元13-1在從預(yù)處理單元12-1提供的維度壓縮之后的圖像 特征量時(shí)序數(shù)據(jù)被設(shè)置成上述傳感器數(shù)據(jù)X' =X1' >χ2'、…、χ/的情況下，計(jì)算加置了 稀疏限制的遍歷HMM的參數(shù)λ。應(yīng)當(dāng)注意，可以把狀態(tài)Si的初始概率π i設(shè)置成統(tǒng)一值。 例如，把M個(gè)狀態(tài)Si中每個(gè)狀態(tài)Si的初始概率π i都設(shè)置成1/M。使用者活動(dòng)模型參數(shù)存儲(chǔ)單元14-1存儲(chǔ)由使用者活動(dòng)模型學(xué)習(xí)單元13-1計(jì)算的 要隨著時(shí)機(jī)出現(xiàn)提供給使用者活動(dòng)識(shí)別單元15和使用者活動(dòng)預(yù)測(cè)單元16的參數(shù)λ。使用者活動(dòng)識(shí)別單元15-1對(duì)通過(guò)學(xué)習(xí)(HMM)獲得的使用者活動(dòng)模型應(yīng)用Viterbi 方法并識(shí)別(辨識(shí))當(dāng)前使用者活動(dòng)狀態(tài)。使用者活動(dòng)識(shí)別單元15-1把代表識(shí)別出的當(dāng) 前使用者活動(dòng)狀態(tài)的狀態(tài)ID提供給使用者活動(dòng)預(yù)測(cè)單元16和響應(yīng)處理學(xué)習(xí)單元18?；诖懋?dāng)前使用者活動(dòng)狀態(tài)的狀態(tài)ID，使用者活動(dòng)預(yù)測(cè)單元16-1預(yù)測(cè)在從當(dāng) 前時(shí)間T逝去期望時(shí)間之后的時(shí)間Τ+Ν的使用者活動(dòng)狀態(tài)并把預(yù)測(cè)的活動(dòng)狀態(tài)的狀態(tài)ID 提供給響應(yīng)處理選擇單元19-1。在本文中，使用者活動(dòng)預(yù)測(cè)單元16-1在假定在時(shí)間Τ+1至 Τ+Ν觀測(cè)到各狀態(tài)&的樣本值χ ‘ T+1至χ' T+N的概率為1的情況下，計(jì)算直到時(shí)間T+N為 止各狀態(tài)Si的出現(xiàn)概率。隨后，在預(yù)定時(shí)間逝去之后的時(shí)間T+N，使用者活動(dòng)預(yù)測(cè)單元16-1 把出現(xiàn)概率最大的狀態(tài)或者出現(xiàn)概率等于或大于預(yù)定閾值的狀態(tài)預(yù)測(cè)為在時(shí)間T+N的使 用者活動(dòng)狀態(tài)。響應(yīng)處理獲得單元17-1接收和獲得表明各房間中照明的開(kāi)或關(guān)、TV開(kāi)關(guān)的開(kāi)或 關(guān)、以及空氣調(diào)節(jié)器的開(kāi)或關(guān)的信號(hào)，并把信號(hào)提供給響應(yīng)處理學(xué)習(xí)單元18-1作為各控制 對(duì)應(yīng)的處理ID。當(dāng)從響應(yīng)處理獲得單元17-1提供處理ID時(shí)，響應(yīng)處理學(xué)習(xí)單元18-1把學(xué)習(xí)表的 代表當(dāng)前使用者活動(dòng)狀態(tài)的狀態(tài)ID中的所提供處理ID的頻度增加計(jì)數(shù)。據(jù)此，響應(yīng)處理 學(xué)習(xí)單元18-1計(jì)數(shù)與各狀態(tài)ID對(duì)應(yīng)的處理ID的共同出現(xiàn)頻度。當(dāng)從使用者活動(dòng)預(yù)測(cè)單元16-1提供預(yù)定狀態(tài)ID時(shí)，響應(yīng)處理選擇單元19-1從響 應(yīng)處理學(xué)習(xí)單元18-1的學(xué)習(xí)表選擇(確定)針對(duì)提供的狀態(tài)ID要進(jìn)行的處理的處理ID。 更具體地，響應(yīng)處理選擇單元19-1針對(duì)提供的狀態(tài)ID從學(xué)習(xí)表選擇頻度最高的處理ID并 把處理ID提供給響應(yīng)處理輸出單元20-1。應(yīng)當(dāng)注意，響應(yīng)處理選擇單元19-1可以針對(duì)提 供的狀態(tài)ID選擇頻度等于或大于預(yù)定閾值的多個(gè)處理ID。按照從響應(yīng)處理選擇單元19-1提供的處理ID，響應(yīng)處理輸出單元20-1對(duì)控制對(duì) 象裝置3進(jìn)行控制。例如，在預(yù)測(cè)使用者在時(shí)間T+N在起居室中的情形中，響應(yīng)處理輸出單 元20-1把用于開(kāi)啟起居室中照明和空氣調(diào)節(jié)器的控制信號(hào)發(fā)送給作為控制對(duì)象裝置3的 照明設(shè)備和空氣調(diào)節(jié)器。將參照?qǐng)D11至圖18對(duì)使用數(shù)據(jù)處理裝置2的第一實(shí)驗(yàn)的上述實(shí)驗(yàn)結(jié)果進(jìn)行描述。預(yù)處理單元12-1的處理結(jié)果圖11和圖12示出了預(yù)處理單元12-1的處理結(jié)果。圖11示出了從傳感器輸入單元11-1提供的輸入圖像、由預(yù)處理單元12-1提取的 圖像特征量時(shí)序數(shù)據(jù)、以及維度壓縮之后的圖像特征量時(shí)序數(shù)據(jù)的實(shí)例。應(yīng)當(dāng)注意，因?yàn)榭?間限制，通過(guò)圖示采集圖像獲得輸入圖像，也略去了圖像對(duì)比濃度的顯示。在從輸入圖像提取的圖像特征量時(shí)序數(shù)據(jù)(在圖11的中心)中，存在高達(dá)1000個(gè) 維度的維數(shù)，相比而言，在通過(guò)主成份分析進(jìn)行維度壓縮之后的圖像特征量時(shí)序數(shù)據(jù)(在 圖11的右邊)中，維數(shù)壓縮到約50個(gè)維度。圖12示出了預(yù)處理單元12-1所進(jìn)行的對(duì)輸入圖像的圖像特征量的提取處理。圖12示出了針對(duì)灰度(8位等級(jí)序列)的輸入圖像的GIST計(jì)算的實(shí)例。S卩，針對(duì) 灰度的輸入圖像，預(yù)處理單元12-1把通過(guò)分割可控濾波器的輸出成5X5進(jìn)行平均化而獲 得的值設(shè)置為圖像特征量。在本文中，在可控濾波器的參數(shù)中，分辨率具有包括大、中、以及 小的三級(jí)，微分濾波器具有包括一次微分、二次微分、以及三次微分的三級(jí)，方向參數(shù)具有 四個(gè)方向(上、下、右、以及左)。應(yīng)當(dāng)注意，對(duì)于二次微分的微分濾波器，除了各軸中的方向 參數(shù)之外，還可以計(jì)算全軸方向上的方向參數(shù)，因此，使用五個(gè)方向上的濾波器輸出。使用者活動(dòng)模型學(xué)習(xí)單元13-1的學(xué)習(xí)結(jié)果圖13和圖14示出了作為使用者活動(dòng)模型學(xué)習(xí)單元13-1所進(jìn)行學(xué)習(xí)的結(jié)果獲得 的 HMM。在圖13和圖14中，黑色圓形代表通過(guò)使用稱作Sammon圖的方法基于狀態(tài)轉(zhuǎn)換概 率所確定的HMM的各狀態(tài)~的坐標(biāo)(X，y)(使得轉(zhuǎn)換概率大的狀態(tài)布置成盡可能的接 近)，并且等同于狀態(tài)sj0在本文中，把狀態(tài)的數(shù)量M設(shè)置成600。另外，在圖13和圖14中，在從狀態(tài)Si向狀態(tài)Sj的狀態(tài)轉(zhuǎn)換的狀態(tài)轉(zhuǎn)換概率％大 于0的情形中(在從狀態(tài)Si向狀態(tài)Sj的狀態(tài)轉(zhuǎn)換有效的狀態(tài)轉(zhuǎn)換的情形中)，等同于狀態(tài) Si的黑色圓形和等同于狀態(tài)~的黑色圓形由直線(線段)連接。因此，在圖13和圖14中， 連接相互黑色圓形的直線等同于(有效)狀態(tài)轉(zhuǎn)換。應(yīng)當(dāng)注意，圖13和圖14中，略去了表明狀態(tài)轉(zhuǎn)換方向的箭頭的圖示。圖14示出了如下這種狀態(tài)其中，在圖13中所示學(xué)習(xí)之后的HMM上，重疊屬于諸 如(1)在起居室中看電視、(3)在書(shū)房中思考、以及(4)在廚房中做飯的各狀態(tài)Si的輸入圖 像的一部分。應(yīng)當(dāng)注意，輸入圖像由灰色矩形表示。通過(guò)觀看布置在狀態(tài)Si上的輸入圖像，把諸如⑴在起居室中看電視、(3)在書(shū)房 中思考、以及(4)在廚房中做飯的同樣的使用者活動(dòng)狀態(tài)布置在相鄰HMM狀態(tài)中。即，適當(dāng) 地識(shí)別和分類從輸入圖像識(shí)別出的使用者活動(dòng)狀態(tài)?？梢哉J(rèn)為，通過(guò)HMM所進(jìn)行的學(xué)習(xí)和識(shí)別是以圖像特征量為基礎(chǔ)的一種聚類。然 而，簡(jiǎn)單地使用圖像特征量的聚類只關(guān)注于圖像的相似度，因而，相似度小的圖像之間的相 關(guān)性低。另一方面，在通過(guò)HMM所進(jìn)行的學(xué)習(xí)和識(shí)別中，在不僅包括圖像特征量而且還包括 時(shí)間先后關(guān)系的情況下進(jìn)行聚類。在具有預(yù)定特征量的圖像在具有某特征量的圖像之后出 現(xiàn)的情形中，即使在它們的圖像特征量方面相似度小的圖像之間的相關(guān)性也高。因此，通過(guò) 使用HMM的學(xué)習(xí)，即使對(duì)輸入圖像不執(zhí)行做標(biāo)記，也可以適當(dāng)?shù)刈R(shí)別和分類使用者活動(dòng)狀態(tài)。使用者活動(dòng)識(shí)別單元15-1的識(shí)別結(jié)果圖15A至圖15C示出了使用者活動(dòng)識(shí)別單元15_1所進(jìn)行的識(shí)別的結(jié)果。圖15A至圖15C示出了如下這些狀態(tài)其中，當(dāng)向數(shù)據(jù)處理裝置2提供不用于學(xué)習(xí) 的新輸入圖像時(shí)，作為由使用者活動(dòng)識(shí)別單元15-1識(shí)別出的識(shí)別結(jié)果的狀態(tài)Si在類似于 圖9的房間布局圖上用黑點(diǎn)表示。應(yīng)當(dāng)注意，當(dāng)然，對(duì)于識(shí)別處理，不使用向圖像數(shù)據(jù)添加的偽坐標(biāo)。另外，如上所 述，與作為識(shí)別結(jié)果的狀態(tài)Si對(duì)應(yīng)的偽坐標(biāo)根據(jù)分配給該狀態(tài)的輸入圖像的偽坐標(biāo)的平均 值計(jì)算。在圖15A中，叉號(hào)(X)代表當(dāng)使用者“(3)在書(shū)房中思考”時(shí)在某個(gè)時(shí)間輸入圖 像的真值，即，向輸入圖像添加的偽坐標(biāo)。另一方面，圓形符號(hào)(〇)代表使用者活動(dòng)識(shí)別 單元15-1針對(duì)叉號(hào)(X)的輸入圖像的識(shí)別結(jié)果，即，與叉號(hào)的輸入圖像被識(shí)別出的狀態(tài)Si 對(duì)應(yīng)的偽坐標(biāo)。在圖15B中，叉號(hào)(X)代表當(dāng)使用者“移動(dòng)到起居室”時(shí)在某個(gè)時(shí)間的輸入圖像 的真值，即，向輸入圖像添加的偽坐標(biāo)。另一方面，圓形符號(hào)(〇)代表使用者活動(dòng)識(shí)別單 元15-1針對(duì)叉號(hào)(X)的輸入圖像的識(shí)別結(jié)果，即，與識(shí)別出叉號(hào)的輸入圖像的狀態(tài)Si對(duì) 應(yīng)的偽坐標(biāo)。在圖15C中，叉號(hào)(X)代表當(dāng)使用者“⑴在起居室中看電視”時(shí)在某個(gè)時(shí)間的輸 入圖像的真值，即，向輸入圖像添加的偽坐標(biāo)。另一方面，圓形符號(hào)(〇)代表使用者活動(dòng) 識(shí)別單元15-1針對(duì)叉號(hào)(X)的輸入圖像的識(shí)別結(jié)果，即，與識(shí)別出叉號(hào)的輸入圖像的狀態(tài) sji應(yīng)的偽坐標(biāo)。在圖15A至圖15C的任一使用者活動(dòng)狀態(tài)中，叉號(hào)和圓形符號(hào)彼此極其接近，根據(jù) 學(xué)習(xí)后的HMM，可以認(rèn)為使用者活動(dòng)狀態(tài)可以被適當(dāng)?shù)刈R(shí)別。使用者活動(dòng)預(yù)測(cè)單元16-1的預(yù)測(cè)結(jié)果圖16A至圖16C示出了使用者活動(dòng)預(yù)測(cè)單元16_1的預(yù)測(cè)結(jié)果。圖16A至圖16C均以各活動(dòng)狀態(tài)出現(xiàn)概率的形式表示在由使用者活動(dòng)預(yù)測(cè)單元 16-1識(shí)別出的當(dāng)前使用者活動(dòng)狀態(tài)三分鐘之后的使用者活動(dòng)的預(yù)測(cè)結(jié)果。應(yīng)當(dāng)注意，以如下方式獲得各活動(dòng)狀態(tài)的出現(xiàn)概率。例如，對(duì)于“⑴在起居室中 看電視”的概率，把狀態(tài)Si對(duì)應(yīng)的偽坐標(biāo)在起居室中預(yù)定范圍內(nèi)的情形定義成“(1)在起居 室中看電視”，求得在識(shí)別結(jié)果三分鐘之后狀態(tài)Si對(duì)應(yīng)的偽坐標(biāo)在定義的預(yù)定范圍內(nèi)的概 率。對(duì)于其它使用者活動(dòng)狀態(tài)的出現(xiàn)概率也一樣。圖16A示出了在當(dāng)前使用者活動(dòng)狀態(tài)為“(3)在書(shū)房中思考”的情形中三分鐘后的 所預(yù)測(cè)的使用者活動(dòng)狀態(tài)。在當(dāng)前使用者活動(dòng)狀態(tài)為“(3)在書(shū)房中思考”的情形中，使用者在三分鐘后仍然 “(3)在書(shū)房中思考”的概率為42.9%。使用者在三分鐘后“(1)在起居室中看電視”的概率 為24.5%。使用者在三分鐘后“(5)在洗漱間中化妝”的概率為5.4%。另外，使用者“(4) 在廚房中做飯”和使用者“⑵在用餐空間中進(jìn)食”的概率分別為2. 6%和0. %。圖16Β示出了在當(dāng)前使用者活動(dòng)狀態(tài)為“(1)在起居室中看電視”的情形中三分鐘 后的所預(yù)測(cè)的使用者活動(dòng)狀態(tài)。
在當(dāng)前使用者活動(dòng)狀態(tài)為“(1)在起居室中看電視”的情形中，使用者在三分鐘后 仍然“(1)在起居室中看電視”的概率為63. 6%。使用者在三分鐘后“(4)在廚房中做飯” 的概率為12.3%。使用者在三分鐘后“(3)在書(shū)房中思考”的概率為8.4%。另外，使用者 “⑵在用餐空間中進(jìn)食”和使用者“(5)在洗漱間中化妝”的概率分別為4. 0%和3. 1%。圖16C示出了在當(dāng)前使用者活動(dòng)狀態(tài)為“(4)在廚房中做飯”的情形中三分鐘后的 所預(yù)測(cè)的使用者活動(dòng)狀態(tài)。在當(dāng)前使用者活動(dòng)狀態(tài)為“(4)在廚房中做飯”的情形中，使用者在三分鐘后仍然 “ (4)在廚房中做飯”的概率為22. 2%。使用者在三分鐘后“(1)在起居室中看電視”的概 率為38.8%。使用者在三分鐘后“(2)在用餐空間中進(jìn)食”的概率為17.9%。另外，使用者 “⑶在書(shū)房中思考”和使用者“(5)在洗漱間中化妝”的概率分別為8. 4%和3. 0%。如上所述，根據(jù)使用者活動(dòng)預(yù)測(cè)單元16-1，通過(guò)使用學(xué)習(xí)后的HMM，從當(dāng)前使用者 活動(dòng)狀態(tài)，可以按出現(xiàn)概率的形式預(yù)測(cè)在預(yù)定時(shí)間逝去之后的使用者活動(dòng)狀態(tài)。響應(yīng)處理學(xué)習(xí)處理和響應(yīng)處理選擇處理圖17示出了通過(guò)響應(yīng)處理學(xué)習(xí)單元18進(jìn)行的學(xué)習(xí)處理所創(chuàng)建的學(xué)習(xí)表的一部 分。在學(xué)習(xí)表中，在HMM的各狀態(tài)中，在把狀態(tài)ID和處理ID彼此關(guān)聯(lián)的情況下存儲(chǔ)控 制對(duì)象裝置3執(zhí)行的響應(yīng)處理的頻度。隨后，如圖18中所示，在使用者活動(dòng)預(yù)測(cè)控制處理中，由使用者活動(dòng)預(yù)測(cè)單元16 預(yù)料提供的狀態(tài)ID為“5”。在此情形中，響應(yīng)處理選擇單元19-1針對(duì)狀態(tài)ID “5”選擇頻 度最高的處理ID “5”并把選擇的處理ID “5”提供給響應(yīng)處理輸出單元20-1。例如，當(dāng)預(yù)料狀態(tài)ID “5”為“⑴在起居室中看電視”以及處理ID “5”為“開(kāi)啟 TV開(kāi)關(guān)”時(shí)，響應(yīng)處理選擇單元19-1把指示“開(kāi)啟TV開(kāi)關(guān)”的信號(hào)提供給響應(yīng)處理輸出單 元20-1。當(dāng)指示“開(kāi)啟TV開(kāi)關(guān)”的信號(hào)被提供時(shí)，響應(yīng)處理輸出單元20-1把用于指示開(kāi)啟 電源的遠(yuǎn)程控制信號(hào)發(fā)送給TV。如上所述，根據(jù)第一實(shí)驗(yàn)，通過(guò)使用從可穿戴式傳感器1獲得的圖像信號(hào)，準(zhǔn)確地 識(shí)別使用者當(dāng)前狀態(tài)，并且可以隨機(jī)預(yù)測(cè)在期望時(shí)間逝去之后未來(lái)的使用者狀態(tài)。另外，按 照預(yù)測(cè)結(jié)果，可以控制外部器件。第二實(shí)驗(yàn)實(shí)例接下來(lái)，將對(duì)第二實(shí)驗(yàn)實(shí)例進(jìn)行描述。數(shù)據(jù)處理裝置2的結(jié)構(gòu)與圖10類似，因此， 對(duì)于對(duì)數(shù)據(jù)處理裝置2的描述，引用圖10的數(shù)據(jù)處理裝置2的附圖標(biāo)記進(jìn)行描述。根據(jù)第二實(shí)驗(yàn)，對(duì)于可穿戴式傳感器1使用GPS接收器。另外，對(duì)于控制對(duì)象裝置 3，例如，采用便攜式小型顯示器或揚(yáng)聲器。數(shù)據(jù)處理裝置2使得遍歷HMM學(xué)習(xí)使用者的動(dòng)作(更具體地，使用者移動(dòng)的移動(dòng) 路徑)作為使用者活動(dòng)模型。隨后，數(shù)據(jù)處理裝置2預(yù)測(cè)在時(shí)間T+N(在從當(dāng)前時(shí)間T逝去 期望時(shí)間之后的時(shí)間)使用者的目的地(位置)。數(shù)據(jù)處理裝置2在顯示器上按照預(yù)測(cè)的 目的地顯示信息。例如，在預(yù)測(cè)的目的地是車站的情形中，數(shù)據(jù)處理裝置2在顯示器上顯示 時(shí)間表。另外，例如，在預(yù)測(cè)的目的地包括使用者頻繁光顧的商店的情形中，數(shù)據(jù)處理裝置 2在顯示器上顯示商店的詳細(xì)信息(開(kāi)放時(shí)間、銷售信息等)。傳感器輸入單元11-1獲得從作為可穿戴式傳感器1的GPS接收器輸出的時(shí)序位置數(shù)據(jù)作為要提供給預(yù)處理單元12-1的傳感器數(shù)據(jù)。預(yù)處理單元12-1在本實(shí)驗(yàn)中不執(zhí)行 預(yù)處理，而是原樣地輸出提供的數(shù)據(jù)。然而，可以使得預(yù)處理單元121執(zhí)行例如低通濾波處 理或者如下這種處理補(bǔ)充在未接收到GPS信號(hào)的隧道中的路線。使用者活動(dòng)模型學(xué)習(xí)單元13-1、使用者活動(dòng)模型參數(shù)存儲(chǔ)單元14-1、以及使用者 活動(dòng)識(shí)別單元15-1所進(jìn)行的處理與第一實(shí)驗(yàn)實(shí)例中的類似，除了處理對(duì)象的傳感器數(shù)據(jù) (時(shí)序數(shù)據(jù))是位置數(shù)據(jù)，將略去其描述。使用者活動(dòng)預(yù)測(cè)單元16-1基于代表當(dāng)前使用者活動(dòng)狀態(tài)的狀態(tài)ID預(yù)測(cè)在期望時(shí) 間逝去之后的時(shí)間T+N的使用者活動(dòng)狀態(tài)。在第二實(shí)驗(yàn)中，使用者活動(dòng)預(yù)測(cè)單元16-1在 當(dāng)前使用者活動(dòng)狀態(tài)被設(shè)置成開(kāi)始點(diǎn)的情況下，計(jì)算通過(guò)使用基于狀態(tài)轉(zhuǎn)換概率的隨 機(jī)數(shù)以實(shí)驗(yàn)方式確定的直到時(shí)間T+N為止的各狀態(tài)Si的出現(xiàn)概率。即，使用者活動(dòng)預(yù)測(cè)單 元16-1在采用基于狀態(tài)轉(zhuǎn)換概率~的隨機(jī)數(shù)按順序確定在未來(lái)的期望時(shí)間T+n(n = 1、 2、…、N)出現(xiàn)的是哪個(gè)狀態(tài)Si的情況下，進(jìn)行至少一次實(shí)驗(yàn)以確定直到時(shí)間Τ+Ν為止的 狀態(tài)Si。于是，作為進(jìn)行至少一次的實(shí)驗(yàn)的結(jié)果，使用者活動(dòng)預(yù)測(cè)單元16-1把在期望時(shí)間 Τ+Ν出現(xiàn)概率(出現(xiàn)次數(shù))最大的狀態(tài)或者出現(xiàn)概率(出現(xiàn)次數(shù))等于或大于預(yù)定閾值的 狀態(tài)預(yù)測(cè)為在時(shí)間Τ+Ν的使用者活動(dòng)狀態(tài)。應(yīng)當(dāng)注意，與第一實(shí)驗(yàn)實(shí)例類似，根據(jù)第二實(shí)驗(yàn)也是同樣的，在假定在各時(shí)間的各 狀態(tài)Si的觀測(cè)概率為相等概率的情況下，也可以通過(guò)如下方法預(yù)測(cè)在時(shí)間Τ+Ν的使用者活 動(dòng)狀態(tài)基于狀態(tài)轉(zhuǎn)換概率計(jì)算直到時(shí)間T+N為止各狀態(tài)Si的出現(xiàn)概率。響應(yīng)處理學(xué)習(xí)單元18-1存儲(chǔ)如下這種學(xué)習(xí)表其中，用于與使用者的當(dāng)前地點(diǎn)對(duì) 應(yīng)的狀態(tài)的狀態(tài)ID與表明要在顯示器上顯示的信息的處理ID相關(guān)聯(lián)。另外，響應(yīng)處理學(xué) 習(xí)單元18-1存儲(chǔ)與處理ID相鏈接的要在顯示器上顯示的信息(使用者提示信息)。響應(yīng)處理選擇單元19-1從學(xué)習(xí)表中選擇(確定)與從使用者活動(dòng)預(yù)測(cè)單元16提 供的狀態(tài)ID對(duì)應(yīng)的處理ID，并獲得要提供給響應(yīng)處理輸出單元20-1的、來(lái)自響應(yīng)處理學(xué)習(xí) 單元18-1的與所選擇處理ID對(duì)應(yīng)的使用者提示信息。響應(yīng)處理輸出單元20-1把從響應(yīng)處理選擇單元19-1提供的使用者提示信息輸出 給作為控制對(duì)象裝置3的顯示器或揚(yáng)聲器。控制對(duì)象裝置3在顯示器上顯示使用者提示信 息或者從揚(yáng)聲器以音頻形式輸出使用者提示信息。圖19和圖20示出了第二實(shí)驗(yàn)中數(shù)據(jù)處理裝置2的識(shí)別結(jié)果和預(yù)測(cè)結(jié)果。在圖19中，圖上示例的細(xì)的實(shí)線、虛線、點(diǎn)鏈狀線、以及雙點(diǎn)鏈狀線代表數(shù)據(jù)處理 裝置2學(xué)習(xí)的使用者的移動(dòng)路線。另外，在圖19中，圖上示例的粗虛線代表學(xué)習(xí)之后新輸入的使用者移動(dòng)路線(的 時(shí)序數(shù)據(jù))，以及星形符號(hào)代表使用者的目前地點(diǎn)。此外，圖19的粗實(shí)線代表使用者活動(dòng)識(shí)別單元15-1的識(shí)別結(jié)果，以及粗的點(diǎn)鏈狀 線代表使用者活動(dòng)預(yù)測(cè)單元16-1的預(yù)測(cè)結(jié)果。另一方面，在圖20中，使用者活動(dòng)模型學(xué)習(xí)單元13-1學(xué)習(xí)的各狀態(tài)Si由虛線橢 圓示例出。根據(jù)圖20，使用者的所有移動(dòng)路線包括在被學(xué)習(xí)的狀態(tài)Si(虛線橢圓)的一個(gè) 狀態(tài)Si中，可以理解，HMM可以準(zhǔn)確地學(xué)習(xí)使用者的移動(dòng)路線。應(yīng)當(dāng)注意，在第二實(shí)驗(yàn)中，把 狀態(tài)的數(shù)量M設(shè)置成100。另外，在圖20中，粗實(shí)曲線代表學(xué)習(xí)之后新輸入的使用者移動(dòng)路線(的時(shí)序數(shù)據(jù))，相比而言，使用者活動(dòng)識(shí)別單元15-1識(shí)別出的各狀態(tài)Si由粗實(shí)橢圓表示。此外，在圖20中，細(xì)實(shí)線代表使用者活動(dòng)預(yù)測(cè)單元16-1預(yù)測(cè)的直到期望時(shí)間T+N 為止使用者移動(dòng)路線(活動(dòng)狀態(tài))的預(yù)測(cè)結(jié)果。圖20中的細(xì)實(shí)橢圓對(duì)應(yīng)于圖19中的粗的點(diǎn)鏈狀線，以及圖20中的粗實(shí)橢圓對(duì)應(yīng) 于圖19中的實(shí)線。另外，圖20中的粗實(shí)曲線對(duì)應(yīng)于圖19中的粗虛線。根據(jù)圖19和圖20，可以理解，選擇適當(dāng)?shù)臓顟B(tài)Si作為使用者活動(dòng)預(yù)測(cè)單元16-1 的預(yù)測(cè)結(jié)果。即，可以理解，進(jìn)行了適當(dāng)?shù)念A(yù)測(cè)。在上述第二實(shí)驗(yàn)中，通過(guò)使用從可穿戴式傳感器1獲得的位置數(shù)據(jù)，準(zhǔn)確地識(shí)別 使用者當(dāng)前狀態(tài)(目前地點(diǎn))，另外，可以預(yù)測(cè)在期望時(shí)間逝去之后未來(lái)的使用者狀態(tài)(目 前地點(diǎn))。另外，按照預(yù)測(cè)結(jié)果，控制外部器件，并且可以向使用者提供信息。如上所述，根據(jù)應(yīng)用了本發(fā)明實(shí)施例的數(shù)據(jù)處理裝置2，準(zhǔn)確地識(shí)別使用者的當(dāng)前 動(dòng)作(狀態(tài))作為使用者活動(dòng)狀態(tài)，另外，可以按出現(xiàn)概率的形式隨機(jī)預(yù)測(cè)在未來(lái)期望時(shí)間 使用者的活動(dòng)(狀態(tài))。隨后，基于預(yù)測(cè)結(jié)果，可以控制外部裝置并向使用者提示信息。至此，在構(gòu)建了按照使用者的動(dòng)作被自動(dòng)控制的電子器件的智能房間的情形中， 在起居室中安裝了按照目的的各種傳感器。根據(jù)本發(fā)明的實(shí)施例，當(dāng)使用者戴上可穿戴式 傳感器1時(shí)，可以識(shí)別、預(yù)測(cè)、以及控制使用者活動(dòng)狀態(tài)，因此可以采用簡(jiǎn)單的配置構(gòu)建智 能房間。上述一系列處理可以通過(guò)硬件執(zhí)行但也可以通過(guò)軟件執(zhí)行。在上述一系列處理通 過(guò)軟件執(zhí)行的情形中，把建構(gòu)軟件的程序安裝到計(jì)算機(jī)中。在本文中，計(jì)算機(jī)包括結(jié)合在 專用硬件中的計(jì)算機(jī)，例如能夠通過(guò)安裝各種程序執(zhí)行各種功能等的通用個(gè)人計(jì)算機(jī)，等。圖21是示出了用于通過(guò)程序執(zhí)行上述一系列處理的計(jì)算機(jī)的硬件配置實(shí)例的方 框圖。在計(jì)算機(jī)中，CPU (中央處理單元)101、R0M(只讀存儲(chǔ)器)102、以及RAM(隨機(jī)訪問(wèn) 存儲(chǔ)器)103通過(guò)總線104相互連接。此外，輸入輸出接口 105連接到總線104。輸入單元106、輸出單元107、存儲(chǔ)單元 108、通信單元109、以及驅(qū)動(dòng)器110連接到輸入輸出接口 105。輸入單元106包括鍵盤、鼠標(biāo)、麥克風(fēng)等。輸出單元107包括顯示器、揚(yáng)聲器等。存 儲(chǔ)單元108包括硬盤、非易失性存儲(chǔ)器等。通信單元109包括網(wǎng)絡(luò)接口等。驅(qū)動(dòng)器110被 配置成驅(qū)動(dòng)可拆除記錄介質(zhì)111，如，磁盤、光盤、磁光盤、或者半導(dǎo)體存儲(chǔ)器。在如上所述配置的計(jì)算機(jī)中，在CPU 101例如經(jīng)由輸入輸出接口 105和總線104 把存儲(chǔ)單元108中存儲(chǔ)的程序加載到RAM 103上以用于執(zhí)行的情況下，進(jìn)行上述一系列處 理。可以在記錄在例如作為封裝媒體等的可拆除記錄介質(zhì)111上的情況下提供計(jì)算 機(jī)(CPU 101)執(zhí)行的程序。另外，可以經(jīng)由有線或無(wú)線傳輸媒體(如，局域網(wǎng)、互聯(lián)網(wǎng)、或者 數(shù)字衛(wèi)星廣播)提供程序。在計(jì)算機(jī)中，通過(guò)把可拆除記錄介質(zhì)111裝配到驅(qū)動(dòng)器110，可以經(jīng)由輸入輸出接 口 105把程序安裝到存儲(chǔ)單元108中。另外，通信單元109可以經(jīng)由有線或無(wú)線傳輸媒體 接收要安裝到存儲(chǔ)單元108中的程序。除了以上內(nèi)容之外，可以在ROM 102或存儲(chǔ)單元108中預(yù)先安裝程序。應(yīng)當(dāng)注意，計(jì)算機(jī)執(zhí)行的程序可以是以本說(shuō)明書(shū)中描述的次序以時(shí)序方式執(zhí)行處理的程序，或者，例如在生成呼叫時(shí)的適當(dāng)時(shí)刻或者并行地執(zhí)行處理的程序。應(yīng)當(dāng)注意，在本說(shuō)明書(shū)中，當(dāng)然可以按敘述的次序以時(shí)序方式執(zhí)行流程圖中描述 的步驟，另外，可以并行地或者在生成呼叫時(shí)的適當(dāng)時(shí)刻等執(zhí)行步驟，而非以時(shí)序方式執(zhí)行處理。應(yīng)當(dāng)注意，在本說(shuō)明書(shū)中，系統(tǒng)代表由多個(gè)裝置建構(gòu)的整個(gè)裝置。本申請(qǐng)包含與2009年8月3日提交日本專利局的日本在先專利申請(qǐng)JP 2009-180780中公開(kāi)的主題相關(guān)的主題，其全部?jī)?nèi)容經(jīng)引用并入本文。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)需要和其它因素，可以做出各種修改、組合、 子組合和變換，只要它們?cè)谒綑?quán)利要求或其等同物的范圍內(nèi)。
權(quán)利要求
一種數(shù)據(jù)處理裝置，包括獲得部件，被配置成從可穿戴式傳感器獲得時(shí)序數(shù)據(jù)；活動(dòng)模型學(xué)習(xí)部件，被配置成根據(jù)獲得的時(shí)序數(shù)據(jù)以隨機(jī)狀態(tài)轉(zhuǎn)換模型的形式學(xué)習(xí)代表使用者活動(dòng)狀態(tài)的活動(dòng)模型；識(shí)別部件，被配置成通過(guò)使用由所述活動(dòng)模型學(xué)習(xí)部件獲得的所述使用者的活動(dòng)模型識(shí)別當(dāng)前使用者活動(dòng)狀態(tài)；以及預(yù)測(cè)部件，被配置成根據(jù)由所述識(shí)別部件識(shí)別出的所述當(dāng)前使用者活動(dòng)狀態(tài)預(yù)測(cè)在從當(dāng)前時(shí)間逝去預(yù)定時(shí)間之后的使用者活動(dòng)狀態(tài)。
2.如權(quán)利要求1所述的數(shù)據(jù)處理裝置，其中，所述預(yù)測(cè)部件以出現(xiàn)概率的形式預(yù)測(cè)所述預(yù)定時(shí)間逝去之后的使用者活動(dòng)狀態(tài)。
3.如權(quán)利要求2所述的數(shù)據(jù)處理裝置，其中，在假定在所述隨機(jī)狀態(tài)轉(zhuǎn)換模型各時(shí)間的各狀態(tài)的觀測(cè)概率為相等概率的情況 下，所述預(yù)測(cè)部件基于所述隨機(jī)狀態(tài)轉(zhuǎn)換模型的狀態(tài)轉(zhuǎn)換概率計(jì)算預(yù)定時(shí)間逝去之后所述 各狀態(tài)的出現(xiàn)概率，以預(yù)測(cè)所述預(yù)定時(shí)間逝去之后的使用者活動(dòng)狀態(tài)。
4.如權(quán)利要求2所述的數(shù)據(jù)處理裝置，其中，所述預(yù)測(cè)部件計(jì)算通過(guò)使用基于所述隨機(jī)狀態(tài)轉(zhuǎn)換模型的狀態(tài)轉(zhuǎn)換概率的隨機(jī) 數(shù)以實(shí)驗(yàn)方式確定的所述隨機(jī)狀態(tài)轉(zhuǎn)換模型直到所述預(yù)定時(shí)間逝去為止各狀態(tài)的出現(xiàn)概 率，以預(yù)測(cè)使用者活動(dòng)狀態(tài)。
5.如權(quán)利要求3所述的數(shù)據(jù)處理裝置，其中，所述預(yù)測(cè)部件預(yù)測(cè)在預(yù)定時(shí)間逝去之后的出現(xiàn)概率最大的活動(dòng)狀態(tài)和在預(yù)定時(shí) 間逝去之后的出現(xiàn)概率等于或大于預(yù)定閾值的活動(dòng)狀態(tài)中的一個(gè)，作為所述預(yù)定時(shí)間逝去 之后的使用者活動(dòng)狀態(tài)。
6.如權(quán)利要求5所述的數(shù)據(jù)處理裝置，其中，所述隨機(jī)狀態(tài)轉(zhuǎn)換模型是加置了稀疏限制的包括隱狀態(tài)的隨機(jī)狀態(tài)轉(zhuǎn)換模型。
7.如權(quán)利要求6所述的數(shù)據(jù)處理裝置，進(jìn)一步包括響應(yīng)處理學(xué)習(xí)部件，被配置成學(xué)習(xí)由所述識(shí)別部件識(shí)別出的所述當(dāng)前使用者活動(dòng)狀態(tài) 對(duì)應(yīng)的控制對(duì)象裝置的處理；以及選擇部件，被配置成基于所述響應(yīng)處理學(xué)習(xí)部件的學(xué)習(xí)結(jié)果選擇由所述預(yù)測(cè)部件預(yù)測(cè) 的所述預(yù)定時(shí)間逝去之后的使用者活動(dòng)狀態(tài)對(duì)應(yīng)的所述控制對(duì)象裝置的處理，以及，進(jìn)行 用于使得所述控制對(duì)象裝置執(zhí)行選擇的處理的控制。
8.如權(quán)利要求7所述的數(shù)據(jù)處理裝置，進(jìn)一步包括 預(yù)處理部件，被配置成對(duì)獲得的時(shí)序數(shù)據(jù)執(zhí)行預(yù)定的預(yù)處理。
9.一種數(shù)據(jù)處理方法，用于被配置成處理時(shí)序數(shù)據(jù)的數(shù)據(jù)處理裝置，所述方法包括如 下步驟從可穿戴式傳感器獲得時(shí)序數(shù)據(jù)；根據(jù)獲得的時(shí)序數(shù)據(jù)以隨機(jī)狀態(tài)轉(zhuǎn)換模型的形式學(xué)習(xí)代表使用者活動(dòng)狀態(tài)的活動(dòng)模型；通過(guò)使用通過(guò)學(xué)習(xí)獲得的所述使用者的活動(dòng)模型識(shí)別當(dāng)前使用者活動(dòng)狀態(tài)；以及根據(jù)識(shí)別出的所述當(dāng)前使用者活動(dòng)狀態(tài)預(yù)測(cè)在從當(dāng)前時(shí)間逝去預(yù)定時(shí)間之后的使用 者活動(dòng)狀態(tài)。
10.一種程序，用于使得計(jì)算機(jī)作為獲得部件，被配置成從可穿戴式傳感器獲得時(shí)序數(shù)據(jù)；活動(dòng)模型學(xué)習(xí)部件，被配置成根據(jù)獲得的時(shí)序數(shù)據(jù)以隨機(jī)狀態(tài)轉(zhuǎn)換模型的形式學(xué)習(xí)代 表使用者活動(dòng)狀態(tài)的活動(dòng)模型；識(shí)別部件，被配置成通過(guò)使用由所述活動(dòng)模型學(xué)習(xí)部件獲得的所述使用者的活動(dòng)模型 識(shí)別當(dāng)前使用者活動(dòng)狀態(tài)；以及預(yù)測(cè)部件，被配置成根據(jù)由所述識(shí)別部件識(shí)別出的所述當(dāng)前使用者活動(dòng)狀態(tài)預(yù)測(cè)在從 當(dāng)前時(shí)間逝去預(yù)定時(shí)間之后的使用者活動(dòng)狀態(tài)。
11.一種數(shù)據(jù)處理裝置，包括獲得單元，被配置成從可穿戴式傳感器獲得時(shí)序數(shù)據(jù)；活動(dòng)模型學(xué)習(xí)單元，被配置成根據(jù)獲得的時(shí)序數(shù)據(jù)以隨機(jī)狀態(tài)轉(zhuǎn)換模型的形式學(xué)習(xí)代 表使用者活動(dòng)狀態(tài)的活動(dòng)模型；識(shí)別單元，被配置成通過(guò)使用由活動(dòng)模型學(xué)習(xí)單元獲得的使用者的活動(dòng)模型識(shí)別當(dāng)前 使用者活動(dòng)狀態(tài)；以及預(yù)測(cè)單元，被配置成根據(jù)由識(shí)別單元識(shí)別出的當(dāng)前使用者活動(dòng)狀態(tài)預(yù)測(cè)在從當(dāng)前時(shí)間 逝去預(yù)定時(shí)間之后的使用者活動(dòng)狀態(tài)。
全文摘要
本發(fā)明涉及一種數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及程序，該數(shù)據(jù)處理裝置包括獲得單元，被配置成從可穿戴式傳感器獲得時(shí)序數(shù)據(jù)；活動(dòng)模型學(xué)習(xí)單元，被配置成根據(jù)獲得的時(shí)序數(shù)據(jù)以隨機(jī)狀態(tài)轉(zhuǎn)換模型的形式學(xué)習(xí)代表使用者活動(dòng)狀態(tài)的活動(dòng)模型；識(shí)別單元，被配置成通過(guò)使用由活動(dòng)模型學(xué)習(xí)單元獲得的使用者的活動(dòng)模型識(shí)別當(dāng)前使用者活動(dòng)狀態(tài)；以及預(yù)測(cè)單元，被配置成根據(jù)由識(shí)別單元識(shí)別出的當(dāng)前使用者活動(dòng)狀態(tài)預(yù)測(cè)在從當(dāng)前時(shí)間逝去預(yù)定時(shí)間之后的使用者活動(dòng)狀態(tài)。
文檔編號(hào)G06F3/01GK101989127SQ20101024474
公開(kāi)日2011年3月23日 申請(qǐng)日期2010年7月27日 優(yōu)先權(quán)日2009年8月3日
發(fā)明者伊藤真人, 佐部浩太郎, 橫野順, 蓮尾高志, 鈴木洋貴, 青山一美 申請(qǐng)人:索尼公司