專利名稱：識別裝置、識別方法、識別程序以及記錄了識別程序的記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用文本、圖像及語音等提示用于輔助用戶操作的指導(dǎo)的識別裝置、識別 方法、識別程序以及記錄了識別程序的計算機可讀取的記錄介質(zhì)。
背景技術(shù)：
以往，為了支援用戶對設(shè)備進行輸入操作，提出了按照熟練程度改變顯示內(nèi)容的顯示 裝置(例如，參照日本專利公開公報特開2000-066789號公報)。在此顯示裝置中，利用 用戶使用履歷信息(設(shè)備啟動次數(shù)、數(shù)據(jù)顯示次數(shù)值，鍵盤輸入操作時間、設(shè)備使用后的 存儲量等)來推定顯示內(nèi)容的無用程度。而且，還有一種操作支援系統(tǒng)已為公知，該操作支援系統(tǒng)可以識別用戶的現(xiàn)狀，并且 識別用戶的發(fā)聲，將用戶進行的對引導(dǎo)信息的有關(guān)發(fā)聲和在此以前的系統(tǒng)發(fā)聲或用戶發(fā)聲 關(guān)聯(lián)起來進行識別，根據(jù)其識別結(jié)果，從數(shù)據(jù)庫中檢索支援用戶進行的操作所必要的信息， 對檢索到的必要的信息進行引導(dǎo)(例如，參照日本專利公開公報特開平10-143187號公報)。并且，還研究一種在用戶選擇對象的情況下，對每個對象的興趣的變化進行定量地圖 像測量的手法(例如參照若井佑介、鷲見和彥、松山隆司，"使用圖像的人的選擇行為 的興趣程度推定")。此技術(shù)利用如果對某對象的興趣提高，則接近并凝視該對象這樣的 性質(zhì)，并從用設(shè)置在對象物一側(cè)的照相機測量出的用戶像中抽出身體、臉部、視線，通過 識別其變化，抽出興趣程度的變化。然而，由于上述以往的顯示裝置是以用戶對設(shè)備直接進行輸入操作為前提，所以，存 在一種在不對設(shè)備進行直接操作，而是進行間接操作的情況下難以適應(yīng)的問題。而且，在上述以往的操作支援系統(tǒng)中，是以個別地取得各自的操作信息而逐次與理想 值進行比較為前提，只對數(shù)據(jù)庫可以保有的指定的操作有效。而且，還存在用戶感到困惑 時所提示的指導(dǎo)是否恰當依然不明的問題。并且，在上述以往的研究中，是以多個對象為前提，而不能適應(yīng)單一的操作對象。而 且，由于為了使用用照相機測量出的臉部的大小，只能適用照相機和用戶的距離為恒定的操作，因而存在通用性不良的問題。發(fā)明內(nèi)容本發(fā)明是為了解決上述的問題，其目的在于提供可以對操作中的用戶提示適當?shù)闹笇?dǎo) 的識別裝置、識別方法、識別程序以及記錄了識別程序的計算機可以讀取的記錄介質(zhì)。本發(fā)明所提供的識別裝置包括存儲用于給正在進行操作的用戶操作支援的指導(dǎo)數(shù)據(jù) 的指導(dǎo)數(shù)據(jù)存儲部、從上述指導(dǎo)數(shù)據(jù)存儲部選擇對于上述操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇部、 將由上述指導(dǎo)選擇部選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶的指導(dǎo)提示部、識別用戶對由上述指 導(dǎo)提示部提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別部、基于由上述用戶狀態(tài)識別部識別 出的用戶的反應(yīng)，推定表示用戶對由上述指導(dǎo)提示部所提示的上述指導(dǎo)數(shù)據(jù)有多少依賴的 依賴度的用戶依賴度推定部，其中，上述指導(dǎo)選擇部從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)由上 述用戶依賴度推定部推定出的上述依賴度的指導(dǎo)數(shù)據(jù)。本發(fā)明還提供一種識別方法，包括從存儲用于給正在進行操作的用戶操作支援的指 導(dǎo)數(shù)據(jù)的指導(dǎo)數(shù)據(jù)存儲部選擇對于上述操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇步驟、將在上述指導(dǎo)選 擇步驟中選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶的指導(dǎo)提示步驟、識別用戶對在上述指導(dǎo)提示步 驟中提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別步驟、基于在上述用戶狀態(tài)識別步驟中識 別出的用戶的反應(yīng)，推定表示用戶對在上述指導(dǎo)提示步驟中提示的上述指導(dǎo)數(shù)據(jù)有多少依 賴的依賴度的用戶依賴度推定步驟，其中，在上述指導(dǎo)選擇步驟中，從上述指導(dǎo)數(shù)據(jù)存儲 部選擇適應(yīng)在上述用戶依賴度推定步驟中推定出的上述依賴度的指導(dǎo)數(shù)據(jù)。本發(fā)明還提供一種識別程序，使計算機作為以下各部而發(fā)揮其功能存儲用于給正在 進行操作的用戶操作支援的指導(dǎo)數(shù)據(jù)的指導(dǎo)數(shù)據(jù)存儲部、從上述指導(dǎo)數(shù)據(jù)存儲部選擇對于 上述操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇部、將由上述指導(dǎo)選擇部選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶 的指導(dǎo)提示部、識別用戶對由上述指導(dǎo)提示部提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別 部、基于由上述用戶狀態(tài)識別部識別出的用戶的反應(yīng)，推定表示用戶對由上述指導(dǎo)提示部 所提示的上述指導(dǎo)數(shù)據(jù)有多少依賴的依賴度的用戶依賴度推定部，其中，上述指導(dǎo)選擇部 從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)由上述用戶依賴度推定部推定出的上述依賴度的指導(dǎo)數(shù) 據(jù)。本發(fā)明還提供一種記錄介質(zhì)，記錄了識別程序，可以由計算機讀取，該識別程序使計 算機作為以下各部而發(fā)揮其功能存儲用于給正在進行操作的用戶操作支援的指導(dǎo)數(shù)據(jù)的 指導(dǎo)數(shù)據(jù)存儲部、從上述指導(dǎo)數(shù)據(jù)存儲部選擇對于上述操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇部、將由上述指導(dǎo)選擇部選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶的指導(dǎo)提示部、識別用戶對由上述指導(dǎo) 提示部提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別部、基于由上述用戶狀態(tài)識別部識別出 的用戶的反應(yīng)，推定表示用戶對由上述指導(dǎo)提示部所提示的上述指導(dǎo)數(shù)據(jù)有多少依賴的依 賴度的用戶依賴度推定部，其中，上述指導(dǎo)選擇部從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)由上述 用戶依賴度推定部推定出的上述依賴度的指導(dǎo)數(shù)據(jù)。根據(jù)上述的發(fā)明，由于表示用戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)有多少依賴的依賴度被推定， 適應(yīng)被推定出的依賴度的指導(dǎo)數(shù)據(jù)從指導(dǎo)數(shù)據(jù)存儲部中予以選擇，所以，可以對操作中的 用戶提示適當?shù)闹笇?dǎo)。


圖l是表示本發(fā)明的實施例的操作支援裝置的結(jié)構(gòu)的方框圖。圖2是用于說明本發(fā)明的實施例的操作支援裝置的各構(gòu)成要素的配置的圖。圖3是用于說明本發(fā)明的實施例的用戶依賴度推定部的動作的圖。圖4是中途改變指導(dǎo)數(shù)據(jù)的內(nèi)容時用戶的臉部的活動及視線的活動的變化的示意圖。圖5是用于說明圖1所示的操作支援裝置的動作的流程圖。圖6是指導(dǎo)畫面的一個例子的示意圖。圖7是用于說明圖5的步驟S5的用戶狀態(tài)識別處理的流程圖。圖8是對20名試驗者一邊提示指導(dǎo)數(shù)據(jù)一邊虛擬地進行烹調(diào)操作，識別出用戶的臉部的 活動及視線的活動的實驗結(jié)果的示意圖。圖9是對8名試驗者一邊提示指導(dǎo)數(shù)據(jù)一邊實際地進行烹調(diào)操作，識別出用戶的臉部的 活動及視線的活動的實驗結(jié)果的示意圖。圖10是用于說明圖5的步驟S8的用戶依賴度推定處理的流程圖。圖11是用于說明圖5的步驟S3的指導(dǎo)數(shù)據(jù)選擇處理的流程圖。
具體實施方式
以下，參照附圖對本發(fā)明的實施例進行說明。并且，以下的實施例是將本發(fā)明進行了 具體化的一個例子，不具有限定本發(fā)明的技術(shù)范圍的性質(zhì)。圖l是表示本實施例的操作支援裝置的結(jié)構(gòu)的方框圖。圖l所示的操作支援裝置(識別 裝置)IO包括控制部ll、輸入部12、顯示器13、揚聲器14、照相機15及記錄介質(zhì)驅(qū)動部 16。另外，在本實施例中，主要對進行烹調(diào)操作的用戶的操作支援進行說明，但是，本發(fā)明并不特別限定于此，例如，也可以適用于對進行汽車駕駛操作的用戶的操作支援?？刂撇?1包括例如CPU (中央運算處理裝置)、RAM (隨機存取存儲器)以及R0M (只 讀存儲器)等。輸入部12用于用戶輸入各種數(shù)據(jù)及操作指令等。顯示器13顯示可以提供指 導(dǎo)的多個菜單。而且，顯示器13還顯示向用戶提供的指導(dǎo)數(shù)據(jù)。揚聲器14語音輸出向用戶 提供的指導(dǎo)數(shù)據(jù)。另外，在本實施例中，個別設(shè)置了輸入部12及顯示器13，但是，本發(fā)明 并不特別限定于此，也可以用觸摸屏等構(gòu)成輸入部12及顯示器13。照相機15被設(shè)置在從用戶的臉部正視操作對象的方向起具有指定角度的位置上，用于 拍攝用戶。即，照相機15例如由CCD位置傳感器構(gòu)成，用指定的幀頻(Frame Rate)取得 包含有人的臉部的圖像。另外，顯示器13及揚聲器14配置在與照相機15相同的方向。記錄介質(zhì)驅(qū)動部16，包括例如DVD-ROM驅(qū)動器、CD-ROM驅(qū)動器或軟盤驅(qū)動器等。另外， 可以將操作支援程序(識別程序)記錄在DVD-ROM、 CD-ROM或軟盤等計算機可以讀取的記 錄介質(zhì)17中，通過記錄介質(zhì)驅(qū)動部16從記錄介質(zhì)17讀出操作支援程序而安裝到外部存儲裝 置(圖未示)來執(zhí)行。而且，操作支援裝置10還包括通信設(shè)備等，在操作支援程序存儲在 介于通訊網(wǎng)絡(luò)連接的其它的計算機中的情況下，也可以通過網(wǎng)絡(luò)從該計算機下載操作支援 程序來執(zhí)行。在此，對控制部ll的具體結(jié)構(gòu)進行說明?？刂撇縧l包括菜單數(shù)據(jù)庫l、菜單選擇受 理部2、指導(dǎo)數(shù)據(jù)庫3、指導(dǎo)選擇部4、指導(dǎo)提示部5、用戶狀態(tài)識別部6、累計值存儲部7及 用戶依賴度推定部8。菜單數(shù)據(jù)庫l存儲可以對用戶進行指導(dǎo)的多個菜單。在烹調(diào)操作的情況下，菜單表示 操作內(nèi)容，更具體地表示菜名。菜單選擇受理部2受理用戶從多個菜單中對期望指導(dǎo)的菜 單的選擇。即，菜單選擇受理部2，使存儲在菜單數(shù)據(jù)庫1中的多個菜單顯示在顯示器13上， 通過輸入部12受理從多個菜單中對1個菜單的選擇。指導(dǎo)數(shù)據(jù)庫3存儲用于對進行操作的用戶操作支援的有效的指導(dǎo)數(shù)據(jù)，作為視覺指導(dǎo) 或聽覺指導(dǎo)，存儲包含動畫、語音、靜止畫面或文字的內(nèi)容。而且，指導(dǎo)數(shù)據(jù)被賦予屬性， 在本實施例中可以是有關(guān)對操作的熟練程度(技能水平)的分類。即，即使是同一個菜單 的指導(dǎo)，也根據(jù)技能水平存儲有多個指導(dǎo)數(shù)據(jù)。另外，在本實施例中，指導(dǎo)數(shù)據(jù)庫3存儲用于支援用戶的烹調(diào)操作的指導(dǎo)數(shù)據(jù)，但是， 本發(fā)明并不特別限定于此，在支援汽車駕駛操作的情況下，指導(dǎo)數(shù)據(jù)庫3存儲用于支援用 戶的汽車駕駛操作的指導(dǎo)數(shù)據(jù)。指導(dǎo)選擇部4從指導(dǎo)數(shù)據(jù)庫3選擇對于操作的指導(dǎo)數(shù)據(jù)。指導(dǎo)選擇部4從指導(dǎo)數(shù)據(jù)庫3選擇適應(yīng)由菜單選擇受理部2受理的菜單的指導(dǎo)數(shù)據(jù)。另外，關(guān)于指導(dǎo)選擇部4的指導(dǎo)數(shù)據(jù)的 選擇的基準將在后面進行敘述。指導(dǎo)提示部5將由指導(dǎo)選擇部4選擇出的指導(dǎo)數(shù)據(jù)提示給用戶。另外，指導(dǎo)數(shù)據(jù)的提示 方法雖然起因于用戶對指導(dǎo)的依賴度，但卻分別使用顯示器13及揚聲器14等。用戶狀態(tài)識別部6識別用戶對由指導(dǎo)提示部5提示的指導(dǎo)數(shù)據(jù)的反應(yīng)。即，用戶狀態(tài)識 別部6識別用戶對由指導(dǎo)提示部5提示的指導(dǎo)數(shù)據(jù)的身體反應(yīng)的時間變化。為了識別用戶的狀態(tài)，在本實施例中使用照相機15。即，用戶狀態(tài)識別部6基于由照 相機15拍攝到的圖像識別用戶的臉部的活動，并累計用戶的臉部從正視操作對象的狀態(tài)轉(zhuǎn) 向顯示器13的傾斜指定角度的時間。具體而言，用戶狀態(tài)識別部6基于由照相機15拍攝到的圖像識別用戶的臉部的活動， 累計用戶的臉部正視顯示器13的第一時間，并累計用戶的臉部以比用戶的臉部正視操作對 象的方向和用戶的臉部正視顯示器13的方向所成的角度小的角度，從正視操作對象的狀態(tài) 轉(zhuǎn)向顯示器13的傾斜的第二時間。而且，用戶狀態(tài)識別部6還基于由照相機15拍攝到的圖 像識別用戶的視線的活動，累計用戶的視線與顯示器13—致的時間不足指定時間的次數(shù)。另外，在本實施例中，不僅僅是識別用戶的視線與顯示器13是否完全一致，還可以識 別用戶的視線與顯示器13是否基本上一致，也可以累計用戶的視線與顯示器13基本上一致 的時間不足指定時間的次數(shù)。累計值存儲部7例如由EEPR0M等電可擦寫的非揮發(fā)性的存儲器構(gòu)成，存儲用戶的臉部 正視顯示器13的第一時間的累計值、用戶的臉部以比用戶的臉部正視操作對象的方向和用 戶的臉部正視顯示器13的方向所成的角度小的角度，從正視操作對象的狀態(tài)轉(zhuǎn)向顯示器13 的傾斜的第二時間的累計值、以及用戶的視線與顯示器13—致的時間不足指定時間的次數(shù) 的累計值。用戶依賴度推定部8基于由用戶狀態(tài)識別部6識別出的用戶的反應(yīng)，推定用戶對指導(dǎo)數(shù) 據(jù)的依賴度。B卩，用戶依賴度推定部8基于由用戶狀態(tài)識別部6累計的時間及次數(shù)，推定用 戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度是提高還是降低。另外，依賴度表示用戶使用本操作支 援裝置有多少。具體而言，用戶依賴度推定部8，若在此次指定期間內(nèi)累計的第一時間較在上次指定 期間內(nèi)累計的第一時間增加，則推定用戶的依賴度增加。而且，用戶依賴度推定部8，若 在此次指定期間內(nèi)累計的第一時間較在上次指定期間內(nèi)累計的第一時間減少，并且在此次 指定期間內(nèi)累計的第二時間較在上次指定期間內(nèi)累計的第二時間增加，則推定用戶的依賴度降低到第一階段。并且，用戶依賴度推定部8，若在此次指定期間內(nèi)累計的第一時間較在上次指定期間 內(nèi)累計的第一時間減少，并在此次指定期間內(nèi)累計的第二時間較在上次指定期間內(nèi)累計的第二時間增加，且在此次指定期間內(nèi)累計的次數(shù)較在上次指定期間內(nèi)累計的次數(shù)增加，則 推定用戶的依賴度降低到較第一階段低的第二階段。并且，用戶依賴度推定部8，若在上次指定期間內(nèi)累計的次數(shù)較在上上次的指定期間 內(nèi)累計的次數(shù)增加，并且在此次指定期間內(nèi)累計的次數(shù)較在上次指定期間內(nèi)累計的次數(shù)減 少，則推定用戶的依賴度降低到較第二階段低的第三階段。而且，指導(dǎo)選擇部4從指導(dǎo)數(shù)據(jù)庫3選擇適應(yīng)由用戶依賴度推定部8推定出的依賴度的 指導(dǎo)數(shù)據(jù)。例如，指導(dǎo)選擇部4使技能水平的高低與依賴度的高低對應(yīng)起來，來選擇指導(dǎo) 數(shù)據(jù)。即，在推定出對提示的指導(dǎo)數(shù)據(jù)的依賴度較高的情況下， 一般認為用戶的操作的技 能較低。因此，在推定出依賴度較高時，認為技能水平較現(xiàn)在提供的指導(dǎo)數(shù)據(jù)低的指導(dǎo)數(shù) 據(jù)或現(xiàn)在提供的指導(dǎo)數(shù)據(jù)較為適當。反之，在推定出依賴度較低的情況下， 一般認為用戶 的技能較高。因此，在推定出依賴度較低時，認為技能水平較現(xiàn)在提供的指導(dǎo)數(shù)據(jù)高的指 導(dǎo)數(shù)據(jù)較為適當。具體而言，指導(dǎo)數(shù)據(jù)庫3存儲適應(yīng)由用戶依賴度推定部8推定出的第一階段、第二階段 及第三階段的各階段的指導(dǎo)數(shù)據(jù)。指導(dǎo)選擇部4，在由用戶依賴度推定部8推定出用戶的依 賴度降低至第一階段時，從指導(dǎo)數(shù)據(jù)庫3選擇適應(yīng)第一階段的指導(dǎo)數(shù)據(jù)。而且，指導(dǎo)選擇 部4，在由用戶依賴度推定部8推定出用戶的依賴度降低至第二階段時，從指導(dǎo)數(shù)據(jù)庫3選 擇適應(yīng)第二階段的指導(dǎo)數(shù)據(jù)。而且，指導(dǎo)選擇部4，在由用戶依賴度推定部8推定出用戶的 依賴度降低至第三階段時，從指導(dǎo)數(shù)據(jù)庫3選擇適應(yīng)第三階段的指導(dǎo)數(shù)據(jù)。其次，用圖2對本實施例的操作支援裝置10的各構(gòu)成要素的配置進行說明。圖2是用于 說明本實施例的操作支援裝置的各構(gòu)成要素的配置的圖。在實施例中，用戶21面對著操作對象20進行操作。作為操作假設(shè)為烹調(diào)操作。在操 作對象20的旁邊并排設(shè)置顯示器13。而且，在本實施例中，顯示器13配置在用戶21的臉部 正視操作對象20的方向22和用戶21的臉部正視顯示器13的方向23所成的角度為30度的位 置上。并且，照相機15鄰接顯示器13的上部而設(shè)置。在此結(jié)構(gòu)中，用戶21在進行通常操作時，將頭部及視線面向操作對象20的方向繼續(xù)操 作。然后，在指定的時間由顯示器13提示包含應(yīng)支援烹調(diào)操作的菜譜信息及烹調(diào)設(shè)備的信 息在內(nèi)的指導(dǎo)數(shù)據(jù)。其指導(dǎo)數(shù)據(jù)，雖然動畫及文字信息是基本數(shù)據(jù)，但為了引起用戶的注意，也可以包含例如用語音朗讀文字信息的語音信息。其結(jié)果，用戶21即使是在操作中也 會觀看顯示器13的方向。用戶觀看顯示器13的時間包含提示指導(dǎo)數(shù)據(jù)的時間。照相機15連 續(xù)拍攝用戶21的頭部及視線的活動。其次，用圖3對推定用戶的依賴度的用戶依賴度推定部8的動作進行說明。圖3是用于 說明用戶依賴度推定部8的動作的圖。圖3的棒形圖的左縱軸表示將用戶的臉部(頭部)的 動作分為30度和15度以下兩種類而對各角度的指導(dǎo)提示時的時間進行了累計的累計值。右 縱軸表示同樣將指導(dǎo)提示時的視線的活動分為l. 2秒以上且為1. 5秒以下和不足L 2秒兩種 類而對各時間的次數(shù)進行了累計的累計值。橫軸表示進行烹調(diào)操作的次數(shù)，在本實施例中， 表示同一個用戶實施了三次同一烹調(diào)操作的結(jié)果。另外，在各烹調(diào)操作中描繪有兩個棒形 圖，左面的棒形圖表示臉部的活動，右面的棒形圖表示視線的活動。下面對圖3進行詳細地說明。首先，用戶狀態(tài)識別部6以照相機15拍攝到的臉部的朝向 判斷頭部的動作。照相機15從用戶21的斜前方進行拍攝。在用戶21面向操作對象20時，用 戶狀態(tài)識別部6基于照相機15自身的與操作對象20的相對位置可以特別指定用戶21面向哪 個方向。而且，用戶21是否面向顯示器13的方向，也因照相機15自身設(shè)置在顯示器13的上 方而可以判斷。并且，還開發(fā)出了多種根據(jù)拍攝到的圖像來推定人的臉部朝向的方法，便 于角度e是否為15度以下的程度的判斷，也能夠進行實時處理。另外，在本實驗中，在臉部的活動的角度e大于15度且在30度以下時，判斷為用戶觀 看著顯示器13的畫面的狀況。另一方面，視線的活動和臉部的活動同時被拍攝。即，用于臉部的活動識別的圖像數(shù) 據(jù)也可以用于視線的活動識別。關(guān)于視線的活動最近也開發(fā)出了多種方法和裝置，便于按 1/10秒程度的測量。另外，在此，視線的狀態(tài)可以分為關(guān)注對象摸索狀態(tài)和詳細信息取得 狀態(tài)。前者以人看到某對象，其視線基本上在一定的區(qū)域停留1.2秒以上且為1.5秒以下為 特征。反之，后者即使是視線停留在一定區(qū)域，如果其時間較1.2秒短，也不能確認是否 產(chǎn)生了較強的興趣。因此，在本實驗中也分為以不足1.2秒的時間觀看顯示器13的情況和 以1.2秒以上且為1.5秒以下的時間觀看顯示器13的情況，分別累計各自的次數(shù)。另外，在本實施例中，雖然分為用戶注視顯示器13的時間不足1.2秒的情況和在1.2秒 以上且為l. 5秒以下的情況這兩種，但最終僅基于前者的不足l. 2秒的視線的活動時間進行 依賴度評價。使用此1.2秒的值，不是以往技術(shù)的"興趣的有無"，而只是因為想利用"為 了確認只觀察點滴時間"的時間段。艮卩，該值不是限定的值，由于該值也依賴于作為應(yīng)用軟件的指導(dǎo)畫面的內(nèi)容的量或質(zhì)量，所以，多少前后有點變化。另外，即使不使用1.2秒而是使用1.5秒也可以獲得相同的 效果。這也是因為在1.2秒和1.5秒變化較小而可以這樣推定。實際上，雖然試行了在不足 l.O秒的變化，但卻獲得相同的傾向。艮P，通過指導(dǎo)畫面也可以使用較1.2秒小的值或較1.5 秒大的值，并獲得與使用1.2秒時完全相同的效果。使用臉部(頭部)的活作和視線的活動，可以推定用戶21對指導(dǎo)數(shù)據(jù)的依賴度。在圖 3中，表示三次烹調(diào)操作的結(jié)果，但全部使用同一菜譜信息所對應(yīng)的同一指導(dǎo)數(shù)據(jù)。而且， 烹調(diào)操作由多個烹調(diào)工序構(gòu)成。為此，指導(dǎo)數(shù)據(jù)庫3存儲了適應(yīng)多個烹調(diào)工序的指導(dǎo)數(shù)據(jù)。 更新指導(dǎo)數(shù)據(jù)的時間，是在各烹調(diào)工序的操作結(jié)束后、開始下一個烹調(diào)工序的操作之前， 將下一個烹調(diào)工序的操作內(nèi)容的動畫信息及文字信息作為指導(dǎo)數(shù)據(jù)進行提示。同時，以讓 專心操作的用戶21識別指導(dǎo)數(shù)據(jù)已被更新為目的，在指導(dǎo)數(shù)據(jù)更新時將其文字信息的一部 分用合成語音進行再生。另外，在此，用戶21具有烹調(diào)經(jīng)驗，但是，對于本菜譜則是初學(xué) 者。第一次烹調(diào)操作，參考顯示在顯示器13上的指導(dǎo)信息來完成。特別是臉部的活動較為 明顯，角度e為30度，g卩，注視顯示器13并活用指導(dǎo)數(shù)據(jù)的情況被定量化。雖然也有角度 0為15度以下的動作，但這大多數(shù)是表示盡管指導(dǎo)數(shù)據(jù)沒有被更新還是期待指導(dǎo)數(shù)據(jù)而再 一次觀看顯示器13，注意著顯示器13。另一方面，視線的活動，由于注視顯示在顯示器13 上的指導(dǎo)數(shù)據(jù)的時間為l. 5秒以上，因此在棒形圖上表示為零。然后，在第二次烹調(diào)操作中，由于用戶21學(xué)會了菜譜，所以，正視顯示器13的頻率迅 速減少，取代的是角度e為15度以下的表示對指導(dǎo)數(shù)據(jù)的期待的動作增加。另一方面，視 線的活動也如同訪問指導(dǎo)數(shù)據(jù)的更新那樣，注視顯示在顯示器13上的指導(dǎo)數(shù)據(jù)的時間為 1. 2秒以上且為L 5秒以下的次數(shù)出現(xiàn)。這樣，在第二次烹調(diào)操作中，臉部的活動在15度以下，而視線的活動也在1.2秒以上 且為1.5秒以下的頻率增加，可以說是對指導(dǎo)數(shù)據(jù)的依賴度減少。即使在后面的用戶21的 聽力結(jié)果中，也是在第一次烹調(diào)操作中不僅僅是指導(dǎo)數(shù)據(jù)的動畫，還活用包含文字信息和 除合成語音部分之外的全部，而在第二次烹調(diào)操作中，雖然只讀取被合成語音的文字信息 部分，但確認指導(dǎo)數(shù)據(jù)的內(nèi)容是否被更新也比較多。在第三次烹調(diào)操作中，臉部的活動幾乎沒有，反之注視指導(dǎo)數(shù)據(jù)的時間不足1.2秒的 次數(shù)迅速增加?？梢哉f這是臉部不動只是視線朝向顯示器13的用戶21的狀態(tài)被定量化的結(jié) 果。因為在以后的用戶21的聽力結(jié)果中也有合成語音出來，因為關(guān)心指導(dǎo)數(shù)據(jù)的內(nèi)容是否 與上次相同，所以，可以得到有時看到顯示器13的這樣的回答。這樣，在第三次烹調(diào)操作中，雖然對指導(dǎo)數(shù)據(jù)的期待還在持續(xù)，但是，可以判斷為在實質(zhì)上沒有依賴指導(dǎo)數(shù)據(jù)。另外，在多次提示相同的指導(dǎo)數(shù)據(jù)時，如圖3的點劃線所示，注視指導(dǎo)數(shù)據(jù)的時間不 足l. 2秒的次數(shù)和為1. 2秒以上且為1. 5秒以下的次數(shù)的總和，被推定為每增加一次操作次 數(shù)便增加，之后減少。這是因為用戶學(xué)習(xí)指導(dǎo)數(shù)據(jù)的內(nèi)容與上次相同，對指導(dǎo)數(shù)據(jù)的依賴 度減小。其次，用圖4對變更指導(dǎo)數(shù)據(jù)的提示內(nèi)容而引起的依賴度的變化進行說明。圖4是在中 途改變指導(dǎo)數(shù)據(jù)的內(nèi)容時用戶的臉部的活動及視線的活動的變化的示意圖。在此，以通過 為適應(yīng)依賴度的降低更新指導(dǎo)數(shù)據(jù)的內(nèi)容，使用戶21對指導(dǎo)數(shù)據(jù)的依賴度提高為目的。艮卩， 在本實施例中，不只是推定依賴度，還從實用化的角度，以使降低的依賴度提高而繼續(xù)地 活用指導(dǎo)數(shù)據(jù)為目標。在圖4中，根據(jù)第二次的烹調(diào)操作結(jié)果，不用與第二次相同的指導(dǎo)數(shù)據(jù)的內(nèi)容實施第 三次的烹調(diào)操作，而是更新指導(dǎo)數(shù)據(jù)的內(nèi)容實施了第三次的烹調(diào)操作。更新的內(nèi)容在每個 烹調(diào)工序都不同，但是，使動畫信息及文字信息相關(guān)的技能水平提高。另外，顯示的文字 信息中，為了提醒用戶21注意指導(dǎo)數(shù)據(jù)的提示時間的目的而進行合成語音化的文字信息不 變。在圖4中，用棒形圖表示在第三次烹調(diào)操作中更新了指導(dǎo)數(shù)據(jù)的內(nèi)容時的從第一次到 第五次的烹調(diào)操作中的臉部的活動及視線的活動。指導(dǎo)數(shù)據(jù)的內(nèi)容被重新更新的結(jié)果表 示，用戶21對指導(dǎo)數(shù)據(jù)的依賴度在第三次烹調(diào)操作中大幅度降低的狀態(tài)被改善，對指導(dǎo)數(shù) 據(jù)的依賴度被延長到第五次。另外，在本實施例中，用戶21與操作對象20面對面，但并不僅限于烹調(diào)，在現(xiàn)實的操 作中，用戶21經(jīng)常移動。此時，用戶21的臉部正視操作對象的方向和用戶21的臉部正面朝 向的方向所成的角度e并不限于固定在30度。然而，通過與上述相同的方法可以進行依賴度的推定，角度e也可以改變。為此，有必要使設(shè)置在顯示器13上的照相機15的方向也追隨用戶21?；蛘?，使用廣角 攝像透鏡，不管用戶21如何動作都能夠進行拍攝。而且，指導(dǎo)數(shù)據(jù)庫3存儲的指導(dǎo)數(shù)據(jù)的屬性不僅僅是技能水平，還包含烹調(diào)所需要的 總時間或健康食品材料使用率等。并且，適應(yīng)用戶21的屬性(年齡)的動畫的顯示速度、 文字的大小或文章的表現(xiàn)等也可以作為指導(dǎo)數(shù)據(jù)的屬性。例如，指導(dǎo)數(shù)據(jù)庫3作為面向老 年人或孩子的指導(dǎo)數(shù)據(jù)，存儲使動畫的顯示速度減慢、或文字的大小增大、或文章的表現(xiàn) 通俗的指導(dǎo)數(shù)據(jù)。指導(dǎo)數(shù)據(jù)庫3存儲適應(yīng)操作的種類及屬性的指導(dǎo)數(shù)據(jù)。在此，烹調(diào)操作的種類包含有 菜單(菜譜)、日餐、西餐、早餐、午餐、晚餐、減肥餐、營養(yǎng)管理餐及甜品等。駕駛操 作的種類包含有路徑顯示、行車距離顯示、堵塞信息顯示、景色優(yōu)美場所的顯示、加油站 顯示及餐館顯示等。并且，烹調(diào)操作的屬性包含技能水平(熟練程度)、緊急度、口味喜 好(甜/辣)及營養(yǎng)均衡等。駕駛操作的屬性包含技能水平(熟練程度)、近路、安全度、 節(jié)能度、景觀及便利度等。另外，在本實施例中，用戶依賴度推定部8可以只使用臉部的活動來判斷依賴度。具 體而言，用戶依賴度推定部8，在用戶的臉部從正視操作對象的狀態(tài)轉(zhuǎn)向顯示器13的傾斜的時間的累計值減少時，即，在角度e為30度的時間及角度e為i5度以下的時間的累計值減少時，判斷對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度降低。在本實施例中，用戶依賴度推定部8可以只使用視線的活動來判斷依賴度。具體而言， 用戶依賴度推定部8，在用戶的視線與顯示器13—致的時間不足指定時間的次數(shù)的累計值 增加時，即，用戶的視線與顯示器13—致的時間不足1.2秒以及為1.2秒以上且為1.5秒以 下的次數(shù)增加時，判斷對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度降低。在本實施例中，用戶依賴度推定部8可以使用臉部的活動和視線的活動這兩個方面來 判斷依賴度。具體而言，用戶依賴度推定部8，在用戶的臉部從正視操作對象的狀態(tài)轉(zhuǎn)向 顯示器13的傾斜的時間的累計值減少、且用戶的視線與顯示器13—致的時間不足指定時間 的次數(shù)的累計值增加時，判斷對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度降低。另外，只用臉部的活動判斷依賴度、只用視線的活動判斷依賴度、以及用臉部的活動 和視線的活動這兩方面來判斷依賴度時的任何一種情況都可以得到相同的效果。用戶狀態(tài)識別部6，可以分析由照相機15取得的拍攝圖像，識別用戶點頭、用戶搖頭 或用戶無表情，在識別出這些用戶的狀態(tài)時，用戶依賴度推定部8可以判斷用戶不依賴指 導(dǎo)數(shù)據(jù)，依賴度降低?；蛘?，用戶狀態(tài)識別部6可以分析由沒有圖示的麥克風取得的語音 信息，識別用戶的否定的發(fā)言，在用戶的否定的發(fā)言被識別時，用戶依賴度推定部8可以 判斷用戶不依賴指導(dǎo)數(shù)據(jù)，依賴度降低。用戶狀態(tài)識別部6，可以分析由照相機15取得的拍攝圖像，對在操作中操作設(shè)備的用 戶的動作信息進行分析，判斷是否按照指導(dǎo)的那樣操作設(shè)備。在判斷出按照指導(dǎo)的那樣操 作設(shè)備時，用戶依賴度推定部8可以判斷用戶依賴指導(dǎo)數(shù)據(jù)，依賴度較高。而在判斷出沒 有按照指導(dǎo)的那樣操作設(shè)備時，用戶依賴度推定部8可以判斷用戶不依賴指導(dǎo)數(shù)據(jù)，依賴 度較低。而且，用戶狀態(tài)識別部6，還可以在操作中從用戶操作的設(shè)備取得該設(shè)備的操作信息， 并分析取得的操作信息，判斷是否按照指導(dǎo)的那樣操作設(shè)備。在判斷出按照指導(dǎo)的那樣操 作設(shè)備時，用戶依賴度推定部8可以判斷用戶依賴指導(dǎo)數(shù)據(jù)，依賴度較高。而在判斷出沒 有按照指導(dǎo)的那樣操作設(shè)備時，用戶依賴度推定部8可以判斷用戶不依賴指導(dǎo)數(shù)據(jù)，依賴 度較低。然而，在這些方法中，需要有判斷點頭、否定的發(fā)言等個人差別較大的舉止或發(fā)言內(nèi) 容的高度的技術(shù)，在詳細地識別是否按照指導(dǎo)的那樣操作設(shè)備以及照相機15的設(shè)置位置或 設(shè)置臺數(shù)等方面留下課題。對此，在本實施例中，明顯的特征在于僅以設(shè)置在顯示器13上 的照相機15、只用指導(dǎo)數(shù)據(jù)提示時的錄像就可以識別用戶21的狀況這一點上。接下來，對本實施例的操作支援裝置的詳細動作進行說明。圖5是用于說明圖1所示的 操作支援裝置的動作的流程圖。首先，在步驟S1中，菜單選擇受理部2讀出預(yù)先存儲在菜單數(shù)據(jù)庫1中的多個菜單，并 制作菜單一覽畫面，并將制作成的菜單一覽畫面顯示在顯示器13上。其次，在步驟S2中，菜單選擇受理部2從多個菜單中受理1個菜單的選擇。用戶利用輸 入部12從顯示在顯示器13上的菜單一覽畫面中選擇期望指導(dǎo)的菜單。其次，在步驟S3中，指導(dǎo)選擇部4執(zhí)行指導(dǎo)數(shù)據(jù)選擇處理。另外，對于指導(dǎo)數(shù)據(jù)選擇 處理的詳細情況將在以后敘述。指導(dǎo)選擇部4從指導(dǎo)數(shù)據(jù)庫3選擇與菜單選擇受理部2受理 的菜單對應(yīng)的指定的指導(dǎo)數(shù)據(jù)。其次，在步驟S4中，指導(dǎo)提示部5提示由指導(dǎo)選擇部4選擇的指導(dǎo)數(shù)據(jù)。具體而言，指 導(dǎo)提示部5控制顯示器13以顯示由動畫信息及文字信息構(gòu)成的指導(dǎo)畫面，并且控制揚聲器 14以輸出語音信息。在此，對指導(dǎo)畫面進行說明。圖6是指導(dǎo)畫面的一個例子的示意圖。指導(dǎo)畫面31包含 用于顯示動畫信息的圖像顯示區(qū)域32和用于顯示文字信息的文字顯示區(qū)域33、 34。圖像顯 示區(qū)域32配置在指導(dǎo)畫面31的中央，顯示現(xiàn)在提示指導(dǎo)的烹調(diào)工序的動畫。文字顯示區(qū)域 33配置在指導(dǎo)畫面31的上部，顯示說明現(xiàn)在提示指導(dǎo)的烹調(diào)工序的粗略內(nèi)容的文章。文字 顯示區(qū)域34配置在指導(dǎo)畫面31的下部，顯示說明現(xiàn)在提示指導(dǎo)的烹調(diào)工序的詳細內(nèi)容的指 導(dǎo)文章。指導(dǎo)畫面31按烹調(diào)工序而存在多個。指導(dǎo)提示部5根據(jù)烹調(diào)工序依次切換顯示多個指 導(dǎo)畫面。而且，指導(dǎo)提示部5在切換指導(dǎo)畫面時語音輸出顯示在文字顯示區(qū)域33的文章。 由此，可以將顯示在顯示器13的指導(dǎo)畫面的切換通知給用戶。在文字顯示區(qū)域34中，顯示有現(xiàn)在提示指導(dǎo)的烹調(diào)工序的基本的信息，g卩，顯示對熟 練程度較低的用戶來說有益的信息。為此，例如，對熟練程度較低的用戶，在文字顯示區(qū) 域34中顯示文字信息，而對熟練程度較高的用戶，在文字顯示區(qū)域34中不顯示文字信息。 由此，可以向用戶提示適應(yīng)用戶的熟練程度的指導(dǎo)數(shù)據(jù)。另外，在本實施例中，是在圖像顯示區(qū)域32中顯示動畫，但是，本發(fā)明并不特別限定 于此，也可以顯示靜止圖像。而且，指導(dǎo)畫面31中可以只顯示動態(tài)圖像或靜止圖像，也可 以只顯示文字。其次，在步驟S5中，用戶狀態(tài)識別部6執(zhí)行用戶狀態(tài)識別處理。在此，對用戶狀態(tài)識 別處理的詳細情況進行說明。圖7是用于說明圖5的步驟S5的用戶狀態(tài)識別處理的流程圖。首先，在步驟S20中，用戶狀態(tài)識別部6取得由照相機15取得的拍攝圖像數(shù)據(jù)。其次， 在步驟S21中，用戶狀態(tài)識別部6從取得的拍攝圖像數(shù)據(jù)識別用戶的臉部的活動。具體而言， 用戶狀態(tài)識別部6識別用戶的臉部從正視操作對象的狀態(tài)向顯示器13 (照相機15)的方向 傾斜多少度。其次，在步驟S22中，用戶狀態(tài)識別部6對用戶的臉部正視操作對象的方向和用戶的臉 部正面朝向的方向所成的角度9是否大于15度且為30度以下進行判斷。若判斷出角度e大 于15度且在30度以下(在步驟S22為"是")，則在步驟S23，用戶狀態(tài)識別部6開始第一 計時器的計時。第一計時器測量用戶的臉部的角度e為大于15度且在30度以下時的時間 (以下，稱為第一時間)。另外，在第一計時器的第一時間的計時已經(jīng)開始時，連續(xù)計時。 另外，在本實施例中，是對角度e是否大于15度且在30度以下進行判斷，但是，本發(fā)明并不特別限定于此，也可以判斷角度e是否為30度。另一方面，若判斷出角度9不是大于15度且在30度以下，艮p，判斷出角度e在15度以 下或大于30度時(在步驟S22為"否")，則在步驟S24，用戶狀態(tài)識別部6結(jié)束第一計時 器的計時。其次，在步驟S25中，用戶狀態(tài)識別部6在R細中累計并存儲第一計時器計時的 第一時間。RAM累計并存儲用戶的臉部向顯示器13的方向以大于15度且在30度以下的角度 傾斜的時間。然后，用戶狀態(tài)識別部6將第一計時器的計時值清空。步驟S24及步驟S25的處理是在進行第一計時器的計時的情況下進行的處理。即，步驟 S24及步驟S25的處理，是在第一時間的測量中用戶的臉部的角度0為15度以下或大于30度 的情況下進行的。在沒有進行第一計時器的計時時，不進行步驟S24及步驟S25的處理，而 轉(zhuǎn)入步驟S26的處理。其次，在步驟S26中，用戶狀態(tài)識別部6對用戶的臉部正視操作對象的方向和用戶的臉部正面朝向的方向所成的角度9是否大于0度且為15度以下進行判斷。若判斷出角度9大 于0度且在I5度以下(在步驟S26為"是")，則在步驟S27，用戶狀態(tài)識別部6開始第二計 時器的計時。第二計時器測量用戶的臉部的角度e為大于0度且在15度以下時的時間(以 下，稱為第二時間)。另外，在第二計時器的第二時間的計時已經(jīng)開始時，連續(xù)計時。
另一方面，若判斷出角度e不是大于0度且在15度以下(在步驟S26為"否")，則在 步驟S28，用戶狀態(tài)識別部6結(jié)束第二計時器的計時。其次，在步驟S29中，用戶狀態(tài)識別 部6在RAM中累計并存儲由第二計時器計時的第二時間。RAM累計并存儲用戶的臉部向顯示 器13的方向以大于0度且在15度以下的角度傾斜的時間。然后，用戶狀態(tài)識別部6將第二計 時器的計時值清空。另外，第二時間被累計存儲的RAM的區(qū)域是與第一時間被累計存儲的 區(qū)域不同的區(qū)域。為此，各自分別存儲第一時間的累計值和第二時間的累計值。
步驟S28及步驟S29的處理是在進行第二計時器的計時的情況下進行的處理。S卩，步驟 S28及步驟S29的處理是在第二時間的測量中用戶的臉部的角度9為0度以下或大于30度的 情況下進行的。在沒有進行第二計時器的計時時，不進行步驟S28及步驟S29的處理，而轉(zhuǎn) 入步驟S32的處理。
其次，在步驟S30中，用戶狀態(tài)識別部6結(jié)束第二計時器的計時。接著，在步驟S31中， 用戶狀態(tài)識別部6將由第二計時器計時的第二時間在RAM中進行累計并進行存儲。然后，用 戶狀態(tài)識別部6將第二計時器的計時值清空。
步驟S30及步驟S31的處理是在進行第二計時器的計時的情況下進行的處理。g卩，步驟 S30及步驟S31的處理是在第二時間的測量中用戶的臉部的角度9為大于15度且在30度以 下的情況下進行的。在沒有進行第二計時器的計時時，不進行步驟S30及步驟S31的處理， 而轉(zhuǎn)入步驟S32的處理。
其次，在步驟S32中，用戶狀態(tài)識別部6從取得的拍攝圖像數(shù)據(jù)識別用戶的視線的活動。 具體而言，用戶狀態(tài)識別部6識別用戶的視線是否與顯示器13 (照相機15) —致。在用戶 觀看顯示器13時，則為用戶的視線與顯示器13 (照相機15) —致。
其次，在步驟S33中，用戶狀態(tài)識別部6對用戶的視線是否與顯示器13—致進行判斷。 在此，若判斷出用戶的視線與顯示器13—致(在步驟S33為"是")，則在步驟S34，用戶 狀態(tài)識別部6開始第三計時器的計時。第三計時器測量用戶的視線與顯示器13—致的時間 (以下，稱為第三時間)。另外，在第三計時器的第三時間的計時已經(jīng)開始時，連續(xù)計時。
另一方面，若判斷出用戶的視線與顯示器13不一致(在步驟S33為"否")，則在步 驟S35，用戶狀態(tài)識別部6判斷由第三計時器計時的第三時間是否不足1.2秒。在此，若判斷出第三時間不足1.2秒(在步驟S35為"是")，則在步驟S36，用戶狀態(tài)識別部6在存儲 在RAM中的次數(shù)上加1。 RAM累計并存儲用戶連續(xù)觀看顯示器13的時間不足1.2秒的次數(shù)。另 外，次數(shù)被累計存儲的RAM的區(qū)域是與第一時間及第二時間被累計存儲的區(qū)域不同的區(qū)域。 為此，各自分別存儲第一時間和第二時間以及次數(shù)。
若在次數(shù)上加1或判斷出第三時間不是不足1.2秒(在步驟S35為"否")，則在步驟 S37,用戶狀態(tài)識別部6結(jié)束第三計時器的計時，并將第三計時器的計時值清空。另外，在 沒有進行第三計時器的計時時，即，在第三時間為0時，用戶狀態(tài)識別部6判斷第三時間不 是不足1.2秒。
步驟S37的處理是在進行第三計時器的計時的情況下進行的處理。g卩，步驟S37的處理 是在第三時間的測量中用戶的視線與顯示器13不一致的情況下進行的。在沒有進行第三計 時器的計時時，不進行步驟S37的處理，而轉(zhuǎn)入圖5的步驟S6的處理。
接下來，對圖5的步驟S6以后的處理進行說明。在步驟S6中，用戶狀態(tài)識別部6判斷從 取得由照相機15拍攝到的拍攝圖像數(shù)據(jù)開始是否經(jīng)過了指定的期間。在本實施例中，通過 內(nèi)置在控制部ll中的計時器等，例如3分種這樣的預(yù)先決定的指定的期間被測量。
另外，在本實施例中，是通過測量時間來判斷是否經(jīng)過了指定的期間，但是，本發(fā)明 并不特別限定于此。例如，可以根據(jù)顯示在顯示器13上的指導(dǎo)畫面按每個操作工序切換的 時間來判斷是否經(jīng)過了指定的期間。即，可以將從顯示某一指導(dǎo)畫面開始到顯示下一個指 導(dǎo)畫面為止的期間作為指定的期間。還可以根據(jù)指導(dǎo)畫面切換的次數(shù)來判斷是否經(jīng)過了指 定的期間。
在此，若判斷出沒有經(jīng)過指定的期間(在步驟S6為"否")，則返回到步驟S5的處理。 另一方面，若判斷出經(jīng)過了指定的期間(在步驟S6為"是")，在步驟S7中，用戶狀態(tài)識 別部6將存儲在RAM中的第一時間的累計值、第二時間的累計值及次數(shù)的累計值存儲到累計 值存儲部7。另外，累計值存儲部7至少存儲三次的各累計值。即，累計值存儲部7至少存 儲上上次測量的各累計值、上次測量的各累計值和此次測量的各累計值。
其次，在步驟S8中，用戶依賴度推定部8執(zhí)行基于由用戶狀態(tài)識別部6識別出的用戶的 反應(yīng)，推定用戶對指導(dǎo)數(shù)據(jù)的依賴度的用戶依賴度推定處理。在此，對用戶依賴度推定處 理的詳細情況進行說明。
發(fā)明者們讓20名試驗者虛擬地進行烹調(diào)操作，進行了在烹調(diào)操作中提示指導(dǎo)數(shù)據(jù)并識 別用戶的臉部的活動及視線的活動的實驗。另外，本實驗對20名試驗者全體人員提示相同 的指導(dǎo)數(shù)據(jù)。并且，對20名試驗者一邊提示指導(dǎo)數(shù)據(jù)一邊進行烹調(diào)操作的實驗共計進行了三次。在這三次實驗中，分別提示相同的指導(dǎo)數(shù)據(jù)。圖8是對20名試驗者一邊提示指導(dǎo)數(shù) 據(jù)一邊虛擬地進行烹調(diào)操作，識別出的用戶的臉部的活動及視線的活動的實驗結(jié)果的示意 圖。
發(fā)明者們還讓8名試驗者實際地進行烹調(diào)操作，在烹調(diào)操作中提示指導(dǎo)數(shù)據(jù)并識別用 戶的臉部的活動及視線的活動的實驗共計進行了三次。在這三次實驗中，分別提示相同的 指導(dǎo)數(shù)據(jù)。圖9是對8名試驗者一邊提示指導(dǎo)數(shù)據(jù)一邊實際地進行烹調(diào)操作，識別出的用戶 的臉部的活動及視線的活動的實驗結(jié)果的示意圖。
另外，圖8所示的虛擬的烹調(diào)操作不是進行食品材料處理或進行加熱處理等，而是按 照烹調(diào)操作工序在桌上操作烹調(diào)用具的烹調(diào)操作。因此， 一次烹調(diào)操作所需要的時間平均 在5分鐘左右。而在圖9所示的實驗中，是讓試驗者做漢堡牛肉餅。因此， 一次烹調(diào)操作所 需要的時間平均在30分鐘左右。
在圖8及圖9中，橫軸表示實驗次數(shù)。而且，在圖8及圖9中，縱軸表示臉部的活動(秒) 和視線的活動(次數(shù))，臉部的活動用試驗者人數(shù)及指導(dǎo)數(shù)(指導(dǎo)畫面的提示數(shù))除以累 計時間，視線的活動將用試驗者人數(shù)及指導(dǎo)數(shù)除以累計次數(shù)的值再乘以4倍。
在圖8及圖9中，黑圓點符號表示用戶的臉部正視操作對象的方向和用戶的臉部正面朝 向的方向所成的角度e為30度時的累計時間，白圓點符號表示用戶的臉部正視操作對象的 方向和用戶的臉部正面朝向的方向所成的角度e在15度以下時的累計時間。黑三角符號表 示用戶的視線與顯示器13—致的時間不足1.2秒時的累計次數(shù)，白三角符號表示用戶的視 線與顯示器13—致的時間為從1. 2秒到L 5秒時的累計次數(shù)。
如圖8及圖9所示，角度9為30度時的累計時間，S卩，用戶的臉部正視顯示器13觀看指 導(dǎo)畫面的時間，通過反復(fù)實驗而減少，隨著依賴度的降低進入初期階段、中期階段及后期 階段而減少。另外，依賴度分初期階段、中期階段及后期階段三個階段降低。而且，角度 e在15度以下時的累計時間，gp，用戶將臉部稍微向顯示器13的方向傾斜的時間，雖然在 達到依賴度降低的初期階段之前暫且增加，但隨著依賴度的降低進入初期階段、中期階段 及后期階段而減少。
并且，視線與顯示器13—致的時間不足1.2秒時的累計次數(shù)，g卩，用戶只稍微觀看指 導(dǎo)畫面的次數(shù)，隨著依賴度的降低進入初期階段及中期階段而增加之后，在依賴度降低的 后期階段中減少。并且，視線與顯示器13—致的時間為從1.2秒到1.5秒時的累計次數(shù)，在 依賴度的降低進入初期階段、中期階段及后期階段是以某一定值而推移。
另外，在圖8所示的虛擬烹調(diào)操作中，由于用比較短的時間即可結(jié)束操作，所以，在烹調(diào)操作中觀看指導(dǎo)畫面的次數(shù)較少，觀看指導(dǎo)畫面的時間也較短。為此，即使是第二次 實驗，對指導(dǎo)數(shù)據(jù)的依賴度也較高，在第二次實驗中，依賴度降低到初期階段。另一方面， 在圖9所示的實際烹調(diào)操作中，在加熱處理中等出現(xiàn)等待的時間，烹調(diào)操作中觀看指導(dǎo)畫 面的次數(shù)增多，觀看指導(dǎo)畫面的時間也變長。為此，在第一次實驗中得到指導(dǎo)學(xué)習(xí)，在第 二次實驗中依賴度很快就開始降低。因此，從第一次實驗開始依賴度即降低到初期階段。
圖9所示的實際烹調(diào)操作的實驗結(jié)果，只在與從虛擬烹調(diào)操作時的指導(dǎo)畫面更新起到 下次指導(dǎo)畫面更新之間的時間相同的時間內(nèi)，計時指導(dǎo)畫面更新之后的時間。然后，識別 在其之間的用戶的臉部的活動及視線的活動，分別累計用戶的臉部正視顯示器13的時間、 用戶的視線與顯示器13—致的時間不足1. 2秒時的次數(shù)、用戶的視線與顯示器13—致的時 間在從1.2秒到1.5秒時的次數(shù)。由此，在實際烹調(diào)操作中，可以省略在操作的等待時間凝 視指導(dǎo)畫面的時間。
基于上述的實驗結(jié)果，用戶的依賴度可以作如下推定。即，在用戶的臉部正視顯示器 13的時間增加時，可以推定用戶對指導(dǎo)數(shù)據(jù)的依賴度增加。在用戶的臉部正視顯示器13的 時間減少且用戶將臉部向顯示器13的方向稍微傾斜的時間增加時，可以推定為依賴度降低 的初期階段。
而且，在用戶的臉部正視顯示器13的時間減少、并且用戶將臉部向顯示器13的方向稍 微傾斜的時間減少且用戶只稍微觀看指導(dǎo)畫面的次數(shù)增加時，可以推定為依賴度降低的中 期階段。并且，在用戶稍微觀看指導(dǎo)畫面的次數(shù)一旦增加之后又減少時，可以推定為依賴 度降低的后期階段。
圖10是用于說明圖5的步驟S8的用戶依賴度推定處理的流程圖。
首先，在步驟S41中，用戶依賴度推定部8從累計值存儲部7讀出此次測量的第一時間 的累計值、第二時間的累計值及次數(shù)的累計值、上次測量的第一時間的累計值、第二時間 的累計值及次數(shù)的累計值、上上次測量的次數(shù)的累計值。
其次，在步驟S42中，用戶依賴度推定部8對此次測量的第一時間的累計值是否較上次 測量的第一時間的累計值增加進行判斷。在此，若判斷出此次測量的第一時間的累計值較 上次測量的第一時間的累計值增加(在步驟S42為"是")，則在步驟S43，用戶依賴度推 定部8推定用戶的依賴度增加。
另一方面，若判斷出此次測量的第一時間的累計值較上次測量的第一時間的累計值減 少(在步驟S42為"否")，在步驟S44中，用戶依賴度推定部8對此次測量的第二時間的 累計值是否較上次測量的第二時間的累計值增加進行判斷。在此，若判斷出此次測量的第二時間的累計值較上次測量的第二時間的累計值增加(在步驟S44為"是")，則在步驟 S45，用戶依賴度推定部8推定為依賴度降低的初期階段。
另一方面，若判斷出此次測量的第二時間的累計值較上次測量的第二時間的累計值減 少(在步驟S44為"否")，在步驟S46中，用戶依賴度推定部8對此次測量的次數(shù)的累計 值是否較上次測量的次數(shù)的累計值增加進行判斷。在此，若判斷出此次測量的次數(shù)的累計 值較上次測量的次數(shù)的累計值增加(在步驟S46為"是")，則在步驟S47，用戶依賴度推 定部8推定為依賴度降低的中期階段。
另一方面，若判斷出此次測量的次數(shù)的累計值較上次測量的次數(shù)的累計值減少(在步 驟S46為"否")，在步驟S48中，用戶依賴度推定部8對上次測量的次數(shù)的累計值是否較 上上次測量的次數(shù)的累計值增加進行判斷。在此，若判斷出上次測量的次數(shù)的累計值較上 上次測量的次數(shù)的累計值增加(在步驟S48為"是")，則在步驟S49，用戶依賴度推定部 8推定為依賴度降低的后期階段。
另一方面，若判斷出上次測量的次數(shù)的累計值較上上次測量的次數(shù)的累計值減少(在 步驟S48為"否")，則在步驟S50，用戶依賴度推定部8判斷用戶的依賴度不能推定。另 外，各自的依賴度的推定結(jié)果暫時存儲在RAM中。而且，只能存儲l次的累計值，在不能判 斷累計值是否增加的情況下，用戶依賴度推定部8判斷為不能推定。
返回到圖5，在步驟S9中，用戶依賴度推定部8對用戶的操作是否結(jié)束進行判斷。在此， 若判斷出用戶的操作己經(jīng)結(jié)束(在步驟S9為"是")，則結(jié)束操作支援處理。另一方面， 若判斷出用戶的操作還沒有結(jié)束時(在步驟S9為"否")，則返回到步驟S3的處理，執(zhí)行 指導(dǎo)數(shù)據(jù)選擇處理。
在此，對指導(dǎo)數(shù)據(jù)選擇處理的詳細情況進行說明。圖11是用于說明圖5的步驟S3的指 導(dǎo)數(shù)據(jù)選擇處理的流程圖。
首先，在步驟S61中，指導(dǎo)選擇部4對是否存在依賴度的推定結(jié)果進行判斷。如上所述， 因為依賴度的推定結(jié)果被暫時存儲在RAM中，所以，指導(dǎo)選擇部4對依賴度的推定結(jié)果是否 存儲在RAM中進行判斷。由此，可以判斷是否存在依賴度的推定結(jié)果。在此，若判斷出沒 有依賴度的推定結(jié)果(在步驟S61為"否")，則在步驟S62，指導(dǎo)選擇部4選擇預(yù)先決定 的指定的指導(dǎo)數(shù)據(jù)。此時，例如，指導(dǎo)選擇部4選擇與最低的技能水平對應(yīng)的指導(dǎo)數(shù)據(jù)。
另一方面，若判斷出有依賴度的推定結(jié)果(在步驟S61為"是")，在步驟S63中，指 導(dǎo)選擇部4對依賴度是否增加或是否不能推定進行判斷。在此，若判斷出依賴度增加或不 能推定(在步驟S63為"是")，則在步驟S64中，指導(dǎo)選擇部4選擇與現(xiàn)在提示的指導(dǎo)數(shù)據(jù)相同的指導(dǎo)數(shù)據(jù)。
另一方面，在依賴度降低時(在步驟S63為"否")，在步驟S65中，指導(dǎo)選擇部4對 依賴度的降低是否為初期階段進行判斷。在此，若判斷出依賴度的降低為初期階段(在步 驟S65為"是")，則在步驟S66中，指導(dǎo)選擇部4選擇與依賴度降低的初期階段對應(yīng)的指 導(dǎo)數(shù)據(jù)。
另一方面，若判斷出依賴度的降低不為初期階段(在步驟S65為"否")，在步驟S67 中，指導(dǎo)選擇部4對依賴度的降低是否為中期階段進行判斷。在此，若判斷出依賴度的降 低為中期階段(在步驟S67為"是")，則在步驟S68中，指導(dǎo)選擇部4選擇與依賴度降低 的中期階段對應(yīng)的指導(dǎo)數(shù)據(jù)。
另一方面，若判斷出依賴度的降低不為中期階段(在步驟S67為"否")，則在步驟 S69中，指導(dǎo)選擇部4選擇與依賴度降低的后期階段對應(yīng)的指導(dǎo)數(shù)據(jù)。
這樣，用戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度得以推定，因為從指導(dǎo)數(shù)據(jù)庫3中選擇適 應(yīng)所推定出的依賴度的指導(dǎo)數(shù)據(jù)，所以，可以對操作中的用戶提示適當?shù)闹笇?dǎo)。
另外，本實施例的操作支援裝置是用于支援用戶的烹調(diào)操作的操作支援裝置，但是， 本發(fā)明并不特別限定于此，也可以是通過地圖及語音引導(dǎo)汽車到達目的地的用于支援用戶 的駕駛操作的汽車導(dǎo)航裝置。
另外，操作支援裝置10也可以作為以硬件形式具備中央處理器(CPU)、存儲程序和 永久性數(shù)據(jù)的非易失性存儲器或存儲裝置、存儲臨時數(shù)據(jù)的可以高速存取的易失性存儲 器、輸入輸出設(shè)備的通用的信息處理裝置而構(gòu)成，將使這些硬件資源協(xié)調(diào)工作的指導(dǎo)程序 預(yù)先存儲在非易失性存儲器或存儲裝置中以軟件形式實現(xiàn)。此時，也可以通過磁盤或光盤 等計算機可以讀取的記錄介質(zhì)或網(wǎng)絡(luò)等通信線路分配操作支援程序，并預(yù)先設(shè)非易失性存
儲器和存儲裝置的寫入功能，來進行新的功能的追加或功能的更新。 上述的具體實施例主要包含具有以下結(jié)構(gòu)的發(fā)明。
本發(fā)明所提供的識別裝置包括存儲用于給正在進行操作的用戶操作支援的指導(dǎo)數(shù)據(jù) 的指導(dǎo)數(shù)據(jù)存儲部、從上述指導(dǎo)數(shù)據(jù)存儲部選擇對于上述操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇部、 將由上述指導(dǎo)選擇部選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶的指導(dǎo)提示部、識別用戶對由上述指 導(dǎo)提示部提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別部、基于由上述用戶狀態(tài)識別部識別 出的用戶的反應(yīng)，推定表示用戶對由上述指導(dǎo)提示部所提示的上述指導(dǎo)數(shù)據(jù)有多少依賴的 依賴度的用戶依賴度推定部，其中，上述指導(dǎo)選擇部從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)由上 述用戶依賴度推定部推定出的上述依賴度的指導(dǎo)數(shù)據(jù)。本發(fā)明還提供一種識別方法，包括從存儲用于給正在進行操作的用戶操作支援的指 導(dǎo)數(shù)據(jù)的指導(dǎo)數(shù)據(jù)存儲部選擇對于上述操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇步驟、將在上述指導(dǎo)選 擇步驟中選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶的指導(dǎo)提示步驟、識別用戶對在上述指導(dǎo)提示步 驟中提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別步驟、基于在上述用戶狀態(tài)識別步驟中識 別出的用戶的反應(yīng)，推定表示用戶對在上述指導(dǎo)提示步驟中提示的上述指導(dǎo)數(shù)據(jù)有多少依 賴的依賴度的用戶依賴度推定步驟，其中，在上述指導(dǎo)選擇步驟中，從上述指導(dǎo)數(shù)據(jù)存儲 部選擇適應(yīng)在上述用戶依賴度推定步驟中推定出的上述依賴度的指導(dǎo)數(shù)據(jù)。
本發(fā)明還提供一種識別程序，使計算機作為以下各部而發(fā)揮其功能存儲用于給正在 進行操作的用戶操作支援的指導(dǎo)數(shù)據(jù)的指導(dǎo)數(shù)據(jù)存儲部、從上述指導(dǎo)數(shù)據(jù)存儲部選擇對于 上述操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇部、將由上述指導(dǎo)選擇部選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶 的指導(dǎo)提示部、識別用戶對由上述指導(dǎo)提示部提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別 部、基于由上述用戶狀態(tài)識別部識別出的用戶的反應(yīng)，推定表示用戶對由上述指導(dǎo)提示部 所提示的上述指導(dǎo)數(shù)據(jù)有多少依賴的依賴度的用戶依賴度推定部，其中，上述指導(dǎo)選擇部 從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)由上述用戶依賴度推定部推定出的上述依賴度的指導(dǎo)數(shù) 據(jù)。
本發(fā)明還提供一種記錄介質(zhì)，記錄了識別程序，可以由計算機讀取，該識別程序使計 算機作為以下各部而發(fā)揮其功能存儲用于給正在進行操作的用戶操作支援的指導(dǎo)數(shù)據(jù)的 指導(dǎo)數(shù)據(jù)存儲部、從上述指導(dǎo)數(shù)據(jù)存儲部選擇對于上述操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇部、將 由上述指導(dǎo)選擇部選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶的指導(dǎo)提示部、識別用戶對由上述指導(dǎo) 提示部提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別部、基于由上述用戶狀態(tài)識別部識別出 的用戶的反應(yīng)，推定表示用戶對由上述指導(dǎo)提示部所提示的上述指導(dǎo)數(shù)據(jù)有多少依賴的依 賴度的用戶依賴度推定部，其中，上述指導(dǎo)選擇部從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)由上述 用戶依賴度推定部推定出的上述依賴度的指導(dǎo)數(shù)據(jù)。
根據(jù)上述的結(jié)構(gòu)或方法，由于表示用戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)有多少依賴的依賴度被 推定，適應(yīng)被推定出的依賴度的指導(dǎo)數(shù)據(jù)從指導(dǎo)數(shù)據(jù)存儲部中予以選擇，所以，可以對操 作中的用戶提示適當?shù)闹笇?dǎo)。
而且，在上述的識別裝置中，以上述用戶狀態(tài)識別部識別用戶對由上述指導(dǎo)提示部提 示的上述指導(dǎo)數(shù)據(jù)的身體反應(yīng)的時間變化，上述用戶依賴度推定部基于由上述用戶狀態(tài)識 別部識別出的用戶的身體反應(yīng)的時間變化推定出上述依賴度為宜。
根據(jù)此結(jié)構(gòu)，基于用戶對所提示的指導(dǎo)數(shù)據(jù)的身體反應(yīng)的時間變化，可以推定用戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)有多少依賴。
而且，在上述的識別裝置中，最好是上述用戶狀態(tài)識別部至少識別用戶的臉部的活動 及視線的活動的其中之一。根據(jù)此結(jié)構(gòu)，因為用戶的臉部的活動及視線的活動中的至少其 中之一被識別，所以，基于用戶的臉部的活動及視線的活動中的至少其中之一可以推定用 戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度。
而且，在上述的識別裝置中，最好是還包括拍攝用戶的照相機、配置在與上述照相機 相同的方向的顯示部，其中，上述指導(dǎo)提示部將由上述指導(dǎo)選擇部選擇的上述指導(dǎo)數(shù)據(jù)顯 示在上述顯示部，上述用戶狀態(tài)識別部基于由上述照相機拍攝到的圖像識別用戶的臉部的 活動，累計用戶的臉部從正視操作對象的狀態(tài)轉(zhuǎn)向上述顯示部的傾斜指定角度的時間，基 于上述照相機拍攝到的圖像識別用戶的視線的活動，累計用戶的視線與上述顯示部基本上 一致的時間不足指定時間的次數(shù)，上述用戶依賴度推定部基于由上述用戶狀態(tài)識別部累計 的上述時間及上述次數(shù)推定用戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度是增加還是減少。
根據(jù)此結(jié)構(gòu)，所選擇的指導(dǎo)數(shù)據(jù)被顯示在顯示部。而且，基于照相機拍攝到的圖像， 用戶的臉部的活動得以識別，用戶的臉部從正視操作對象的狀態(tài)轉(zhuǎn)向顯示部的傾斜指定角 度的時間被累計。而且，基于照相機拍攝到的圖像，用戶的視線的活動得以識別，用戶的 視線與顯示部基本上一致的時間不足指定時間的次數(shù)被累計。接下來，基于累計的時間及 次數(shù)，用戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度是增加還是減少得以推定。
因此，基于用戶的臉部從正視操作對象的狀態(tài)轉(zhuǎn)向顯示部的傾斜指定角度的時間的累 計值和用戶的視線與顯示部基本上一致的時間不足指定時間的次數(shù)的累計值，可以容易地 推定出用戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度是增加還是減少。
而且，在上述的識別裝置中，最好是上述指導(dǎo)數(shù)據(jù)存儲部存儲與用戶對于上述操作的 熟練程度對應(yīng)的多個指導(dǎo)數(shù)據(jù)，上述指導(dǎo)選擇部在由上述用戶依賴度推定部推定出用戶對 現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度降低時，從上述指導(dǎo)數(shù)據(jù)存儲部中選擇與較現(xiàn)在提示的指導(dǎo) 數(shù)據(jù)的熟練程度高的熟練程度對應(yīng)的指導(dǎo)數(shù)據(jù)。
根據(jù)此結(jié)構(gòu)，指導(dǎo)數(shù)據(jù)存儲部存儲與用戶對于操作的熟練程度對應(yīng)的多個指導(dǎo)數(shù)據(jù)。 然后，在推定出用戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度降低時，從指導(dǎo)數(shù)據(jù)存儲部選擇與較 現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的熟練程度高的熟練程度對應(yīng)的指導(dǎo)數(shù)據(jù)。
因此，即使用戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度降低，因為與較現(xiàn)在提示的指導(dǎo)數(shù)據(jù) 的熟練程度高的熟練程度對應(yīng)的新的指導(dǎo)數(shù)據(jù)被提示，所以，可以使對指導(dǎo)數(shù)據(jù)的依賴度 增加。而且，在上述的識別裝置中，最好是上述用戶狀態(tài)識別部基于由上述照相機拍攝到的 圖像識別用戶的臉部的活動，累計用戶的臉部正視上述顯示部的第一時間，累計用戶的臉 部以比用戶的臉部正視操作對象的方向和用戶的臉部正視上述顯示部的方向所成的角度 小的角度，從正視操作對象的狀態(tài)轉(zhuǎn)向上述顯示部的傾斜的第二時間，基于由上述照相機 拍攝到的圖像識別用戶的視線的活動，累計用戶的視線與上述顯示部基本上一致的時間不 足指定時間的次數(shù)，上述用戶依賴度推定部，在此次指定期間內(nèi)累計的上述第一時間較在 上次指定期間內(nèi)累計的上述第一時間增加時，推定用戶的依賴度增加，在此次指定期間內(nèi) 累計的上述第一時間較在上次指定期間內(nèi)累計的上述第一時間減少，并且在此次指定期間 內(nèi)累計的上述第二時間較在上次指定期間內(nèi)累計的上述第二時間增加時，推定用戶的依賴 度降低到第一階段，在此次指定期間內(nèi)累計的上述第一時間較在上次指定期間內(nèi)累計的上 述第一時間減少，在此次指定期間內(nèi)累計的上述第二時間較在上次指定期間內(nèi)累計的上述 第二時間減少，并且在此次指定期間內(nèi)累計的上述次數(shù)較在上次指定期間內(nèi)累計的上述次 數(shù)增加時，推定用戶的依賴度降低到較上述第一階段低的第二階段，在上次指定期間內(nèi)累 計的上述次數(shù)較在上上次指定期間內(nèi)累計的上述次數(shù)增加，并且在此次指定期間內(nèi)累計的 上述次數(shù)較在上次指定期間內(nèi)累計的上述次數(shù)減少時，推定用戶的依賴度降低到較上述第 二階段低的第三階段。根據(jù)此結(jié)構(gòu)，基于照相機拍攝到的圖像，用戶的臉部的活動得以識別，用戶的臉部正 視顯示部的第一時間被累計。并且，用戶的臉部以比用戶的臉部正視操作對象的方向和用 戶的臉部正視顯示部的方向所成的角度小的角度，從正視操作對象的狀態(tài)轉(zhuǎn)向顯示部的傾 斜的第二時間被累計。而且，基于照相機拍攝到的圖像，用戶的視線的活動得以識別，用 戶的視線與顯示部基本上一致的時間不足指定時間的次數(shù)被累計。然后，在此次指定期間 內(nèi)累計的第一時間較上次指定期間內(nèi)累計的第一時間增加時，推定用戶的依賴度己經(jīng)增 加。在此次指定期間內(nèi)累計的第一時間較上次指定期間內(nèi)累計的第一時間減少，并且在此 次指定期間內(nèi)累計的第二時間較上次指定期間內(nèi)累計的第二時間增加時，推定用戶的依賴 度降低到第一階段。在此次指定期間內(nèi)累計的第一時間較上次指定期間內(nèi)累計的第一時間 減少，在此次指定期間內(nèi)累計的第二時間較上次指定期間內(nèi)累計的第二時間減少，并且在 此次指定期間內(nèi)累計的次數(shù)較上次指定期間內(nèi)累計的次數(shù)增加時，推定用戶的依賴度降低 到較第一階段低的第二階段。在上次指定期間內(nèi)累計的次數(shù)較上上次的指定期間內(nèi)累計的 次數(shù)增加，并且在此次指定期間內(nèi)累計的次數(shù)較上次指定期間內(nèi)累計的次數(shù)減少時，推定 用戶的依賴度降低到較第二階段低的第三階段。因此，基于用戶的臉部正視顯示部的第一時間的累計值、用戶的臉部以比用戶的臉部 正視操作對象的方向與用戶的臉部正視顯示部的方向所成的角度小的角度，從正視操作對 象的狀態(tài)轉(zhuǎn)向顯示部的傾斜的第二時間的累計值、和用戶的視線與顯示部基本上一致的時 間不足指定時間的次數(shù)的累計值，可以推定用戶的階段的依賴度。而且，在上述的識別裝置中，最好是上述指導(dǎo)數(shù)據(jù)存儲部存儲適應(yīng)上述第一階段、上 述第二階段及上述第三階段的各階段的指導(dǎo)數(shù)據(jù)，上述指導(dǎo)選擇部，在由上述用戶依賴度 推定部推定出用戶的依賴度降低到第一階段時，從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)上述第一 階段的指導(dǎo)數(shù)據(jù)，在由上述用戶依賴度推定部推定出用戶的依賴度降低到第二階段時，從 上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)上述第二階段的指導(dǎo)數(shù)據(jù)，在由上述用戶依賴度推定部推定 出用戶的依賴度降低到第三階段時，從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)上述第三階段的指導(dǎo) 數(shù)據(jù)。根據(jù)此結(jié)構(gòu)，在指導(dǎo)數(shù)據(jù)存儲部中，適應(yīng)第一階段、第二階段及第三階段的各階段的 指導(dǎo)數(shù)據(jù)予以存儲。然后，在推定出用戶的依賴度降低到第一階段時，適應(yīng)第一階段的指 導(dǎo)數(shù)據(jù)從指導(dǎo)數(shù)據(jù)存儲部予以選擇。在推定出用戶的依賴度降低到第二階段時，適應(yīng)第二 階段的指導(dǎo)數(shù)據(jù)從指導(dǎo)數(shù)據(jù)存儲部予以選擇。在推定出用戶的依賴度降低到第三階段時， 適應(yīng)第三階段的指導(dǎo)數(shù)據(jù)從指導(dǎo)數(shù)據(jù)存儲部予以選擇。因此，即使對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度己經(jīng)降低，也因為適應(yīng)用戶的階段性的依 賴度的新的指導(dǎo)數(shù)據(jù)被提示，所以，可以使對指導(dǎo)數(shù)據(jù)的依賴度增加。而且，在上述的識別裝置中，最好是上述用戶狀態(tài)識別部基于由上述照相機拍攝到的 圖像識別用戶的視線的活動，累計用戶的視線與上述顯示部基本上一致的時間為1.5秒以 下的次數(shù)。根據(jù)此結(jié)構(gòu)，通過累計用戶的視線與顯示部基本上一致的時間為1.5秒以下的次數(shù)， 可以累計用戶為了確認而稍微看一下顯示在顯示部上的指導(dǎo)數(shù)據(jù)的次數(shù)。而且，可以利用 此累計值推定用戶的依賴度。另外， 一般認為若視線停留在一定區(qū)域的時間不足1.2秒，不能夠確認是否產(chǎn)生了較 強的興趣。為此，最好也累計用戶的視線與顯示部基本上一致的時間為不足1.2秒的次數(shù)。由此，可以累計用戶為了確認而稍微看一下在顯示部顯示的指導(dǎo)數(shù)據(jù)的次數(shù)。而且，在上述的識別裝置中，最好還包括受理從多個操作內(nèi)容中對期望指導(dǎo)的操作內(nèi) 容的選擇的操作內(nèi)容受理部，上述指導(dǎo)選擇部從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)由上述操作 內(nèi)容受理部受理的操作內(nèi)容的指導(dǎo)數(shù)據(jù)。根據(jù)此結(jié)構(gòu)，從多個操作內(nèi)容中對期望指導(dǎo)的操作內(nèi)容的選擇被受理。然后，從指導(dǎo) 數(shù)據(jù)存儲部選擇適應(yīng)被受理的操作內(nèi)容的指導(dǎo)數(shù)據(jù)。因此，可以向用戶提示適應(yīng)操作內(nèi)容 的指導(dǎo)數(shù)據(jù)。而且，在上述的識別裝置中，最好是上述指導(dǎo)數(shù)據(jù)存儲部存儲用于支援用戶的烹調(diào)操 作的指導(dǎo)數(shù)據(jù)。根據(jù)此結(jié)構(gòu)，因為用于支援用戶的烹調(diào)操作的指導(dǎo)數(shù)據(jù)被存儲，所以，可 以向用戶提供用于支援烹調(diào)操作的指導(dǎo)。而且，在上述的識別裝置中，最好是上述指導(dǎo)數(shù)據(jù)存儲部存儲用于支援用戶的汽車駕 駛操作的指導(dǎo)數(shù)據(jù)。根據(jù)此結(jié)構(gòu)，因為用于支援用戶的汽車駕駛操作的指導(dǎo)數(shù)據(jù)被存儲， 所以，可以向用戶提供用于支援汽車駕駛操作的指導(dǎo)。本發(fā)明所涉及的識別裝置、識別方法、識別程序以及記錄了識別程序的計算機可以讀 取的記錄介質(zhì)，可以推定用戶對提示的指導(dǎo)的依賴度，可以提供適應(yīng)依賴度的適當?shù)闹笇?dǎo)， 作為通過動畫和語音等提示用于輔助用戶操作的指導(dǎo)的識別裝置、識別方法、識別程序以 及記錄了識別程序的計算機可以讀取的記錄介質(zhì)等極為有用。
權(quán)利要求
1.一種識別裝置，其特征在于包括指導(dǎo)數(shù)據(jù)存儲部，存儲用于給正在進行操作的用戶操作支援的指導(dǎo)數(shù)據(jù)；指導(dǎo)選擇部，從上述指導(dǎo)數(shù)據(jù)存儲部選擇對于上述操作的指導(dǎo)數(shù)據(jù)；指導(dǎo)提示部，將由上述指導(dǎo)選擇部選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶；用戶狀態(tài)識別部，識別用戶對由上述指導(dǎo)提示部提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)；用戶依賴度推定部，基于由上述用戶狀態(tài)識別部識別出的用戶的反應(yīng)，推定表示用戶對由上述指導(dǎo)提示部提示的上述指導(dǎo)數(shù)據(jù)有多少依賴的依賴度，其中，上述指導(dǎo)選擇部，從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)由上述用戶依賴度推定部推定出的上述依賴度的指導(dǎo)數(shù)據(jù)。
2. 根據(jù)權(quán)利要求l所述的識別裝置，其特征在于上述用戶狀態(tài)識別部，識別用戶對由上述指導(dǎo)提示部提示的上述指導(dǎo)數(shù)據(jù)的身體反應(yīng) 的時間變化，上述用戶依賴度推定部，基于由上述用戶狀態(tài)識別部識別出的用戶的身體反應(yīng)的時間 變化推定上述依賴度。
3. 根據(jù)權(quán)利要求2所述的識別裝置，其特征在于上述用戶狀態(tài)識別部，至少識別用 戶的臉部的活動及視線的活動的其中之一。
4. 根據(jù)權(quán)利要求3所述的識別裝置，其特征在于還包括 照相機，用于拍攝用戶；顯示部，被配置在與上述照相機相同的方向，其中，上述指導(dǎo)提示部，將由上述指導(dǎo)選擇部選擇的上述指導(dǎo)數(shù)據(jù)顯示在上述顯示部上， 上述用戶狀態(tài)識別部，基于由上述照相機拍攝到的圖像識別用戶的臉部的活動，累計 用戶的臉部從正視操作對象的狀態(tài)轉(zhuǎn)向上述顯示部的傾斜指定角度的時間；基于由上述照 相機拍攝到的圖像識別用戶的視線的活動，累計用戶的視線與上述顯示部基本上一致的時 間不足指定時間的次數(shù)，上述用戶依賴度推定部，基于由上述用戶狀態(tài)識別部累計的上述時間及上述次數(shù)，推定用戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度是增加還是減少。
5. 根據(jù)權(quán)利要求4所述的識別裝置，其特征在于上述指導(dǎo)數(shù)據(jù)存儲部，存儲與用戶對上述操作的熟練程度對應(yīng)的多個指導(dǎo)數(shù)據(jù)， 上述指導(dǎo)選擇部，在由上述用戶依賴度推定部推定出用戶對現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的依賴度降低時，從上述指導(dǎo)數(shù)據(jù)存儲部選擇與較現(xiàn)在提示的指導(dǎo)數(shù)據(jù)的熟練程度高的熟練程度對應(yīng)的指導(dǎo)數(shù)據(jù)。
6. 根據(jù)權(quán)利要求4所述的識別裝置，其特征在于上述用戶狀態(tài)識別部，基于由上述照相機拍攝到的圖像識別用戶的臉部的活動，累計 用戶的臉部正視上述顯示部的第一時間，累計用戶的臉部以比用戶的臉部正視操作對象的 方向和用戶的臉部正視上述顯示部的方向所成的角度小的角度，從正視操作對象的狀態(tài)轉(zhuǎn) 向上述顯示部的傾斜的第二時間；基于由上述照相機拍攝到的圖像識別用戶的視線的活 動，累計用戶的視線與上述顯示部基本上一致的時間不足指定時間的次數(shù)，上述用戶依賴度推定部，在此次指定期間內(nèi)累計的上述第一時間較在上次指定期間內(nèi)累計的上述第一時間增 加時，推定用戶的依賴度增加，在此次指定期間內(nèi)累計的上述第一時間較在上次指定期間內(nèi)累計的上述第一時間減 少，并且在此次指定期間內(nèi)累計的上述第二時間較在上次指定期間內(nèi)累計的上述第二時間 增加時，推定用戶的依賴度降低到第一階段，在此次指定期間內(nèi)累計的上述第一時間較在上次指定期間內(nèi)累計的上述第一時間減 少，在此次指定期間內(nèi)累計的上述第二時間較在上次指定期間內(nèi)累計的上述第二時間減 少，并且在此次指定期間內(nèi)累計的上述次數(shù)較在上次指定期間內(nèi)累計的上述次數(shù)增加時， 推定用戶的依賴度降低到較上述第一階段低的第二階段，在上次指定期間內(nèi)累計的上述次數(shù)較在上上次指定期間內(nèi)累計的上述次數(shù)增加，并在 此次指定期間內(nèi)累計的上述次數(shù)較在上次指定期間內(nèi)累計的上述次數(shù)減少時，推定用戶的 依賴度降低到較上述第二階段低的第三階段。
7.根據(jù)權(quán)利要求6所述的識別裝置，其特征在于 上述指導(dǎo)數(shù)據(jù)存儲部，存儲適應(yīng)上述第一階段、上述第二階段及上述第三階段的各階段的指導(dǎo)數(shù)據(jù)，上述指導(dǎo)選擇部，在由上述用戶依賴度推定部推定出用戶的依賴度降低到第一階段 時，從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)上述第一階段的指導(dǎo)數(shù)據(jù)，在由上述用戶依賴度推定 部推定出用戶的依賴度降低到第二階段時，從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)上述第二階段 的指導(dǎo)數(shù)據(jù)，在由上述用戶依賴度推定部推定出用戶的依賴度降低到第三階段時，從上述 指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)上述第三階段的指導(dǎo)數(shù)據(jù)。
8. 根據(jù)權(quán)利要求6所述的識別裝置，其特征在于上述用戶狀態(tài)識別部，基于由上述 照相機拍攝到的圖像識別用戶的視線的活動，累計用戶的視線與上述顯示部基本上一致的 時間為1.5秒以下的次數(shù)。
9. 根據(jù)權(quán)利要求l所述的識別裝置，其特征在于還包括操作內(nèi)容受理部，受理從多個操作內(nèi)容中對期望指導(dǎo)的操作內(nèi)容的選擇，其中， 上述指導(dǎo)選擇部，從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)由上述操作內(nèi)容受理部受理的操作 內(nèi)容的指導(dǎo)數(shù)據(jù)。
10. 根據(jù)權(quán)利要求l所述的識別裝置，其特征在于上述指導(dǎo)數(shù)據(jù)存儲部存儲用于支 援用戶的烹調(diào)操作的指導(dǎo)數(shù)據(jù)。
11. 根據(jù)權(quán)利要求l所述的識別裝置，其特征在于上述指導(dǎo)數(shù)據(jù)存儲部存儲用于支 援用戶的汽車駕駛操作的指導(dǎo)數(shù)據(jù)。
12. —種識別方法，其特征在于包括從存儲用于給正在進行操作的用戶操作支援的指導(dǎo)數(shù)據(jù)的指導(dǎo)數(shù)據(jù)存儲部選擇對于上述操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇步驟；將在上述指導(dǎo)選擇步驟中選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶的指導(dǎo)提示步驟； 識別用戶對在上述指導(dǎo)提示步驟中提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別步驟； 基于在上述用戶狀態(tài)識別步驟中識別出的用戶的反應(yīng)，推定表示用戶對在上述指導(dǎo)提示步驟中提示的上述指導(dǎo)數(shù)據(jù)有多少依賴的依賴度的用戶依賴度推定步驟，其中，在上述指導(dǎo)選擇步驟中，從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)在上述用戶依賴度推定步驟中推定出的上述依賴度的指導(dǎo)數(shù)據(jù)。
13. —種識別程序，其特征在于使計算機作為以下各部而發(fā)揮其功能存儲用于給正在進行操作的用戶操作支援的指導(dǎo)數(shù)據(jù)的指導(dǎo)數(shù)據(jù)存儲部； 從上述指導(dǎo)數(shù)據(jù)存儲部選擇對于上述操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇部； 將由上述指導(dǎo)選擇部選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶的指導(dǎo)提示部； 識別用戶對由上述指導(dǎo)提示部提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別部； 基于由上述用戶狀態(tài)識別部識別出的用戶的反應(yīng)，推定表示用戶對由上述指導(dǎo)提示部提示的上述指導(dǎo)數(shù)據(jù)的依賴度有多少依賴的用戶依賴度推定部，其中，上述指導(dǎo)選擇部，從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)由上述用戶依賴度推定部推定出的上述依賴度的指導(dǎo)數(shù)據(jù)。
14. 一種記錄介質(zhì)，記錄了識別程序，可由計算機讀取，其特征在于，該識別程序使 計算機作為以下各部而發(fā)揮其功能存儲用于給正在進行操作的用戶操作支援的指導(dǎo)數(shù)據(jù)的指導(dǎo)數(shù)據(jù)存儲部； 從上述指導(dǎo)數(shù)據(jù)存儲部選擇對于上述操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇部； 將由上述指導(dǎo)選擇部選擇的上述指導(dǎo)數(shù)據(jù)提示給用戶的指導(dǎo)提示部； 識別用戶對由上述指導(dǎo)提示部提示的上述指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別部； 基于由上述用戶狀態(tài)識別部識別出的用戶的反應(yīng)，推定表示用戶對由上述指導(dǎo)提示部所提示的上述指導(dǎo)數(shù)據(jù)有多少依賴的依賴度的用戶依賴度推定部，其中，上述指導(dǎo)選擇部，從上述指導(dǎo)數(shù)據(jù)存儲部選擇適應(yīng)由上述用戶依賴度推定部推定出的上述依賴度的指導(dǎo)數(shù)據(jù)。
全文摘要
本發(fā)明提供一種識別裝置、識別方法、識別程序以及記錄了識別程序的計算機可以讀取的記錄介質(zhì)，可以對操作中的用戶提示適當?shù)闹笇?dǎo)，來支援用戶的操作。該識別裝置包括存儲用于給正在進行操作的用戶操作支援的指導(dǎo)數(shù)據(jù)的指導(dǎo)數(shù)據(jù)庫、從指導(dǎo)數(shù)據(jù)庫選擇對于操作的指導(dǎo)數(shù)據(jù)的指導(dǎo)選擇部、將由指導(dǎo)選擇部選擇出的指導(dǎo)數(shù)據(jù)提示給用戶的指導(dǎo)提示部、識別用戶對由指導(dǎo)提示部提示的指導(dǎo)數(shù)據(jù)的反應(yīng)的用戶狀態(tài)識別部、基于由用戶狀態(tài)識別部識別出的用戶的反應(yīng)，推定表示用戶對所提示的指導(dǎo)數(shù)據(jù)有多少依賴的依賴度的用戶依賴度推定部，其中，指導(dǎo)選擇部從指導(dǎo)數(shù)據(jù)庫選擇適應(yīng)由用戶依賴度推定部推定出的依賴度的指導(dǎo)數(shù)據(jù)。
文檔編號G06Q50/00GK101276221SQ200810087268
公開日2008年10月1日 申請日期2008年3月26日 優(yōu)先權(quán)日2007年3月29日
發(fā)明者長光左千男 申請人:松下電器產(chǎn)業(yè)株式會社