專利名稱：用戶界面系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用戶界面系統(tǒng)，特別是涉及用戶能夠?qū)τ嬎銠C(jī)裝置指 定要執(zhí)行的功能的用戶界面系統(tǒng)。
背景技術(shù)：
近年來，提出了各種用戶界面系統(tǒng)。在其中的某種用戶界面系統(tǒng) 中，登記有包含羅馬字母、數(shù)字及指令的組，它們被分類為子組。各 子組與用戶的手指的一部分相關(guān)聯(lián)。此外，該用戶界面系統(tǒng)具備包含 多個鍵的鍵盤，對各鍵分配上述羅馬字母、數(shù)字及指令中的至少1個。 此外，在該用戶界面系統(tǒng)中，具備手指識別系統(tǒng)，手指識別系統(tǒng)識別 接觸在鍵上的手指，選擇分配給與鍵相互作用的手指的子組。
如上所述，在用戶界面系統(tǒng)中，各子組與用戶的手指建立了關(guān)聯(lián)， 手指識別系統(tǒng)識別當(dāng)前正在操作鍵的手指，來確定子組。換言之，在 鍵盤上不顯示羅馬字母、數(shù)字及指令的說明，用戶必須記住哪個手指 與哪個子組相關(guān)聯(lián)，存在使用方便性差的問題。
專利文獻(xiàn)1:日本特表2003-529130號公報

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提供一種使用方便性更好的用戶界面系統(tǒng)。
為了達(dá)到上述目的，本發(fā)明的第l技術(shù)方案面向用戶界面系統(tǒng)。 該用戶界面系統(tǒng)具備操作部，接受用戶的指示輸入；手指位置檢測 部，檢測操作部的操作面上的表示用戶指尖的當(dāng)前位置的第1坐標(biāo)值
組；部件保存部，保存表示GUI (Graphical User Interface)部件的部 件數(shù)據(jù)；分配部，對由手指位置檢測部檢測出的第l坐標(biāo)值，分別唯 一地分配保持在部件保存部中的部件數(shù)據(jù)；圖像制作部，按照分配部 的分配生成GUI圖像，GUI圖像表示將保存在部件保存部中的部件 數(shù)據(jù)所表示的GUI部件、和由手指位置檢測部檢測出的第1坐標(biāo)值 分別唯一地關(guān)聯(lián)起來的用戶界面；顯示控制部，將由圖像制作部生成 的GUI圖像顯示在顯示畫面上。
此外，優(yōu)選的是，還具備可拍攝用戶的手操作地設(shè)置的攝像裝置; 手指位置檢測部根據(jù)攝像裝置的攝影圖像，檢測操作部的操作面上的 表示用戶指尖的當(dāng)前位置的坐標(biāo)值組。
此外，優(yōu)選的是，圖像制作部使與由攝像裝置取得的手圖像的手 指中的、用戶彎折的手指相關(guān)聯(lián)的GUI部件消失；還具備功能執(zhí)行
部，該功能執(zhí)行部執(zhí)行對表示最后留下的指尖的當(dāng)前位置的坐標(biāo)值分
配的GUI部件的功能。
優(yōu)選的是，圖像制作部制作將由手指位置檢測部檢測出的第1坐 標(biāo)值分別表示的位置、和由分配部分配的部件數(shù)據(jù)表示的GUI部件 之間用線連接的GUI圖像。
優(yōu)選的是，圖像制作部還具備用于存儲過去執(zhí)行的功能的履歷信 息保持部，基于履歷信息制作對指尖附加的GUI圖像。
優(yōu)選的是，圖像制作部將由分配部分配的部件數(shù)據(jù)所表示的GUI 部件，合成到由手指位置檢測部檢測出的第1坐標(biāo)值分別表示的位置 或其周邊。
優(yōu)選的是，圖像制作部還具備判別左右手的左右手判別部，根據(jù) 用左手操作時和用右手操作時，變更對先前的第1坐標(biāo)值附加的GUI 部件。
優(yōu)選的是，還具備識別由手指位置檢測部檢測出的第1坐標(biāo)值分 別是哪個手指的坐標(biāo)值的手指識別部。
優(yōu)選的是，顯示控制部顯示包含表示由手指識別部識別的多種指
尖的位置的第1坐標(biāo)值的手圖像，在分配部將GUI部件唯一地分配
給表示由手指識別部識別的多種指尖的位置的各個第1坐標(biāo)值后，將 顯示的手圖像消除。
優(yōu)選的是，顯示控制部顯示由分配部向表示由識別部識別的多種
指尖的位置的各個第1坐標(biāo)值分配的GUI部件對應(yīng)于哪個手指。 優(yōu)選的是，圖像制作部根據(jù)由手指識別部識別的手指的種類，制
作變更了保存在部件保存部中的GUI部件的大小的GUI圖像。
優(yōu)選的是，顯示控制部使得由分配部對手指位置檢測部檢測出的
特定的第1坐標(biāo)值所表示的指尖分配的GUI部件，追隨該指尖的動
作進(jìn)行顯示。
優(yōu)選的是，顯示控制部對應(yīng)于由手指位置檢測部檢測出的特定的 第1坐標(biāo)值所表示的指尖的動作，使由分配部分配給該指尖的GUI 部件移動著進(jìn)行顯示。
優(yōu)選的是，分配部僅維持對于由手指位置檢測部檢測出的特定的 第1坐標(biāo)值的分配，對于由手指位置檢測部檢測出的其它的第1坐標(biāo) 值變更分配。
優(yōu)選的是，還具備接觸位置檢測部，檢測表示用戶觸摸操作部 的操作面的位置的第2坐標(biāo)值；接觸手指判斷部，根據(jù)由接觸位置檢 測部檢測出的第2坐標(biāo)值和由分配部唯一地分配的第1坐標(biāo)值，判斷
用戶使用哪個手指觸摸操作面，還確定對判斷的手指分配的GUI部 件；功能執(zhí)行部，執(zhí)行對由接觸手指判斷部確定的GUI部件分配的 功能。
優(yōu)選的是，響應(yīng)用戶的操作，分配部將一旦對由手指位置檢測部 檢測出的第1坐標(biāo)值分配的部件數(shù)據(jù)，重新分配給其它的GUI部件。
優(yōu)選的是，對應(yīng)于用戶的操作，在檢測出第2坐標(biāo)位置時，以檢 測出的位置為基準(zhǔn)，檢測第1坐標(biāo)位置的位移，執(zhí)行對應(yīng)于位移的功
優(yōu)選的是，分配部對于表示特定種類手指的位置的第1坐標(biāo)值不 分配部件，而對于表示其余手指的位置的第1坐標(biāo)值唯一地分配在多
個設(shè)備之間相互不同的部件數(shù)據(jù)；圖像制作部能夠用特定的手指選擇 多個設(shè)備，并且響應(yīng)特定的手指的操作，對于當(dāng)前選擇的設(shè)備，生成 將表示由手指識別部識別了種類的其余手指的位置的第1坐標(biāo)值、和 保存在部件保存部中且由分配部分配給其余手指的部件數(shù)據(jù)唯一地 關(guān)聯(lián)起來的GUI圖像。
優(yōu)選的是，如果用戶接觸操作部的操作面的至少兩點，則接觸位 置檢測部響應(yīng)各個，檢測表示最初的接觸位置的第2坐標(biāo)值，還檢測 表示第2次接觸位置的第2坐標(biāo)值；接觸手指判斷部根據(jù)由接觸位置 檢測部檢測出的最初的第2坐標(biāo)值、和由分配部唯一地分配的第1坐 標(biāo)值及GUI部件，判斷用戶使用哪個手指觸摸了操作部的操作面， 進(jìn)一步，根據(jù)由接觸位置檢測部檢測出的第2次的第2坐標(biāo)值，確定 用戶這次指定的GUI部件。
優(yōu)選的是，如果用戶描畫操作部的操作面的至少兩點間，則接觸 位置檢測部響應(yīng)各個接觸，定期地檢測表示當(dāng)前的接觸位置的第2坐 標(biāo)值；接觸手指判斷部根據(jù)由接觸位置檢測部定期地檢測的第2坐標(biāo) 值、和由分配部唯一地分配的第1坐標(biāo)值及GUI部件，判斷用戶使 用哪個手指觸摸了操作部的操作面，并且確定用戶這次指定的GUI 部件。
本發(fā)明的第2技術(shù)方案面向在用戶界面系統(tǒng)中使用的顯示方法。 該顯示方法具備手指位置檢測步驟，檢測設(shè)在用戶界面系統(tǒng)中并且 接受用戶的指示輸入的操作部的操作面上的、表示用戶指尖的當(dāng)前位 置的第l坐標(biāo)值組；分配步驟，對由位置檢測步驟檢測出的各個第l 坐標(biāo)值唯一地分配被保存在設(shè)置于用戶界面系統(tǒng)中的存儲裝置中、表 示GUI部件的部件數(shù)據(jù)；圖像制作步驟，按照分配步驟的分配生成
GUI圖像，GUI圖像表示將保存在存儲裝置中的GUI部件、和由手 指位置檢測步驟檢測出的第1坐標(biāo)值分別唯一地關(guān)聯(lián)起來的用戶界 面；顯示控制步驟，將由圖像制作步驟生成的GUI圖像顯示在用戶 界面系統(tǒng)所具備的的顯示畫面上。
如上述各技術(shù)方案所述，對于各GUI部件分配預(yù)先設(shè)定的功能。 這樣的GUI部件分別作為GUI圖像的一部分顯示在顯示畫面上。將 所顯示的GUI部件與用戶的各指尖關(guān)聯(lián)、即分配給各指尖。由于這 樣顯示了各GUI部件，所以有關(guān)各技術(shù)方案的用戶界面系統(tǒng)能夠可 辨識地對用戶提示至少能夠?qū)崿F(xiàn)怎樣的功能。由此，能夠提供使用方 便性更好的用戶界面系統(tǒng)。
本發(fā)明的上述及其他目的、特征、方案及優(yōu)點在結(jié)合附圖理解以 下所述的本發(fā)明的詳細(xì)的說明時會變得更加清楚。


圖1是表示本發(fā)明的一實施方式涉及的用戶界面系統(tǒng)1的概略結(jié) 構(gòu)的示意圖。
圖2是表示圖1所示的計算機(jī)裝置3的功能塊結(jié)構(gòu)的示意圖。 圖3是表示圖2所示的計算機(jī)裝置3的顯示處理的流程圖。 圖4是表示圖2所示的手指位置檢測部32的詳細(xì)處理順序的流 程圖。
圖5A是表示圖2所示的手指識別部33的處理一例的第1示意圖。 圖5B是表示圖2所示的手指識別部33的處理一例的第2示意圖。 圖6A是表示由圖2所示的圖像制作部36制作的GUI圖像的第1 示意圖。
圖6B是表示由圖2所示的圖像制作部36制作的GUI圖像的第2 示意圖。
圖6C是表示由圖2所示的圖像制作部36制作的GUI圖像的第3
示意圖。
圖6D是表示由圖2所示的圖像制作部36制作的GUI圖像的第4 示意圖。
圖7是表示圖2所示的計算機(jī)裝置3的功能執(zhí)行處理的流程圖。 圖8是表示本發(fā)明的變形例涉及的用戶界面系統(tǒng)11的概略結(jié)構(gòu) 的示意圖。
圖9是表示圖8所示的計算機(jī)裝置14的功能塊結(jié)構(gòu)的示意圖。 圖10是表示圖9所示的計算機(jī)裝置14的顯示處理的流程圖。 圖11A是表示由圖9所示的圖像制作部146制作的GUI圖像的 第1示意圖。
圖11B是表示由圖9所示的圖像制作部146制作的GUI圖像的
第2示意圖。
圖12是表示圖9所示的計算機(jī)裝置14的功能執(zhí)行處理的流程圖。
圖13是表示圖1或圖8所示的用戶界面系統(tǒng)1或11的多功能分 配方法的第l例的示意圖。
圖14是表示圖1或圖8所示的用戶界面系統(tǒng)1或11的多功能分 配方法的第2例的示意圖。
圖15是表示圖1或圖8所示的用戶界面系統(tǒng)1或11的多功能分 配方法的第3例的示意圖。
圖16是表示圖1或圖8所示的用戶界面系統(tǒng)1或11的多功能分 配方法的第4例的示意圖。
圖17是表示圖1或圖8所示的用戶界面系統(tǒng)1或11的GUI部件 的分配變更方法的一例的示意圖。
圖18A是分配圖1或圖8所示的用戶界面系統(tǒng)1或11的主菜單 的GUI部件時的顯示的一例。
圖18B是從圖18A的主菜單中選擇功能進(jìn)行顯示的子菜單顯示
圖19A是分配圖1或圖8所示的用戶界面系統(tǒng)1或11的主菜單 的GUI部件時的顯示的一例。
圖19B是變更圖1或圖8所示的用戶界面系統(tǒng)1或11的GUI部 件的分配，使按鈕追隨于特定手指的一例。
圖20是在操作GUI時使按鈕追隨于特定手指的顯示一例。
圖21是分配圖1或圖8所示的用戶界面系統(tǒng)1或11的GUI部件 時的顯示一例、和手指沒有從接觸位置檢測部離開的狀態(tài)下的顯示一
圖22是在顯示GUI部件時將手形狀的顯示消除的一例。 圖23是對手指附加功能并操作GUI時的顯示一例。 圖24A是建立手指與GUI的對應(yīng)并操作GUI部件時的一例。 圖24B是操作圖24A的GUI部件時的手指動作的一例。 圖25A是分配圖1或圖8所示的用戶界面系統(tǒng)1或11的功能時 的顯示一例。
圖25B是執(zhí)行圖25A中的剩余手指的功能時的顯示一例。
附圖標(biāo)記說明
1、 11用戶界面系統(tǒng)
2 觸摸屏
21 顯示畫面
3、 14計算機(jī)裝置
31、 141圖像接收部
32、 142手指位置檢測部
33、 143手指識別部
34、 144部件分配部
35、 145圖像制作部
36、 146顯示控制部
37、 147接觸位置檢測部
38、 148接觸手指判斷部
39、 149功能執(zhí)行部
4、 15存儲裝置
5、 13攝像裝置
12 指針設(shè)備(pointing device) 121操作區(qū)域
具體實施例方式
圖1是表示本發(fā)明的一實施方式涉及的用戶界面系統(tǒng)1的概略結(jié) 構(gòu)的示意圖。另外，為了便于說明，在圖1中，在顯示裝置21側(cè)示 出了由x軸及y軸構(gòu)成的2維坐標(biāo)系。在圖1中，作為大體結(jié)構(gòu)，用 戶界面系統(tǒng)1具備觸摸屏2、計算機(jī)裝置3、存儲裝置4和攝像裝置
觸摸屏2在本實施方式中是通過用戶用例如5根手指F, Fs分別 觸摸具有預(yù)先設(shè)定的尺寸的顯示畫面21，用戶能夠?qū)B接在觸摸屏2 上的計算機(jī)裝置3給予指示以使其執(zhí)行規(guī)定功能的輸入裝置。
計算機(jī)裝置3典型地講至少包括處理器和各種存儲器，安照保存 在例如ROM那樣的存儲器中的計算機(jī)程序工作。這里，圖2是表示 這樣的計算機(jī)裝置3的功能塊結(jié)構(gòu)的示意圖。在圖2中，計算機(jī)裝置 3通過執(zhí)行上述的計算機(jī)程序，實現(xiàn)圖像接收部31、手指位置檢測部 32、手指識別部33、部件分配部34、圖像制作部35和顯示控制部 36的功能。
再次參照圖l。存儲裝置4保存為了生成要顯示在上述顯示畫面 21上的GUI (Graphical User Interface,圖形用戶界面)圖像所需要 的GUI部件數(shù)據(jù)。對GUI部件數(shù)據(jù)分配了預(yù)先設(shè)定的功能，GUI部 件數(shù)據(jù)例如是表示圖標(biāo)或按鈕那樣的GUI部件的圖像數(shù)據(jù)。另外， 在本實施方式中，為了方便，假設(shè)在存儲裝置4中保存有分別表示5
個GUI部件的圖像數(shù)據(jù)。此外，在圖1中例示地表示兩個GUI部件 Q及C2被顯示在顯示畫面21上的狀況。
攝像裝置5被設(shè)置成使自身的像角至少覆蓋觸摸屏2的顯示區(qū)域 (即顯示畫面)21。這樣設(shè)置的攝像裝置5以預(yù)先設(shè)定的時間間隔在 自身的像角范圍內(nèi)攝影，將攝影圖像輸出給計算機(jī)裝置3。
接著，參照圖3，對上述那樣結(jié)構(gòu)的用戶界面系統(tǒng)l的顯示處理 進(jìn)行說明。用戶將自身的手H (參照圖1)放置到顯示畫面21上。 攝像裝置5拍攝自身的像角內(nèi)的狀況，將由此得到的攝影圖像輸出給 計算機(jī)裝置3 (步驟S31)。這里，如上所述，在顯示畫面21上載置 了手H的情況下，在攝影圖像中顯示有手H。
在計算機(jī)裝置3中，圖像接收部31接受從攝像裝置5輸出的攝 影圖像(步驟S32)，手指位置檢測部32從接受到的攝影圖像中檢測 出表示用戶的各手指F, Fs的顯示畫面21上的位置的坐標(biāo)值(以下 稱作當(dāng)前位置坐標(biāo)值)(步驟S33)。
這里，參照圖4的流程圖，說明圖2所示的手指位置檢測部32 的詳細(xì)處理、即圖3的步驟S33的詳細(xì)處理。首先，手指位置檢測部 32將由圖像接收部31接收到的攝影圖像數(shù)據(jù)取入到未圖示的幀存儲 器中(步驟S41)。接著，手指位置檢測部32進(jìn)行身體區(qū)域提取處理， 利用幀存儲器內(nèi)的攝影圖像數(shù)據(jù)制作表示顯示有用戶的手H的區(qū)域 的部分圖像數(shù)據(jù)(步驟S42)。在身體區(qū)域提取處理中，區(qū)分為幀存 儲器內(nèi)的攝影圖像中的用戶的手H的區(qū)域和背景(大部分是顯示畫 面21)的區(qū)域，僅提取用戶的手H的區(qū)域。
作為區(qū)別上述那樣的手H及背景的方法，有例如背景差分法。在 背景差分法中，手指位置檢測部32通過圖像接收部31預(yù)先取得僅顯 示有顯示畫面21的圖像數(shù)據(jù)，作為背景圖像數(shù)據(jù)。手指位置檢測部 32將這樣的背景圖像數(shù)據(jù)和在步驟S41取入的攝影圖像數(shù)據(jù)按每個 像素或每個塊進(jìn)行比較，將在攝影圖像中與背景部分不同的區(qū)域作為
手H的區(qū)域提取。根據(jù)背景差分法，由于在攝像裝置5攝影時不需 要使手H的背景為單一顏色，所以在如本實施方式那樣將觸摸屏2 的顯示畫面21作為顯示系及操作系共用的情況下是有效的。
在上述那樣的步驟S42之后，手指位置檢測部32進(jìn)行指尖位置 檢測處理，使用上述那樣的部分圖像數(shù)據(jù)，檢測出表示用戶的指尖位 置的當(dāng)前位置坐標(biāo)值組(步驟S43)。
作為檢測上述那樣的指尖位置的方法，例示三種。
第1種方法是，對上述那樣的表示手H的部分圖像數(shù)據(jù)進(jìn)行圖案 匹配來推測指尖位置的方法。具體而言，利用指尖帶有圓度的特征， 利用圓形的模板在部分圖像中的手H的區(qū)域周邊執(zhí)行圖案匹配。通 過這樣的圖案匹配，手指位置檢測部32取得手指F, F5的前端的候 補(bǔ)點。另外，在第1方法中，由于也有可能誤識別指尖，所以手指位 置檢測部32對于各手指F, Fs將候補(bǔ)點集中為l個，由此，取得表 示各手指F, F5的前端位置的當(dāng)前位置坐標(biāo)值。
第2種方法是，在用戶使用本用戶界面系統(tǒng)l的情況下，在各手 指F! Fs的前端添加預(yù)先設(shè)定的記號的方法。作為記號的典型例， 有涂在指甲上的指甲油。由于這樣的記號具有預(yù)先設(shè)定的亮度或色 相，所以手指位置檢測部32根據(jù)上述那樣的部分圖像數(shù)據(jù)，檢測記 號的亮度或色相，由此得到表示各手指Fj F5的前端位置的當(dāng)前位 置坐標(biāo)值。根據(jù)上述那樣的第2種方法，在攝像裝置5被設(shè)置在以外 部光為代表的噪聲較少的場所的情況下，由于記號的亮度或色相的變 化較少，所以是有效的，能夠正確地取得并檢測到表示各手指Fi F5的前端位置的當(dāng)前位置坐標(biāo)值。
此外，在第3種方法中，手指位置檢測部32進(jìn)行校準(zhǔn)，根據(jù)手 H的運(yùn)動追蹤被置于預(yù)先設(shè)定的初始位置上的手指F, F5的前端。 更具體地講，在校準(zhǔn)時，用戶將手指Fi Fs的前端置于在顯示畫面 21上設(shè)定的位置(初始位置)。手指位置檢測部32取得在這樣的狀
態(tài)下由攝像裝置5攝影的圖像，檢測初始位置(即手指F, Fs的前
端)的亮度或色相。然后，手指位置檢測部32在每當(dāng)取得來自攝像 裝置5的攝影圖像時，檢測與校準(zhǔn)時的手指Fi F5的前端實質(zhì)上具 有相同的亮度及色相的位置，分別作為表示此時的各手指？1 &的 前端位置的當(dāng)前位置坐標(biāo)而取得。
至此，結(jié)束手指位置檢測部32的詳細(xì)處理的說明，再次參照圖3。 如果上述那樣的步驟S33結(jié)束，則在計算機(jī)裝置3中，手指識別部 33取得由手指位置檢測部32取得的當(dāng)前位置坐標(biāo)值組，識別哪個當(dāng) 前位置坐標(biāo)值是拇指F,、食指F2、中指F3、無名指F4及小指Fs，即 識別手指的種類(步驟S34)。
下面，說明圖2所示的手指識別部33的詳細(xì)處理、即圖3的步 驟S34的詳細(xì)處理。對于手指識別部33的處理，例示以下的兩種方 法。
在第1種方法中，利用指尖間的距離識別手指的種類。具體而言， 首先，手指識別部33從自手指位置檢測部32得到的5個當(dāng)前位置坐 標(biāo)值中選擇兩個最端部的當(dāng)前位置坐標(biāo)值和其相鄰的當(dāng)前位置坐標(biāo) 值的組。然后，手指識別部33計算屬于一個組的兩個當(dāng)前位置坐標(biāo) 值間的距離、和屬于另一個組的兩個當(dāng)前位置坐標(biāo)值間的距離，將較 長者作為拇指Fi與食指F2間的距離，將不是這樣的作為無名指F4和 小指Fs。這樣，手指識別部33識別哪個當(dāng)前位置坐標(biāo)值屬于哪個手 指。
作為第2種方法，手指識別部33也可以從自手指位置檢測部32 得到的5個當(dāng)前位置坐標(biāo)值的x坐標(biāo)值較小或較大者開始，依次作為 拇指Fi、食指F2、中指F3、無名指F4、以及小指Fs。但是，在此情 況下，必須使手H以指定的朝向相對于顯示畫面21放置。此外，由 于顯示畫面21上的手H有時不知道是右手還是左手，所以手指識別 部33從自手指位置檢測部32得到的5個當(dāng)前位置坐標(biāo)值中選擇圖 5A所示的X坐標(biāo)值最小的坐標(biāo)值Pmin和最大的坐標(biāo)值Pmax。此外， 手指識別部33從由手指位置檢測部32生成的部分圖像數(shù)據(jù)中如圖
5B所示那樣檢測出兩端手指的粗細(xì)W,及W5，將較粗者作為拇指Fp 將較細(xì)者作為小指F5。再者，手指識別部33在拇指F,位于x坐標(biāo)值
比小指F5大的一側(cè)的情況下，將當(dāng)前位置坐標(biāo)值Pmax識別為拇指Fj。
這樣，如果能夠識別拇指F,的當(dāng)前位置坐標(biāo)值，則也能夠識別其它 手指F2 F5的當(dāng)前位置坐標(biāo)值。此外，如果每當(dāng)攝影圖像到達(dá)時進(jìn) 行這樣的運(yùn)算，則識別的精度提高，但至少進(jìn)行l(wèi)次就可以。
另外，也可以不利用上述的方法判斷用戶是使用右手還是使用左 手，而是用戶利用未圖示的輸入裝置來指定。
此外，在計算機(jī)裝置3中，部件分配部34接受來自手指識別部 33的識別結(jié)果，即拇指F,的當(dāng)前位置坐標(biāo)值、食指F2的當(dāng)前位置坐 標(biāo)值、中指F3的當(dāng)前位置坐標(biāo)值、無名指F4的當(dāng)前位置坐標(biāo)值、以 及小指Fs的當(dāng)前位置坐標(biāo)值，將此次接受到的5個當(dāng)前位置坐標(biāo)值 唯一地分別分配給保存在存儲裝置4中的5個GUI部件數(shù)據(jù)，保持 當(dāng)前的分配狀況(步驟S35)。圖2中例示地表示對拇指F,的當(dāng)前位 置坐標(biāo)值分配GUI部件d、對食指F2的當(dāng)前位置坐標(biāo)值分配GUI
部件C2的情況。
然后，在計算機(jī)裝置3中，圖像制作部35在未圖示的幀存儲器 中制作表示GUI圖像的GUI圖像數(shù)據(jù)(步驟S36)。具體而言，在 GUI圖像中，將上述GUI部件數(shù)據(jù)表示的5個GUI部件分別合成到 相互不重合的坐標(biāo)位置。進(jìn)而，在GUI圖像中，將保持在部件分配 部34中的拇指的當(dāng)前位置坐標(biāo)值和由部件分配部34對其分配的 GUI部件Q的關(guān)聯(lián)描繪可以由用戶視覺識別。對于其它手指F2 F5 也同樣，分別將由部件分配部34保持的手指F2 F5的當(dāng)前位置坐標(biāo) 值和被分配給作為對象的當(dāng)前位置坐標(biāo)值的GUI部件的關(guān)聯(lián)描繪成 可以由用戶視覺識別。
以下，參照圖6A 圖6D例示4個由上述圖像制作部35描繪的 GUI圖像。在圖6A中，圖像制作部35在拇指F,的當(dāng)前位置坐標(biāo)值 P,和被分配給作為對象的當(dāng)前位置坐標(biāo)值Pi的GUI部件d之間描繪 線L，，由此將兩者關(guān)聯(lián)起來。同樣，將其它手指F2 Fs的當(dāng)前位置 坐標(biāo)值P2 Ps和作為對象的GUI部件C2 Cs用線L2 Ls連結(jié)。在此 情況下，更優(yōu)選的是，線L, L5是相互不同的種類(即，典型地講 是線種類、線的顏色、線的粗細(xì))。此外，也可以根據(jù)用戶指定了執(zhí) 行由GUI部件確定的功能的次數(shù)，來變更線種類，。
此外，在圖6A的例子中，各GUI部件d Cs被合成到顯示畫 面21的端側(cè)，由此能夠確保例如在車載用導(dǎo)航系統(tǒng)中顯示的地圖、 或者顯示電視影像的區(qū)域。此外，為了確保地圖或電視影像的視覺識 別性，優(yōu)選通過周知的混合處理將各GUI部件d Cs及線L, L5 合成在地像或電視影像上，以使它們能夠由用戶半透明地視覺識 別。此外，線L, Ls優(yōu)選在顯示畫面21中被描繪成繞過放置各手指 F! Fs的區(qū)域。
此外，如圖6B或圖6C所示，圖像制作部35將作為對象的GUI 部件C,合成在由拇指Fi的當(dāng)前位置坐標(biāo)值PJ角定的位置上。同樣， 將作為對象的GUI部件C2 C5及合成在由其它手指F2 F5的當(dāng)前位 置坐標(biāo)值P2 Ps確定的位置上。另夕卜，如圖6C所示，在各GUI部件 C, C5包含表示規(guī)定功能的記號的情況下，雖然GUI部件d Cs被 隱藏在手指Fi F5的后側(cè)，但與用文字表現(xiàn)功能時相比，用戶更容 易地識別出對哪個GUI部件分配了哪個功能。由此，能夠縮短用戶 注視顯示畫面21的時間，所以容易將用戶界面系統(tǒng)1組裝到畫面注 視易成為問題的車載用途中。
此外，如圖6D所示，圖像制作部35將作為對象的GUI部件d 合成在拇指F!的當(dāng)前位置坐標(biāo)值P^勺周邊。這里，優(yōu)選的是，GUI 部件d以由當(dāng)前位置坐標(biāo)值Pj確定的位置為基準(zhǔn)，合成在向y軸的
200680010552.4
說明書第14/25頁
正向離開預(yù)定距離的位置上。由此，GUI部件d如圖6D所示，不 易隱藏在拇指F〗的后側(cè)，所以用戶容易視覺識別GUI部件Q。同樣， 將作為對象的GUI部件C2 C5合成在其它手指F2 F5的當(dāng)前位置坐 標(biāo)值P2 Ps的周邊。
另外，如上所述，在手指識別部33也能夠識別用戶當(dāng)前正在使 用的手H是左右哪一個，所以部件分配部34也可以對左手的各手 指分配屬于預(yù)先設(shè)定的第1組的部件數(shù)據(jù)，對右手的各手指分配屬 于與第1組不同的第2組的部件數(shù)據(jù)。
此外，圖像制作部35也可以根據(jù)GUI部件d C5的使用履歷或 使用頻率、或者根據(jù)各手指的坐標(biāo)值組的值，變更GUI部件d Cs 的大小、顏色、形狀或透明度、甚至在GUI部件d C5中使用的字 體。此外，關(guān)于使用頻率較低的GUI部件，也可以不合成為GUI圖 像，或者合成閃爍顯示的GUI圖像。
以上，結(jié)束了圖像制作部35的詳細(xì)處理的說明，再次參照圖3。 如果上述那樣的步驟S36結(jié)束，則在計算機(jī)裝置3中，顯示控制部 36按照此次在幀存儲器中制作的GUI圖像數(shù)據(jù)，將GUI圖像(參照 圖1、圖6A 圖6D)顯示在觸摸屏2的顯示畫面21上(步驟S37)。 另外，在圖1例示的GUI圖像中，表示拇指F,位置的當(dāng)前位置坐標(biāo) 值P〗與GUI部件d用線L,連接，并且表示食指F2位置的當(dāng)前位置
坐標(biāo)值P2與GUI部件C2用線L2連接，但為了圖示的方便，對于其
它手指F3 F5并沒有示出當(dāng)前位置坐標(biāo)值、線以及GUI部件。
參照以上的圖1及圖2說明的處理，以預(yù)先設(shè)定的時間間隔執(zhí)行。 通過以上所述的處理，攝像裝置5以上述時間間隔將攝影圖像定期地 輸出給計算機(jī)裝置3。此外，在計算機(jī)裝置3中，圖像接收部31、手 指位置檢測部32、手指識別部33、部件分配部34、圖像制作部35 及顯示控制部36的一系列處理是以上述時間間隔定期地進(jìn)行的。因 而，在顯示畫面21上，在各手指Fi F5運(yùn)動的期間，各手指F, Fs
的當(dāng)前位置坐標(biāo)值追隨各自的運(yùn)動而隨時間變化。結(jié)果，在圖6A所
示的GUI圖像中，以GUI部件的合成位置為基準(zhǔn)，連結(jié)各GUI部件 與各手指的當(dāng)前位置坐標(biāo)值的線，也對應(yīng)于時間經(jīng)過而追隨各手指的 運(yùn)動進(jìn)行伸縮及旋轉(zhuǎn)。換言之，從用戶看來，好像自己的手指與GUI 部件用線被連接起來。由此，從用戶來看，即使自己的手指F, Fs 運(yùn)動，通過如上所述地伸縮及旋轉(zhuǎn)的線，也能夠識別對哪個手指分配 了哪個GUI部件。
此外，在圖6B 圖6C所示的GUI圖像中，用戶感到GUI部件 自身對應(yīng)于時間經(jīng)過而追隨各手指的運(yùn)動進(jìn)行移位。由此，用戶即使 自己的手指F, Fs運(yùn)動，通過追隨其運(yùn)動的GUI部件，也能夠識別 對哪個手指分配了哪個GUI部件。
以上，對于本用戶界面系統(tǒng)1說明了顯示GUI圖像為止的處理。 接著，在本用戶界面系統(tǒng)l中，說明執(zhí)行對顯示在顯示畫面21上的 GUI部件分配的功能的處理。為了進(jìn)行這樣的處理，計算機(jī)裝置3 按照保存在內(nèi)部的存儲器中的計算機(jī)程序工作，如圖2所示，還實現(xiàn) 接觸位置檢測部37、接觸手指判斷部38、功能執(zhí)行部39的功能。
接著，參照圖7，對圖2所示的用戶界面系統(tǒng)1的功能執(zhí)行處理 進(jìn)行說明。用戶通過上述的顯示處理，用分配了特定功能的任一個手 指接觸在顯示畫面21上，并且施加力。于是，從觸摸屏2對計算機(jī) 裝置3給出能夠確定此次的接觸位置的信號(以下稱作位置信號)。
在計算機(jī)裝置3中，接觸位置檢測部37如果從觸摸屏2被提供 位置信號(步驟S71)，則在顯示畫面21中檢測表示用戶當(dāng)前接觸的 位置的坐標(biāo)值(以下稱作接觸坐標(biāo)值)(步驟S72)。
接觸手指判斷部38檢查保持在部件分配部34中的分配狀況，選 擇與由接觸位置檢測部37檢測到的接觸坐標(biāo)值實質(zhì)上一致的當(dāng)前位 置坐標(biāo)值(步驟S73)。進(jìn)而，接觸手指判斷部38確定對所選擇的當(dāng) 前位置坐標(biāo)值分配的GUI部件(步驟S74)。
功能執(zhí)行部39執(zhí)行對由接觸手指判斷部38識別的GUI部件分 配的功能(步驟S75)。
如以上說明，在本用戶界面系統(tǒng)l中，在部件分配部34中保持 各手指的當(dāng)前位置和被分配給各手指的GUI部件。此外，接觸手指 判斷部38基于從觸摸屏2送來的位置信號和被保持在部件分配部34 的分配狀況，判斷用戶當(dāng)前使用的手指，進(jìn)一步確定用戶這次要執(zhí)行 的功能。根據(jù)這樣的本用戶界面系統(tǒng)l，用戶不需要將手指拿到以往 那樣的配置在預(yù)定場所的GUI部件上。由此，能夠提供用戶可迅速 操作的用戶界面系統(tǒng)l。
另外，在以上的實施方式中，說明了用戶界面系統(tǒng)l具備觸摸屏 2，但也可以組合觸摸面板、觸摸板或觸摸描繪儀、投影機(jī)來實現(xiàn)同 樣的功能。在此情況下，投影機(jī)將GUI圖像投影在觸摸面板、觸摸 板或觸摸描繪儀上。 (變形例)
在上述實施方式中，用戶界面系統(tǒng)1具備觸摸屏2，結(jié)果，顯示 畫面21是用戶的操作區(qū)域并且是GUI圖像的顯示區(qū)域。但是，這樣 的用戶的操作區(qū)域與GUI圖像的顯示區(qū)域也可以處于相互分離的位 置。以下，參照圖8說明這樣的用戶的操作區(qū)域與GUI圖像的顯示 區(qū)域位于獨立位置上的用戶界面系統(tǒng)11。
在圖8中，作為用戶界面系統(tǒng)11的大體結(jié)構(gòu)，具備指針設(shè)備12、 攝像裝置13、計算機(jī)裝置14、存儲裝置15和顯示裝置16。
指針設(shè)備12為了向計算機(jī)裝置3發(fā)出執(zhí)行規(guī)定功能的指示，規(guī) 定了用戶能夠移動自己手指的區(qū)域(以下稱作操作區(qū)域121)，輸出 表示用戶用手指接觸的位置的接觸位置信號。作為這樣的指針設(shè)備 12的例子，有觸摸面板、觸摸板或觸摸描繪儀那樣的感壓式或光學(xué) 式的設(shè)備。作為指針設(shè)備12的另一例，有超聲波式的設(shè)備。
攝像裝置13被設(shè)置成自身的像角至少覆蓋操作區(qū)域121。這樣設(shè)
置的攝像裝置13以預(yù)定的時間間隔將拍攝自身的像角范圍內(nèi)，將攝 影圖像輸出給計算機(jī)裝置14。
計算機(jī)裝置14典型地講至少包含處理器和各種存儲器，按照保 存在例如ROM那樣的存儲器中的計算機(jī)程序工作。這里，圖9是表 示這樣的計算機(jī)裝置14的功能塊結(jié)構(gòu)的示意圖。在圖9中，計算機(jī) 裝置14通過執(zhí)行上述的計算機(jī)程序，實現(xiàn)圖像接收部141、手指位 置檢測部142、手指識別部143、部件分配部144、圖像制作部145、 顯示控制部146、接觸位置檢測部147、接觸手指判斷部148和功能 執(zhí)行部149的功能。
存儲裝置15保存與上述存儲裝置4同樣的GUI部件數(shù)據(jù)。
顯示裝置16在本變形例的情況下，不是如上述的觸摸屏那樣用 戶使用手指在顯示畫面上指定GUI部件，而只要至少具備顯示由計 算機(jī)裝置14制作的GUI圖像的功能就可以。作為這樣的顯示裝置16 的典型例，可以舉出液晶顯示器、CRT顯示器、有機(jī)EL顯示器、遠(yuǎn) 焦點顯示器或投影機(jī)。
接著，參照圖10，說明上述結(jié)構(gòu)的用戶界面系統(tǒng)11的顯示處理。 用戶將自身的手H放置到操作區(qū)域121。攝像裝置13將拍攝有手H 的攝影圖像輸出給計算機(jī)裝置14 (步驟SIOO。
在計算機(jī)裝置14中，圖像接收部141接受攝影圖像(步驟S102)， 手指位置檢測部142根據(jù)接受到的攝影圖像檢測表示用戶的各手指 F, Fs在操作區(qū)域121上的位置的坐標(biāo)值(以下稱作當(dāng)前位置坐標(biāo) 值)，還檢測規(guī)定手H的形狀(輪廓)的坐標(biāo)值組(以下，稱作輪廓 坐標(biāo)值組)(步驟S103)。
具體而言，手指位置檢測部142利用作為第1方法的亮度閾值法， 制作與上述的實施方式同樣的部分圖像數(shù)據(jù)。即，手指位置檢測部 142根據(jù)各像素的亮度值區(qū)別攝影圖像中的背景(操作區(qū)域121)和 用戶的手H。因而，操作區(qū)域121的顏色為黑色一種顏色或者與其相近的顏色一種顏色，進(jìn)而，優(yōu)選將操作區(qū)域121的表面消光處理。再 者，閾值預(yù)先設(shè)定為比攝影圖像內(nèi)的顯示背景的像素的哪個亮度值都
大的值。由此，手指位置檢測部142通過將攝影圖像的各像素的亮度 與閾值比較，能夠制作表示手H的區(qū)域的部分圖像數(shù)據(jù)。此外，攝 像裝置13例如對自身的像角范圍照射可見光或近紅外光，使手H比 閾值更亮地顯示，使得即使在周圍較暗的狀況下也能夠穩(wěn)定地制作部 分圖像數(shù)據(jù)。
此外，作為第2方法，手指位置檢測部142利用色鍵(chroma-key)
處理法制作部分圖像數(shù)據(jù)。色鍵處理在電視廣播中經(jīng)常使用，將與人 的皮膚顏色最容易區(qū)別的藍(lán)色作為背景，能夠提取藍(lán)色以外的部分， 制作這樣提取的部分圖像數(shù)據(jù)。在此情況下，操作區(qū)域121用藍(lán)色著 色，并且攝像裝置13例如對自身的像角的范圍照射可見光，以使手 H及背景被明確顯示。
接著，在上述那樣的步驟S103之后，手指識別部143與上述實 施方式同樣，識別各當(dāng)前位置坐標(biāo)值組的哪個是哪個手指的(步驟 S104)。
部件分配部144從手指識別部143接受識別結(jié)果，對保存在存儲 裝置15中的5個GUI部件數(shù)據(jù)分別唯一地分配此次接受到的5個當(dāng) 前位置坐標(biāo)值，保持當(dāng)前的分配狀況(步驟S105)。
然后，在計算機(jī)裝置14中，圖像制作部155在未圖示的幀存儲 器中制作表示GUI圖像的GUI圖像數(shù)據(jù)(步驟S106)。在本變形例 中，如果與上述實施方式比較，則如圖8、圖11A及圖11B所示，不 同之處是，將表示手的形狀的對象I合成到由上述輪廓坐標(biāo)值組規(guī)定 的區(qū)域。
接著，在計算機(jī)裝置14中，顯示控制部146按照在幀存儲器中 此次制作的GUI圖像數(shù)據(jù)，將GUI圖像顯示在顯示裝置16的顯示畫 面161上(步驟S107)。
以預(yù)定的時間間隔執(zhí)行如上所述的步驟S101 S107的處理。由 此，本用戶界面系統(tǒng)11也與上述實施方式同樣地作用，結(jié)果，能發(fā) 揮容易識別GUI部件分配給了哪個手指的技術(shù)效果。
接著，參照圖12，對圖8所示的用戶界面系統(tǒng)11的功能執(zhí)行處 理進(jìn)行說明。用戶利用通過上述顯示處理分配了特定功能的某一個手 指接觸在操作區(qū)域121上并施力。于是，從指針設(shè)備12對計算機(jī)裝 置14給出能夠確定此次接觸位置的位置信號。
在計算機(jī)裝置14中，如果接觸位置檢測部147從指針設(shè)備12被 提供了位置信號(步驟S121)，則在操作區(qū)域121檢測表示用戶當(dāng)前 接觸的位置的坐標(biāo)值(以下稱作接觸坐標(biāo)值)(步驟S122)。
接著，接觸手指判斷部148檢査保持在部件分配部144中的分配 狀況，選擇與由接觸位置檢測部147變換的接觸坐標(biāo)值實質(zhì)上一致的 當(dāng)前位置坐標(biāo)值(步驟S123)。進(jìn)而，接觸手指判斷部148識別對所 選擇的當(dāng)前位置坐標(biāo)值分配的GUI部件(步驟S124)。
功能執(zhí)行部149執(zhí)行分配給由接觸手指判斷部148識別的GUI 部件的功能(步驟S125)。
如以上說明，本用戶界面系統(tǒng)11與上述實施方式同樣地作用， 結(jié)果，能夠提供用戶能夠迅速地操作的用戶界面系統(tǒng)11。
另外，在上述實施方式及變形例中，由于對各手指唯一地分配 GUI部件，所以用戶界面系統(tǒng)1及11最大只能使用5個GUI部件。 所以，如圖13所示，對預(yù)先設(shè)定的手指(在圖示的例子中是拇指F》 分配狀態(tài)轉(zhuǎn)移功能，如果檢測到用戶使用該手指操作了顯示畫面21 或操作區(qū)域121，則部件分配部34或144變更對其余手指分配的GUI 部件。由此，在狀態(tài)轉(zhuǎn)移功能的指定前后，能夠?qū)Ω魇种阜峙浜嫌? 個以下GUI部件。
除此以外，也可以如下所述地將多個GUI部件分配給手指。艮卩， 將顯示畫面21或操作區(qū)域121分別用預(yù)先設(shè)定的方法分割為多個部
分區(qū)域。例如，在圖14的例子中，將顯示畫面21或操作區(qū)域121分 割為4個矩形區(qū)域。此外，對各部分區(qū)域唯一地分配作為對象的多個 設(shè)備。另外，也可以對多個區(qū)域分配一個設(shè)備。部件分配部34或144 在各區(qū)域(各設(shè)備)中變更手指及GUI部件的分配。
作為上述的具體例，如圖14所示，將某個區(qū)域分配給導(dǎo)航系統(tǒng)， 部件分配部34或144在該區(qū)域中對拇指F,分配稱為菜單顯示的GUI 部件，對其它手指F2 Fs也唯一地分配導(dǎo)航系統(tǒng)用的GUI部件。
此外，如圖14所示，將其他區(qū)域分配給音響設(shè)備，部件分配部 34或144在該區(qū)域?qū)δ粗窮,分配稱為模式變更的GUI部件，對其它 手指F2 Fs也唯一地分配音響設(shè)備的GUI部件。
在這樣的條件下，接觸手指判斷部38或148參照部件分配部34 或144保持的分配狀況，基于當(dāng)前位置坐標(biāo)值，判斷用哪個手指操作 了顯示畫面21或操作區(qū)域121的哪個區(qū)域，根據(jù)判斷結(jié)果確定此次 要控制的設(shè)備及由該設(shè)備要執(zhí)行的功能。
除此以外，也可以如下所述地將多個GUI部件分配給手指。艮口， 部件分配部34或144如圖15所示，對預(yù)先設(shè)定的手指(在圖示的例 子中是拇指F。不分配GUI部件，對于剩余的手指按每個設(shè)備唯一 地分配GU1部件。在圖示的例子中，關(guān)于音響設(shè)備，對食指F2分配 再現(xiàn)功能用的GUI部件d、對中指F3分配退回功能用的GUI部件 C2，對無名指F4分配快進(jìn)功能用的GUI部件C3，還對小指Fs分配音 量調(diào)節(jié)功能用的GUI部件C4。對于其他設(shè)備也同樣，對于拇指以外 的各手指分配GUI部件。此外，在GUI圖像中，為了選擇成為控制 對象的設(shè)備，將設(shè)備指定用的GUI部件Sd SC4合成在預(yù)定的位置。
進(jìn)而，GUI圖像制作部35或145基于預(yù)定的手指(拇指F》的 接觸位置，判斷指定了設(shè)備選擇用的GUI部件Sd SC4的哪一個， 制作合成了作為該設(shè)備用而對各手指分配的GUI部件d C4的GUI 圖像。
在顯示了這樣的GUI圖像后，接觸手指判斷部38或148參照部 件分配部34或144保持的分配狀況，基于當(dāng)前位置坐標(biāo)值，判斷用 哪個手指操作了顯示畫面21或操作區(qū)域121，根據(jù)判斷結(jié)果確定由 這次要控制的設(shè)備要執(zhí)行的功能。
除此以外，也可以如下所述地將多個GUI部件分配給手指。艮P， 部件分配部34或144如圖16所示，對預(yù)先設(shè)定的手指(在圖示的例 子中是中指F3)分配預(yù)先設(shè)定的個數(shù)(在圖示的例子中是3個)GUI 部件d C3。此外，GUI圖像制作部35或145生成在中指F3的當(dāng)前 位置坐標(biāo)值P3的周邊且相互不重復(fù)的地方合成了所分配的GUI部件 d C3的GUI圖像。更優(yōu)選的是，GUI圖像制作部35或145還將表 示基準(zhǔn)位置(即由坐標(biāo)P3表示的位置)的標(biāo)記合成在當(dāng)前位置坐標(biāo)
值P3上。
在顯示了這樣的GUI圖像后，用戶首先在顯示畫面21或操作區(qū) 域121觸摸基準(zhǔn)位置P3。然后，用戶觸摸具有此次自身想要指定的 內(nèi)容的GUI部件d C3的某一個。結(jié)果，從觸摸屏2或指針設(shè)備12 首先送出能夠確定基準(zhǔn)位置P3的第1位置信號，然后，送來能夠確 定在這次指定的GUI部件Q、C2或C3的合成區(qū)域中包含的位置的第 2位置信號。接觸手指判斷部38或148保持第1位置信號的接收時 刻(以下稱作基準(zhǔn)時刻)，并且對應(yīng)于第1位置信號的接收來確定手 指的種類(這次是中指F》。此外，如果向接觸手指判斷部38或148 送來第2位置信號，則根據(jù)第2位置信號的接收時刻與基準(zhǔn)時刻的時 間差，確定手指的最初接觸與第2次接觸的連續(xù)性，根據(jù)由第l位置 信號確定的基準(zhǔn)位置P3和由第2位置信號確定的位置，確定用戶指 定的GUI部件、即這次要執(zhí)行的功能。
另外，在如上所述的指定方法的情況下，用戶需要指定顯示畫面 21或操作區(qū)域121中的至少兩點。換言之，在這樣的情況下，用戶 指定相對于基準(zhǔn)點P3的方向。因此，各GUI部件d C3優(yōu)選由表示
相對于基準(zhǔn)點P3的方向的箭頭構(gòu)成。
此外，在以上的說明中，對于1個手指F3分配了3個GUI部件 Ci C3，但是并不限于此，也可以對多個手指分別分配1個或多個 GUI部件。
再者，在以上的說明中用戶指定了兩點，但是并不限于此，用戶 也可以描畫顯示在顯示畫面21或操作區(qū)域121上的GUI部件來指定。 這樣的指定方法如例如音量調(diào)節(jié)那樣、在設(shè)定為某個范圍內(nèi)的最適當(dāng) 的值的情況下是優(yōu)選的。
此外，在上述實施方式或上述變形例中，部件分配部134或144 也可以將暫時分配給各手指的GUI部件變更為其他的GUI部件。在 部件分配部134或144中，假設(shè)要對各手指分配的GUI部件是默認(rèn) 地設(shè)定的。此外，用戶界面系統(tǒng)1或11具備分配變更模式，在分配 變更模式中，如圖17所示，圖像制作部35或145例示地制作將可變 更的GUI部件C1 C10合成到相互不重復(fù)的位置上的GUI圖像。用 戶在確認(rèn)顯示的GUI圖像、并且考慮對哪個手指分配哪個功能后， 在顯示畫面21或操作區(qū)域121中使用作為對象的手指指定作為對象 的GUI部件。對應(yīng)于此，部件分配部34或144更新分配狀況。
此外，利用表示手指的接觸位置的第1位置信號顯示圖18A所示 的主菜單，從所顯示的主菜單中決定執(zhí)行的功能。接著，用戶界面系 統(tǒng)顯示由圖18所示的第1位置信號決定的功能的子菜單。此時，也 可以做成以第1位置信號所表示的手指的接觸位置1801為中心顯示 各菜單的結(jié)構(gòu)。這樣，通過由層級構(gòu)造構(gòu)成的分配，能夠?qū)⒃S多GUI 部件分配給手指。另外，在圖18A、圖18B中，表示通過第1位置 信號選擇了FM按鈕的狀況。
此外，在通過第1位置信號選擇后顯示的GUI部件并不限于圖 標(biāo)、按鈕及箭頭，也可以顯示滑動條等GUI部件。
作為一例，在顯示有圖19A的畫面的狀態(tài)下，表示根據(jù)第1位置
開始信號執(zhí)行TV功能時的顯示。在按下了TV按鈕的情況下，頻道 按鈕如圖19B那樣顯示。此時，第1位置的信號表示的接觸位置是 1901的位置。
另外，如圖19B所示，將所有的GUI不消除與指尖的關(guān)聯(lián)性， 而檢測從固定顯示的菜單離得最遠(yuǎn)的手指1902，將取消或返回等的 能夠從已經(jīng)執(zhí)行的功能脫離的GUI部件僅與該指尖關(guān)聯(lián)而顯示。如 果這樣，則即使移動了手，由于特定的GUI部件總是追隨于手指的 動作，所以用戶能夠安心地操作。
進(jìn)而，利用圖20說明保持與特定的手指的關(guān)聯(lián)、操作GUI吋的 例子。
在圖20中，是用戶利用軟鍵盤輸入文字的情況。這里，通過將 修正按鈕僅與手指2001關(guān)聯(lián)，用戶在用手指2001以外的手指操作 GUI時，鍵鍵盤的界面反應(yīng)到手指2001以外的手指上。通過修正按 鈕追隨于手指2001，用戶不論在哪個位置使手指2001接觸到指針設(shè) 備12上都能夠執(zhí)行修正功能。另外，與特定的手指關(guān)聯(lián)的功能并不 限于修正功能，優(yōu)選地附加用戶頻繁地需要的功能。
此外，也可以使GUI操作時的功能執(zhí)行時刻不是手指接觸時， 而是在接觸后用戶的手指從指針設(shè)備12離開的時刻執(zhí)行功能。如果 這樣，則如圖21所示，能夠顯示取消按鈕2101，所以用戶在想要執(zhí) 行功能而按下指針設(shè)備12后，在注意到錯誤時能夠?qū)⑾胍獔?zhí)行的功 能取消。
此外，在圖21中，還表示了用戶按下了TV按鈕2102的狀態(tài)的 情況。此時，執(zhí)行按下狀態(tài)的按鈕的功能，接著顯示的按鈕并不僅限 于取消按鈕，也可以是在執(zhí)行功能之前能夠進(jìn)行詳細(xì)的設(shè)定的設(shè)定按 鈕2103等的GUI部件。
在上述方式中，用戶界面系統(tǒng)顯示了手形狀，但也可以在圖像制 作部145中、通過在描繪附隨于指尖的GUI部件時實施不進(jìn)行手形
狀的顯示的處理，能夠提高畫面的視覺辨認(rèn)性。
另外，在用戶界面系統(tǒng)不顯示手形狀時，由于用戶難以知道哪個
GUI部件對應(yīng)于哪個手指，所以優(yōu)選在部件分配部144上中分配的分 配的部件之上顯示對應(yīng)于哪個手指。圖22是不顯示手形狀時的GUI 部件的顯示的一例的圖。手形狀2201不進(jìn)行顯示。
另外，在GUI部件上顯示的手指名稱并不限于此。作為一例， 可以考慮拇指為l、食指為2那樣顯示對應(yīng)的號碼等的方法。此時， 對應(yīng)的號碼優(yōu)選顯示在顯示裝置16上。
進(jìn)而，在上述實施方式及上述變形例中，還設(shè)想在部件分配部34 及144中分配的GUI部件不發(fā)出單獨的控制命令的情況。具體地說， 可以舉出圖23所示的字符串的再變換功能等。這僅通過作為附隨于 指尖的GUI部件單體的再變換控制指令，在計算機(jī)側(cè)不能判斷要將 什么再變換，需要應(yīng)再變換的對象。在圖23中，將手指2301分配給 再變換功能，能夠?qū)⒋嬖谟谟墒种?301指示的位置的文本進(jìn)行再變 換。
再者，也可以顯示滑動條等的能夠輸入連續(xù)值的GUI部件。在 此情況下，在接觸位置檢測部37及146中，通過從檢測到接觸的狀 態(tài)開始檢測能夠確認(rèn)手指位置的移動的動作，來檢測拖拽，能夠進(jìn)行 滑動條的操作。
具體而言，是在調(diào)節(jié)圖24所示的車內(nèi)音響環(huán)境的情況下，配合 想要調(diào)節(jié)的音域而顯示滑動條等能夠輸入連續(xù)值的GUI部件，調(diào)節(jié) 音響環(huán)境等。此時，如圖24A那樣顯示GUI部件時的接觸位置檢測 部上的手形狀的動作如圖24B那樣進(jìn)行劃動那樣的動作。通過這樣 動作，使對應(yīng)的手指在接觸在圖24A中顯示的各手指的GUI部件上 的狀態(tài)下移動位置，能夠使滑動條上下移動。另外，在顯示滑動條時， 如圖24A所示，優(yōu)選地顯示哪個手指操作哪個滑動條。
此外，在本裝置中，具備手指識別部33、 143，決定對哪個手指分配哪個功能。在上述實施方式或上述變形例中，在接觸位置檢測部
37、 147中使手指接觸時為功能執(zhí)行的時刻。這里，在如圖25A那樣 對各手指分配了功能時，在將手指彎折、如圖25B所示那樣成為僅 使一根手指伸展的狀態(tài)、即能夠檢測到唯一之間的狀態(tài)時，能夠執(zhí)行 對該手指分配的功能。即，圖25B是執(zhí)行對手指2501分配的比例尺 變更功能時的例子。如圖25B所示，最后留下手指2501，執(zhí)行功能， 通過滑動條變更比例尺。
以上詳細(xì)地說明了本發(fā)明，但上述說明在所有的意義中都是例示 而并不是限定?？梢岳斫獾氖悄軌虿幻撾x本發(fā)明的范圍而進(jìn)行許多其 他改變例及變形例。
有關(guān)本發(fā)明的用戶界面系統(tǒng)適合于要求良好的使用方便性的計 算機(jī)關(guān)聯(lián)產(chǎn)品等。
權(quán)利要求
1、一種用戶界面系統(tǒng)，其特征在于，具備操作部，接受用戶的指示輸入；手指位置檢測部，檢測上述操作部的操作面上的表示用戶指尖的當(dāng)前位置的第1坐標(biāo)值組；部件保存部，保存表示GUI部件的部件數(shù)據(jù)；分配部，對由上述手指位置檢測部檢測出的第1坐標(biāo)值，分別唯一地分配保持在上述部件保存部中的部件數(shù)據(jù)；圖像制作部，按照上述分配部的分配生成GUI圖像，上述GUI圖像表示將保存在上述部件保存部中的部件數(shù)據(jù)所表示的GUI部件、和由上述手指位置檢測部檢測出的第1坐標(biāo)值分別唯一地關(guān)聯(lián)起來的用戶界面；顯示控制部，將由上述圖像制作部生成的GUI圖像顯示在顯示畫面上。
2、 如權(quán)利要求l所述的用戶界面系統(tǒng)，其特征在于， 還具備可拍攝用戶的手操作地設(shè)置的攝像裝置； 上述手指位置檢測部根據(jù)上述攝像裝置的攝影圖像，檢測上述操作部的操作面上的表示上述用戶指尖的當(dāng)前位置的坐標(biāo)值組。
3、 如權(quán)利要求2所述的用戶界面系統(tǒng)，其特征在于， 上述圖像制作部使與由上述攝像裝置取得的手圖像的手指中的、上述用戶彎折的手指相關(guān)聯(lián)的GUI部件消失；還具備功能執(zhí)行部，上述功能執(zhí)行部執(zhí)行對表示最后留下的指尖 的當(dāng)前位置的坐標(biāo)值分配的上述GUI部件的功能。
4、 如權(quán)利要求1所述的用戶界面系統(tǒng)，其特征在于，上述圖像 制作部制作將由上述手指位置檢測部檢測出的第1坐標(biāo)值分別表示 的位置、和由上述分配部分配的部件數(shù)據(jù)表示的GUI部件之間用線連接的GUI圖像。
5、 如權(quán)利要求1所述的用戶界面系統(tǒng)，其特征在于，上述圖像 制作部還具備用于存儲過去執(zhí)行的功能的履歷信息保持部，基于上述 履歷信息制作對指尖附加的GUI圖像。
6、 如權(quán)利要求1所述的用戶界面系統(tǒng)，其特征在于，上述圖像 制作部將由上述分配部分配的部件數(shù)據(jù)所表示的GUI部件，合成到 由上述手指位置檢測部檢測出的第1坐標(biāo)值分別表示的位置或其周 邊。
7、 如權(quán)利要求1所述的用戶界面系統(tǒng)，其特征在于，上述圖像 制作部還具備判別左右手的左右手判別部，根據(jù)用左手操作時和用右 手操作時，變更對先前的第1坐標(biāo)值附加的GUI部件。
8、 如權(quán)利要求1所述的用戶界面系統(tǒng)，其特征在于，還具備識 別由上述手指位置檢測部檢測出的第1坐標(biāo)值分別是哪個手指的坐 標(biāo)值的手指識別部。
9、 如權(quán)利要求8所述的用戶界面系統(tǒng)，其特征在于，上述顯示 控制部顯示包含表示由上述手指識別部識別的多種指尖的位置的第1 坐標(biāo)值的手圖像，在上述分配部將上述GUI部件唯一地分配給表示 由上述手指識別部識別的多種指尖的位置的各個第1坐標(biāo)值后，將顯 示的上述手圖像消除。
10、 如權(quán)利要求9所述的用戶界面系統(tǒng)，其特征在于，上述顯示 控制部顯示由上述分配部向表示由上述識別部識別的多種指尖的位 置的各個第1坐標(biāo)值分配的上述GUI部件對應(yīng)于哪個手指。
11、 如權(quán)利要求8所述的用戶界面系統(tǒng)，其特征在于，上述圖像 制作部根據(jù)由上述手指識別部識別的手指的種類，制作變更了保存在 上述部件保存部中的GUI部件的大小的GUI圖像。
12、 如權(quán)利要求l所述的用戶界面系統(tǒng)，其特征在于，上述顯示 控制部使得由上述分配部對上述手指位置檢測部檢測出的特定的第1坐標(biāo)值所表示的指尖分配的上述GUI部件，追隨該指尖的動作進(jìn)行 顯示。
13、 如權(quán)利要求l所述的用戶界面系統(tǒng)，其特征在于，上述顯示 控制部對應(yīng)于由上述手指位置檢測部檢測出的特定的第1坐標(biāo)值所 表示的指尖的動作，使由上述分配部分配給該指尖的上述GUI部件 移動著進(jìn)行顯示。
14、 如權(quán)利要求l所述的用戶界面系統(tǒng)，其特征在于，上述分配 部僅維持對于由上述手指位置檢測部檢測出的特定的第1坐標(biāo)值的 分配，對于由上述手指位置檢測部檢測出的其它的第1坐標(biāo)值變更分 配。
15、 如權(quán)利要求l所述的用戶界面系統(tǒng)，其特征在于，還具備 接觸位置檢測部，檢測表示上述用戶觸摸上述操作部的操作面的位置的第2坐標(biāo)值；接觸手指判斷部，根據(jù)由上述接觸位置檢測部檢測出的第2坐標(biāo) 值和由上述分配部唯一地分配的第1坐標(biāo)值，判斷上述用戶使用哪個 手指觸摸上述操作面，還確定對判斷的手指分配的GUI部件；功能執(zhí)行部，執(zhí)行對由上述接觸手指判斷部確定的GUI部件分配的功能。
16、 如權(quán)利要求l所述的用戶界面系統(tǒng)，其特征在于，響應(yīng)上述用戶的操作，上述分配部將一旦對由上述手指位置檢測部檢測出的第1坐標(biāo)值分配的部件數(shù)據(jù)，重新分配給其它的GUI部件。
17、 如權(quán)利要求15所述的用戶界面系統(tǒng)，其特征在于，對應(yīng)于 上述用戶的操作，在檢測出第2坐標(biāo)位置時，以檢測出的位置為基準(zhǔn)， 檢測第l坐標(biāo)位置的位移，執(zhí)行對應(yīng)于位移的功能。
18、 如權(quán)利要求l所述的用戶界面系統(tǒng)，其特征在于， 上述分配部對于表示特定種類手指的位置的第1坐標(biāo)值不分配部件，而對于表示其余手指的位置的第1坐標(biāo)值唯一地分配在多個設(shè)備 之間相互不同的部件數(shù)據(jù)；上述圖像制作部能夠用上述特定的手指選擇上述多個設(shè)備，并且 響應(yīng)上述特定的手指的操作，對于當(dāng)前選擇的設(shè)備，生成將表示由上 述手指識別部識別了種類的上述其余手指的位置的第1坐標(biāo)值、和保 存在上述部件保存部中且由上述分配部分配給上述其余手指的部件 數(shù)據(jù)唯一地關(guān)聯(lián)起來的GUI圖像。
19、 如權(quán)利要求15所述的用戶界面系統(tǒng)，其特征在于， 如果上述用戶接觸上述操作部的操作面的至少兩點，則上述接觸位置檢測部響應(yīng)各個，檢測表示最初的接觸位置的第2坐標(biāo)值，還檢 測表示第2次接觸位置的第2坐標(biāo)值；接觸手指判斷部根據(jù)由上述接觸位置檢測部檢測出的最初的第2 坐標(biāo)值、和由上述分配部唯一地分配的第1坐標(biāo)值及GUI部件，判 斷上述用戶使用哪個手指觸摸了上述操作部的操作面，進(jìn)一步，根據(jù) 由上述接觸位置檢測部檢測出的第2次的第2坐標(biāo)值，確定上述用戶 這次指定的GUI部件。
20、 如權(quán)利要求15所述的用戶界面系統(tǒng)，其特征在于， 如果上述用戶描畫上述操作部的操作面的至少兩點間，則上述接觸位置檢測部響應(yīng)各個接觸，定期地檢測表示當(dāng)前的接觸位置的第2 坐標(biāo)值；接觸手指判斷部根據(jù)由上述接觸位置檢測部定期地檢測的第2坐 標(biāo)值、和由上述分配部唯一地分配的第1坐標(biāo)值及GUI部件，判斷 上述用戶使用哪個手指觸摸了上述操作部的操作面，并且確定上述用 戶這次指定的GUI部件。
21、 一種顯示方法，在用戶界面系統(tǒng)中使用，其特征在于，具備: 手指位置檢測步驟，檢測設(shè)在上述用戶界面系統(tǒng)中并且接受用戶的指示輸入的操作部的操作面上的、表示用戶指尖的當(dāng)前位置的第1 坐標(biāo)值組；分配步驟，對由上述位置檢測步驟檢測出的各個第1坐標(biāo)值唯一地分配被保存在設(shè)置于上述用戶界面系統(tǒng)中的存儲裝置中、表示GUI 部件的部件數(shù)據(jù)；圖像制作步驟，按照上述分配步驟的分配生成GUI圖像，上述 GUI圖像表示將保存在上述存儲裝置中的GUI部件、和由上述手指 位置檢測步驟檢測出的第1坐標(biāo)值分別唯一地關(guān)聯(lián)起來的用戶界面；顯示控制步驟，將由上述圖像制作步驟生成的GUI圖像顯示在 上述用戶界面系統(tǒng)所具備的的顯示畫面上。
全文摘要
提供一種使用方便性更好的用戶界面系統(tǒng)。一種用戶界面系統(tǒng)，具備操作部(21)，受理用戶的指示輸入；手指位置檢測部(32)，檢測操作部的操作面上的表示用戶的指尖的當(dāng)前位置的第1坐標(biāo)值組；部件保存部(4)，保存表示GUI(Graphical User Interface)部件的部件數(shù)據(jù)；分配部(34)，對由手指位置檢測部(32)檢測到的第1坐標(biāo)值分別唯一地分配保持在上述部件保存部中的部件數(shù)據(jù)；圖像制作部(35)，按照分配部的分配，生成表示將保存在部件保存部(4)中的部件數(shù)據(jù)所表示的GUI部件、和由手指位置檢測部(32)檢測到的第1坐標(biāo)值分別唯一地關(guān)聯(lián)的用戶界面的GUI圖像；顯示控制部(36)，將由圖像制作部(35)生成的GUI圖像顯示在顯示畫面上。
文檔編號G06F3/01GK101180599SQ20068001055
公開日2008年5月14日 申請日期2006年3月28日 優(yōu)先權(quán)日2005年3月28日
發(fā)明者寺田智裕, 山下敦士, 平井卓哉, 飯阪篤 申請人:松下電器產(chǎn)業(yè)株式會社