用戶界面設(shè)備和用戶界面方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用戶界面技術(shù)。
【背景技術(shù)】
[0002]作為啟用關(guān)于計算機的用戶輸入的用戶界面(人機界面)設(shè)備，已經(jīng)提供了諸如鼠標、操縱桿、跟蹤球、以及觸控板的多種裝置。近年來，還開發(fā)了通過檢測身體活動(手勢)響應于身體運動啟用用戶輸入的用戶界面設(shè)備，諸如數(shù)據(jù)手套、數(shù)據(jù)衣等。用戶可以通過這樣的用戶界面設(shè)備利用直覺感覺操作計算機。
[0003]例如，在以下描述的PTL I中，提出通過用戶的手勢促進操作輸入的技術(shù)。通過所提出的技術(shù)，基于距離傳感器的分辨率、顯示器的三維顯示性能、以及在深度方向上諸如用戶的手的手指的指示點的測量距離，調(diào)節(jié)用于確定檢測深度方向上的指示點的運動的敏感度的參數(shù)。然后，通過基于調(diào)節(jié)后的參數(shù)計算深度方向上的指示點的距離，識別通過用戶的手勢的操作輸入。
[0004][引用列表]
[0005][專利文獻]
[0006][PTL I]日本未審查專利申請公開N0.2012-137989

【發(fā)明內(nèi)容】

[0007][技術(shù)問題]
[0008]然而，上述提出的方法僅假設(shè)對應于諸如手的手指的身體的特定部分(指示點，instruct1n point)的運動的用戶輸入，并且不假設(shè)對應于在定點操作中使用的用戶的特定部位的形狀(狀態(tài))的變化的用戶輸入，諸如，用手抓住物體的運動和通過手指握持物體的運動。
[0009]本發(fā)明考慮這些情況被做出，并且提供通過包括用戶的特定部位的形狀的變化的手勢在直覺上和簡單地操作計算機的用戶界面技術(shù)。
[0010][技術(shù)方案]
[0011]為了解決上述問題，本發(fā)明的多個方面采用以下結(jié)構(gòu)。
[0012]第一方面涉及用戶界面設(shè)備。根據(jù)第一方面的用戶界面設(shè)備包括:位置獲取單元，其按順序地獲取表示在定點操作中使用的用戶的特定部位的至少一個代表性位置的定點位置；變化檢測單元，其檢測用戶的特定部位的預定形狀的變化開始和變化結(jié)束；位置存儲單元，其存儲由位置獲取單元順序獲取的定點位置中的對應于由變化檢測單元檢測到的變化開始的時間的定點位置；計算單元，其指定由位置獲取單元獲取的定點位置中的對應于由變化檢測單元檢測到的變化結(jié)束的時間的定點位置，并且計算指定定點位置和存儲在位置存儲單元中的定點位置之間的差異；以及位置調(diào)節(jié)單元，其使用由計算單元計算的差異，調(diào)節(jié)由位置獲取單元獲取的定點位置。
[0013]第二方面涉及用戶界面方法。在根據(jù)第二方面的用戶界面方法中，至少一個計算機按順序地獲取表示在定點操作中使用的用戶的特定部位的至少一個代表性位置的定點位置；檢測用戶的特定部位的預定形狀的變化開始和變化結(jié)束；存儲順序獲取的定點位置中的對應于所檢測到的變化開始的時間的定點位置；指定順序獲取的定點位置中的對應于所檢測到的變化結(jié)束的時間的定點位置；計算指定定點位置和所存儲定點位置之間的差異；以及使用所計算的差異，調(diào)節(jié)順序獲取的定點位置。
[0014]注意，其它方面可以是使得至少一個計算機實現(xiàn)以上第一方面中的各自結(jié)構(gòu)的程序或者記錄這樣的程序的計算機可讀記錄介質(zhì)。記錄介質(zhì)包括非暫時性有形介質(zhì)。
[0015][有益效果]
[0016]根據(jù)上述各個方面，可以提供通過包括用戶的特定部位的形狀的變化的手勢，在直覺上并且簡單地操作計算機的用戶界面技術(shù)。
【附圖說明】
[0017]上述目標和其它目標、特征以及優(yōu)點將從以下描述的優(yōu)選示例性實施例和以下附圖更加明顯。
[0018][圖1]圖1是概念性地示出定點位置的獲得的視圖。
[0019][圖2]圖2是概念性地示出定點位置的獲取的問題的視圖。
[0020][圖3]圖3是概念性地示出示例性實施例中的定點位置的調(diào)節(jié)的視圖。
[0021][圖4]圖4是概念性地示出第一示例性實施例中的三維用戶界面設(shè)備(3D-UI設(shè)備)的硬件結(jié)構(gòu)實例的視圖。
[0022][圖5]圖5是示出第一示例性實施例中的三維用戶界面設(shè)備(3D-UI設(shè)備)的利用形式的實例的視圖。
[0023][圖6]圖6是示出HMD的外部結(jié)構(gòu)的實例的視圖。
[0024][圖7]圖7是概念性地示出第一示例性實施例中的傳感器側(cè)設(shè)備的功能結(jié)構(gòu)實例的視圖。
[0025][圖8]圖8是概念性地示出第一示例性實施例中的顯示器側(cè)設(shè)備的功能結(jié)構(gòu)實例的視圖。
[0026][圖9]圖9是示出顯示在HMD上的合成圖像的實例的視圖。
[0027][圖10]圖10是示出第一示例性實施例中的三維用戶界面設(shè)備(3D-UI設(shè)備)的操作實例的序列圖。
[0028][圖11]圖11是示出圖10中所示的步驟(S106)的詳情的流程圖。
[0029][圖12]圖12是概念性地示出第二示例性實施例中的三維用戶界面設(shè)備(3D-UI設(shè)備)的功能結(jié)構(gòu)實例的視圖。
【具體實施方式】
[0030]此后，將描述本發(fā)明的示例性實施例。注意，以下各個示例性實施例是實例，并且本發(fā)明不限于以下各個示例性實施例的結(jié)構(gòu)。
[0031]根據(jù)本示例性實施例的用戶界面設(shè)備包括:位置獲取單元，其按順序地獲取表示在定點操作中使用的用戶的特定部位的至少一個代表性位置的定點位置；變化檢測單元，其檢測用戶的特定部位的預定形狀的變化開始和變化結(jié)束；位置存儲單元，其存儲由位置獲取單元順序獲取的定點位置中的對應于由變化檢測單元檢測到的變化開始的時間的定點位置；計算單元，其指定由位置獲取單元獲取的定點位置中的對應于由變化檢測單元檢測到的變化結(jié)束的時間的定點位置，并且計算所指定定點位置和存儲在位置存儲單元中的定點位置之間的差異；以及位置調(diào)節(jié)單元，其使用由計算單元計算的差異，調(diào)節(jié)由位置獲取單元獲取的定點位置。
[0032]根據(jù)本示例性實施例的用于至少一個計算機的用戶界面方法包括:按順序地獲取表示在定點操作中使用的用戶的特定部位的至少一個代表性位置的定點位置；檢測用戶的特定部位的預定形狀的變化開始和變化結(jié)束；存儲順序獲取的定點位置中的對應于所檢測到的變化開始的時間的定點位置；指定順序獲取的定點位置中的對應于所檢測到的變化結(jié)束的時間的定點位置；計算所指定定點位置和所存儲定點位置之間的差異；以及使用所計算的差異，調(diào)節(jié)順序獲取的定點位置。
[0033]此后，將使用圖1至圖3描述上述示例性實施例中的功能和效果。圖1是概念性地示出定點位置的獲取的視圖。圖2是概念性地示出定點位置的獲取的問題的視圖。圖3是概念性地示出上述示例性實施例中的定點位置的調(diào)節(jié)的視圖。
[0034]在本示例性實施例中，按順序地獲取對應于用戶的特定部位的定點位置。例如，用戶的特定部位的至少一個代表性位置被指定為來自表示用戶的特定部位的二維圖像或三維信息(例如，二維圖像和深度信息)的定點位置。更特別地，可以從通過被稱為Kinect (注冊商標)游戲控制器系統(tǒng)的骨骼跟蹤獲得的骨骼信息，獲取定點位置。另外，識別用戶的特定部位的外部形狀，并且定點位置可以被設(shè)置在從被識別的外部形狀獲得的重心位置處。本示例性實施例不限制定點位置的特定方法。
[0035]在圖1至圖3的實例中，手被用作用戶的特定部位，并且在離身體最遠的位置處的手中的代表性一個位置被設(shè)置為定點位置。另外，在圖1的實例中，包括用戶的手的整個手臂移動，使得按順序地獲取定點位置Pl和P2。
[0036]將考慮檢測抓住物體的運動并且使用該運動作為用于計算機的用戶輸入。在圖2中，立方體是用戶想要抓住的物體，并且當關(guān)于立方體的定點位置是合適的，并且識別預定運動(握持)時，計算機假設(shè)立方體由用戶抓取的狀態(tài)。在該情況下，如圖2中所示，在用戶張開手的狀態(tài)下獲取的定點位置Pl被設(shè)置在手的指尖處。在該狀態(tài)下，當用戶握手以用手抓住物體時，在握持狀態(tài)下的手中離身體最遠的位置被獲取為定點位置P2。以此方式，當包括在定點操作中使用的用戶的特定部位的形狀的變化的運動(手勢)被識別時，在形狀的變化之前和之后，對應于特定部位的定點位置可能未對準。這不依賴于用戶的特定部位中的定點位置的確定方法。例如，還在作為特定部位的手中的重心被設(shè)置為定點位置的情況下，當張開手時的重心和當握手時的重心的位置不同，并且從而定點位置在兩種狀態(tài)之間可能未對準。
[0037]在特定手勢之前和之后的定點位置的以上未對準導致在將為特定手勢中的操作物體的顯示物體的位置和特定手勢之后的定點位置之間的距離，并且特定手勢可能被錯誤地識別為不同于期望用戶輸入的用戶輸入。更特別地，通過特定手勢關(guān)于顯示物體的操作是不可能的。以此方式，在預定處理由用戶的特定部位的形狀變化來執(zhí)行并且定點位置可以通過形狀變化來被改變的用戶界面中，由于對應于形狀變化的定點位置的改變，用戶的期望運動可能不被執(zhí)行。
[0038]在本示例性實施例中，首先，檢測到上述特定部位的預定形狀的變化開始和變化結(jié)束。用戶的特定部位的形狀的變化通過例如從安裝在數(shù)據(jù)手套或數(shù)據(jù)衣上的諸如應變傳感器的傳感器獲得的信息被檢測到。另外，變化可以被作出，以從表示用戶的特定部位的二維圖像或三維信息(例如，二維圖像和深度信息)被檢測到。本示例性實施例不限制特定部位的形狀的變化的檢測方法本身。
[0039]例如，在特定部位是手的情況下，預定形狀是抓住物體的狀態(tài)下的手的形狀。例如當形狀被變化為超過預先存儲的預定變化寬度的預定形狀方向時，檢測到變化開始。另外，例如，當用戶的特定部位變?yōu)轭A定形狀時，檢測到變化結(jié)束。例如，當在特定部位的形狀變?yōu)轭A定形狀的狀態(tài)下，形狀進一步被變化超過從傳感器獲得的預定變化信息(應變信息)時，變化結(jié)束可以被作出以被檢測到。當形狀變化在預先存儲的預定時間期間停止時，變化結(jié)束可以被作出以被檢測到。
[0040]在本示例性實施例中，如圖3中所示，在順序獲取的定點位置中，存儲對應于由變化檢測單元檢測到的變化開始時間的定點位置P1，并且此外，指定對應于由變化檢測單元檢測到的變化結(jié)束時間的定點位置P2。在此，對應于變化開始時間的定點位置是指當變化開始由變化檢測單元檢測到時或者在該時間之前和之后獲