輸入設(shè)備、輸入方法和存儲介質(zhì)的制作方法
【技術(shù)領(lǐng)域】
[0001]本公開內(nèi)容涉及一種輸入設(shè)備、輸入方法和非瞬態(tài)記錄介質(zhì)。
【背景技術(shù)】
[0002]已知一種基于用戶的手部的運(yùn)動來確定來自用戶的操作指令的輸入設(shè)備。例如，專利文獻(xiàn)I公開了一種基于操作使用三維顯示器描繪的虛擬操作屏幕的用戶的手部運(yùn)動來確定用戶的操作的圖像識別設(shè)備。此外，專利文獻(xiàn)2公開了一種基于用戶的拾取的手勢來設(shè)置將在顯示器上顯示的圖像的排列方式的顯示控制設(shè)備。進(jìn)而另外，專利文獻(xiàn)3公開了一種基于對觸屏的觸摸操作的移動量來確定用戶的觸摸操作是否為下壓操作(敲擊操作)或者手勢操作的信息處理設(shè)備的信息處理設(shè)備。
[0003]引用列表
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:待審日本專利申請Kokai公開號2011-175623
[0006]專利文獻(xiàn)2:待審日本專利申請Kokai公開號2011-248606
[0007]專利文獻(xiàn)3:待審日本專利申請Kokai公開號2009-151691

【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]涉及專利文獻(xiàn)I中公開的技術(shù)，存在如下設(shè)備，該設(shè)備關(guān)聯(lián)拾取的圖像與具有經(jīng)受到選擇操作的一個或者多個定義的可選擇區(qū)域(例如，按鈕和圖標(biāo)的顯示區(qū)域)的操作屏幕，并且基于用戶在圖像拾取期間的手部運(yùn)動(例如，手部在與可選擇區(qū)域?qū)?yīng)的定位處暫停某個時間段)來識別用戶的在可選擇區(qū)域內(nèi)選擇的操作(下文被稱為“選擇操作”)。根據(jù)這樣的輸入設(shè)備，如果除了選擇操作之外還可以確定與選擇操作不同的手勢操作，則操作的變化數(shù)目增加，并且因此變得對用戶而言更方便。
[0010]在觸屏的情況下，在通過敲擊操作來選擇顯示圖標(biāo)等的可選擇區(qū)域時，用戶用手指觸摸的僅為可選擇區(qū)域，并且在手指移動到可選擇區(qū)域時，從觸屏釋放手指。因此，用戶在移向可選擇區(qū)域之時的手部運(yùn)動未被觸屏檢測到。因而，如在例如專利文獻(xiàn)3中建議的那樣，輸入設(shè)備可以僅基于關(guān)于由觸屏捕獲的用戶的手部的移動量的信息來容易地確定觸摸運(yùn)動是否為選擇操作(敲擊操作等)或者手勢操作。
[0011]然而，在用戶的手部運(yùn)動未被觸屏而是被相機(jī)拾取以確定用戶的輸入時，用戶的移向可選擇區(qū)域的手部運(yùn)動被相機(jī)拾取。也就是說，根據(jù)存在/不存在檢測，難以區(qū)分在選擇操作之前的手部運(yùn)動與手勢運(yùn)動。因此，根據(jù)在專利文獻(xiàn)3中公開的技術(shù)，難以區(qū)分對可選擇區(qū)域的選擇操作與手勢運(yùn)動，并且因此難以增加對于輸入設(shè)備可確定的操作的變化數(shù)目。
[0012]已經(jīng)鑒于前述境況而做出了本公開內(nèi)容，并且本公開內(nèi)容的目的是提供一種除了選擇操作之外還可以確定手勢操作的輸入設(shè)備、輸入方法和非瞬態(tài)記錄介質(zhì)。
[0013]對問題的解決方案
[0014]根據(jù)本公開內(nèi)容的第一方面的一種輸入設(shè)備基于用戶的手部在與具有一個或者多個定義的可選擇區(qū)域的操作屏幕關(guān)聯(lián)的拾取的圖像中的運(yùn)動來確定用戶的輸入，并且輸入設(shè)備包括:輸入確定裝置，該輸入確定裝置基于手部在多個拾取的圖像中的形狀改變來確定用戶的輸入是否為對可選擇區(qū)域的選擇操作或者與選擇操作不同的手勢操作，手部的形狀改變由移動的手部引起。
[0015]根據(jù)本公開內(nèi)容的第二方面的一種輸入方法是用于基于用戶的手部在與顯示經(jīng)受到選擇操作的一個或者多個可選擇區(qū)域的操作屏幕關(guān)聯(lián)的拾取的圖像中的運(yùn)動來確定用戶的輸入，并且該方法包括:基于手部在多個拾取的圖像中的形狀改變來確定用戶的輸入是否為對可選擇區(qū)域的選擇操作或者與選擇操作不同的手勢操作，手部的形狀改變由移動的手部引起。
[0016]根據(jù)本公開內(nèi)容的第三方面的一種計算機(jī)可讀非瞬態(tài)記錄介質(zhì)具有在其中存儲的程序，并且該程序使得控制輸入設(shè)備的計算機(jī)執(zhí)行以下功能，輸入設(shè)備基于用戶的手部在與顯示一個或者多個可選擇區(qū)域的操作屏幕關(guān)聯(lián)的拾取的圖像中的運(yùn)動來確定用戶的輸入:輸入確定功能，該輸入確定功能基于手部在多個拾取的圖像中的形狀改變來確定用戶的輸入是否為對可選擇區(qū)域的選擇操作或者與選擇操作不同的手勢操作，手部的形狀改變由移動的手部引起。
[0017]本發(fā)明的有利效果
[0018]根據(jù)本公開內(nèi)容，變得有可能提供一種除了選擇操作之外還可以確定手勢操作的輸入設(shè)備、輸入方法和非瞬態(tài)記錄介質(zhì)。
【附圖說明】
[0019]圖1是圖示了通過根據(jù)本公開內(nèi)容的一個實施例的輸入設(shè)備的輸入條件的示圖；
[0020]圖2A是圖示了在輸入設(shè)備的顯示器上顯示的操作屏幕的示圖；
[0021]圖2B是圖示了由輸入設(shè)備的成像器拾取的拾取的圖像的示圖；
[0022]圖2C是圖示了輸入設(shè)備的操作屏幕如何與拾取的圖像關(guān)聯(lián)的示圖；
[0023]圖3A是用于說明手勢操作的圖；
[0024]圖3B是用于說明手勢操作的圖；
[0025]圖3C是用于說明選擇操作的圖；
[0026]圖4是圖示了在圖1中所示的輸入設(shè)備的內(nèi)部配置的框圖；
[0027]圖5是用于說明在圖4中所示的控制器的功能的功能框圖；
[0028]圖6是用于說明均在圖4中所示的存儲器中存儲的手勢確定表和命令表的示圖；
[0029]圖7A是用于說明在用戶的手部運(yùn)動模式之中的繪制順時針圓的運(yùn)動模式的示圖；
[0030]圖7B是用于說明繪制逆時針圓的運(yùn)動模式作為用戶的手部運(yùn)動模式的示例的示圖；
[0031]圖7C是用于說明在向左方向上的直線移動的運(yùn)動模式作為用戶的手部運(yùn)動模式的示例的示圖；
[0032]圖7D是用于說明在向右方向上的直線移動的運(yùn)動模式作為用戶的手部運(yùn)動模式的示例的示圖；
[0033]圖8是根據(jù)第一實施例的輸入過程的流程圖；
[0034]圖9是用于說明在輸入過程中利用的拾取的圖像的示圖；
[0035]圖10是用于說明手部區(qū)域的示圖；
[0036]圖11是圖示了如何指定指向可選擇區(qū)域的方向的示圖；
[0037]圖12A是圖示了在比較指向可選擇區(qū)域的方向與用戶的手部的移動方向時如何指定用戶的手部的移動方向的示圖；
[0038]圖12B是圖示了在比較指向可選擇區(qū)域的方向與用戶的手部的移動方向時如何基于指向可選擇區(qū)域的方向和用戶的手部的移動方向來計算方向差異程度的示圖；
[0039]圖13A是圖示了用戶的手部在選擇操作時的形狀改變的示圖；
[0040]圖13B是圖示了用戶的手部在手勢操作時的形狀改變的示圖；
[0041]圖14是用于說明第一實施例的輸入設(shè)備的效果的示圖；
[0042]圖15是用于說明在圖4中所示的存儲器中預(yù)備的FIFO隊列的示圖；
[0043]圖16是根據(jù)第二實施例的輸入過程的流程圖；
[0044]圖17A是圖示了在指定用戶的手部的移動方向及其形狀改變時如何指定用戶的手部的移動方向改變的示圖；
[0045]圖17B是圖示了在指定用戶的手部的移動方向及其形狀改變時如何指定用戶的手部的形狀改變的示圖；
[0046]圖18是圖示了如何對于每個某個時間間隔計算方向差異程度、形狀差異程度和相加值的示圖；
[0047]圖19是用于說明第二實施例的輸入設(shè)備的效果的示圖；
[0048]圖20A是用于輸入設(shè)備的修改的示例的示圖，并且是用于說明參照指向可選擇區(qū)域的方向和用戶的手部在移動開始時的定位而創(chuàng)建的方向比較映射的示圖；
[0049]圖20B是圖示了如何基于方向比較映射來指定方向差異程度的示圖；
[0050]圖21A是圖示了如何顯示用戶的手部的運(yùn)動軌跡作為光軌道以便說明反饋器的操作的示圖；
[0051]圖21B是圖示了圓形指導(dǎo)指示符的透明度如何基于累積值而改變的示圖；
[0052]圖22是用于說明輸入設(shè)備的修改的示例的示圖；
[0053]圖23A是圖示了在用戶的手部的移動速度塊時的過程以便說明輸入設(shè)備的修改的示例的示圖；以及
[0054]圖23B是圖示了在用戶的手部的移動速度慢時的過程的示圖。
【具體實施方式】
[0055]以下將參照【附圖說明】根據(jù)本公開內(nèi)容的一個實施例的輸入設(shè)備。
[0056](第一實施例)
[0057]這一實施例的輸入設(shè)備100包括用于基于由相機(jī)拾取的用戶的手部運(yùn)動來確定從用戶對設(shè)備的輸入(例如，用戶的對設(shè)備的操作指令、在顯示命令、圖標(biāo)等的可選擇區(qū)域內(nèi)的選擇)的功能。輸入設(shè)備100例如是具有如在圖1中所示的外觀的個人計算機(jī)。首先，將參照圖2和圖3說明由輸入設(shè)備100執(zhí)行的過程的概況。
[0058]輸入設(shè)備100包括例如顯示在圖2A中所示的并且在經(jīng)受到選擇的可選擇區(qū)域中顯示圖像(圖標(biāo)和按鈕)的操作屏幕的顯示器120，以及例如在圖2B中所示的圖像的成像器130。如在圖2C中所示，所拾取的圖像(下文被稱為“拾取的圖像”)與操作屏幕關(guān)聯(lián)。例如，輸入設(shè)備100通過坐標(biāo)轉(zhuǎn)換(比如仿射變換)來關(guān)聯(lián)拾取的圖像上的每個坐標(biāo)點與操作屏幕上的坐標(biāo)點。接著，當(dāng)在拾取的圖像的一部分上反映用戶的指尖時，這被接受作為指出操作屏幕上的關(guān)聯(lián)的部分的操作。因此，可以輸入指定操作屏幕上的定位的操作而未用指示設(shè)備，比如鼠標(biāo)或者觸屏。根據(jù)應(yīng)用的條件在操作屏幕上設(shè)置可選擇區(qū)域，該應(yīng)用是輸入操作的目標(biāo)。可選擇區(qū)域可以同時顯示例如可下壓按鈕的圖像、經(jīng)受到選擇的圖標(biāo)的圖像等。備選地，在對于用戶可識別的部分(比如屏幕的上端及其下端)的情況下，并不在可選擇區(qū)域中顯示特殊圖像這樣的設(shè)置是可能的。輸入設(shè)備100例如與應(yīng)用通信以獲得可選擇區(qū)域的坐標(biāo)，并且在RAM中存儲獲得的坐標(biāo)。在以下說明中，假設(shè)可選擇區(qū)域的坐標(biāo)參考在RAM中的預(yù)定區(qū)域在任何時間可獲得。作為操作輸入的具體種類，輸入設(shè)備100基于用戶在拾取的圖像中的手部運(yùn)動來確定用戶的輸入是否為選擇操作或者與選擇操作不同的手勢操作。在這一情況下，“手勢操作”是預(yù)定動作(比如身體語言信號和預(yù)先定義的用于操作設(shè)備的手部手勢)，例如，如在圖3A中所示的手部的圓形運(yùn)動、如在圖3B中所示的繞著腕部和肘部轉(zhuǎn)動手部而有手指指向的運(yùn)動(下文將把這一運(yùn)動稱為“輕彈運(yùn)動”)和旋轉(zhuǎn)手部的運(yùn)動(下文被稱為“旋轉(zhuǎn)運(yùn)動”)等。此外，“選擇操作”(也被稱為“指點操作”)是用戶的、在屏幕上顯示的可選擇區(qū)域內(nèi)選擇的運(yùn)動?！斑x擇操作”包括用戶在移向點區(qū)域之時的手部運(yùn)動。
[0059]在用戶執(zhí)行選擇操作時，用戶的手部朝著可選擇區(qū)域移動。在這一情況下，用戶經(jīng)常在查看操作屏幕之時水平地移動手部，并且因此如在圖3C中所示，手部的拾取的形狀例如最小程度地改變。反言之，在手勢操作的情況下，用戶經(jīng)常在繞著腕部轉(zhuǎn)動手部之時移動手部，并且因此如在圖3A和圖3B中所示，例如，手部的拾取的形狀顯著地改變。輸入設(shè)備100基于由移動所引起的用戶的手部的形狀的改變來確定用戶的輸入是否為選擇操作或者手勢操作。
[0060]以下將給出對輸入設(shè)備100的配置的具體說明。
[0061]如在圖4中所示，輸入設(shè)備100包括操作設(shè)備110、顯示器120、成像器130、圖像存儲器140、控制器150和存儲器160。
[0062]操作設(shè)備110是輸入設(shè)備，比如鍵盤。操作設(shè)備110例如接受來自用戶的過程開始指令，并且向?qū)㈦S后將討論的控制器150傳輸接受的指令。。
[0063]顯示器120是顯示設(shè)備，比如液晶顯示器。顯示器120根據(jù)控制器150的控制來顯不各種圖像。
[0064]成像器130是圖像拾取設(shè)備，比如(XD(電荷耦合器件圖像傳感器)相