本公開涉及用于向要控制的設備輸入由用戶發(fā)出的控制命令的信息輸入設備、信息輸入方法和計算機程序。具體地講，本公開涉及一種用于輸入例如手勢的由用戶發(fā)出的控制命令的信息輸入設備、信息輸入方法和計算機程序。

背景技術：
在人所生活的環(huán)境中，存在諸如家用電器和信息裝置的由用戶進行控制的各種類型的產品。已經存在被構造為使用諸如激光筆或遙控器的裝置來遠程控制這些類型的設備的技術。例如，已經提出了遙控位置通知系統(tǒng)(例如，參見日本未審專利申請公布No.2008-224584)和指向系統(tǒng)(例如，參見日本未審專利申請公布No.2009-301564)等等，該遙控位置通知系統(tǒng)能夠向用戶通知遙控的位置；當用戶用手揮動從其中心發(fā)射高亮度擴散光束的指向裝置時，該指向系統(tǒng)使用多個光接收傳感器檢測該指向裝置的位置，并且在垂直或水平地移動指針的同時根據手的運動在屏幕上顯示指針。然而，在這些相關技術中，用戶必須用他或她的手指操作用于產生用于檢測手指的位置或姿勢的信號的特定裝置，例如，遙控器。還提出了遙控器(例如，參見日本未審專利申請公布No.2010-79332)，所述遙控器被構造為拍攝正在操作用于顯示操作按鈕或菜單的操作顯示裝置的操作者的圖像，并且基于從拍攝的圖像檢測的手區(qū)域的形狀和運動以及操作顯示裝置上的顯示來檢測用戶執(zhí)行的操作。這個相關技術能夠使用用戶的手指的輪廓來識別他或她的姿勢。然而，由于這個技術僅僅使用二維輪廓信息，所以難以穩(wěn)定地識別姿勢，除非手指的姿勢對于相機是適當的。由于這個原因，用戶必須意識到相機的位置。這對執(zhí)行操作的用戶的姿勢施加了很大的限制。當觀測手指的形狀的方向等發(fā)生變化時，手指的輪廓明顯變化。因此，當根據輪廓識別姿勢時，取決于觀測方向，識別結果變得不穩(wěn)定。還提出了圖像識別設備（例如，參見日本未審專利申請公布No.2010-15553），所述圖像識別設備三維地讀取操作者相對于虛擬操作表面的運動，基于操作者的一部分與虛擬操作表面之間的位置關系來確定該運動是否是操作，并且當操作者在基于這個位置關系定義的兩個或更多虛擬操作層的任何一個中進行運動時，基于事先向這個虛擬操作層分配的操作類型和操作者在這個虛擬操作層中的運動來確定操作的細節(jié)。這些圖像識別設備使用圖像特征值，三維地跟蹤用戶的手指。然而，例如，當照明條件急劇變化時，難以在圖像的多個幀之間穩(wěn)定地匹配和跟蹤特征點。因此，該圖像識別設備看起來識別穩(wěn)定性低。另外，盡管這些圖像識別設備可以測量手指的特征點的三維位置，但是它們不能夠檢測手指自身的姿勢。另外，由于這些圖像識別設備識別在相對于相機的位置處的用戶，所以用戶必須意識到相機的位置。另外，為了使用戶可以執(zhí)行直觀操作，必須基于相機與屏幕之間的相對位置關系來確定相機的位置。因此，選擇的自由度低。還提出了人運動確定設備（例如，參見日本未審專利申請公布No.2012-3364），該人運動確定設備被構造為使用正在執(zhí)行預定運動的人的拍攝圖像并且還使用關于拍攝的圖像的深度的信息來確定人的運動，從拍攝的圖像提取特征點來計算三維特征值，跟蹤這個三維特征值以計算四維軌跡特征值，并且使用該四維軌跡特征值針對每個單位跟蹤時間確定運動。然而，為了向這些設備輸入操作，用戶必須在與由標記指示的位置關聯(lián)的虛擬操作表面上執(zhí)行操作。因此，對正執(zhí)行操作的用戶的位置或姿勢施加了限制。

技術實現(xiàn)要素：
期望提供能夠基于由用戶執(zhí)行的直觀運動（例如，手勢）向要控制的設備輸入控制命令的優(yōu)良的信息輸入設備、信息輸入方法和計算機程序。根據本發(fā)明的一個實施例，提供了一種信息輸入設備。該信息輸入設備包括：觀測單元，被構造為觀測包括用戶以及一個或多個要控制的設備的環(huán)境，該觀測單元包括傳感器；學習單元，被構造為根據由觀測單元獲得的觀測數據，分離前景和背景，并且學習前景和背景的三維模型，前景包括用戶以及所述一個或多個要控制的設備，背景包括除前景外的環(huán)境；狀態(tài)估計單元，被構造為估計所述環(huán)境中已經建模的前景的位置和姿勢；用戶識別單元，被構造為從前景識別用戶的手指并且識別手指的形狀、位置和姿勢；以及設備控制單元，被構造為基于由用戶識別單元識別的手指的形狀、位置和姿勢，向所述一個或多個要控制的設備輸出控制命令。在根據本公開的實施例的信息輸入設備中，觀測單元可以獲得環(huán)境的距離圖像，學習單元可以從距離圖像分離前景和背景并且學習前景和背景的三維模型。在根據本公開的實施例的信息輸入設備中，學習單元可以在用戶實際控制或操作要控制的期望設備之前，事先構建要控制的期望設備的三維模型。在根據本公開的實施例的信息輸入設備中，學習單元可以構建包括要控制的期望設備的周圍環(huán)境的三維模型，然后從周圍環(huán)境消除要控制的期望設備，并且通過檢測與差別對應的三維模型僅構建要控制的期望設備的三維模型。在根據本公開的實施例的信息輸入設備中，狀態(tài)估計單元可以更新已經由學習單元構建的三維前景和背景模型，以及可以連續(xù)估計傳感器和前景的相應位置和姿勢，在改變傳感器的視野的同時構建背景的三維模型，然后通過在固定三維背景模型的情況下提取與差別對應的區(qū)域來學習前景的三維模型。在根據本公開的實施例的信息輸入設備中，學習單元事先并入關于三維前景和背景模型的知識并且隨后學習三維前景和背景模型。在根據本公開的實施例的信息輸入設備中，學習單元可以從三維空間中切出位置或姿勢不變化的模型作為背景，切出位置或姿勢頻繁變化的對象作為前景模型，并且學習前景和背景模型。在根據本公開的實施例的信息輸入設備中，用戶識別單元可以檢測與通過從觀測單元捕捉的圖像檢測人或面部獲得的區(qū)域關聯(lián)的前景模型，作為用戶。在根據本公開的實施例的信息輸入設備中，用戶識別單元可以通過事先標記手指，針對標記的手指和在標記后準備的典型人體的三維模型執(zhí)行圖形匹配，并且關注與標記的節(jié)點對應的區(qū)域的前景，來識別手指。在根據本公開的實施例的信息輸入設備中，用戶識別單元可以針對事先為每個手形狀準備的典型的三維手模型識別所識別的手指的形狀。在根據本公開的實施例的信息輸入設備中，用戶識別單元可以為每個用戶準備不同的典型的三維手模型，并且根據基于觀測數據識別的用戶改變該典型的三維手模型。在根據本公開的實施例的信息輸入設備中，設備控制單元可以基于識別的手的形狀、位置和姿勢識別要控制的設備，然后向要控制的設備發(fā)出與識別的手的狀態(tài)或狀態(tài)變化對應的控制命令。在根據本公開的實施例的信息輸入設備中，設備控制單元可以參考控制命令對應表來確定來自用戶的與識別的手的狀態(tài)或狀態(tài)變化對應的控制命令，該控制命令對應表定義了手的形狀與控制命令之間的分類對應關系。在根據本公開的實施例的信息輸入設備中，設備控制單元可以使用為每個要控制的設備定義分類對應關系的控制命令對應表。在根據本公開的實施例的信息輸入設備中，當用戶作出舉起食指的指向運動時，設備控制單元可以識別在從食指的指尖延伸的直線上存在的前景模型作為要控制的設備。在根據本公開的實施例的信息輸入設備中，設備控制單元可以確定與用戶的左右手的各自狀態(tài)的組合或者狀態(tài)變化的組合對應的控制命令。在根據本公開的實施例的信息輸入設備中，當設備控制單元識別顯示器作為要控制的設備時，設備控制單元可以輸出與顯示器的屏幕上的光標操作對應的控制命令。在根據本公開的實施例的信息輸入設備中，設備控制單元可以基于相對于手指指向運動的開始位置的位移量，指定屏幕上光標位置的三維運動速度。在根據本公開的實施例的信息輸入設備中，設備控制單元可以獲得從識別的用戶的雙手的手指延伸的直線的交點，并且基于該交點指定相對于屏幕上三維用戶界面的深度。在根據本公開的實施例的信息輸入設備中，設備控制單元可以基于識別的用戶的指向手指的姿勢與環(huán)境內的物體的交點，識別要控制的設備和要向該要控制的設備發(fā)送的指令。在根據本公開的實施例的信息輸入設備中，設備控制單元可以基于識別的用戶的一只手的手指的姿勢與環(huán)境內的物體的交點識別要控制的設備，以及可以基于識別的用戶的另一只手的手指的形狀或者另一只手的手指的位置和姿勢的變化，識別要向該要控制的設備發(fā)出的指令并且輸出控制命令。根據本公開的另一個實施例，提供了一種用于輸入信息的方法。該用于輸入信息的方法包括：觀測包括用戶以及一個或多個要控制的設備的環(huán)境；根據在觀測步驟中獲得的觀測數據分離前景和背景，并且學習前景和背景的三維模型，前景包括用戶以及所述一個或多個要控制的設備，背景包括除前景外的環(huán)境；估計所述環(huán)境中已經建模的前景的位置和姿勢；從前景識別用戶的手指并且識別手指的形狀、位置和姿勢；以及基于在識別步驟中識別的手指的形狀、位置和姿勢，向所述一個或多個要控制的設備輸出控制命令。根據本公開的另一個實施例，提供了一種以計算機可讀形式編寫以使得計算機發(fā)揮如下部件的作用的計算機程序：觀測單元，被構造為觀測包括用戶以及一個或多個要控制的設備的環(huán)境，該觀測單元包括傳感器；學習單元，被構造為根據由觀測單元獲得的觀測數據，分離前景和背景，并且學習前景和背景的三維模型，前景包括用戶以及所述一個或多個要控制的設備，背景包括除前景外的環(huán)境；狀態(tài)估計單元，被構造為估計所述環(huán)境中已經建模的前景的位置和姿勢；用戶識別單元，被構造為從前景識別用戶的手指并且識別手指的形狀、位置和姿勢；以及設備控制單元，被構造為基于由用戶識別單元識別的手指的形狀、位置和姿勢，向所述一個或多個設備輸出控制命令。通過定義以計算機可讀形式編寫的計算機程序以在計算機上執(zhí)行預定處理，形成根據本公開的另一個實施例的計算機程序。換言之，通過在計算機上安裝根據本公開的另一個實施例的計算機程序，在計算機上執(zhí)行協(xié)作功能，并且能夠獲得與根據本公開的實施例的信息輸入設備的效果類似的效果。根據本公開的實施例，可以提供能夠基于由用戶執(zhí)行的直觀運動（例如，手勢）向要控制的設備輸入控制命令的優(yōu)良的信息輸入設備、信息輸入方法和計算機程序。根據本公開的實施例，用戶在使用手勢輸入控制命令時不必持有任何特殊指向裝置，并且能夠空手地操作要控制的設備。另外，根據本公開的實施例的信息輸入設備使用全局坐標系識別用戶的手指的位置和姿勢。這導致觀測用戶的手的裝置的放置位置的靈活性增加。根據本公開的實施例的信息輸入設備不依賴于手指的輪廓而使用手指的三維模型連續(xù)跟蹤用戶的手指的位置和姿勢。因此，無論從什么方向觀測手指，信息輸入設備都能夠沒有問題地識別手指。另外，在使用手指的三維模型進行跟蹤時，信息輸入設備不會丟失三維模型的特征點的跟蹤。因此，它能夠穩(wěn)定地識別用戶的手指的位置和姿勢?；诟鶕竟_的實施例的信息輸入設備，用戶能夠通過測量用戶相對于要控制的設備的位置，或者組合并識別用戶的雙手的手指的姿勢然后獲得從雙手的手指延伸的直線的交點，來指定深度。因此，在顯示器上顯示的GUI設計的靈活性增加，從而可以更加便利地選擇3D顯示上的菜單等。通過在下文中結合附圖詳細描述本公開的實施例，本公開的其它目標、特征和優(yōu)點將變得清楚。附圖說明圖1是示意性示出了根據本公開的實施例的信息輸入設備的功能結構的圖；圖2是示出通過從觀測數據學習三維模型獲得的結果的例子的圖；圖3是示出通過學習前景模型獲得的結果的例子的圖；圖...