能夠辨識(shí)用戶(hù)操作的信息處理裝置及其控制方法
【專(zhuān)利摘要】本發(fā)明提供一種能夠辨識(shí)用戶(hù)操作的信息處理裝置及其控制方法。根據(jù)本發(fā)明的信息處理裝置能夠提高當(dāng)用戶(hù)進(jìn)行與目標(biāo)物體相關(guān)的手勢(shì)操作時(shí)的可操作性。
【專(zhuān)利說(shuō)明】能夠辨識(shí)用戶(hù)操作的信息處理裝置及其控制方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種能夠辨識(shí)(recognize)用戶(hù)操作的信息處理裝置。

【背景技術(shù)】
[0002]傳統(tǒng)裝置能夠從由可見(jiàn)光照相機(jī)或紅外線(xiàn)照相機(jī)拍攝的圖像中，檢測(cè)包括用戶(hù)手部的手部區(qū)域，并且能夠辨識(shí)基于檢測(cè)到的手部的運(yùn)動(dòng)及位置的手勢(shì)操作?；谀軌蛲ㄟ^(guò)追蹤手部區(qū)域來(lái)辨識(shí)的用戶(hù)手部運(yùn)動(dòng)，與預(yù)先跟各個(gè)指令內(nèi)容相關(guān)聯(lián)地登記的各種手勢(shì)模式的比較，上述傳統(tǒng)裝置能夠辨識(shí)對(duì)裝置進(jìn)行的手勢(shì)操作，并且識(shí)別指令內(nèi)容。為了識(shí)別要與手勢(shì)模式比較的部分，在可見(jiàn)光照相機(jī)或紅外線(xiàn)照相機(jī)的視角中發(fā)生的手部運(yùn)動(dòng)中，通常在手部進(jìn)入特定區(qū)域時(shí)，開(kāi)始追蹤手部區(qū)域(開(kāi)始辨識(shí)手勢(shì)操作)。
[0003]如在日本特開(kāi)2003-216955號(hào)公報(bào)中所討論的，當(dāng)用戶(hù)進(jìn)行手勢(shì)操作時(shí)，傳統(tǒng)上已知的是基于從運(yùn)動(dòng)圖像中提取的人臉部分的橫向?qū)挾?、縱向長(zhǎng)度及面積中的至少一者，在手部可能存在的區(qū)域的附近，來(lái)設(shè)置要用來(lái)辨識(shí)手勢(shì)操作的特定區(qū)域。要被設(shè)置用來(lái)辨識(shí)手勢(shì)的特定區(qū)域被稱(chēng)為手勢(shì)辨識(shí)區(qū)域。
[0004]手勢(shì)辨識(shí)區(qū)域需要足夠大，以容納在手勢(shì)操作期間依次發(fā)生的全部手部運(yùn)動(dòng)。另一方面，如果手勢(shì)辨識(shí)區(qū)域過(guò)大，則用戶(hù)需要進(jìn)行過(guò)大的動(dòng)作，以在開(kāi)始下一手勢(shì)操作之前，將手部從手勢(shì)辨識(shí)區(qū)域中移走。
[0005]特別是，當(dāng)用戶(hù)進(jìn)行與目標(biāo)物體(例如，虛擬物體或?qū)嶓w物體)相關(guān)的手勢(shì)操作時(shí)，用戶(hù)移動(dòng)手部的范圍的大小往往受到該目標(biāo)物體的大小的影響。因此，可能把用戶(hù)為了返回初始狀態(tài)而進(jìn)行的過(guò)大動(dòng)作，辨識(shí)為不自然的運(yùn)動(dòng)。可操作性顯著降低。
[0006]根據(jù)日本特開(kāi)2003-216955號(hào)公報(bào)中所討論的技術(shù)，在用戶(hù)的當(dāng)前位置，設(shè)置能夠與各用戶(hù)手部可能存在的區(qū)域相當(dāng)?shù)氖謩?shì)提取區(qū)域。然而，未考慮到適合于要進(jìn)行的各手勢(shì)操作的區(qū)域的大小。


【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是提高當(dāng)用戶(hù)進(jìn)行與目標(biāo)物體相關(guān)的手勢(shì)操作時(shí)的可操作性。
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供一種信息處理裝置，其能夠基于由拍攝預(yù)定區(qū)域的圖像的攝像單元獲得的圖像，來(lái)辨識(shí)由手勢(shì)物體進(jìn)行的手勢(shì)操作。該信息處理裝置包括:獲取單元，其被配置為獲取關(guān)于存在于所述預(yù)定區(qū)域中的目標(biāo)物體的位置信息；以及設(shè)置單元，其被配置為設(shè)置所述預(yù)定區(qū)域的、與由所述獲取單元獲取到的關(guān)于所述目標(biāo)物體的位置信息相對(duì)應(yīng)的部分區(qū)域，作為與所述目標(biāo)物體相對(duì)應(yīng)的至少一個(gè)手勢(shì)操作的手勢(shì)辨識(shí)區(qū)域。該信息處理裝置還包括:辨識(shí)單元，其被配置為基于由所述攝像單元獲得的所述圖像的、與由所述設(shè)置單元設(shè)置的所述手勢(shì)辨識(shí)區(qū)域相對(duì)應(yīng)的部分，來(lái)辨識(shí)由所述手勢(shì)物體進(jìn)行的手勢(shì)操作。
[0009]通過(guò)以下參照附圖對(duì)示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0010]圖1A、圖1B及圖1C例示了信息處理裝置的硬件及軟件結(jié)構(gòu)以及該信息處理裝置的外觀(guān)的示例。
[0011]圖2A及圖2B是例示能夠由信息處理裝置辨識(shí)的手勢(shì)操作以及相關(guān)信息的示例的表。
[0012]圖3是例示信息處理裝置辨識(shí)手勢(shì)操作的主處理的示例流程的流程圖。
[0013]圖4是例示能夠由信息處理裝置進(jìn)行以參照目標(biāo)物體及用戶(hù)位置來(lái)設(shè)置辨識(shí)區(qū)域的處理的示例流程的流程圖。
[0014]圖5是例示能夠由信息處理裝置進(jìn)行來(lái)檢測(cè)手部的狀態(tài)的處理的示例流程的流程圖。
[0015]圖6A至圖6D是各自例示能夠被進(jìn)行來(lái)設(shè)置適合于各估計(jì)的操作的辨識(shí)區(qū)域的處理的示例流程的流程圖。
[0016]圖7A至圖7D例示了 “翻轉(zhuǎn)”(reversing)操作的示例。
[0017]圖8A至圖8D例示了在估計(jì)了 “翻頁(yè)”(page turning)操作的情況下的辨識(shí)區(qū)域的示例。
[0018]圖9A至圖9D例示了在估計(jì)了 “翻頁(yè)”操作的情況下的辨識(shí)區(qū)域的示例。
[0019]圖10A、圖1OB及圖1OC例示了 “翻頁(yè)”操作的操作狀態(tài)的示例。

【具體實(shí)施方式】
[0020]下面，將參照附圖來(lái)詳細(xì)描述本發(fā)明的各個(gè)示例性實(shí)施例、特征及方面。
[0021]在以下的示例性實(shí)施例中記載的構(gòu)成要素僅僅是示例。本發(fā)明的范圍不應(yīng)當(dāng)局限于這些示例。
[0022]在第一示例性實(shí)施例中，提取手勢(shì)操作的區(qū)域不是固定的，并且被設(shè)置為具有能夠與可能偶爾發(fā)生的各手勢(shì)操作相當(dāng)?shù)拇笮　?br> [0023]另外，在第一示例性實(shí)施例中要進(jìn)行的處理中，包括在辨識(shí)與目標(biāo)物體相關(guān)的手勢(shì)操作時(shí)預(yù)先估計(jì)用戶(hù)希望進(jìn)行的操作。然后，在第一示例性實(shí)施例中要進(jìn)行的處理包括設(shè)置如下的手勢(shì)辨識(shí)區(qū)域，該手勢(shì)辨識(shí)區(qū)域在大小和位置兩方面，均適合于接下來(lái)將可能相對(duì)于目標(biāo)物體進(jìn)行的手勢(shì)操作(即估計(jì)的手勢(shì)操作)。在下文中，將詳細(xì)描述上述的處理。
[0024]在下面的描述中，手勢(shì)辨識(shí)區(qū)域是如下的區(qū)域，該區(qū)域要用來(lái)確定從在手勢(shì)辨識(shí)區(qū)域中開(kāi)始檢測(cè)到能夠在手勢(shì)操作中使用的物體(例如，用戶(hù)手部)的時(shí)間起開(kāi)始了該手勢(shì)操作。在下面的描述中，能夠用于手勢(shì)操作的物體被稱(chēng)為手勢(shì)物體。另外，在第一示例性實(shí)施例中要進(jìn)行的處理包括確定在手勢(shì)物體從手勢(shì)辨識(shí)區(qū)域中離開(kāi)時(shí)手勢(shì)操作完成。另夕卜，在第一示例性實(shí)施例中要進(jìn)行的處理包括:如果從手勢(shì)操作的開(kāi)始時(shí)間到手勢(shì)操作的結(jié)束時(shí)間的、手勢(shì)物體的連續(xù)運(yùn)動(dòng)，是已預(yù)先存儲(chǔ)的預(yù)定運(yùn)動(dòng)，則識(shí)別出手勢(shì)操作。
[0025]具體而言，根據(jù)本示例性實(shí)施例的信息處理裝置追蹤手勢(shì)辨識(shí)區(qū)域中的手勢(shì)物體的運(yùn)動(dòng)，并且如果追蹤的運(yùn)動(dòng)與預(yù)定運(yùn)動(dòng)相同，識(shí)別出輸入了與該預(yù)定運(yùn)動(dòng)相關(guān)聯(lián)的手勢(shì)操作。在下面的描述中，手勢(shì)辨識(shí)區(qū)域可以簡(jiǎn)稱(chēng)為辨識(shí)區(qū)域。在本示例性實(shí)施例中，用戶(hù)手部是能夠用作手勢(shì)物體的示例。手寫(xiě)筆或任何其他工具同樣是可用的。
[0026]圖1A例示了根據(jù)本示例性實(shí)施例的信息處理裝置100的外觀(guān)的示例。在本示例性實(shí)施例中，信息處理裝置100能夠利用置于操作面102上面的投影機(jī)103顯示投影圖像，該投影圖像包括專(zhuān)用于使得用戶(hù)能夠觸摸來(lái)進(jìn)行輸入操作的用戶(hù)界面的顯示對(duì)象101 (例如，按鈕或圖標(biāo))。
[0027]另外,信息處理裝置100包括置于操作面102上面的照相機(jī)104。因此,信息處理裝置100能夠基于由照相機(jī)104拍攝的視頻的俯視圖，來(lái)辨識(shí)用戶(hù)操作。另外，信息處理裝置100能夠拍攝置于操作面102上的目標(biāo)物體106 (例如，背景對(duì)象)的圖像，以獲得圖像數(shù)據(jù)。
[0028]圖1A中所示的目標(biāo)物體的示例包括被放置在操作面102上的書(shū)本106。在以下的描述中，要由照相機(jī)104進(jìn)行來(lái)獲得如下圖像數(shù)據(jù)的圖像拍攝操作被稱(chēng)為“讀取”，所述圖像數(shù)據(jù)代表作為，例如，實(shí)體物體(例如，紙張或書(shū)本)的目標(biāo)物體的內(nèi)容。另外，信息處理裝置100包括距離傳感器105，該距離傳感器105能夠檢測(cè)手勢(shì)物體與操作面102之間的距離。
[0029]如果在離操作面102的表面的預(yù)定距離內(nèi)，能夠檢測(cè)到手勢(shì)物體，則信息處理裝置100確定操作面102當(dāng)前被觸摸。在本示例性實(shí)施例中，可以使用圖1A中所示的坐標(biāo)系，相對(duì)于操作面102來(lái)定義目標(biāo)物體或用戶(hù)手部的位置。如圖1A所示，坐標(biāo)系具有原點(diǎn)，以及相互垂直的并且分別從所述原點(diǎn)延伸的X軸和I軸。
[0030]在本示例性實(shí)施例中，信息處理裝置100能夠基于由照相機(jī)104拍攝的圖像，來(lái)辨識(shí)用戶(hù)的手勢(shì)操作。特別是，如果對(duì)放置在操作面102上的目標(biāo)物體進(jìn)行了用戶(hù)操作，則信息處理裝置100能夠?qū)⒃撚脩?hù)操作辨識(shí)為手勢(shì)操作。
[0031]例如，如果用戶(hù)翻動(dòng)書(shū)本106的頁(yè)面，則信息處理裝置100把用戶(hù)的手部運(yùn)動(dòng)，辨識(shí)為指示讀取各展開(kāi)頁(yè)(spread page)的手勢(shì)操作。如果信息處理裝置100將用戶(hù)的翻動(dòng)運(yùn)動(dòng)的終止識(shí)別為操作終止，則信息處理裝置100進(jìn)行讀取處理，以獲得翻動(dòng)后的展開(kāi)頁(yè)的圖像數(shù)據(jù)。
[0032]在本示例性實(shí)施例中，投影機(jī)103能夠在操作面102上基于上述讀取的圖像數(shù)據(jù)投影或者顯示圖像。投影機(jī)103也可以在操作面102上投影該圖像連同其縮略圖。如果在操作面102上投影的圖像是目標(biāo)物體，則信息處理裝置100把顯示的圖像上的、在向左方向或向右方向上發(fā)生的手部運(yùn)動(dòng)(即輕掃(swiping)手勢(shì))，辨識(shí)為指示轉(zhuǎn)發(fā)圖像的手勢(shì)操作。
[0033]信息處理裝置100在各手勢(shì)操作被識(shí)別之后，依次改變待顯示的圖像。在下面的描述中，如上所述對(duì)實(shí)體物體(例如，書(shū)本)或虛擬物體(例如，顯示的圖像數(shù)據(jù))進(jìn)行的手勢(shì)操作，被稱(chēng)為與目標(biāo)物體相關(guān)的手勢(shì)操作。在本示例性實(shí)施例中，“書(shū)本”包括構(gòu)成多個(gè)頁(yè)面的多個(gè)紙張。當(dāng)“書(shū)本”的閉合的頁(yè)面被翻動(dòng)時(shí)，能夠查看或閱讀翻動(dòng)的頁(yè)面的內(nèi)容。
[0034]圖1B例示了根據(jù)本示例性實(shí)施例的信息處理裝置100的硬件結(jié)構(gòu)。在圖1B中，中央處理單元(CPU) 111能夠執(zhí)行信息處理裝置100的控制程序，以進(jìn)行實(shí)現(xiàn)各種類(lèi)型的處理的計(jì)算處理及邏輯確定。CPUlll能夠控制信息處理裝置100中的連接到系統(tǒng)總線(xiàn)115的各構(gòu)成要素。
[0035]只讀存儲(chǔ)器(ROM) 112是程序存儲(chǔ)器，該程序存儲(chǔ)器存儲(chǔ)與要由CPUlll進(jìn)行的各種控制相關(guān)的程序。存儲(chǔ)在R0M112中的程序包括后述流程圖中所示的處理過(guò)程。隨機(jī)存取存儲(chǔ)器(RAM) 113能夠用作CPUlll的工作區(qū)域、在出錯(cuò)處理的情況下的數(shù)據(jù)保存區(qū)域，以及能夠加載上述控制程序的加載區(qū)域。
[0036]存儲(chǔ)設(shè)備114包括能夠存儲(chǔ)與本示例性實(shí)施例相關(guān)的數(shù)據(jù)及程序的硬盤(pán)驅(qū)動(dòng)器，或者是連接到信息處理裝置100的外部存儲(chǔ)設(shè)備。顯示裝置103包括，例如，能夠顯示表示顯示對(duì)象和圖像的電子數(shù)據(jù)的顯示設(shè)備或投影機(jī)。在本示例性實(shí)施例中，顯示裝置103包括液晶投影機(jī)。
[0037]在本示例性實(shí)施例中，照相機(jī)104被置于操作區(qū)域上面，以便拍攝平面圖圖像。照相機(jī)104是攝像單元，該攝像單元被配置為拍攝圖像作為輸入圖像。距離傳感器105，包括，例如紅外線(xiàn)傳感器。如果在操作面102上進(jìn)行了用戶(hù)的觸摸操作，則距離傳感器105能夠基于用戶(hù)在該觸摸操作中使用的手勢(shì)物體(即用戶(hù)手部)與操作面102之間的距離，而檢測(cè)到該觸摸操作。
[0038]根據(jù)本示例性實(shí)施例的信息處理裝置100包括顯示裝置103及照相機(jī)104作為內(nèi)置裝置。作為另一選擇，顯示裝置103及照相機(jī)104可以是能夠由CPUlll控制的外部連接設(shè)備。
[0039]圖1C是例示根據(jù)第一示例性實(shí)施例的信息處理裝置100的功能結(jié)構(gòu)的框圖。例如，當(dāng)要由CPUlll進(jìn)行的上述軟件處理被硬件結(jié)構(gòu)取代時(shí)，提供與上述功能(即處理單元)相對(duì)應(yīng)的計(jì)算單元及電路是有用的。
[0040]攝像單元120包括照相機(jī)104及CPUlll。攝像單元120位于操作面102上面，并且能夠獲取操作面102的預(yù)定區(qū)域(即攝像區(qū)域)的圖像。此外，攝像單元120能夠讀取作為放置在操作面102上的實(shí)體物體(例如，紙張或書(shū)本)的目標(biāo)物體。在下面的描述中，能夠由攝像單元120進(jìn)行攝像的空間(即從照相機(jī)104的鏡頭延伸到操作面102的空間)被稱(chēng)為工作空間。當(dāng)照相機(jī)104拍攝工作空間的圖像時(shí)能夠在照相機(jī)104上的二維范圍，被稱(chēng)為攝像區(qū)域。
[0041]攝像單元120能夠被連續(xù)地操作以周期性地拍攝工作空間的圖像。通過(guò)比較順序拍攝的多個(gè)圖像，使得檢測(cè)攝像目標(biāo)的運(yùn)動(dòng)成為可行。在本示例性實(shí)施例中，攝像單元120與周期性地進(jìn)行的圖像拍攝操作相獨(dú)立地，進(jìn)行專(zhuān)用于讀取處理的圖像拍攝操作。
[0042]然而，也可以使用通過(guò)周期性的圖像拍攝操作獲得的多個(gè)圖像中的一者，作為專(zhuān)用于讀取處理的圖像。此外，如下的做法是有用的，即基于通過(guò)多次圖像拍攝操作獲得的多個(gè)圖像，來(lái)獲取專(zhuān)用于讀取處理的圖像。能夠由照相機(jī)104進(jìn)行攝像的范圍被稱(chēng)為讀取區(qū)域。然而，在本示例性實(shí)施例中，假定操作面102的大小基本上等于讀取區(qū)域的大小。
[0043]檢測(cè)單元121包括CPUl 11，該CPUl 11能夠執(zhí)行被從ROMl 12加載到RAMl 13中的程序及處理數(shù)據(jù)。檢測(cè)單元121能夠基于由攝像單元120拍攝的圖像，來(lái)檢測(cè)存在于工作空間中的檢測(cè)目標(biāo)。本示例性實(shí)施例中的檢測(cè)目標(biāo)包括用戶(hù)手部、作為對(duì)象讀取處理中的待處理目標(biāo)的實(shí)體物體，或者顯示的虛擬物體。然而，當(dāng)被投影為目標(biāo)物體的圖像數(shù)據(jù)是虛擬物體時(shí)，并非必須檢測(cè)拍攝的圖像。
[0044]例如，可以用基于拍攝的圖像的檢測(cè)，來(lái)取代用于從顯示控制單元128獲取投影圖像數(shù)據(jù)的處理，或者取代用于獲取表示投影圖像是否包括能夠作為手勢(shì)操作目標(biāo)的虛擬物體的標(biāo)志信息。在本示例性實(shí)施例中，檢測(cè)單元121根據(jù)背景差分法進(jìn)行檢測(cè)目標(biāo)檢測(cè)處理，所述背景差分法使用由攝像單元120拍攝的圖像，以及預(yù)先在初始狀態(tài)(即不存在檢測(cè)目標(biāo)的工作空間)下拍攝的初始圖像。檢測(cè)單元121能夠基于充當(dāng)背景的初始圖像與由攝像單元120拍攝的輸入圖像之間的差別，來(lái)檢測(cè)輸入圖像的、包括已出現(xiàn)在工作空間中的運(yùn)動(dòng)物體的部分區(qū)域。
[0045]此外，檢測(cè)單元121基于順序拍攝的輸入圖像間的差別，能夠檢測(cè)出包括在被檢測(cè)區(qū)域中的運(yùn)動(dòng)物體的至少一部分是否是靜止。在本示例性實(shí)施例中，檢測(cè)單元121參照預(yù)先存儲(chǔ)的人手形狀模型，對(duì)在初始圖像中不包括運(yùn)動(dòng)物體的圖像、但是在后續(xù)拍攝的圖像中包括已出現(xiàn)在工作空間中的運(yùn)動(dòng)物體的圖像的區(qū)域,進(jìn)行匹配處理。如果匹配的似然性高于預(yù)定值，則檢測(cè)單元121確定被處理區(qū)域是包括了用戶(hù)手部的區(qū)域。
[0046]另一方面，檢測(cè)單元121確定在初始圖像中不包括運(yùn)動(dòng)物體的圖像、但是在后續(xù)拍攝的圖像中包括出現(xiàn)在工作空間中后當(dāng)前靜止的運(yùn)動(dòng)物體的圖像的區(qū)域，作為經(jīng)歷對(duì)象讀取處理的目標(biāo)實(shí)體物體，或是檢測(cè)到顯示的虛擬物體的區(qū)域。
[0047]通過(guò)上述處理，檢測(cè)單元121能夠獲取關(guān)于存在于工作空間中的目標(biāo)物體的位置信息。當(dāng)檢測(cè)單元121從顯示控制單元128獲得投影圖像數(shù)據(jù)時(shí)，檢測(cè)單元121還能夠獲取關(guān)于虛擬物體的位置信息。在下面的描述中，當(dāng)檢測(cè)單元121進(jìn)行上述處理時(shí)，可以將這樣的處理稱(chēng)為“檢測(cè)用戶(hù)手部”或者“檢測(cè)目標(biāo)物體”。檢測(cè)單元121連續(xù)地進(jìn)行用于檢測(cè)用戶(hù)手部的處理，而不考慮存在于預(yù)定攝像區(qū)域中的手勢(shì)辨識(shí)區(qū)域的位置。
[0048]識(shí)別單元122包括CPU111，該CPUlll能夠執(zhí)行被從ROMl 12加載到RAMl 13中的程序及處理數(shù)據(jù)。識(shí)別單元122能夠識(shí)別由檢測(cè)單元121檢測(cè)到的目標(biāo)物體的類(lèi)型。具體而言，基于關(guān)于拍攝的圖像的包括目標(biāo)物體的部分區(qū)域的圖像信息、關(guān)于由距離傳感器105檢測(cè)到的目標(biāo)物體的厚度信息與預(yù)先存儲(chǔ)的樣本模型之間的匹配，識(shí)別單元122能夠識(shí)別目標(biāo)物體是紙張、書(shū)本還是投影圖像。
[0049]在本示例性實(shí)施例中，紙張是未折疊的紙張。例如，紙張可以包括具有A4或B5的正常尺寸的普通紙，或者是諸如收據(jù)紙或便箋紙等非規(guī)定的打印物。如果目標(biāo)物體的厚度是可忽略不計(jì)的，或者當(dāng)圖像特征分析的結(jié)果表示不存在書(shū)脊時(shí)，或者當(dāng)未使用訂書(shū)釘或任何其他固定件來(lái)裝訂目標(biāo)物體時(shí)，識(shí)別單元122能夠確定目標(biāo)物體是紙張。
[0050]此外，如果目標(biāo)物體的厚度等于或大于預(yù)定值，或者當(dāng)圖像特征分析的結(jié)果表示書(shū)本的書(shū)脊的存在時(shí)，識(shí)別單元122能夠確定目標(biāo)物體是書(shū)本。識(shí)別單元122能夠基于從顯示控制單元128獲得的信號(hào)，將目標(biāo)物體識(shí)別為投影圖像的一部分。檢測(cè)單元121將關(guān)于識(shí)別的目標(biāo)物體的位置信息存儲(chǔ)在RAMl 13中。
[0051 ] 指定單元123包括CPUl 11，該CPUl 11能夠執(zhí)行被從ROMl 12加載到RAMl 13中的程序及處理數(shù)據(jù)。指定單元123能夠識(shí)別相對(duì)于由檢測(cè)單元121檢測(cè)到的目標(biāo)物體的、由檢測(cè)單元121檢測(cè)到的用戶(hù)手部的位置及狀態(tài)。然而，響應(yīng)于由檢測(cè)單元121對(duì)目標(biāo)物體的檢測(cè)，而開(kāi)始要由指定單元123進(jìn)行的處理。具體而言，當(dāng)被插入工作空間中的運(yùn)動(dòng)物體的一部分被檢測(cè)為靜止時(shí)，指定單元123開(kāi)始自身的處理。
[0052]基于由檢測(cè)單元121在由攝像單元120拍攝的圖像上檢測(cè)到的用戶(hù)手部的插入方向，指定單元123指定用戶(hù)的方向。然后，指定單元123基于指定的用戶(hù)的方向來(lái)定義方向。指定單元123參照定義的方向，或者諸如用戶(hù)手部的指尖等的特定部分存在的位置(例如，在目標(biāo)物體的輪廓上)，來(lái)識(shí)別相對(duì)于由檢測(cè)單元121檢測(cè)到的目標(biāo)物體的用戶(hù)手部的位置，并且識(shí)別用戶(hù)手部的狀態(tài)。
[0053]例如，指定單元123能夠使用與諸如“握持(grip)目標(biāo)物體”狀態(tài)或者“按壓(press)目標(biāo)物體”狀態(tài)等的特征狀態(tài)相對(duì)應(yīng)的手部模型，來(lái)識(shí)別用戶(hù)手部的狀態(tài)。指定單元123能夠使用與如下處理類(lèi)似的匹配處理，來(lái)指定用戶(hù)手部的當(dāng)前狀態(tài)，所述處理是已被檢測(cè)單元121進(jìn)行用來(lái)檢測(cè)運(yùn)動(dòng)物體是否為人手的處理。
[0054]估計(jì)單元124包括CPUl 11，該CPUl 11能夠執(zhí)行被從ROMl 12加載到RAMl 13中的程序及處理數(shù)據(jù)。估計(jì)單元124能夠估計(jì)可能將被用戶(hù)進(jìn)行的操作。在這種情況下，基于存儲(chǔ)在存儲(chǔ)單元127中的操作字典，估計(jì)單元124指定由識(shí)別單元122識(shí)別的目標(biāo)物體的類(lèi)型，以及與由指定單元123指定的信息相關(guān)聯(lián)的操作。估計(jì)單元124基于指定的結(jié)果來(lái)生成估計(jì)結(jié)果。然后，通過(guò)參照操作字典，估計(jì)單元124能夠估計(jì)與估計(jì)的操作相關(guān)聯(lián)的區(qū)域信息，作為適合于接下來(lái)可能將進(jìn)行的手勢(shì)操作的手勢(shì)區(qū)域。然后，估計(jì)單元124識(shí)別表示區(qū)域的信息。
[0055]設(shè)置單元125包括CPUl 11，該CPUl 11能夠執(zhí)行被從ROMl 12加載到RAMl 13中的程序及處理數(shù)據(jù)。設(shè)置單元125能夠設(shè)置能夠用來(lái)辨識(shí)手勢(shì)操作的手勢(shì)辨識(shí)區(qū)域。在本示例性實(shí)施例中，在緊接在信息處理裝置的電源接通之后的初始狀態(tài)下，設(shè)置單元125設(shè)置能夠包含操作面102的整個(gè)區(qū)域的區(qū)域，作為手勢(shì)辨識(shí)區(qū)域。
[0056]然后，如果識(shí)別單元122識(shí)別除用戶(hù)手部以外的目標(biāo)物體，則設(shè)置單元125在識(shí)別的目標(biāo)物體的周邊區(qū)域中設(shè)置新的手勢(shì)辨識(shí)區(qū)域。在這種情況下要設(shè)置的預(yù)定辨識(shí)區(qū)域是具有能夠與目標(biāo)物體相當(dāng)?shù)拇笮〖拔恢玫膮^(qū)域。具體而言，設(shè)置單元125以包含目標(biāo)物體的外接矩形的方式，來(lái)進(jìn)行手勢(shì)辨識(shí)區(qū)域設(shè)置操作。
[0057]另外，基于在用戶(hù)將目標(biāo)物體插入到工作空間中時(shí)的手部(或手臂)的方向，來(lái)定義要被采用來(lái)定義用戶(hù)的手勢(shì)的方向的坐標(biāo)系。然而，如果對(duì)象是虛擬物體(例如，投影圖像)，則增加能夠基于投影方向定義的適當(dāng)變形是可行的。此外，基于表示適合于已由估計(jì)單元124估計(jì)的手勢(shì)操作的手勢(shì)區(qū)域的信息，設(shè)置單元125能夠設(shè)置攝像單元120的預(yù)定攝像區(qū)域的至少一部分，作為手勢(shì)辨識(shí)區(qū)域。
[0058]辨識(shí)單元126包括CPUl 11，該CPUl 11能夠執(zhí)行被從ROMl 12加載到RAMl 13中的程序及處理數(shù)據(jù)。辨識(shí)單元126能夠追蹤在已由設(shè)置單元125設(shè)置的手勢(shì)辨識(shí)區(qū)域中的用戶(hù)手部的運(yùn)動(dòng)，并且基于用戶(hù)手部的運(yùn)動(dòng)來(lái)辨識(shí)操作。具體而言，辨識(shí)單元126識(shí)別與追蹤的手部運(yùn)動(dòng)相對(duì)應(yīng)的操作命令。具體而言，從檢測(cè)單元121在手勢(shì)辨識(shí)區(qū)域中最先檢測(cè)到用戶(hù)手部的手勢(shì)開(kāi)始時(shí)間起，直到用戶(hù)手部從手勢(shì)辨識(shí)區(qū)域中離開(kāi)的手勢(shì)結(jié)束時(shí)間，辨識(shí)單元126追蹤用戶(hù)手部的連續(xù)運(yùn)動(dòng)。
[0059]然后，辨識(shí)單元126參照預(yù)先存儲(chǔ)在存儲(chǔ)單元127中的各手勢(shì)模型，對(duì)追蹤的用戶(hù)手部的運(yùn)動(dòng)進(jìn)行匹配處理。辨識(shí)單元126識(shí)別與匹配結(jié)果滿(mǎn)足給定條件的模型相關(guān)聯(lián)的操作命令。操作命令例如是使攝像單元120進(jìn)行讀取處理的指令,或者是使顯示控制單元128改變顯示內(nèi)容的指令。
[0060]然而，在本示例性實(shí)施例中，如果當(dāng)設(shè)置辨識(shí)區(qū)域時(shí)，用戶(hù)手部已經(jīng)存在于辨識(shí)區(qū)域中，則辨識(shí)單元126確定“在手勢(shì)辨識(shí)區(qū)域中已開(kāi)始用戶(hù)手部的檢測(cè)”。
[0061]此外，當(dāng)在本示例性實(shí)施例中追蹤用戶(hù)手部運(yùn)動(dòng)時(shí)，辨識(shí)單元126在由攝像單元120拍攝的圖像中，獲得包括用戶(hù)的手掌的區(qū)域的重心位置。然后，基于與包括用戶(hù)的手掌的區(qū)域的變形相比，重心位置的移動(dòng)是相對(duì)穩(wěn)定的事實(shí)，辨識(shí)單元126辨識(shí)重心位置的改變，作為用戶(hù)手部的位置移動(dòng)。然而，要追蹤的目標(biāo)不局限于上述的重心，并且也可以是包含用戶(hù)的手掌的整個(gè)區(qū)域，或者可以是中心點(diǎn)或任何其他特征點(diǎn)。
[0062]此外，根據(jù)本示例性實(shí)施例的辨識(shí)單元126能夠辨識(shí)用戶(hù)的觸摸操作，該觸摸操作能夠通過(guò)觸摸操作面來(lái)進(jìn)行?；谟蓹z測(cè)單元121檢測(cè)到的用戶(hù)手部中包括的指尖的位置信息，以及距離傳感器105的輸出信號(hào)，辨識(shí)單元126能夠辨識(shí)被用戶(hù)觸摸的位置。
[0063]當(dāng)辨識(shí)單元126辨識(shí)出對(duì)操作面進(jìn)行的觸摸操作時(shí)，辨識(shí)單元126在操作面上的從觸摸到釋放的時(shí)間段中，在由攝像單元120拍攝的圖像中包括的、包括用戶(hù)的手掌的區(qū)域中，追蹤伸展的用戶(hù)手指的指尖位置。辨識(shí)單元126辨識(shí)上述的追蹤操作的軌跡，作為在觸摸操作期間的用戶(hù)手指的運(yùn)動(dòng)。
[0064]存儲(chǔ)單元127對(duì)應(yīng)于存儲(chǔ)設(shè)備114。存儲(chǔ)單元127存儲(chǔ)在根據(jù)本示例性實(shí)施例的處理中要使用的操作字典，以及各個(gè)操作命令與手勢(shì)模型相關(guān)聯(lián)的信息。手勢(shì)模型是關(guān)于基準(zhǔn)模型的信息，其中在從手勢(shì)辨識(shí)區(qū)域中的用戶(hù)手部的檢測(cè)的開(kāi)始到結(jié)束的時(shí)間段中，能夠針對(duì)位置的改變以及形狀的改變，來(lái)參照所述基準(zhǔn)模型。
[0065]顯示控制單元128包括CPU111，該CPUlll能夠執(zhí)行被從ROMl 12加載到RAMl 13中的程序及處理數(shù)據(jù)。顯示控制單元128能夠根據(jù)由辨識(shí)單元126辨識(shí)出的操作命令指令，生成要輸出到顯單元129的顯示圖像。
[0066]顯示單元129包括顯示裝置103及CPUlll。顯示單元129能夠在操作面上,顯示由顯示控制單元128生成的顯示圖像。在本示例性實(shí)施例中，顯示裝置103是投影機(jī)。因此，顯示單元129能夠通過(guò)將圖像投影在操作面上，來(lái)進(jìn)行顯示處理。
[0067]圖2A例示了列出了在本示例性實(shí)施例中能夠被辨識(shí)的操作內(nèi)容的示例的表。圖2A中所示的表中包括的操作不局限于手勢(shì)操作，并且可以是觸摸操作，或者是手勢(shì)操作之前的準(zhǔn)備操作。在本示例性實(shí)施例中，在項(xiàng)目204中，后綴為白色圓圈“〇”的各操作是“手勢(shì)操作”，能夠基于從檢測(cè)開(kāi)始到檢測(cè)終止的、在手勢(shì)辨識(shí)區(qū)域中進(jìn)行的用戶(hù)手部的連續(xù)運(yùn)動(dòng)，來(lái)指定該“手勢(shì)操作”的操作命令。對(duì)于各個(gè)手勢(shì)操作而言，在存儲(chǔ)單元127中，存儲(chǔ)將表示手部運(yùn)動(dòng)201的模型與表示指令內(nèi)容202的命令相關(guān)聯(lián)的關(guān)聯(lián)信息。辨識(shí)單元126能夠通過(guò)參照上述的關(guān)聯(lián)信息，來(lái)辨識(shí)這些手勢(shì)操作。
[0068]例如，在本示例性實(shí)施例中，如上所述，當(dāng)充當(dāng)目標(biāo)物體的書(shū)本被放置在操作面上時(shí)，信息處理裝置100將翻動(dòng)書(shū)本的頁(yè)面的手部運(yùn)動(dòng)辨識(shí)為手勢(shì)操作，并且在每次頁(yè)面被新翻動(dòng)時(shí)讀取雙跨頁(yè)(double-page spread)。在下面的描述中，上述的手勢(shì)操作被稱(chēng)為“翻頁(yè)”操作。
[0069]此外，在本示例性實(shí)施例中，信息處理裝置100辨識(shí)使目標(biāo)物體(例如，紙張、書(shū)本或者投影的圖像數(shù)據(jù))移動(dòng)或旋轉(zhuǎn)的用戶(hù)手部運(yùn)動(dòng)，作為由用戶(hù)進(jìn)行的操作。信息處理裝置100參照已被移動(dòng)或旋轉(zhuǎn)的目標(biāo)物體的位置及方向，來(lái)重新設(shè)置辨識(shí)區(qū)域，這是因?yàn)?，響?yīng)于目標(biāo)物體的位置改變，進(jìn)行與目標(biāo)物體相關(guān)的手勢(shì)操作的位置將顯著偏離。在本示例性實(shí)施例中，上述的用戶(hù)手部操作分別稱(chēng)為“紙張移動(dòng)”、“書(shū)本移動(dòng)”及“(圖像數(shù)據(jù))拖動(dòng)”操作。換言之，這些操作是在接下來(lái)要進(jìn)行的手勢(shì)之前的準(zhǔn)備操作。
[0070]此外，在本示例性實(shí)施例中，信息處理裝置100將翻轉(zhuǎn)紙張的用戶(hù)手部運(yùn)動(dòng)辨識(shí)為手勢(shì)操作。當(dāng)用戶(hù)的紙張翻轉(zhuǎn)操作完成時(shí)，具體而言，當(dāng)翻轉(zhuǎn)的紙張的狀態(tài)為靜止時(shí)，信息處理裝置100進(jìn)行讀取處理。在本示例性實(shí)施例中，上述的手勢(shì)操作被稱(chēng)為“翻轉(zhuǎn)”操作。
[0071]此外，在本示例性實(shí)施例中，如果在投影的圖像數(shù)據(jù)上面，用戶(hù)手部在向左方向上(即從右向右)或者在向右方向上(即從左向右)運(yùn)動(dòng)，則信息處理裝置100將用戶(hù)手部的運(yùn)動(dòng)辨識(shí)為手勢(shì)操作。響應(yīng)于該手勢(shì)操作，信息處理裝置100改變顯示的圖像數(shù)據(jù)。
[0072]在本示例性實(shí)施例中，如果用戶(hù)手部在向左方向上移動(dòng)，則信息處理裝置100顯示根據(jù)預(yù)定顯示順序定位的多個(gè)被存儲(chǔ)的圖像數(shù)據(jù)的后面的部分。如果用戶(hù)手部在向右方向上移動(dòng)，則信息處理裝置100顯示根據(jù)預(yù)定顯示順序定位的多個(gè)被存儲(chǔ)的圖像數(shù)據(jù)的前面的部分。在本示例性實(shí)施例中，上述的手勢(shì)操作分別稱(chēng)為“向左輕掃”操作和“向右輕掃”操作。
[0073]此外，在本示例性實(shí)施例中，信息處理裝置100將多點(diǎn)觸摸(mult1-touch)操作(即對(duì)投影的圖像數(shù)據(jù)的、利用兩個(gè)或更多觸摸點(diǎn)的觸摸操作)辨識(shí)為對(duì)圖像數(shù)據(jù)進(jìn)行變形的指令。圖像數(shù)據(jù)的變形包括圖像的放大、縮小及旋轉(zhuǎn)。然后，信息處理裝置100參照變形后的圖像數(shù)據(jù)的大小、位置及方向，來(lái)重新設(shè)置辨識(shí)區(qū)域，這是因?yàn)?，響?yīng)于圖像數(shù)據(jù)的變形，進(jìn)行與該圖像數(shù)據(jù)相關(guān)的手勢(shì)操作的位置將顯著偏離。在本示例性實(shí)施例中，上述的多點(diǎn)觸摸操作中的各個(gè)被稱(chēng)為“圖像變形”操作。換言之，上述操作是接下來(lái)要進(jìn)行的手勢(shì)之前的準(zhǔn)備操作。
[0074]圖2A中所列的操作僅僅是示例。根據(jù)本示例性實(shí)施例的信息處理裝置100能夠?qū)ㄉ鲜鍪纠牟僮髯值浯鎯?chǔ)在存儲(chǔ)單元中，使得信息處理裝置100能夠?qū)⒂脩?hù)手部的各種運(yùn)動(dòng)辨識(shí)為單個(gè)的手勢(shì)操作。
[0075]圖2B例示了列出估計(jì)的操作與要根據(jù)估計(jì)結(jié)果設(shè)置的手勢(shì)辨識(shí)區(qū)域之間的對(duì)應(yīng)關(guān)系的示例的表。根據(jù)本示例性實(shí)施例的估計(jì)單元124基于識(shí)別的目標(biāo)物體210以及分別對(duì)應(yīng)于目標(biāo)物體的手部位置211及手部狀態(tài)212，來(lái)識(shí)別相互對(duì)應(yīng)的估計(jì)操作名稱(chēng)213和辨識(shí)區(qū)域214。
[0076]例如，如果識(shí)別的目標(biāo)物體210是書(shū)本，手部位置211鄰近于目標(biāo)物體(即書(shū)本)的輪廓，并且手部狀態(tài)212是“握持目標(biāo)物體”狀態(tài)，則估計(jì)單元124估計(jì)已進(jìn)行的操作是“翻頁(yè)”操作。在本示例性實(shí)施例中，如果手部的一部分被目標(biāo)物體隱藏，并且未被包含在拍攝的圖像中，則估計(jì)單元124確定手部狀態(tài)212是“握持目標(biāo)物體”狀態(tài)。
[0077]估計(jì)單元124之所以基于上述狀況而估計(jì)“翻頁(yè)”操作的執(zhí)行，原因在于，打算翻動(dòng)頁(yè)面的用戶(hù)通常將手部向目標(biāo)物體(即書(shū)本)的輪廓移動(dòng)，以握持頁(yè)面的邊緣，并且手指(即手部的一部分)很可能將位于頁(yè)面下方。
[0078]然后，在由估計(jì)單元124估計(jì)了 “翻頁(yè)”操作的執(zhí)行之后，設(shè)置單元125設(shè)置辨識(shí)區(qū)域，該辨識(shí)區(qū)域的大小能夠容納書(shū)本的雙跨頁(yè)以及處于“握持目標(biāo)物體”狀態(tài)的手部，從而在該辨識(shí)區(qū)域中能夠充分檢測(cè)到手部運(yùn)動(dòng)。以這種方式，如圖2B所示，存儲(chǔ)了多條關(guān)聯(lián)信息，這些關(guān)聯(lián)信息各自代表用戶(hù)可能移動(dòng)手部來(lái)進(jìn)行手勢(shì)操作的位置與在該時(shí)刻的可能手部狀態(tài)之間的對(duì)應(yīng)關(guān)系。
[0079]圖3是例示根據(jù)本示例性實(shí)施例的、能夠由信息處理裝置100進(jìn)行來(lái)辨識(shí)手勢(shì)操作的主處理的示例流程的流程圖。在本示例性實(shí)施例中，信息處理裝置100響應(yīng)于信息處理裝置100的電源的接通操作，來(lái)起動(dòng)圖3中所示的主處理。此外，信息處理裝置100能夠在特定應(yīng)用被執(zhí)行時(shí)，或者響應(yīng)于操作模式的選擇，來(lái)起動(dòng)圖3中所示的主處理。
[0080]在步驟S301中，設(shè)置單元125設(shè)置攝像單元120的預(yù)定攝像區(qū)域的、包括操作面102的整個(gè)區(qū)域的部分區(qū)域，作為手勢(shì)辨識(shí)區(qū)域。在這種情況下，定義辨識(shí)區(qū)域的坐標(biāo)系最初被設(shè)置為包括圖1A中所示的X軸和y軸。
[0081]在本示例性實(shí)施例中，進(jìn)行坐標(biāo)系的初始設(shè)置，使得當(dāng)從用戶(hù)處觀(guān)察時(shí)，滿(mǎn)足以下的關(guān)系。y軸的正向側(cè)是向前方向。y軸的負(fù)向側(cè)是向后方向。X軸的正向側(cè)是向右方向。并且，X軸的負(fù)向側(cè)是向左方向。
[0082]在步驟S302中，攝像單元120開(kāi)始工作空間中的圖像拍攝操作。檢測(cè)單元121基于由攝像單元120拍攝的圖像，開(kāi)始檢測(cè)用戶(hù)手部以及目標(biāo)物體。在本示例性實(shí)施例中，檢測(cè)單元121基于由攝像單元120拍攝的圖像，來(lái)檢測(cè)存在于工作空間中的運(yùn)動(dòng)物體。如果運(yùn)動(dòng)物體的形狀與預(yù)先存儲(chǔ)的人手模型相似，則檢測(cè)單元121將該運(yùn)動(dòng)物體檢測(cè)為用戶(hù)手部。因此，信息處理裝置100能夠辨識(shí)在該時(shí)刻進(jìn)行的、并且不與目標(biāo)物體相關(guān)的手勢(shì)操作。
[0083]在步驟S303中，檢測(cè)單元121確定目標(biāo)物體是否被插入到工作空間中。在本示例性實(shí)施例中，如果存在于工作空間中的運(yùn)動(dòng)物體的形狀不與預(yù)先存儲(chǔ)的人手模型相似，則檢測(cè)單元121確定用戶(hù)將實(shí)體物體作為目標(biāo)物體插入到工作空間中。
[0084]此外，如果已輸入的用戶(hù)操作是將圖像數(shù)據(jù)投影在操作面上的指令，則檢測(cè)單元121在開(kāi)始圖像數(shù)據(jù)投影時(shí)，確定虛擬物體被作為目標(biāo)物體插入到工作空間中。如果確定目標(biāo)物體被插入到工作空間中(步驟S303:是)，則處理進(jìn)入到步驟S304。當(dāng)確定目標(biāo)物體尚未被插入到工作空間中時(shí)(步驟S303:否)，檢測(cè)單元121進(jìn)行等待，直到目標(biāo)物體被插入為止。
[0085]在步驟S304中，檢測(cè)單元121存儲(chǔ)在目標(biāo)物體被插入到工作空間中的時(shí)刻的拍攝圖像。在本示例性實(shí)施例中，檢測(cè)單元121將由攝像單元120拍攝的如下圖像存儲(chǔ)在RAM113中，該圖像被用于當(dāng)確定目標(biāo)物體被插入到工作空間中時(shí)的處理。上述的拍攝圖像例如是當(dāng)用戶(hù)手部將目標(biāo)物體放置在操作面上時(shí)拍攝的圖像，或者是當(dāng)輸入了對(duì)圖像數(shù)據(jù)進(jìn)行投影的指令時(shí)拍攝的圖像。
[0086]在步驟S305中，識(shí)別單元122識(shí)別插入的目標(biāo)物體。在本示例性實(shí)施例中，如果關(guān)于目標(biāo)物體的插入的確定是基于圖像數(shù)據(jù)的投影指令，則識(shí)別單元122識(shí)別出目標(biāo)物體是投影圖像。
[0087]另一方面，如果插入的對(duì)象是目標(biāo)物體，則識(shí)別單元122使用適當(dāng)?shù)膱D像特征分析方法，基于由攝像單元120拍攝的圖像進(jìn)行識(shí)別處理。例如，基于關(guān)于包括放置在操作面上的目標(biāo)物體的區(qū)域的圖像信息與預(yù)先存儲(chǔ)的樣本模型之間的匹配，識(shí)別單元122確定目標(biāo)物體是書(shū)本、紙張還是投影圖像。在這種情況下，如果目標(biāo)物體是書(shū)本，則識(shí)別單元122確定書(shū)本是打開(kāi)的還是閉合的。
[0088]在步驟S306中，設(shè)置單元125設(shè)置適合于識(shí)別的目標(biāo)物體以及用戶(hù)位置的辨識(shí)區(qū)域。
[0089]圖4是例示在步驟S306中能夠由信息處理裝置100進(jìn)行以基于目標(biāo)物體及用戶(hù)位置來(lái)設(shè)置適當(dāng)?shù)谋孀R(shí)區(qū)域的處理的示例流程的流程圖。
[0090]在步驟S401中，檢測(cè)單元121基于由攝像單元120拍攝的圖像，獲取關(guān)于已被插入工作空間的目標(biāo)物體的大小及位置的信息。在本示例性實(shí)施例中，檢測(cè)單元121在由攝像單元120拍攝的最新圖像中，檢測(cè)包括拍攝的目標(biāo)物體的區(qū)域，并且從特征點(diǎn)中提取表示外接矩形的位置信息。換言之，檢測(cè)單元121獲取關(guān)于目標(biāo)物體的大小及位置的信息。在本示例性實(shí)施例中，檢測(cè)單元121獲取協(xié)同構(gòu)成外接矩形的4個(gè)頂點(diǎn)的坐標(biāo)值。然而，如下的做法也是有用的，即檢測(cè)單元121獲取關(guān)于至少一個(gè)頂點(diǎn)的坐標(biāo)信息以及關(guān)于外接矩形的大小信息(例如，寬度)。
[0091]在步驟S402中，設(shè)置單元125設(shè)置能夠包含外接矩形的矩形區(qū)域，作為辨識(shí)區(qū)域。在本示例性實(shí)施例中，在追蹤用戶(hù)手部運(yùn)動(dòng)時(shí)，信息處理裝置100追蹤包括拍攝的手掌部分的區(qū)域的重心。在用戶(hù)手部握持目標(biāo)物體的情況下，包括拍攝的手掌部分的區(qū)域的重心存在于從目標(biāo)物體向外偏移的位置。
[0092]因此，當(dāng)目標(biāo)物體被用戶(hù)手部握持時(shí)，設(shè)置單元125設(shè)置比外接矩形大預(yù)定邊際量的矩形區(qū)域，作為新的辨識(shí)區(qū)域，使得手掌的重心位置能夠被包括在辨識(shí)區(qū)域中。
[0093]在步驟S403中，檢測(cè)單元121從RAM113中，讀取在步驟S304中存儲(chǔ)的拍攝圖像(即在目標(biāo)物體被插入到工作空間中的時(shí)刻拍攝的圖像)。
[0094]在步驟S404中，檢測(cè)單元121基于讀取的圖像，相對(duì)于工作空間來(lái)識(shí)別用戶(hù)手臂的插入方向。例如，檢測(cè)單元121從圖像中提取用戶(hù)的手臂以及手掌部分，并且識(shí)別手臂與操作面的輪廓交叉的交叉部分。檢測(cè)單元121把從指定的交叉部分延伸到用戶(hù)的手掌的重心(或中心)的矢量的方向，規(guī)定為用戶(hù)的手臂的插入方向。在本示例性實(shí)施例中，當(dāng)檢測(cè)單元121終止了上述處理(即要在步驟S404中進(jìn)行的處理)時(shí)，信息處理裝置100丟棄在步驟S304中存儲(chǔ)在RAM113中的拍攝圖像。
[0095]在步驟S405中，設(shè)置單元125基于指定的插入方向來(lái)估計(jì)用戶(hù)的方向，并且設(shè)置要應(yīng)用于辨識(shí)區(qū)域的坐標(biāo)系。在本示例性實(shí)施例中，認(rèn)為穿過(guò)操作面的中心點(diǎn)并且在步驟S404中指定的方向上延伸的矢量與用戶(hù)的視線(xiàn)方向一致。另外，該矢量的起始點(diǎn)被視為用戶(hù)存在的位置。
[0096]因此，設(shè)置單元125把從用戶(hù)存在的位置向操作面的中心點(diǎn)延伸的方向，規(guī)定為當(dāng)從用戶(hù)處觀(guān)察時(shí)的向前方向。然后，參照規(guī)定的方向，設(shè)置單元125相對(duì)于在步驟S403中所設(shè)置的辨識(shí)區(qū)域，來(lái)設(shè)置定義用戶(hù)的前后方向和左右方向的坐標(biāo)系。如果執(zhí)行了手勢(shì)，則設(shè)置單元125使用如上所述已設(shè)置的手勢(shì)坐標(biāo)系，來(lái)指定手勢(shì)操作的方向。
[0097]在這種情況下，信息處理裝置100能夠調(diào)整辨識(shí)區(qū)域，使得該辨識(shí)區(qū)域變?yōu)槠叫杏谛略O(shè)置的坐標(biāo)系。在圖4中所示的流程圖中，信息處理裝置100在完成辨識(shí)區(qū)域(位置及大小)設(shè)置處理之后，進(jìn)行坐標(biāo)系設(shè)置處理。然而，如果需要也可以使上述依次進(jìn)行的操作的順序反轉(zhuǎn)。
[0098]如上所述，在本示例性實(shí)施例中，在目標(biāo)物體被插入工作空間時(shí)，信息處理裝置100設(shè)置具有適合于目標(biāo)物體的外接矩形的大小的辨識(shí)區(qū)域，連同與用戶(hù)位置匹配的坐標(biāo)系O
[0099]當(dāng)設(shè)置了具有適合于目標(biāo)物體的大小的辨識(shí)區(qū)域時(shí)，用戶(hù)進(jìn)行與目標(biāo)物體相關(guān)的手勢(shì)操作變得容易，因?yàn)橛脩?hù)不需要進(jìn)行任何過(guò)大的操作。另外，當(dāng)設(shè)置了與用戶(hù)匹配的坐標(biāo)系時(shí)，信息處理裝置100能夠準(zhǔn)確地區(qū)別和辨識(shí)各用戶(hù)手部運(yùn)動(dòng)(例如，“從右向左”的運(yùn)動(dòng)或者“從左向右”的運(yùn)動(dòng))。
[0100]特別是，當(dāng)要對(duì)圖像數(shù)據(jù)進(jìn)行的處理是要在不改變目標(biāo)物體的形狀的情況下進(jìn)行的處理(例如，向左或向右輕掃)，則信息處理裝置100能夠有效地使用要在步驟S306中設(shè)置的辨識(shí)區(qū)域。通過(guò)在已設(shè)置的手勢(shì)區(qū)域中，檢測(cè)從右向左或從左向右移動(dòng)的用戶(hù)手部，能夠辨識(shí)向左或向右輕掃。
[0101]當(dāng)辨識(shí)區(qū)域及坐標(biāo)系的設(shè)置完成時(shí)，操作返回到圖3中所示的主處理。
[0102]接下來(lái)，在步驟S307中，識(shí)別單元122進(jìn)行如下的確定，即被插入工作空間的目標(biāo)物體，即在步驟S305中識(shí)別的目標(biāo)物體，是否是紙張或打開(kāi)的(或展開(kāi)的(spread))書(shū)本。如果確定目標(biāo)物體(即在步驟S305中識(shí)別的對(duì)象)是紙張或展開(kāi)的書(shū)本(步驟S307:是)，則處理進(jìn)入到步驟S308。如果確定目標(biāo)物體(即在步驟S305中識(shí)別的對(duì)象)不是紙張或展開(kāi)的書(shū)本(步驟S307:否)，則處理進(jìn)入到步驟S309。
[0103]在步驟S308中，攝像單元120進(jìn)行對(duì)目標(biāo)物體的讀取處理，并且獲取代表紙張或書(shū)本的內(nèi)容的圖像數(shù)據(jù)。
[0104]識(shí)別單元122及攝像單元120基于以下的設(shè)置進(jìn)行步驟S307及S308中的處理。在本示例性實(shí)施例中，將紙張或展開(kāi)的書(shū)本放置在操作面上是進(jìn)行對(duì)目標(biāo)物體的讀取處理的指令。因此，當(dāng)用戶(hù)通過(guò)翻轉(zhuǎn)各紙張或者翻轉(zhuǎn)書(shū)本的各頁(yè)、來(lái)依次進(jìn)行多次讀取操作時(shí)，用戶(hù)不需要輸入明確的操作，因而能夠?qū)崿F(xiàn)快速的處理。然而，如果信息處理裝置100僅在用戶(hù)進(jìn)行指示讀取的操作時(shí)進(jìn)行讀取處理，則信息處理裝置100可以省略步驟S307及S308的處理。
[0105]在步驟S309中，指定單元123相對(duì)于目標(biāo)物體來(lái)識(shí)別用戶(hù)手部的狀態(tài)。指定單元123進(jìn)行如下的確定，即用戶(hù)手部的狀態(tài)是否符合在圖2B中所示的表的項(xiàng)目212中列出的用戶(hù)手部的示例狀態(tài)中的任何一個(gè)。
[0106]圖5是例示在步驟S309中能夠由信息處理裝置100進(jìn)行來(lái)檢測(cè)用戶(hù)手部的狀態(tài)的處理的示例流程的流程圖。
[0107]在步驟S501中，檢測(cè)單元121基于由攝像單元120拍攝的圖像，來(lái)檢測(cè)用戶(hù)手部的當(dāng)前位置。在本示例性實(shí)施例中，檢測(cè)單元121獲得拍攝的圖像的、用戶(hù)手掌存在的部分區(qū)域的重心位置，并且將獲得的重心位置規(guī)定為用戶(hù)手部的位置。在這種情況下，可以配設(shè)如下的處理步驟，即進(jìn)行等待，直到用戶(hù)手部變?yōu)殪o止的并持續(xù)預(yù)定時(shí)間或更久為止。檢測(cè)單元121能夠通過(guò)檢測(cè)用戶(hù)手部持續(xù)靜止的位置，來(lái)準(zhǔn)確地識(shí)別用戶(hù)手部的狀態(tài)。
[0108]在步驟S502中，指定單元123基于由攝像單元120拍攝的圖像，來(lái)確定檢測(cè)的用戶(hù)手部是否位于目標(biāo)物體上。如果確定檢測(cè)的用戶(hù)手部位于目標(biāo)物體上(步驟S502:是)，則處理進(jìn)入到步驟S503。如果確定檢測(cè)的用戶(hù)手部沒(méi)有位于目標(biāo)物體上(步驟S502:否)，則處理進(jìn)入到步驟S509。
[0109]在步驟S503中，指定單元123基于由攝像單元120拍攝的圖像，來(lái)確定用戶(hù)手部的狀態(tài)是否為手掌展開(kāi)狀態(tài)。在本示例性實(shí)施例中，指定單元123參照預(yù)先存儲(chǔ)的、代表手掌展開(kāi)狀態(tài)的模型，對(duì)包括手掌的區(qū)域的特征形狀進(jìn)行匹配處理，以確定用戶(hù)手部的狀態(tài)。在另一步驟中，信息處理裝置100類(lèi)似地進(jìn)行用于確定用戶(hù)手部的狀態(tài)的處理。如果確定用戶(hù)手部的狀態(tài)是手掌展開(kāi)狀態(tài)(步驟S503:是)，則處理進(jìn)入到步驟S504。如果確定用戶(hù)手部的狀態(tài)不是手掌展開(kāi)狀態(tài)(步驟S503:否)，則處理進(jìn)入到步驟S505。
[0110]在步驟S504中，指定單元123將用戶(hù)手部的狀態(tài)指定為處于“從上面按壓”狀態(tài)。然后，操作返回到圖3中所示的主處理。在本示例性實(shí)施例中，要在步驟S503及S504中進(jìn)行的處理是基于普通的用戶(hù)操作，該用戶(hù)操作是用戶(hù)在手部處于展開(kāi)狀態(tài)的情況下、在從上面按壓紙張的同時(shí)移動(dòng)紙張。由此，指定單元123能夠準(zhǔn)確地區(qū)別上述操作與其他操作。然而，用戶(hù)手部的狀態(tài)不局限于手掌展開(kāi)狀態(tài)。可以用其他狀態(tài)來(lái)取代手掌展開(kāi)狀態(tài)。
[0111]另一方面，在步驟S505中，指定單元123基于由攝像單元120拍攝的圖像，來(lái)確定用戶(hù)手部的狀態(tài)是否為部分手指伸展?fàn)顟B(tài)。如果確定用戶(hù)手部的狀態(tài)是部分手指伸展?fàn)顟B(tài)(步驟S505:是)，則處理進(jìn)入到步驟S506。如果確定用戶(hù)手部的狀態(tài)不是部分手指伸展?fàn)顟B(tài)(步驟S505:否)，則操作返回到圖3中所示的主處理，而不指定用戶(hù)手部的狀態(tài)。
[0112]在步驟S506中，指定單元123基于由攝像單元120拍攝的圖像，來(lái)確定是否僅一個(gè)手指被伸展。例如，當(dāng)用戶(hù)伸展一個(gè)手部的多個(gè)手指(例如，拇指和食指)時(shí)，或者當(dāng)用戶(hù)伸展各手部的一個(gè)或更多手指時(shí)，指定單元123確定伸展的手指的數(shù)量是不只一個(gè)手指。如果確定僅一個(gè)手指被伸展(步驟S506:是)，則處理進(jìn)入到步驟S507。如果確定伸展的手指的數(shù)量不只一個(gè)，即當(dāng)兩個(gè)或更多手指被伸展時(shí)(步驟S506:否)，處理進(jìn)入到步驟 S508。
[0113]在步驟S507中，指定單元123將用戶(hù)手部的狀態(tài)指定為處于“觸摸操作面”狀態(tài)。然后，操作返回到圖3中所示的主處理。
[0114]在步驟S508中，指定單元123將用戶(hù)手部的狀態(tài)指定為處于“觸摸操作面上的兩處或更多處”狀態(tài)。然后，操作返回到圖3中所示的主處理。
[0115]在步驟S509中，指定單元123基于由攝像單元120拍攝的圖像，來(lái)確定檢測(cè)的用戶(hù)手部的位置是否鄰近于目標(biāo)物體的輪廓。如果確定檢測(cè)的用戶(hù)手部的位置鄰近于目標(biāo)物體的輪廓(步驟S509:是)，則處理進(jìn)入到步驟S510。如果確定檢測(cè)的用戶(hù)手部的位置不鄰近于目標(biāo)物體的輪廓(步驟S509:否)，則操作返回到圖3中所示的主處理，而不指定用戶(hù)手部的狀態(tài)。
[0116]在步驟S510中，指定單元123基于由攝像單元120拍攝的圖像，來(lái)確定用戶(hù)手部的一部分是否被目標(biāo)物體隱藏。在本示例性實(shí)施例中，為了進(jìn)行步驟S510中的確定處理，指定單元123參照預(yù)先存儲(chǔ)的如下的人手模型，對(duì)包括手掌的區(qū)域的形狀的特征進(jìn)行匹配處理，根據(jù)所述人手模型，手掌被目標(biāo)物體的下表面或側(cè)表面部分地隱藏從而握持目標(biāo)物體。作為另一選擇，在確定用戶(hù)手部當(dāng)前是否正在握持目標(biāo)物體時(shí)，指定單元123可以確定特定手指間的位置關(guān)系是否滿(mǎn)足預(yù)定條件。
[0117]如果確定用戶(hù)手部被目標(biāo)物體部分地隱藏(步驟S510:是)，則處理進(jìn)入到步驟S511。如果確定用戶(hù)手部的狀態(tài)不是部分手指伸展?fàn)顟B(tài)(步驟S510:否)，則操作返回到圖3中所示的主處理，而不指定用戶(hù)手部的狀態(tài)。
[0118]在步驟S511中，指定單元123進(jìn)行如下的確定，即已被確定為被目標(biāo)物體部分地隱藏的用戶(hù)手部的位置，是否存在于將目標(biāo)物體夾在中間的兩處之間。如果確定用戶(hù)手部的位置存在于將目標(biāo)物體夾在中間的兩處之間(步驟S511:是)，則處理進(jìn)入到步驟S512。如果確定用戶(hù)手部的位置(即用戶(hù)手部的狀態(tài))未存在于將目標(biāo)物體夾在中間的兩處之間(步驟S511:否)，則處理進(jìn)入到步驟S513。
[0119]在步驟S512中，指定單元123將用戶(hù)手部的狀態(tài)指定為處于“抬起目標(biāo)物體”狀態(tài)。然后，操作返回到圖3中所示的主處理。在本示例性實(shí)施例中，要在步驟S512中進(jìn)行的處理是基于用雙手舉起書(shū)本的普通用戶(hù)操作，該操作能夠與翻頁(yè)操作區(qū)別開(kāi)來(lái)。
[0120]然而，例如，在實(shí)際操作中可能會(huì)處置與紙張類(lèi)似的薄書(shū)本。在這種情況下，在按壓目標(biāo)物體的同時(shí)移動(dòng)目標(biāo)物體是可行的。如果用戶(hù)選擇的方法是在從上面按壓目標(biāo)物體的同時(shí)移動(dòng)目標(biāo)物體，則通過(guò)步驟S502、S503及S504中的處理，能夠?qū)⒂脩?hù)手部指定為處于“從上面按壓”狀態(tài)。
[0121]在步驟S513中，指定單元123將用戶(hù)手部的狀態(tài)指定為處于“握持目標(biāo)物體”狀態(tài)。然后，操作返回到圖3中所示的主處理。
[0122]返回到圖3中所示的主處理流程圖，在步驟S310中，估計(jì)單元124估計(jì)接下來(lái)要進(jìn)行的操作。估計(jì)單元124參照存儲(chǔ)在存儲(chǔ)單元127中的操作字典，并且識(shí)別與在步驟S309的處理中指定的用戶(hù)手部的狀態(tài)以及在步驟S305中識(shí)別的目標(biāo)物體相關(guān)聯(lián)的操作。
[0123]操作字典存儲(chǔ)例如圖2B中所示的關(guān)聯(lián)信息。如果在操作字典中，未存儲(chǔ)與在步驟S309的處理中指定的用戶(hù)手部的狀態(tài)和在步驟S305中識(shí)別的目標(biāo)物體的組合相對(duì)應(yīng)的操作，則估計(jì)單元124生成通知不能估計(jì)任何特定操作的估計(jì)結(jié)果。同樣，當(dāng)在步驟S309中不能指定用戶(hù)手部的狀態(tài)時(shí)，估計(jì)單元124生成通知不能估計(jì)任何特定操作的估計(jì)結(jié)果。
[0124]在步驟S311中，估計(jì)單元124確定是否估計(jì)了特定操作。如果作為步驟S310中獲得的處理結(jié)果，能夠指定存儲(chǔ)在操作字典中的手勢(shì)操作，則確定估計(jì)出了特定手勢(shì)操作(步驟S311:是)。然后，處理進(jìn)入到步驟S312。如果作為步驟S310中獲得的處理結(jié)果，不能估計(jì)特定手勢(shì)操作，則確定未估計(jì)出特定手勢(shì)操作(步驟S311:否)。然后，處理進(jìn)入到步驟S313。
[0125]在步驟S312中，設(shè)置單元125通過(guò)進(jìn)行適合于估計(jì)的各操作的處理，來(lái)重新設(shè)置辨識(shí)區(qū)域。稍后，將詳細(xì)描述要針對(duì)估計(jì)的各操作進(jìn)行的處理。
[0126]在步驟S313中，辨識(shí)單元126在步驟S312中所設(shè)置的手勢(shì)辨識(shí)區(qū)域中，辨識(shí)用戶(hù)的手勢(shì)操作。信息處理裝置100通過(guò)向各功能單元通知辨識(shí)的結(jié)果，來(lái)響應(yīng)進(jìn)行的手勢(shì)操作。例如，攝像單元120進(jìn)行讀取處理。顯示控制單元128改變要投影到操作面上的圖像的內(nèi)容，并且將改變后的圖像數(shù)據(jù)輸出到顯示單元129。如果在預(yù)定時(shí)間段內(nèi)未進(jìn)行手勢(shì)操作，則處理直接進(jìn)入到步驟S314。
[0127]在步驟S314中，辨識(shí)單元126確定是否輸入了終止指令。終止指令例如是切斷信息處理裝置100的電源的操作，或者是終止基于GUI操作的應(yīng)用的指令。如果確定輸入了終止指令(步驟S314:是)，則信息處理裝置100終止圖3中所示的主處理。如果確定未輸入終止指令(步驟S314:否)，則處理進(jìn)入到步驟S315。
[0128]在步驟S315中，檢測(cè)單元121基于由攝像單元120拍攝的圖像，確定在步驟S303中被確定為插入工作空間的目標(biāo)物體，是否被從工作空間中移走。如果確定目標(biāo)物體被從工作空間中移走(步驟S315:是)，則操作返回到步驟S301。如果確定目標(biāo)物體未被從工作空間中移走(步驟S315:否)，則操作返回到步驟S309，在該步驟S309中，指定單元123重復(fù)進(jìn)行估計(jì)接下來(lái)要進(jìn)行的操作并重新設(shè)置辨識(shí)區(qū)域的處理。
[0129]圖6A至圖6D是各自例示要在步驟S312中進(jìn)行來(lái)設(shè)置適合于各估計(jì)的操作的辨識(shí)區(qū)域的處理的示例的流程圖。下面，詳細(xì)地描述各處理。
[0130]〈在“紙張移動(dòng)”、“書(shū)本移動(dòng)”及“拖動(dòng)”操作的情況下>
[0131]圖6A是例示當(dāng)估計(jì)的操作是“紙張移動(dòng)”、“書(shū)本移動(dòng)”及“拖動(dòng)”操作中的任何一者時(shí)、能夠優(yōu)先采用的辨識(shí)區(qū)域重新設(shè)置處理的示例的流程圖。
[0132]在步驟S601中，設(shè)置單元125抑制辨識(shí)單元126在當(dāng)前的辨識(shí)區(qū)域中進(jìn)行手勢(shì)辨識(shí)處理。如圖2B的辨識(shí)區(qū)域214中所示，當(dāng)估計(jì)的手勢(shì)是“紙張移動(dòng)”、“書(shū)本移動(dòng)”及“拖動(dòng)”操作中的任何一者時(shí)，信息處理裝置100不進(jìn)行手勢(shì)操作辨識(shí)處理,直到移動(dòng)終止為止，這是為了在移動(dòng)目標(biāo)物體的用戶(hù)手部被包括在辨識(shí)區(qū)域中的情況下，防止用戶(hù)手部運(yùn)動(dòng)被錯(cuò)誤地辨識(shí)為手勢(shì)操作的運(yùn)動(dòng)。
[0133]在步驟S602中，檢測(cè)單元121基于由攝像單元120拍攝的圖像，確定工作空間中的目標(biāo)物體的移動(dòng)是否完成。在本示例性實(shí)施例中，如果拍攝的圖像的目標(biāo)物體區(qū)域保持靜止預(yù)定時(shí)間或更久，則檢測(cè)單元121確定移動(dòng)完成。
[0134]當(dāng)手勢(shì)操作是“拖動(dòng)”操作時(shí)，信息處理裝置100另外進(jìn)行如下的處理，即根據(jù)觸摸位置的移動(dòng)來(lái)改變圖像數(shù)據(jù)的顯示位置。如果確定移動(dòng)完成(步驟S602:是)，則處理進(jìn)入到步驟S603。如果確定移動(dòng)尚未完成(步驟S602:否)，則檢測(cè)單元121重復(fù)步驟S602中的處理，直到移動(dòng)完成為止。
[0135]在步驟S603中，檢測(cè)單元121基于由攝像單元120拍攝的圖像，來(lái)獲取表示靜止目標(biāo)物體的外接矩形的位置信息。
[0136]在步驟S604中，設(shè)置單元125基于在步驟S603中獲取到的位置信息，來(lái)設(shè)置能夠包含外接矩形的矩形區(qū)域，作為新的辨識(shí)區(qū)域。要在步驟S603及S604中進(jìn)行的處理類(lèi)似于已在步驟S401及S402中進(jìn)行的處理。
[0137]如上所述，如果接下來(lái)要進(jìn)行的估計(jì)的操作是“紙張移動(dòng)”、“書(shū)本移動(dòng)”及“拖動(dòng)”操作中的任何一者，則信息處理裝置100參照移動(dòng)后的目標(biāo)物體來(lái)重新設(shè)置手勢(shì)操作辨識(shí)區(qū)域，同時(shí)抑制在移動(dòng)終止之前可能發(fā)生的任何對(duì)手勢(shì)的出錯(cuò)辨識(shí)。
[0138]〈在“翻轉(zhuǎn)”操作的情況下>
[0139]圖6B是例示當(dāng)估計(jì)的操作是“翻轉(zhuǎn)”手勢(shì)操作時(shí)、能夠優(yōu)先采用的辨識(shí)區(qū)域重新設(shè)置處理的示例的流程圖。
[0140]在步驟S611中，檢測(cè)單元121識(shí)別紙張的被握持的部分。例如，如果待處理的紙張是矩形紙張，則檢測(cè)單元121參照在操作面上設(shè)置的坐標(biāo)系進(jìn)行如下的確定，即被握持的部分是當(dāng)從用戶(hù)處觀(guān)察的、矩形紙張的前側(cè)、后側(cè)、左側(cè)及右側(cè)中的任何一者，還是邊的中央周?chē)糠?，還是鄰近于紙張的邊緣的部分。
[0141]在步驟S612中，設(shè)置單元125基于指定的部分，來(lái)估計(jì)將進(jìn)行翻轉(zhuǎn)操作的范圍。一般而言，當(dāng)用戶(hù)在翻轉(zhuǎn)紙張后、打算將紙張?jiān)俅畏胖迷诓僮髅嫔系脑嘉恢脮r(shí)，依據(jù)紙張的被握持的部分，在翻轉(zhuǎn)操作中用戶(hù)手部移動(dòng)的范圍的大小或方向是可變的。
[0142]在本示例性實(shí)施例中，將進(jìn)行翻轉(zhuǎn)操作的范圍是由攝像單元120拍攝的圖像中的如下范圍，即包括進(jìn)行翻轉(zhuǎn)操作的用戶(hù)的手掌的區(qū)域的重心移動(dòng)的范圍。例如，在用戶(hù)翻轉(zhuǎn)紙張的情況下，如下的做法是可行的，即如果被握持的部分是紙張的邊的中央，則反轉(zhuǎn)紙張，而不在沿x-y平面伸展的方向上大幅地移動(dòng)手部。另一方面，在用戶(hù)握住紙張的邊緣的同時(shí)翻轉(zhuǎn)紙張的情況下，可以認(rèn)為在沿χ-y平面延伸的方向上，手部的運(yùn)動(dòng)更有可能將不是可忽略不計(jì)的。
[0143]作為示例，如果用戶(hù)握持的部分是紙張的前側(cè)，并且相對(duì)鄰近于紙張的左端，則當(dāng)用戶(hù)進(jìn)行翻轉(zhuǎn)操作時(shí)，手部更有可能在向右方向上移動(dòng)。此外，如果用戶(hù)握持的部分是紙張的后側(cè)，并且相對(duì)鄰近于紙張的右端，則當(dāng)用戶(hù)進(jìn)行翻轉(zhuǎn)操作時(shí)，手部更有可能在向前方向上移動(dòng)。
[0144]如上所述，當(dāng)用戶(hù)握持的位置偏移到紙張的邊緣時(shí)，可以估計(jì)，與握持位置是紙張的邊緣的中央的情況相比，進(jìn)行翻轉(zhuǎn)操作的范圍是寬的。
[0145]理想的情況是，考慮到在翻轉(zhuǎn)操作中可能發(fā)生不規(guī)則運(yùn)動(dòng)，或者在紙張的形狀不是矩形的情況下，估計(jì)的范圍具有足夠大的大小。
[0146]在本示例性實(shí)施例中，當(dāng)信息處理裝置追蹤用戶(hù)手部的移動(dòng)時(shí)，信息處理裝置追蹤包括被拍攝圖像的手掌部分的區(qū)域的重心。當(dāng)用戶(hù)握持目標(biāo)物體時(shí)，包括被拍攝圖像的手掌部分的區(qū)域的重心位于目標(biāo)物體的外側(cè)。因此，當(dāng)用戶(hù)手部握持目標(biāo)物體時(shí)，信息處理裝置把通過(guò)向外接矩形添加預(yù)定邊際部分而得到的矩形區(qū)域，設(shè)置為新的辨識(shí)區(qū)域，以便將手掌的重心位置包括在辨識(shí)區(qū)域中。
[0147]信息處理裝置針對(duì)標(biāo)準(zhǔn)操作進(jìn)行上述處理。然而，當(dāng)特定用戶(hù)的運(yùn)動(dòng)不是通常的運(yùn)動(dòng)時(shí)，如下的做法是有用的，即用戶(hù)可以預(yù)先登記翻轉(zhuǎn)操作中的紙張握持位置與操作區(qū)域之間的關(guān)系。
[0148]在步驟S613中，設(shè)置單元125重新設(shè)置辨識(shí)區(qū)域，以便包含在步驟S612中估計(jì)的范圍。在本示例性實(shí)施例中，設(shè)置單元125通過(guò)將在步驟S612中估計(jì)的范圍添加到在步驟306中設(shè)置的辨識(shí)區(qū)域，來(lái)擴(kuò)展辨識(shí)區(qū)域，從而進(jìn)行重新設(shè)置處理。
[0149]如上所述，當(dāng)估計(jì)接下來(lái)進(jìn)行“翻轉(zhuǎn)”操作時(shí)，信息處理裝置100重新設(shè)置手勢(shì)操作辨識(shí)區(qū)域來(lái)擴(kuò)展辨識(shí)區(qū)域，以便包括在進(jìn)行翻轉(zhuǎn)操作的過(guò)程中用戶(hù)手部可能移動(dòng)的范圍。
[0150]〈在“翻頁(yè)”操作的情況下>
[0151]圖6C是例示當(dāng)估計(jì)的操作是“翻頁(yè)”手勢(shì)操作時(shí)、能夠優(yōu)先采用的辨識(shí)區(qū)域重新設(shè)置處理的示例的流程圖。
[0152]在步驟S621中，檢測(cè)單元121識(shí)別書(shū)本的被握持的部分。在本示例性實(shí)施例中，檢測(cè)單元121參照在操作面上設(shè)置的坐標(biāo)系進(jìn)行如下的確定，即用戶(hù)握持的部分是當(dāng)從用戶(hù)處觀(guān)察時(shí)的、書(shū)本的封面或頁(yè)面的前側(cè)、后側(cè)、左側(cè)及右側(cè)中的任何一者，還是位于書(shū)本的邊緣附近。
[0153]在步驟S622中，設(shè)置單元125識(shí)別書(shū)本的打開(kāi)方向。在本示例性實(shí)施例中，基于對(duì)由攝像單元120拍攝的圖像進(jìn)行的圖像分析的結(jié)果，設(shè)置單元125獲取表示書(shū)本的書(shū)脊在手勢(shì)坐標(biāo)系中的位置的信息，或者表示文字的書(shū)寫(xiě)方向(例如，橫向或縱向)的信息。
[0154]此外，在本示例性實(shí)施例中，當(dāng)識(shí)別單元在步驟S305中識(shí)別目標(biāo)物體時(shí)，識(shí)別單元能夠另外識(shí)別書(shū)本處于閉合狀態(tài)還是處于打開(kāi)狀態(tài)。因此，當(dāng)書(shū)本處于打開(kāi)狀態(tài)時(shí)，設(shè)置單元125能夠基于圖像分析來(lái)檢測(cè)打開(kāi)的頁(yè)面的邊界線(xiàn)，并且能夠?qū)⒋怪庇谠撨吔缇€(xiàn)的方向指定為書(shū)本的打開(kāi)方向。
[0155]此外，如果在書(shū)本的閉合狀態(tài)下，信息處理裝置不能基于圖像特征來(lái)清楚地區(qū)別書(shū)脊(例如，當(dāng)處理目標(biāo)書(shū)本是小冊(cè)子或任何其他薄書(shū)本時(shí))，設(shè)置單元125可以基于在步驟S621中指定的關(guān)于用戶(hù)手部的位置信息，來(lái)估計(jì)當(dāng)書(shū)本被用戶(hù)打開(kāi)時(shí)的書(shū)本的打開(kāi)方向。
[0156]在步驟S623中，設(shè)置單元125估計(jì)將進(jìn)行翻頁(yè)操作的范圍。在本示例性實(shí)施例中，將進(jìn)行翻頁(yè)操作的范圍是由攝像單元120拍攝的圖像中的如下范圍，即包括進(jìn)行翻頁(yè)操作的用戶(hù)的手掌部分的區(qū)域的重心能夠移動(dòng)的范圍。
[0157]在這種情況下，設(shè)置單元125的估計(jì)范圍是用戶(hù)手部可能移動(dòng)的范圍，該范圍可以被設(shè)置為包含在步驟S622中估計(jì)的書(shū)本打開(kāi)方向上的一頁(yè)寬度的至少兩倍。例如，當(dāng)dx[dot]代表在書(shū)本打開(kāi)方向在用戶(hù)坐標(biāo)系中是左右方向的情況下的、一頁(yè)的橫向?qū)挾?即y軸方向上的寬度)時(shí)，設(shè)置單元125估計(jì)當(dāng)用戶(hù)進(jìn)行翻動(dòng)操作時(shí)，用戶(hù)手部的可移動(dòng)范圍能夠與至少2dx[dot]相當(dāng)。
[0158]在步驟S624中，設(shè)置單元125重新設(shè)置辨識(shí)區(qū)域，以便添加在步驟S623中估計(jì)的范圍。在本示例性實(shí)施例中，設(shè)置單元125將在步驟S623中估計(jì)的范圍添加至在步驟306中設(shè)置的辨識(shí)區(qū)域，從而擴(kuò)展辨識(shí)區(qū)域。
[0159]如上所述，當(dāng)估計(jì)接下來(lái)進(jìn)行“翻頁(yè)”操作時(shí)，信息處理裝置100重新設(shè)置手勢(shì)操作辨識(shí)區(qū)域來(lái)擴(kuò)展辨識(shí)區(qū)域，以使得包括在進(jìn)行翻頁(yè)操作的過(guò)程中用戶(hù)手部可能移動(dòng)的范圍。
[0160]〈在“圖像變形”操作的情況下>
[0161]圖6D是例示當(dāng)估計(jì)的操作是“圖像變形”操作時(shí)、能夠優(yōu)先采用的辨識(shí)區(qū)域重新設(shè)置處理的示例的流程圖。
[0162]在步驟S631中，設(shè)置單元125抑制辨識(shí)單元126，以防止在當(dāng)前辨識(shí)區(qū)域中的手勢(shì)辨識(shí)處理。要在步驟S631中進(jìn)行的處理的目的在于，在用于給出對(duì)圖像數(shù)據(jù)進(jìn)行變形的指令的用戶(hù)手部運(yùn)動(dòng)被包括在辨識(shí)區(qū)域中的情況下，防止用戶(hù)的觸摸操作被錯(cuò)誤地辨識(shí)為手勢(shì)操作的運(yùn)動(dòng)。
[0163]在步驟S632中，辨識(shí)單元126辨識(shí)觸摸操作。顯示控制單元128根據(jù)辨識(shí)出的操作對(duì)圖像數(shù)據(jù)進(jìn)行變形，并且將變形的圖像數(shù)據(jù)輸出到顯示單元129。
[0164]在步驟S633中，辨識(shí)單元126確定觸摸操作是否完成。在本示例性實(shí)施例中，如果距離傳感器105的輸出表示，在距操作面的表面的預(yù)定距離內(nèi)不能檢測(cè)到用戶(hù)手部，則辨識(shí)單元126確定觸摸操作完成。如果確定觸摸操作完成(步驟S633:是)，則處理進(jìn)入到步驟S634。如果確定觸摸操作尚未完成(步驟S633:否)，則辨識(shí)單元126重復(fù)步驟S633中的處理，直到觸摸操作完成為止。
[0165]在步驟S634中，檢測(cè)單元121基于由攝像單元120拍攝的圖像，來(lái)獲取表示目標(biāo)物體(在這種情況下，即變形的圖像數(shù)據(jù))的外接矩形的位置信息。
[0166]在步驟S635中，設(shè)置單元125基于在步驟S634中獲取到的位置信息，來(lái)設(shè)置能夠包含外接矩形的矩形區(qū)域，作為新的辨識(shí)區(qū)域。
[0167]如上所述，如果接下來(lái)要進(jìn)行的估計(jì)的操作是“圖像變形”操作，則信息處理裝置100參照移動(dòng)后的目標(biāo)物體來(lái)重新設(shè)置手勢(shì)操作辨識(shí)區(qū)域，同時(shí)抑制在觸摸操作完成之前可能發(fā)生的任何對(duì)手勢(shì)的錯(cuò)誤辨識(shí)。
[0168]如上所述，根據(jù)本示例性實(shí)施例的信息處理裝置100估計(jì)將被用戶(hù)進(jìn)行的操作，并且設(shè)置適合于接下來(lái)要進(jìn)行的手勢(shì)操作的適當(dāng)?shù)氖謩?shì)辨識(shí)區(qū)域。
[0169]接下來(lái)，在下文中詳細(xì)描述用戶(hù)的手勢(shì)操作的示例，以及適合于該用戶(hù)手勢(shì)操作的手勢(shì)辨識(shí)區(qū)域的示例。
[0170]〈“翻轉(zhuǎn)”操作的示例〉
[0171]圖7A至圖7D例示了操作面上從上方觀(guān)察的“翻轉(zhuǎn)”操作的示例。因此，假定在紙面上，y軸被設(shè)置為在上下方向上延伸，并且X軸被設(shè)置為在左右方向上延伸。
[0172]圖7A例示了紙張700被插入工作空間的狀態(tài)。區(qū)域701a是在步驟S306中由設(shè)置單元125設(shè)置的手勢(shì)辨識(shí)區(qū)域。在這種情況下，用戶(hù)手部702的位置鄰近于目標(biāo)物體的輪廓(步驟S509:是)，并且用戶(hù)手部702的一部分被目標(biāo)物體隱藏(步驟S510:是)。另夕卜，用戶(hù)手部702的位置被限制為僅一處(步驟S511:否)。因此，指定單元123將用戶(hù)手部的狀態(tài)指定為處于“握持目標(biāo)物體”狀態(tài)(參見(jiàn)步驟S513)。另外，考慮到目標(biāo)物體是紙張的事實(shí)，估計(jì)單元124估計(jì)用戶(hù)將進(jìn)行“翻轉(zhuǎn)”操作(參見(jiàn)步驟S310)。
[0173]圖7B例示了因?yàn)楣烙?jì)的操作是“翻轉(zhuǎn)”操作、而重新設(shè)置了手勢(shì)辨識(shí)區(qū)域的狀態(tài)。從圖7B的例示中，能夠指定被用戶(hù)手部702握持的紙張(即目標(biāo)物體)的位置鄰近于紙張的右側(cè)，并靠近紙張的下側(cè)(參見(jiàn)步驟S611)。在翻轉(zhuǎn)操作中，用戶(hù)手部更有可能向y軸方向的正向側(cè)大幅地移動(dòng)。因此，信息處理裝置重新設(shè)置辨識(shí)區(qū)域，以使得在上下方向(即y軸方向)上大幅地?cái)U(kuò)展，并且在左右方向(即X軸方向)上具有足夠大的大小，如區(qū)域701b所表示的(參見(jiàn)步驟S613)。
[0174]圖7C例示了用戶(hù)已實(shí)際開(kāi)始翻轉(zhuǎn)操作的狀態(tài)。用戶(hù)手部的位置在辨識(shí)區(qū)域701b中。與圖7A及圖7B相比，用戶(hù)手部向上(即y軸的正向側(cè))移動(dòng)。另外，因?yàn)榧垙?00在工作空間中保持不變，而紙張700的內(nèi)容不同，所以能夠知道紙張700被翻轉(zhuǎn)。
[0175]圖7D例示了在翻轉(zhuǎn)操作完成時(shí)的手部702的靜止?fàn)顟B(tài)。當(dāng)用戶(hù)將手部702從辨識(shí)區(qū)域701d中移走時(shí)(即當(dāng)手部702從區(qū)域701d中離開(kāi)時(shí))，信息處理裝置確定手勢(shì)操作完成。通過(guò)檢測(cè)與紙張700 —起被翻轉(zhuǎn)的用戶(hù)手部702的動(dòng)作，或者通過(guò)將手部位置的移動(dòng)量與手勢(shì)模型進(jìn)行比較，辨識(shí)單元126能夠辨識(shí)出“翻轉(zhuǎn)”操作。例如，在本示例性實(shí)施例中，如果確定“翻轉(zhuǎn)”操作完成，則信息處理裝置讀取翻轉(zhuǎn)的紙張(參見(jiàn)步驟S313)。
[0176]〈“翻頁(yè)”操作的示例〉
[0177]圖8和圖9各自例示了在估計(jì)了 “翻頁(yè)”操作的情況下的辨識(shí)區(qū)域的示例。與圖7A至圖7D類(lèi)似地，假定在操作面上，當(dāng)從上方觀(guān)察時(shí)，y軸被設(shè)置為在上下方向上延伸，并且X軸被設(shè)置為在左右方向上延伸。
[0178]圖8A例示了被插入工作空間的書(shū)本800的狀態(tài)。區(qū)域801a是在步驟S306中由設(shè)置單元125設(shè)置的手勢(shì)辨識(shí)區(qū)域。在這種情況下，用戶(hù)手部802的位置鄰近于目標(biāo)物體的輪廓(步驟S509:是)，并且目標(biāo)物體被部分地隱藏(步驟S510:是)。另外，用戶(hù)手部802的位置被限制為僅一處(步驟S511:否)。因此，指定單元123將用戶(hù)手部的狀態(tài)指定為處于“握持目標(biāo)物體”狀態(tài)(參見(jiàn)步驟S513)。另外，考慮到目標(biāo)物體是書(shū)本的事實(shí)，估計(jì)單元124估計(jì)用戶(hù)將進(jìn)行“翻頁(yè)”操作(參見(jiàn)步驟S310)。
[0179]圖SB例示了因?yàn)楣烙?jì)的操作是“翻頁(yè)”操作、而重新設(shè)置了手勢(shì)辨識(shí)區(qū)域的狀態(tài)。從圖8B的例示中，能夠指定被用戶(hù)手部802握持的書(shū)本(即目標(biāo)物體)的位置鄰近于書(shū)本的右側(cè)，并靠近書(shū)本的下側(cè)(參見(jiàn)步驟S621)。書(shū)本800的書(shū)脊存在于目標(biāo)物體的左側(cè)。此夕卜，書(shū)本上書(shū)寫(xiě)的字符串是橫向的。
[0180]基于上述信息，設(shè)置單元125確定書(shū)本800的打開(kāi)方向是向左方向(參見(jiàn)步驟S622)。因此，在翻頁(yè)操作中，用戶(hù)手部更有可能向X軸方向的負(fù)向側(cè)大幅地移動(dòng)。因此，信息處理裝置重新設(shè)置辨識(shí)區(qū)域，以使得在向左方向(即X軸方向的負(fù)向側(cè))上大幅地?cái)U(kuò)展以至少包含展開(kāi)頁(yè)的寬度，并且在上下方向(即y軸方向)上具有足夠大的大小，如區(qū)域801b所表示的(參見(jiàn)步驟S623)。
[0181]另一方面，圖8C例示了被插入工作空間的書(shū)本803的狀態(tài)。區(qū)域801c是在步驟S306中由設(shè)置單元125設(shè)置的手勢(shì)辨識(shí)區(qū)域。圖8C與圖8A的不同之處在于，在圖8C中，書(shū)本803的打開(kāi)方向是向右方向。因此，信息處理裝置重新設(shè)置辨識(shí)區(qū)域，以使得在向右方向(即X軸方向的正向側(cè))上大幅地?cái)U(kuò)展以至少包含展開(kāi)頁(yè)的寬度，并且在上下方向(即y軸方向)上具有足夠大的大小，如圖8D中的區(qū)域80Id所表示的。
[0182]同樣，圖9A例示了被插入工作空間的書(shū)本900的狀態(tài)。區(qū)域901a是在步驟S306中由設(shè)置單元125設(shè)置的手勢(shì)辨識(shí)區(qū)域。在圖9A的例示中，基于書(shū)脊的位置以及用戶(hù)手部902的位置，能夠指定書(shū)本900在向上方向上被打開(kāi)。
[0183]因此，信息處理裝置重新設(shè)置辨識(shí)區(qū)域，以使得在向上方向(即y軸方向的正向側(cè))上大幅地?cái)U(kuò)展以至少包含展開(kāi)頁(yè)的寬度，并且在左右方向(即X軸方向)上具有足夠大的大小，如圖9B中的區(qū)域901b所表示的。
[0184]同樣，圖9C例示了被插入工作空間的書(shū)本903的狀態(tài)。區(qū)域901c是在步驟S306中由設(shè)置單元125設(shè)置的手勢(shì)辨識(shí)區(qū)域。在圖9C的例示中，基于書(shū)脊的位置以及用戶(hù)手部903的位置，能夠指定書(shū)本900在向下方向上被打開(kāi)。因此，信息處理裝置重新設(shè)置辨識(shí)區(qū)域，以使得在向下方向(即y軸方向的負(fù)向側(cè))上大幅地?cái)U(kuò)展以至少包含展開(kāi)頁(yè)的寬度，并且在左右方向(即X軸方向)上具有足夠大的大小，如圖9D中的區(qū)域901d所表示的。
[0185]圖10A、圖1OB及圖1OC例示了從位于操作面上方的視點(diǎn)觀(guān)察到的、“翻頁(yè)”操作的操作狀態(tài)的示例。相應(yīng)地，假定相對(duì)于紙面設(shè)置的坐標(biāo)系包括在垂直方向上延伸的y軸，以及在水平方向上延伸的X軸。
[0186]圖1OA與圖SB相同。區(qū)域801b是手勢(shì)辨識(shí)區(qū)域，該手勢(shì)辨識(shí)區(qū)域被設(shè)置用來(lái)在對(duì)向左方向上打開(kāi)的書(shū)本800進(jìn)行翻頁(yè)操作的情況下，辨識(shí)該翻頁(yè)操作。信息處理裝置在完成辨識(shí)區(qū)域801b的設(shè)置之后，開(kāi)始檢測(cè)用戶(hù)手部802，并且追蹤用戶(hù)手勢(shì)操作的運(yùn)動(dòng)。
[0187]圖1OB例示了用戶(hù)正在實(shí)際進(jìn)行翻頁(yè)操作的狀態(tài)。手部802位于辨識(shí)區(qū)域801b中。與圖1OA中所示的狀態(tài)相比，手部802位于左側(cè)(即在X軸的負(fù)向側(cè))。此外，因?yàn)闀?shū)本800在左右方向上伸展，并且盡管書(shū)本800仍然在工作空間中，但是書(shū)本800的內(nèi)容不相同，所以能夠知道書(shū)本800處于打開(kāi)狀態(tài)。
[0188]圖1OC例示了當(dāng)用戶(hù)完成翻頁(yè)操作時(shí)的手部802的靜止?fàn)顟B(tài)。通過(guò)檢測(cè)書(shū)本800的展開(kāi)頁(yè)上的內(nèi)容的改變，或者通過(guò)將手部位置的移動(dòng)量與手勢(shì)模型進(jìn)行比較，辨識(shí)單元126能夠辨識(shí)出“翻頁(yè)”操作已開(kāi)始。
[0189]例如，在本示例性實(shí)施例中，如果在“翻頁(yè)”操作期間，用戶(hù)手部和目標(biāo)物體(即書(shū)本)保持靜止預(yù)定時(shí)間，則信息處理裝置重復(fù)地進(jìn)行新的可讀取展開(kāi)頁(yè)的讀取。然后，當(dāng)用戶(hù)將手部802從辨識(shí)區(qū)域801b中移走時(shí)(即當(dāng)手部802從區(qū)域801b中離開(kāi)時(shí))，信息處理裝置確定“翻頁(yè)”操作完成(參見(jiàn)步驟S313)。
[0190]如上所述，根據(jù)本示例性實(shí)施例的信息處理裝置能夠辨識(shí)與各種目標(biāo)物體相關(guān)的多種類(lèi)型的手勢(shì)操作。在這種情況下，信息處理裝置能夠基于目標(biāo)物體及周邊狀況，來(lái)估計(jì)接下來(lái)要進(jìn)行的手勢(shì)操作，并且能夠設(shè)置適合于各操作的手勢(shì)辨識(shí)區(qū)域。換言之，因?yàn)橛脩?hù)不需要進(jìn)行任何過(guò)大的操作，所以提高與目標(biāo)物體相關(guān)的手勢(shì)操作的可操作性變得可行。
[0191]在本示例性實(shí)施例中，諸如“紙張移動(dòng)”、“書(shū)本移動(dòng)”、“拖動(dòng)”及“圖像變形”操作等的用戶(hù)手部操作，是接下來(lái)要進(jìn)行的手勢(shì)之前的準(zhǔn)備操作。因此，在響應(yīng)于準(zhǔn)備操作進(jìn)行了辨識(shí)區(qū)域的重新設(shè)置之后，信息處理裝置可能重復(fù)圖3中所示的流程圖的從步驟S309起的處理，以進(jìn)行下一手勢(shì)操作。
[0192]例如，在用戶(hù)進(jìn)行“拖動(dòng)”操作來(lái)移動(dòng)圖像數(shù)據(jù)之后，用戶(hù)可能進(jìn)行輕掃操作來(lái)對(duì)要顯示的圖像數(shù)據(jù)進(jìn)行變形。在這種情況下，有效地使用重新設(shè)置的辨識(shí)區(qū)域是可行的。此夕卜，在用戶(hù)進(jìn)行“紙張移動(dòng)”操作來(lái)移動(dòng)紙張之后，用戶(hù)可能進(jìn)行“翻轉(zhuǎn)”操作。在這種情況下，信息處理裝置響應(yīng)于再次握持紙張的用戶(hù)動(dòng)作，進(jìn)行辨識(shí)區(qū)域重新設(shè)置處理，以設(shè)置適合于“翻轉(zhuǎn)”操作的新辨識(shí)區(qū)域。
[0193]如上所述，在各種情形下，信息處理裝置均能夠設(shè)置能夠適當(dāng)?shù)貞?yīng)用于接下來(lái)要進(jìn)行的手勢(shì)操作的適當(dāng)辨識(shí)區(qū)域。因此，各用戶(hù)能夠容易地進(jìn)行與目標(biāo)物體相關(guān)的手勢(shì)操作，因?yàn)橛脩?hù)不需要不自然地進(jìn)行過(guò)大的操作。
[0194]在上述的第一示例性實(shí)施例中，目標(biāo)物體是紙張、書(shū)本和投影的圖像數(shù)據(jù)中的任何一者。然而，目標(biāo)物體不局限于上述示例。例如，可以用三維物體(例如，盒子或瓶子)來(lái)取代上述的示例。例如，讀取糖果盒上的包裝設(shè)計(jì)是可行的。
[0195]此外，在第一示例性實(shí)施例中，估計(jì)單元124從預(yù)先登記在字典中的預(yù)定數(shù)量的手勢(shì)中，選擇接下來(lái)將可能進(jìn)行的用戶(hù)手勢(shì)操作，以估計(jì)實(shí)際的手勢(shì)操作。然而，也可以用較簡(jiǎn)單的估計(jì)處理，來(lái)取代要由估計(jì)單元124進(jìn)行的處理。
[0196]例如，在被用戶(hù)手部握持的部分是目標(biāo)物體的左邊緣的情況下，估計(jì)單元124估計(jì)進(jìn)行了使用左手的操作。在這種情況下，設(shè)置單元125能夠設(shè)置部分?jǐn)z像區(qū)域作為新的手勢(shì)辨識(shí)區(qū)域，該部分?jǐn)z像區(qū)域包括從用戶(hù)握持目標(biāo)物體的位置向左延伸的足夠?qū)挼膮^(qū)域。
[0197]另一方面，在被用戶(hù)手部握持的部分是目標(biāo)物體的右邊緣的情況下，估計(jì)單元124估計(jì)進(jìn)行了使用右手的操作。在這種情況下，設(shè)置單元125能夠設(shè)置部分?jǐn)z像區(qū)域作為新的手勢(shì)辨識(shí)區(qū)域，該部分?jǐn)z像區(qū)域包括從用戶(hù)握持目標(biāo)物體的位置向右延伸的足夠?qū)挼膮^(qū)域。
[0198]此外，在第一示例性實(shí)施例中，信息處理裝置設(shè)置與在用戶(hù)插入目標(biāo)物體時(shí)的用戶(hù)手臂的狀態(tài)匹配的坐標(biāo)系(參見(jiàn)步驟S306)。此外，當(dāng)用戶(hù)增加的運(yùn)動(dòng)包括目標(biāo)物體的旋轉(zhuǎn)時(shí)，信息處理裝置可以在旋轉(zhuǎn)完成時(shí)，通過(guò)進(jìn)行與步驟S306中的處理類(lèi)似的處理，來(lái)重新設(shè)置基于用戶(hù)手臂的方向的坐標(biāo)系。
[0199]通過(guò)上述的處理，例如，即使當(dāng)用戶(hù)根據(jù)改變的站立位置來(lái)移動(dòng)或旋轉(zhuǎn)目標(biāo)物體時(shí)，信息處理裝置也能夠準(zhǔn)確地區(qū)別和辨識(shí)用戶(hù)手部的運(yùn)動(dòng)。
[0200]此外，在第一示例性實(shí)施例中，僅一個(gè)用戶(hù)進(jìn)行與一個(gè)目標(biāo)物體相關(guān)的操作。然而，也可以有多個(gè)用戶(hù)對(duì)多個(gè)目標(biāo)物體進(jìn)行單獨(dú)的操作。在這種情況下，當(dāng)信息處理裝置確定是否插入了目標(biāo)物體(參見(jiàn)步驟S303)時(shí)，信息處理裝置確認(rèn)目標(biāo)物體的數(shù)量。在后續(xù)的處理中，信息處理裝置針對(duì)確認(rèn)的目標(biāo)物體的數(shù)量設(shè)置多個(gè)辨識(shí)區(qū)域。
[0201]另外，在用于設(shè)置與目標(biāo)物體及用戶(hù)位置匹配的辨識(shí)區(qū)域的處理(參見(jiàn)步驟S306)中，信息處理裝置通過(guò)區(qū)別各用戶(hù)的手臂的方向來(lái)確認(rèn)用戶(hù)的數(shù)量，并且針對(duì)各用戶(hù)來(lái)設(shè)置坐標(biāo)系。由此，即使在多個(gè)用戶(hù)能夠同時(shí)從各種方向使用裝置的情況下，信息處理裝置也能夠針對(duì)各用戶(hù)來(lái)設(shè)置最佳的手勢(shì)辨識(shí)區(qū)域。因此，提高與目標(biāo)物體相關(guān)的各手勢(shì)操作的可操作性變得可行。
[0202]其他實(shí)施方式
[0203]另外，可以通過(guò)讀出并執(zhí)行記錄在存儲(chǔ)介質(zhì)(例如，非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))上的計(jì)算機(jī)可執(zhí)行指令、以執(zhí)行本發(fā)明的上述實(shí)施例中的一個(gè)或更多實(shí)施例的功能的系統(tǒng)或裝置的計(jì)算機(jī)，來(lái)實(shí)現(xiàn)本發(fā)明的各實(shí)施例，并且，可以利用由通過(guò)例如讀出并執(zhí)行來(lái)自存儲(chǔ)介質(zhì)的計(jì)算機(jī)可執(zhí)行指令、以執(zhí)行上述實(shí)施例中的一個(gè)或更多實(shí)施例的功能的系統(tǒng)或裝置的計(jì)算機(jī)來(lái)執(zhí)行的方法，來(lái)實(shí)現(xiàn)本發(fā)明的各實(shí)施例。所述計(jì)算機(jī)可以包括中央處理單元(CPU)、微處理單元(MPU)或其他電路中的一者或更多，并且可以包括分開(kāi)的計(jì)算機(jī)或分開(kāi)的計(jì)算機(jī)處理器的網(wǎng)絡(luò)。所述計(jì)算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)被提供給計(jì)算機(jī)。所述存儲(chǔ)介質(zhì)可以包括例如硬盤(pán)、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、分布式計(jì)算系統(tǒng)的存儲(chǔ)器、光盤(pán)(諸如壓縮光盤(pán)(CD)、數(shù)字通用光盤(pán)(DVD)或藍(lán)光光盤(pán)(BD) ?)、閃存設(shè)備、存儲(chǔ)卡等中的一者或更多。
[0204]雖然參照示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明不局限于所公開(kāi)的示例性實(shí)施例。應(yīng)當(dāng)對(duì)所附權(quán)利要求的范圍給予最寬的解釋?zhuān)允顾龇秶w所有的此類(lèi)變形以及等同結(jié)構(gòu)和功能。
【權(quán)利要求】
1.一種信息處理裝置，其能夠基于由攝像單元拍攝的預(yù)定區(qū)域的圖像來(lái)辨識(shí)由手勢(shì)物體進(jìn)行的手勢(shì)操作，該信息處理裝置包括: 獲取單元，其被配置為獲取關(guān)于存在于所述預(yù)定區(qū)域中的目標(biāo)物體的位置信息； 設(shè)置單元，其被配置為設(shè)置所述預(yù)定區(qū)域的部分區(qū)域作為與所述目標(biāo)物體相對(duì)應(yīng)的至少一個(gè)手勢(shì)操作的手勢(shì)辨識(shí)區(qū)域；以及 辨識(shí)單元，其被配置為基于由所述攝像單元獲得的所述圖像的部分，來(lái)辨識(shí)由所述手勢(shì)物體進(jìn)行的手勢(shì)操作，所述部分與所述設(shè)置單元設(shè)置的所述手勢(shì)辨識(shí)區(qū)域相對(duì)應(yīng)。
2.根據(jù)權(quán)利要求1所述的信息處理裝置，該信息處理裝置還包括: 指定單元，其被配置為基于所述圖像來(lái)指定所述手勢(shì)物體的狀態(tài)， 其中，所述設(shè)置單元基于由所述獲取單元獲取到的關(guān)于所述目標(biāo)物體的位置信息，以及已由所述指定單元指定的所述手勢(shì)物體的狀態(tài)，來(lái)設(shè)置所述手勢(shì)辨識(shí)區(qū)域。
3.根據(jù)權(quán)利要求2所述的信息處理裝置，該信息處理裝置還包括: 識(shí)別單元，其被配置為識(shí)別已由所述獲取單元獲取到位置信息的所述目標(biāo)物體；以及 估計(jì)單元，其被配置為基于由所述識(shí)別單元識(shí)別的所述目標(biāo)物體，以及由所述指定單元指定的所述手勢(shì)物體的狀態(tài)，來(lái)估計(jì)要由所述手勢(shì)物體進(jìn)行的手勢(shì)操作， 其中，所述設(shè)置單元根據(jù)由所述估計(jì)單元獲得的估計(jì)結(jié)果，來(lái)設(shè)置所述手勢(shì)辨識(shí)區(qū)域。
4.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述設(shè)置單元基于當(dāng)已由所述獲取單元獲取到位置信息的所述目標(biāo)物體被所述手勢(shì)物體插入到所述預(yù)定區(qū)域中時(shí)所述攝像單元拍攝的圖像，來(lái)設(shè)置定義所述手勢(shì)辨識(shí)區(qū)域中的手勢(shì)操作的方向的坐標(biāo)系。
5.根據(jù)權(quán)利要求3所述的信息處理裝置，其中，所述手勢(shì)物體包括用戶(hù)手部，并且所述估計(jì)單元基于由所述指定單元指定的所述用戶(hù)手部的狀態(tài)，來(lái)估計(jì)要由所述用戶(hù)手部對(duì)所述識(shí)別單元識(shí)別的目標(biāo)物體進(jìn)行的手勢(shì)操作。
6.根據(jù)權(quán)利要求3所述的信息處理裝置，其中，所述識(shí)別單元識(shí)別出所述目標(biāo)物體包括紙張或書(shū)本。
7.根據(jù)權(quán)利要求6所述的信息處理裝置，其中，當(dāng)所述識(shí)別單元識(shí)別出所述目標(biāo)物體是紙張、并且所述指定單元指定所述用戶(hù)手部正在握持由檢測(cè)單元檢測(cè)到的目標(biāo)物體時(shí)，所述估計(jì)單元估計(jì)所述用戶(hù)手部將要進(jìn)行翻轉(zhuǎn)所述紙張的手勢(shì)操作，并且， 所述設(shè)置單元以使得包括當(dāng)所述用戶(hù)手部翻轉(zhuǎn)所述紙張時(shí)所述用戶(hù)手部可能移動(dòng)的范圍的方式重新設(shè)置所述手勢(shì)辨識(shí)區(qū)域。
8.根據(jù)權(quán)利要求6所述的信息處理裝置，其中，當(dāng)所述識(shí)別單元識(shí)別出所述目標(biāo)物體是書(shū)本、并且所述指定單元指定所述用戶(hù)手部正在握持由檢測(cè)單元檢測(cè)到的目標(biāo)物體時(shí)，所述估計(jì)單元估計(jì)所述用戶(hù)手部將要進(jìn)行翻動(dòng)所述書(shū)本的頁(yè)面的手勢(shì)操作，并且， 所述設(shè)置單元以使得包括當(dāng)所述用戶(hù)手部翻動(dòng)所述書(shū)本的頁(yè)面時(shí)所述用戶(hù)手部可能移動(dòng)的范圍的方式重新設(shè)置所述手勢(shì)辨識(shí)區(qū)域。
9.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述目標(biāo)物體包括能夠由顯示單元顯示的、被顯示在所述預(yù)定空間中的虛擬物體，以及被插入所述預(yù)定空間的實(shí)體物體。
10.根據(jù)權(quán)利要求9所述的信息處理裝置，其中，當(dāng)所述識(shí)別單元將由檢測(cè)單元檢測(cè)到的目標(biāo)物體識(shí)別為由所述顯示單元顯示在所述預(yù)定空間中的虛擬目標(biāo)物體時(shí)，所述辨識(shí)單元根據(jù)橫跨由所述設(shè)置單元在所述目標(biāo)物體周?chē)O(shè)置的區(qū)域的橫切運(yùn)動(dòng)，識(shí)別出對(duì)所述顯示單元的輕掃操作，在所述輕掃操作中所述手勢(shì)物體改變顯示在所述預(yù)定空間中的虛擬目標(biāo)物體。
11.一種信息處理裝置的控制方法，該信息處理裝置能夠基于由攝像單元拍攝的預(yù)定區(qū)域的圖像來(lái)辨識(shí)由手勢(shì)物體進(jìn)行的手勢(shì)操作，該控制方法包括以下步驟: 獲取關(guān)于存在于所述預(yù)定區(qū)域中的目標(biāo)物體的位置信息； 設(shè)置所述預(yù)定區(qū)域的部分區(qū)域作為與所述目標(biāo)物體相對(duì)應(yīng)的至少一個(gè)手勢(shì)操作的手勢(shì)辨識(shí)區(qū)域，所述部分區(qū)域與所獲取到的關(guān)于所述目標(biāo)物體的位置信息相對(duì)應(yīng)；以及 基于由所述攝像單元拍攝的所述圖像的部分來(lái)辨識(shí)由所述手勢(shì)物體進(jìn)行的手勢(shì)操作，所述部分與所設(shè)置的手勢(shì)辨識(shí)區(qū)域相對(duì)應(yīng)。
12.根據(jù)權(quán)利要求11所述的信息處理裝置的控制方法，該控制方法還包括: 基于所述圖像來(lái)指定所述手勢(shì)物體的狀態(tài)， 其中，所述設(shè)置步驟包括:基于所獲取到的關(guān)于所述目標(biāo)物體的位置信息以及所指定的所述手勢(shì)物體的狀態(tài)，來(lái)設(shè)置所述手勢(shì)辨識(shí)區(qū)域的操作。
13.根據(jù)權(quán)利要求12所述的信息處理裝置的控制方法，該控制方法還包括: 識(shí)別所獲取的目標(biāo)物體；以及 基于所識(shí)別的目標(biāo)物體以及所指定的所述手勢(shì)物體的狀態(tài)，來(lái)估計(jì)要由所述手勢(shì)物體進(jìn)行的手勢(shì)操作， 其中，所述設(shè)置步驟包括:根據(jù)估計(jì)的結(jié)果來(lái)設(shè)置所述手勢(shì)辨識(shí)區(qū)域的操作。
【文檔編號(hào)】G06F3/01GK104238737SQ201410240446
【公開(kāi)日】2014年12月24日 申請(qǐng)日期:2014年5月30日 優(yōu)先權(quán)日:2013年6月5日
【發(fā)明者】新井常一 申請(qǐng)人:佳能株式會(huì)社