專(zhuān)利名稱(chēng)：圖像處理裝置及其方法和程序的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及圖像處理裝置及其方法和程序，特別地涉及其中能夠高精度地識(shí)別姿勢(shì)的圖像處理裝置及其方法和程序。
背景技術(shù)：
在相關(guān)技術(shù)中，在用戶通過(guò)移動(dòng)手等做出具體的姿勢(shì)時(shí)識(shí)別該姿勢(shì)的姿勢(shì)識(shí)別是已知的。例如，在姿勢(shì)識(shí)別中，通過(guò)按時(shí)間順序排列用戶手的位置的信息來(lái)獲得手的軌跡，并且通過(guò)將該軌跡與預(yù)先記錄的手的軌跡進(jìn)行比較來(lái)確定是否已作出了姿勢(shì)。此外，已提出了如下技術(shù):將用戶的手的運(yùn)動(dòng)的方向設(shè)置為觀測(cè)信號(hào)，并基于觀測(cè)信號(hào)的某些行(row)來(lái)識(shí)別姿勢(shì)(例如，參考日本未審專(zhuān)利申請(qǐng)公開(kāi)N0.2007-87089)。

發(fā)明內(nèi)容
然而，在上述技術(shù)中，難以高精度地識(shí)別用戶作出的姿勢(shì)。出于該原因，作為識(shí)別目標(biāo)的姿勢(shì)必須是當(dāng)用戶在寬的范圍內(nèi)在某種程度上較大地移動(dòng)手時(shí)用戶的手的軌跡能夠被可靠地識(shí)別的姿勢(shì)。這樣的大姿勢(shì)對(duì)于用戶來(lái)說(shuō)是繁累的，并且使得使用姿勢(shì)識(shí)別的應(yīng)用程序等不便于使用。理想的是以高精度識(shí)別姿勢(shì)。根據(jù)本技術(shù)的實(shí)施方式，提供了一種圖像處理裝置，所述圖像處理裝置包括:差異圖像生成單元，其通過(guò)獲得剪切圖像的幀之間的差異來(lái)生成差異圖像，其中所述剪切圖像是通過(guò)剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；特征量提取單元，其從差異圖像中提取特征量；以及識(shí)別單元，其基于從按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別對(duì)象在所拍攝的圖像上的具體運(yùn)動(dòng)。識(shí)別單元可以將用戶的手作出的姿勢(shì)識(shí)別為對(duì)象的具體運(yùn)動(dòng)。圖像處理裝置還可以設(shè)置有:手檢測(cè)單元，其從所拍攝的圖像中檢測(cè)用戶的手；以及剪切區(qū)域確定單元，其基于所檢測(cè)到的用戶的手在所拍攝的圖像上的位置來(lái)確定預(yù)定區(qū)域。在相對(duì)于連續(xù)的多個(gè)幀的所拍攝的圖像，所檢測(cè)到的用戶的手位于所拍攝的圖像上的一定范圍內(nèi)時(shí)，剪切區(qū)域確定單元可以基于用戶的手的位置來(lái)確定預(yù)定區(qū)域。圖像處理裝置可以設(shè)置有剪切區(qū)域確定單元，所述剪切區(qū)域確定單元通過(guò)獲得在所拍攝的圖像上的每個(gè)區(qū)域中的幀之間的差異來(lái)確定預(yù)定區(qū)域。預(yù)定區(qū)域可以是在所拍攝的圖像上預(yù)先確定的區(qū)域。圖像處理裝置還可以包括區(qū)域設(shè)置單元，所述區(qū)域設(shè)置單元在所拍攝的圖像上設(shè)置其中布置有多個(gè)預(yù)定區(qū)域的識(shí)別區(qū)域，其中，可以使差異圖像生成單元生成布置在識(shí)別區(qū)域中的每個(gè)預(yù)定區(qū)域中的差異圖像，可以使特征量提取單元從每個(gè)預(yù)定區(qū)域中的差異圖像中提取特征量，并且識(shí)別單元可以基于從在每個(gè)預(yù)定區(qū)域中的按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別用戶的姿勢(shì)。圖像處理裝置還可以包括剪切區(qū)域確定單元，所述剪切區(qū)域確定單元確定各個(gè)預(yù)定區(qū)域的尺寸，且設(shè)置在所述識(shí)別區(qū)域中。圖像處理裝置還可以包括檢測(cè)單元，所述檢測(cè)單元從所拍攝的圖像中檢測(cè)用戶身體的部位，并且可以使區(qū)域設(shè)置單元基于所檢測(cè)到的用戶身體的部位在所拍攝的圖像上的位置來(lái)設(shè)置識(shí)別區(qū)域?？梢允辜羟袇^(qū)域確定單元基于檢測(cè)到的用戶身體的部位的尺寸來(lái)確定各個(gè)預(yù)定區(qū)域的尺寸。可以使檢測(cè)單元從所拍攝的圖像中檢測(cè)用戶的臉?？梢允箼z測(cè)單元從所拍攝的圖像中檢測(cè)用戶的手。圖像處理裝置還包括運(yùn)動(dòng)確定單元，所述運(yùn)動(dòng)確定單元基于識(shí)別區(qū)域中的運(yùn)動(dòng)矢量的量值來(lái)確定在識(shí)別區(qū)域中的運(yùn)動(dòng)，并且其中可以使識(shí)別單元根據(jù)運(yùn)動(dòng)確定單元作出的確定結(jié)果來(lái)識(shí)別用戶的姿勢(shì)。圖像處理裝置還可以設(shè)置有顯示控制單元，所述顯示控制單元使顯示單元顯示所拍攝的圖像上的用戶以及表示預(yù)定區(qū)域的位置的圖像。圖像處理裝置還可以設(shè)置有動(dòng)作處理單元，當(dāng)用戶的姿勢(shì)被識(shí)別時(shí)，所述動(dòng)作處理單元執(zhí)行對(duì)應(yīng)于所識(shí)別的姿勢(shì)的處理。顯示控制單元可以使顯示單元顯示所述表示預(yù)定區(qū)域的位置的圖像，并且動(dòng)作處理單元可以執(zhí)行由所識(shí)別的姿勢(shì)以及多個(gè)預(yù)定區(qū)域中的其中用戶的姿勢(shì)被識(shí)別的預(yù)定區(qū)域所確定的處理。顯示控制單元可以使顯示單元顯示如下事實(shí):正在執(zhí)行姿勢(shì)識(shí)別或用戶的姿勢(shì)已被識(shí)別。特征量提取單元可以將差異圖像分成多個(gè)塊，并提取塊中的像素的平均亮度作為塊的特征量。根據(jù)本技術(shù)的另一個(gè)實(shí)施方式，提供一種圖像處理方法或程序，包括:通過(guò)獲得剪切圖像的幀之間的差異來(lái)生成差異圖像，其中所述剪切圖像是通過(guò)剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；從差異圖像中提取特征量；以及基于從按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別對(duì)象在所拍攝的圖像上的具體運(yùn)動(dòng)。根據(jù)本技術(shù)的實(shí)施方式，通過(guò)獲得剪切圖像的幀之間的差異來(lái)生成差異圖像，其中所述剪切圖像是通過(guò)剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；從差異圖像中提取特征量；以及基于從按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別對(duì)象在所拍攝的圖像上的具體運(yùn)動(dòng)。根據(jù)本技術(shù)的實(shí)施方式，能夠以較高的精度識(shí)別姿勢(shì)。


圖1是示意性地描述本技術(shù)的圖。圖2是示出了圖像處理裝置的配置示例的圖。圖3是描述姿勢(shì)識(shí)別處理的流程圖。圖4是示出了剪切區(qū)域的位置的顯示示例的圖。
圖5是示出了差異圖像的塊分割的示例的圖。圖6是示出了剪切區(qū)域的位置的顯示示例的圖。圖7是示出了另一個(gè)圖像處理裝置的配置示例的圖。圖8是描述姿勢(shì)識(shí)別處理的流程圖。圖9是示出了按鈕圖標(biāo)的顯示示例的圖。圖10是描述用于確定剪切區(qū)域的方法的示例的圖。圖11是示出了姿勢(shì)識(shí)別系統(tǒng)的配置示例的圖。圖12是示出了姿勢(shì)識(shí)別系統(tǒng)的另一種配置示例的圖。圖13是示出了圖像處理裝置的又一種配置示例的圖。圖14是描述姿勢(shì)識(shí)別處理的流程圖。圖15是示出了剪切區(qū)域的顯示示例的圖。圖16是示出了識(shí)別區(qū)域的顯示示例的圖。圖17是描述姿勢(shì)識(shí)別單元的處理的圖。圖18是描述姿勢(shì)識(shí)別單元的處理的圖。圖19是描述姿勢(shì)識(shí)別單元的處理的圖。圖20是描述姿勢(shì)識(shí)別的處理結(jié)果的顯示示例的圖。圖21是描述姿勢(shì)識(shí)別的處理結(jié)果的顯示示例的圖。圖22是描述姿勢(shì)識(shí)別的處理結(jié)果的顯示示例的圖。圖23是示出了剪切區(qū)域的顯示示例的圖。圖24是示出了剪切區(qū)域的顯示示例的圖。圖25是示出了按鈕圖標(biāo)的顯示示例的圖。圖26是示出了圖像處理裝置的又一種配置示例的圖。圖27是描述姿勢(shì)識(shí)別處理的流程圖。圖28是示出了用于設(shè)置識(shí)別區(qū)域的方法的示例的圖。圖29是示出了用于確定剪切區(qū)域的方法的示例的圖。圖30是示出了圖像處理裝置的又一種配置示例的圖。圖31是描述姿勢(shì)識(shí)別處理的流程圖。圖32是示出了用于設(shè)置識(shí)別區(qū)域的方法的示例的圖。圖33是示出了用于確定剪切區(qū)域的方法的示例的圖。圖34是示出了圖像處理裝置的又一種配置示例的圖。圖35是示出了圖像處理裝置的又一種配置示例的圖。圖36是描述姿勢(shì)識(shí)別處理的流程圖。圖37是描述運(yùn)動(dòng)確定處理的流程圖。圖38是描述識(shí)別區(qū)域中的運(yùn)動(dòng)矢量的圖。圖39是描述識(shí)別區(qū)域中的運(yùn)動(dòng)矢量的圖。圖40是描述本技術(shù)中的系統(tǒng)的應(yīng)用示例的圖。圖41是示出了計(jì)算機(jī)的配置示例的圖。
具體實(shí)施方式
根據(jù)本發(fā)明實(shí)施方式，提供一種圖像處理裝置，包括:差異圖像生成單元，所述差異圖像生成單元通過(guò)獲得剪切圖像的幀之間的差異來(lái)生成差異圖像，其中所述剪切圖像是通過(guò)剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；特征量提取單元，所述特征量提取單元從所述差異圖像中提取特征量；以及識(shí)別單元，所述識(shí)別單元基于從按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別在所拍攝的圖像上的對(duì)象的具體運(yùn)動(dòng)。根據(jù)本發(fā)明另一實(shí)施方式，提供一種圖像處理方法，包括:通過(guò)獲得剪切圖像的幀之間的差異來(lái)生成差異圖像，其中所述剪切圖像是通過(guò)剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；從所述差異圖像中提取特征量；以及基于從按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別在所拍攝的圖像上的對(duì)象的具體運(yùn)動(dòng)。在下文中，將參照附圖來(lái)描述應(yīng)用本技術(shù)的實(shí)施方式。第一實(shí)施方式識(shí)別姿勢(shì)的概述首先，將描述本技術(shù)的概述。本技術(shù)是要基于連續(xù)拍攝的圖像來(lái)識(shí)別對(duì)象的具體運(yùn)動(dòng)。更具體地，本技術(shù)例如是要基于所拍攝的圖像來(lái)識(shí)別預(yù)定姿勢(shì)。例如，如圖1所示，執(zhí)行姿勢(shì)識(shí)別的系統(tǒng)設(shè)置有拍攝單元11和顯示單元12等，拍攝單元11對(duì)作出姿勢(shì)的用戶Ull進(jìn)行拍攝，顯示單元12顯示所拍攝的用戶Ull的圖像。當(dāng)用戶Ull想要執(zhí)行預(yù)定處理等時(shí)，用戶朝向拍攝單元11作出指示所述處理等的姿勢(shì)。在此之后，剪切出由拍攝單元11拍攝的用戶Ull的圖像的預(yù)定區(qū)域(在下文中，也被稱(chēng)為剪切區(qū)域)中的圖像，從而獲得所獲得的剪切圖像的幀之間的差異。此處，如圖左側(cè)所示在圖像上剪切區(qū)域被設(shè)為例如包括用戶Ull的手掌的區(qū)域REll等。關(guān)于在由拍攝單元11拍攝的每個(gè)幀中的圖像，當(dāng)圖像上的區(qū)域REll被剪切出時(shí)且被設(shè)為剪切圖像，并且獲得相鄰幀之間的剪切圖像的差異時(shí)，可以獲得例如在圖下側(cè)示出的差異圖像DPll-1至DPl 1-4。這些差異圖像DPll-1至DP11-4是當(dāng)用戶Ull作出從使手掌面向顯示單元12的方向的狀態(tài)放下手掌的姿勢(shì)時(shí)所獲得的圖像，并且在差異圖像上每個(gè)位置中的顏色的濃度表示差異的大小。也就是說(shuō)，其表示:顏色的濃度越低，相鄰圖像之間的差異越大，圖像上的對(duì)象的運(yùn)動(dòng)就越大。此外，在該示例中，差異圖像DPll-1是在最早時(shí)間獲得的差異圖像、即是從最早的幀獲得的差異圖像，并且差異圖像DPll-1至DP11-4按照較早的時(shí)間的順序設(shè)置。此夕卜，在下文中，當(dāng)沒(méi)有必要彼此區(qū)分差異圖像DPll-1至DP11-4時(shí)，圖像被簡(jiǎn)稱(chēng)為差異圖像DPl I。在圖1中的示例中，由于用戶Ull作出放下手掌的姿勢(shì)，伴隨著圖中用戶Ull的指尖位置向下移動(dòng)的運(yùn)動(dòng)，差異圖像DPll中的差異較大的區(qū)域也在圖中向下移動(dòng)。當(dāng)以這種方式獲得差異圖像DPll時(shí)，從差異圖像DPll中提取特征量，并基于所獲得的每個(gè)時(shí)間、即差異圖像DPll的每個(gè)幀的特征量來(lái)執(zhí)行姿勢(shì)識(shí)別。此外，當(dāng)具體的姿勢(shì)被識(shí)別時(shí)，執(zhí)行根據(jù)識(shí)別結(jié)果的處理。如上所述，可以通過(guò)從差異圖像DPll中提取特征量并使用特征量而非直接使用通過(guò)對(duì)用戶進(jìn)行拍攝所獲得的圖像來(lái)魯棒地(高精度地)識(shí)別用戶的姿勢(shì)。以這種方式，可以識(shí)別甚至具有小的運(yùn)動(dòng)的姿勢(shì)、如將手放下；可以使用戶作出的姿勢(shì)為小的、自然的運(yùn)動(dòng)；以及可以減輕用戶的負(fù)擔(dān)。當(dāng)相對(duì)于用戶姿勢(shì)的負(fù)擔(dān)被減輕時(shí)，用戶能夠簡(jiǎn)單地以小的姿勢(shì)如手指的運(yùn)動(dòng)來(lái)操作裝置。本技術(shù)可以應(yīng)用于各種裝置，例如大屏幕標(biāo)牌(signage)、個(gè)人計(jì)算機(jī)、電視接收機(jī)等。例如，當(dāng)本技術(shù)應(yīng)用于標(biāo)牌時(shí)，如果用戶作出姿勢(shì)，可以使標(biāo)牌根據(jù)姿勢(shì)來(lái)顯示商店導(dǎo)購(gòu)(store guidance)等,或顯示關(guān)于從條目中選擇的項(xiàng)的詳細(xì)信息。此外，當(dāng)本技術(shù)應(yīng)用于個(gè)人計(jì)算機(jī)時(shí)，可以使個(gè)人計(jì)算機(jī)在用戶作出姿勢(shì)時(shí)執(zhí)行各種處理，例如，通過(guò)音樂(lè)播放器再現(xiàn)一段音樂(lè)的處理等，或在圖片查看器上再現(xiàn)圖像的處理等。在這種情況下，可以例如通過(guò)設(shè)置在個(gè)人計(jì)算機(jī)中的網(wǎng)絡(luò)攝像頭等來(lái)捕獲用戶(用戶作出的姿勢(shì))的圖像。另外，當(dāng)本技術(shù)應(yīng)用于電視接收機(jī)時(shí)，如果用戶作出姿勢(shì)，可以進(jìn)行節(jié)目的頻道選擇，或者可以選擇連接到電視接收機(jī)的連接設(shè)備如記錄器，等等。圖像處理裝置的配置示例接下來(lái)，將描述應(yīng)用本技術(shù)的詳細(xì)實(shí)施方式。圖2是示出了應(yīng)用本技術(shù)的圖像處理裝置的實(shí)施方式的配置示例的圖。此外，在圖2中，與圖1中的情況對(duì)應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖2中的圖像處理裝置41包括:拍攝單元11、手形狀詞典記錄單元51、手形狀識(shí)別單元52、姿勢(shì)識(shí)別單元55、動(dòng)作處理單元56、顯示控制單元57和顯示單元12。拍攝單元11由照相機(jī)等配置而成，其對(duì)作為對(duì)象的用戶進(jìn)行拍攝，并將作為結(jié)果獲得的拍攝圖像提供給手形狀識(shí)別單元52和顯示控制單元57。手形狀詞典記錄單元51記錄用于識(shí)別具體形狀的手的、通過(guò)諸如AdaBoost之類(lèi)的統(tǒng)計(jì)學(xué)習(xí)獲得且預(yù)先設(shè)定的手形狀詞典，并且根據(jù)需要將手形狀詞典提供給手形狀識(shí)別單元52。例如，在學(xué)習(xí)手形狀詞典時(shí)，使用包括作為識(shí)別目標(biāo)的手的圖像的多個(gè)用于學(xué)習(xí)的圖像，并且由于該學(xué)習(xí)，獲得了作為手形狀詞典的識(shí)別器(discriminator)等。手形狀識(shí)別單元52基于由手形狀詞典記錄單元51提供的手形狀詞典從拍攝單元11提供的拍攝圖像來(lái)識(shí)別手的具體形狀，并將識(shí)別結(jié)果和拍攝圖像提供給圖像處理單元53。圖像處理單元53基于所拍攝的圖像和由手形狀識(shí)別單元52提供的識(shí)別結(jié)果來(lái)提取用于識(shí)別姿勢(shì)的特征量，將特征量提供給姿勢(shì)識(shí)別單元55，并根據(jù)需要將剪切區(qū)域的信息等提供給顯示控制單元57。此外，圖像處理單元53包括剪切區(qū)域確定單元71、差異計(jì)算單元72和特征量提取單元73。剪切區(qū)域確定單元71基于手形狀的識(shí)別結(jié)果來(lái)確定所拍攝的圖像上的剪切區(qū)域，從所拍攝的圖像中剪切出在剪切區(qū)域中的圖像，并將其設(shè)置為剪切圖像。差異計(jì)算單元72獲得在相鄰幀中的剪切圖像的差異，并生成差異圖像。特征量提取單元73從差異圖像中提取用于姿勢(shì)識(shí)別的特征量。姿勢(shì)詞典記錄單元54記錄用于識(shí)別姿勢(shì)的姿勢(shì)詞典，并根據(jù)需要將記錄的姿勢(shì)詞典提供給姿勢(shì)識(shí)別單元55。例如，構(gòu)造HMM(隱馬爾可夫模型)的參數(shù)例如狀態(tài)轉(zhuǎn)移概率、輸出概率密度函數(shù)等被記錄為姿勢(shì)詞典。
姿勢(shì)識(shí)別單元55基于由姿勢(shì)詞典記錄單元54提供的姿勢(shì)詞典以及由圖像處理單元53提供的特征量來(lái)識(shí)別姿勢(shì)，并將識(shí)別結(jié)果提供給動(dòng)作處理單元56?；谧藙?shì)識(shí)別單元55的識(shí)別結(jié)果，動(dòng)作處理單元56使圖像處理裝置41的每個(gè)單元執(zhí)行對(duì)應(yīng)于姿勢(shì)的處理。顯示控制單元57基于由拍攝單元11提供的拍攝圖像和由圖像處理單元53提供的關(guān)于剪切區(qū)域的信息等來(lái)使顯示單元12顯示圖像。姿勢(shì)識(shí)別處理的描述接下來(lái)，將參照?qǐng)D3中的流程圖來(lái)描述通過(guò)圖像處理裝置41進(jìn)行的姿勢(shì)識(shí)別處理。在步驟Sll中，拍攝單元11開(kāi)始拍攝要被拍攝的圖像。也就是說(shuō)，拍攝單元11拍攝在拍攝單元11周?chē)挠脩糇鳛閷?duì)象，并將獲得的每個(gè)幀中的拍攝圖像作為結(jié)果依次提供給手形狀識(shí)別單元52和顯示控制單元57。此外，顯示控制單元57將由拍攝單元11提供的拍攝圖像提供給顯示單元12，并使顯示單元顯示該圖像。由于這個(gè)原因，因?yàn)樽鳛閷?duì)象被拍攝的用戶本身顯示在顯示單元12中，所以用戶能夠在觀察顯示在顯示單元12中的自身的同時(shí)作出姿勢(shì)。此外，此處已經(jīng)描述了其中用戶本身顯示在顯示單元12上的示例，然而，不是必須在顯示單元12中顯示用戶。例如，當(dāng)用戶的手被檢測(cè)到時(shí)，還優(yōu)選的是，通過(guò)顯示光標(biāo)、或在顯示單元12中的對(duì)應(yīng)于用戶手的位置處顯示表示用戶手的位置的手圖像來(lái)使用戶了解他的手的位置。此外，當(dāng)特別地基于用戶手的位置等確定剪切區(qū)域時(shí)，用戶本身的圖像和用戶手的位置的圖像均不可在顯示單元12中顯示。在步驟S12中，手形狀識(shí)別單元52開(kāi)始手形狀的識(shí)別。具體地，手形狀識(shí)別單元52基于記錄在手形狀詞典記錄單元51中的手形狀詞典以及由拍攝單元11提供的拍攝圖像來(lái)從每個(gè)幀的拍攝圖像中檢測(cè)手的具體形狀，并將檢測(cè)結(jié)果和拍攝圖像提供給圖像處理單元53。例如，當(dāng)識(shí)別器被記錄為手形狀詞典時(shí)，手形狀識(shí)別單元52通過(guò)從所拍攝的圖像上的預(yù)定區(qū)域中提取特征量以及以特征量來(lái)替代識(shí)別器來(lái)從所拍攝的圖像中檢測(cè)具有具體形狀的手。通過(guò)執(zhí)行這樣的手形狀識(shí)別，可以檢測(cè)手的形狀、尺寸或位置。此外，將作為識(shí)別目標(biāo)的手形狀設(shè)置為在預(yù)定姿勢(shì)的開(kāi)始時(shí)刻的手形狀，或一般的手形狀諸如紙張狀或石頭狀。此外，此處已經(jīng)例示了手形狀的識(shí)別，然而，如果能夠檢測(cè)用戶手的位置，則并不限于識(shí)別手形狀，可以是任何檢測(cè)方法。在步驟S13中，圖像處理單元53基于手形狀識(shí)別的結(jié)果來(lái)確定是否已經(jīng)從所拍攝的圖像中檢測(cè)到具有具體形狀的手。在步驟S13中，當(dāng)確定沒(méi)有檢測(cè)到手時(shí)，則處理返回步驟S13，并重復(fù)上述處理。與此相反，在步驟S14中，當(dāng)在步驟S13中確定檢測(cè)到手時(shí)，圖像處理單元53基于手形狀識(shí)別結(jié)果來(lái)執(zhí)行手的位置的跟蹤。也就是說(shuō)，相對(duì)于新檢測(cè)到手的幀之后的幀來(lái)執(zhí)行檢測(cè)的手的位置的跟蹤。在步驟S15中，圖像處理單元53確定手是否在一定范圍內(nèi)。例如，在作為參考的預(yù)定幀之后的每個(gè)幀中檢測(cè)到的手的位置處于預(yù)定尺寸的范圍內(nèi)，在該預(yù)定尺寸的范圍中在預(yù)定幀中的手的位置被設(shè)置為中心，手被確定為處于一定范圍內(nèi)。
在步驟S15中，當(dāng)確定手不在一定的范圍內(nèi)時(shí)，處理返回到步驟S14，并重復(fù)上述處理。另一方面，在步驟S15中，當(dāng)確定手在一定范圍內(nèi)時(shí)，在步驟S16中，剪切區(qū)域確定單元71基于來(lái)自手形狀識(shí)別單元52的手形狀識(shí)別結(jié)果來(lái)確定剪切區(qū)域。例如，剪切區(qū)域確定單元71設(shè)置具有預(yù)定尺寸的矩形區(qū)域，在該矩形區(qū)域中，在所拍攝的圖像上被檢測(cè)到的手的重心被設(shè)置為剪切區(qū)域。由于在手形狀識(shí)別中在一定程度上可以了解手的尺寸，所以剪切區(qū)域的尺寸被設(shè)置成如下尺寸:其中包括了檢測(cè)到的手。此外，因?yàn)榧词乖谑值恼麄€(gè)區(qū)域沒(méi)有被包括在剪切區(qū)域中的情況下也能夠識(shí)別姿勢(shì)，所以剪切區(qū)域的尺寸可以不是其中必須包括手的整個(gè)區(qū)域的尺寸。此外，如果基于檢測(cè)到的手的位置來(lái)確定區(qū)域，則可以以任何方式來(lái)確定剪切區(qū)域。當(dāng)剪切區(qū)域被確定時(shí)，剪切區(qū)域確定單元71相對(duì)于由手形狀識(shí)別單元52提供的每個(gè)幀的拍攝圖像來(lái)生成在拍攝圖像上的剪切區(qū)域的圖像。因此，將在與每個(gè)幀的拍攝圖像相同的位置上的區(qū)域設(shè)置為剪切圖像。此外，更具體地，剪切區(qū)域確定單元71根據(jù)需要相對(duì)于所生成的剪切圖像執(zhí)行放大處理和縮小處理，使得剪切圖像的尺寸變?yōu)轭A(yù)定的指定尺寸。通過(guò)以這種方式使剪切圖像的尺寸變?yōu)轭A(yù)定尺寸，可以更簡(jiǎn)單地執(zhí)行姿勢(shì)識(shí)別的處理。在下文中，使用以這種方式生成的剪切圖像來(lái)執(zhí)行姿勢(shì)識(shí)別。同時(shí)，在執(zhí)行姿勢(shì)識(shí)別的情況下，當(dāng)用戶在移動(dòng)手的同時(shí)作出姿勢(shì)時(shí)，存在如下?lián)?由于在所拍攝的圖像中手的部分的背景的變化等，可能會(huì)降低姿勢(shì)識(shí)別的精確度。因此，在圖像處理裝置41中，為了只將在用戶沒(méi)有較大地移動(dòng)手的狀態(tài)下作出的姿勢(shì)設(shè)置為姿勢(shì)識(shí)別目標(biāo)，確定手是否在一定范圍內(nèi)，并且確定剪切區(qū)域。在這種情況下，當(dāng)手在一定范圍內(nèi)時(shí)，通過(guò)假設(shè)手在一定程度上已停止來(lái)開(kāi)始姿勢(shì)識(shí)別。此外，可以通過(guò)當(dāng)手的運(yùn)動(dòng)為閾值或小于閾值時(shí)確定剪切區(qū)域來(lái)開(kāi)始所述姿勢(shì)識(shí)另IJ，或者可以通過(guò)當(dāng)檢測(cè)到具有具體形狀的手時(shí)確定剪切區(qū)域來(lái)開(kāi)始所述姿勢(shì)識(shí)別。當(dāng)如上所述確定剪切區(qū)域時(shí)，圖像處理單元53將表示所確定的剪切區(qū)域的位置的信息提供給顯示控制單元57。在步驟S17中，顯示控制單元57基于由圖像處理單元53提供的信息來(lái)執(zhí)行反饋:姿勢(shì)識(shí)別被執(zhí)行。例如，如圖4所示，顯示控制單元57通過(guò)使顯示單元12顯示表示剪切區(qū)域的中貞FBll來(lái)執(zhí)行關(guān)于姿勢(shì)識(shí)別被執(zhí)行的反饋。此外，在圖4中，與圖1中的情況對(duì)應(yīng)的部分被給予相同的附圖標(biāo)記，并且將省略其描述。在圖4的示例中，表示剪切區(qū)域的幀F(xiàn)Bll顯示在顯示單元12中顯示的拍攝圖像上的用戶Ull的手的部位處。此外，關(guān)于姿勢(shì)識(shí)別被執(zhí)行的反饋可以以任何方式執(zhí)行，而不限于幀F(xiàn)Bll的顯示。例如，可以在顯示單元12中的剪切區(qū)域的附近顯示人手標(biāo)記、箭頭圖標(biāo)等。此外，可以在手被檢測(cè)到的時(shí)間點(diǎn)，例如通過(guò)使圍繞檢測(cè)到的手的幀顯示、通過(guò)當(dāng)開(kāi)始姿勢(shì)識(shí)別時(shí)使該幀閃爍等來(lái)改變顯示格式。另外，關(guān)于姿勢(shì)識(shí)別被執(zhí)行的反饋不限于圖像顯示，可以通過(guò)再現(xiàn)聲音來(lái)執(zhí)行。返回圖3中的流程圖的描述，當(dāng)執(zhí)行開(kāi)始姿勢(shì)識(shí)別的反饋時(shí)，之后，處理從步驟S17行進(jìn)到步驟S18。在步驟S18中，圖像處理單元53使固定剪切區(qū)域的固定時(shí)間的計(jì)時(shí)器復(fù)位。此處，固定時(shí)間是指其中剪切區(qū)域的位置被固定的時(shí)間，并且使用從剪切區(qū)域獲得的剪切圖像來(lái)連續(xù)地執(zhí)行識(shí)別姿勢(shì)的處理。也就是說(shuō)，當(dāng)沒(méi)有在固定時(shí)間中識(shí)別到姿勢(shì)時(shí)，確定新的剪切區(qū)域，并且相對(duì)于該剪切區(qū)域來(lái)執(zhí)行姿勢(shì)識(shí)別。當(dāng)計(jì)時(shí)器被復(fù)位時(shí)，圖像處理單元53連續(xù)地執(zhí)行計(jì)時(shí)器的計(jì)數(shù)，直到經(jīng)過(guò)固定時(shí)間為止。在步驟S19中，差異計(jì)算單元72獲得剪切圖像的幀之間的差異，并生成差異圖像。例如，差異圖像的預(yù)定像素的像素值設(shè)置為與該像素相同位置上的、兩個(gè)連續(xù)幀的剪切圖像上的像素的像素值的絕對(duì)差異值。在步驟S20中，特征量提取單元73從差異圖像中提取用于姿勢(shì)識(shí)別的特征量。例如，特征量提取單元73將差異圖像分成具有任意尺寸的塊，并計(jì)算塊中的像素的亮度值的平均值。此外，特征量提取單元73將具有在每個(gè)塊中獲得的亮度值的平均值作為元素的矢量設(shè)置為從差異圖像中提取的特征量。在差異圖像上，在存在運(yùn)動(dòng)對(duì)象的部分處在時(shí)間方向上發(fā)生亮度的變化，并且亮度的變化不發(fā)生在不存在運(yùn)動(dòng)的部分處。出于這個(gè)原因，可以通過(guò)將差異圖像上的每個(gè)區(qū)域的平均亮度設(shè)置為特征量并且將特征量按時(shí)間順序排列，來(lái)檢測(cè)移動(dòng)對(duì)象的形狀或在剪切圖像中的移動(dòng)對(duì)象的運(yùn)動(dòng)的流，并根據(jù)特征量來(lái)識(shí)別姿勢(shì)。此處，移動(dòng)對(duì)象的形狀例如為手掌或手指的形狀，而移動(dòng)對(duì)象的運(yùn)動(dòng)的流例如為其中由于姿勢(shì)而將手放下的圖像的變化(每個(gè)位置中的亮度的變化)。特征量提取單元73將以這種方式提取的特征量提供給姿勢(shì)識(shí)別單元55。在步驟S21中，姿勢(shì)識(shí)別單元55基于由圖像處理單元53的特征量提取單元73提供的特征量以及記錄在姿勢(shì)詞典記錄單元54中的姿勢(shì)詞典來(lái)執(zhí)行姿勢(shì)識(shí)別，并將識(shí)別結(jié)果提供給操作處理單元56。例如，姿勢(shì)識(shí)別單元55對(duì)從由預(yù)設(shè)的預(yù)定數(shù)目的幀所形成的區(qū)段(section)中的差異圖像中獲得的特征量進(jìn)行歸一化。具體地，姿勢(shì)識(shí)別單元55對(duì)按時(shí)間順序排列的特征量中的從差異圖像上的同一位置處的塊獲得的特征量進(jìn)行歸一化，使得通過(guò)將特征量除以從同一位置上的塊獲得的特征量的最大值從而將特征量變?yōu)樵?至I范圍的值。另外，姿勢(shì)識(shí)別單元55基于進(jìn)行了歸一化的時(shí)序特征量、通過(guò)使用HMM等執(zhí)行時(shí)序識(shí)別處理來(lái)識(shí)別用戶是否已經(jīng)作出具體姿勢(shì)，其中HMM由作為姿勢(shì)詞典的參數(shù)構(gòu)建而成。此外，可以以任何方式通過(guò)將從按時(shí)間順序排列的每個(gè)差異圖像中提取的特征量與通過(guò)預(yù)先學(xué)習(xí)而獲得的時(shí)序特征量等進(jìn)行比較，來(lái)執(zhí)行基于時(shí)序特征量的姿勢(shì)識(shí)別。在步驟S22中，操作處理單元56使圖像處理裝置41的每個(gè)單元執(zhí)行與由姿勢(shì)識(shí)別單元55提供的姿勢(shì)識(shí)別結(jié)果相對(duì)應(yīng)的處理。此外，當(dāng)姿勢(shì)沒(méi)有被識(shí)別時(shí)，不執(zhí)行所述處理。例如，使得在應(yīng)用程序中的與再現(xiàn)音樂(lè)有關(guān)的操作通過(guò)姿勢(shì)被執(zhí)行。在這種情況下，當(dāng)在用戶張開(kāi)手的狀態(tài)下執(zhí)行揮動(dòng)手的姿勢(shì)時(shí)，操作處理單元56移動(dòng)選擇專(zhuān)輯的光標(biāo)，并使光標(biāo)從多個(gè)專(zhuān)輯中選擇將要作為重現(xiàn)目標(biāo)的專(zhuān)輯，其中由多個(gè)音樂(lè)形成的專(zhuān)輯作為處理單元。此外，當(dāng)用戶作出揮動(dòng)食指的姿勢(shì)時(shí)，操作處理單元56移動(dòng)選擇音樂(lè)的光標(biāo)，其中構(gòu)成專(zhuān)輯的音樂(lè)為處理單元，并使光標(biāo)從構(gòu)成專(zhuān)輯的多個(gè)音樂(lè)中選擇音樂(lè)作為重現(xiàn)目標(biāo)。以這種方式，用戶可以根據(jù)處理單元(例如專(zhuān)輯或音樂(lè)、文件夾或文件等)的尺寸關(guān)系通過(guò)確定當(dāng)作出姿勢(shì)時(shí)所使用的手指的數(shù)目或確定手指的位置，來(lái)執(zhí)行感覺(jué)的操作。此外，可以通過(guò)使用例如姿勢(shì)來(lái)移動(dòng)在顯示單元12中顯示的指針等來(lái)執(zhí)行選擇圖標(biāo)的操作等。在這樣的情況下，例如，當(dāng)用戶在打開(kāi)手的狀態(tài)下作出放下拇指的姿勢(shì)時(shí)，操作處理單元56使對(duì)應(yīng)于鼠標(biāo)左擊的操作被執(zhí)行。此外，當(dāng)用戶在打開(kāi)手的狀態(tài)下作出放下食指的姿勢(shì)時(shí)，操作處理單元56使對(duì)應(yīng)于鼠標(biāo)右擊的操作被執(zhí)行。在這樣的示例中，可以以與現(xiàn)有裝置相同的操作感覺(jué)使用姿勢(shì)執(zhí)行操作。此外，當(dāng)用戶作出將手形狀從紙張狀改變到石頭狀的姿勢(shì)時(shí)，在選擇顯示單元12上的文件等的情況下，或用戶在保持石頭狀的手形狀的同時(shí)作出平行地移動(dòng)手的姿勢(shì)的情況下，可以使所選文件等進(jìn)行移動(dòng)等。此外，當(dāng)執(zhí)行根據(jù)姿勢(shì)識(shí)別結(jié)果的處理時(shí)，顯示控制單元57可以使顯示單元12顯示如下事實(shí):姿勢(shì)識(shí)別已執(zhí)行，表示所識(shí)別的姿勢(shì)的顯示，等等。在這樣的情況下，姿勢(shì)識(shí)別結(jié)果還被從姿勢(shì)識(shí)別單元55提供給顯示控制單元57。在步驟S23中，圖像處理單元53基于來(lái)自手形狀識(shí)別單元52的手形狀識(shí)別結(jié)果來(lái)確定是否在剪切區(qū)域之外檢測(cè)到新的手。在步驟23中，當(dāng)確定檢測(cè)到新的手時(shí)，處理返回到步驟S13，并重復(fù)上述處理。也就是說(shuō)，使用新檢測(cè)到的手的姿勢(shì)被識(shí)別，并執(zhí)行根據(jù)所述姿勢(shì)的處理。與此相反，當(dāng)在步驟S23中確定沒(méi)有檢測(cè)到新的手時(shí)，在步驟S24中，圖像處理單元53基于正在計(jì)數(shù)的計(jì)時(shí)器來(lái)確定是否在計(jì)時(shí)器復(fù)位之后已經(jīng)經(jīng)過(guò)固定時(shí)間。在步驟S24中，當(dāng)確定還沒(méi)有經(jīng)過(guò)固定時(shí)間時(shí)，處理返回到步驟S19，并重復(fù)上述處理。也就是說(shuō)，直到現(xiàn)在作為處理目標(biāo)的區(qū)段，即、作為姿勢(shì)識(shí)別目標(biāo)的區(qū)段在未來(lái)的方向上偏離了一個(gè)幀，并且相對(duì)于新的處理目標(biāo)的區(qū)段來(lái)執(zhí)行姿勢(shì)識(shí)別。此外，當(dāng)關(guān)于所確定的剪切區(qū)域預(yù)先識(shí)別了姿勢(shì)時(shí)，執(zhí)行對(duì)應(yīng)于該姿勢(shì)的處理，在步驟S22中的處理之后，處理可以返回到步驟S13。另一方面，當(dāng)在步驟S24中確定已經(jīng)經(jīng)過(guò)了固定時(shí)間時(shí)，處理返回到步驟S13，并重復(fù)上述處理。也就是說(shuō)，當(dāng)檢測(cè)到新的手時(shí)，基于手的位置來(lái)確定剪切區(qū)域，并執(zhí)行姿勢(shì)識(shí)別。另外，當(dāng)從用戶發(fā)出結(jié)束姿勢(shì)識(shí)別的指令時(shí)，姿勢(shì)識(shí)別處理完成。如上所述，圖像處理裝置41將所拍攝的圖像上包括至少用戶手的一部分的區(qū)域設(shè)置為剪切區(qū)域，并且從通過(guò)獲得剪切區(qū)域中的圖像的差異而獲得的差異圖像中提取特征值。此外，圖像處理裝置41通過(guò)基于按時(shí)間順序排列的特征量的時(shí)序識(shí)別處理來(lái)識(shí)別用戶的姿勢(shì)，并執(zhí)行對(duì)應(yīng)于識(shí)別結(jié)果的處理。以這種方式，可以通過(guò)從差異圖像中提取特征量并識(shí)別姿勢(shì)來(lái)高精度地識(shí)別用戶的姿勢(shì)。
因此，用戶能夠通過(guò)在作出從手腕到前部的一定程度的小運(yùn)動(dòng)的姿勢(shì)如放下、擺動(dòng)、抬起手等來(lái)相對(duì)于每個(gè)姿勢(shì)執(zhí)行所確定的處理，而無(wú)需與需要相比極大地移動(dòng)手。如果用戶的負(fù)擔(dān)得以釋放，則能夠提高使其執(zhí)行對(duì)應(yīng)于姿勢(shì)的處理的應(yīng)用程序的可用性等。特別地，在圖像處理裝置41中，用戶可以在任意位置執(zhí)行姿勢(shì)操作，這是因?yàn)榧羟袇^(qū)域是基于當(dāng)識(shí)別手形狀時(shí)檢測(cè)到的手的位置來(lái)確定的。也就是說(shuō)，用戶能夠通過(guò)自然運(yùn)動(dòng)來(lái)執(zhí)行姿勢(shì)操作，而無(wú)需知道剪切區(qū)域的位置，并且可以進(jìn)一步減少用戶的負(fù)擔(dān)。關(guān)于特征量的提取此外，在上面的描述中，已經(jīng)描述了如下情況:差異圖像被分成一些塊，并且塊中的像素的亮度值的平均值被設(shè)置為每個(gè)塊中的特征量，然而，也可以以任何方式執(zhí)行差異圖像的分割。例如，如圖5中的箭頭Qll所示，差異圖像總共可以分成12個(gè)塊，其在圖中在豎直方向上為3，在水平方向上為4。在這種情況下，因?yàn)橥ㄟ^(guò)分割成塊來(lái)獲得特征量等同于使差異圖像平滑化，可以將手的粗略的形狀和運(yùn)動(dòng)狀態(tài)(方向)指定為識(shí)別目標(biāo)，并且可以高精度地識(shí)別姿勢(shì)。此外，例如，如箭頭Q12所示，可以將差異圖像分割成圖中的沿著水平方向長(zhǎng)的塊。在該示例中，在差異圖像上沿水平方向排列的像素陣列被分為塊，以屬于相同的塊。當(dāng)執(zhí)行這樣的塊分割時(shí)，可以獲得在圖中的豎直運(yùn)動(dòng)中指定的特征量，并且當(dāng)不考慮手形狀存在在豎直方向上的運(yùn)動(dòng)對(duì)象時(shí)，識(shí)別出已經(jīng)進(jìn)行了姿勢(shì)。另外，如箭頭Q13所述，可以將差異圖像分成在圖中沿著豎直方向長(zhǎng)的塊。在該示例中，在差異圖像上沿豎直方向排列的像素陣列被分為塊，以屬于相同的塊，并且當(dāng)不考慮手形狀的情況下存在在水平方向上的移動(dòng)對(duì)象時(shí)，識(shí)別出已進(jìn)行了姿勢(shì)。此外，在上述描述中，已經(jīng)描述了其中將差異圖像上的塊的平均亮度設(shè)置為特征量的示例，然而，如果假設(shè)特征量是從差異圖像中獲得的，則其可以是光流(opticalflow)、塊中的像素的特定分量的平均值等中的任一個(gè)。第二實(shí)施方式關(guān)于姿勢(shì)識(shí)別的剪切區(qū)域另外，在上面的描述中，已描述了通過(guò)執(zhí)行手形狀識(shí)別來(lái)識(shí)別具有特定形狀的手，并且基于手的位置來(lái)確定剪切區(qū)域，然而，可以將剪切區(qū)域設(shè)置為預(yù)定位置。在這樣的情況下，如圖6所示，例如，在顯示單元12上顯示表示剪切區(qū)域的位置的幀F(xiàn)B21。此外，在圖6中，與圖1中的情況對(duì)應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。在圖6中的示例中，在顯示單元12上,不僅顯示用戶Ull,還顯示表示預(yù)定的剪切區(qū)域的位置的幀F(xiàn)B21。因此，在該示例中，用戶Ull可以在檢查顯示在顯示單元12上的其自身和幀F(xiàn)B21的位置的同時(shí)在幀F(xiàn)B21中移動(dòng)手來(lái)作出姿勢(shì)。此外，在這種情況下，可以將一個(gè)姿勢(shì)或多個(gè)姿勢(shì)分配給顯示在顯示單元12上的中貞FB21。例如，當(dāng)假設(shè)將一個(gè)姿勢(shì)GESl分配給幀F(xiàn)B21時(shí)，在用戶在幀F(xiàn)B21中作出姿勢(shì)GESl的情況下，相對(duì)于姿勢(shì)GESl執(zhí)行所確定的處理。與此相反，即使用戶在幀F(xiàn)B21中正確地作出姿勢(shì)GES2，也不執(zhí)行處理。
此外，假設(shè)相對(duì)于幀F(xiàn)B21已分配了兩個(gè)姿勢(shì)GESl和GES2。在這種情況下，當(dāng)用戶在幀F(xiàn)B21中作出姿勢(shì)GESl時(shí)，則執(zhí)行對(duì)應(yīng)于GESl的處理，而當(dāng)用戶在幀F(xiàn)B21中作出姿勢(shì)GES2時(shí)，則執(zhí)行對(duì)應(yīng)于GES2的處理。另外，可以顯示表示剪切區(qū)域在顯示單元12上的位置的多個(gè)幀。在這種情況下，可以將不同的姿勢(shì)分配給多個(gè)幀中的每個(gè)，并且可以將一個(gè)姿勢(shì)分配給不同的幀中的一些幀。當(dāng)相同的姿勢(shì)被分配給相應(yīng)的多個(gè)幀時(shí)，如果這些幀中的任一個(gè)中的姿勢(shì)被識(shí)別，則執(zhí)行對(duì)應(yīng)于該姿勢(shì)的處理。此外，可以將一個(gè)姿勢(shì)分配給表示在顯示單元12上顯示的剪切區(qū)域的位置的每個(gè)幀中的一個(gè)幀，并且也可以將多個(gè)姿勢(shì)分配給它。此外，在下文中，將描述如下情況:在顯示單元12上顯示表示剪切區(qū)域的位置的一個(gè)巾貞，并且將一個(gè)姿勢(shì)分配給該巾貞，以使描述變得容易。圖像處理裝置的配置示例以這種方式，當(dāng)預(yù)先設(shè)定剪切區(qū)域的位置時(shí)，圖像處理裝置例如被配置成如圖7所示。此外，在圖7中，與圖2中的情況對(duì)應(yīng)的部分將被給予相同的附圖標(biāo)記，并且將省略其描述。圖7中的圖像處理裝置101由拍攝單元11、圖像處理單元111、姿勢(shì)詞典記錄單元
54、姿勢(shì)識(shí)別單元55、動(dòng)作處理單元56、顯示控制單元57和顯示單元12配置而成。圖像處理單元111基于由拍攝單元11提供的拍攝圖像來(lái)提取用于姿勢(shì)識(shí)別的特征量，將特征量提供給姿勢(shì)識(shí)別單元55，并根據(jù)需要將關(guān)于剪切區(qū)域的信息等提供給顯示控制單元57。圖像處理單元111包括剪切圖像生成單元121、差異計(jì)算單元72和特征量提取單元73。剪切圖像生成單元121將所拍攝的圖像上的預(yù)定區(qū)域設(shè)置為剪切區(qū)域，并且通過(guò)剪切出所拍攝的圖像的剪切區(qū)域中的圖像來(lái)設(shè)置剪切圖像。姿勢(shì)識(shí)別處理的描述接下來(lái)，將參照?qǐng)D8中的流程圖來(lái)描述通過(guò)圖像處理裝置101進(jìn)行的姿勢(shì)識(shí)別處理。在步驟S51中，拍攝單元11開(kāi)始拍攝被拍攝圖像。也就是說(shuō)，拍攝單元11拍攝在拍攝單元11周?chē)淖鳛閷?duì)象的用戶，并將作為結(jié)果獲得的每個(gè)幀的拍攝圖像依次提供給圖像處理單元111和顯示控制單元57。此外，顯示控制單元57將由拍攝單元11提供的被拍攝圖像提供給顯示單元12，并顯示該被拍攝圖像。圖像處理單元111將表示預(yù)定剪切區(qū)域的位置的信息提供給顯示控制單元57。在步驟S52中，顯示控制單元57基于由圖像處理單元111提供的信息來(lái)在顯示單元12上顯示表示剪切區(qū)域的位置的幀。用戶通過(guò)在幀中移動(dòng)手并同時(shí)查看在顯示單元12上顯示的幀或用戶的手來(lái)作出期望的姿勢(shì)。在步驟S53中，剪切圖像生成單元121相對(duì)于由拍攝單元11提供的每個(gè)幀的被拍攝圖像剪切出在被拍攝圖像上的預(yù)定剪切區(qū)域中的圖像，并生成剪切圖像。此外，更具體地，剪切圖像生成單元121根據(jù)需要相對(duì)于所生成的剪切圖像執(zhí)行放大處理或縮小處理，使得剪切圖像的尺寸變?yōu)轭A(yù)定的特定尺寸。
在步驟S54中，差異計(jì)算單元72獲得剪切圖像的幀之間的差異，并生成差異圖像。此外，在步驟S55中，特征量提取單元73基于差異圖像提取用于姿勢(shì)識(shí)別的特征量，并將特征量提供給姿勢(shì)識(shí)別單元55。例如，在步驟S55中，執(zhí)行與圖3中的步驟S20相同的處理，并提取特征量。在步驟S56中，姿勢(shì)識(shí)別單元55基于由特征量提取單元73提供的特征量和記錄在姿勢(shì)詞典記錄單元54中的姿勢(shì)詞典來(lái)執(zhí)行姿勢(shì)識(shí)別，并將識(shí)別結(jié)果提供給操作處理單元56。在步驟S56中，執(zhí)行與圖3中的步驟S21相同的處理。在步驟S57中，操作處理單元56使圖像處理裝置101的每個(gè)單元執(zhí)行與由姿勢(shì)識(shí)別單元55提供的姿勢(shì)識(shí)別結(jié)果相對(duì)應(yīng)的處理，此后處理返回到步驟S53，并重復(fù)上述處理。此外，當(dāng)具體姿勢(shì)被識(shí)別并且執(zhí)行了對(duì)應(yīng)于該姿勢(shì)的處理時(shí)，可以執(zhí)行姿勢(shì)被識(shí)別的反饋。例如，也可以通過(guò)使表示顯示控制單元57顯示在顯示單元12上的剪切區(qū)域的位置的幀進(jìn)行閃爍或者顯示預(yù)定圖像來(lái)執(zhí)行該反饋。此外，當(dāng)用戶指示完成姿勢(shì)識(shí)別時(shí)，姿勢(shì)識(shí)別處理完成。如上所述，圖像處理裝置101通過(guò)獲得所拍攝的圖像上的預(yù)定剪切區(qū)域中的圖像的差異來(lái)生成差異圖像，并從差異圖像中提取特征量。此外，圖像處理裝置101通過(guò)基于按時(shí)間順序排列的特征量的時(shí)序識(shí)別處理來(lái)識(shí)別用戶的姿勢(shì)，并執(zhí)行對(duì)應(yīng)于識(shí)別結(jié)果的處理。以這種方式，可以通過(guò)從差異圖像中提取特征量來(lái)識(shí)別姿勢(shì)從而高精度地識(shí)別用戶的姿勢(shì)。此外，在上述描述中，如在圖9中的箭頭Q41所示，已經(jīng)描述了在顯示單元12上顯示作為對(duì)象拍攝的用戶Ull以及表示剪切區(qū)域的位置的幀F(xiàn)B21，然而，如果是其中剪切區(qū)域的位置能夠被了解的顯示，其可以是任何顯示。在圖9中，與圖6中的情況對(duì)應(yīng)的部分將被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。例如，作為使用戶能夠了解剪切區(qū)域的位置的顯示，可以考慮在箭頭Q42中表示的顯示。在箭頭Q42中示出的示例中，在顯示單元12上顯示被拍攝的用戶Ull以及用于執(zhí)行每個(gè)處理的按鈕圖標(biāo)ACll-1至AC11-4。可以在按鈕圖標(biāo)ACll-1至AC11-4中顯示當(dāng)操作時(shí)用作要執(zhí)行的處理的提醒器的圖像、描述過(guò)程的字符等。此外，在下文中，當(dāng)沒(méi)有必要彼此區(qū)分按鈕圖標(biāo)ACll-1至AC11-4時(shí)，它們也被簡(jiǎn)稱(chēng)為按鈕圖標(biāo)AClI。在該示例中，在所拍攝的圖像上的與每個(gè)按鈕圖標(biāo)ACll的區(qū)域?qū)?yīng)的位置被設(shè)置為預(yù)定剪切區(qū)域。因此，當(dāng)用戶Ull將手移動(dòng)到按鈕圖標(biāo)ACll中的期望區(qū)域并作出姿勢(shì)時(shí)，用戶能夠執(zhí)行相對(duì)于按鈕圖標(biāo)ACll所確定的處理。此時(shí)，被分配給按鈕圖標(biāo)ACll的姿勢(shì)被設(shè)置為例如按壓按鈕圖標(biāo)ACll (例如放下手)的姿勢(shì)，用戶Ull能夠執(zhí)行更有感覺(jué)的姿勢(shì)操作。此外，當(dāng)剪切區(qū)域的位置被預(yù)先確定時(shí)，即使用戶Ull在不同于按鈕圖標(biāo)ACll中的位置的位置處作出姿勢(shì)，該姿勢(shì)也不會(huì)被識(shí)別。此外，分配給每個(gè)按鈕圖標(biāo)ACll的姿勢(shì)彼此相同，然而，由姿勢(shì)執(zhí)行的處理可以在每個(gè)按鈕圖標(biāo)ACll中不同。相應(yīng)地，在這種情況下，執(zhí)行由按鈕圖標(biāo)ACll (剪切區(qū)域)中的位置和所識(shí)別的姿勢(shì)所確定的處理。關(guān)于剪切區(qū)域的確定此外，即使在不執(zhí)行手形狀識(shí)別的情況下，也可以基于所拍攝的圖像來(lái)確定剪切區(qū)域。在這樣的情況下，例如，如圖10中的箭頭Q71所示，獲得在作為對(duì)象的用戶U21被拍攝時(shí)所獲得的拍攝圖像PCll的每個(gè)區(qū)域中的幀之間的差異，并且確定剪切區(qū)域。在該示例中，剪切圖像生成單元121關(guān)于作為連續(xù)兩個(gè)幀的拍攝圖像PCll上的剪切區(qū)域的候選的區(qū)域，獲得在區(qū)域中的幀之間的像素的亮度值的絕對(duì)差異值的總和。此時(shí)，剪切圖像生成單元121關(guān)于每個(gè)區(qū)域獲得絕對(duì)差異值的總和，同時(shí)切換作為剪切區(qū)域的候選的區(qū)域。在箭頭Q71中示出的示例中，將所拍攝的圖像PCll的圖中從左上方的區(qū)域DFll-1到右下方的區(qū)域DFll-N的每個(gè)區(qū)域設(shè)置為剪切區(qū)域的候選，并且計(jì)算在這些區(qū)域中的絕對(duì)差異值的總和。此處，確定作為剪切區(qū)域的候選的區(qū)域，使得彼此靠近的區(qū)域(例如區(qū)域DFll-1和DFl 1-2等)的一部分交疊。此外，剪切圖像生成單元121在每個(gè)區(qū)域中將絕對(duì)差異值的總和為最大的區(qū)域設(shè)置為最終剪切區(qū)域。在該示例中，在用戶U21附近的區(qū)域DFll-k成為剪切區(qū)域。當(dāng)用戶U21移動(dòng)手以作出姿勢(shì)時(shí)，所拍攝的圖像PCll的在手的區(qū)域中的幀之間的差異變大。因此，在該示例中，所拍攝的圖像PCll上的差異較大的區(qū)域成為用戶U21的手的區(qū)域，并且該區(qū)域成為剪切區(qū)域。然而，在這樣的情況下，當(dāng)所拍攝的圖像PCll上存在與用戶U21不同的移動(dòng)對(duì)象時(shí)，存在該移動(dòng)對(duì)象變成剪切區(qū)域的可能性。因此，例如，如箭頭Q72所示，可以將在用戶U21附近的區(qū)域SRll中的、所拍攝的圖像PCll的幀之間的差異為最大的區(qū)域設(shè)置為剪切區(qū)域。在這種情況下，首先，剪切圖像生成單元121基于所拍攝的圖像PCll來(lái)檢測(cè)用戶U21的區(qū)域。可以通過(guò)檢測(cè)例如人或臉來(lái)執(zhí)行對(duì)用戶U21的檢測(cè)。接下來(lái)，剪切圖像生成單元121基于用戶U21的臉的檢測(cè)位置來(lái)確定包括用戶U21的區(qū)域的具有預(yù)定尺寸的區(qū)域SRll0此外，剪切圖像生成單元121將在區(qū)域SRll的圖中的從左上方的區(qū)域DF21-1到區(qū)域SRll的右下方的區(qū)域的每個(gè)區(qū)域設(shè)置為剪切區(qū)域的候選，并且計(jì)算這些區(qū)域的絕對(duì)差異值的總和。此處，確定作為剪切區(qū)域的候選的區(qū)域，使得彼此靠近的區(qū)域(例如區(qū)域DF21-1和區(qū)域DF21-2等)的一部分交疊。另外，剪切圖像生成單元121將每個(gè)區(qū)域中的其中絕對(duì)差異值的總和成為最大值的區(qū)域設(shè)置為最終剪切區(qū)域。在該示例中，在用戶U21附近的區(qū)域DF21-k成為剪切區(qū)域。以這種方式，可以通過(guò)將在用戶U21附近的區(qū)域作為剪切區(qū)域的候選來(lái)高精度地指定用戶的手的區(qū)域。此外，在圖10所示的示例中，已經(jīng)描述了將剪切區(qū)域的候選區(qū)域中的、差異最大的區(qū)域設(shè)置為剪切區(qū)域，然而，可以將若干區(qū)域按照差異較大的順序設(shè)置為剪切區(qū)域。此夕卜，可以將根據(jù)所拍攝的圖像PCll上的用戶U21的臉的位置所確定的一個(gè)或更多個(gè)區(qū)域設(shè)置為剪切區(qū)域。如上所述，當(dāng)剪切圖像生成單元121基于所拍攝的圖像來(lái)確定剪切區(qū)域時(shí)，也可以使顯示單元12顯示表示由顯示控制單元57確定的剪切區(qū)域的位置的幀等。第三實(shí)施方式姿勢(shì)識(shí)別系統(tǒng)的配置示例另外，在上面的描述中，已經(jīng)描述了其中在圖像處理裝置41或圖像處理裝置101中執(zhí)行從拍攝圖像的拍攝到姿勢(shì)識(shí)別的整個(gè)過(guò)程的示例，然而，這些過(guò)程的一部分也可以在通過(guò)通信網(wǎng)絡(luò)等連接的其他裝置中執(zhí)行。在這樣的情況下，例如，如圖11所示，構(gòu)造了通過(guò)拍攝所拍攝的圖像來(lái)執(zhí)行姿勢(shì)識(shí)別的姿勢(shì)識(shí)別系統(tǒng)。此外，在圖11中，與圖2中的情況對(duì)應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖11中的姿勢(shì)識(shí)別系統(tǒng)由圖像處理裝置161和服務(wù)器162配置而成。圖像處理裝置161和服務(wù)器162通過(guò)通信網(wǎng)絡(luò)163彼此連接，該通信網(wǎng)絡(luò)163由互聯(lián)網(wǎng)形成。圖像處理裝置161由拍攝單元11、手形狀詞典記錄單元51、手形狀識(shí)別單元52、控制單元171、通信單元172、動(dòng)作處理單元56、顯示控制單元57和顯示單元12配置而成。此外，服務(wù)器162由通信單元181、控制單元182、圖像處理單元53、姿勢(shì)詞典記錄單元54和姿勢(shì)識(shí)別單元55配置而成，并且圖像處理單元53包括剪切區(qū)域確定單元71、差異計(jì)算單元72和特征量提取單元73。在這樣的姿勢(shì)識(shí)別系統(tǒng)中，用戶朝向圖像處理裝置161的拍攝單元11執(zhí)行期望的姿勢(shì)。當(dāng)用戶作為對(duì)象被拍攝時(shí)，拍攝單元11將作為結(jié)果獲得的拍攝圖像提供給手形狀識(shí)別單元52和控制單元171?？刂茊卧?71將來(lái)自拍攝單元11的拍攝圖像通過(guò)顯示控制單元57提供給顯示單元12,并使顯示單元12顯示該圖像。此外，手形狀識(shí)別單元52基于記錄在手形狀詞典記錄單元51中的手形狀詞典和來(lái)自拍攝單元11的拍攝圖像來(lái)從拍攝圖像中識(shí)別具有具體形狀的手，并將識(shí)別結(jié)果和拍攝圖像通過(guò)控制單元171提供給通信單元172。接下來(lái)，通信單元172通過(guò)通信網(wǎng)絡(luò)163將所提供的識(shí)別結(jié)果和所拍攝的圖像發(fā)送到服務(wù)器162。識(shí)別結(jié)果和所拍攝的圖像被依次發(fā)送給服務(wù)器162。與此相反，服務(wù)器162的通信單元181接收從通信單元172發(fā)送的識(shí)別結(jié)果和拍攝圖像，并通過(guò)控制單元182將它們提供給圖像處理單元53。圖像處理單元53通過(guò)基于所提供的手形狀的識(shí)別結(jié)果和所拍攝的圖像確定剪切區(qū)域來(lái)生成差異圖像，從所獲得的差異圖像中提取特征量，并將特征量提供給姿勢(shì)識(shí)別單兀55。此時(shí)，根據(jù)需要，將表示剪切區(qū)域的位置的信息從服務(wù)器162發(fā)送給圖像處理裝置161。此外，當(dāng)通過(guò)控制單元171從通信單元172提供表示在剪切區(qū)域中的位置的信息時(shí)，顯示控制單元57基于該信息使顯示單元12顯示表示剪切區(qū)域的位置的中貞。此外，服務(wù)器162的姿勢(shì)識(shí)別單元55基于來(lái)自圖像處理單元53的特征量和姿勢(shì)詞典記錄單元54的姿勢(shì)詞典來(lái)執(zhí)行姿勢(shì)識(shí)別，并通過(guò)控制單元182將識(shí)別結(jié)果提供給通信單元181。通信單元181通過(guò)通信網(wǎng)絡(luò)163將所提供的姿勢(shì)識(shí)別結(jié)果發(fā)送給圖像處理裝置161。接下來(lái)，圖像處理裝置161的通信單元172接收從服務(wù)器162發(fā)送的姿勢(shì)識(shí)別結(jié)果，并通過(guò)控制單元171將其提供給操作處理單元56。操作處理單元56使圖像處理裝置161的每個(gè)單元執(zhí)行對(duì)應(yīng)于所提供的姿勢(shì)識(shí)別結(jié)果的處理。以這種方式，還可以使與圖像處理裝置161 (服務(wù)器162)不同的裝置執(zhí)行剪切區(qū)域的確定、特征量的提取、姿勢(shì)識(shí)別等等。在這種情況下，當(dāng)圖像處理裝置161的處理能力較低時(shí)，特別地，可以通過(guò)使具有較高處理能力的服務(wù)器162共享一些過(guò)程來(lái)進(jìn)一步快速地獲得姿勢(shì)識(shí)別的結(jié)果。第四實(shí)施方式姿勢(shì)識(shí)別系統(tǒng)的配置示例另外，姿勢(shì)識(shí)別系統(tǒng)也可以被配置為如圖12所示。此外，在圖12中，與圖11中的情況對(duì)應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖12中的姿勢(shì)識(shí)別系統(tǒng)由圖像處理裝置201和服務(wù)器202配置而成。圖像處理裝置201和服務(wù)器202通過(guò)通信網(wǎng)絡(luò)163彼此連接。圖像處理裝置201由拍攝單元11、手形狀詞典記錄單元51、手形狀識(shí)別單元52、圖像處理單元53、控制單元171、通信單元172、操作處理單元56、顯示控制單元57和顯示單元12配置而成。此外，圖像處理單元53包括剪切區(qū)域確定單元71、差異計(jì)算單元72和特征量提取單元73。服務(wù)器202由通信單元181、姿勢(shì)詞典記錄單元54和姿勢(shì)識(shí)別單元55配置而成。在這樣的姿勢(shì)識(shí)別系統(tǒng)中，用戶朝向圖像處理裝置201的拍攝單元11執(zhí)行期望的姿勢(shì)。當(dāng)用戶作為對(duì)象被拍攝時(shí)，拍攝單元11將作為結(jié)果獲得的拍攝圖像提供給手形狀識(shí)別單元52和控制單元171?？刂茊卧?71通過(guò)顯示控制單元57將來(lái)自拍攝單元11的拍攝圖像提供給顯示單元12，并且使顯示單元顯示該圖像。另外，手形狀識(shí)別單元52基于記錄在手形狀詞典記錄單元51中的手形狀詞典和來(lái)自拍攝單元11的拍攝圖像來(lái)從所拍攝的圖像中識(shí)別具體形狀的手，并將識(shí)別結(jié)果和拍攝圖像提供給圖像處理單元53。圖像處理單元53通過(guò)基于由手形狀識(shí)別單元52提供的手形狀的識(shí)別結(jié)果和拍攝圖像確定剪切區(qū)域來(lái)生成差異圖像，從所獲得的差異圖像中提取特征量，并將特征量提供給控制單元171。此外，控制單元171將特征量從圖像處理單元53提供給通信單元172。此時(shí)，根據(jù)需要，通過(guò)控制單元171將表示剪切區(qū)域的位置的信息從圖像處理單元53提供到顯示控制單元57。當(dāng)從控制單元171提供表示剪切區(qū)域的位置的信息時(shí),顯示控制單元57基于該信息使顯示單元12顯示表示剪切區(qū)域的位置的中貞。此外，通信單元172通過(guò)通信網(wǎng)絡(luò)163將由控制單元171提供的特征量依次發(fā)送給服務(wù)器202。接下來(lái)，服務(wù)器202的通信單元181接收從通信單元172發(fā)送的特征量，并將特征量提供給姿勢(shì)識(shí)別單元55。此外，姿勢(shì)識(shí)別單元55基于由通信單元181提供的特征量以及姿勢(shì)詞典記錄單元54的姿勢(shì)詞典來(lái)執(zhí)行姿勢(shì)識(shí)別，并將識(shí)別結(jié)果提供給通信單元181。通信單元181通過(guò)通信網(wǎng)絡(luò)163將所提供的姿勢(shì)識(shí)別結(jié)果發(fā)送給圖像處理裝置201。接下來(lái)，圖像處理裝置201的通信單元172接收從服務(wù)器202發(fā)送的姿勢(shì)識(shí)別結(jié)果，并且通過(guò)控制單元171將該結(jié)果提供給操作處理單元56。操作處理單元56使圖像處理裝置201的每個(gè)單元執(zhí)行對(duì)應(yīng)于所提供的姿勢(shì)識(shí)別結(jié)果的處理。以這種方式，還可以使不同于圖像處理裝置201的裝置(服務(wù)器202)執(zhí)行姿勢(shì)識(shí)別的處理。此外，在圖11和圖12中的示例中，圖像處理裝置161或圖像處理裝置201可以從設(shè)置在外部的拍攝裝置獲得拍攝圖像，或者顯示單元12可以連接到圖像處理裝置161或圖像處理裝置201。另外，由圖7中的圖像處理裝置101執(zhí)行的處理的一部分可以通過(guò)外部裝置來(lái)執(zhí)行，如圖11或圖12中的示例所示。同時(shí)，到目前為止，已經(jīng)描述了在所拍攝的圖像上確定的剪切區(qū)域的數(shù)目為1，然而，在所拍攝的圖像上確定的剪切區(qū)域的數(shù)目可以是多個(gè)。第五實(shí)施方式圖像處理裝置的配置示例在這樣的情況下，圖像處理裝置被配置成例如如圖13所示。此外，在圖13中，與圖7中的情況對(duì)應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖13中的圖像處理裝置301由拍攝單元11、圖像處理單元311、姿勢(shì)詞典記錄單元54、姿勢(shì)識(shí)別單元312、操作處理單元56、顯示控制單元57和顯示單元12配置而成。圖像處理單元311基于由拍攝單元11提供的拍攝圖像來(lái)提取用于識(shí)別姿勢(shì)的特征量，將特征量提供給姿勢(shì)識(shí)別單元312，并根據(jù)需要將關(guān)于剪切區(qū)域的信息等提供給顯示控制單元57。圖像處理單元311包括:識(shí)別區(qū)域設(shè)置單元321、剪切圖像生成單元322、差異計(jì)算單元72和特征量提取單元73。識(shí)別區(qū)域設(shè)置單元321將識(shí)別區(qū)域設(shè)置為其中多個(gè)剪切區(qū)域布置在所拍攝的圖像上的區(qū)域。剪切圖像生成單元322確定布置在所拍攝的圖像上的識(shí)別區(qū)域中的多個(gè)剪切區(qū)域的各個(gè)尺寸，并在識(shí)別區(qū)域中布置剪切區(qū)域。此外，剪切區(qū)域生成單元322剪切出布置在所拍攝的圖像上的剪切區(qū)域中的圖像，并將其設(shè)置為剪切圖像。姿勢(shì)識(shí)別單元312基于由姿勢(shì)詞典記錄單元54提供的姿勢(shì)詞典以及由圖像處理單元311提供的在每個(gè)剪切區(qū)域中的特征量來(lái)執(zhí)行姿勢(shì)識(shí)別，并將識(shí)別結(jié)果提供給操作處理單元56。姿勢(shì)識(shí)別處理的描述接下來(lái)，將參照?qǐng)D14中的流程圖來(lái)描述通過(guò)圖像處理裝置301進(jìn)行的姿勢(shì)識(shí)別處理。在步驟Slll中，拍攝單元11開(kāi)始對(duì)要被拍攝的圖像進(jìn)行拍攝。也就是說(shuō)，拍攝單元11拍攝在拍攝單元11的周?chē)淖鳛閷?duì)象的用戶，并將作為其結(jié)果獲得的每個(gè)幀中的拍攝圖像依次地提供給圖像處理單元311和顯示控制單元57。此外，顯示控制單元57將由拍攝單元11提供的拍攝圖像提供給顯示單元12，并使顯示單元顯示該圖像。在步驟S112中，識(shí)別區(qū)域設(shè)置單元321在由拍攝單元11提供的拍攝圖像上設(shè)置識(shí)別區(qū)域。此處，假設(shè)識(shí)別區(qū)域設(shè)置單元321將所拍攝的圖像的幾乎整個(gè)區(qū)域設(shè)置為識(shí)別區(qū)域，具體地，將所拍攝的圖像上的除了周邊部分的區(qū)域設(shè)置為識(shí)別區(qū)域。在步驟SI 13中，剪切圖像生成單元322確定布置在由識(shí)別區(qū)域設(shè)置單元321設(shè)置的識(shí)別區(qū)域中的多個(gè)剪切區(qū)域的每個(gè)尺寸，并在識(shí)別區(qū)域中布置剪切區(qū)域。此處，剪切圖像生成單元322將多個(gè)剪切區(qū)域中的每個(gè)的尺寸設(shè)置為相同尺寸。以這種方式，由于在識(shí)別區(qū)域中布置了作為姿勢(shì)識(shí)別的處理目標(biāo)的剪切區(qū)域，識(shí)別區(qū)域可以被視為其中能夠識(shí)別姿勢(shì)的區(qū)域。此外，圖像處理單元311將表示所設(shè)置的識(shí)別區(qū)域的位置的信息和表示所確定的剪切區(qū)域的各個(gè)位置的信息提供給顯示控制單元57。在步驟SI 14中，顯示控制單元57基于由圖像處理單元311提供的信息，使顯示單元12顯示表示識(shí)別區(qū)域的位置的幀或表示剪切區(qū)域的位置的幀。例如,如圖15所示,顯示控制單元57使顯示單元12顯示巾貞RFl-1至RFl-N(在下文中，也被稱(chēng)為識(shí)別幀)，所述幀RFl-1至RFl-N表示布置在識(shí)別區(qū)域RAl中的多個(gè)剪切區(qū)域。此外，在圖15中，與圖1中的情況對(duì)應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被省略。此外，在下文中，在識(shí)別幀RFl-1至RFl-N中表示的剪切區(qū)域也被稱(chēng)為剪切區(qū)域RFl-1至 RF1-N。在圖15中的示例中，表示N個(gè)剪切區(qū)域的識(shí)別幀RFl-1至RFl-N顯示在顯示單元12中所顯示的拍攝圖像上的包括用戶U31的整個(gè)識(shí)別區(qū)域RAl中。在該示例中，剪切區(qū)域的各個(gè)尺寸是預(yù)先確定的指定尺寸，并且是可以遍布整個(gè)識(shí)別區(qū)域RAl的沒(méi)有交疊且沒(méi)有留出空間的尺寸。此外，如圖16所示,還優(yōu)選的是,只顯示表示在顯示單元12中顯示的拍攝圖像上的包括用戶U31的識(shí)別區(qū)域RAl的幀。以這種方式，用戶在查看顯示在顯示單元12中的幀或他們的手的同時(shí)作出期望的姿勢(shì)。在步驟S115中，剪 切圖像生成單元322相對(duì)于在由拍攝單元11提供的每個(gè)幀中的拍攝圖像，剪切出布置在所拍攝的圖像上的識(shí)別區(qū)域中的剪切區(qū)域中的圖像，并生成多個(gè)剪切圖像。在步驟S116中，差異計(jì)算單元72獲得在每個(gè)剪切區(qū)域中的剪切圖像的幀之間的差異，并生成差異圖像。此外，在步驟SI 17中，特征量提取單元73基于在每個(gè)剪切區(qū)域中的差異圖像來(lái)提取用于姿勢(shì)識(shí)別的特征量，并將特征量提供給姿勢(shì)識(shí)別單元312。例如，在步驟S117中，執(zhí)行與圖3中的步驟S20相同的處理，并且提取每個(gè)剪切區(qū)域中的特征量。在步驟SI 18中，姿勢(shì)識(shí)別單元312基于由特征量提取單元73提供的特征量和記錄在姿勢(shì)詞典記錄單元54中的姿勢(shì)詞典來(lái)執(zhí)行姿勢(shì)識(shí)別，并將識(shí)別結(jié)果提供給操作處理單元56。在步驟SI 18中，如圖17所示，姿勢(shì)識(shí)別單元312基于相對(duì)于各個(gè)剪切區(qū)域RFl-1至RFl-N而提取的特征量、通過(guò)使用一個(gè)識(shí)別器來(lái)逐個(gè)執(zhí)行與圖3中的步驟S21中相同的識(shí)別處理、來(lái)執(zhí)行姿勢(shì)識(shí)別。此外，如圖18所示，姿勢(shì)識(shí)別單元312可以基于相對(duì)于各個(gè)剪切區(qū)域RFl-1至RFl-N而提取的特征量、通過(guò)使用N個(gè)識(shí)別器串行地執(zhí)行識(shí)別處理、來(lái)執(zhí)行姿勢(shì)識(shí)別。另外，在相對(duì)于剪切區(qū)域RFl-1至RFl-N中的一個(gè)執(zhí)行了識(shí)別處理之后，姿勢(shì)識(shí)別單元312可以通過(guò)將作為識(shí)別處理的目標(biāo)的剪切區(qū)域的數(shù)目增加至四、九……來(lái)執(zhí)行姿勢(shì)識(shí)別。
具體地，如圖19所示，首先，在相對(duì)于由一個(gè)剪切區(qū)域形成的區(qū)域RF2-1執(zhí)行識(shí)別處理之后，姿勢(shì)識(shí)別單元312相對(duì)于由四個(gè)剪切區(qū)域形成的區(qū)域RF2-2執(zhí)行識(shí)別處理。接下來(lái)，姿勢(shì)識(shí)別單元312相對(duì)于由9個(gè)剪切區(qū)域形成的區(qū)域RF2-3執(zhí)行識(shí)別處理。以這種方式，可以通過(guò)依次擴(kuò)大作為識(shí)別目標(biāo)的區(qū)域來(lái)執(zhí)行姿勢(shì)識(shí)別。此外，當(dāng)同時(shí)剪切區(qū)域RFl-1至RFl-N中的預(yù)定數(shù)目的剪切區(qū)域的所提取的特征量大于預(yù)定值時(shí)，可以通過(guò)相對(duì)于所述剪切區(qū)域執(zhí)行識(shí)別處理來(lái)執(zhí)行姿勢(shì)識(shí)別。另外，當(dāng)其中所提取的特征量大于預(yù)定值的剪切區(qū)域的數(shù)目在特定時(shí)間段內(nèi)超過(guò)預(yù)定數(shù)目時(shí)，可以通過(guò)執(zhí)行相對(duì)于所述剪切區(qū)域的識(shí)別處理來(lái)執(zhí)行姿勢(shì)識(shí)別。此外，在姿勢(shì)識(shí)別中，上述識(shí)別處理可以組合執(zhí)行。在步驟SI 19中，操作處理單元56使圖像處理裝置301的每個(gè)單元執(zhí)行與由姿勢(shì)識(shí)別單元312提供的姿勢(shì)識(shí)別結(jié)果相對(duì)應(yīng)的處理。此外，當(dāng)指定的姿勢(shì)被識(shí)別并且對(duì)應(yīng)于該姿勢(shì)執(zhí)行了處理時(shí)，可以執(zhí)行關(guān)于姿勢(shì)被識(shí)別的反饋。例如，通過(guò)顯示控制單元57使表示顯示在顯示單元12中的剪切區(qū)域的識(shí)別幀進(jìn)行閃爍或使預(yù)定的圖像被顯示來(lái)執(zhí)行這樣的反饋。具體地，如圖20所示，通過(guò)進(jìn)行改變來(lái)顯示表示區(qū)域RF3的幀的色彩，區(qū)域RF3顯示在顯示單元12上，且是在布置于識(shí)別區(qū)域RAl中的剪切區(qū)域中的執(zhí)行姿勢(shì)識(shí)別的區(qū)域。此外，如圖21所示,還優(yōu)選的是,只顯示表示區(qū)域RF4的巾貞,在該區(qū)域RF4中，在不使顯示單元12顯示剪切區(qū)域的狀態(tài)下執(zhí)行姿勢(shì)識(shí)別。此外，如圖22所示，還優(yōu)選的是，通過(guò)將圖標(biāo)與表示其中沒(méi)有執(zhí)行姿勢(shì)識(shí)別的區(qū)域的部分進(jìn)行交疊來(lái)顯示預(yù)定圖標(biāo)IC5。此外，作為關(guān)于姿勢(shì)被識(shí)別的反饋，還優(yōu)選的是，輸出預(yù)定的聲音，而不是輸出顯示在顯示單元12上的巾貞或圖像。步驟S119之后，過(guò)程返回到步驟S115，并重復(fù)上述處理。此外，當(dāng)用戶指示完成姿勢(shì)識(shí)別時(shí)，姿勢(shì)識(shí)別處理完成。如上所述，圖像處理裝置301在所拍攝的圖像上的識(shí)別區(qū)域中布置多個(gè)剪切區(qū)域，并且從通過(guò)獲取其每個(gè)剪切區(qū)域中的圖像之間的差異而獲得的差異圖像中提取特征量。此外，圖像處理裝置301基于按時(shí)間順序排列的特征量、通過(guò)按時(shí)間順序執(zhí)行識(shí)別過(guò)程來(lái)識(shí)別用戶的姿勢(shì)，并執(zhí)行對(duì)應(yīng)于識(shí)別結(jié)果的處理。以這種方式，可以相對(duì)于多個(gè)剪切區(qū)域從差異圖像中提取特征量并執(zhí)行姿勢(shì)識(shí)別來(lái)在較寬的范圍內(nèi)識(shí)別用戶的姿勢(shì)。相應(yīng)地，用戶能夠在任意位置執(zhí)行姿勢(shì)操作，而無(wú)需考慮在其中姿勢(shì)例如從右到左(或從左到右)輕彈手的運(yùn)動(dòng)(在下文中稱(chēng)為輕彈運(yùn)動(dòng))被識(shí)別的區(qū)域。也就是說(shuō)，用戶能夠使用自然運(yùn)動(dòng)來(lái)執(zhí)行姿勢(shì)操作，而無(wú)需考慮剪切區(qū)域的位置，并且能夠提高其中執(zhí)行對(duì)應(yīng)于姿勢(shì)的處理的應(yīng)用程序等的方便性。此外，由于在整個(gè)識(shí)別區(qū)域中執(zhí)行姿勢(shì)識(shí)別，存在如下可能性:即使在局部作出不同運(yùn)動(dòng)，也將相同的運(yùn)動(dòng)作為整體進(jìn)行識(shí)別，相應(yīng)地，即使在用戶的姿勢(shì)存在個(gè)體差異的情況下，也可以較魯棒地識(shí)別姿勢(shì)。此外，如上面參照?qǐng)D15所描述的，假設(shè)剪切區(qū)域遍布在識(shí)別區(qū)域中，且沒(méi)有交疊，并且沒(méi)有留下空間，然而，如圖23所示，識(shí)別區(qū)域可以被布置成使得剪切區(qū)域RF6與其中的識(shí)別區(qū)域RAl交疊，并使得如圖24所示，識(shí)別區(qū)域RF7以預(yù)定間隔布置在識(shí)別區(qū)域RAl中。
此外，到目前為止，假設(shè)將其中布置有多個(gè)剪切區(qū)域的識(shí)別區(qū)域設(shè)置在預(yù)定的位置，然而，如圖25所示，優(yōu)選的是，在與圖9中的箭頭Q42的示例中描述的顯示單元12上顯示的按鈕圖標(biāo)的區(qū)域相對(duì)應(yīng)的拍攝圖像上的位置處設(shè)置識(shí)別區(qū)域。在圖25中，在顯示單元12上顯示被拍攝的用戶U31和用于執(zhí)行各處理的按鈕圖標(biāo)AC21-1和AC21-2。類(lèi)似于圖9，還優(yōu)選的是，使當(dāng)操作時(shí)提醒所執(zhí)行的處理的圖像或描述處理的字符顯示在這些按鈕圖標(biāo)AC21-1和AC21-2中。在該示例中，將在所拍攝的圖像上的對(duì)應(yīng)于按鈕圖標(biāo)AC21-1和AC21-2中的每個(gè)的區(qū)域的位置設(shè)置為其中布置有四個(gè)剪切區(qū)域的識(shí)別區(qū)域RA2-1和RA2-2。在這種情況下，當(dāng)執(zhí)行將手移動(dòng)到所期望的按鈕圖標(biāo)AC21-1或AC21-2中的區(qū)域的姿勢(shì)時(shí)，用戶U31能夠執(zhí)行相對(duì)于按鈕圖標(biāo)AC21-1和AC21-2所確定的處理。此外，可以將識(shí)別區(qū)域設(shè)置在由執(zhí)行姿勢(shì)識(shí)別的系統(tǒng)的提供者預(yù)先指定的位置，或者可以設(shè)置在預(yù)先指定或使用該系統(tǒng)的用戶在使用時(shí)指定的位置。到目前為止，假設(shè)識(shí)別區(qū)域設(shè)置在預(yù)先確定的位置，然而，識(shí)別區(qū)域可以基于在所拍攝的圖像上的作為用戶的身體的部位的位置來(lái)設(shè)置。第六實(shí)施方式圖像處理裝置的配置示例在這樣的情況下，圖像處理裝置例如被配置為如圖26所示。此外，在圖26中，與圖13中的情況對(duì)應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷浴D26中的圖像處理裝置401由拍攝單元11、面部詞典記錄單元411、面部檢測(cè)單元412、圖像處理單元413、姿勢(shì)詞典記錄單元54、姿勢(shì)識(shí)別單元312、操作處理單元56、顯示控制單元57和顯示單元12配置而成。面部詞典記錄單元411記錄檢測(cè)面部時(shí)使用的面部詞典,該面部詞典是通過(guò)統(tǒng)計(jì)學(xué)習(xí)如AdaBoost獲得的，并且根據(jù)需要將面部詞典提供給面部檢測(cè)單元412。例如，當(dāng)學(xué)習(xí)面部詞典時(shí)，使用用于學(xué)習(xí)的、包括作為檢測(cè)目標(biāo)的面部的圖像的多個(gè)圖像，并且由于該學(xué)習(xí)而獲得作為面部詞典的識(shí)別器等。面部檢測(cè)單元412基于由面部詞典記錄單元411提供的面部詞典從由拍攝單元11提供的拍攝圖像中檢測(cè)面部，并將檢測(cè)結(jié)果和拍攝圖像提供給圖像處理單元413。圖像處理單元413基于面部檢測(cè)結(jié)果和由面部檢測(cè)單元412提供的拍攝圖像來(lái)提取用于姿勢(shì)識(shí)別的特征量，將特征量提供給姿勢(shì)識(shí)別單元312，并根據(jù)需要將關(guān)于剪切區(qū)域等的信息提供給顯示控制單元57。圖像處理單元413包括識(shí)別區(qū)域設(shè)置單元421、剪切圖像生成單元422、差異計(jì)算單元72和特征量提取單元73。識(shí)別區(qū)域設(shè)置單元421基于面部檢測(cè)結(jié)果來(lái)設(shè)置識(shí)別區(qū)域。剪切圖像生成單元422基于面部檢測(cè)結(jié)果來(lái)確定各個(gè)剪切區(qū)域的尺寸，并在識(shí)別區(qū)域中布置剪切區(qū)域。此外，剪切圖像生成單元422剪切出布置在所拍攝的圖像上的剪切區(qū)域中的圖像，并將該圖像設(shè)置為剪切圖像。姿勢(shì)識(shí)別處理的描述接下來(lái)，將參照?qǐng)D27中的流程圖來(lái)描述通過(guò)圖像處理裝置401進(jìn)行的姿勢(shì)識(shí)別處理。此外，圖27的流程圖中的步驟S211以及S215至S220中的過(guò)程與圖14中的步驟Sm以及SI 14至SI 19中的相同，其描述將被省略。也就是說(shuō)，在步驟S212中，面部檢測(cè)單元412檢測(cè)面部。具體地，面部檢測(cè)單元412基于記錄在面部詞典記錄單元411中的面部詞典以及由拍攝單元11提供的拍攝圖像來(lái)從每個(gè)幀中的拍攝圖像中檢測(cè)面部，并將檢測(cè)結(jié)果和拍攝圖像提供給圖像處理單元413。在步驟S212中，識(shí)別區(qū)域設(shè)置單元421基于由面部檢測(cè)單元412提供的面部檢測(cè)結(jié)果來(lái)設(shè)置所拍攝的圖像上的識(shí)別區(qū)域。具體地，識(shí)別區(qū)域設(shè)置單元421基于在所拍攝的圖像上檢測(cè)到的作為用戶身體的部位的面部的位置來(lái)設(shè)置識(shí)別區(qū)域。例如，如圖28所示，在顯示在顯示單元12上的拍攝圖像中，當(dāng)檢測(cè)到用戶U31的面部時(shí)，基于檢測(cè)到的面部區(qū)域FAl的位置來(lái)將被假設(shè)為用戶的手臂的可移動(dòng)范圍的區(qū)域設(shè)置為識(shí)別區(qū)域RA3。在步驟S213中，剪切圖像生成單元422基于由面部檢測(cè)單元412提供的面部檢測(cè)結(jié)果來(lái)確定布置在由識(shí)別區(qū)域設(shè)置單元421設(shè)置的識(shí)別區(qū)域中的多個(gè)剪切單元的各個(gè)尺寸，并在識(shí)別區(qū)域中布置剪切區(qū)域。具體地，剪切圖像生成單元422基于在所拍攝的圖像上檢測(cè)到的面部的尺寸來(lái)確定剪切區(qū)域的尺寸，并在識(shí)別區(qū)域中布置剪切區(qū)域。例如，如圖29所示，當(dāng)在顯示在顯示單元12上的拍攝圖像中檢測(cè)到用戶U31的面部時(shí)，基于所檢測(cè)到的面部區(qū)域FAl的尺寸來(lái)確定剪切區(qū)域RF8的尺寸，并在識(shí)別區(qū)域RA3中布置剪切區(qū)域。在下文中，從布置在識(shí)別區(qū)域中的剪切區(qū)域中剪切出圖像，并從通過(guò)獲取其每個(gè)剪切區(qū)域中的圖像中的差異而獲得的差異圖像中提取特征量。此外，基于按時(shí)間順序排列的特征量使用按時(shí)間順序的識(shí)別處理來(lái)識(shí)別用戶的姿勢(shì)，并執(zhí)行對(duì)應(yīng)于其識(shí)別結(jié)果的處理。即使在上述處理中，也可以通過(guò)關(guān)于多個(gè)剪切區(qū)域從差異圖像中提取特征量執(zhí)行姿勢(shì)識(shí)別來(lái)在較寬的范圍內(nèi)識(shí)別用戶的姿勢(shì)。另外，由于基于用戶面部的位置來(lái)設(shè)置識(shí)別區(qū)域，對(duì)于顯然不是識(shí)別處理的目標(biāo)的區(qū)域，不執(zhí)行識(shí)別處理，相應(yīng)地，可以減輕姿勢(shì)識(shí)別中的處理負(fù)擔(dān)。此外，即使在上面的描述中，剪切區(qū)域也可以沒(méi)有交疊、沒(méi)有留下空間地遍布在識(shí)別區(qū)域中，可以布置成使得在識(shí)別區(qū)域中交疊，以及可以以預(yù)定間隔布置在識(shí)別區(qū)域中。然而，在上面的描述中，假設(shè)基于作為用戶身體的部位的面部的位置來(lái)設(shè)置識(shí)別區(qū)域，然而，可以基于作為用戶身體的部位的手的位置來(lái)設(shè)置識(shí)別區(qū)域。第七實(shí)施方式圖像處理裝置的配置示例在這樣的情況下，圖像處理裝置例如被配置成如圖30所示。此外，在圖30中，與圖13中的情況對(duì)應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖30中的圖像處理裝置501由拍攝單元11、手詞典記錄單元511、手檢測(cè)單元512、圖像處理單元513、姿勢(shì)詞典記錄單元54、姿勢(shì)識(shí)別單元312、操作處理單元56、顯示控制單元57和顯示單元12配置而成。手詞典記錄單元511記錄當(dāng)檢測(cè)手時(shí)使用的手詞典，該手詞典是通過(guò)統(tǒng)計(jì)學(xué)習(xí)例如AdaBoost而獲得的，并根據(jù)需要將該手詞典提供給手檢測(cè)單元512。例如，當(dāng)學(xué)習(xí)手詞典時(shí)，使用用于學(xué)習(xí)的、包括作為檢測(cè)目標(biāo)的手的圖像的多個(gè)圖像，并且通過(guò)該學(xué)習(xí)來(lái)獲得作為手詞典的識(shí)別器等。手檢測(cè)單元512基于由手詞典記錄單元511提供的手詞典從由拍攝單元11提供的拍攝圖像中檢測(cè)手，并將檢測(cè)結(jié)果和拍攝圖像提供給圖像處理單元513。圖像處理單元513基于所拍攝的圖像和由手檢測(cè)單元512提供的手檢測(cè)結(jié)果來(lái)提取用于執(zhí)行姿勢(shì)識(shí)別的特征量，將特征量提供給姿勢(shì)識(shí)別單元312，并根據(jù)需要將關(guān)于剪切區(qū)域等的信息提供給顯示控制單元57。圖像處理單元513包括識(shí)別區(qū)域設(shè)置單元521、剪切圖像生成單元522、差異計(jì)算單元72和特征量提取單元73。識(shí)別區(qū)域設(shè)置單元521基于手檢測(cè)結(jié)果來(lái)設(shè)置識(shí)別區(qū)域。剪切圖像生成單元522基于手檢測(cè)結(jié)果來(lái)確定剪切區(qū)域的各個(gè)尺寸，并在識(shí)別區(qū)域中布置剪切區(qū)域。此外，剪切圖像生成單元522剪切出布置在所拍攝的圖像上的剪切區(qū)域中的圖像，并將該圖像設(shè)置為剪切圖像。姿勢(shì)識(shí)別處理的描述接下來(lái)，將參照?qǐng)D31中的流程圖來(lái)描述通過(guò)圖像處理裝置501進(jìn)行的姿勢(shì)識(shí)別處理。此外，由于圖31的流程圖中的步驟S311、步驟S315至S320中的過(guò)程分別與圖14中的步驟S111、步驟S114至S119中的過(guò)程相同，其描述將被省略。也就是說(shuō)，在步驟S312中，手檢測(cè)單元512檢測(cè)手。具體地，手檢測(cè)單元512基于記錄在手詞典記錄單元511中的手詞典和由拍攝單元11提供的拍攝圖像來(lái)從每個(gè)幀中的拍攝圖像中檢測(cè)手，并將檢測(cè)結(jié)果和拍攝圖像提供給圖像處理單元513。在步驟S313中，識(shí)別區(qū)域設(shè)置單元521基于由手檢測(cè)單元512提供的手檢測(cè)結(jié)果來(lái)在拍攝圖像上設(shè)置識(shí)別區(qū)域。具體地，識(shí)別區(qū)域設(shè)置單元521基于在所拍攝的圖像上檢測(cè)到的作為用戶身體的部位的手的位置來(lái)設(shè)置識(shí)別區(qū)域。例如，如圖32所示，當(dāng)在顯示在顯示單元12上的拍攝圖像中檢測(cè)到用戶U31的手時(shí)，將檢測(cè)到的手區(qū)域HAl的位置周?chē)念A(yù)定范圍內(nèi)的區(qū)域設(shè)置為識(shí)別區(qū)域RA4。在步驟S313中，剪切圖像生成單元522基于由手檢測(cè)單元512提供的手檢測(cè)結(jié)果來(lái)確定布置在由識(shí)別區(qū)域設(shè)置單元521設(shè)置的識(shí)別區(qū)域中的多個(gè)剪切區(qū)域的各個(gè)尺寸，并在識(shí)別區(qū)域中布置剪切區(qū)域。具體地，剪切圖像生成單元522基于在所拍攝的圖像上檢測(cè)到的手的尺寸來(lái)確定剪切區(qū)域的尺寸，并在識(shí)別區(qū)域中布置剪切區(qū)域。例如，如圖33所示，當(dāng)在顯示在顯示單元12中的拍攝圖像中檢測(cè)到用戶U31的手時(shí)，基于檢測(cè)到的手區(qū)域HAl的尺寸來(lái)確定剪切區(qū)域RF9的尺寸，并且在識(shí)別區(qū)域RA4中布置剪切區(qū)域。在下文中，剪切出布置在識(shí)別區(qū)域中的識(shí)別幀，從通過(guò)獲取其每個(gè)剪切區(qū)域中的圖像的差異而獲得的差異圖像中提取特征量。此外，基于按時(shí)間順序排列的特征量通過(guò)按時(shí)間順序的識(shí)別處理來(lái)識(shí)別用戶的姿勢(shì)，并執(zhí)行對(duì)應(yīng)于識(shí)別結(jié)果的處理。即使在上述處理中，可以通過(guò)相對(duì)于多個(gè)剪切區(qū)域從差異圖像中提取特征量來(lái)執(zhí)行姿勢(shì)識(shí)別從而在較寬的范圍內(nèi)識(shí)別用戶的姿勢(shì)。此外，由于基于用戶的手的位置來(lái)設(shè)置識(shí)別區(qū)域，所以對(duì)于明顯不是識(shí)別處理的目標(biāo)的區(qū)域，不執(zhí)行識(shí)別處理，相應(yīng)地，可以減輕在姿勢(shì)識(shí)別中的處理負(fù)擔(dān)。此外，即使在上面的描述中，剪切區(qū)域也可以沒(méi)有交疊、且沒(méi)有留下空間地遍布在識(shí)別區(qū)域中，可以布置成在識(shí)別區(qū)域中交疊，以及可以以預(yù)定間隔布置在識(shí)別區(qū)域中。此外，在上面的描述中，已經(jīng)描述了如下配置:其中包括檢測(cè)用戶的面部的面部檢測(cè)單元412和檢測(cè)用戶的手的手檢測(cè)單元512中的任何一個(gè)，作為用于檢測(cè)所拍攝的圖像上的用戶身體的部位的單元，然而，也可以是如下配置:面部檢測(cè)單元412和手檢測(cè)單元512均被包括。第八實(shí)施方式圖像處理裝置的配置示例在這樣的情況下，圖像處理裝置例如被配置成如圖34所示。此外，在圖34中，與圖13中的情況對(duì)應(yīng)的部分被給予的相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖34中的圖像處理裝置601由拍攝單元11、面部詞典記錄單元411、面部檢測(cè)單元412、手詞典記錄單元511、手檢測(cè)單元512、圖像處理單元613、姿勢(shì)詞典記錄單元54、姿勢(shì)識(shí)別單元312、操作處理單元56、顯示控制單元57和顯示單元12配置而成。此外，由于面部詞典記錄單元411和面部檢測(cè)單元412與圖26中的圖像處理裝置401中設(shè)置的那些具有相同的配置，并且手詞典記錄單元511和手檢測(cè)單元512具有與圖30中的圖像處理裝置501中設(shè)置的那些相同的配置，所有其描述將被省略。此外，在圖34中，面部檢測(cè)單元412從由拍攝單元11提供的拍攝圖像中檢測(cè)面部，并將檢測(cè)結(jié)果和拍攝圖像提供給手檢測(cè)單元512。此外，手檢測(cè)單元512從由面部檢測(cè)單元412提供的拍攝圖像中檢測(cè)手，并將檢測(cè)結(jié)果、面部檢測(cè)結(jié)果和拍攝圖像提供給圖像處理單元611。圖像處理單元613包括識(shí)別區(qū)域設(shè)置單元621、剪切圖像生成單元622、差異計(jì)算單元72和特征量提取單元73。識(shí)別區(qū)域設(shè)置單元621基于面部或手的檢測(cè)結(jié)果來(lái)設(shè)置識(shí)別區(qū)域。剪切圖像生成單元622基于面部或手的檢測(cè)結(jié)果來(lái)確定各個(gè)剪切區(qū)域的尺寸，并在識(shí)別區(qū)域中布置剪切區(qū)域。此外，剪切圖像生成單元622剪切出布置在拍攝圖像上的剪切區(qū)域中的圖像，并將該圖像設(shè)置為剪切圖像。此外，由于通過(guò)將上述圖27和圖31中的流程圖中的處理進(jìn)行組合來(lái)執(zhí)行通過(guò)圖像處理裝置601進(jìn)行的姿勢(shì)識(shí)別處理，所以其詳細(xì)描述將被省略。作為一個(gè)示例，執(zhí)行通過(guò)圖像處理裝置601進(jìn)行的姿勢(shì)識(shí)別處理，使得:例如在圖27中的流程圖中，圖31中的流程圖的步驟S312 (手檢測(cè))在步驟S212 (面部檢測(cè))之后執(zhí)行，在步驟S213中設(shè)置基于面部或手的位置的識(shí)別區(qū)域，并且在步驟S214中基于面部或手的尺寸來(lái)進(jìn)行剪切區(qū)域的尺寸的確定。此外，即使在通過(guò)圖像處理裝置601進(jìn)行的姿勢(shì)識(shí)別處理中，也可以獲得與參照?qǐng)D27或圖31中的流程圖而描述的姿勢(shì)識(shí)別處理中相同的操作和效果。同時(shí)，在上述處理中，當(dāng)拍攝到作出與作為識(shí)別目標(biāo)的姿勢(shì)相似的運(yùn)動(dòng)的對(duì)象時(shí)，存在如下?lián)?該對(duì)象的運(yùn)動(dòng)可能會(huì)被誤識(shí)別為作為識(shí)別目標(biāo)的姿勢(shì)。例如，當(dāng)關(guān)于由用戶U31執(zhí)行的在圖15中示出的輕彈運(yùn)動(dòng)執(zhí)行姿勢(shì)識(shí)別時(shí)，在上述處理中，存在如下?lián)?由于在識(shí)別區(qū)域中的整體運(yùn)動(dòng)，用戶U31的左右擺動(dòng)其身體的上部分的運(yùn)動(dòng)可能會(huì)被誤識(shí)別為輕彈運(yùn)動(dòng)。因此，在執(zhí)行姿勢(shì)識(shí)別處理的圖像處理裝置中，還優(yōu)選的是設(shè)置防止姿勢(shì)被誤識(shí)別的配置。第九實(shí)施方式圖像處理裝置的配置示例在這樣的情況下，圖像處理裝置例如被配置成如圖35所示。此外，在圖35中，與圖13中的情況對(duì)應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷浴D35中的圖像處理裝置701由拍攝單元11、圖像處理單元713、姿勢(shì)詞典記錄單元54、姿勢(shì)識(shí)別單元712、操作處理單元56、顯示控制單元57和顯示單元12配置而成。圖像處理單元711基于由拍攝單元11提供的拍攝圖像來(lái)提取用于執(zhí)行姿勢(shì)識(shí)別的特征量，將特征量提供給姿勢(shì)識(shí)別單元712，并根據(jù)需要將關(guān)于剪切區(qū)域的信息等提供給顯示控制單元57。圖像處理單元711包括識(shí)別區(qū)域設(shè)置單元321、剪切圖像生成單元322、差異計(jì)算單元72、特征量提取單元73和運(yùn)動(dòng)確定單元721。運(yùn)動(dòng)確定單元721基于識(shí)別區(qū)域中的多個(gè)顯著點(diǎn)中的運(yùn)動(dòng)矢量的大小來(lái)確定識(shí)別區(qū)域中的運(yùn)動(dòng)，并將確定結(jié)果提供給姿勢(shì)識(shí)別單元 712。姿勢(shì)識(shí)別單元712根據(jù)由運(yùn)動(dòng)確定單元721提供的確定結(jié)果，基于由姿勢(shì)詞典記錄單元54提供的姿勢(shì)詞典和由圖像處理單元711提供的每個(gè)剪切區(qū)域中的特征量執(zhí)行姿勢(shì)識(shí)別，并將識(shí)別結(jié)果提供給操作處理單元56。姿勢(shì)識(shí)別處理的描述接下來(lái)，將參照?qǐng)D36中的流程圖來(lái)描述通過(guò)圖像處理裝置701進(jìn)行的姿勢(shì)識(shí)別處理。此外，在圖36的流程圖中的步驟S411、步驟S417至步驟S420中的過(guò)程與圖14的流程圖中的步驟Slll至步驟S117以及步驟S119中的過(guò)程相同，相應(yīng)地，其描述將被省略。也就是說(shuō)，在步驟S418中，運(yùn)動(dòng)確定單元721執(zhí)行運(yùn)動(dòng)確定處理。運(yùn)動(dòng)確定處理的描述此處，將參照?qǐng)D37中的流程圖來(lái)描述通過(guò)運(yùn)動(dòng)確定單元721進(jìn)行的運(yùn)動(dòng)確定處理。在步驟S451中，運(yùn)動(dòng)確定單元721使用由拍攝單元11提供的拍攝圖像的光流來(lái)計(jì)算識(shí)別區(qū)域中的多個(gè)顯著點(diǎn)中的運(yùn)動(dòng)矢量。假設(shè)顯著點(diǎn)均勻地設(shè)置在整個(gè)識(shí)別區(qū)域中。此外，可以使用另外的方法來(lái)計(jì)算每個(gè)顯著點(diǎn)中的運(yùn)動(dòng)矢量，而不限于其中使用光流的方法。在步驟S452中，運(yùn)動(dòng)確定單元721沿關(guān)注方向上通過(guò)大小對(duì)在每個(gè)顯著點(diǎn)中計(jì)算的運(yùn)動(dòng)矢量進(jìn)行排序。此處，關(guān)注方向是在作為識(shí)別目標(biāo)的姿勢(shì)中運(yùn)動(dòng)變得特別大的方向，在這種情況下，將該方向設(shè)置為水平方向。在下文中，在拍攝的圖像中，水平方向被設(shè)置為X軸方向，豎直方向被設(shè)置為I軸方向。此外，在水平方向和豎直方向上，可以隨意設(shè)置正方向和負(fù)方向。在步驟S453中，運(yùn)動(dòng)確定單元721使用其最大值來(lái)對(duì)按x軸方向上的量值(具體地，運(yùn)動(dòng)矢量的X分量)排序的運(yùn)動(dòng)矢量來(lái)進(jìn)行歸一化。在步驟S454中，運(yùn)動(dòng)確定單元721將按x軸方向上的量值排序的運(yùn)動(dòng)矢量中的、運(yùn)動(dòng)矢量的負(fù)值轉(zhuǎn)換為正值，并且使用大小的最大值來(lái)進(jìn)行歸一化。
在步驟S455中，運(yùn)動(dòng)確定單元721關(guān)于按x軸方向上的量值排序的運(yùn)動(dòng)矢量執(zhí)行預(yù)定閾值處理，使用大小的最大值來(lái)進(jìn)行歸一化，并轉(zhuǎn)換成正值。例如，在每個(gè)顯著點(diǎn)中，計(jì)算如圖38所示的運(yùn)動(dòng)矢量。在圖38中，橫軸表示顯著點(diǎn)，豎軸表示使用光流計(jì)算的運(yùn)動(dòng)矢量在X軸方向上的大小。圖39示出了如下結(jié)果:其中該運(yùn)動(dòng)矢量按量值進(jìn)行排序，并使用其大小的最大值來(lái)進(jìn)行歸一化，且其負(fù)值被轉(zhuǎn)換為正值。在圖39中，在水平軸的最左側(cè)表示的運(yùn)動(dòng)矢量是在X軸方向上具有最大大小的運(yùn)動(dòng)矢量，而在從大小近似為O且在中心附近的運(yùn)動(dòng)矢量起的右側(cè)所表示的運(yùn)動(dòng)矢量是值被轉(zhuǎn)換為正值的運(yùn)動(dòng)矢量。此外，在圖39中，示出了根據(jù)作為識(shí)別目標(biāo)圖像數(shù)據(jù)的姿勢(shì)所確定的閾值曲線Cth。也就是說(shuō)，在步驟S456中，確定例如在圖39中示出的運(yùn)動(dòng)矢量是否超過(guò)閾值曲線Cth0例如，假設(shè)根據(jù)左右方向上的輕彈動(dòng)作確定閾值曲線Cth。當(dāng)用戶執(zhí)行左右方向上的輕彈動(dòng)作時(shí)，由于運(yùn)動(dòng)矢量?jī)H在識(shí)別區(qū)域中的X軸方向上的區(qū)域部分中變大，如果按X軸方向上的量值對(duì)運(yùn)動(dòng)矢量進(jìn)行排序、歸一化，并且將其負(fù)值轉(zhuǎn)換成正值，可以獲得如圖39所示的結(jié)果。在這種情況下，由于在X軸方向上的運(yùn)動(dòng)矢量的量值超過(guò)了閾值曲線Cth，因此存在如下可能性:用戶在識(shí)別區(qū)域中的運(yùn)動(dòng)是左右方向上的輕彈動(dòng)作。另一方面，當(dāng)用戶作出左右晃動(dòng)其上部身體的運(yùn)動(dòng)時(shí)，由于幾乎在整個(gè)識(shí)別區(qū)域中運(yùn)動(dòng)矢量在X軸方向上變得較大，當(dāng)按量值對(duì)運(yùn)動(dòng)矢量排序、歸一化，并且將其負(fù)值轉(zhuǎn)換成正值時(shí)，可以整體上獲得值較高的運(yùn)動(dòng)矢量。在這種情況下，運(yùn)動(dòng)矢量在X軸方向上的量值超過(guò)在水平軸中心附近的閾值曲線Cth，不可能用戶在識(shí)別區(qū)域中的運(yùn)動(dòng)是左右方向上的輕彈動(dòng)作。以這種方式，在步驟S456中，通過(guò)確定運(yùn)動(dòng)矢量是否超過(guò)閾值曲線Cth來(lái)確定用戶的運(yùn)動(dòng)是否是作為識(shí)別目標(biāo)的姿勢(shì)。運(yùn)動(dòng)確定單元721將確定結(jié)果提供給姿勢(shì)識(shí)別單元712，并且過(guò)程返回到圖36中的步驟S418。此外，當(dāng)作為識(shí)別區(qū)域的姿勢(shì)是上下方向上的輕彈運(yùn)動(dòng)時(shí)，例如，在圖37中的運(yùn)動(dòng)確定處理中，關(guān)于每個(gè)顯著點(diǎn)中的運(yùn)動(dòng)矢量在y軸方向的量值執(zhí)行上述處理。返回到圖36中的流程圖，在步驟418之后的步驟S419中，姿勢(shì)識(shí)別單元712根據(jù)由運(yùn)動(dòng)確定單元721提供的確定結(jié)果執(zhí)行姿勢(shì)識(shí)別，并將識(shí)別結(jié)果提供給操作處理單元56。也就是說(shuō)，當(dāng)從運(yùn)動(dòng)確定單元721提供了用戶的運(yùn)動(dòng)是作為識(shí)別目標(biāo)的姿勢(shì)的確定結(jié)果時(shí)，姿勢(shì)識(shí)別單元712執(zhí)行姿勢(shì)識(shí)別。此外，當(dāng)從運(yùn)動(dòng)確定單元721中提供了用戶的運(yùn)動(dòng)不是作為識(shí)別目標(biāo)的姿勢(shì)的確定結(jié)果時(shí)，姿勢(shì)識(shí)別單元712不執(zhí)行姿勢(shì)識(shí)別。如上所述，圖像處理裝置701基于所拍攝的圖像上的識(shí)別區(qū)域中的運(yùn)動(dòng)矢量的大小來(lái)確定用戶的運(yùn)動(dòng)。此外，圖像處理裝置701根據(jù)確定結(jié)果識(shí)別用戶的姿勢(shì)，并執(zhí)行對(duì)應(yīng)于識(shí)別結(jié)果的處理。以這種方式，即使拍攝到作出類(lèi)似于作為識(shí)別目標(biāo)的姿勢(shì)的運(yùn)動(dòng)的對(duì)象，也可以通過(guò)確定用戶的運(yùn)動(dòng)來(lái)防止對(duì)象的運(yùn)動(dòng)被誤識(shí)別為作為識(shí)別目標(biāo)的姿勢(shì)。此外，執(zhí)行上述運(yùn)動(dòng)確定處理的運(yùn)動(dòng)確定單元721也可以設(shè)置在圖像處理裝置401,501 和 601 中。同時(shí)，在上面的描述中，在設(shè)置的識(shí)別區(qū)域中，假設(shè)布置具有相同尺寸的剪切區(qū)域，然而，可以布置具有多個(gè)尺寸的剪切區(qū)域。此外，在前一幀中執(zhí)行姿勢(shì)識(shí)別的區(qū)域中，在作為處理目標(biāo)的當(dāng)前幀中，可以通過(guò)將剪切區(qū)域布置成如圖23所示在識(shí)別區(qū)域中交疊來(lái)增加剪切區(qū)域的密度。以這種方式，可以進(jìn)一步提高姿勢(shì)識(shí)別的精度，這是因?yàn)楹苡锌赡芗词褂脩粼谪Q直方向或水平方向上偏離一定程度的位置作出姿勢(shì)也能夠在剪切區(qū)域中的任一個(gè)中執(zhí)行姿勢(shì)識(shí)別。此外，當(dāng)通過(guò)減小剪切區(qū)域的尺寸來(lái)將手指的運(yùn)動(dòng)識(shí)別為手的運(yùn)動(dòng)時(shí)，也可能將比使用手進(jìn)行的左右輕彈動(dòng)作小的動(dòng)作，例如使用手指的左右輕彈動(dòng)作識(shí)別為姿勢(shì)。另外，在識(shí)別區(qū)域中的多個(gè)部分的每個(gè)中，可以同時(shí)執(zhí)行相同的姿勢(shì)識(shí)別。以這種方式，例如，使用左右兩只手的姿勢(shì)被識(shí)別，并且可以執(zhí)行諸如所謂的多觸摸的操作輸入。此外，根據(jù)上述的第五實(shí)施方式至第九實(shí)施方式的過(guò)程的一部分可以使用通過(guò)通信網(wǎng)絡(luò)連接的其他裝置等來(lái)執(zhí)行，這在第三實(shí)施方式和第四實(shí)施方式的配置中進(jìn)行了描述。系統(tǒng)的應(yīng)用示例同時(shí)，上述姿勢(shì)識(shí)別處理可以應(yīng)用于各種系統(tǒng)。上述姿勢(shì)識(shí)別處理可以應(yīng)用于如下系統(tǒng):該系統(tǒng)在例如顯示單元12上顯示與記錄在記錄介質(zhì)(未示出)中的圖像數(shù)據(jù)相對(duì)應(yīng)的縮略圖PICll-1至PIC11-6，如圖40中的箭頭Q61所表示的。在圖40中的箭頭Q61中，通過(guò)執(zhí)行從右到左的輕彈動(dòng)作，用戶U31能夠?qū)⒃陲@示單元12上顯示縮略圖PICll-1至PICl 1-6的屏幕滾動(dòng)到左側(cè)。此外，如圖40中的箭頭Q62所示的，可以將上述姿勢(shì)識(shí)別處理應(yīng)用于例如其中在顯示單元12上顯示滑動(dòng)式開(kāi)關(guān)SW12的系統(tǒng)。在圖40的箭頭Q62中，通過(guò)執(zhí)行從右到左的輕彈動(dòng)作，用戶U31能夠?qū)@示的開(kāi)關(guān)SW12在顯示單元12上從OFF切換到0N。此外，盡管未示出，上述姿勢(shì)識(shí)別處理可以應(yīng)用于例如電視接收機(jī)。在該示例中，通過(guò)執(zhí)行從右到左的輕彈動(dòng)作，用戶能夠選擇節(jié)目的頻道或連接到電視接收器的連接設(shè)備諸如記錄器的頻道。上述姿勢(shì)識(shí)別處理可以應(yīng)用于包括用戶接口的系統(tǒng)，在該系統(tǒng)中，在與顯示單元分離的位置處使用姿勢(shì)來(lái)控制在顯示單元上的顯示，但不限于上述示例。另外，當(dāng)然，被識(shí)別的姿勢(shì)不局限于左右輕彈動(dòng)作，可以是上下執(zhí)行的輕彈動(dòng)作，或其他動(dòng)作。同時(shí)，上述系列處理可以通過(guò)硬件執(zhí)行，或者可以通過(guò)軟件執(zhí)行。當(dāng)所述系列處理由軟件執(zhí)行時(shí)，在計(jì)算機(jī)中安裝構(gòu)造成軟件的程序。此處，在計(jì)算機(jī)中，包括了結(jié)合在專(zhuān)用硬件中的計(jì)算機(jī)或例如能夠通過(guò)安裝各種程序執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)等。圖41是示出其中使用程序執(zhí)行上述系列處理的計(jì)算機(jī)的硬件的配置示例的框圖。在該計(jì)算機(jī)中，CPU (中央處理單元)901、ROM (只讀存儲(chǔ)器)902、RAM (隨機(jī)存取存儲(chǔ)器)903通過(guò)總線904彼此連接。在總線904中，還連接輸入-輸出接口 905。輸入-輸出接口 905連接至輸入單元906、輸出單元907、記錄單元908、通信單元909和驅(qū)動(dòng)器910。輸入單元906由鍵盤(pán)、鼠標(biāo)、麥克風(fēng)等配置而成。輸出單元907由顯示器、揚(yáng)聲器等配置而成。記錄單元908由硬盤(pán)、非易失性存儲(chǔ)器等配置而成。通信單元909由網(wǎng)絡(luò)接口等配置而成。驅(qū)動(dòng)器910驅(qū)動(dòng)磁盤(pán)、光盤(pán)、磁光盤(pán)或諸如半導(dǎo)體存儲(chǔ)器的可移除介質(zhì)911。在如上所述配置而成的計(jì)算機(jī)中，例如，當(dāng)CPU901通過(guò)輸入-輸出接口 905和總線904等將記錄在記錄單元908中的程序裝載到RAM903中來(lái)執(zhí)行該程序時(shí)，執(zhí)行上述系列處理。由計(jì)算機(jī)(CPU901)執(zhí)行的程序可以通過(guò)被記錄在可移除介質(zhì)911 (例如，封裝介質(zhì)等)中來(lái)提供。此外，可以通過(guò)有線或無(wú)線傳輸介質(zhì)例如局域網(wǎng)、因特網(wǎng)、數(shù)字衛(wèi)星廣播等來(lái)提供程序。在計(jì)算機(jī)中，程序可以通過(guò)在驅(qū)動(dòng)器910上安裝可移除介質(zhì)911經(jīng)由輸入-輸出接口 905來(lái)安裝到記錄單元908。此外，該程序可以通過(guò)經(jīng)由有線或無(wú)線傳輸介質(zhì)在通信單元909中進(jìn)行接收從而安裝到記錄單元908中。此外，程序可以安裝到R0M902中，或預(yù)先安裝在記錄單元908中。此外，由計(jì)算機(jī)執(zhí)行的程序可以是其中根據(jù)在說(shuō)明書(shū)中描述的順序以時(shí)間順序執(zhí)行處理的程序，并且可以是其中并行地執(zhí)行處理或在必要定時(shí)注入在被調(diào)用時(shí)執(zhí)行處理的程序。此外，本技術(shù)的實(shí)施方式并不限于上述實(shí)施方式，并且可以在不脫離本技術(shù)的范圍的情況下進(jìn)行各種改變。例如，本技術(shù)是能夠采用云計(jì)算配置，在該云計(jì)算配置中，通過(guò)網(wǎng)絡(luò)在多個(gè)裝置中進(jìn)行共享來(lái)聯(lián)合處理一個(gè)功能。另外，上述流程圖中所描述的每個(gè)步驟可以在一個(gè)裝置中執(zhí)行，并且也可以通過(guò)共享在多個(gè)裝置中執(zhí)行。另外，當(dāng)多個(gè)過(guò)程被包括在一個(gè)步驟中時(shí)，包括在一個(gè)步驟中的多個(gè)過(guò)程可以在一個(gè)裝置中執(zhí)行，以及也可以通過(guò)共享在多個(gè)裝置中執(zhí)行。另外，本技術(shù)也可以采用以下配置。[I] 一種圖像處理裝置，包括:差異圖像生成單元，所述差異圖像生成單元通過(guò)獲得剪切圖像的幀之間的差異來(lái)生成差異圖像，其中所述剪切圖像是通過(guò)剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；特征量提取單元，所述特征量提取單元從所述差異圖像中提取特征量；以及識(shí)別單元，所述識(shí)別單元識(shí)別在所拍攝的圖像上的對(duì)象的具體運(yùn)動(dòng)。[2]在[I]中公開(kāi)的圖像處理裝置，其中，所述識(shí)別單元將用戶的手作出的姿勢(shì)識(shí)別為所述對(duì)象的具體運(yùn)動(dòng)。[3]在[2]中公開(kāi)的圖像處理裝置，還包括:手檢測(cè)單元，所述手檢測(cè)單元從所拍攝的圖像中檢測(cè)所述用戶的手；以及剪切區(qū)域確定單元，所述剪切區(qū)域確定單元基于所檢測(cè)到的用戶的手在所拍攝的圖像上的位置來(lái)確定所述預(yù)定區(qū)域。[4]在[3]中公開(kāi)的圖像處理裝置，其中，當(dāng)關(guān)于連續(xù)的多個(gè)幀的所拍攝的圖像，所檢測(cè)到的用戶的手位于所拍攝的圖像上的一定范圍內(nèi)時(shí)，所述剪切區(qū)域確定單元基于所述用戶的手的位置來(lái)確定所述預(yù)定區(qū)域。[5]在[2]中公開(kāi)的圖像處理裝置，還包括剪切區(qū)域確定單元，所述剪切區(qū)域確定單元通過(guò)獲得在所拍攝的圖像上的每個(gè)區(qū)域中的幀之間的差異來(lái)確定所述預(yù)定區(qū)域。[6]在[2]中公開(kāi)的圖像處理裝置，其中，所述預(yù)定區(qū)域是在所拍攝的圖像上預(yù)先確定的區(qū)域。
[7]在[2]中公開(kāi)的圖像處理裝置，還包括:區(qū)域設(shè)置單元，所述區(qū)域設(shè)置單元在所拍攝的圖像上設(shè)置其中布置有多個(gè)預(yù)定區(qū)域的識(shí)別區(qū)域，其中，所述差異圖像生成單元生成布置在所述識(shí)別區(qū)域中的每個(gè)所述預(yù)定區(qū)域中的差異圖像，其中，所述特征量提取單元從每個(gè)所述預(yù)定區(qū)域中的差異圖像中提取特征量，以及其中，所述識(shí)別單元基于從在每個(gè)所述預(yù)定區(qū)域中的按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別所述用戶的姿勢(shì)。[8]在[7]中公開(kāi)的圖像處理裝置，還包括:剪切區(qū)域確定單元，所述剪切區(qū)域確定單元確定各個(gè)預(yù)定區(qū)域的尺寸，并設(shè)置在所述識(shí)別區(qū)域中。[9]在[8]中公開(kāi)的圖像處理裝置，還包括:檢測(cè)單元，所述檢測(cè)單元從所拍攝的圖像中檢測(cè)所述用戶的身體的部位，其中，所述區(qū)域設(shè)置單元基于所檢測(cè)到的所述用戶的身體的部位在所拍攝的圖像上的位置來(lái)設(shè)置所述識(shí)別區(qū)域。[10]在[9]中公開(kāi)的圖像處理裝置，其中，所述剪切區(qū)域確定單元基于所檢測(cè)到的所述用戶的身體的部位的尺寸來(lái)確定各個(gè)預(yù)定區(qū)域的尺寸?？墒顾鰴z測(cè)單元從所拍攝的圖像檢測(cè)用戶的手。[11]在[9]中公開(kāi)的圖像處理裝置，其中，所述檢測(cè)單元從所拍攝的圖像中檢測(cè)所述用戶的臉。[12]在[9]中公開(kāi)的圖像處理裝置，其中，所述檢測(cè)單元從所拍攝的圖像中檢測(cè)所述用戶的手。[13]在[7]至[12]中任一個(gè)中公開(kāi)的圖像處理裝置，還包括:運(yùn)動(dòng)確定單元，所述運(yùn)動(dòng)確定單元基于在所述識(shí)別區(qū)域中的運(yùn)動(dòng)矢量的量值來(lái)確定在所述識(shí)別區(qū)域中的運(yùn)動(dòng)，其中，所述識(shí)別單元根據(jù)所述運(yùn)動(dòng)確定單元作出的確定結(jié)果來(lái)識(shí)別所述用戶的姿勢(shì)。[14]在[2]至[13]中任一個(gè)中公開(kāi)的圖像處理裝置，還包括:顯示控制單元，所述顯示控制單元使顯示單元顯示所拍攝的圖像上的用戶以及表示所述預(yù)定區(qū)域的位置的圖像。[15]在[14]中公開(kāi)的圖像處理裝置，還包括:動(dòng)作處理單元，當(dāng)所述用戶的姿勢(shì)被識(shí)別時(shí)，所述動(dòng)作處理單元執(zhí)行對(duì)應(yīng)于所識(shí)別的姿勢(shì)的處理。[16]在[15]中公開(kāi)的圖像處理裝置，其中，所述顯示控制單元使多個(gè)顯示單元顯示所述表示所述預(yù)定區(qū)域的位置的圖像，以及其中，所述動(dòng)作處理單元執(zhí)行由所識(shí)別的姿勢(shì)以及多個(gè)所述預(yù)定區(qū)域中的其中所述用戶的姿勢(shì)被識(shí)別的預(yù)定區(qū)域所確定的處理。[17]在[14]至[16]中任一個(gè)中公開(kāi)的圖像處理裝置，其中，所述顯示控制單元使所述顯示單元顯示如下事實(shí):正在執(zhí)行姿勢(shì)識(shí)別或所述用戶的姿勢(shì)已被識(shí)別。[18]在[2]至[17]中任一個(gè)中公開(kāi)的圖像處理裝置，其中，所述特征量提取單元將所述差異圖像分成多個(gè)塊，并提取所述塊中的像素的平均亮度作為所述塊的特征量。本公開(kāi)內(nèi)容包含與如下專(zhuān)利申請(qǐng)中的公開(kāi)內(nèi)容相關(guān)的主題:于2012年I月13日提交日本專(zhuān)利局的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)JP2012-004837以及于2012年12月4日提交日本專(zhuān)利局的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)JP2012-265234，所述專(zhuān)利申請(qǐng)的全部?jī)?nèi)容通過(guò)引用并入本文。本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解的是，可以根據(jù)設(shè)計(jì)需求和其他因素出現(xiàn)各種修改、組合、子組合和替代，只要它們落在所附權(quán)利要求或其等同物的范圍內(nèi)即可。
權(quán)利要求
1.一種圖像處理裝置，包括: 差異圖像生成單元，所述差異圖像生成單元通過(guò)獲得剪切圖像的幀之間的差異來(lái)生成差異圖像，其中所述剪切圖像是通過(guò)剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的； 特征量提取單元，所述特征量提取單元從所述差異圖像中提取特征量；以及 識(shí)別單元，所述識(shí)別單元基于從按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別在所拍攝的圖像上的對(duì)象的具體運(yùn)動(dòng)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，所述識(shí)別單元將用戶的手作出的姿勢(shì)識(shí)別為所述對(duì)象的具體運(yùn)動(dòng)。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括: 手檢測(cè)單元，所述手檢測(cè)單元從所拍攝的圖像中檢測(cè)所述用戶的手；以及 剪切區(qū)域確定單元，所述剪切區(qū)域確定單元基于所檢測(cè)到的用戶的手在所拍攝的圖像上的位置來(lái)確定所述預(yù)定區(qū)域。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置， 其中，當(dāng)關(guān)于連續(xù) 的多個(gè)幀的所拍攝的圖像，所檢測(cè)到的用戶的手位于所拍攝的圖像上的一定范圍內(nèi)時(shí)，所述剪切區(qū)域確定單元基于所述用戶的手的位置來(lái)確定所述預(yù)定區(qū)域。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括: 剪切區(qū)域確定單元，所述剪切區(qū)域確定單元通過(guò)獲得在所拍攝的圖像上的每個(gè)區(qū)域中的幀之間的差異來(lái)確定所述預(yù)定區(qū)域。
6.根據(jù)權(quán)利要求2所述的圖像處理裝置， 其中，所述預(yù)定區(qū)域是在所拍攝的圖像上預(yù)先確定的區(qū)域。
7.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括: 區(qū)域設(shè)置單元，所述區(qū)域設(shè)置單元在所拍攝的圖像上設(shè)置其中布置有多個(gè)預(yù)定區(qū)域的識(shí)別區(qū)域， 其中，所述差異圖像生成單元生成布置在所述識(shí)別區(qū)域中的每個(gè)所述預(yù)定區(qū)域中的差異圖像， 其中，所述特征量提取單元從每個(gè)所述預(yù)定區(qū)域中的差異圖像中提取特征量，以及 其中，所述識(shí)別單元基于從在每個(gè)所述預(yù)定區(qū)域中的按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別所述用戶的姿勢(shì)。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，還包括: 剪切區(qū)域確定單元，所述剪切區(qū)域確定單元確定各個(gè)預(yù)定區(qū)域的尺寸，并設(shè)置在所述識(shí)別區(qū)域中。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，還包括: 檢測(cè)單元，所述檢測(cè)單元從所拍攝的圖像中檢測(cè)所述用戶的身體的部位， 其中，所述區(qū)域設(shè)置單元基于所檢測(cè)到的所述用戶的身體的部位在所拍攝的圖像上的位置來(lái)設(shè)置所述識(shí)別區(qū)域。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置， 其中，所述剪切區(qū)域確定單元基于所檢測(cè)到的所述用戶的身體的部位的尺寸來(lái)確定各個(gè)預(yù)定區(qū)域的尺寸。
11.根據(jù)權(quán)利要求9所述的圖像處理裝置， 其中，所述檢測(cè)單元從所拍攝的圖像中檢測(cè)所述用戶的臉。
12.根據(jù)權(quán)利要求9所述的圖像處理裝置， 其中，所述檢測(cè)單元從所拍攝的圖像中檢測(cè)所述用戶的手。
13.根據(jù)權(quán)利要求7所述的圖像處理裝置，還包括: 運(yùn)動(dòng)確定單元，所述運(yùn)動(dòng)確定單元基于在所述識(shí)別區(qū)域中的運(yùn)動(dòng)矢量的量值來(lái)確定在所述識(shí)別區(qū)域中的運(yùn)動(dòng)， 其中，所述識(shí)別單元根據(jù)所述運(yùn)動(dòng)確定單元作出的確定結(jié)果來(lái)識(shí)別所述用戶的姿勢(shì)。
14.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括: 顯示控制單元，所述顯示控制單元使顯示單元顯示所拍攝的圖像上的用戶以及表示所述預(yù)定區(qū)域的位置的圖像。
15.根據(jù)權(quán)利要求14所述的圖像處理裝置，還包括: 動(dòng)作處理單元，當(dāng)所述用戶的姿勢(shì)被識(shí)別時(shí)，所述動(dòng)作處理單元執(zhí)行對(duì)應(yīng)于所識(shí)別的姿勢(shì)的處理。
16.根據(jù)權(quán)利要求15所述的圖像處理裝置， 其中，所述顯示控制單元使多個(gè)顯示單元顯示所述表示所述預(yù)定區(qū)域的位置的圖像， 以及 其中，所述動(dòng)作處理單元執(zhí)行由所識(shí)別的姿勢(shì)以及多個(gè)所述預(yù)定區(qū)域中的其中所述用戶的姿勢(shì)被識(shí)別的預(yù)定區(qū)域所確定的處理。
17.根據(jù)權(quán)利要求16所述的圖像處理裝置， 其中，所述顯示控制單元使所述顯示單元顯示如下事實(shí):正在執(zhí)行姿勢(shì)識(shí)別或所述用戶的姿勢(shì)已被識(shí)別。
18.根據(jù)權(quán)利要求2所述的圖像處理裝置， 其中，所述特征量提取單元將所述差異圖像分成多個(gè)塊，并提取所述塊中的像素的平均亮度作為所述塊的特征量。
19.一種圖像處理方法，包括: 通過(guò)獲得剪切圖像的幀之間的差異來(lái)生成差異圖像，其中所述剪切圖像是通過(guò)剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的； 從所述差異圖像中提取特征量；以及 基于從按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別在所拍攝的圖像上的對(duì)象的具體運(yùn)動(dòng)。
20.一種程序，所述程序使計(jì)算機(jī)執(zhí)行如下處理: 通過(guò)獲得剪切圖像的幀之間的差異來(lái)生成差異圖像，其中所述剪切圖像是通過(guò)剪切出在所拍攝的圖像上的預(yù)定區(qū)域而獲得的； 從所述差異圖像中提取特征量；以及 基于從按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別在所拍攝的圖像上的對(duì)象的具體運(yùn)動(dòng)。
全文摘要
一種圖像處理裝置，包括差異圖像生成單元，其通過(guò)獲得剪切圖像的幀之間的差異生成差異圖像，其中所述剪切圖像是通過(guò)剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；特征量提取單元，其從差異圖像中提取特征量；以及識(shí)別單元，其基于從按時(shí)間順序排列的多個(gè)差異圖像中獲得的特征量來(lái)識(shí)別在所拍攝的圖像上的對(duì)象的具體運(yùn)動(dòng)。
文檔編號(hào)G06K9/00GK103207985SQ20131000381
公開(kāi)日2013年7月17日 申請(qǐng)日期2013年1月6日 優(yōu)先權(quán)日2012年1月13日
發(fā)明者前田幸德, 橫野順, 南野活樹(shù) 申請(qǐng)人:索尼公司