專利名稱：信息處理裝置、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信息處理裝置、信息處理方法和信息處理程序。
背景技術(shù)：
近年來，隨著TV視頻遞送技術(shù)的發(fā)展和網(wǎng)絡(luò)設(shè)備如記錄/再現(xiàn)設(shè)備的功能越來越復雜，電視機配備有各種功能。因而，需要經(jīng)由遙控器等的來自用戶的更復雜操作。另一方面，由于具有諸多操作掩組的遙控器對于用戶而言可操作性不佳，具有簡易按鈕配置的遙控器現(xiàn)在是遙控器的主流。然而，即使使用具有簡易掩組配置的遙控器，用戶仍有必要M控器多次發(fā)送指令到顯示器中顯示的分級菜單。畢竟需要來自用戶的、經(jīng)由構(gòu)成遙控器的按鈕的復雜操作和經(jīng)由具有簡易按鈕配置的遙控器對顯示器中顯示的復雜菜單的操作中的任一種操作。
作為一種消除經(jīng)由遙控器的操作困難的方法，例如日本專利申請?zhí)卦S公開第2004-356819號公開了 一種用以通過由成像裝置獲得的用戶手部移動來執(zhí)行電視機的各種功能而不使用遙控器的方法。在日本專利申請?zhí)卦S公開第2004-356819號中描述的方法使得用手指等對象來使電視顯示器進行菜單顯示。電祝機配名^有用以獲取用戶圖像的成像裝置。另夕卜，確定由成傳卑元獲取的用戶手指移動與菜單顯示中的手指是否匹配，而如果確定匹配，則可以執(zhí)行與菜單對應的功能。因此，用戶可以選擇電*配備有的各種功能。

發(fā)明內(nèi)容
然而，根據(jù)在日本專利申請?zhí)卦S公開第2004-356819號中描述的方法，用戶有必要根據(jù)由手指對象代表的菜單顯示來移動手指，以選擇顯示器中顯示的各種功能。因此，用戶有必要進行如顯示器中顯示的運動。有一個問題在于難以通過直觀地移動手指來選擇電#具有的各種功能。
已經(jīng)考慮到上述問題而實現(xiàn)本發(fā)明，并且希望提供一種使用戶能夠在
6操作圖標被顯示于顯示器中之后通過直觀地移動用戶手指來選擇/執(zhí)行各種功能的、新穎的和改進的信息處理裝置、信息處理方法和信息處理程序。
根據(jù)本發(fā)明的一個實施例，提供了一種信息處理裝置，該信息處理裝
置包括獲取對象的成像單元；圖標顯示控制單元，其使顯示器顯示與預定處理對應的操作圖標；獲取圖像顯示處理單元，其使顯示器依次地顯示輸入操作區(qū)域圖像，該輸入操作區(qū)域圖像由構(gòu)成成像單元獲取的圖像的像素區(qū)域之中包括用戶手部至少一部分的像素區(qū)域構(gòu)成；圖標管理單元，其管理針對^#作圖標的事件發(fā)布定義信息，該事件發(fā)布定義信息是用于確定用戶已經(jīng)操作該操作圖標的務(wù)降；^作確定單元，其基于顯示器中顯示的輸入操作區(qū)域圖像和事件發(fā)布定義信息來確定用戶是否已經(jīng)操作該操作圖標；以及處理執(zhí)行單元，其根據(jù)操作確定單元的確定結(jié)果來進行與操作圖標對應的預定處理。
根據(jù)上述配置，信息處理裝置可以使顯示器依次地顯示由以下像素區(qū)域構(gòu)成的輸入操作區(qū)域圖像該像素區(qū)域包括成像單元獲取的圖像中的用戶手部至少一部分。信息處理裝置可以使顯示器顯示與預定處理對應的操作圖標。信息處理裝置可以管理事件發(fā)布定義信息，該事件發(fā)布定義信息是用于確定用戶已經(jīng)搮作了使顯示器進行顯示的操作圖標的條件。信息處理裝置可以基于輸入操作區(qū)域圖像和在顯示器中顯示的操作圖標以及事件發(fā)布定義信息，來確定用戶是否已經(jīng)操作該操作圖標。另夕卜，信息處理裝置可以根據(jù)確定結(jié)果來進行與操作圖標對應的預定處理.
操作確定單元可以通過計算構(gòu)成輸入操作區(qū)域圖像的像素區(qū)域的重
的重心來計算重心的運動矢量，而識別成像單元獲取的用戶手部移動，
操作確定單元可以基于重心、運動矢量和事件發(fā)布定義信息來確定用戶是否已經(jīng)^l作該IMt圖標。
圖標管理單元可以通過將操作圖標與對應于操作圖標的事件發(fā)布定義信息和當滿足事件發(fā)布定義信息時處理執(zhí)行單元執(zhí)行的處理內(nèi)容關(guān)聯(lián)，來管理顯示器中顯示的各^S^作圖標。
如果^Mt確定單元確定用戶已經(jīng)操作顯示器中顯示的顯示圖標，則處理執(zhí)行單元可以進行與圖標管理單元管理的操作圖標關(guān)聯(lián)的處理內(nèi)容。
圖標顯示控制單元可以根據(jù)用戶的操作來更新顯示器中顯示的操作圖標。信息處理裝置還可以包括移動檢測單元，其通過比M像單元獲取的圖像與此前一幀獲取的圖像來險測發(fā)生改變的像素區(qū)域，以生成僅由檢測到的像素區(qū)域構(gòu)成的移動區(qū)域掩模圖像；以及膚色檢測單元，其檢測在構(gòu)成成像單元獲取的圖像的像素區(qū)域中具有預定色調(diào)的像素區(qū)域，以生成僅由檢測到的像素區(qū)域構(gòu)成的膚色區(qū)域掩模圖像。在這一情況下，輸入操作區(qū)域圖像可以由如下像素區(qū)域構(gòu)成該像素區(qū)域通過對構(gòu)成移動區(qū)域掩模圖像的像素區(qū)域和構(gòu)成膚色區(qū)域掩模圖像的像素區(qū)域進行AND (與)運算來計算。
如果構(gòu)成輸入操作區(qū)域圖像的像素的數(shù)目在與預先設(shè)置的預定時間相等或者更長的時段上等于或者大于預先設(shè)置的預定像素數(shù)目，則獲取圖像顯示處理單元可以使顯示器顯示輸入操作區(qū)域圖像。
獲取圖像顯示處理單元可以用構(gòu)成輸入操作區(qū)域圖像的像素的數(shù)目與顯示器中可顯示的像素的數(shù)目之比變成預定比這樣的方式縮放輸入操作區(qū)域圖像。
顯示器可以設(shè)置在與信息處理裝置分離的外部設(shè)備中。在這一情況下，信息處理裝置可以使設(shè)置在外部設(shè)備中的顯示器顯示IMt圖標和輸入操作區(qū)域圖像。
信息處理裝置還可以包括顯示廣播信號中包含的預定視頻的顯示單元，而顯示單元還可以包括顯示器。
信息處理裝置還可以包括聲音輸入單元，用戶將聲音輸入到該聲音輸入單元中；以及聲音識別處理單元，其識別輸入到聲音輸入單元中的聲音的類型。在這一情況下，圖標管理單元可以針對各類聲音根據(jù)聲音的類型來管理與顯示器中顯示的操作圖標有關(guān)的信息，而圖標顯示控制單元可以根據(jù)聲音識別處理單元識別的聲音類型、基于圖標管理單元管理的信息來使顯示器顯示與識別的聲音類型對應的操作圖標。
圖標顯示控制單元可以基于^Mt確定單元計算的重心的運動矢量來使顯示器顯示重心軌跡。
如果顯示器中顯示的重心軌跡變成閉合曲線，則圖標顯示控制單元可以使顯示器顯示下述操作圖標，該操作圖標對應于與閉合曲線包圍的顯示區(qū)域有關(guān)的預定處理.
根據(jù)本發(fā)明的另 一實施例，提供了 一種包括以下步驟的信息處理方法由成像單元獲取對象；使顯示器顯示與預定處理對應的操作圖標；使顯示器依次地顯示輸入操作區(qū)域圖像，該輸入操作區(qū)域圖像由構(gòu)成成像步驟中獲取的圖像的像素區(qū)域之中包括用戶手部至少一部分的像素區(qū)域構(gòu)
成；基于圖標顯示步驟中在顯示器中顯示的操作圖標、獲取圖像顯示步驟中在顯示器中顯示的輸入操作區(qū)域圖像和事件發(fā)布定義信息來確定用戶是否已經(jīng)操作該操作圖標，其中該事件發(fā)布定義信息針對W作圖標來管理并且是用于確定用戶已經(jīng)^Mt該^Mt圖標的4H，；以及根據(jù)操作確定步驟中的確定結(jié)果來進行與IMt圖標對應的預定處理。
根據(jù)本發(fā)明的另一實施例，提供了一種信息處理程序，該信息處理程序使計算機進行成4象處理，用以由成^象單元獲取對象；圖標顯示處理，用以使顯示器顯示與預定處理對應的操作圖標；獲取圖像顯示處理，用以使顯示器依次地顯示輸入操作區(qū)域圖像，該輸入操作區(qū)域圖像由構(gòu)成成像步驟中獲取的圖像的像素區(qū)域之中包括用戶手部至少一部分的像素區(qū)域構(gòu)成；^Mt確定處理，用以基于圖標顯示處理中在顯示器中顯示的操作圖標、獲取圖像顯示處理中在顯示器中顯示的輸入操作區(qū)域圖像和事件發(fā)布定義信息來確定用戶是否已經(jīng)操作該操作圖標，該事件發(fā)布定義信息針對>^#作圖標來管理并且是用于確定用戶已經(jīng)操作該操作圖標的條件；以及
執(zhí)行處理，用以根據(jù)IMt確定處理中的確定結(jié)果來進行與l^作圖標對應的預定處理.
根據(jù)上述本發(fā)明實施例，提供了 一種使用戶能夠在操作圖標被顯示于顯示器中之后通過直觀地移動用戶手指來選擇/執(zhí)行各種功能的、新穎和改進的信息處理裝置、信息處理方法和信息處理程序。


圖1是使用^4t本發(fā)明一個實施例的信息處理裝置的例子的概念圖2是示出了根據(jù)本發(fā)明第一實施例的TV 100的功能配置的框圖3是舉例說明在實施例中坐標變換處理單元128的坐標變換處理的概念圖4是舉例說明在實施例中由GUI (圖形用戶界面)管理單元110管理的GUI的說明圖5是舉例說明在實施例中由GUI管理單元110管理的GUI和事件發(fā)布定義信息的說明9圖6是示出了用戶使用根據(jù)實施例的TV 100來進行GUI操作的整個 處理流程的流程圖7是示出了在實施例中在圖6中所示步驟700的成像數(shù)據(jù)處理的具 體處理流程的流程圖8是示出了在實施例中在圖6中所示步驟800的狀態(tài)轉(zhuǎn)變處理的具 體處理流程的流程圖9是舉例說明在實施例中當向GUI操作狀態(tài)轉(zhuǎn)變時GUI顯示控制 單元108將在顯示單元118中顯示的GUI的i兌明圖IO是示出了在實施例中在圖6中所示步驟IOOO的獲取圖像顯示處 理的具體處理流程的流程圖11是舉例說明在實施例中在顯示單元118中顯示輸入操作區(qū)域圖 像的情況的說明圖12是示出了在實施例中在圖6中所示步驟1200的操作^fe GUI 的具體處理流程的流程圖13是舉例說明在實施例中在圖12中所示步驟1210的更新顯示單 元118的流程的概念圖14是示出了在第一改進方案中的電視機200的功能配置的框圖15是在笫二改進方案中用戶使用電視機300來選擇顯示器中的任 意圖〗象區(qū)域的概念圖16是示出了在第二改進方案中的電祝機300的功能配置的框圖17是舉例說明在第二改進方案中的電視機300與用戶手指的移動 一致^Mt預定顯示區(qū)域進行預定處理的處理流程的流程圖18是舉例說明在第二改進方案中的電視機300中的重心運動矢量 計算的概念圖；并且
圖19是舉例說明在第二改進方案中的電祝機300中的軌跡插值處理 的概念圖。
具體實施例方式
下文將參照附圖具體地描ii4^發(fā)明的優(yōu)選實施例。注意在本說明書和 附圖中，用相同標號表示具有基本上相同功能和結(jié)構(gòu)的結(jié)構(gòu)單元，并且省
10略對這些結(jié)構(gòu)單元的重復說明。
按以下所示順序進行描述
1. 本發(fā)明實施例的概述
2. 根據(jù)實施例的信息處理裝置 2-1. TV100的功能配置
2-2.本實施例中的處理流程(成像處理到GUI操作處理) 2-3.成〗象lt據(jù)處理流程 2-4.狀態(tài)轉(zhuǎn)變處理流程 2-5.獲取圖像顯示處理流程
2- 6. GUI操作處理力t^
3. 改進方案
3- 1.第一改進方案(使用聲音輸入功能) 3-2.第二改進方案(使用光標GUI)
(1.本發(fā)明實施例的概述)
在描述根據(jù)本發(fā)明實施例的信息處理裝置的細節(jié)之前，首先提供本發(fā) 明實施例的概述。如上所述，信息處理裝置如相關(guān)領(lǐng)域中配備有顯示器的 電恥K可以使用用戶手指對象在顯示器上顯示與各種功能對應的菜單。因 而，用戶可以通過與顯示器上顯示的手指一致地進行運動來選擇信息處理 裝置如電視機具有的各種功能。然而，用戶有必要按照顯示器上顯示的指 令來移動手指。因此，用戶終究難以通過手指的直觀移動來選擇信息處理 裝置的各種功能。
對照而言，根據(jù)本發(fā)明一個實施例的信息處理裝置使用戶能夠通過由 用戶直觀地移動手指(包括比如手掌這樣的部分)來選擇/執(zhí)行信息處理 裝置具有的各種功能。更具體而言，根據(jù)本實施例的信息處理裝置可以使 顯示器顯示用戶可以容易地識別其可^作性的操作圖標(GUI:圖形用戶 界面)。根據(jù)本實施例的信息處理裝置也可以使顯示器顯示由成傳卑元成 像的用戶手指的移動。另外，根據(jù)本實施例的信息處理裝置可以檢測用戶 手指的移動以識別用戶對顯示器上顯示的GUI進行的操作。因此，根據(jù) 本實施例的信息處理裝置可以才艮據(jù)顯示器上顯示的GUI和用戶手指的移 動來執(zhí)行各種功能。結(jié)果是用戶可以通過直觀地移動手指來操作顯示器上顯示的各種GUI，從而可以選擇/執(zhí)行信息處理裝置具有的各種功能。 圖1是使用根據(jù)本發(fā)明一個實施例的信息處理裝置的例子的概念圖.
如圖l中所示，用戶可以通過移動手指，就如同通過用戶的手指來^Mt顯
示器上顯示的各種GUI而不使用遙控器一樣，來選擇/執(zhí)行信息處理裝置 具有的各種功能。
下文將描述具有上述特征的根據(jù)本發(fā)明一個實施例的信息處理裝置 的細節(jié)。在以下實施例中以TV100作為相^據(jù)本發(fā)明一個實施例的信息處 理裝置的例子，以描述該實施例，但是本發(fā)明不限于這樣的例子。例如， 信息處理裝置可以是個人計算機或者是具有用于各種操作的顯示器的信 息處理裝置?；蛘撸畔⑻幚硌b置可以使外部設(shè)備的顯示器顯示這樣的操 作菜單，比如各種記錄/再現(xiàn)設(shè)備如硬盤記錄器和數(shù)字萬用盤(DVD)記 錄器或者游戲機。在以下描述中，"手指"這一表達并非必然地^示人類 手指的一部分，而是可以表示包括手掌和腕部的整個手部。
(2.根據(jù)一個實施例的信息處理裝置)
(2-1. TV100的功能配置)
首先將描述電視機100 (下文稱為TV 100 )的功能配置，該TV是根 據(jù)本發(fā)明一個實施例的信息處理裝置的例子。圖2是示出了根據(jù)實施例的 TV 100的功能配置的框圖。
如圖2中所示，TV 100主要包括成〗象單元102、用戶區(qū)域檢測單元 104、狀態(tài)轉(zhuǎn)變處理單元105、獲取圖像顯示處理單元106、 GUI顯示控 制單元108、 GUI管理單元llO、 GUI操作確定單元U2、 GUI操作存儲 單元114、處理執(zhí)行單元116和顯示單元118。這些部件由總線連接并由 中央處理單元(CPU )控制。下文將描述TV 100的各部件的細節(jié)。
(成像單元102 )
成像單元102包括用于使來自對象的光在成像表面上形成圖像的光 學系統(tǒng)如透鏡，和具有成像表面的圖像獲取器件如電荷耦合器件(CCD ). 成像單元102將通過透鏡捕獲的對象圖傳游換成電信號并且輸出電信號。 附帶地，設(shè)置在成像單元102中的圖像獲取器件不限于CCD,而可以例 如是互補金屬氧化物半導體(CMOS )。也有可能通過控制成像單元102 的驅(qū)動機構(gòu)來驅(qū)動變焦透鏡、聚焦透鏡(未示出)等，從而根據(jù)用戶操作 以適當變焦和焦距對對象進行成像。由成像單元102成像的視頻信號由 AD轉(zhuǎn)換器(未示出)轉(zhuǎn)換成數(shù)字信號、然后發(fā)送到用戶區(qū)域檢測單元104。(用戶區(qū)域檢測單元104)
用戶區(qū)域檢測單元104檢測由成像單元102成像的視頻區(qū)域中包含的 用戶手指(手部)區(qū)域'如圖2中所示，用戶區(qū)域檢測單元104主要包括 移動檢測單元120、膚色檢測單元122和算術(shù)處理單元124。下文將描述 構(gòu)成用戶區(qū)域檢測單元104的各部件的細節(jié)。
(移動檢測單元120 )
移動檢測單元120基于所謂的幀差值方法來檢測用戶手部的移動，該 幀差值方法提取由成像單元102成像的預定幀與在該幀之前成像的幀之 間的視頻差值。例如，移動檢測單元120可以提取由成像單元102成像的 幀與幀存儲器(未示出)中記錄的先前圖^象之間的差值、也就是兩幀之間 的差值部分，因此，移動檢測單元120可以通過提取兩幀之間的差值來識 別從先前幀移動的部分。移動檢測單元120生成僅由與以這一方式識別的 移動部分對應的區(qū)域構(gòu)成的圖像作為移動區(qū)域掩模圖像，并且將該圖像發(fā) 送到算術(shù)處理單元124。
在本實施例中，移動檢測單元120根據(jù)在前幀與在后幀之間的差值來 檢測成傳對象的移動，但是本發(fā)明不限于此。例如，移動檢測單元120 可以通過包括更復雜的檢測功能來更精確地識別用戶的移動，但是本發(fā)明 并非旨在于提高對用戶移動的檢測準確度，因此將不描述細節(jié)。也就是說， 移動檢測單元120可以通過各種方法檢測由成像單元102成像的區(qū)域內(nèi)的 移動，并且該檢測不限于具體檢測方法。
(膚色檢測單元122)
膚色檢測單元122檢測由成像單元102成像的預定幀中存在的膚色區(qū) 域。盡管上述移動檢測單元120可以檢測預定對象在成像區(qū)域中的移動， 但是例如如果除了用戶手部以外的任何軀體在移動，則移動檢測單元120 將檢測到軀體的移動。因此，通過除了提供移動檢測單元120之外還提供 膚色檢測單元122，根據(jù)本實施例的用戶區(qū)域檢測單元104可以更可靠地 檢測用戶手部的移動。
為了檢測膚色區(qū)域，例如基于構(gòu)成由成像單元102獲取的獲取圖像的 各像素的顏色信息來計算各像素的信息，比如色調(diào)、飽和度和亮度?；?計算的信息，膚色檢測單元122可以確定獲取圖像中包含的膚色區(qū)域。
由成像單元102獲取的圖像具有各像素的由紅(R)、綠(G)和藍(B) 組成的RGB顏色信息。膚色檢測單元122將RGB信息轉(zhuǎn)換成色調(diào)、飽
13和度和亮度(HSV)信息。這里，HSV是由色調(diào)、飽和度和亮度這三個 分量組成的信息。色調(diào)是指顏色類型，比如紅色、藍色和黃色。飽和度是 指顏色鮮艷度。亮M指顏色亮度。
膚色檢測單元122例如按照下文所示公式將構(gòu)成由成像單元102獲取 的圖l象的各像素的RGB顏色信息轉(zhuǎn)換成HSV信息
H = 60xG—萬 (1)
H-60x_t _+120 (2) H-60x_"一G +240 (3) S-255x房—層 (4)
V = MAX (5)
這里，R、 G和B是構(gòu)成由成4象單元102獲取的圖l象的名"象素的RGB 顏色信息的值，并且例如由數(shù)字0到255表示。"MAX"是構(gòu)成由成像單 元102獲取的圖像的各像素的RGB值的最大值，而"MIN"是其最小值。 在公式(1)中，當R值是某一圖像的RGB值之中的最大值(MAX)時 可以確定色調(diào)(H)。在公式(2)中，當G值是某一圖像的RGB值之中 的最大值(MAX)時可以確定色調(diào)(H)。在公式(3)中，當B值是某 一圖像的RGB值之中的最大值(MAX)時可以確定色調(diào)(H)。根據(jù)上 文所示公式(1)到公式(5 )，計算范圍為0到359的H值、0到255的 S值和0到255的V值。
膚色檢測單元122可以根據(jù)上文所示公式(1)到公式(5 )計算構(gòu)成 由成像單元102獲取的圖像的各像素的HSV值。例如，如果構(gòu)成由成像 單元102獲取的圖像的某一像素的顏色信息是R-208、 G-145和B = 130，則將HSV值計算為H-ll、 S-95和V-208。
由于HSV值中與色調(diào)有關(guān)的值(H)是獨立的，所以膚色檢測單元 122可以確定由成像單元102獲取的圖像中的預定色調(diào)區(qū)域。
這里，代^A類皮膚的色調(diào)根據(jù)經(jīng)驗已知約為H-6到38。因此，膚
H-6到38的像素來提取獲取圖像中包含的膚色區(qū)域作為膚色區(qū)域掩模 圖像(該膚色區(qū)域僅由以這一方式識別的膚色區(qū)域構(gòu)成)，并且將該圖像 發(fā)送到算術(shù)處理單元124。上述RGB值和HSV值僅為用來描述本實施例的例子，并且本發(fā)明 不限于這樣的例子。例如，上述例子中的RGB值表示為0到255這些值， 但是當然地也可以使用其它數(shù)值如0到1或者百分比表示，并且應當理解 將相應地改變上述公式(1)到(5 )。
(算術(shù)處理單元124 )
算術(shù)處理單元124基于上述由移動檢測單元120生成的移動區(qū)域掩模 圖像和由膚色檢測單元122生成的膚色區(qū)域掩模圖像來生成將在顯示單 元118中顯示的輸入操作區(qū)域圖像。算術(shù)處理單元124可以例如通過基于 AND (與)運算合成構(gòu)成移動區(qū)域掩模圖像的圖像區(qū)域和構(gòu)成膚色區(qū)域 掩模圖像的圖像區(qū)域來生成輸入操作區(qū)域圖像。因此，通il^于AND運 算來合成移動區(qū)域掩模圖像和膚色區(qū)域掩模圖像，可以通過僅提取用戶手 部在其中移動了的區(qū)域來生成輸入操作區(qū)域圖像。
在狀態(tài)轉(zhuǎn)變處理單元105和獲取圖〗象顯示處理單元106對以這一方式 生成的輸入操作區(qū)域圖像進行各種處理之后，在顯示單元118中顯示圖 像。因此，在顯示單元118中僅顯示由成像單元102獲取的視頻中用戶的 手部在其中移動了的視頻部分。
在本實施例中，用戶區(qū)域檢測單元104通過聯(lián)合地使用移動檢測和膚 色檢測來確定用戶手部在其中移動了的區(qū)域，但是本發(fā)明并非必然地限于 上述例子，例如，配^^有紅外線傳感器的成^象單元102當然可以生成溫度 分布圖像，以進一步提高對用戶手部在其中移動了的區(qū)域進行檢測的精 度。另外，根據(jù)上述膚色檢測，有可能也提取與用戶面部對應的區(qū)域。因 此，也有可能通過使用面部感測技術(shù)來確定獲取圖像區(qū)域中與用戶面部對 應的部分，以基于NOT (非)運算從輸入操作區(qū)域圖像排除與用戶面部 對應的區(qū)域。作為面部感測技術(shù)，例如可以使用支持向量機(SVM)、增 強(boosting )、神經(jīng)網(wǎng)絡(luò)或者;M正-面部(Eigen-Face )。
(狀態(tài)轉(zhuǎn)變處理單元105 )
將描述基于由用戶區(qū)域檢測單元104生成的輸入操作區(qū)域圖像來確 定是否在顯示單元118中顯示各種GUI或者獲取圖像的狀態(tài)轉(zhuǎn)變處理單 元105。用戶可以通過移動手部來操作顯示單元118中顯示的各種GUI。 因此，如果在由成像單元102獲取的視頻中沒有包含用戶手部，或者即使 包含手部而手部幾乎沒有移動，則無需使顯示單元118顯示獲取圖像。也 就是說，僅當用戶移動手部希望進行預定操作時，才有必要使顯示單元118顯示獲取圖像。因此，在本實施例中，狀態(tài)轉(zhuǎn)變處理單元105基于用 戶區(qū)域檢測單元104生成的輸入操作區(qū)域圖像來確定是否在顯示單元118 中顯示獲取圖像.
狀態(tài)轉(zhuǎn)變處理單元105例如確定構(gòu)成輸入操作區(qū)域圖像的像素的數(shù) 目在與預先設(shè)置的預定時間相等或者更長的時段上是否持續(xù)等于或者大 于預先設(shè)置的預定閾值。如果構(gòu)成輸入操作區(qū)域圖像的像素的數(shù)目在與預 定時間相等或者更長的時段上等于或者大于預定閾值，則狀態(tài)轉(zhuǎn)變處理單 元105確定用戶希望操作顯示單元118中顯示的GUI，并且將輸入操作區(qū) 域圖像發(fā)送到獲取圖像顯示處理單元106。隨后，在獲取圖像顯示處理單 元106進行縮放處理和坐標變換處理之后，在顯示單元118中顯示輸入操 作區(qū)域圖像。
附帶地，下文將其中用戶可以在顯示單元118中顯示包括用戶的移動 手部的輸入操作區(qū)域圖像的情況下操作顯示單元118中顯示的各種GUI 的狀態(tài)稱為"GUI操作狀態(tài)"。另一方面，下文將其中顯示單元118由于用 戶沒有操作顯示單元118中顯示的各種GUI而沒有顯示任何獲取圖像的 狀態(tài)稱為"操作等待狀態(tài)"。
用以確定是否允許向GUI操作狀態(tài)轉(zhuǎn)變的預定時間或者像素數(shù)目閾 值可以被任意地設(shè)置并且不限于具體值。為了允許從操作等待狀態(tài)向GUI 操作狀態(tài)的轉(zhuǎn)變而設(shè)置的預定時間將在以下描述中稱為"操作狀態(tài)轉(zhuǎn)變設(shè) 置時間"。
如果如上所述構(gòu)成輸入操作區(qū)域圖像的像素的數(shù)目在與操作狀態(tài)轉(zhuǎn) 變設(shè)置時間相等或者更長的時段上持續(xù)等于或者大于預先設(shè)置的預定閾 值，則狀態(tài)轉(zhuǎn)變處理單元105允許從操作等待狀態(tài)向GUI操作狀態(tài)的轉(zhuǎn) 變。另一方面，如果構(gòu)成輸入操作區(qū)域圖像的像素的數(shù)目沒有在與操作狀 態(tài)轉(zhuǎn)變設(shè)置時間相等或者更長的時段上持續(xù)等于或者大于預先設(shè)置的預 定閾值，則狀態(tài)轉(zhuǎn)變處理單元105維持操作等待狀態(tài)。如^GUI操作 狀態(tài)中例如構(gòu)成輸入操作區(qū)域圖像的像素的數(shù)目在與預先設(shè)置的預定時 間相等或者更長的時段上持續(xù)等于或者少于預先設(shè)置的預定閾值，則狀態(tài) 轉(zhuǎn)變處理單元105允許從GUI操作狀態(tài)向操作等待狀態(tài)的轉(zhuǎn)變。為了允 許從GUI操作狀態(tài)向操作等待狀態(tài)的轉(zhuǎn)變而設(shè)置的預定時間將在以下描 述中稱為"等待狀態(tài)轉(zhuǎn)變設(shè)置時間"。
在狀態(tài)轉(zhuǎn)變處理單元105以這一方式控制在GUI操作狀態(tài)與操作等 待狀態(tài)之間的轉(zhuǎn)變的情況下，根據(jù)本實施例的TV100可以僅當用戶希望
16操作GUI時才使顯示單元118顯示輸入操作區(qū)域圖像。因此，當不希望 對GUI的操作時，比如當用戶樂于，見看預定節(jié)目時，并不4吏顯示單元118 顯示輸入操作圖像區(qū)域。
(獲取圖像顯示處理單元106)
接著將描述獲取圖像顯示處理單元106,該獲取圖像顯示處理單元對 由用戶區(qū)域檢測單元104生成的輸入操作區(qū)域圖像進行預定處理，從而使 輸入操作區(qū)域圖像可以顯示于顯示單元118中。如果上述狀態(tài)轉(zhuǎn)變處理單 元105引起從操作等待狀態(tài)向GUI操作狀態(tài)的轉(zhuǎn)變，則獲取圖像顯示處 理單元106對輸入操作區(qū)域圖傳進行預定處理。如圖2中所示，獲取圖像 顯示處理單元106主要包括縮放處理單元126和坐標變換處理單元128。 下文將描述構(gòu)成獲取圖像顯示處理單元106的各部件的細節(jié)。
(縮放處理單元126)
縮放處理單元126基于顯示單元118的有效像素數(shù)目來縮放輸入操作 區(qū)域圖《象。如上所述，輸入操作區(qū)域圖^象基本上^1僅僅包括用戶的移動手 部的圖像。因此，包括用戶手部的區(qū)域的像素數(shù)目根據(jù)TV100與用戶之 間的距離和成像單元102的成像性能而不同。因此，縮放處理單元126 對輸入操作區(qū)域圖像進行縮放處理，從而使顯示單元118通常顯示尺寸恒 定的輸入操作區(qū)域圖像。
例如在由狀態(tài)轉(zhuǎn)變處理單元105引起向GUI操作狀態(tài)的轉(zhuǎn)變之后， 縮放處理單元126計算多達若干以前幀的平均圖傳教目和輸AJMt區(qū)域 圖像的重心。然后，縮放處理單元126計算縮放比，從而使計算的平均4象 素數(shù)目與顯示單元118的有效像素數(shù)目之比變成預定比。例如，縮放處理 單元126可以縮放輸入操作區(qū)域圖像，從而使該圖像具有數(shù)目與顯示單元 118的有效像素數(shù)目的10%相等的像素。在這一情況下，縮放處理單元 126可以縮放例如在計算的重心周圍的輸入操作區(qū)域圖像。
因而，無論成像單元102的成像性能或者與用戶的距離如何，在顯示 單元118中通常顯示尺寸恒定的輸入操作區(qū)域圖像。
上述縮放比可以例如在初始化期間設(shè)置成預定值，并且當然可以在必 要時由用戶改變。
(坐標變換處理單元128)
在如上所i^輸入操作區(qū)域圖像進行縮放處理之后，坐標變換處理單 元128可以對之進行坐標變換處理。坐標變換處理單元128對已經(jīng)進行縮放處理的輸入操作區(qū)域圖像進行向與顯示單元118對應的屏幕坐標的坐 標變換。
根據(jù)獲取圖像生成的輸入操作區(qū)域圖像的坐標系可以根據(jù)成像單元 102的g或者顯示單元118的顯示M^而不同于顯示單元118的屏幕坐 標。在這樣的情況下，坐標變換處理單元128對輸入操作區(qū)域圖像進行坐 標變換處理，以將圖4象轉(zhuǎn)換成與顯示單元118的屏幕坐標適應的坐標系。 因而，輸入操作區(qū)域圖像在對之進行了坐標變換處理之后將正確地顯示于 顯示單元118中。
圖3是舉例說明坐標變換處理單元128的坐標變換處理的概念圖。圖 3中所示例子是如下情況其中已經(jīng)進行縮放處理的輸入操作區(qū)域圖像的 坐標系是中心為原點的坐標系，而顯示單元118的屏幕坐標是原點在左上 角的1920 (水平)xl080 (豎直)。在這樣的情況下，如果顯示單元118 的屏幕坐標是Xs和Ys，而輸入操作區(qū)域圖像的坐標是Xc和Yc，則坐標 變換處理單元128可以通過下文所示公式進行坐標變換
Xs二屏幕寬度(1920) x (Xc + 1.0) /2
Ys二屏幕高度(1080) x (2.0— (Yc + 1.0)) /2
上述公式提供了沒有考慮高寬比的坐標變換，并且當然有可能通過考 慮由成像單元102獲取的圖^象和顯示單元118的顯示器的高寬比來進行坐 標變換。例如通常應用的剪裁處理可以用于考慮了高寬比的坐標變換，而 且將不描述該處理的細節(jié)。在上述例子中描述了其中坐標變換處理單元 128以使由成像單元102獲取的圖像的坐標系適應于顯示單元118的屏幕 坐標這樣的方式進行坐標變換處理的情況，但是本發(fā)明不限于這樣的例 子。例如，坐標變換處理單元128可以進行坐標變換處理，從而使顯示單 元118的屏幕坐標適應于由成傳卑元102獲取的圖^象的坐標系。
以這一方式，將已經(jīng)進行各種處理的輸入操作區(qū)域圖像發(fā)送到顯示輸 入操作區(qū)域圖像的顯示單元118.
(顯示單元118 )
顯示單元118是顯示裝置，比如陰極射線管(CRT)、液晶顯示器 (LCD )和有機電致發(fā)光顯示器(有機EL顯示器)。顯示單元118可以 顯示經(jīng)由天線(未示出)從廣播臺接收的預定節(jié)目、從獲取圖像顯示處理 單元106發(fā)送的輸入操作區(qū)域圖像、各種GUI等。用戶可以基于顯示單 元118中顯示的各種GUI和輸入操作區(qū)域圖像中包含的用戶手部的視頻
18來選擇/執(zhí)行TV 100的各種功能。
(GUI顯示控制單元108 )
接著將描述對顯示單元118中與TV 100具有的各種功能對應的GUI 的顯示進行控制的GUI顯示控制單元108。 GUI顯示控制單元108作為 本發(fā)明的圖標顯示控制單元來工作。
當上述狀態(tài)轉(zhuǎn)變處理單元105引起向GUI操作狀態(tài)的轉(zhuǎn)變或者用戶 通過下述GUI ^Mt確定單元112選擇某一功能時，GUI顯示控制單元108 控制顯示單元118切換各種GUI等的顯示。例如，GUI顯示控制單元108 使顯示單元118顯示由GUI管理單元110管理的GUI之中由GUI操作確 定單元112指示的那些GUI。將在下述處理流程中描述GUI顯示控制單 元108對顯示單元118中的GUI的顯示控制細節(jié)。
(GUI管理單元110 )
GUI管理單元110管理與TV 100具有的各種功能對應的GUI。顯示 單元118中顯示的GUI被使得顯示用戶直觀地識別其操作的操作圖標。 因此，有必JH吏顯示單元118顯示與TV 100具有的各種功能對應的不同 GUI, GUI管理單元110管理這樣的多個不同GUI。 GUI管理單元110 作為本發(fā)明的圖標管理單元來工作。
這里，將參照圖4描述由GUI管理單元110管理的GUI的例子。圖 4是舉例說明由GUI管理單元110管理的GUI的說明圖.
圖4中所示的滑動條GUI 400例如用于音量調(diào)節(jié)、顯示器的亮>1/明 度調(diào)節(jié)或者屏幕的豎直滑動。也就是說，用戶可以通過針對顯示單元U8 中顯示的滑動條GUI 400豎直地移動用戶手指來使TV 100進行音量調(diào) 節(jié)、顯示器的亮JL/明度調(diào)節(jié)或者屏幕的豎直滑動。
接著，撥盤GUI 402例如用于音量調(diào)節(jié)、幀前進或者切換設(shè)置屏幕 中的輸入數(shù)，也就是說,用戶可以通過移動用戶手指，就如同針對顯示單 元118中顯示的M GUI 402繪制圓團一樣，來使TV 100進行音量調(diào)節(jié)、 幀前進或者切換設(shè)置屏幕中的輸入數(shù).
接著，^GUI 404例如用于頻道選擇、設(shè)置屏幕的數(shù)輸入或者菜 單選擇判決。也就是說，用戶可以通過針對顯示單元118中顯示的^L GUI 404例如向下移動用戶手指來使TV 100進行頻道選擇、設(shè)置屏幕的 數(shù)輸入或者菜單選擇判決'接著，開/關(guān)(ON/OFF)切換GUI 406例如用于預定模式如消聲模 式、暫停模式或者雙語模式的開/關(guān)判決。也就是說，用戶可以通過針對 顯示單元118中顯示的開/關(guān)切換GUI 406例如向上移動用戶手指來4吏TV 100進行用于預定模式如消聲模式、暫停模式或者雙語模式的開/關(guān)判決。
接著，微動撥盤(jogdial) GUI408例如用于頻道切換、音量調(diào)節(jié)、 設(shè)置模式切換或者菜單顯示切換。也就是說，用戶可以通過針對顯示單元 118中顯示的微動撥盤GUI 408例如豎直地移動用戶手指來使TV 100進 行頻道切換、音量調(diào)節(jié)、設(shè)置模式切換或者菜單顯示切換。
圖4中顯示的GUI僅為在本實施例中由GUI管理單元110管理并且 使顯示單元118顯示的GUI的例子，并且本發(fā)明不限于這些GUI。也就 是說，GUI管理單元110可以具有與TV 100具有的各種功能和模式對應 的各種GUI,并且GUI顯示控制單元108可以使顯示單元118顯示這些 GUI,
GUI管理單元110還管理與管理的GUI對應的事件發(fā)布定義信息。 如上所述，用戶可以通過針對顯示單元118中顯示的各GUI移動用戶手 指來選擇/執(zhí)行TV 100的與各GUI對應的各種功能。用戶是否已經(jīng)^Mt 顯示單元118中顯示的GUI由下述GUI操作確定單元112確定。因此， GUI ^Mt確定單元112有必^道將用戶手指什么方式的移動確定為對 GUI的操作，因此，GUI管理單元110需要管理對于操作輸入所必需的 用戶手指移動有關(guān)的信息、也就是針對各GUI的事件發(fā)布定義信息。通 常，操作輸入所必需的用戶手指移動對于各GUI是不同的。例如，圖4 中所示滑動條GUI 400僅支持豎直操作，而撥盤GUI 402僅支持旋轉(zhuǎn)方 向上的操作。特別是對于^L GUI 404等，有必要預先定義對于操作輸 入所必需的用戶手指移動。因此，GUI管理單元110管理針對各GUI的 事件發(fā)布定義信息。因而，GUI^Mt確定單元112可以基于顯示單元118 中顯示的GUI、輸入操作區(qū)域圖像中包含的用戶手指移動和由GUI管理 單元110管理的事件發(fā)布定義信息來正確地確定用戶是否已經(jīng)操作GUI。
圖5是舉例說明在實施例中由GUI管理單元110管理的GUI和事件 發(fā)布定義信息的說明圖。如圖5中所示，GUI管理單元110可以在數(shù)據(jù)庫 中管理TV 100的功能、與功能對應的GUI以及與GUI對應的事件發(fā)布 定義信息。
例如，水平方向上的滑動條GUI對應于TV100的音量調(diào)節(jié)，而GUI 管理單元110具有與滑動條GUI對應的事件發(fā)布定義信息。在圖5中所示的例子中，滑動條GUI的事件發(fā)布定義信息是"從光標位置水平地移動 五個連續(xù)幀"。這意味著例如當示出用戶移動手指的輸入操作區(qū)域圖像中 的像素區(qū)域的重心從滑動條GUI的光標位置連續(xù)地向左或者向右移動五 幀時，可以接受對滑動條GUI的操作輸入。也就是說，如果輸入^作區(qū) 域圖像中的像素區(qū)域的重心從滑動條GUI的光標位置連續(xù)地向右移動五 幀，則提高音量，而如果輸入操作區(qū)域圖像中的像素區(qū)域的重心連續(xù)地向 左移動五幀，則降低音量。因此，在GUI管理單元110管理如圖5中所 示數(shù)據(jù)庫的情況下，GUI操作確定單元112可以基于數(shù)據(jù)庫正確地接受來 自用戶的GUI操作.圖5中所示數(shù)據(jù)庫僅為用以描述本實施例的例子，并且本發(fā)明不限于 該例子.也就是說，當然例如有可能圖5中所示的事件發(fā)布定義信息在初 始化等中被設(shè)置或者由用戶任意地修改。因此，用戶可以任意地修改GUI 或者事件發(fā)布定義信息，從而可以通過最適合于用戶感知的手指移動來操 作GUI。(GUI操作確定單元112)如上所述，GUI ^Mt確定單元112基于顯示單元118中顯示的GUI、 輸入操作區(qū)域圖像中的像素區(qū)域的重心和由GUI管理單元110管理的事 件發(fā)布定義信息來確定用戶是否已經(jīng)操作GUI, GUI操作確定單元112 作為本發(fā)明的操作確定單元來工作。例如,GUI操作確定單元U2針對各幀計算已經(jīng)由獲取圖像顯示處理 單元106進行預定處理的輸入操作區(qū)域圖像中包含的用戶手指像素區(qū)域 的重心。以這一方式計算的重心存儲于下述GUI^Ht存儲單元中。因而， GUI操作確定單元112可以通過計算從以往幀的重心到當前幀的重心的 軌跡來識別用戶手指的移動。通過比較以這一方式計算的重心軌跡與顯示 單元118中顯示的GUI所在的像素區(qū)域，GUI操作確定單元112可以基 于事件發(fā)布定義信息來確^A否接受GUI的操作輸入。GUI操作確定單 元112確定的GUI操作的例子的細節(jié)將在下述處理流程中描述。(GUI操作存儲單元114)如上所述，GUI操作存儲單元114是用以存儲由GUI操作確定單元 112計算的重心、重心軌跡等的存儲域。GUI操作存儲單元114可以由非 易失性存儲器或者硬盤構(gòu)成。(處理執(zhí)行單元116)處理執(zhí)行單元116根據(jù)上述GUI操作確定單元112的確定結(jié)果來執(zhí) 行TV100具有的各種功能。如上所述，顯示單元118中顯示的各GUI對 應于TV100具有的各種功能。因此，如果例如GUI操作確定單元112確 定用戶已經(jīng)操作與音量調(diào)節(jié)對應的滑動條型GUI,則處理執(zhí)行單元116 進行對TV 100的音量調(diào)節(jié)。類似地，如果例如GUI操作確定單元112確 定用戶已經(jīng)操作與頻道選擇對應的^fe型GUI,則處理執(zhí)行單元116切換 TV 100的頻道。在提供上述功能配置的情況下，根據(jù)本實施例的TV 100可以使顯示 單元118顯示用戶可以容易識別其操作的操作圖標的GUI。 TV 100也可 以使顯示單元118顯示由i殳置在TV 100中的成傳卑元102獲取的用戶手 指移動。與顯示單元118中顯示的各GUI對應的事件發(fā)布定義信息可以 由GUI管理單元110管理。因而，根據(jù)本實施例的TV100可以基于顯示 單元118中顯示的GUI、用戶手指的移動和事件發(fā)布定義信息來接受GUI 的操作輸入。也就是說，根據(jù)本實施例的TV 100通過在顯示單元118中 顯示操作圖標的GUI來使用戶能夠通過直觀地移動用戶手指來選擇/執(zhí)行 各種功能。(2-2.從成4象處理到GUI操作處理的整個處理流程)接著將描述用戶使用如上所述配置的本實施例中的TV 100來i^行 GUI處理的整個處理流程。圖6是示出了用戶使用根據(jù)該實施例的TV 100來進行GUI操作的整 個處理流程的流程圖。圖6示出了整個處理流程，并且圖6中所示各段處 理的細節(jié)將在下述各段處理的處理流程中描述.如圖6中所示，在步驟700進行成^Jt據(jù)輸入處理。這是如下處理， 其中通it^成像單元102獲取的獲取圖像中僅確定用戶手指(手部)在其 中移動了的區(qū)域，來生成將在顯示單元118中顯示的輸入IMt區(qū)域圖^象。 如上所述，上述處理由設(shè)置在用戶區(qū)域檢測單元104中的移動檢測單元 120、膚色檢測單元122和算術(shù)處理單元124進行。接著在步驟800基于在步驟700生成的輸入操作區(qū)域圖像來進行引起 向GUI操作狀態(tài)或者操作等待狀態(tài)的轉(zhuǎn)變的處理。這是如下處理，其中 基于在步驟700生成的輸入操作區(qū)域圖像的像素數(shù)目、預先設(shè)置的預定時 間和閾值等確定要引起向哪個狀態(tài)的轉(zhuǎn)變，并且引起向所確定的狀態(tài)的轉(zhuǎn) 變。如上所述，上述處理由狀態(tài)轉(zhuǎn)變處理單元105進行。接著在步驟卯0確定當前狀態(tài)是GUI操作狀態(tài)還是操作等待狀態(tài)。 如果當前狀態(tài)是GUI操作狀態(tài)，則將進行在步驟1000和隨后的處理，而 如果當前狀態(tài)是操作等待狀態(tài)，則將不進行用戶的GUI操作。接著在步驟1000進行獲取圖像顯示處理，以使顯示單元118正確地 顯示在步驟700生成的輸入操作區(qū)域圖像。這是如下處理，其中對在步驟 700生成的輸入操作區(qū)域圖傳進行縮放處理和坐標變換處理。如上所述， 上述處理由設(shè)置在獲取圖像顯示處理單元106中的縮放處理單元126和坐 標變換處理單元128進行。隨后在步驟1200基于在步驟1000在顯示單元118中顯示的用戶手指 移動和顯示單元118中顯示的GUI來進行執(zhí)行TV 100的與各GUI對應 的功能的處理。這是如下處理，其中例如基于顯示單元118中顯示的GUI、 構(gòu)成輸入操作區(qū)域圖像的用戶手指像素區(qū)域的重心軌跡和事件發(fā)布定義 信息來確定用戶是否已經(jīng)操作GUI。另外，這是如下處理，其中根據(jù)確 定結(jié)果或者TV 100具有的各種功能的執(zhí)行結(jié)果來改變顯示單元118中顯 示的GUI。如上所述，上述處理由GUI操作確定單元112、 GUI顯示控 制單元108和處理執(zhí)行單元116進行'利用上述處理流程，根據(jù)本實施例的TV 100可以通過顯示用戶容易 理解的操作圖標的GUI,根據(jù)用戶的手指的直觀移動來執(zhí)行TV 100具有 的各種功能。接著下文將描述圖6中所示各段處理的具體處理流程. (2-3.成^lfc據(jù)處理流程)首先將描述在圖6中所示處理流程之中在步驟700的關(guān)于成傳_數(shù)據(jù)處 理的具體處理流程。圖7是示出了在圖6中所示步驟700的成*據(jù)處理 的具體處理流程的流程圖。在成像數(shù)據(jù)處理流程中，首先在步驟702將成《象單元102獲取的成4象 數(shù)據(jù)輸入到設(shè)置在用戶區(qū)域檢測單元104中的移動檢測單元120和膚色檢 測單元122中。接著在步驟704 ，移動檢測單元120基于輸入的當前圖像數(shù)據(jù)與以往 圖像數(shù)據(jù)之間的差值僅確定由成像單元102獲取的圖像中有移動的部分. 然后，移動檢測單元120生成移動區(qū)域掩模圖像(該圖像是僅由以這一方 式確定的移動區(qū)域構(gòu)成的圖像)并且將該圖像發(fā)送到算術(shù)處理單元124,接著在步驟706，膚色檢測單元122對輸入的當前圖像數(shù)據(jù)進行上述23HSV轉(zhuǎn)換處理等。膚色檢測單元122由此僅確定由成l象單元102獲取的 圖像中的膚色區(qū)域。然后，膚色檢測單元122生成膚色區(qū)域掩模圖像(該 圖像是僅由以這一方式確定的膚色區(qū)域構(gòu)成的圖像)并且將該圖像發(fā)送到 算術(shù)處理單元124。接著在步驟708，算術(shù)處理單元124基于在步驟704發(fā)送的移動區(qū)域 掩模圖像和在步驟706發(fā)送的膚色區(qū)域掩模圖像來生成輸入操作區(qū)域圖 像。如上所述，算術(shù)處理單元124通過對構(gòu)成移動區(qū)域掩模圖像的像素區(qū) 域和構(gòu)成膚色區(qū)域掩模圖像的像素區(qū)域進行AND運算來生成輸入操作區(qū) 域圖像。結(jié)果是，如果可能，則算術(shù)處理單元124可以生成僅通過移動用 戶手指來構(gòu)成的圖4象作為輸入^作區(qū)域圖像，接著在步驟710將在步驟708生成的輸入操作區(qū)域圖像發(fā)送到狀態(tài)轉(zhuǎn) 變處理單元105。在預定時間對成像單元102獲取的各段成像數(shù)據(jù)進行由上述處理流 程組成的成像數(shù)據(jù)處理。(2-4.狀態(tài)轉(zhuǎn)變處理流程)接著將描述在圖6中所示處理流程之中在步驟800的關(guān)于狀態(tài)轉(zhuǎn)變處 理的具體處理流程。圖8是示出了在圖6中所示步驟800的狀態(tài)轉(zhuǎn)變處理 的具體處理流程的流程圖。在狀態(tài)轉(zhuǎn)變處理流程中，首先在步驟802，狀態(tài)轉(zhuǎn)變處理單元105確 定構(gòu)成從用戶區(qū)域檢測單元104發(fā)送的輸入操作區(qū)域圖像的像素的數(shù)目 是否等于或者大于預先設(shè)置的預定閾值。如果在由成《象單元102獲取的圖 像中沒有包含用戶的移動手指(手部)，也就是說，如果用戶并不希望GUI 操作，則無需使顯示單元118顯示獲取圖像。因此，如果在步驟802確定 構(gòu)成輸入操作區(qū)域圖像的像素的數(shù)目并不等于或者大于預先設(shè)置的閾值， 則狀態(tài)轉(zhuǎn)變處理單元105在步驟812維持操作等待狀態(tài)。也就是說，在顯 示單元118中并不顯示由成像單元102獲取的圖像。另一方面，如果在步驟802確定構(gòu)成輸入操作區(qū)域圖像的像素的數(shù)目 等于或者大于預先設(shè)置的閾值，則狀態(tài)轉(zhuǎn)變處理單元105進行在步驟804 的處理。也就是說，狀態(tài)轉(zhuǎn)變處理單元105確定其中構(gòu)成輸入操作區(qū)域圖 像的像素的數(shù)目等于或者大于閾值的狀態(tài)是否在操作狀態(tài)轉(zhuǎn)變設(shè)置時間或者更長時間上持續(xù)。例如，如果用戶手部僅瞬間地進入成像單元102 的可成像區(qū)域，則在顯示單元118中顯示獲取圖像只會產(chǎn)生騷擾用戶的結(jié)果。因此，狀態(tài)轉(zhuǎn)變處理單元105在步驟804進行確定處理，從而僅當用 戶真正地希望操作顯示單元118中顯示的GUI時才使顯示單元118顯示 獲取圖像。也就是說，只有確定構(gòu)成輸入操作區(qū)域圖像的像素的數(shù)目在操 作狀態(tài)轉(zhuǎn)變設(shè)置時間或者更長時間上持續(xù)等于或者大于預先設(shè)置的閾值 時，狀態(tài)轉(zhuǎn)變處理單元105才引起向GUI操作狀態(tài)的轉(zhuǎn)變。結(jié)果是只有 用戶在預定時間或者更長時間上持續(xù)在成《象單元102的可成《象區(qū)域中移 動手部時，包括用戶手部的圖^4"會顯示于顯示單元118中。隨后在步驟808將輸入操作區(qū)域圖像發(fā)送到獲取圖像顯示處理單元 106，在其中對圖1象進行在顯示單元118中的顯示所必需的處理。在引起向GUI操作狀態(tài)的轉(zhuǎn)變之后，在步驟810， GUI顯示控制單 元108可以使顯示單元118顯示預定GUI。例如，GUI顯示控制單元108 可以在用戶希望操作GUI時使顯示單元118顯示初始菜單。圖9是舉例說明在步驟810 GUI顯示控制單元108將在顯示單元118 中顯示的GUI的說明圖。在圖9中所示的例子中，在構(gòu)成顯示單元118 的顯示器中顯示用以調(diào)節(jié)音量的滑動條GUI、用以選#^道的^ GUI、 用以將屏幕切換到節(jié)目向?qū)У难诮MGUI和用以記錄正在觀看的節(jié)目的開/ 關(guān)切換GUI。當發(fā)生向GUI ^Mt狀態(tài)的轉(zhuǎn)變時在顯示單元118中顯示的 這些GUI可以任意地被默認設(shè)置或者以別的方式設(shè)置，并且不限于圖9 中所示的例子。例如，用戶可以任意地進^i更置，從而當發(fā)生向GUI操 作狀態(tài)的轉(zhuǎn)變時，在顯示單元118中顯示與常用功能對應的GUI。盡管在 圖8中所示的流程中描述了其中當發(fā)生向GUI操作狀態(tài)的轉(zhuǎn)變時在顯示 單元118中顯示GUI的例子，但是當然有可能也在操作等待狀態(tài)中使顯 示單元118顯示這些GUI,也就是說，盡管使顯示單元118通常顯示預定 GUI,但可以是僅當發(fā)生向GUI操作狀態(tài)的轉(zhuǎn)變時才顯示包括用戶手指 (手部)的輸入操作區(qū)域圖像。因此，哪個GUI何時顯示于顯示單元118 的什么位置可以由用戶任意地^L置和改變，(2-5.獲取圖像顯示處理流程)接著將描述在圖6中所示處理流程之中在步驟1000的關(guān)于獲取圖像 顯示處理的具體處理流程。圖10是示出了在圖6中所示步驟1000的獲取 圖像顯示處理的具體處理流程的流程圖。在獲取圖像顯示處理流程中，首先在步驟1002，縮放處理單元126 對輸入操作區(qū)域圖像進行縮放處理。如上所述，縮放處理單元126以如下方式進行縮放處理使得構(gòu)成從狀態(tài)轉(zhuǎn)變處理單元105發(fā)送的輸入操作區(qū) 域圖像的像素的數(shù)目與顯示單元118的有效像素數(shù)目之比變成預定比.如 上所述，基于輸入操作區(qū)域圖像的重心、平均像素數(shù)目等進行縮放處理。
接著在步驟1004，坐標變換處理單元128對已經(jīng)進行縮放處理的輸 入操作區(qū)域圖像進行坐標變換，使得輸入操作區(qū)域圖像適應于顯示單元 118的屏幕坐標。如上所述，當輸入操作區(qū)域圖像的坐標系和顯示單元118 的屏幕坐標是不同系統(tǒng)時進行該處理，
然后在步驟1006，在顯示單元118中顯示輸入操作區(qū)域圖像、也就 是由成像單元102獲取的圖像中包括用戶手指部分的區(qū)域。在此，獲取圖 像顯示處理單元106可以通過水平地翻轉(zhuǎn)圖像而在顯示單元118中顯示輸 入操作區(qū)域圖像。因而，在顯示單元118中與用戶手指的移動一致地顯示 用戶的手部。結(jié)果，用戶可以選擇/執(zhí)行TV100的與各GUI對應的功能， 就如同以用戶自己的手部操作顯示單元118中顯示的GUI—樣。
圖11是舉例說明在步驟1006在顯示單元118中顯示輸入操作區(qū)域圖 像的情況的說明圖。根據(jù)圖11明顯的是，在構(gòu)成顯示單元118的顯示器 中顯示包括用戶手部的輸入操作區(qū)域圖像。用戶可以通過參照顯示器中顯 示的用戶手部位置移動手部來^Mt顯示器中顯示的任何GUI。
(2-6. GUI操作處理流程)
接著將描述在圖6中所示處理流程之中在步驟1200的關(guān)于GUI操作 處理的具體處理流程。在以下描述中以圖11中所示例子中的用于節(jié)目向 導顯示的掩組GUI的操作處理為例，圖12是示出了在圖6中所示的步驟 1200的^Mt^^GUI的具體處理流程的流程圖。
在GUI操作處理流程中，首先在步驟1202, GUI操作確定單元U2 計算構(gòu)成顯示單元118中當前顯示的輸入操作區(qū)域圖像的像素區(qū)域的重 心。
接著在步驟1204， GUI操作確定單元112確定在步驟1202計算的重 心是否定位于顯示單元118的顯示^L GUI的像素區(qū)域中。如果顯示單 元118中顯示的用戶手指沒有位于掩組GUI處，則無需執(zhí)行與GUI對應 的功能。因此，如果在步驟1204確定重心沒有位于顯示單元118的顯示 GUI的像素區(qū)域中，則不進行與GUI對應的處理。
另一方面，如杲在步驟1204確定重心位于顯示單元118的顯示^L GUI的像素區(qū)域中，則GUI操作確定單元112進行在步驟1206的處理。也就是說，GUI操作確定單元112基于GUI操作存儲單元114中記錄的 以往輸入操作區(qū)域圖像的重心和當前重心來計算重心的運動矢量，下文將 描述其細節(jié)，并且在步驟1212在GUI操作存儲單元114中記錄由GUI 操作確定單元112計算的重心。因此，GUI操作確定單元112可以通it^ 于當前重心以及與以往預定數(shù)目的幀 一樣多的重心計算重心的軌跡來識 別重心的運動矢量。
接著在步驟1208， GUI操作確定單元112確定在步驟1206計算的運 動矢量是否滿足由GUI管理單元110管理的事件發(fā)布定義信息。如果例 如參考圖5中所示的事件發(fā)布定義信息，則與節(jié)目向?qū)э@示對應的^ GUI的事件發(fā)布定義信息是"從^^位置連續(xù)向下移動三幀"。因此，如 果基于計算的當前重心和以往兩幀的重心計算的運動矢量在顯示單元U8 中向下移動，則GUI操作確定單元112可以確定滿足事件發(fā)布定義信息。 另一方面，如果基于計算的當前重心和以往兩幀的重心計算的運動矢量沒 有在顯示單元118中向下移動，則GUI操作確定單元112可以確定沒有 滿足事件發(fā)布定義信息。
如果在步驟1208確定滿足事件發(fā)布定義信息，則GUI操作確定單元 112將確定結(jié)果發(fā)送到處理執(zhí)行單元116和GUI顯示控制單元108。在接 收到確定結(jié)果之后，處理執(zhí)行單元116在步驟1210在顯示單元118中顯 示節(jié)目向?qū)?另外，GUI顯示控制單元108在步驟1210在顯示單元118 中顯示新的GUI。
圖13是舉例說明在步驟1210更新顯示單元118的流程的概念圖。參 照圖13示出了如果用戶在固定時間上(在本實施例中為與三幀對應的時 間)在^ GUI上向下移動手指，則顯示單元118的顯示器切換到節(jié)目 向?qū)АＲ裁黠@的是，用以豎直地或者水平地滑動節(jié)目向?qū)У男禄瑒訔lGUI 顯示于顯示單元118中。因而，用戶可以通過在與滑動條GUI對應的位 置移動手指來滑動顯示單元118中顯示的節(jié)目向?qū)А?br> 當選擇節(jié)目向?qū)э@示中的^fe GUI時將顯示哪些GUI可以例如由 GUI管理單元110管理。因此，在從GUI操作確定單元112接收指令之 后，GUI顯示控制單元108可以基于由GUI管理單元110管理的信息在 顯示單元118中顯示新的GUI。
然后在步驟1212， GUI操作確定單元112在GUI操作存儲單元114 中記錄在步驟1202計算的重心。如上所述，在這一步驟記錄的重心將用 來計算運動矢量。
27以這一方式，GUI操作確定單元112可以確定用戶是否已經(jīng)操作顯示 單元118中顯示的節(jié)目向?qū)э@示中的^feGUI。另夕卜，根據(jù)確定結(jié)果，處 理執(zhí)行單元116可以在顯示單元118中顯示節(jié)目向?qū)В鳪UI顯示控制 單元108可以在顯示單元118中顯示新的GUI,
在上述例子中以節(jié)目向?qū)э@示中的^ GUI的操作處理為例，并且 當然有可能在相似處理流程中執(zhí)行其它GUI。也就是說，基于目標GUI 的事件發(fā)布定義信息，GUI操作確定單元112可以參照由GUI管理單元 110管理的數(shù)據(jù)庫確定存在/不存在用戶的GUI操作。
在上述例子中，GUI操作確定單元112基于構(gòu)成輸入操作區(qū)域圖像的 像素區(qū)域的重心來計算運動矢量，但是本發(fā)明不限于此?？梢允褂贸酥?心之外的值(例如構(gòu)成輸入操作區(qū)域圖像的像素區(qū)域的預定位置，比如與 指尖對應的像素值)而不是重心作為參考值。因此，可以在必要時通過改 變設(shè)置來改變使用構(gòu)成輸入操作區(qū)域圖像的像素區(qū)域的哪個位置作為用 于確定的參考值。
利用上述處理流程，TV 100 (該TV是根據(jù)本實施例的信息處理裝置 的例子)可以僅在用戶希望選擇/執(zhí)行TV 100的預定功能時才使顯示單元 118顯示包括由用戶移動的手指(手部)的輸入操作區(qū)域圖Y象。TV 100 也可以根據(jù)TV 100具有的各種功能來使顯示單元118顯示其IMt性可易 于由用戶識別的操作圖標的GUI。另外，TV 100可以通過管理針對各GUI 的事件發(fā)布定義信息來容易地確定用戶是否操作顯示單元118中顯示的 GUI,因而，TV100可以根據(jù)用戶手指的移動來執(zhí)行TV100具有的各種 功能或者在顯示單元118中顯示新的GUI,也就是說，TV 100 (該TV是 根據(jù)本實施例的信息處理裝置的例子)可以使用戶能夠在操作圖標的GUI 顯示于例如由顯示器構(gòu)成的顯示單元118中之后通過用戶直觀地移動手 指來選擇/執(zhí)行各種功能。
(3.改進方案)
上述TV 100是用以描述上述實施例的例子，本發(fā)明不限于這樣的例 子，并且仍然可以添加其它功能。下文將描述上述實施例中的信息處理裝 置的改進方案。
(3-1.第一改進方案(使用聲音輸入功能))
將描述作為根據(jù)上述實施例的TV 100的第一改進方案的TV200。除 了上述TV IOO擁有的各種功能之外，第一改進方案中的TV 200還具有聲音輸入功能，從而可以根據(jù)聲音輸入來使顯示單元118顯示各種GUI。
圖14是示出了在第一改進方案中的電視機200的功能配置的框圖。 與上述TV IOO相比，在第一改進方案中的TV 200還包括聲音輸入單元 202和聲音識別處理單元204。 TV 200也包括根據(jù)來自聲音輸入單元202 的聲音輸入來進行比如切換顯示單元118中顯示的GUI這樣的處理的 GUI顯示控制單元208，以及包括將與預定聲音輸AJft應的GUI作為數(shù) 據(jù)庫來管理的GUI管理單元210。
聲音輸入單元202例如由麥克風構(gòu)成，并JL^L被輸入由用戶說出的聲 音之后將聲音轉(zhuǎn)換成作為電信號的聲音信號。然后，聲音信號由AD轉(zhuǎn)換 器(未示出)等轉(zhuǎn)換成數(shù)字信號，該數(shù)字信號被發(fā)送到聲音識別處理單元 204。
聲音識別處理單元204按預定間隔進行對例如從聲音輸入單元202 供應的聲音數(shù)據(jù)的頻率分析，以提取頻譜和其它聲學特征量(M)。聲 音識別處理單元204基于如上所述提取的M和預i殳聲音模式來識別輸 入到聲音輸入單元202中的聲音。聲音識別處理單元204的確定結(jié)果發(fā)送 到GUI顯示控制單元208。
聲音識別處理單元204的聲音識別不限于特定識別方法，并且可以4吏 用能夠識別輸入到聲音輸入單元202中的聲音的各種方法。
GUI顯示控制單元208基于從聲音識別處理單元204發(fā)送的聲音確 定結(jié)果等來執(zhí)行對顯示單元118中顯示的GUI的顯示切換。GUI顯示控 制單元208可以例如基于由GUI管理單元210管理的聲音輸入以及和與 聲音對應的GUI關(guān)聯(lián)的lt據(jù)庫來決定將在顯示單元118中顯示的GUI。 GUI管理單元210可以管理將聲音輸入與對應于聲音的GUI關(guān)聯(lián)的數(shù)據(jù) 庫，這些對應于聲音的GUI例如是針對聲音輸入如"聲音音量"、"音量" 和"聲音，，的用于聲音音量調(diào)節(jié)的滑動條GUI,以及針對聲音輸入如"頻道" 和"xx臺"的用于頻道切換的^&GUI。因此，GUI顯示控制單元208可 以基于由GUI管理單元210管理的數(shù)據(jù)庫來選擇適當?shù)腉UI并且使顯示 單元118顯示該GUI。
前述內(nèi)容的結(jié)果是，在第一改進方案中的TV200可以根據(jù)由用戶說 出的聲音來使顯示單元118顯示與用戶希望的TV 200的各種功能對應的 GUI。結(jié)果，用戶可以通過直觀地說出用戶希望的TV 200的功能來使顯 示單元118顯示與該功能對應的GUI,并且通過針對顯示的GUI直觀J4
29移動手指來選#^/執(zhí)行各種功能。
(3-2.第二改進方案(使用光標GUI))
接著將描述作為根據(jù)上述實施例的TV 100的第二改進方案的TV 300。除了上述TV100擁有的各種功能4L^卜，第二改進方案中的TV300 還^^吏用戶能夠通過移動手指來指定包括顯示器中顯示的文本和任何對象 如人物和物品的任何顯示區(qū)域。另外，在第二改進方案中的TV300可以 對用戶指定的任何顯示區(qū)域進行預定處理.
圖15是其中用戶使用在笫二改進方案中的電#300來選擇顯示器 中的任意顯示區(qū)域的概念圖.如圖15中所示，例如如果在正在觀看的節(jié) 目中有用戶關(guān)心的任何場面、人物或者文本，則用戶直，見地移動手指就如 同要包圍適當?shù)娜宋镆粯?。響應于手指移動，TV 300通過成像單元102 對用戶手指的移動進行成像，并且使光標GUI與用戶手指的移動一致地 在顯示器中移動。用戶可以具有欣賞以這一方式由光標的軌跡包圍的顯示 區(qū)域的諸多方式，比如放大顯示、打印、附到電子郵件中和使用WEB進 行搜索。下文將描述在具有上述特征的第二改進方案中的電抓機300的細 節(jié).
圖16是示出了在第二改進方案中的電視機300的功能配置的框圖. 在第二改進方案中的電視機300具有與上述電# 100的功能配置相似的 功能配置，并且主要是GUI顯示控制單元308和GUI操作確定單元312 還具有不同功能。更具體而言，GUI顯示控制單元308具有4吏顯示單元 118與用戶手指的移動一致地顯示光標GUI的功能。GUI操作確定單元 312具有基于光標GUI的移動來確定用戶是否已經(jīng)選擇預定顯示區(qū)域的 功能。
如圖15中所示，GUI顯示控制單元308使顯示單元118與用戶手指 的移動一致地顯示光標GUI。諸如檢測用戶手指移動的方法等的細節(jié)與 根據(jù)上述實施例的TV100的細節(jié)相同，因此將不加以描述。基于例如輸 入操作區(qū)域圖像的由GUI操作確定單元312計算的重心，GUI顯示控制 單元308可以使顯示單元118在重心周圍顯示預定尺寸的圓形光標GUI。 與在根據(jù)上述實施例的TV 100中相似，GUI操作確定單元312可以計算 輸入操作區(qū)域圖像的重心和運動矢量(該運動矢量是重心的軌跡)以在 GUI操作存儲單元114中存儲重心和軌跡。因此，GUI顯示控制單元308 可以使顯示單元118與GUI操作確定單元312計算的重心運動矢量一致 地顯示光標GUI的軌跡。也就是說，GUI顯示控制單元308可以使顯示單元118與用戶手指的移動一致地顯示光標GUI的M.
與在根據(jù)上述實施例的TV 100中相似，GUI操作確定單元312計算 輸入操作區(qū)域圖像的重心和運動矢量(該運動矢量是重心的軌跡)，以在 GUI ^Mt存儲單元114中記錄重心和軌跡。GUI操作確定單元312也基 于運動矢量來確定顯示單元118中顯示的光標GUI的軌跡是否繪制出閉 合曲線。也就是說，GUI操作確定單元312可以確定用戶是否已經(jīng)通過 移動手指來指定顯示單元118的預定區(qū)域。例如，GUI操作確定單元312 可以基于當前運動矢量是否與以往運動矢量相交來確定光標GUI的軌跡 是否繪制出閉合曲線。即使運動矢量沒有相交，如果運動矢量滿足預定圖 案，則GUI ^Mt確定單元312仍然可以通過進行軌跡插值處理來確定用 戶已經(jīng)指定預定顯示區(qū)域。這里，軌跡插值處理是如下處理，該處理用以 即使重心運動矢量實際上沒有繪制出閉合曲線仍然例如通過連接運動矢 量的起點和當前重心來生成包圍預定顯示區(qū)域的閉合曲線.通過進行這樣 的軌跡插值處理，即4吏用戶沒有使手指正確地畫圓，用戶仍然可以容易地 指定顯示單元118的預定顯示區(qū)域。
如果GUI操作確定單元312確定用戶已經(jīng)指定預定顯示區(qū)域，則GUI 操作確定單元312將確定結(jié)^L送到GUI顯示控制單元308和處理執(zhí)行 單元116。因而，GUI顯示控制單元308可以使顯示單元118顯示與針對 指定顯示區(qū)域的預定處理有關(guān)的操作GUI,例如用于放大顯示的滑動條 GUI、用于訪問WEB的^fe GUI等。處理執(zhí)行單元116可以根據(jù)用戶的 GUI操作來進行各種處理，比如放大顯示、訪問WEB、打印和附到電子 郵件中。
接著將描迷在具有上述特征的第二改進方案中的TV 300對任 意顯示 區(qū)域進行的預定處理的流程例子。圖17是舉例說明在第二改進方案中的 電視機300確定與用戶手指的移動一致地指定的預定顯示區(qū)域并且對顯 示區(qū)域進行預定處理的處理流程的流程圖.當用戶希望在預定顯示區(qū)域上 進行指示(例如選擇顯示單元118中顯示的預定^ GUI或者有聲音輸 入)時，TV300可以進行圖17中所示的處理流程。
如圖17中所示，在步驟1700， GUI操作確定單元312計算構(gòu)成輸入 操作區(qū)域圖像的像素區(qū)域的重心。GUI操作確定單元312也在GUI操作 存儲單元114中記錄計算的重心。
接著在步驟1702， GUI操作確定單元312計算將當前重心與GUI操 作存儲單元114中記錄的以往重心連接的運動矢量。GUI ^Mt確定單元312可以由此識別重心的軌跡。GUI操作確定單元312也在GUI操作存 儲單元114中存儲計算的運動矢量。通過以這一方式連接GUI操作存儲 單元114中記錄的運動矢量，GUI操作確定單元312可以識別重心的軌跡。 圖18示出了舉例說明通過連接重心來計算運動矢量的情況的概念圖。如 圖18中所示，GUI操作確定單元312可以通過將當前重心連接到先前輸 入操作區(qū)域圖像的像素區(qū)域的重心來計算運動矢量。通過連接以這一方式 計算的運動矢量，GUI操作確定單元312可以識別顯示單元118的顯示區(qū) 域中的輸入操作區(qū)域圖像的重心軌跡。
以這一方式計算的重心和運動矢量發(fā)送到GUI顯示控制單元308。 在接收重心和運動矢量之后，在步猓1704， GUI顯示控制單元308可以 使顯示單元118在重心的坐標位置周圍顯示預定尺寸的光標GUI和顯示 運動矢量軌跡作為光標GUI軌跡。因此，GUI顯示控制單元308可以在 顯示單元118中與用戶手指的移動一致地繪制光標GUI軌跡。
接著在步驟1706, GUI操作確定單元312確定重心的軌跡是否繪制 出閉合曲線、也就是預定顯示區(qū)域是否由重心的軌跡包圍。例如，GUI 操作確定單元312可以基于在步驟1702計算的運動矢量是否與以往計算 的運動矢量相交來確定重心的M是否繪制出閉合曲線。
如果在步驟1706確定重心繪制出閉合曲線，則GUI操作確定單元 312確定由閉合曲線包圍的顯示區(qū)域是由用戶指定的區(qū)域，并且將確定結(jié) 果發(fā)送到GUI顯示控制單元308和處理執(zhí)行單元116。然后在步驟1708， GUI顯示控制單元308在顯示單元118中顯示預定IMt圖標GUI,而處 理執(zhí)行單元116執(zhí)行與用戶的GUI操作對應的事件.可以通過由用戶指 定預定顯示區(qū)域來執(zhí)行的事件(功能)例如包括放大顯示區(qū)域、打印、附 到電子郵件中和使用WEB進行搜索，但是不限于特定功能。因此，例如 通過具有通信單元或者至打印機的連接單元，TV 300可以在由用戶指定 的顯示區(qū)域上執(zhí)行各種功能。在上述例子中，GUI操作確定單元312確 定由閉合曲線包圍的顯示區(qū)域作為由用戶指定的區(qū)域，但是例如在閉合曲 線以外的顯示區(qū)域可以確定為由用戶指定的區(qū)域。
在以上描述中，如果在步驟1706確定繪制出閉合曲線，則進行步驟 1708的處理，但是本發(fā)明不限于此。有可能設(shè)置為例如如果繪制出閉 合曲線一次則暫時地決定指定區(qū)域，如果繪制出閉合曲線兩次則正式地決 定指定區(qū)域，而如果繪制出閉合曲線三次則取消指定區(qū)域。因此，可以例 如按照用戶設(shè)置來任意地改變對閉合曲線指定的顯示區(qū)域的決定。然后在步驟1710， GUI ^Mt確定單元312清除顯示單元118中顯示 的光標GUI和光標GUI的機逸。GUI操作確定單元312也可以刪除GUI 操作存儲單元114中存儲的重心運動矢量。因而，用戶可以通過移動手指 來再次指定另一顯示區(qū)域。
另一方面，如果在步驟1706確定重心軌跡沒有繪制出閉合曲線，則 在步驟1712， GUI操作確定單元312確定重心軌跡是否滿足軌跡插值條 件。這里，軌跡插值是如下處理，該處理連接實際上沒有繪制出閉合曲線 的重心軌跡，從而使該軌跡形成閉合曲線。因而，即使用戶沒有移動手指 以正確地繪制出閉合曲線，GUI ^Mt確定單元312仍然可以通過進行軌 跡插值處理來確定繪制出了閉合曲線。
軌跡插值條件也是用于GUI ^^作確定單元312進行軌跡插值處理的 條件。軌跡插值條件可以被任意地設(shè)置并且不限于特定條件。軌跡插值條 件的一個例子可以是運動矢量完成順時針方向圖案如"+ +，，、 "+ -，，、 "一 -"和"—+"的圓團、然后成對相同符號+或者-重新出現(xiàn)。類似地，
可以設(shè)置如下制中運動矢量完成逆時針方向圖案如"--"、"+- "、 " + + "和"—+"的圓團，然后成對相同符號+或者-重新出現(xiàn)。無需贅言，
這些軌跡插值條件僅為本實施例中的例子并且不限于此。
如果在步驟1712確定滿足軌跡插值條件，則在步驟1714， GUI操作 確定單元312進行軌跡插值處理。也就是說，GUI ^Mt確定單元312通 過連接當前重心和重心軌跡的起點等來生成偽閉合曲線。圖19是舉例說 明通過軌跡插值處理來連接實際上沒有繪制出閉合曲線的重心軌跡的概 念圖，參照圖19，其示出了盡管重心軌跡實際上沒有繪制出閉合曲線、 但是通過連接當前重心和以往任何重心來生成閉合曲線。GUI操作確定 單元312將以這一方式生成的閉合曲線確定為由用戶指定的顯示區(qū)域，并 且將確定結(jié)果發(fā)送到GUI顯示控制單元308和處理執(zhí)行單元116。然后在 上述步驟1708和步驟1710對由用戶指定的顯示區(qū)域進行預定處理.
另 一方面，如果在步驟1712確定沒有滿足軌跡插值M，則GUI操 作確定單元312確定用戶尚未選擇預定顯示區(qū)域。因而，GUI顯示控制 單元308繼續(xù)在顯示單元118中顯示光標GUI.
通過針對由成像單元102成像的各幀執(zhí)行上述步驟，在第二改進方案 中的TV 300可以確定用戶是否已經(jīng)指定顯示單元118的預定顯示區(qū)域。 另外，在第二改進方案中的TV300可以使顯示單元118顯示與可以對用 戶指定的預定顯示區(qū)域進行的預定處理對應的操作圖標GUI。如果用戶選擇以這一方式顯示的操作圖標GUI,則在第二改進方案中的TV300可 以執(zhí)行與GUI對應的各種功能。也就是說，在第二改進方案中的TV300 可以對通過用戶直觀地移動手指以指定顯示器中顯示的對象或者文本來 指定的預定對象或者文本執(zhí)行各種功能。
在前文中已經(jīng)參照附圖具體地描述本發(fā)明的優(yōu)選實施例，但是本發(fā)明 不限于這些例子。本領(lǐng)域技術(shù)人員應當理解，可以構(gòu)思出在所附權(quán)利要求 或者其等效含義的范圍內(nèi)的各種改進方案和變更。
例如在上述實施例中，描述以作為本發(fā)明的信息處理裝置例子的TV 為中心，但是本發(fā)明不限于這樣的例子。例如，信息處理裝置可以是個人 計算機或者配備有用于各種操作的顯示器的信息處理裝置，比如音樂播放 器和數(shù)字收音機?；蛘?，信息處理裝置可以是各種記錄/再現(xiàn)設(shè)備如硬盤 記錄器和數(shù)字萬用盤(DVD)記錄器，或者是使外部設(shè)備的顯示器顯示 GUI的信息處理裝置如游戲機。對于無顯示器的此類信息處理裝置，可 以通過向設(shè)置在外部設(shè)備等中的顯示器提供視頻輸出端子來實現(xiàn)本發(fā)明 的上述效果而不必提供上述TV 100的實施例中的顯示單元118。
可以通過執(zhí)行信息處理程序來實現(xiàn)信息處理裝置，該信息處理程序進 行上述實施例和改進方案的各種功能的處理。程序例如存儲于設(shè)置在信息 處理裝置等中的程序存儲單元中，而且信息處理裝置可以通過由中央處理 單元(CPU)讀取和執(zhí)行程序來執(zhí)行上述各種功能和處理。因此，信息處 理裝置可以通過更新程序來添加新功能或者升級。信息處理程序可以由信 息處理裝置可以讀取的記錄介質(zhì)提供。記錄介質(zhì)例如是磁盤、光盤、磁光 盤或者閃存?；蛘?，可以例如經(jīng)由網(wǎng)絡(luò)遞送信息處理程序而不使用記錄介 質(zhì)。
上述移動檢測、膚色檢測、縮放處理、坐標變換處理和軌跡插值處理 是用來描述上述實施例的例子，并且本發(fā)明不限于上述例子.例如，允許 根據(jù)與以上描述中的技術(shù)、條件或者公式不同的技術(shù)、條件或者公式的移 動檢測、膚色檢測、坐標變換處理或者軌跡插值處理.
當然有可能組合根據(jù)上述實施例的TV100、在第一改進方案中的TV 200和在第二改進方案中的TV 300具有的功能。如果例如用戶在第二改 進方案中的TV300中指定預定顯示區(qū)域，則可以根據(jù)來自用戶的聲音輸 入來引起顯示與對顯示區(qū)域的處理對應的GUI,
在流程圖中描迷的步驟在這里不僅包括按描述的順序以時間順序進行的處理，而且包括并非必然地以時間順序進行而是可以并行或者單獨進 行的處理。即使是以時間順序處理的步驟也當然可以根據(jù)情況通過改變其
順序來執(zhí)行。例如，在圖7中所示步驟704的生成移動區(qū)域掩模圖<|>在 步驟706的生成膚色區(qū)域掩模圖像的順序并不限于圖7中所示的順序，這 些步驟的逆序或者并行處理當然也有可能。
本發(fā)明包含與2008年8月14日向日本專利局提交的日本專利申請 JP2008-208948有關(guān)的主題內(nèi)容，該申請的^P內(nèi)容通過引用結(jié)合于此。
權(quán)利要求
1.一種信息處理裝置，包括獲取對象的成像單元；圖標顯示控制單元，其使顯示器顯示與預定處理對應的操作圖標；獲取圖像顯示處理單元，其使所述顯示器依次地顯示輸入操作區(qū)域圖像，所述輸入操作區(qū)域圖像由構(gòu)成所述成像單元獲取的圖像的像素區(qū)域之中包括用戶手部至少一部分的像素區(qū)域構(gòu)成；圖標管理單元，其管理針對各操作圖標的事件發(fā)布定義信息，所述事件發(fā)布定義信息是用于確定所述用戶已經(jīng)操作所述操作圖標的條件；操作確定單元，其基于所述顯示器中顯示的所述輸入操作區(qū)域圖像和所述事件發(fā)布定義信息來確定所述用戶是否已經(jīng)操作所述操作圖標；以及處理執(zhí)行單元，其根據(jù)所述操作確定單元的確定結(jié)果來進行與所述操作圖標對應的預定處理。
2. 才艮據(jù)權(quán)利要求i所述的信息處理裝置，其中所述^Mt確定單元通 過計算構(gòu)成所述輸入操作區(qū)域圖像的像素區(qū)域的重心，以及通過^^接構(gòu)成 所述顯示器中依次顯示的輸入操作區(qū)域圖像的像素區(qū)域的重心來計算所 述重心的運動矢量，從而識別所述成像單元獲取的用戶手部的移動。
3. 根據(jù)權(quán)利要求2所述的信息處理裝置，其中所述操作確定單元基 于所述重心、所述運動矢量和所述事件發(fā)布定義信息來確定用戶是否已經(jīng) 操作所述操作圖標。
4. 根據(jù)權(quán)利要求3所述的信息處理裝置，其中所述圖標管理單元通過將操作圖標與對應于所述操作圖標的事件發(fā)布定義信息以及當滿足所 述事件發(fā)布定義信息時所述處理執(zhí)行單元執(zhí)行的處理內(nèi)容關(guān)聯(lián)，來管理顯示器中顯示的名^Mt圖標。
5. 根據(jù)權(quán)利要求4所述的信息處理裝置，其中如果所述操作確定單 元確定用戶已經(jīng)操作所述顯示器中顯示的顯示圖標，則處理執(zhí)行單元進行 與所述圖標管理單元管理的操作圖標關(guān)聯(lián)的處理內(nèi)容。
6. 根據(jù)權(quán)利要求5所述的信息處理裝置，其中所述圖標顯示控制單 元才艮據(jù)所述用戶的操作來更新所述顯示器中顯示的操作圖標。
7. 根據(jù)權(quán)利要求6所述的信息處理裝置，還包括移動檢測單元，其通過比較所述成像單元獲取的圖像與此前一幀獲取 的圖像如險測發(fā)生改變的像素區(qū)域，以生成僅由檢測到的像素區(qū)域構(gòu)成的移動區(qū)域掩模圖像；以及膚色檢測單元，其檢測在構(gòu)成所述成像單元獲取的圖像的像素區(qū)域中 具有預定色調(diào)的像素區(qū)域，以生成僅由檢測到的像素區(qū)域構(gòu)成的膚色區(qū)域 掩模圖《象，其中，所述輸入操作區(qū)域圖像由通過對構(gòu)成所述移動區(qū)域掩模圖像的像素 區(qū)域和構(gòu)成所述膚色區(qū)域掩模圖像的像素區(qū)域進行AND運算而計算的像 素區(qū)域構(gòu)成。
8. 根據(jù)權(quán)利要求7所述的信息處理裝置，其中如果構(gòu)成所述輸入操上等于或者大于^先設(shè)置的預定像素數(shù)目，則所述獲取圖像顯示處理單元 使所述顯示器顯示輸入操作區(qū)域圖像。
9. 根據(jù)權(quán)利要求8所述的信息處理裝置，其中所述獲取圖像顯示處 理單元以使構(gòu)成所述輸入操作區(qū)域圖 <象的像素的數(shù)目與所述顯示器中能域圖像。
10. 根據(jù)權(quán)利要求l所述的信息處理裝置，其中所述顯示器設(shè)置在與 所述信息處理裝置分離的外部設(shè)備中，并且所述信息處理裝置使設(shè)置在外部設(shè)備中的顯示器顯示操作圖標和輸 入操作區(qū)域圖像。
11. 根據(jù)權(quán)利要求l所述的信息處理裝置，還包括顯示廣播信號中包 含的預定視頻的顯示單元，其中，所述顯示單元包括顯示器。
12. 根據(jù)權(quán)利要求l所述的信息處理裝置，還包括聲音輸入單元，所述用戶將聲音輸入到所述聲音輸入單元中；以及聲音識別處理單元，其識別輸入到所述聲音輸入單元中的聲音的類 型，其中，所述圖標管理單元針對聲音的各類型根據(jù)聲音類型來管理與所述顯 示器中顯示的操作圖標有關(guān)的信息；以及所述圖標顯示控制單元才艮據(jù)所述聲音識別處理單元識別的聲音類型、 基于所述圖標管理單元管理的信息來使所述顯示器顯示與識別的聲音類 型對應的操作圖標。
13. 根據(jù)權(quán)利要求2所述的信息處理裝置，其中所述圖標顯示控制單 元基于所述操作確定單元計算的重心的運動矢量來使所述顯示器顯示重 心的軌跡。
14. 根據(jù)權(quán)利要求13所述的信息處理裝置，其中如果所述顯示器中 顯示的重心的所述軌跡變成閉合曲線，則所述圖標顯示控制單元使所述顯 示器顯示下述^Mt圖標，所述操作圖標對應于與所述閉合曲線包圍的顯示 區(qū)域有關(guān)的預定處理。
15. —種信息處理方法，包括以下步驟 由成像單元獲取對象； 使顯示器顯示與預定處理對應的操作圖標；使所述顯示器依次地顯示輸入操作區(qū)域圖像，所述輸入操作區(qū)域圖像 由構(gòu)成成像步驟中獲取的圖像的像素區(qū)域之中包括用戶手部至少 一部分 的寸象素區(qū)域構(gòu)成；基于圖標顯示步驟中在所述顯示器中顯示的操作圖標、獲取圖像顯示 步驟中在所述顯示器中顯示的輸入操作區(qū)域圖像和事件發(fā)布定義信息，來 確定所述用戶是否已經(jīng)操作所述操作圖標，所述事件發(fā)布定義信息針對各^Mt圖標來管理并且是用于確定所述用戶已經(jīng)操作所述操作圖標的務(wù)fr; 以及根據(jù)操作確定步驟中的確定結(jié)果來進行與操作圖標對應的預定處理。
16. —種信息處理程序，其使計算機進行 成4象處理，用以通過成像單元獲取對象；圖標顯示處理，用以4吏顯示器顯示與預定處理對應的操作圖標； 獲取圖像顯示處理，用以4lt^示器依次地顯示輸入操作區(qū)域圖像，所包括用戶手部至少一部分的像素區(qū)域構(gòu)成；操作確定處理，用以基于所述圖標顯示處理中在所述顯示器中顯示的 操作圖標、所述獲取圖像顯示處理中在所述顯示器中顯示的輸入操作區(qū)域圖像和事件發(fā)布定義信息來確定所述用戶是否已經(jīng)操作所述操作圖標，所 述事件發(fā)布定義信息針對M作圖標來管理并且是用于確定所述用戶已經(jīng)操作所述操作圖標的條件；以及執(zhí)行處理，用以根據(jù)所述操作確定處理中的確定結(jié)果來進行與所述操 作圖標對應的預定處理。
全文摘要
本發(fā)明涉及一種信息處理裝置、方法和程序。該信息處理裝置包括成像單元；圖標顯示控制單元，其使顯示器顯示操作圖標；獲取圖像顯示處理單元，其使顯示器依次地顯示輸入操作區(qū)域圖像，該輸入操作區(qū)域圖像由構(gòu)成成像單元獲取的圖像的像素區(qū)域之中包括用戶手部至少一部分的像素區(qū)域構(gòu)成；圖標管理單元，其管理針對各操作圖標的事件發(fā)布定義信息，該事件發(fā)布定義信息是用于確定用戶是否已經(jīng)操作該操作圖標的條件；操作確定單元，其基于顯示器中顯示的輸入操作區(qū)域圖像和事件發(fā)布定義信息來確定用戶是否已經(jīng)操作該操作圖標；以及處理執(zhí)行單元，其根據(jù)操作確定單元的確定結(jié)果來進行與操作圖標對應的預定處理。
文檔編號G06F3/048GK101651804SQ20091016371
公開日2010年2月17日 申請日期2009年8月14日 優(yōu)先權(quán)日2008年8月14日
發(fā)明者小林賢一郎, 矢部俊治 申請人:索尼株式會社