專利名稱：電子設(shè)備的控制裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電子設(shè)備的控制裝置，特別涉及用于進(jìn)行如電視接收機(jī) 和個(gè)人計(jì)算機(jī)這樣的具有顯示裝置的電子設(shè)備的遙控操作的控制裝置。
背景技術(shù)：
八十年代，紅外線遙控器(通稱遙控器)附屬于以電視接收機(jī)為首 的家電設(shè)備上，能夠手動(dòng)控制的用戶接口廣泛普及，使家電產(chǎn)品的利用 形式有很大改觀?，F(xiàn)在，該操作形式是主流，但遙控器的基本結(jié)構(gòu)是一 個(gè)按鈕執(zhí)行一個(gè)功能，例如，在電視接收機(jī)中，"電源"、"通道"、"音 量"、"輸入轉(zhuǎn)換"等鍵與其功能相對應(yīng)，對于目前的電視接收機(jī)來說是 非常便利的遙控操作方法。但是，最近開始的數(shù)據(jù)廣播中為了選擇期望的菜單畫面，要幾次按 下遙控器的"上下左右"和"確定"鍵，使用很復(fù)雜。此外，EPG (電 子程序向?qū)?由于從矩陣排列的向?qū)М嬅孢x擇期望的位置后按下鍵，因 此，有同樣的問題。在專利文獻(xiàn)1中，為了解決這樣的課題，提出了一種將由鼠標(biāo)或類 似鼠標(biāo)的位置指定操作裝置得到的位置指定信息編碼成鍵按下信號的時(shí) 間序列圖案即鍵按下時(shí)間序列符號，將該鍵按下時(shí)間序列符號發(fā)送給電 視接收機(jī)的控制裝置。專利文獻(xiàn)1特開2003—283866號公報(bào)專利文獻(xiàn)1中記載的控制裝置利用酷似個(gè)人計(jì)算機(jī)(電腦)的操作的指向操作來遙控電視接收機(jī)。從而，對于不利用個(gè)人計(jì)算機(jī)的人來說 難以使用，因此，從信息讀寫能力(操作信息的能力)的觀點(diǎn)出發(fā)，原 樣導(dǎo)入個(gè)人計(jì)算機(jī)的使用便利性不太合理。在要求遙控操作的當(dāng)前的電 視接收機(jī)的利用形式中，需要匹配后的新的操作裝置。另外，隨著網(wǎng)絡(luò)化的進(jìn)展，通過將從住宅內(nèi)的存儲媒體和住宅外的 因特網(wǎng)得到的多種信息顯示在電視接收機(jī)和個(gè)人計(jì)算機(jī)的顯示器上，來 接受信息。由于該情況下的操作形式依賴于信息源，因此，需要與多種 操作形式相對應(yīng)，用當(dāng)前的附屬于家電設(shè)備的遙控器不能充分應(yīng)付。如以上說明，在現(xiàn)有的遙控器中，對應(yīng)于電視接收機(jī)等的功能的多 樣化和復(fù)雜化，使遙控器變龐大。若用現(xiàn)有的遙控器進(jìn)行數(shù)據(jù)廣播等的 菜單畫面的選擇操作，作為指向裝置的作用就更重要，因此，在現(xiàn)有的 遙控器中，在使用便利性方面有很多難點(diǎn)。此外，在網(wǎng)絡(luò)化中，通過顯 示裝置來控制與網(wǎng)絡(luò)連接的所有設(shè)備的功能，存在有遙控器的數(shù)量與連 接的設(shè)備的數(shù)量成比例增加的問題。對于該問題，在與電視接收機(jī)連接的VTR和錄像盤及其他音響設(shè)備等中，實(shí)際上經(jīng)常遇到不能判別哪個(gè)遙 控器是適合的遙控器的情況。另外，至于因特網(wǎng)中，選擇控制所有的Web 站點(diǎn)的信息，現(xiàn)有的遙控器的形式已經(jīng)達(dá)到了極限。 發(fā)明內(nèi)容本發(fā)明以上述問題點(diǎn)為著眼點(diǎn)，目的在于提供一種使多種電子設(shè)備 兼?zhèn)淙嵝院瓦b控操作的便利性的同時(shí)，不需要在手動(dòng)使用遙控器這樣的 遙控操作用設(shè)備的電子設(shè)備的控制裝置。為了達(dá)到上述目的，第1發(fā)明中記載的電子設(shè)備的控制裝置，控制具有顯示裝置的電子設(shè)備，其特征在于，具有攝像機(jī)，拍攝位于上述顯示裝置前面的操作者；鏡像變換器，進(jìn)行用上述攝像機(jī)拍攝的圖像的鏡像變換，輸出鏡像變換圖像信號；操作用圖像生成部，生成與包括至 少一個(gè)操作按鈕的操作用圖像相對應(yīng)的操作用圖像信號；混合器，混合上述鏡像變換圖像信號和上述操作用圖像信號；檢測器，在使由上述混 合器混合的圖像信號顯示在上述顯示裝置的畫面上的狀態(tài)下，檢測出畫 面上顯示的操作者指示了上述操作用圖像的情況；控制部，在由上述檢測器檢測到指示了上述操作用圖像的情況的狀態(tài)下，檢測上述操作者是 否操作了上述操作用圖像，在檢測到操作了上述操作用圖像的情況下， 對應(yīng)于上述操作用圖像進(jìn)行上述電子設(shè)備的控制動(dòng)作，上述檢測器包括: 提取器，提取上述鏡像變換圖像信號中指示與上述操作按鈕相對應(yīng)的檢 測區(qū)域的上述操作者的手的區(qū)域；及特征數(shù)據(jù)檢測器，檢測出表示上述 操作區(qū)域的圖像信號中所占的上述手的區(qū)域的圖像信號的變化的數(shù)據(jù)， 上述控制部根據(jù)由上述特征數(shù)據(jù)檢測器檢測到的上述數(shù)據(jù)生成波形，并 通過比較上述波形和預(yù)先記錄的預(yù)定的波形來求出一致度，由此檢測上 述操作者是否操作了上述操作用圖像。第2發(fā)明記載的電子設(shè)備的控制方法，控制具有顯示裝置的電子設(shè) 備，其特征在于，具有用攝像機(jī)拍攝位于上述顯示裝置前面的操作者 的步驟；進(jìn)行用上述攝像機(jī)拍攝的圖像的鏡像變換，輸出鏡像變換圖像 信號的步驟；生成與包括至少一個(gè)操作按鈕的操作用圖像相對應(yīng)的操作 用圖像信號的步驟；混合上述鏡像變換圖像信號和上述操作用圖像信號 的步驟；第一檢測步驟，在使混合后的圖像信號顯示在上述顯示裝置的 畫面上的狀態(tài)下，檢測上述畫面上顯示的上述操作者指示了上述操作用 圖像的情況；第二檢測步驟，在檢測到指示了上述操作用圖像的狀態(tài)下， 檢測上述操作者是否操作了上述操作用圖像；以及在檢測到操作了上述 操作用圖像的情況下，對應(yīng)于上述操作用圖像進(jìn)行上述電子設(shè)備的控制 動(dòng)作的步驟，上述第1檢測步驟包括提取步驟，提取上述鏡像變換圖 像信號中指示與上述操作按鈕相對應(yīng)的檢測區(qū)域的上述操作者的手的區(qū) 域；以及變化檢測步驟，檢測出表示上述操作區(qū)域的圖像信號中所占的 上述手的區(qū)域的圖像信號的變化的數(shù)據(jù)，上述第2檢測步驟包括比較 步驟，根據(jù)由上述特征數(shù)據(jù)檢測步驟檢測到的數(shù)據(jù)生成波形，并通過比 較上述波形和預(yù)先記錄的預(yù)定的波形來求出一致度；以及操作檢測步驟， 根據(jù)上述比較步驟中求出的一致度，檢測上述操作者是否操作了上述操 作用圖像。發(fā)明效果根據(jù)本發(fā)明的記載，操作者用攝像機(jī)進(jìn)行拍攝，將鏡像變換后的圖 像和包含操作按鈕的操作用圖像混合，即重疊后在顯示裝置上顯示。操 作者一進(jìn)行規(guī)定選擇動(dòng)作，例如，使顯示裝置的畫面上顯示的手移動(dòng)到 操作按鈕上后彎曲手指的動(dòng)作，就利用檢測裝置檢測它的規(guī)定選擇動(dòng)作， 執(zhí)行對應(yīng)的控制動(dòng)作。從而，不使用遙控器這樣的遙控操作裝置，就能 進(jìn)行電子設(shè)備的遙控操作。該情況下，由于能夠按照要選擇的操作或信 息的內(nèi)容適當(dāng)?shù)卦O(shè)定操作用圖像，因此，能夠兼容對于多種電子設(shè)備的 柔性和遙控操作的便利性。根據(jù)本發(fā)明的記載，由于將輸入到電子設(shè)備中的圖像信號、例如由 調(diào)諧器接收到的廣播圖像和錄像盤的再生圖像信號等與從第一混合裝置 輸出的圖像信號混合(重疊)，在顯示裝置上顯示，因此，既提供多種信 息，又能進(jìn)行與其相對應(yīng)的遙控操作。根據(jù)本發(fā)明的記載，若確定進(jìn)行規(guī)定選擇動(dòng)作的對象物，判定所確 定的對象物的圖像位于與操作按鈕相對應(yīng)的規(guī)定的區(qū)域內(nèi)，當(dāng)檢測對象 物的圖像在規(guī)定的區(qū)域內(nèi)發(fā)生了規(guī)定的變化時(shí)，檢測上述規(guī)定選擇動(dòng)作。 作為規(guī)定選擇動(dòng)作，例如有如上所述地手移動(dòng)到操作按鈕上后彎曲手指 的動(dòng)作，通過特定人的手作為對象物，檢測手的位置和移動(dòng)，就能夠進(jìn) 行規(guī)定選擇動(dòng)作的檢測。從而，不用遙控操作裝置就能進(jìn)行遙控操作。


圖1是用于說明本發(fā)明的電子設(shè)備操作方法的概要的圖。圖2是示出本發(fā)明的一個(gè)實(shí)施方式涉及的電子設(shè)備(電視接收機(jī)) 的主要部分結(jié)構(gòu)的框圖。圖3是用于說明圖像的鏡像變換方法的圖。 圖4是示出操作者的圖像和操作用圖像的圖。圖5是用于說明操作者的圖像與操作用圖像重疊(混合)的狀態(tài)的圖。圖6是用于說明圖2中示出的檢測器與顯示裝置的畫面上的檢測區(qū) 域的對應(yīng)的圖。圖7是示出圖2屮示出的檢測器的結(jié)構(gòu)的框圖。圖8是示出圖7中示出的目標(biāo)提取器的結(jié)構(gòu)的框圖。圖9是用于說明用目標(biāo)提取器提取的對象物的色相和飽和度的圖。圖IO是根據(jù)色差信號計(jì)算色相的處理的流程圖。圖11是示出用目標(biāo)提取器提取的對象物的亮度信號電平的圖。圖12是示出將手罩在畫面上的操作按鈕上的狀態(tài)的圖。圖13是示出在畫面上的操作按鈕的上面彎曲了手指的狀態(tài)的圖。圖14是示出進(jìn)行了 2次彎曲手指的動(dòng)作的情況下的手在畫面上的投影面積變化的時(shí)序圖。圖15是示出操作按鈕與手的圖像重疊的狀態(tài)的圖。圖16是示出圖14中示出的時(shí)刻T一1的亮度的頻率分布和平均亮度電平(APL)的圖。圖17是示出圖14中示出的時(shí)刻T0的亮度的頻率分布和平均亮度電平(APL)的圖。圖18是示出圖14中示出的時(shí)刻T1的亮度的頻率分布和平均亮度電 平(APL)的圖。圖19是示出圖14中示出的時(shí)刻T2的亮度的頻率分布和平均亮度電 平(APL)的圖。圖20是示出圖14中示出的時(shí)刻T3的亮度的頻率分布和平均亮度電 平(APL)的圖。圖21是示出圖14中示出的時(shí)刻T4的亮度的頻率分布和平均亮度電 平(APL)的圖。圖22是示出圖14中示出的時(shí)刻T5的亮度的頻率分布和平均亮度電 平(APL)的圖。圖23是示出圖14中示出的時(shí)刻T6的亮度的頻率分布和平均亮度電 平(APL)的圖。圖24是用于說明圖2中示出的控制信息判斷器(CPU)的工作的功 能框圖。圖25是用于說明確定選擇操作按鈕的動(dòng)作的數(shù)據(jù)處理的時(shí)序圖。圖26是示出用于去除DC偏置成分的數(shù)字濾波器的結(jié)構(gòu)的框圖。 圖27是用于說明圖26中示出的數(shù)字濾波器的具體結(jié)構(gòu)與處理波形 的關(guān)系的圖。圖28是示出檢測動(dòng)作與規(guī)定選擇動(dòng)作的相互相關(guān)計(jì)算值的推移的時(shí) 序圖。圖29是用于說明用攝像機(jī)拍攝的操作者的圖像過小的情況的處理的圖。圖30是用于說明用攝像機(jī)拍攝的操作者的圖像過大的情況的處理的圖。圖31是示出用于改變攝像機(jī)及其視場角的裝置的圖。
具體實(shí)施方式
以下，參照

本發(fā)明的實(shí)施方式。圖1是用于說明現(xiàn)有的遙控裝置的操作形式與本發(fā)明的操作形式的 差異的圖。在視聽者(用戶)3操作電視接收機(jī)1的情況下，在現(xiàn)有技術(shù) 中，視聽者3手持遙控裝置4，通過向著電視接收機(jī)l按下使期望的功能 工作的鍵，來進(jìn)行操作。從而，若沒有遙控裝置4，就不能操作，經(jīng)常有 感到不便的情況。對此，在本實(shí)施方式中，在電視接收機(jī)l中設(shè)置了攝像機(jī)2，利用攝 像機(jī)2拍攝視聽者3，從攝像機(jī)2的圖像得到視聽者3的動(dòng)作，進(jìn)行電視 接收機(jī)1和與其關(guān)聯(lián)的設(shè)備的操作。所述視聽者3的動(dòng)作，具體是指從 電視接收機(jī)1中顯示的菜單畫面選擇期望的按鈕的身體(手、腳、臉等) 的動(dòng)作。此外，在電視接收機(jī)1的周圍暗時(shí)，若使用除了身體以外的例 如鋼筆電筒，也能得到同樣的效果。在本實(shí)施方式中，采用最現(xiàn)實(shí)的用 手的動(dòng)作進(jìn)行操作的方法。圖2是示出電視接收機(jī)1的結(jié)構(gòu)的框圖，電視接收機(jī)1具有基準(zhǔn)同 步發(fā)生器ll、定時(shí)脈沖發(fā)生器12、圖形生成器16、攝像機(jī)2、鏡像變換 器14、縮放器15、第一混合器17、象素?cái)?shù)變換器21、第二混合器22、 顯示裝置23、檢測部19和控制信息判斷器(CPU) 20?；鶞?zhǔn)同步發(fā)生器11發(fā)生成為電視接收機(jī)1的基準(zhǔn)的水平周期脈沖和垂直周期脈沖。在電視廣播接收時(shí)或和從外部設(shè)備輸入了影像信號的情 況下，生成與該輸入信號的同步信號同步的脈沖。定時(shí)脈沖發(fā)生器12生 成圖示中的各單元必須的具有水平方向和垂直方向的任意相位和幅度的脈沖。攝像機(jī)2如圖1所示，位于電視接收機(jī)1的前面，拍攝視聽者(用 戶)3或電視接收機(jī)前的影像。攝像機(jī)2的輸出信號是亮度(Y)信號和 色差(R—Y、 B—Y)信號，與從基準(zhǔn)同步發(fā)生器11輸出的水平周期脈 沖和垂直周期脈沖同步。此外，在本實(shí)施方式中，用攝像機(jī)2拍攝的圖 像的象素?cái)?shù)與顯示裝置23的象素?cái)?shù)一致。再有，在象素?cái)?shù)不一致的情況 下，可以插入象素?cái)?shù)變換器。鏡像變換器14用于將用攝像機(jī)2拍攝的被攝體像同鏡子一樣左右翻 轉(zhuǎn)后顯示在顯示裝置23上。從而，在顯示文字的情況下，就同鏡子一樣 左右翻轉(zhuǎn)。對此，如圖3所示，可通過使用按水平周期進(jìn)行數(shù)據(jù)的寫入 和讀出的第一存儲器和第二存儲器進(jìn)行地址操作來容易實(shí)現(xiàn)。例如在將1 個(gè)水平周期設(shè)為N個(gè)象素的情況下，每1個(gè)水平周期交替地寫入輸入信 號，直到兩個(gè)存儲器的寫入地址0 N—1;與寫入地址相反地沿著N—1 0，排斥寫入工作而進(jìn)行讀出，使水平方向的圖像左右翻轉(zhuǎn)。再有，在本 實(shí)施方式中，采用了有效利用存儲器而使水平方向的圖像翻轉(zhuǎn)的方法， 但在使用CRT (Cathode Ray Tube即，陰極射線管)作為顯示裝置23的 情況下，通過逆向操作水平偏轉(zhuǎn)能得到同樣的效果。該情況下，需要預(yù) 先在水平方向上左右反轉(zhuǎn)圖形和其他混合了的圖像?？s放器15調(diào)整由攝像機(jī)2拍攝到的被攝體像的大小，按照控制信息 判斷器(CPU) 20的控制二維地調(diào)整放大率和縮小率。此外，也可以不 進(jìn)行放大縮小，而進(jìn)行水平和垂直的相位調(diào)整。后面詳述該使用方式。圖形生成器16根據(jù)從控制信息判斷器(CPU) 20傳送的菜單畫面信 號展開菜單畫面，即使用R (紅)信號、G (綠)信號、B (藍(lán))信號的 原色信號展開存儲器上的信號，在后段中與影像信號合成或混合的輸出 信號作為Y (亮度)信號和色差信號(R—Y、 B—Y)。此外，生成的圖 形的圖案(7。^一y)數(shù)不限定，但本說明中需要1個(gè)平面。在本實(shí)施 方式中，象素?cái)?shù)與顯示裝置23的象素?cái)?shù)一致。在不一致的情況下，需要設(shè)置象素?cái)?shù)變換器使其一致。第一混合器17根據(jù)控制值a 1控制混合比例來混合圖形生成器16的 輸出信號Gs和縮放器15的輸出信號Sl。具體地說，用下式表示輸出信 號Mlo。Mlo=al'Sl+ (l—al) .Gs將控制值al設(shè)定為"0"到"1"之間的值，若增大控制值al，縮 放器輸出信號Sl的比例就變大，圖形生成器輸出信號Gs的比例就變小。 作為混合器的例子，不限定于此，但在本實(shí)施方式中，若加入所輸入的 雙系統(tǒng)的信號信息，則能得到同樣的效果。檢測部19由第一檢測器31、第二檢測器32、第三檢測器33、第四 檢測器34、…構(gòu)成。包含在檢測部19中的檢測器不確定個(gè)數(shù)，而與表示 控制內(nèi)容的推進(jìn)按鈕(相當(dāng)于在個(gè)人計(jì)算機(jī)中用鼠標(biāo)進(jìn)行點(diǎn)擊操作的操 作按鈕)的個(gè)數(shù)相對應(yīng)地變動(dòng)，與在圖形生成器16中生成的菜單畫面協(xié) 作的情況?？刂菩畔⑴袛嗥?CPU) 20進(jìn)行從檢測部19輸出的數(shù)據(jù)的分析，輸 出各種控制信號?？刂菩畔⑴袛嗥?CPU) 20的處理內(nèi)容用軟件來實(shí)現(xiàn)， 關(guān)于算法詳細(xì)地進(jìn)行記述。本實(shí)施方式中混合了硬件(各功能塊)的處 理和軟件(在CPU上展開)處理，但不特別限定于在此示出的定界。象素?cái)?shù)變換器21進(jìn)行用于對照從外部輸入的外部輸入信號的象素?cái)?shù) 和顯示裝置23的象素?cái)?shù)的象素?cái)?shù)變換。外部輸入信號設(shè)想是廣播來的電 視信號(也包括數(shù)據(jù)廣播等)和視頻(VTR)輸入等從電視接收機(jī)的外 部輸入來的信號。關(guān)于外部輸入信號的同步系統(tǒng)，在此省略說明，但取 得同步信號(水平和垂直)后，利用基準(zhǔn)同步發(fā)生器ll使同步一致。第二混合器22具有與第一混合器17同樣的功能。即，根據(jù)控制值 ot2控制混合比例來混合第一混合器17的輸出信號Mlo和象素?cái)?shù)變換器 21的輸出信號S2。具體地說，用下式表示輸出信號M2Q。M2o=a2-Mlo+ (1—a2)-S2將控制值a2設(shè)定為"0"到"1"之間的值，若增大控制值a2，則 第一混合器輸出信號Mlo的比例就變大，象素?cái)?shù)變換器輸出信號S2的13比例就變小。作為混合器的例子不限于此，但在本實(shí)施方式中，若加入 輸入的雙系統(tǒng)的信號信息，就能得到同樣的效果。顯示裝置23假設(shè)為CRT (陰極射線管)、LCD (液晶顯示器)、PDP (等離子體顯示器)或投影式顯示器等，但不限定顯示器的顯示方式。 顯示裝置23的輸入信號是亮度信號Y和色差信號R—Y和B—Y，在顯 示裝置23的內(nèi)部，對RGB原色信號進(jìn)行矩陣變換來顯示。穿插視聽者(用戶)的動(dòng)作來說明如上所述結(jié)構(gòu)的電視接收機(jī)1的 動(dòng)作。圖4示出了圖形圖像41、和對攝像機(jī)圖像進(jìn)行鏡像變換并通過縮 放使象素?cái)?shù)與圖形圖像41的象素?cái)?shù)一致的縮放器輸出圖像43,在第一混 合器17中混合與兩個(gè)圖像41和43相對應(yīng)的信號。圖形圖像41形成用 于進(jìn)行控制的菜單畫面，方形的42表示推進(jìn)按鈕(操作按鈕)。 一方的 縮放器輸出圖像43是拍攝用戶并同鏡子一樣進(jìn)行顯示的圖像?？s放器輸 出圖像43中的虛線方形44表示由多個(gè)檢測器31、 32等構(gòu)成的檢測部19 的檢測區(qū)域，配置在與圖形圖像41上的推進(jìn)按鈕42同一位置上。圖5是用于說明第一混合器17中的混合處理的示意圖。圖5 (A) 表示了在圖形生成器16中生成的控制菜單畫面，包括推進(jìn)按鈕(1一1) (1_8)。圖5 (B)是用攝像機(jī)2捕捉到用戶的畫面(完成鏡像變換和 縮放器處理)，包括與檢測部19的各檢測器相對應(yīng)的檢測區(qū)域(2 — 1) (2—8)。圖5 (C)中示出了利用第一混合器17，以與控制值al相對 應(yīng)的混合比例混合了圖5 (A)和(B)中示出的畫面的畫面。再有，圖 5 (C)中顯示的用戶的圖像與圖5 (B)中示出的圖像相比，實(shí)際上與控 制值a 1相對應(yīng)地降低了亮度和對比度。如上所述，在顯示裝置23中如鏡子一樣映射用戶的圖像，并將控制 的菜單畫面也重疊顯示。這樣，用戶本人能夠識別自身的動(dòng)作和控制菜 單的位置。用戶通過看畫面后移動(dòng)手(身體)碰觸畫面上的推進(jìn)按鈕， 來進(jìn)行控制。換言之，用戶通過看畫面并移動(dòng)以使手位于推進(jìn)按鈕上， 來進(jìn)行控制。然后，若對與碰手(符合)的推進(jìn)按鈕成l: 1的檢測區(qū)域 內(nèi)的手進(jìn)行檢測，則能夠識別按下了適當(dāng)?shù)耐七M(jìn)按鈕的情況。從而，能 夠從控制信息判斷器(CPU) 20輸出相當(dāng)于該推進(jìn)按鈕的控制內(nèi)容的控制信號。這時(shí)，通過使圖形狀的菜單畫面的推進(jìn)按鈕的形狀和/或顏色 變化，來在顯示畫面上示出己識別了動(dòng)作的情況。例如，使圖像變化為 已按下了推進(jìn)按鈕。圖6示出設(shè)定在來自攝像機(jī)2的圖像上的檢測區(qū)域(2 — 1) (2 — 8)與檢測部19的檢測器31 34的對應(yīng)關(guān)系，另外還示出了確定檢測區(qū) 域(2—1)和(2_8)的定時(shí)脈沖(水平垂直)。如圖7所示，各檢測器31 34具有目標(biāo)提取器51、定時(shí)選通器52 和目標(biāo)特征數(shù)據(jù)檢測部53。定時(shí)選通器52用圖6中示出的定時(shí)脈沖，控 制來自攝像機(jī)2的圖像信號的通過。通過的區(qū)域位于圖6中用虛線方形 示出的檢測區(qū)域內(nèi)。進(jìn)一步，對限定在該檢測區(qū)域內(nèi)的信號進(jìn)行各種各 樣的濾波處理之后，提取由攝像機(jī)2捕捉到的用戶的手。目標(biāo)提取器51具有附加到圖像特征中的濾波器，在本實(shí)施方式中， 為了檢測用戶的手，特別進(jìn)行以膚色為著眼點(diǎn)的濾波處理。目標(biāo)提取器 51具體地來，說如圖8所示，具有特定色濾波器71、灰度限定器72、合 成器73和目標(biāo)選通器74。參照圖9說明特定色濾波器71。圖9是色差 平面圖，將縱軸設(shè)為R—Y，將橫軸設(shè)為B—Y?？梢杂迷撟鴺?biāo)上的矢量 表示電視信號的全部色信號，能夠用極坐標(biāo)進(jìn)行評價(jià)。特定色濾波器71 限定以色差信號輸入的色信號的色相和顏色的濃度(飽和度)。為了確定 它，以第一象限的B—Y軸為基準(zhǔn)(零度)，用左旋的角度表現(xiàn)色相。此 外，飽和度等于矢量的標(biāo)量數(shù)量，色差平面的原點(diǎn)是飽和度零，處于沒 有顏色的狀態(tài)，越遠(yuǎn)離原點(diǎn)，飽和度越大，顏色就濃。在圖9中，將由特定色濾波器71提取的范圍被設(shè)定在比等色相線L1 相對應(yīng)的角度ei小且與等色相線L2相對應(yīng)的角度02的范圍中，此夕卜， 將顏色的濃度設(shè)定在比等飽和度線S2小且比Sl大的范圍中。第二象限 的該范圍相當(dāng)于在本實(shí)施方式中提取的人手的顏色即膚色的區(qū)域，但不 特別限定。特定色濾波器71檢測來自攝像機(jī)2的色差信號(R—Y、 B — Y)是否進(jìn)入到由等色相線和等飽和度線包圍的區(qū)域中。因此，根據(jù)色差 信號計(jì)算并判定角度和飽和度。作為角度計(jì)算的一例，利用圖10中示出的處理，對各輸入象素計(jì)算圖9中示出的色差平面上構(gòu)成的角度。圖10中，用流程圖示出了角度計(jì)算處理，但也可以用軟件和硬件的任一種來實(shí)現(xiàn)角度計(jì)算處理。在本實(shí)施方式中用硬件實(shí)現(xiàn)。在圖10的步驟S401中，根據(jù)各輸入象素的色差 信號R—Y、 B—Y成分的符號，檢測輸入象素的色相位于色差平面上的 第幾象限。在步驟S402中，計(jì)算各色差信號R—Y、 B—Y成分的絕對值， 將大的一方作為A，小的一方作為B。然后，在步驟S403中，根據(jù)B/A檢測角度T1。從步驟S402的處 理可知，該角度T1為0 45、可以利用折線近似或ROM表來計(jì)算角度 Tl 。在步驟S404中，判定A是否是I R_Y | ,即是否| R—Y | > | B—Y | 。 若不是I R—Y I > I B—Y I ，則前進(jìn)到步驟S406。若是| R—Y | 〉 | B—Y | ， 則在步驟S405中將角度T1置換成(90—Tl)。這樣，來求tan—1 ((R— Y) / (B—Y))。將在步驟S403中檢測的角度Tl設(shè)定為0 45°是因?yàn)?，若tan—1 ((R 一Y) / (B—Y))的彎曲超過450，則梯度就急劇變大，不適于角度的 計(jì)算。另夕卜，在步驟S406中，使用在步驟S401中檢測到的象限的數(shù)據(jù)判 定是否是第二象限，若是第二象限，就在步驟S407中計(jì)算T二180—T1。 若不是第二象P艮，就在步驟S408中判定是否是第三象限，若是第三象限， 就在步驟S409中計(jì)算T二180+T1。若不是第三象限，就在步驟S410中 判定是否是第四象限，若是第四象限，就在步驟S411中計(jì)算T二360— Tl。若也不是第四象限，即是第一象限時(shí)，就將角度T設(shè)為Tl (步驟 S412)。然后，最后在步驟S413中輸出各輸入象素的在圖9的色差平面 上構(gòu)成的角度T。通過以上的處理，能夠在0 360°的范圍內(nèi)求出所輸入的色差信號11 一Y、 B—Y在色差平面上的角度。步驟S404 S4U是將步驟S403中檢 測到的角度T1修正為角度T的處理。此外，步驟S404 S411按照第一 第四象限修正角度T1。接著，利用下式進(jìn)行顏色的濃度即飽和度的計(jì)算。 Vc二sqrt (CrXCr+CbXCb)其中，如圖9所示，Cr是色信號的(R—Y)軸成分，Cb是(B—Y) 軸成分。此外，sqrt ()是進(jìn)行平方根運(yùn)算的算子。此處的處理不特別指定軟件或硬件，但由于用硬件不容易實(shí)現(xiàn)乘法 和平方根，并且軟件中的運(yùn)算步驟多，因此，也可以如下地求出近似值。Vc=max(|Cr|， | Cb | )十0.4xmin ( | Cr | ， | Cb | )其中，max(ICrl， | Cb | )是選擇| Cr |和| Cb |中的大的一方的運(yùn) 算處理，min ( I Cr I ， | Cb | )是選擇| Cr |和| Cb |中的小的一方的運(yùn)算 處理。此外，Vc是矢量的標(biāo)量數(shù)量，在此表示飽和度。評價(jià)以上求得的角度(色相)T和飽和度Vc是否進(jìn)入到從等色相線 的角度01到92的范圍，顏色的濃度是否進(jìn)入到比等飽和度線S2小且比 Sl大的范圍中。圖8中示出的特定色濾波器71的作用使進(jìn)入到范圍中的 信號通過。圖8的灰度限定器72如圖11所示，限定亮度信號的特定灰度。在 是8位數(shù)字信號的情況下，具有0 255的256個(gè)灰度，但設(shè)定限定該范 圍灰度的最大電平Lmax和最小電平Lmin，輸出電平在其之間的亮度信 號。合成器73將從特定色濾波器71和灰度限定器72輸入的信號變換成 區(qū)域脈沖。即，在通過了特定色濾波器71的信號和通過了灰度限定器72 的信號雙方都存在(AND)的情況下，輸出成為高電平的脈沖。將在合成器73中生成的區(qū)域脈沖供給目標(biāo)選通器74。目標(biāo)選通器 74在區(qū)域脈沖為高電平時(shí)，使亮度信號和色差信號通過。在區(qū)域脈沖外 的范圍(區(qū)域脈沖是低電平時(shí))，即不使輸入信號通過的情況下，輸出規(guī) 定值的信號。在本實(shí)施方式中，在不使其通過的范圍內(nèi)，輸出黑色電平 的亮度信號和飽和度零的色差信號。該目標(biāo)提取器51的工作是進(jìn)一步用亮度信號電平限定由特定色濾波 器71限定了色信號的色相(角度)和飽和度的信號。通過在特定色濾波 器71中限定色相和飽和度，能夠提取出人的膚色，但人的肌膚在日曬的 情況下有變化，此外，也根據(jù)人種而不同。就這些膚色來說各種各樣， 但若調(diào)整色相、飽和度、亮度信號的灰度限定的范圍，就能夠大概檢測出人的手。在本實(shí)施方式中，以人的手為對象，但若適當(dāng)?shù)卣{(diào)整其他的 色相和灰度，就也可以在本實(shí)施方式中的參數(shù)變更的范疇中同樣地與其 他區(qū)別開來。圖12 (A)和圖13 (A)表示對從攝像機(jī)2輸入的圖像設(shè)定了推進(jìn) 按鈕的區(qū)域(虛線方框)。本發(fā)明判別將用手罩在攝像機(jī)圖像上的動(dòng)作作 為控制信息。圖12 (B)和圖13 (B)示出其手的動(dòng)作。圖12 (B)示出 用手罩在推進(jìn)按鈕上，圖13 (B)示出彎曲了手指的狀態(tài)。在本實(shí)施方 式中，通過反復(fù)2次彎曲該手指，識別按下了推進(jìn)按鈕的情況。當(dāng)然， 僅舉起了手，或者進(jìn)行l(wèi)次或3次以上的動(dòng)作，也能夠得到同樣的效果。下面，參照圖14，按照時(shí)間軸說明手的動(dòng)作。將從伸直手指的狀態(tài) 到彎曲后的狀態(tài)所經(jīng)過的時(shí)間設(shè)為Tm。為了清楚容易地說明，圖中把時(shí) 間劃分為T0、 Tl、…、T6，作為動(dòng)作的最小單位。以下沿著時(shí)間經(jīng)過進(jìn) 行說明。在時(shí)刻T一1中示出不存在手的狀態(tài)，在時(shí)刻T0，示出了舉起手將 手罩在期望的推進(jìn)按鈕上的狀態(tài)，從時(shí)刻T1開始保持手最低Tm期間， 在時(shí)刻T2示出彎曲了手的手指的狀態(tài)，在時(shí)刻T3，示出從彎曲了手指 的狀態(tài)開始到伸直了手指的狀態(tài)，在時(shí)刻T4示出再次彎曲了手指的狀態(tài)， 在時(shí)刻T5，示出將彎曲的手指再次伸直的狀態(tài)，從時(shí)刻T6開始，保持 伸直了手指的狀態(tài)最低Tm期間，在時(shí)刻T7示出了不存在手的情況。以上是推進(jìn)按鈕上的手的動(dòng)作。圖14的上側(cè)的波形圖示出了下側(cè)模 式化描述的手在推進(jìn)按鈕上的平面投影面積的變化。通過分析該波形并 確定手的動(dòng)作，能夠捕捉控制動(dòng)作。圖15中示出與目標(biāo)提取器51的輸出信號相對應(yīng)的圖像。通過了目 標(biāo)提取器51的信號在定時(shí)選通器52中被限定推進(jìn)按鈕的區(qū)域，除此以 外的區(qū)域忽略不計(jì)。供給到定時(shí)選通器52內(nèi)的信號在特定色濾波器71 中被確定顏色，在此，僅手的膚色區(qū)域通過，此外，也在灰度方向中進(jìn) 行限定，僅被限定的區(qū)域通過，除此以外的區(qū)域就成為黑色(亮度信號 色信號都是零)。從而，如圖15所示，除了手指以外就成為黑色(劃陰 影線示出)。圖15 (A)示出舉起了手指的狀態(tài)，圖15 (B)示出彎曲了手指的狀態(tài)。在此，將除了膚色區(qū)域以外的區(qū)域設(shè)定為黑色，這是為了 徹底提高后級的檢測器中的檢測精度，根據(jù)要檢測的對象物而設(shè)定最佳 電平(特定的電平)。從該圖15開始進(jìn)一步檢測圖像的特征。圖7中示出的目標(biāo)特征數(shù)據(jù) 檢測部53由從圖像檢測各種各樣特征的功能塊、即直方圖檢測器61、平 均亮度(APL)檢測器62、高頻檢測器63、最小值檢測器64和最大值 檢測器65構(gòu)成。除此以外也有賦予圖像特征的項(xiàng)目，但在本實(shí)施方式中， 在根據(jù)這些內(nèi)容來判別是手的情況的同時(shí)識別其動(dòng)作。這些檢測器61 65在本實(shí)施方式中由硬件構(gòu)成，將空間內(nèi)的檢測框 內(nèi)的狀態(tài)加工成畫面單位(場和幀單位垂直周期單位)的數(shù)據(jù)，向控 制信息判斷器(CPU) 20的總線送出。控制信息判斷器(CPU) 20在軟 件上存儲為變量，并進(jìn)行數(shù)據(jù)處理。直方圖檢測器61將亮度信號的灰度劃分為8個(gè)級別，計(jì)數(shù)各級別中 存在的象素的數(shù)量，每一個(gè)畫面(半幀或幀畫面)向控制信息判斷器(CPU) 20輸出一個(gè)各級別的頻率值。APL檢測器62同樣地相加一個(gè)畫 面內(nèi)的亮度電平，并向控制信息判斷器(CPU) 20輸出按象素?cái)?shù)分割的 一個(gè)畫面的平均亮度值。高頻檢測器63利用空間濾波器(二維濾波器) 提取高頻成分，將其高頻成分的頻率按一個(gè)畫面單位向控制信息判斷器(CPU) 20輸出。最小值檢測器64向控制信息判斷器(CPU) 20輸出 一個(gè)畫面的亮度信號的最小灰度值，此外，最大值檢測器65向控制信息 判斷器(CPU) 20輸出一個(gè)畫面內(nèi)的亮度信號的最大灰度值?？刂菩畔⑴袛嗥?CPU) 20將收到的數(shù)據(jù)存儲為變量并進(jìn)行軟件處 理。之后在本實(shí)施方式中進(jìn)行軟件處理。圖16 圖21是示出直方圖檢測器61和平均亮度檢測器62的輸出數(shù) 據(jù)的圖。這示出了灰度的直方圖和平均亮度(APL)，關(guān)于APL，為了感 觀上清楚大小而用箭頭示出。在這些圖中，縱軸表示頻率，橫軸將灰度(亮度)戈吩為8個(gè)級別來表示。情形1和情形2中手的亮度不同，情 形1是手的頻率集中在特定級別中的情況，情形2表示跨兩個(gè)級別的情 況。圖16 圖21是與圖14中表示的各時(shí)刻T—1、 T0 T6相對應(yīng)的直19方圖。利用目標(biāo)提取器51用特定色膚色限定灰度，其他部分成為黑色， 因此，直方圖上的頻率集中在黑色部分和限定了灰度的部分。以下沿著時(shí)間經(jīng)過說明直方圖和APL的值的變遷。圖16、時(shí)刻T一1:示出了在不存在手的情況下基本上不存在頻率，用攝像機(jī)捕捉的背景等中存在的膚色且進(jìn)入到限定的灰度區(qū)域中的成分的頻率。此外，APL低。圖17、時(shí)刻T0:示出了在舉起手將手罩在期望的推進(jìn)按鈕上的狀態(tài) 下，情形1中表示級別5的灰度的頻率變大。在情形2中，由于跨級別5 和6區(qū)域，因此，頻率未達(dá)到情形1的頻率，但級別5和6的合計(jì)量增 加為大致相同。此外，由于手的面積變大，故APL與其成比例。圖18、時(shí)刻T1:在保持了手最低Tm期間時(shí)，與時(shí)刻T0同樣。圖19、時(shí)刻T2:在彎曲了手指的狀態(tài)下，黑色的區(qū)域擴(kuò)大，級別5 的頻率減少。此外，關(guān)于APL也減少。圖20、時(shí)刻T3:在從彎曲開始伸直了手指的狀態(tài)下，與時(shí)刻T0同樣。圖21、時(shí)刻T4:在再次彎曲了手指的狀態(tài)下，與時(shí)刻T2同樣。 圖22、時(shí)刻T5:在再次伸直了彎曲的手指的狀態(tài)下，與時(shí)刻T0同樣。圖23、時(shí)刻T6:在保持伸直了手的狀態(tài)最低Tm期間的狀態(tài)下，與 時(shí)刻T0同樣。在直方圖的數(shù)據(jù)處理中，在本實(shí)施方式中，由于將沒作為目標(biāo)提取 的部分設(shè)為黑色，因此，級別1是黑色區(qū)域，在評價(jià)對象的考慮之外。 關(guān)于評價(jià)的做法多種多樣，但由于直接的手的信息是在本實(shí)施方式中進(jìn) 入到限定了灰度的范圍中的級別4、 5、 6、 7,因此，綜合評價(jià)它的值。直方圖的合計(jì)值的變動(dòng)成為與APL的變動(dòng)接近的內(nèi)容，只有值的比 例不同，可以通過同樣的分析來判別手的動(dòng)作。為了提高判別的準(zhǔn)確度， 使用不同的檢測裝置進(jìn)行評價(jià)判定。對上述的高頻檢測器63、最小值檢 測器64、最大值檢測器65等檢測數(shù)據(jù)也同樣地進(jìn)行評價(jià)，并通過根據(jù)更 多不同的檢測數(shù)據(jù)進(jìn)行判別，能夠提高精度。在本實(shí)施方式中，高頻檢測是檢測手指與背景的黑色的邊緣成分的頻率，從圖15可知，彎曲了手指時(shí)邊緣成分減少，其變動(dòng)與直方圖和APL相同。但是，在最大值檢測 中，若手指的某處進(jìn)入到了推進(jìn)按鈕的某處，就沒有大的變化，檢測精 度就差。此外，由于這次脫離目標(biāo)提取范圍的部分變?yōu)楹谏虼?，?小值檢測不變化，故并不意味著全部。但是，利用用攝像機(jī)捕捉的對象 物的顏色和灰度，有時(shí)也可以將脫離目標(biāo)提取范圍的部分設(shè)定為白色。 通過對于設(shè)為對象的目標(biāo)，將對比度的某種顏色和白色適用于脫離目標(biāo) 提取范圍的部分，判別精度就增高。面向判別的評價(jià)的做法是判別預(yù)定的手的動(dòng)作，其基本算法相同， 通過檢測項(xiàng)目而比例不同。上述圖7中示出的目標(biāo)特征數(shù)據(jù)檢測部53的 輸出通過CPU總線，被傳送到控制信息判斷器(CPU) 20?？刂菩畔⑴?斷器(CPU) 20進(jìn)行動(dòng)作檢測，輸出適當(dāng)?shù)目刂菩盘?。圖24是用于說明 控制信息判斷器(CPU) 20的工作的功能框圖，控制信息判斷器(CPU) 20具有與直方圖檢測器61相對應(yīng)的第一動(dòng)作檢測器201、與平均亮度 (APL)檢測器62相對應(yīng)的第二動(dòng)作檢測器202、與高頻檢測器63相對 應(yīng)的第三動(dòng)作檢測器203、與最小值檢測器64相對應(yīng)的第四動(dòng)作檢測器 204、與最大值檢測器65相對應(yīng)的第五動(dòng)作檢測器205和控制信息生成 器210。再有，實(shí)際上利用軟件處理來實(shí)現(xiàn)這些動(dòng)作檢測器201 205和 控制信息生成器210的功能。動(dòng)作檢測器201 205按照對應(yīng)的檢測器61 65的檢測結(jié)果輸出檢 測標(biāo)志，向控制信息發(fā)生器210供給。控制信息發(fā)生器210評價(jià)輸入的 檢測標(biāo)志的內(nèi)容，輸出適當(dāng)?shù)目刂菩畔?。此處的評價(jià)有效利用計(jì)算機(jī)語 言的算子來進(jìn)行，例如"或"邏輯、"與"邏輯、"異或"邏輯、 >、 <等， 在滿足了包含這些算子的運(yùn)算式的情況下，輸出控制信號。在本實(shí)施方 式中，所有的動(dòng)作檢測器201 205的輸出的"或"邏輯、即至少一個(gè)以 上的動(dòng)作檢測器輸出了檢測標(biāo)志時(shí)，就輸出控制信息。詳細(xì)說明上述動(dòng)作檢測器201 205。在此，根據(jù)直方圖的限定級別 的合計(jì)數(shù)據(jù)，檢測動(dòng)作的情況。圖25示出了從直方圖得到的數(shù)據(jù)的變動(dòng)。 該圖中示出的時(shí)刻T0 T6與圖14中示出的時(shí)刻T0 T6相對應(yīng)。圖25(A)是合計(jì)了直方圖的限定后的4 6級別的值的變動(dòng)。相當(dāng)于黑色以 外的部分，表示手所占的面積。該圖(B)去除了偏置成分，在Tm期間 中沒有變化的情況下，值等于零。該圖(C)是將圖(B)的數(shù)據(jù)二次方 來得到的結(jié)果，手指的彎曲動(dòng)作接近于正弦波，由于是它的二次方，故 周期成為1/2的正弦波。該圖(D)積分了圖(A)的波形，用箭頭表 示了用于判別手的動(dòng)作的選通脈沖。該圖(E)用數(shù)字濾波器將圖(C) 的波形相互建立關(guān)聯(lián)，看到了與手的動(dòng)作的關(guān)聯(lián)。另外，過渡圖(D)和(E)之間，示出了最終判斷即確定地導(dǎo)出用戶操作了推進(jìn)按鈕的過程。 以下，詳細(xì)說明圖25。(A) 與在圖14中一起表示了手的動(dòng)作的波形相同。特別省略了與 判別無關(guān)的部分。在此，將從伸直了手的狀態(tài)開始到彎曲的期間設(shè)為Tm， 考慮作為手動(dòng)作的基準(zhǔn)期間(時(shí)間間隔)。從時(shí)刻T0到Tl是舉起了手的 期間，在此舉起了大約Tm期間，使該推進(jìn)按鈕激活并進(jìn)行判別。從時(shí) 刻Tl到T2是彎曲手指的過程。從時(shí)刻T2到T3表示伸直了手指的過程。 時(shí)刻T3 T4是再次彎曲起手指的過程。時(shí)刻T4 T5是再次伸直了手指 的過程。時(shí)刻T5 T6是手指伸直保持約Tm期間的狀態(tài)。這一系列的動(dòng) 作與鼠標(biāo)的雙擊相似，對人來說能夠自然而然地動(dòng)作。(B) 是去除了 DC偏置成分而得到的。圖26中示出進(jìn)行去除的濾 波器的結(jié)構(gòu)例。該濾波器是在Tm期間前后需要(一l /2、 1/2)的分 支系數(shù)(夕'7 7'係數(shù))的高頻的數(shù)字濾波器，由使輸入信號延遲時(shí)間Tm 的延遲器81、從延遲器81的輸出信號減去輸入信號的減法器82、和使 信號電平衰減1 / 2的衰減器83構(gòu)成。Tm期間的延遲用于使手的動(dòng)作的 波形通過。數(shù)字濾波器的形式不特別限定于此，但在此采用了最簡單的 結(jié)構(gòu)且絕對延遲量小的濾波器。此外，若將分支系數(shù)的符號替換為(1/ 2、 一1/2)，則輸出的波形就翻轉(zhuǎn)，但不影響之后的處理，使用哪種都 能得到相同的效果。(C) 把如上所述的(B)的波形二次方來得到的結(jié)果，若考慮為正 弦波的波形，周期就成為1/2。用數(shù)字濾波器相關(guān)計(jì)算了該(C)的波 形是(E)，但圖27詳細(xì)地示出。圖27 (A)、 (B)、 (C)與圖25同樣。在其下側(cè)描繪的是相互相關(guān)數(shù)字濾波器。在方形中標(biāo)記D的圖示表示1 個(gè)垂直周期的延遲，相當(dāng)于在數(shù)字電路中使用的數(shù)字雙穩(wěn)態(tài)多諧振蕩器(以后記載為DFF)。接著，k0、 kl、…、k8表示數(shù)字濾波器的分支系數(shù)。 S是指分支系數(shù)輸出的總和運(yùn)算，在其輸出中得到相互相關(guān)計(jì)算值Y(nO。加工了 (C)后來得到取相互相關(guān)的手的動(dòng)作的波形， 一方的波 形作為分支系數(shù)的值而存在，按照手的動(dòng)作與分支系數(shù)間的相互相關(guān)， 在波形的形狀是完全一致或接近的值時(shí)，相互相關(guān)的數(shù)字濾波器輸出就 變?yōu)樽畲笾??？梢杂靡韵碌臄?shù)學(xué)式表示圖27中示出的數(shù)字濾波器涉及的運(yùn)算處 理，在圖27的結(jié)構(gòu)例中，N是"9"。數(shù)學(xué)式1W -l ,'=0圖27中示出的數(shù)字濾波器從右側(cè)輸入(C)中描繪的波形。如上從 右輸入信號進(jìn)行描述是因?yàn)闉榱耸?C)中示出的各波形進(jìn)入到DFF中 時(shí)，時(shí)間上一致(一部分箭頭標(biāo)記)。從而來到最后的手動(dòng)作沒延遲的最 右側(cè)。然后，相互相關(guān)的系數(shù)可以原樣加進(jìn)(C)的波形。但在此不談?wù)?比例。此外，系數(shù)值在DC上有偏置并不理想，因此，以(C)波形的電 平中心為基準(zhǔn)，盡量不涉及DC偏置。由于系數(shù)值是計(jì)算與手的動(dòng)作的 相關(guān)而得到的，因此，若在此規(guī)定的動(dòng)作內(nèi)容變化，則隨之改變系數(shù)值， 此外也可以具有幾個(gè)相關(guān)值驅(qū)動(dòng)多個(gè)數(shù)字濾波器，使其各自具有不同的 意義。在此，分支系數(shù)是9，因此等于9個(gè)垂直周期。在1秒鐘具有60 個(gè)垂直周期的視頻信號的情況下，約等于l/7秒，作為手的動(dòng)作稍微有 些快，但為了減慢就需要增加分支系數(shù)，進(jìn)行變慢的調(diào)整，因此，實(shí)際 上可以根據(jù)實(shí)驗(yàn)設(shè)定最佳的分支系數(shù)的數(shù)。此外，在此考慮了 (C)的波形作為相關(guān)計(jì)數(shù)值，但也可以使用(B) 中示出的波形的直到時(shí)刻T1 T5的波形。其中，使用了 (C)的波形的 一方精度更高。23返回到圖25，對(E)的波形進(jìn)行說明。(E)的波形是表示向上述 相互相關(guān)數(shù)字濾波器輸出后模式化該輸出中所出現(xiàn)的值的結(jié)果。隨著時(shí) 刻的前進(jìn)，手的動(dòng)作與分支系數(shù)的一致度增大，峰值變大。該波形的評 價(jià)如用箭頭示出了負(fù)的區(qū)域所示，取絕對值后進(jìn)一步進(jìn)行積分(圖中包 絡(luò)線)，在超過了閾值TH4時(shí)確定是要控制的手的動(dòng)作。此處的絕對值化 如圖28所示，二次方后進(jìn)行積分也相同。在此，(C)中示出的波形的大小基于最初的直方圖數(shù)據(jù)，判定精度 根據(jù)該大小而變化。此外，當(dāng)進(jìn)行積分即累加計(jì)算時(shí)都需要初始化(復(fù) 位)。(D)中示出的波形實(shí)現(xiàn)了它。另外還需要用于提高檢測精度的抑制 無意義的信息的處理。(D)的波形是沿著時(shí)間軸積分了來自(A)的直方圖的數(shù)據(jù)而得到 得。到時(shí)刻T1的期間是舉起了手的期間，(B)在(A)不變化時(shí)拾取了 零即高頻成分。這是指在舉著手時(shí)是靜止?fàn)顟B(tài)。當(dāng)然，由于是人的動(dòng)作， 所以有時(shí)有變動(dòng)，但從大的動(dòng)作來看可以看作靜止，就處理來說，也可 以設(shè)定能夠容易實(shí)現(xiàn)的盲區(qū)等之后舍去。從而，在(B)位于閾值THla 和THlb間時(shí)，并且(A)在閾值TH0以上時(shí)，積分后積分值變大。其 波形是(D)。此外，開始積分的初始狀態(tài)在(A)波形處于小于等于閾 值TH0時(shí)進(jìn)行初始化。(D)中示出的積分值若超過閾值TH2就激活。 將到此為止的區(qū)域稱作檢測區(qū)域。從(D)中示出的積分值超過閾值TH2開始，如箭頭Y1所示，設(shè)定具有特定的時(shí)間常數(shù)的期間，直到進(jìn)入到之后的判定區(qū)域中稱作激活區(qū) 域。所述激活區(qū)域是進(jìn)行相關(guān)計(jì)算的區(qū)域。判定區(qū)域是具有上述相關(guān)計(jì) 算的結(jié)果，判斷手的動(dòng)作為控制狀態(tài)的區(qū)域，將相互相關(guān)數(shù)字濾波器輸 出取絕對值后進(jìn)行了積分的值從超過了閾值TH4的時(shí)間點(diǎn)開始。對于(D) 的波形設(shè)置了另一個(gè)閾值TH3。閾值TH3是小于閾值TH2的值，將超過 了該閾值TH3的用箭頭Y2—l示出的期間使用于判定。手指的彎曲動(dòng)作 在最后伸直了手指后結(jié)束。閾值TH3用于確認(rèn)該最后的動(dòng)作。將與箭頭 Y2 — l相反的區(qū)域即箭頭Y2—2的期間考慮作為禁止判定的期間，以避 免誤識別。然后，在箭頭Y1、箭頭Y2 — 1、箭頭Y3—致的時(shí)候，確定在判定區(qū)域中手的動(dòng)作是控制信息。該檢測區(qū)域是識別舉起手的區(qū)域，在超過了該區(qū)域的時(shí)刻，改變圖 形的控制圖像的顏色和形狀，能夠積極地引導(dǎo)用戶。此外，在結(jié)束了激 活區(qū)域的時(shí)刻和在判定區(qū)域中已確定的時(shí)刻，同樣改變圖形的控制圖像 的顏色和形狀，使用戶能夠認(rèn)知。這有無需使用戶重試的優(yōu)點(diǎn)。下面，關(guān)于閾值TH3的絕對電平進(jìn)行說明。相互相關(guān)數(shù)字濾波器的 輸出值的大小根據(jù)舉手的區(qū)域的范圍而變化。特別是也可以固定結(jié)合人 將手罩在必要區(qū)域上，但需要吸收人的模糊點(diǎn)。在此，看著直到閾值TH2 的積分區(qū)域所需的時(shí)間Tr，這樣進(jìn)行調(diào)整。舉手的面積越大，期間Tr越 短，反之，面積小時(shí)時(shí)間變長。從而，在時(shí)間Tr大時(shí)，將閾值TH3和 TH4修正為增大；時(shí)間Tr小時(shí)，將閾值TH3和TH4修正為減小。利用 該自適應(yīng)控制，就能抑制對于舉起手的面積的依存性，進(jìn)行正確的識別。在本實(shí)施方式的操作方法中，對于攝像機(jī)的拍攝的視場角，根據(jù)人 的位置考慮手的大小小或達(dá)不到推進(jìn)按鈕的位置的情況。該情況下，需 要在圖2中示出的縮放器15中對圖像進(jìn)行"放大""縮小""相位(位置)" 整，使人在畫面上成為適當(dāng)?shù)拇笮?。圖29是用于說明它的圖。圖29 (A) 中示出的例子是難以較小地控制人的姿勢的畫面。該情況下，通過控制 縮放器15進(jìn)行"放大"，并調(diào)整"相位"而使得人位于畫面中心，就能 夠以如該圖(B)所示那樣的適當(dāng)?shù)拇笮?，在適當(dāng)?shù)奈恢蔑@示用戶。此外，圖30示出了控制縮放器15進(jìn)行"縮小"，調(diào)整"相位"而使 得人位于畫面中心的例子。作為其他的方法，如圖31所示，也可以將攝像機(jī)2安裝在云臺上， 利用云臺的視場角控制和攝像機(jī)2的變焦控制，使用戶的圖像以適當(dāng)?shù)?大小顯示在適當(dāng)?shù)奈恢蒙?。此外，本發(fā)明的操作方法是對在顯示裝置上顯示的圖形上展開的 控制圖像，在觀察與所述控制圖像重疊的自身鏡像的同時(shí)進(jìn)行操作。但 由于重疊圖像，故有時(shí)難以看見。該情況下，用確定圖6中示出的檢測 器的畫面區(qū)域的定時(shí)脈沖(水平垂直)來控制第一混合器17或第二混合 器22的混合比例，來使其容易看見。例如，為了容易看見控制圖像推進(jìn)按鈕，利用第一混合器17用定時(shí)脈沖來進(jìn)行控制，使得減小控制值al 的值。通過將混合器控制成非常細(xì)，因此，能夠容易知道視聽者與控制(^u傷 /他二卄始tTl人 aa半^T印i豕口'j:7^;^0在以上說明的本發(fā)明的實(shí)施方式中，按硬件和軟件劃分界線進(jìn)行了 記載，但其劃界的方法怎么樣進(jìn)行都可以。本實(shí)施方式的操作方法，是用人手的碰觸操作在對稱的圖形上描畫 的推進(jìn)按鈕。成為對象的推進(jìn)按鈕所表示的操作內(nèi)容可以置換為"電源"、 "頻道"、"音量"、"輸入切換"、"上"、"下"、"左"、"右"、"確定"等 現(xiàn)有遙控器所具有的全部內(nèi)容。通過使用如上所述的操作方法，就能不需要使用遙控器這樣的控制 設(shè)備而進(jìn)行控制對象的控制。從而消除了電池?cái)嚅_和接點(diǎn)不良等有關(guān)遙 控器的故障。此外，在有多個(gè)設(shè)備的遙控器的情況下，必須要尋找被控 制設(shè)備的遙控器，但在本發(fā)明的操作方法中，只要有人的身體就行，解 除了這樣的問題。此外，由于在畫面上顯示控制內(nèi)容，因此，能進(jìn)行各種各樣的控制 設(shè)備的操作。這在網(wǎng)絡(luò)化的環(huán)境中非常重要，通過具有顯示裝置的設(shè)備 來控制網(wǎng)絡(luò)設(shè)備。換言之，通過將與網(wǎng)絡(luò)連接的設(shè)備的控制畫面經(jīng)網(wǎng)絡(luò) 傳送到具有顯示裝置的設(shè)備中，顯示裝置的畫面成為控制畫面，因此， 在什么樣的控制畫面中都能適應(yīng)。此外，由于為了用遙控器從菜單畫面進(jìn)行控制， 一邊按下幾次手上 的按鈕， 一邊進(jìn)行選擇菜單畫面上的推進(jìn)按鈕的動(dòng)作，因此，需要一邊 反復(fù)幾次看手上和畫面一邊進(jìn)行操作。對此，根據(jù)本發(fā)明的操作方法， 由于用戶自身被重疊映照在操作畫面上，因此，能夠一直看畫面進(jìn)行操 作，不僅能快速操作，而且能夠不使眼睛疲勞，提高使用便利性。此外，手的動(dòng)作能進(jìn)行與操作計(jì)算機(jī)鼠標(biāo)相似的操作。在本實(shí)施方 式中，采用了如雙擊那樣彎曲手指的動(dòng)作。如今計(jì)算機(jī)廣泛普及，與計(jì) 算機(jī)操作相似的動(dòng)作對于大多數(shù)用戶來說很容易處理，有利于信息讀寫 能力。再有，本發(fā)明不限于上述實(shí)施方式，可以進(jìn)行各種各樣的變形。例如，也可以將圖2中示出的第一混合器17和第二混合器22的混合比例 在電平方向、空間方向、時(shí)間方向有效地組合。這樣，就能夠?qū)碜詳z 像機(jī)2的圖像、所生成圖形的菜單畫面以及廣播節(jié)目的影像進(jìn)行各種組 合，同時(shí)能夠交換多種信息。此外，成為本發(fā)明的操作對象的電子設(shè)備不限于電視接收機(jī)，也可 以是個(gè)人計(jì)算機(jī)、電視接收機(jī)和錄像盤錄像裝置的組合、電視接收機(jī)和 視頻信號記錄器的組合等具有顯示裝置的電子設(shè)備。
權(quán)利要求
1、一種電子設(shè)備的控制裝置，控制具有顯示裝置的電子設(shè)備，其特征在于，具有攝像機(jī)，拍攝位于上述顯示裝置前面的操作者；鏡像變換器，進(jìn)行用上述攝像機(jī)拍攝的圖像的鏡像變換，輸出鏡像變換圖像信號；操作用圖像生成部，生成與包括至少一個(gè)操作按鈕的操作用圖像相對應(yīng)的操作用圖像信號；混合器，混合上述鏡像變換圖像信號和上述操作用圖像信號；檢測器，在使由上述混合器混合的圖像信號顯示在上述顯示裝置的畫面上的狀態(tài)下，檢測出畫面上顯示的操作者指示了上述操作用圖像的情況；控制部，在由上述檢測器檢測到指示了上述操作用圖像的情況的狀態(tài)下，檢測上述操作者是否操作了上述操作用圖像，在檢測到操作了上述操作用圖像的情況下，對應(yīng)于上述操作用圖像進(jìn)行上述電子設(shè)備的控制動(dòng)作，上述檢測器包括提取器，提取上述鏡像變換圖像信號中指示與上述操作按鈕相對應(yīng)的檢測區(qū)域的上述操作者的手的區(qū)域；及特征數(shù)據(jù)檢測器，檢測出表示上述操作區(qū)域的圖像信號中所占的上述手的區(qū)域的圖像信號的變化的數(shù)據(jù)，上述控制部根據(jù)由上述特征數(shù)據(jù)檢測器檢測到的上述數(shù)據(jù)生成波形，并通過比較上述波形和預(yù)先記錄的預(yù)定的波形來求出一致度，由此檢測上述操作者是否操作了上述操作用圖像。
2、 如權(quán)利要求l所述的電子設(shè)備的控制裝置，其特征在于，上述特 征數(shù)據(jù)檢測器具備直方圖檢測器，該直方圖檢測器檢測表示發(fā)生頻率的 直方圖，該發(fā)生頻率是由上述提取器提取的表示上述手的區(qū)域的圖像信 號的灰度的發(fā)生頻率；上述控制部根據(jù)由上述直方圖檢測器檢測到的直方圖的時(shí)間變化生 成上述波形，并檢測上述操作者是否操作了上述操作用圖像。
3、 如權(quán)利要求1或2所述的電子設(shè)備的控制裝置，其特征在于，上 述提取器包括特定色濾波器，該特定色濾波器為了檢測指示上述操作用 圖像的上述操作者的手，從上述鏡像變換圖像信號提取特定色區(qū)域。
4、 如權(quán)利要求3所述的電子設(shè)備的控制裝置，其特征在于，上述提 取器還包括灰度限定器，從上述鏡像變換圖像信號提取預(yù)定的灰度范圍； 合成器，輸出合成信號，該合成信號表示接收到如下兩種信號表 示由上述特定色濾波器提取了上述特定色區(qū)域的圖像信號的情況的信 號；以及表示由上述灰度限定器提取了上述灰度范圍內(nèi)的圖像信號的情 況的信號。
5、 如權(quán)利要求4所述的電子設(shè)備的控制裝置，其特征在于，上述提 取器還具有選通器，所述選通器在上述合成器輸出上述合成信號時(shí)，將 上述鏡像變換圖像信號中的表示上述操作者的手的區(qū)域之外的信號，置 換成特定的亮度或顏色。
6、 一種電子設(shè)備的控制方法，控制具有顯示裝置的電子設(shè)備，其特征在于，具有用攝像機(jī)拍攝位于上述顯示裝置前面的操作者的步驟；進(jìn)行用上述攝像機(jī)拍攝的圖像的鏡像變換，輸出鏡像變換圖像信號的步驟；生成與包括至少一個(gè)操作按鈕的操作用圖像相對應(yīng)的操作用圖像信 號的步驟；混合上述鏡像變換圖像信號和上述操作用圖像信號的步驟； 第一檢測步驟，在使混合后的圖像信號顯示在上述顯示裝置的畫面上的狀態(tài)下，檢測上述畫面上顯示的上述操作者指示了上述操作用圖像的情況；第二檢測步驟，在檢測到指示了上述操作用圖像的狀態(tài)下，檢測上 述操作者是否操作了上述操作用圖像；以及在檢測到操作了上述操作用圖像的情況下，對應(yīng)于上述操作用圖像 進(jìn)行上述電子設(shè)備的控制動(dòng)作的步驟，上述第1檢測步驟包括提取步驟，提取上述鏡像變換圖像信號中 指示與上述操作按鈕相對應(yīng)的檢測區(qū)域的上述操作者的手的區(qū)域；以及 變化檢測步驟，檢測出表示上述操作區(qū)域的圖像信號中所占的上述手的 區(qū)域的圖像信號的變化的數(shù)據(jù)，上述第2檢測步驟包括比較步驟，根據(jù)由上述特征數(shù)據(jù)檢測步驟 檢測到的數(shù)據(jù)生成波形，并通過比較上述波形和預(yù)先記錄的預(yù)定的波形 來求出一致度；以及操作檢測步驟，根據(jù)上述比較步驟中求出的一致度， 檢測上述操作者是否操作了上述操作用圖像。
7、 如權(quán)利要求6所述的電子設(shè)備的控制方法，其特征在于，上述變 化檢測步驟檢測出表示發(fā)生頻率的直方圖，該發(fā)生頻率是由上述提取步 驟提取的表示上述手的區(qū)域的圖像信號的灰度的發(fā)生頻率；上述比較步驟根據(jù)在上述變化檢測步驟檢測到的直方圖的時(shí)間變 化，生成上述波形。
8、 如權(quán)利要求6或7所述的電子設(shè)備的控制方法，其特征在于，上 述提取步驟具有特定色區(qū)域提取步驟，該特定色區(qū)域提取步驟為了檢測 指示上述操作用圖像的上述操作者的手，從上述鏡像變換圖像信號提取 特定色區(qū)域。
9、 如權(quán)利要求8所述的電子設(shè)備的控制裝置，其特征在于，上述提取步驟還包括灰度范圍提取步驟，從上述鏡像變換圖像信號提取預(yù)定的灰度范圍； 合成步驟，輸出合成信號，該合成信號表示接收到如下的兩種信號 表示由上述特定色濾波步驟提取了上述特定色區(qū)域的圖像信號的情況的 信號；以及表示由上述灰度限定步驟提取了上述灰度范圍內(nèi)的圖像信號 的情況的信號。
10、 如權(quán)利要求9所述的電子設(shè)備的控制裝置，其特征在于，上述 提取步驟還包括如下步驟在上述合成步驟輸出上述合成信號時(shí)，將上述鏡像變換圖像信號中的表示上述操作者的手的區(qū)域之外的信號，置換成特定的亮度或顏色。
全文摘要
本發(fā)明提供一種在對于多種電子設(shè)備兼容柔性和遙控操作的便利性的同時(shí)，不需要在手上利用遙控器這樣的遙控操作用設(shè)備的電子設(shè)備的控制裝置。利用攝像機(jī)(2)拍攝操作者的圖像進(jìn)行鏡像變換。生成包括操作按鈕的操作用圖像，將鏡像變換后的操作者的圖像和操作用圖像重疊后顯示在顯示裝置(23)上。在顯示的畫面上，若操作者進(jìn)行將手移動(dòng)到操作按鈕上并彎曲手指的選擇動(dòng)作，就利用檢測部(19)檢測它的選擇動(dòng)作，將進(jìn)行了選擇動(dòng)作的操作按鈕的信息供給到控制信息判斷器(20)中?？刂菩畔⑴袛嗥?20)輸出與選擇后的操作按鈕相對應(yīng)的各種控制信號。
文檔編號H04Q9/00GK101257594SQ20071019678
公開日2008年9月3日 申請日期2005年6月30日 優(yōu)先權(quán)日2004年9月21日
發(fā)明者北浦正博 申請人:日本勝利株式會社