本發(fā)明涉及投射型影像顯示裝置以及影像顯示方法，特別涉及對改善基于手指、電子筆等的用戶操作有效的技術(shù)。

背景技術(shù)：

關(guān)于投射影像而顯示的裝置提出有多種技術(shù)。例如，在專利文獻(xiàn)1中，作為目的記載有“不使用特殊設(shè)備而檢測操作信息”的操作檢測裝置及其程序。

另外，作為達(dá)到該目的的手段，記載有“一種操作檢測裝置，與照明單元以及攝像單元一起被使用，其特征在于，具備：在通過所述照明單元照射的狀態(tài)下使所述攝像單元對操作者進(jìn)行攝像的單元；根據(jù)通過所述攝像單元得到的操作者的圖像數(shù)據(jù)檢測所述操作者的特定部位的區(qū)域的單元；從檢測到的所述操作者的特定部位的區(qū)域抽出影子的部分的單元；以及從抽出的所述影子的部分中，檢測出邊緣形成直線的多條線段，檢測所檢測到的線段彼此相交成銳角的點(diǎn)，將該交點(diǎn)檢測為所述操作者的特定部位的區(qū)域內(nèi)的手指指示位置的單元”。

專利文獻(xiàn)1：日本特開2008-59283號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

在上述專利文獻(xiàn)1的技術(shù)中，根據(jù)由于照射光等而出現(xiàn)的手指的影子等來檢測手指動(dòng)作和位置。因此，例如在由于外部光等周圍光的影響而手指影子的形狀變亂的情況下，可能會(huì)導(dǎo)致無法檢測手指動(dòng)作或位置等。

另外，用戶無法掌握由于外部光等的影響而無法檢測用戶操作的區(qū)域。因此，存在用戶自身無法改善使用環(huán)境的問題。

本發(fā)明的目的在于提供一種能夠改善外部光等的影響所致的用戶操作的誤識(shí)別或未檢出的技術(shù)。

關(guān)于本發(fā)明的上述以及其它目的和新特征，根據(jù)本說明書的表述以及附圖將更加明確。

如果簡單說明本申請所公開的發(fā)明中的代表性的發(fā)明的概要，則如下所述。

即，代表性的投射型影像顯示裝置是能夠通過操作投射到投射面的操作目標(biāo)進(jìn)行控制的影像顯示裝置。該投射型影像顯示裝置具備投射部、攝像部、可操作區(qū)域確定部以及檢測部。

投射部，將顯示影像投射到投射面上。攝像部，對投射面進(jìn)行攝像?？刹僮鲄^(qū)域確定部，根據(jù)攝像部攝像到的圖像數(shù)據(jù)在投射面中的顯示影像被投射的范圍分別確定能夠檢測操作目標(biāo)的操作的第1區(qū)域以及無法檢測操作目標(biāo)的操作的第2區(qū)域檢測部，根據(jù)攝像部攝像到的圖像數(shù)據(jù)檢測操作目標(biāo)的操作。

而且，投射部能夠投射將第1區(qū)域與第2區(qū)域區(qū)分顯示的顯示影像，第1區(qū)域是可操作區(qū)域確定部確定出的能夠檢測操作目標(biāo)的操作的區(qū)域。另外，變更操作目標(biāo)的顯示位置而顯示，以使得顯示于能夠檢測操作目標(biāo)的操作的第1區(qū)域的范圍內(nèi)。

特別是在從投射部投射而顯示從外部輸入的輸入影像的情況下，投射部根據(jù)可操作區(qū)域確定部確定出的第1區(qū)域來變更顯示影像中的輸入影像所占的范圍。

而且，可操作區(qū)域確定部根據(jù)攝像部攝影到的投射面的圖像數(shù)據(jù)的亮度電平，分別確定能夠檢測操作目標(biāo)的操作的第1區(qū)域以及無法檢測操作目標(biāo)的操作的第2區(qū)域。

如果簡單地說明通過本申請所公開的發(fā)明中的代表性的發(fā)明而得到的效果，則如以下所述。

能夠提高用戶的便利性。

附圖說明

圖1是示出實(shí)施方式1的操作檢測裝置的結(jié)構(gòu)的一個(gè)例子的說明圖。

圖2是示出圖1的操作檢測裝置的其它結(jié)構(gòu)例的說明圖。

圖3是示出圖1的操作檢測裝置的概觀以及操作該操作檢測裝置的用戶的情形的一個(gè)例子的說明圖。

圖4是示出圖1的操作檢測裝置具有的電子筆的結(jié)構(gòu)的一個(gè)例子的說明圖。

圖5是示出在發(fā)明人所研究的投射圖像時(shí)來自外部的光被照射到投射面的情形的一個(gè)例子的說明圖。

圖6是示出利用圖1的操作檢測裝置進(jìn)行的區(qū)域確定提示處理的一個(gè)例子的流程圖。

圖7是示出在圖6的流程圖中的步驟s101的處理時(shí)所使用的操作檢測判定表的結(jié)構(gòu)的一個(gè)例子的說明圖。

圖8是示出利用圖1的操作檢測裝置進(jìn)行的無法檢測手指操作的區(qū)域的顯示以及向用戶的引導(dǎo)顯示的一個(gè)例子的說明圖。

圖9是示出利用圖1的操作檢測裝置進(jìn)行的無法檢測手指操作的區(qū)域的顯示以及向用戶的引導(dǎo)的其它例的說明圖。

圖10是示出利用圖1的操作檢測裝置進(jìn)行的無法檢測手指操作的區(qū)域的顯示、向用戶的引導(dǎo)顯示以及操作菜單圖標(biāo)顯示的一個(gè)例子的說明圖。

圖11是示出利用圖1的操作檢測裝置進(jìn)行的無法檢測手指操作的區(qū)域的顯示、投射范圍的變更、操作菜單圖標(biāo)顯示的一個(gè)例子的說明圖。

圖12是示出實(shí)施方式3的操作檢測裝置的結(jié)構(gòu)的一個(gè)例子的說明圖。

圖13是示出利用圖12的操作檢測裝置進(jìn)行的處理的一個(gè)例子的流程圖。

圖14是示出利用圖12的操作檢測裝置進(jìn)行的向桌子上投射影像時(shí)的影像顯示的一個(gè)例子的說明圖。

圖15是示出實(shí)施方式4的操作檢測裝置的結(jié)構(gòu)的一個(gè)例子的說明圖。

圖16是示出實(shí)施方式5的操作檢測裝置的結(jié)構(gòu)的一個(gè)例子的說明圖。

(符號(hào)說明)

100：操作檢測裝置；101：坐標(biāo)檢測裝置；102：照相機(jī)；103：照明；104：照明；105：手指接觸位置檢測部；106：筆接觸位置檢測部；107：可檢測操作區(qū)域確定部；108：通信部；109：控制部；110：照相機(jī)獲取圖像送出部；120：檢測結(jié)果數(shù)據(jù)；121：檢測結(jié)果數(shù)據(jù)；150：操作對象裝置；151：通信部；152：設(shè)定輸入部；153：控制部；154：影像照射部；155：顯示部；156：發(fā)光部；157：音頻輸出部；301：投射面；302：投射范圍；400：電子筆；401：發(fā)光元件；402：前端接觸檢測部；403：發(fā)光控制部；600：電磁波生成裝置；601：控制裝置；900：操作檢測判定表。

具體實(shí)施方式

在以下實(shí)施方式中，為方便起見，必要時(shí)分割成多個(gè)部分或者實(shí)施方式來說明，但除了特別明示的情況以外，它們并非相互無關(guān)，而是一方為另一方的一部分或者全部的變形例、詳細(xì)、補(bǔ)充說明等的關(guān)系。

另外，在以下實(shí)施方式中，在提及要素的數(shù)量等(包括個(gè)數(shù)、數(shù)值、量、范圍等)的情況下，除了特別明示的情況以及原理上明確地限定于特定數(shù)量的情況等以外，并不限定于該特定數(shù)量而既可以是特定數(shù)量以上也可以是特定數(shù)量以下。

進(jìn)而，在以下實(shí)施方式中，其構(gòu)成要素(還包括要素步驟等)除了特別明示的情況以及原理上明確地被認(rèn)為是必須的情況等以外，不言而喻其構(gòu)成要素并不一定是必須的。

同樣地，在以下實(shí)施方式中，在提及構(gòu)成要素等的形狀、位置關(guān)系等時(shí)，除了特別明示的情況以及原理上明確地被認(rèn)為并非如此的情況等以外，實(shí)質(zhì)上還包括與其形狀等近似或者類似的情況等。這關(guān)于上述數(shù)值以及范圍也是同樣的。另外，在用于說明實(shí)施方式的全部附圖中對同一部件原則上附加同一符號(hào)，省略其重復(fù)的說明。

以下，詳細(xì)說明實(shí)施方式。

(實(shí)施方式1)

<操作檢測裝置的結(jié)構(gòu)例>

圖1是示出本實(shí)施方式1的操作檢測裝置100的結(jié)構(gòu)的一個(gè)例子的說明圖。

如圖1所示，作為投射型影像顯示裝置的操作檢測裝置100具有坐標(biāo)檢測裝置101、操作對象裝置150以及電子筆400。坐標(biāo)檢測裝置101由照相機(jī)102、照明103、照明104、手指接觸位置檢測部105、筆接觸位置檢測部106、可檢測操作區(qū)域確定部107、通信部108以及控制部109構(gòu)成。

作為攝像部的照相機(jī)102由影像傳感器、透鏡以及濾光器等構(gòu)成，對圖像進(jìn)行攝像。2個(gè)照明103、104分別由未圖示的發(fā)光二極管、電路板以及透鏡等構(gòu)成。

照明103、照明104對照相機(jī)102攝像的區(qū)域進(jìn)行照射。除了使照明103、照明104始終點(diǎn)亮以外，還可以例如以照明103和照明104交替點(diǎn)亮的方式使照明103、照明104分別閃爍。

除此以外，在切換照明103和照明104的點(diǎn)亮?xí)r，也可以臨時(shí)使兩者都熄滅?；蛘?，也可以使照明103和照明104在相同的定時(shí)閃爍。

另外，照明103、照明104的光也可以是不可見的，例如，也可以由紅外照相機(jī)和紅外照明構(gòu)成照相機(jī)102以及照明103、照明104，進(jìn)行通過攝像紅外圖像來檢測手指的接觸位置的處理。在由紅外照相機(jī)和紅外照明構(gòu)成的情況下，也可以對紅外照相機(jī)的結(jié)構(gòu)追加濾光器，將非紅外區(qū)域的光遮蔽一部分或者遮蔽全部而攝像。

作為檢測部的手指接觸位置檢測部105從照相機(jī)102攝像到的圖像數(shù)據(jù)檢測手指的接觸位置。同樣作為檢測部的筆接觸位置檢測部106從照相機(jī)102攝像到的圖像數(shù)據(jù)檢測電子筆400的接觸位置。

構(gòu)成手指接觸位置檢測部105、筆接觸位置檢測部106的電子電路等基于程序形式的軟件來執(zhí)行利用這些手指接觸位置檢測部105以及筆接觸位置檢測部106進(jìn)行的檢測處理。

通過控制部153將這些手指接觸位置檢測部105或者筆接觸位置檢測部106檢測到的接觸位置信息處理為手指或電子筆400的操作信息。

以后，在本實(shí)施方式中，將“手指”記載為所檢測的對象物的代表。手指接觸位置檢測部105檢測接觸位置的對象物除了手指以外，也可以是指示棒等筆狀物。另外，只要手指接觸位置檢測部105和筆接觸位置檢測部106中的至少某一方包含于本結(jié)構(gòu)即可，無需兩方都要具備。

作為可操作區(qū)域確定部的可檢測操作區(qū)域確定部107從由照相機(jī)102攝像到的圖像數(shù)據(jù)確定能夠檢測手指或電子筆400的操作信息的區(qū)域。能夠檢測該操作信息的區(qū)域?yàn)榈?區(qū)域。

構(gòu)成可檢測操作區(qū)域確定部107的電子電路等基于程序形式的軟件來執(zhí)行該區(qū)域的確定處理。此外，使用圖6以及圖7在后敘述區(qū)域的確定技術(shù)。

通信部108由網(wǎng)絡(luò)連接或usb連接、超聲波單元、紅外線通信裝置等構(gòu)成，是與操作對象裝置150具有的通信部151通信的接口。

該通信部108例如進(jìn)行檢測結(jié)果數(shù)據(jù)120等的通信。檢測結(jié)果數(shù)據(jù)120是坐標(biāo)檢測裝置101經(jīng)由通信部108輸出到操作對象裝置150的信息。具體而言，是手指的接觸點(diǎn)坐標(biāo)、電子筆400的接觸點(diǎn)坐標(biāo)以及無法檢測手指或筆操作信息區(qū)域數(shù)據(jù)等。

無法檢測手指或筆操作信息區(qū)域數(shù)據(jù)包括表示無法檢測手指或電子筆的操作信息的區(qū)域的信息、即表示無法利用基于手指或電子筆的操作的區(qū)域的位置信息(例如坐標(biāo)數(shù)據(jù))、表示無法檢測基于手指或筆的操作信息的情況下的與檢測精度相關(guān)的程度的信息等。無法利用操作的區(qū)域是第2區(qū)域。

控制部109控制照相機(jī)102、照明103、照明104、手指接觸位置檢測部105、筆接觸位置檢測部106、可檢測操作區(qū)域確定部107以及通信部108?？刂撇?09例如由cpu(centralprocessingunit，中央處理單元)等構(gòu)成，該控制部109基于程序形式的軟件進(jìn)行控制。

接下來，作為投射部的操作對象裝置150由通信部151、設(shè)定輸入部152、控制部153、影像照射部154、顯示部155、發(fā)光部156以及音頻輸出部157構(gòu)成。

操作對象裝置150例如是投影儀，接受從坐標(biāo)檢測裝置101的通信部108發(fā)送的檢測結(jié)果數(shù)據(jù)120，進(jìn)行基于用戶的手指的描繪信息的顯示、投影儀主體的操作、設(shè)定以及控制等。

與通信部108同樣地，通信部151由網(wǎng)絡(luò)連接、usb(universalserialbus，通用串行總線)連接、超聲波單元或者紅外線通信裝置等構(gòu)成，是與坐標(biāo)檢測裝置101通信的接口。設(shè)定輸入部152由按鈕以及觸摸面板等構(gòu)成，是受理用戶的輸入的接口。

控制部153例如由cpu等構(gòu)成，控制通信部151、設(shè)定輸入部152、影像照射部154、顯示部155、發(fā)光部156、音頻輸出部157以及電子筆400等。控制部153基于程序形式的軟件而執(zhí)行控制。

影像照射部154由光源燈、液晶面板以及透鏡等構(gòu)成，對圖3所示的投射面301照射影像。例如，從與操作對象裝置150連接的未圖示的個(gè)人計(jì)算機(jī)等輸出向投射面301照射的影像。

在此，如果使從影像照射部154照射的光為比某固定波長短的可見區(qū)域的光，使從照明103、照明104照射的光為比某固定波長長的不可見區(qū)域的光，則用戶能夠僅視覺辨認(rèn)從影像照射部154照射的光。為了控制所照射的光的波長，也可以使用帶通濾光器等。

顯示部155由液晶顯示器以及驅(qū)動(dòng)它的電子電路等構(gòu)成，顯示文字或圖像等信息。發(fā)光部156由發(fā)光元件以及驅(qū)動(dòng)它的電子電路等構(gòu)成，做出點(diǎn)亮、閃爍、熄滅等狀態(tài)。

音頻輸出部157由揚(yáng)聲器以及對輸出到該揚(yáng)聲器的信號(hào)等進(jìn)行放大的放大電路等構(gòu)成，輸出語音消息、效果音等各種音頻。電子筆400由發(fā)光元件以及驅(qū)動(dòng)它的電子電路等構(gòu)成。

作為控制部153的具體處理，對影像照射部154進(jìn)行影像投射控制，以使得能夠區(qū)分出能夠檢測基于手指的操作的區(qū)域和無法檢測基于手指的操作的區(qū)域。另外，也可以并非以能夠檢測基于手指的操作的區(qū)域和無法檢測基于手指的操作的區(qū)域這2級的方式，而是以能夠根據(jù)檢測精度的程度區(qū)分成n級的方式進(jìn)行影像投射控制。在此，n＝2，3…n。

進(jìn)而，對影像照射部154進(jìn)行影像投射控制，以避開無法檢測基于手指的操作的區(qū)域而向投射面301進(jìn)行菜單圖標(biāo)或用戶消息等的顯示。進(jìn)而，對影像照射部154進(jìn)行調(diào)整向投射面301投射的影像的大小的控制，以消除無法檢測基于手指的操作的區(qū)域。

此外，在圖1中，照相機(jī)102、照明103、照明104、手指接觸位置檢測部105、筆接觸位置檢測部106、可檢測操作區(qū)域確定部107、通信部108以及控制部109的各功能塊部是獨(dú)立的，但也可以根據(jù)需要用一個(gè)或者多個(gè)構(gòu)成要件構(gòu)成。

例如，手指接觸位置檢測部105、筆接觸位置檢測部106以及可檢測操作區(qū)域確定部107也可以構(gòu)成為通過一個(gè)或者多個(gè)中央處理裝置(cpu)等進(jìn)行其處理。

另外，在圖1中，坐標(biāo)檢測裝置101構(gòu)成為具有照相機(jī)102、照明103、照明104、手指接觸位置檢測部105、筆接觸位置檢測部106、可檢測操作區(qū)域確定部107、通信部108以及控制部109的各功能塊部的全部。

同樣地，操作對象裝置150構(gòu)成為具有通信部151、設(shè)定輸入部152、控制部153、影像照射部154、顯示部155、發(fā)光部156以及音頻輸出部157的各功能塊部的全部。

但是，例如如后述圖2所示，上述結(jié)構(gòu)也可以構(gòu)成為在外部構(gòu)成一個(gè)或者多個(gè)構(gòu)成要件并通過網(wǎng)絡(luò)連接或者usb連接等結(jié)合。

<操作檢測裝置的其它結(jié)構(gòu)例>

圖2是示出圖1的操作檢測裝置100的其它結(jié)構(gòu)例的說明圖。

在該情況下，如圖2所示，操作檢測裝置100構(gòu)成為與坐標(biāo)檢測裝置101獨(dú)立而單獨(dú)地分別設(shè)置有照相機(jī)102以及照明103、照明104。

另外，作為操作檢測裝置100的又一結(jié)構(gòu)例，例如，也可以將坐標(biāo)檢測裝置101以及操作對象裝置150構(gòu)成為1個(gè)裝置。

<操作檢測裝置的概觀以及操作例>

圖3是示出圖1的操作檢測裝置100的概觀以及操作該操作檢測裝置100的用戶的情形的一個(gè)例子的說明圖。圖3(a)示出用戶300通過手指進(jìn)行操作時(shí)的一個(gè)例子，圖3(b)示出用戶300通過電子筆400進(jìn)行操作時(shí)的一個(gè)例子。

在圖3中，照相機(jī)102以包含由投射面301的投射范圍302所示的范圍的方式進(jìn)行攝像。關(guān)于投射面301，使用例如墻、屏幕或者桌子等任意對象物。

如圖3(a)所示，在用戶300用手指觸摸投射面301上的投射范圍302時(shí)，操作檢測裝置100的手指接觸位置檢測部105檢測手指的接觸位置。另外，如圖3(b)所示，在用戶300用電子筆400觸摸投射面301上的投射范圍302時(shí)，筆接觸位置檢測部106檢測筆的接觸位置。

另外，手指接觸位置檢測部105也可以具有在用戶300在投射面301附近進(jìn)行了手勢操作的情況下從照相機(jī)102攝像到的圖像數(shù)據(jù)檢測用戶的手指的形狀或者活動(dòng)的功能。

手指接觸位置檢測部105檢測到的信息作為檢測結(jié)果數(shù)據(jù)120經(jīng)由通信部108被轉(zhuǎn)送到操作對象裝置150。然后，控制部153根據(jù)檢測結(jié)果數(shù)據(jù)120進(jìn)行操作對象裝置150的控制。

由此，無需在操作面上設(shè)置觸摸傳感器等，而能夠正確地檢測電子筆或手指對操作面的接觸位置。

<電子筆的結(jié)構(gòu)例>

圖4是示出圖1的操作檢測裝置100具有的電子筆400的結(jié)構(gòu)的一個(gè)例子的說明圖。圖4(a)是示出電子筆400的外觀的一個(gè)例子的圖。圖4(b)示出電子筆400的前端未接觸的情況的例子，圖4(c)示出電子筆400的前端接觸的情況的例子。

如圖4(a)所示，電子筆400在前端部設(shè)置有發(fā)光元件401，在該電子筆400的握柄部分設(shè)置有前端接觸檢測部402以及發(fā)光控制部403。前端接觸檢測部402例如由壓敏傳感器以及電子電路等構(gòu)成，判定電子筆400的前端是否接觸到墻面等。

發(fā)光控制部403根據(jù)前端接觸檢測部402的判定結(jié)果，如圖4(b)所示，在電子筆400的前端未接觸的情況下控制為使發(fā)光元件401熄滅。

另外，如圖4(c)所示，發(fā)光控制部403在前端接觸檢測部402判定為電子筆400的前端接觸時(shí)控制為使發(fā)光元件401點(diǎn)亮。

或者，也可以控制成在電子筆400的前端接觸的情況下使發(fā)光元件401點(diǎn)亮，在未接觸的情況下閃爍等、控制成在接觸時(shí)和非接觸時(shí)發(fā)光元件401為不同的狀態(tài)。進(jìn)而，也可以控制成在接觸時(shí)和非接觸時(shí)發(fā)光元件401的閃爍為不同頻率。

另外，照相機(jī)102和發(fā)光元件401也可以分別由紅外照相機(jī)和紅外照明構(gòu)成，進(jìn)行通過攝像紅外圖像來檢測電子筆400的接觸位置的處理。進(jìn)而，也可以在由紅外照相機(jī)和紅外照明構(gòu)成的情況下，對紅外照相機(jī)的結(jié)構(gòu)追加濾光器，將非紅外區(qū)域的光遮蔽一部分或者遮蔽全部而攝像。

接下來，說明圖1的操作檢測裝置100確定無法檢測手指的操作信息的區(qū)域，對用戶提示該區(qū)域，顯示用于提醒改善的引導(dǎo)的技術(shù)。

<外部光的照射的影響>

圖5是示出本發(fā)明人研究的在投射圖像時(shí)來自外部的光被照射到投射面的情形的一個(gè)例子的說明圖。

圖5所示的外部光701例如是熒光燈、白熾燈的光或者陽光等來自外部的光，是與照明103、照明104不同的光源。在這樣的外部光701被強(qiáng)照射到投射面301的情況下，由照明103、照明104形成的影子703、影子704的形狀走形、或者變淺而與周圍的明暗差變小。

因此，發(fā)生無法通過照相機(jī)102正確地捕捉該形狀、或者在手指接觸位置檢測部105中無法正確地檢測手指702在投射面301的接觸位置等現(xiàn)象。

因此，圖1的操作檢測裝置100執(zhí)行區(qū)域確定提示處理。在該區(qū)域確定提示處理中確定如圖5所示由于外部光701等無法正確地檢測手指702在投射面301的接觸位置的區(qū)域、即無法檢測手指的操作信息的區(qū)域。然后，對用戶提示確定出的區(qū)域，顯示用于提醒改善的引導(dǎo)。

由此，在無法檢測基于手指的操作信息的情況下，能夠向用戶明示無法檢測的投射面上的位置，能夠提高操作性。

<區(qū)域確定提示處理的處理例>

圖6是示出利用圖1的操作檢測裝置100進(jìn)行的區(qū)域確定提示處理的一個(gè)例子的流程圖。

在圖6中雖然是分別逐次執(zhí)行步驟s101～步驟s106的處理的一輪流程，但實(shí)際上連續(xù)重復(fù)該流程。因此，在步驟s103或者步驟s106的處理后再次返回到步驟s101的處理。

在用戶開始使用操作檢測裝置100前、使用操作檢測裝置100的過程中等對該操作檢測裝置100接通電源的期間，圖6所示的流程圖始終被執(zhí)行。

由此，能夠在用戶使用操作檢測裝置100的期間外部光的亮度突然變化等該操作檢測裝置100的周圍環(huán)境突然改變的情況下也得到效果。

另外，也可以僅在使用用戶實(shí)施的手指操作功能的情況下執(zhí)行圖6的流程圖。即，在用戶實(shí)施的手指操作功能被無效化而僅以投射影像的目的使用操作對象裝置150的情況下不執(zhí)行圖6的處理。由此，具有能夠減少操作檢測裝置100的cpu即控制部153等的處理負(fù)荷、功耗的效果。

首先，可檢測操作區(qū)域確定部107根據(jù)照相機(jī)102對投射面301進(jìn)行攝像而得到的圖像數(shù)據(jù)，進(jìn)行是否能夠檢測基于手指的操作的判定處理(步驟s101)。

作為判定處理的一個(gè)例子，可以舉出使用亮度電平的判定技術(shù)。在僅照明103、照明104點(diǎn)亮而完全未被照射外部光701的狀況下，將照相機(jī)102攝影的圖像數(shù)據(jù)的亮度預(yù)先保持為數(shù)據(jù)，如果當(dāng)前攝影的圖像數(shù)據(jù)的亮度比所保持的數(shù)據(jù)大了固定值(第1設(shè)定值)以上，則能夠推測為外部光701的量多。其結(jié)果是無法檢測手指的操作信息，所以能夠判定為無法利用手指的操作。

或者，在臨時(shí)熄滅照明103、照明104即僅被照射外部光701的狀態(tài)下攝像，如果此時(shí)的圖像數(shù)據(jù)的亮度大于某固定值(第1設(shè)定值)，則能夠判定為外部光701的量多而無法利用基于手指的操作。使用圖7說明本判定處理。

接下來，控制部153根據(jù)步驟s101的處理的結(jié)果即檢測結(jié)果數(shù)據(jù)120的無法檢測手指或筆操作信息區(qū)域數(shù)據(jù)，進(jìn)行是否是能夠利用手指操作的狀態(tài)的判定(步驟s102)。在步驟s102的處理中判定為是能夠利用手指操作的狀態(tài)的情況下(“是”)，遷移到步驟s103的處理。

在步驟s102的處理中判定為是能夠利用手指操作的狀態(tài)的情況下，控制部153經(jīng)由影像照射部154將用戶能夠利用手指的操作的意思的通知顯示于投射范圍302(步驟s103)，結(jié)束處理。

此外，初次也可以不執(zhí)行步驟s103的處理。即，也可以僅在裝置使用中手指操作暫時(shí)無法利用而之后手指操作變?yōu)槟軌蚶玫那闆r下，向用戶通知該意思。

另一方面，在步驟s102的處理中判定為是無法利用手指操作的狀態(tài)的情況下(“否”)，遷移到步驟s104的處理。在該處理中，控制部153經(jīng)由影像照射部154將無法檢測手指操作的區(qū)域顯示于投射面301(步驟s104)。使用圖8在后敘述無法檢測手指操作的區(qū)域的顯示。

接下來，控制部153根據(jù)無法檢測手指操作的區(qū)域決定操作目標(biāo)的顯示位置(步驟s105)。使用圖9以及圖10在后敘述該顯示位置的決定。在此，操作目標(biāo)表示投影到投射面301的向用戶的消息或操作菜單圖標(biāo)等的顯示。

然后，控制部153經(jīng)由影像照射部154在投射面301進(jìn)行對用戶喚起設(shè)定有操作檢測裝置100的周圍環(huán)境的重新評估的引導(dǎo)顯示(步驟s106)。此外，使用圖8以及圖9在后敘述引導(dǎo)顯示。

以上，利用操作檢測裝置100進(jìn)行的區(qū)域確定提示處理結(jié)束。在步驟s106的處理結(jié)束之后，再次遷移到步驟s101的處理而重復(fù)圖6的處理。

此外，在步驟s106的處理之后由用戶選擇不進(jìn)行周圍環(huán)境的重新評估而繼續(xù)進(jìn)行處理的情況下，不返回到步驟s101的處理而結(jié)束處理。

<步驟s101的處理例以及操作檢測判定表的結(jié)構(gòu)例>

接下來，關(guān)于圖6的步驟s101的處理，追加說明判定處理。

圖7是示出在圖6的流程圖的步驟s101的處理時(shí)所使用的操作檢測判定表900的結(jié)構(gòu)的一個(gè)例子的說明圖。

可檢測操作區(qū)域確定部107使用圖7所示的操作檢測判定表900進(jìn)行是否能夠檢測基于手指的操作的判定。該操作檢測判定表900例如保存于可檢測操作區(qū)域確定部107具有的未圖示的存儲(chǔ)部等。

如圖7所示，操作檢測判定表900由索引編號(hào)901、手指操作檢測精度902、亮度電平903、基準(zhǔn)亮度差分904以及顯示色彩905構(gòu)成。

索引編號(hào)901表示操作檢測判定表900的索引編號(hào)。手指操作檢測精度902是表示基于手指的操作的檢測精度的指標(biāo)。關(guān)于該指數(shù)，數(shù)值越大則表示基于手指的操作的檢測精度越高，所以3表示最易于檢測手指操作，0表示最難以檢測手指操作。

在圖7所示的操作檢測判定表900的例子中，3表示能夠檢測基于手指的操作，除此以外的值即2～0表示無法檢測基于手指的操作。

亮度電平903與手指操作檢測精度902關(guān)聯(lián)，表示由照相機(jī)102攝像到的圖像數(shù)據(jù)的亮度電平值的范圍。作為一個(gè)例子，該亮度電平值用0至255這256級來表現(xiàn)，255表示最亮，越接近0則表示越暗。

因此，越接近255則判斷為越受到外部光的影響，手指操作檢測精度902接近0。另一方面，越接近0則判斷為越不受到外部光的影響，手指操作檢測精度902接近3。

基準(zhǔn)亮度差分904與手指操作檢測精度902關(guān)聯(lián)，表示取由照相機(jī)102攝像到的圖像數(shù)據(jù)的亮度電平值與裝置所保持的基準(zhǔn)的亮度電平值的差分的值的范圍。裝置所保持的基準(zhǔn)的亮度電平值是未受到外部光的影響時(shí)的值，所以通過與在使用環(huán)境中攝像到的圖像數(shù)據(jù)的亮度電平值進(jìn)行比較，能夠用于推測受到何種程度的外部光影響。

因此，基準(zhǔn)亮度差分904的值越大則判斷為越受到外部光的影響，手指操作檢測精度902接近0。另一方面，該差分值越小則判斷為越不受到外部光的影響，手指操作檢測精度902接近3。

此外，手指操作檢測精度902既可以使用亮度電平903和基準(zhǔn)亮度差分904中的任意一方的條件來決定，也可以使用亮度電平903和基準(zhǔn)亮度差分904這兩方的and(邏輯與)條件、or(邏輯或)條件、xor(邏輯異或)條件中的任意條件來決定。

顯示色彩905表示與手指操作檢測精度902關(guān)聯(lián)的用于向投射面301顯示的顏色。對圖6的步驟s105的處理中的無法檢測基于手指的操作的區(qū)域，換言之，根據(jù)手指操作檢測精度902的值向投射面301顯示用顯示色彩905表示的顏色。

此外，圖7中通過網(wǎng)線、點(diǎn)以及陰影線表示用顯示色彩905分別表示的顏色。在手指操作檢測精度902的值是3的情況下，例如為無色。另外，顯示色彩905也可以并非不同的顏色而是同色。在該情況下，通過深淺表示顯示色彩。

此外，圖7中記載了條目數(shù)＝4的表例子，但也可以是具有除此以外的條目數(shù)的表。只要將表設(shè)定為滿足條目數(shù)≥2，就能夠確定能夠檢測基于手指的操作的區(qū)域和無法檢測基于手指的操作的區(qū)域。

因此，只要滿足操作檢測判定表900的條目數(shù)即索引數(shù)≥2即可。此外，本判定處理既可以對投射面301上的投射范圍302內(nèi)的全部像素應(yīng)用，也可以僅對若干一部分的像素應(yīng)用。進(jìn)而，也可以對m×n的集中起來的像素的集合實(shí)施平均值等的運(yùn)算之后應(yīng)用本判定處理。在此，m、n是任意整數(shù)值。

<無法檢測手指操作的區(qū)域的顯示以及對用戶的引導(dǎo)例>

接下來，以下使用圖8～圖10說明與圖6的流程圖的步驟s103～步驟s106的處理有關(guān)的向投射面301的顯示。

圖8是示出利用圖1的操作檢測裝置100進(jìn)行的無法檢測手指操作的區(qū)域的顯示以及向用戶的引導(dǎo)的一個(gè)例子的說明圖。

圖8(a)示出了在圖6的步驟s104的處理以及步驟ss106的處理中在確定出無法檢測基于手指的操作的區(qū)域之后用于對用戶引導(dǎo)周圍環(huán)境的重新評估的向投射面301的顯示例。

在圖8中，區(qū)域1000表示無法檢測基于手指的操作的區(qū)域，使用通過圖7的顯示色彩905定義的顏色表現(xiàn)，以讓用戶理解檢測精度的方式顯示。區(qū)域1001表示能夠檢測基于手指的操作的區(qū)域，按照通過圖7的顯示色彩905定義的顏色而顯示。引導(dǎo)顯示1002表示用于向用戶提醒改善使用環(huán)境的顯示。

在區(qū)域1000和區(qū)域1001將能夠檢測基于手指的操作的區(qū)域和無法檢測基于手指的操作的區(qū)域用顏色區(qū)分開而向用戶提示的情況下，既可以對每個(gè)像素用顏色區(qū)分開，也可以對a×b的集中起來的像素的每個(gè)集合用顏色區(qū)分開。a、b是任意整數(shù)值。

進(jìn)而，也可以對將投射范圍302分割為預(yù)先決定的多個(gè)區(qū)域而得到的每個(gè)區(qū)域用顏色區(qū)分開。通過對a×b的集中起來的像素的集合、將投射范圍302分割為多個(gè)區(qū)域而得到的每個(gè)區(qū)域用顏色區(qū)分開，能夠削減向用戶通知的信息量。由此，用戶易于識(shí)別當(dāng)前的狀態(tài)，其結(jié)果是能夠提高用戶便利性。

圖8(b)示出從圖8(a)的狀態(tài)用戶用窗簾進(jìn)行遮擋陽光等使用環(huán)境的重新評估的結(jié)果是看到一定的改善的情況下的顯示例。

示出了圖8(a)所示的無法檢測基于手指的操作的區(qū)域1000的一部分變化為能夠檢測操作的區(qū)域1001，進(jìn)而，無法檢測操作的區(qū)域1000的檢測精度也得到改善。

圖8(c)示出從圖8(b)的狀態(tài)用戶進(jìn)一步進(jìn)行使用環(huán)境的重新評估的結(jié)果是看到進(jìn)一步的改善而無法檢測基于手指的操作的區(qū)域1000從投射范圍302完全消失的情況的顯示例。

無法檢測基于手指的操作的區(qū)域1000全部變?yōu)槟軌驒z測操作的區(qū)域1001，引導(dǎo)顯示1002的顯示成為表示能夠在投射范圍302的全部區(qū)域檢測基于手指的操作的字面。

<引導(dǎo)顯示的其它例>

圖9是示出利用圖1的操作檢測裝置100進(jìn)行的無法檢測手指操作的區(qū)域的顯示以及向用戶的引導(dǎo)顯示的其它例的說明圖。

該圖9示出在圖6的步驟s105的處理以及步驟s106的處理中，使向用戶的引導(dǎo)顯示1002、操作按鈕顯示1100的顯示位置能夠與無法檢測基于手指的操作的區(qū)域適應(yīng)地變化的例子。

在該情況下，如圖9(a)、圖9(b)分別所示，引導(dǎo)顯示1002和操作按鈕顯示1100顯示為避開無法檢測基于手指的操作的區(qū)域1000而進(jìn)入能夠檢測基于手指的操作的區(qū)域1001內(nèi)。

由此，能夠消除由于無法通過手指操作選擇操作按鈕、用于表示無法檢測基于手指的操作的區(qū)域的顯示和用戶消息顯示重疊以致顯示變得難以看清。其結(jié)果是能夠提高用戶便利性。

此外，此時(shí)也可以設(shè)為引導(dǎo)顯示1002顯示于投射面301上的任意坐標(biāo)，且顯示為僅使用戶通過手指或手勢對投射面301進(jìn)行操作的操作按鈕顯示1100包含于能夠檢測基于手指的操作的區(qū)域1001內(nèi)。

<操作菜單圖標(biāo)等的顯示例>

圖10是示出利用圖1的操作檢測裝置100進(jìn)行的無法檢測手指操作的區(qū)域的顯示、向用戶的引導(dǎo)顯示以及操作菜單圖標(biāo)顯示的一個(gè)例子的說明圖。

該圖10示出了在圖6的步驟s105的處理以及步驟s106的處理中使操作菜單圖標(biāo)1200的顯示位置能夠與無法檢測基于手指的操作的區(qū)域適應(yīng)地變化的顯示例。

如圖10(a)、圖10(b)分別所示，操作菜單圖標(biāo)1200顯示為避開無法檢測基于手指的操作的區(qū)域1000而進(jìn)入能夠檢測基于手指的操作的區(qū)域1001內(nèi)。

由此，能夠消除無法用手指進(jìn)行的操作菜單圖標(biāo)1200的選擇操作、表示無法檢測基于手指的操作的區(qū)域的顯示和菜單圖標(biāo)重疊顯示以致菜單圖標(biāo)的顯示變得看不清，從而提高用戶的便利性。

此外，在無法檢測基于手指的操作的區(qū)域?qū)挾@示向用戶的引導(dǎo)顯示1002的區(qū)域不足的情況下，也可以僅在該情況下縮小引導(dǎo)顯示的字體尺寸而顯示。

另外，也可以從影像照射部154投射圖標(biāo)，使用圖標(biāo)向用戶通知。進(jìn)而，也可以通過在顯示部155進(jìn)行引導(dǎo)顯示向用戶通知。另外，也可以通過從音頻輸出部157輸出音頻引導(dǎo)、效果音向用戶通知。

進(jìn)而，關(guān)于無法檢測基于手指的操作的區(qū)域?qū)挾@示操作菜單圖標(biāo)1200的區(qū)域不足的情況，關(guān)于操作菜單圖標(biāo)1200也可以同樣地縮小圖標(biāo)的顯示尺寸來顯示?；蛘撸部梢詫⑺@示的圖標(biāo)的種類減少到最低限度的數(shù)量來顯示。

由此，能夠消除由于無法檢測基于手指的操作的區(qū)域過寬而顯示向用戶的引導(dǎo)顯示1002的問題等，從而提高用戶便利性。

以上，用戶能夠識(shí)別無法檢測基于手指的操作信息的區(qū)域，在確認(rèn)該區(qū)域的改善狀況的同時(shí)執(zhí)行操作對象裝置的使用環(huán)境的重新評估。由此，能夠提高利用操作檢測裝置100的用戶的便利性。

(實(shí)施方式2)

<概要>

在本實(shí)施方式2中，說明在操作檢測裝置100中存在無法檢測手指的操作信息的區(qū)域的情況、難以從投射面消除無法檢測手指的操作信息的區(qū)域的情況下，調(diào)整影像投射的投射范圍而從投射面消除無法檢測手指的操作信息的區(qū)域的處理。控制部153根據(jù)檢測結(jié)果數(shù)據(jù)120的無法檢測手指或筆操作信息區(qū)域數(shù)據(jù)執(zhí)行該處理。

<操作菜單圖標(biāo)等的顯示例>

圖11是示出利用圖1的操作檢測裝置100進(jìn)行的無法檢測手指操作的區(qū)域的顯示、投射范圍的變更、操作菜單圖標(biāo)顯示的一個(gè)例子的說明圖。

該圖11示出通過變更投射范圍從投射面消除無法檢測手指的操作信息的區(qū)域的情況的投射面的一個(gè)例子。

例如，如圖11(a)所示，在投射面上的投射范圍302內(nèi)，有時(shí)存在區(qū)域1000那樣的無法檢測手指的操作信息的區(qū)域。因此，如圖11(b)所示，通過變更投射范圍302以避開區(qū)域1000，能夠使無法檢測手指的操作信息的區(qū)域?yàn)橥渡浞秶?02的框外。

關(guān)于本處理，既可以在檢測到存在無法檢測手指的操作信息的區(qū)域時(shí)自動(dòng)執(zhí)行，也可以顯示圖11(a)所示的用戶消息1301和用戶選擇按鈕1302而僅在用戶許可了投射范圍的變更的情況下執(zhí)行。

另外，也可以根據(jù)投射面的狀態(tài)變更顯示坐標(biāo)，以使得圖11(a)所示的用戶消息1301、用戶選擇按鈕1302以及操作菜單圖標(biāo)1200不顯示于無法檢測手指的操作信息的區(qū)域1000。

進(jìn)而，也可以僅在由用戶實(shí)施的手指操作功能有效的情況下執(zhí)行本處理。另一方面，如果手指操作功能被無效化，那么即使存在無法檢測手指的操作信息的區(qū)域也與用戶的便利性無關(guān)，所以即使在用戶所決定的任意投射范圍投射影像，也不產(chǎn)生問題。

另外，在圖11(a)中，用戶消息1301既可以顯示于投射面上的任意坐標(biāo)，也可以根據(jù)投射面的狀態(tài)變更顯示坐標(biāo)，以使得僅用戶通過手指或手勢進(jìn)行操作的用戶選擇按鈕1302和操作菜單圖標(biāo)1200不顯示于無法檢測手指的操作信息的區(qū)域1000。

進(jìn)而，在圖11(a)中，也可以通過投射投射尺寸的外框以使用戶理解變更后的投射尺寸，從而對用戶預(yù)先明示變更后的投射尺寸。由此，用戶易于判斷是否變更投射尺寸而能夠提高便利性。另外，在該情況下，也可以不顯示無法檢測手指的操作信息的區(qū)域1000。

以上，能夠在存在無法檢測手指的操作信息的區(qū)域的情況、難以從投射范圍消除無法檢測手指的操作信息的區(qū)域的情況下等，調(diào)整影像的投射范圍而從投射范圍去掉無法檢測手指的操作信息的區(qū)域，所以能夠提高用戶的便利性。

(實(shí)施方式3)

<概要>

在本實(shí)施方式3中，說明在操作檢測裝置100中無法檢測手指的操作信息的區(qū)域、或者所設(shè)定的投射范圍未完全收斂于桌子或墻等投射對象物的情況下，根據(jù)亮度電平判定通過同一處理檢測該區(qū)域，執(zhí)行與各個(gè)區(qū)域?qū)?yīng)的處理的技術(shù)。

<操作檢測裝置的結(jié)構(gòu)例>

圖12是示出本實(shí)施方式3的操作檢測裝置100的結(jié)構(gòu)的一個(gè)例子的說明圖。

圖12的操作檢測裝置100與上述實(shí)施方式1的圖1的操作檢測裝置100不同之處在于，新追加有可照射影像區(qū)域確定部1601，另外，作為檢測結(jié)果數(shù)據(jù)120而追加有不可照射影像區(qū)域數(shù)據(jù)。關(guān)于除此以外的結(jié)構(gòu)，與圖1相同，所以省略說明。

可照射影像區(qū)域確定部1601根據(jù)照相機(jī)102對投射面301進(jìn)行攝像而得到的圖像數(shù)據(jù)，確定能夠?qū)ψ雷踊驂Φ韧渡鋵ο笪镎丈溆跋竦膮^(qū)域。通過圖13的流程圖在后敘述該確定技術(shù)。

另外，追加到檢測結(jié)果數(shù)據(jù)120的不可照射影像區(qū)域數(shù)據(jù)是表示由可照射影像區(qū)域確定部1601確定出的無法照射影像的區(qū)域的數(shù)據(jù)，例如包括表示無法照射影像的區(qū)域的位置信息(例如坐標(biāo)數(shù)據(jù))。

<確定可照射的區(qū)域的處理例>

圖13是示出利用圖12的操作檢測裝置100進(jìn)行的處理的一個(gè)例子的流程圖。圖13所示的步驟s201～步驟s204以及步驟s104～步驟s106的處理是分別逐次執(zhí)行的一輪流程，但實(shí)際上連續(xù)重復(fù)該處理，在步驟s205、步驟s103、步驟s106之后返回到步驟s201的處理。

在用戶開始使用操作檢測裝置100前、使用操作檢測裝置100的過程中等、本裝置被接通電源的期間，圖13中的流程圖始終被執(zhí)行。由此，即使在用戶使用本裝置的期間周圍的使用環(huán)境突然改變的情況下、例如外部光的亮度發(fā)生變化等，也能夠立即改善操作性。

另外，也可以僅在使用用戶實(shí)施的手指操作功能的情況下執(zhí)行圖13所示的流程圖。由此，具有能夠減少控制部153(cpu)等的處理負(fù)荷、功耗的效果。

另外，圖13中的步驟s103～s106的處理表示是與圖6的步驟s103～s106的處理相同的處理，省略這些處理的說明。

首先，可檢測操作區(qū)域確定部107根據(jù)照相機(jī)102對投射面301進(jìn)行攝像而得到的圖像數(shù)據(jù)進(jìn)行判定處理(步驟s201)。該步驟s201的判定處理是判定是否能夠檢測基于手指的操作、以及判定所設(shè)定的投射范圍是否收斂于桌子或墻等投射對象物內(nèi)的處理。

作為該判定處理的一個(gè)例子，例如考慮在圖6的步驟s101的處理的說明中敘述的使用亮度電平的方法。另外，關(guān)于是否能夠檢測基于手指的操作的判定處理，與在圖6的步驟s101的處理中敘述的處理相同。

關(guān)于桌子或墻等投射對象物相對于所設(shè)定的投射范圍是否寬的判定處理，作為一個(gè)例子，可以舉出使用相同亮度電平的方法。將在僅照明103、照明104點(diǎn)亮而完全未被照射外部光701的狀況下照相機(jī)102所攝影的圖像數(shù)據(jù)的亮度預(yù)先保持為數(shù)據(jù)，如果當(dāng)前攝影到的圖像數(shù)據(jù)的亮度比所保持的數(shù)據(jù)小固定值以上(第2設(shè)定值)，則能夠推測為投射對象物不存在的區(qū)域、即不可使用區(qū)域。其結(jié)果是關(guān)于該區(qū)域，能夠判定為無法投影影像。

或者，在臨時(shí)熄滅照明103、照明104即僅被照射外部光701的狀態(tài)下攝像，如果此時(shí)的圖像數(shù)據(jù)的亮度小于某固定值(第2設(shè)定值)，則能夠判定為投射對象物不存在而無法投射影像的不可使用區(qū)域。

如圖7所示，若舉出具體的數(shù)值，則在亮度電平903是0～49的情況下，能夠判定為投射對象物不存在而無法投射影像。另外，在基準(zhǔn)亮度差分904是－(負(fù))20以下的情況下，也能夠同樣地判定為投射對象物不存在而無法投射影像。進(jìn)而，也可以根據(jù)亮度電平903和基準(zhǔn)亮度差分904這兩方的指標(biāo)，判定是否投射對象物不存在而無法投射影像。

接下來，控制部153判定是否存在不可使用區(qū)域(步驟s202)。在該步驟s202的處理中，控制部153根據(jù)通過步驟s201的處理得到的處理結(jié)果，判定是否能夠在所設(shè)定的投射范圍投射影像。另外，作為步驟s202的處理結(jié)果，例如使用檢測結(jié)果數(shù)據(jù)120的無法檢測手指或筆操作信息區(qū)域數(shù)據(jù)以及不可照射影像區(qū)域數(shù)據(jù)等。

然后，在判定為無法在所設(shè)定的投射范圍投射影像的情況下(“是”)，控制部153判定用戶是否經(jīng)由設(shè)定輸入部152許可了變更為新決定為投射對象物相對于投射范圍302的全部區(qū)域存在的投射范圍(步驟s203)。

在用戶許可了變更投射范圍的情況下(“是”)，控制部153重新決定投射范圍以使得投射對象物相對于投射范圍302的全部區(qū)域而存在，進(jìn)行投射范圍的變更，經(jīng)由影像照射部154照射影像(步驟s205)。

另一方面，在步驟s203的處理中用戶未許可變更投射范圍的情況(“否”)、或者在步驟s202的處理中判定為能夠在所設(shè)定的投射范圍投射影像的情況(“否”)下，控制部153判定是否存在由于外部光等周圍光的原因而無法檢測基于手指的操作的區(qū)域(步驟s204)。

在步驟s204的處理中，控制部153判定為存在由于外部光等周圍光的原因而無法檢測基于手指的操作的區(qū)域的情況下(“是”)，遷移到步驟s104的處理。

另一方面，在步驟s204的處理中，控制部153判定為不存在由于外部光等周圍光的原因而無法檢測基于手指的操作的區(qū)域的情況下(“否”)，遷移到步驟s103的處理。關(guān)于以后的步驟s103～s106的處理，進(jìn)行與圖6中說明的處理同樣的處理。

<向桌子上的影像顯示例>

圖14是示出利用圖12的操作檢測裝置100進(jìn)行的向桌子上投射影像時(shí)的影像顯示的一個(gè)例子的說明圖。

圖14(a)相當(dāng)于圖13所示的步驟202以及步驟s205的處理，示出如下情形：在從操作檢測裝置100向桌子上投射影像時(shí)，投射范圍302的一部分區(qū)域不在投射面301上，所以區(qū)域1501未正確地投射到桌子上。

之后，通過用戶操作選擇是否變更投射尺寸的用戶選擇按鈕1302，執(zhí)行新的投射范圍的決定處理。圖14(b)示出了由用戶選擇“是”的用戶選擇按鈕1302而投射范圍被調(diào)整為投射范圍302的狀態(tài)。

然后，從最初再次執(zhí)行圖13的處理流程，在執(zhí)行圖13的步驟s204的處理時(shí)，如圖14(c)所示，顯示無法檢測基于手指的操作的區(qū)域1000的提示以及向用戶提醒使用環(huán)境的重新評估的引導(dǎo)顯示1002。另外，圖14(d)示出在圖14(a)的時(shí)間點(diǎn)即在調(diào)整投射范圍302之前在投射范圍302上顯示無法檢測基于手指的操作的區(qū)域1000的例子。

比較圖14(c)和圖14(d)可知，通過調(diào)整投射范圍302，無法檢測基于手指的操作的區(qū)域1000發(fā)生變化。

因此，在縮小影像投射范圍的情況下，有可能無法檢測基于手指的操作的區(qū)域1000變小。另一方面，在擴(kuò)大影像投射范圍的情況下，有可能無法檢測基于手指的操作的區(qū)域1000變大。

因此，在確定了無法檢測基于手指的操作的區(qū)域和桌子等投射對象物不存在的區(qū)域這兩方的情況下，首先進(jìn)行投射范圍的調(diào)整，接著顯示無法檢測基于手指的操作的區(qū)域，向用戶提示用于改善使用環(huán)境的引導(dǎo)，從而能夠消除向用戶提示不需要的信息。由此，能夠提高用戶的便利性。

另外，在本實(shí)施方式3中，例示了檢測到桌子等投射對象物不存在的區(qū)域的情況，除此以外，也可以在檢測到妨礙影像投射的障礙物的情況下，調(diào)整投射范圍以使得從投射范圍內(nèi)消除障礙物。

關(guān)于障礙物的檢測，例如考慮通過預(yù)先分別設(shè)定障礙物檢測用的亮度電平903的閾值和基準(zhǔn)亮度差分904的閾值，來與所設(shè)定的閾值進(jìn)行比較判定。由此，能夠與在不存在投射對象物的情況下同樣地提高用戶便利性。

以上，能夠使用相同的判定處理同時(shí)確定無法檢測手指的操作信息的區(qū)域和由于投射對象物不存在而無法投射圖像的區(qū)域。由此，能夠削減處理的執(zhí)行時(shí)間，用戶能夠縮短從裝置被接通電源至裝置能夠使用的時(shí)間。另外，即使在裝置使用中也能夠縮短中斷裝置的使用的時(shí)間。所以能夠提高用戶便利性

(實(shí)施方式4)

<操作檢測裝置的結(jié)構(gòu)例>

圖15是示出本實(shí)施方式4的操作檢測裝置100的結(jié)構(gòu)的一個(gè)例子的說明圖。

圖15的操作檢測裝置100與圖1的操作檢測裝置100不同之處在于，可檢測操作區(qū)域確定部107并非設(shè)置于坐標(biāo)檢測裝置101而設(shè)置于操作對象裝置150這點(diǎn)以及對坐標(biāo)檢測裝置101新追加照相機(jī)獲取圖像送出部110這點(diǎn)。另外，在坐標(biāo)檢測裝置101與操作對象裝置150之間發(fā)送接收的檢測結(jié)果數(shù)據(jù)121也存在不同。

通過控制部109控制照相機(jī)獲取圖像送出部110。該照相機(jī)獲取圖像送出部110將照相機(jī)102攝像到的照相機(jī)獲取圖像作為檢測結(jié)果數(shù)據(jù)121的一部分，經(jīng)由通信部108發(fā)送到操作對象裝置150。

可檢測操作區(qū)域確定部107進(jìn)行與圖1所示的坐標(biāo)檢測裝置101具有的可檢測操作區(qū)域確定部107同樣的處理，根據(jù)來自控制部153的控制從通信部151接收照相機(jī)獲取圖像，從該圖像數(shù)據(jù)確定能夠檢測手指的操作信息的區(qū)域。

在如以上那樣構(gòu)成的操作檢測裝置100中也能夠起到上述的與上述實(shí)施方式1同樣的作用效果。

(實(shí)施方式5)

在上述實(shí)施方式1的圖1所示的操作檢測裝置100中，為了檢測電子筆的接觸點(diǎn)坐標(biāo)或者手指的接觸點(diǎn)坐標(biāo)而構(gòu)成為使用1個(gè)照相機(jī)和2個(gè)照明，在本實(shí)施方式5中說明其它結(jié)構(gòu)例。

<操作檢測裝置的結(jié)構(gòu)例>

圖16是示出本實(shí)施方式5的操作檢測裝置100的結(jié)構(gòu)的一個(gè)例子的說明圖。

圖16所示的操作檢測裝置100由操作對象裝置150、照相機(jī)102、電磁波生成裝置600以及控制裝置601構(gòu)成。此外，關(guān)于圖16的操作檢測裝置100，圖16(a)中檢測的對象物是手指，圖16(b)中檢測的對象物是電子筆400。

電磁波生成裝置600例如安裝于投射面301的上方等，照射包含紅外線的波長區(qū)域的電磁波。電磁波與投射面301平行地以沿著投射面301的方式被投射到平面上，通過照相機(jī)102對被接近投射范圍302的物體反射的電磁波進(jìn)行攝像，從而檢測物體的位置。此外，照射的電磁波也可以是紅光等可見光。

控制裝置601控制照相機(jī)102、操作對象裝置150、電磁波生成裝置600的動(dòng)作。另外，操作對象裝置150、照相機(jī)102、電磁波生成裝置600、控制裝置601的構(gòu)成要素既可以如圖16所示獨(dú)立地構(gòu)成，也可以作為合并全部或者一部分的裝置而代替并置換圖16的構(gòu)成要素。

以上，能夠在投射范圍302上檢測使用用戶的手指的操作，從操作對象裝置150輸出適當(dāng)?shù)男畔?，或者操作、控制操作對象裝置150。

以上，根據(jù)實(shí)施方式具體說明了由本發(fā)明人完成的發(fā)明，但本發(fā)明不限于上述實(shí)施方式，當(dāng)然能夠在不脫離其主旨的范圍內(nèi)進(jìn)行各種變更。

例如，在實(shí)施方式1～5中，關(guān)于圖8～圖11中示出的從影像照射部154投射的用戶消息顯示，也可以從影像照射部154投射圖標(biāo)，使用圖標(biāo)來向用戶通知。

或者，也可以通過在顯示部155顯示消息來向用戶通知。進(jìn)而，也可以通過從音頻輸出部157輸出語音消息、效果音來向用戶通知。不論使用上述哪種手段都能夠得到同樣的效果。

此外，上述實(shí)施方式是為了易于理解地說明本發(fā)明而詳細(xì)說明的，不限于一定具備所說明的所有結(jié)構(gòu)。另外，能夠?qū)Ω鲗?shí)施方式的結(jié)構(gòu)的一部分進(jìn)行其它結(jié)構(gòu)的追加、刪除及置換。另外，也可以通過例如用集成電路設(shè)計(jì)等由硬件實(shí)現(xiàn)上述各結(jié)構(gòu)、功能、處理部、處理單元等的一部分或者全部。

另外，考慮到說明上需要而示出了控制線、信息線，產(chǎn)品上未必示出所有控制線、信息線。也可以認(rèn)為實(shí)際上幾乎所有結(jié)構(gòu)相互連接。