用戶早上去上班之前通知道路的擁擠信息、列車(chē)的晚點(diǎn)信息、今天的天氣預(yù)報(bào)等的應(yīng)用、在離開(kāi)自己家后在用戶去工作時(shí)起動(dòng)并執(zhí)行用于再現(xiàn)音樂(lè)的應(yīng)用、等等。同時(shí)，后者包括例如在用戶早上去工作之前再現(xiàn)用于良好喚醒的音樂(lè)、當(dāng)用戶去工作時(shí)流式再現(xiàn)外語(yǔ)的廣播節(jié)目用于學(xué)習(xí)外語(yǔ)、等等。該實(shí)施例的信息處理設(shè)備10保存使事件、時(shí)間信息和物理實(shí)體圖像信息互相關(guān)聯(lián)的事件列表，并且如果對(duì)應(yīng)于網(wǎng)絡(luò)實(shí)體圖像信息的圖像包括在位于該時(shí)間信息指明的時(shí)間段內(nèi)的圖像拾取單元14拾取的真實(shí)空間圖像中，則判定滿足事件開(kāi)始條件，并且然后開(kāi)始處理與該事件關(guān)聯(lián)的應(yīng)用。
[0059]為了高效實(shí)現(xiàn)上面描述的功能，信息處理設(shè)備10提供用于創(chuàng)建用戶一天的日程安排表(schedule table)的用戶界面。通常，在日程安排表中，以與事件的關(guān)聯(lián)關(guān)系設(shè)置事件的開(kāi)始時(shí)間和結(jié)束時(shí)間。然而，在本實(shí)施例的日程安排表中登記用于確定事件開(kāi)始條件成立的網(wǎng)絡(luò)實(shí)體圖像信息。
[0060]盡管事件列表可以與用戶創(chuàng)建的日程安排表相同，但是優(yōu)選地，通過(guò)如上詳述處理日程安排表創(chuàng)建該事件列表。作為視頻觀看設(shè)備的信息處理設(shè)備10包括圖像拾取單元14。如果圖像拾取單元14拾取到與事件列表中登記的網(wǎng)絡(luò)實(shí)體圖像信息對(duì)應(yīng)的真實(shí)物理實(shí)體的圖像，則判定滿足于與該網(wǎng)絡(luò)實(shí)體圖像信息關(guān)聯(lián)的事物的開(kāi)始條件。
[0061]下面描述用于實(shí)現(xiàn)使得用戶能夠簡(jiǎn)單容易地創(chuàng)建日程安排表的基本操作的用戶界面。
[0062]〈用戶界面提供功能〉
[0063]圖3示出用于實(shí)現(xiàn)信息處理設(shè)備10的用戶界面提供功能的功能塊。信息處理設(shè)備10包括提供輸入和輸出功能的:顯示設(shè)備12、圖像拾取單元14以及麥克風(fēng)20。此外，信息處理設(shè)備10還包括:輸入接收單元100，該輸入接收單元100用于將來(lái)自圖像拾取單元14和麥克風(fēng)20的輸入轉(zhuǎn)換器操作信息；處理單元80，該處理單元80用于執(zhí)行各種處理；以及記錄單元140，該檢測(cè)單元140用于記錄數(shù)據(jù)。處理單元80包括:圖像處理部110、顯示處理部120以及日程安排登記部分150。盡管提到的部件由任意計(jì)算機(jī)的CPU、存儲(chǔ)器、裝載在存儲(chǔ)器、儲(chǔ)存器等中的程序?qū)崿F(xiàn)，但是圖3中示出了部件實(shí)現(xiàn)的功能塊。因此，本技術(shù)領(lǐng)域內(nèi)的技術(shù)人員明白，能夠以僅由硬件、僅由軟件后者由硬件和軟件的組合的各種方式實(shí)現(xiàn)提到的功能塊。請(qǐng)注意，記錄單元140可以由閃速存儲(chǔ)器、HDD等配置。請(qǐng)注意，盡管在該實(shí)施例中假定圖3所示的功能塊設(shè)置于信息處理設(shè)備10中，但是圖3中所示的一部分功能塊可以由終端設(shè)備2實(shí)現(xiàn)，如下所述。
[0064]輸入接收單元100接收由圖像拾取單元14后者麥克風(fēng)20輸入的信息。從麥克風(fēng)20輸入聲信息，并且輸入接收單元100包括語(yǔ)音識(shí)別功能，并且識(shí)別用戶的語(yǔ)音，以創(chuàng)建操作信息。將創(chuàng)建的操作信息送到諸如顯示處理部120、圖像處理部110和/或者日程安排登記部分150的處理模塊。
[0065]此外，如果輸入接收單元100收到圖像拾取單元14拾取的拾取圖像，則其檢測(cè)包括在該拾取圖像中的用戶的手勢(shì)、由該手勢(shì)創(chuàng)建操作信息、并且將創(chuàng)建的操作信息送到諸如顯示處理部120、圖像處理部110和/或者日程安排登記部分150的處理模塊。在本實(shí)施例中，由于圖像拾取單元14布置于用戶前額的中部附近，所以輸入接收單元100識(shí)別到手勢(shì)的物理實(shí)體的運(yùn)動(dòng)是位于用戶視線方向附近的手的運(yùn)動(dòng)或者手指的運(yùn)動(dòng)。請(qǐng)注意，輸入接收單元100可以將預(yù)定形狀的物理實(shí)體記錄為手勢(shì)識(shí)別物理實(shí)體，使得當(dāng)用戶在圖像拾取單元14的視線內(nèi)移動(dòng)物理實(shí)體時(shí)，輸入接收單元100檢測(cè)到手勢(shì)。下面將描述輸入接收單元100檢測(cè)作為手勢(shì)識(shí)別物理實(shí)體的用戶的手或者手指的運(yùn)動(dòng)從而創(chuàng)建操作信息的例子。輸入接收單元100當(dāng)檢測(cè)到手勢(shì)輸入模式開(kāi)始時(shí)起動(dòng)手勢(shì)識(shí)別處理并且當(dāng)其檢測(cè)到手勢(shì)輸入模式結(jié)束時(shí)結(jié)束手勢(shì)識(shí)別處理。
[0066]圖4示出圖像拾取單元14拾取的拾取圖像的例子。圖像拾取單元14以包括穿戴信息處理設(shè)備10的用戶的視線方向的預(yù)定視角拾取真實(shí)空間的圖像。例如，圖4示出反映用戶自己家的起居室的樣子的圖像。請(qǐng)注意，將拾取圖像中虛線包圍的區(qū)域設(shè)置為用于識(shí)別用戶的手的或者手指的運(yùn)動(dòng)(手勢(shì))的手勢(shì)識(shí)別區(qū)30。
[0067]圖5的(a)和圖5的(b)是示出開(kāi)始手勢(shì)輸入模式的檢測(cè)過(guò)程的示意圖。圖5的(a)和圖5的(b)示出在不同條件下判定開(kāi)始手勢(shì)輸入模式的例子。
[0068]圖5的(a)示出用戶的手進(jìn)入手勢(shì)識(shí)別區(qū)30中的方式。當(dāng)輸入接收單元100檢測(cè)到用戶的手包括在拾取圖像的手勢(shì)識(shí)別區(qū)30中時(shí)，其判定滿足手勢(shì)輸入模式的開(kāi)始條件并且開(kāi)始手勢(shì)識(shí)別處理。請(qǐng)注意，如果手勢(shì)識(shí)別區(qū)30占據(jù)拾取圖像的全部區(qū)域，則用戶的手進(jìn)入圖框等同于將此設(shè)置為手勢(shì)輸入模式的開(kāi)始條件。
[0069]圖5的(b)示出手勢(shì)識(shí)別區(qū)30中出現(xiàn)的手執(zhí)行預(yù)定行為。如果輸入接收單元100檢測(cè)到包括在拾取圖像的手勢(shì)識(shí)別區(qū)30中的用戶的手執(zhí)行預(yù)定行為，則判定滿足手勢(shì)輸入模式的開(kāi)始條件，并且開(kāi)始手勢(shì)識(shí)別處理。請(qǐng)注意，預(yù)定行為包括用戶用手?jǐn)[出預(yù)定姿勢(shì)或者用戶的手執(zhí)行預(yù)定連續(xù)運(yùn)動(dòng)。
[0070]如果如上所述，輸入接收單元100識(shí)別到手在手勢(shì)識(shí)別區(qū)30中運(yùn)動(dòng)并且該運(yùn)動(dòng)滿足手勢(shì)輸入模式的開(kāi)始條件，則輸入接收單元100開(kāi)始手勢(shì)識(shí)別處理。請(qǐng)注意，在假定“手”包括用戶的整個(gè)手或者手指或者各手指的情況下，給出下面的描述。
[0071]開(kāi)始了手勢(shì)輸入模式后，菜單屏幕圖像顯示于顯示設(shè)備12的AR顯示區(qū)中。因此，使得用戶在觀看真實(shí)空間的同時(shí)，觀看顯示于顯示設(shè)備12上的菜單屏幕圖像。請(qǐng)注意，顯示于諸如菜單屏幕圖像的AR顯示區(qū)中的虛擬物體位于真實(shí)空間中的手勢(shì)識(shí)別區(qū)30中的相應(yīng)位置。
[0072]描述顯示設(shè)備12的AR顯示區(qū)與拾取圖像的手勢(shì)識(shí)別區(qū)30之間的關(guān)系。AR顯示區(qū)是用戶在作為顯示設(shè)備12的背景展開(kāi)的真實(shí)空間中看到重疊關(guān)系的虛擬圖像的區(qū)域。用戶利用手或者手指對(duì)顯示的虛擬物體執(zhí)行輸入操作。由于該輸入操作必須由圖像拾取單元14成像，所以虛擬物體必須虛擬地位于圖像拾取單元14的視角中，并且還必須虛擬地位于手勢(shì)識(shí)別區(qū)30中。因此，盡管顯示設(shè)備12的AR顯示區(qū)和拾取圖像的手勢(shì)識(shí)別區(qū)30具有互相獨(dú)立的空間坐標(biāo)系，但是它們必須互相重疊并且優(yōu)選地是同一個(gè)圖像區(qū)。在假定AR顯示區(qū)和手勢(shì)識(shí)別區(qū)30在真實(shí)空間中具有相同區(qū)的情況下，給出下面的描述。
[0073]圖6是示出菜單屏幕圖像32的布置位置的示意圖。請(qǐng)注意，圖6示出顯示設(shè)備12的顯示區(qū)的一部分，并且在此示出與拾取圖像的區(qū)相同的區(qū)。通常，顯示設(shè)備12的實(shí)際顯示區(qū)大于圖6中所示的顯示區(qū)。請(qǐng)注意，圖6僅是舉例說(shuō)明圖，用于指出以與用戶觀看的真實(shí)空間的重疊關(guān)系觀看菜單屏幕圖像32。此外，請(qǐng)注意，在圖6中，顯示在顯示設(shè)備12上的只是菜單屏幕圖像32，并且菜單屏幕圖像32之外的起居室的背景是用戶通過(guò)作為半反射鏡的顯示設(shè)備12直接觀看的場(chǎng)景。
[0074]圖7的(a)示出用戶執(zhí)行點(diǎn)擊手勢(shì)時(shí)的方式。在信息處理設(shè)備10中，將點(diǎn)擊操作用作固定二維AR顯示坐標(biāo)的操作。例如，當(dāng)諸如圖標(biāo)的虛擬物體顯示于顯示設(shè)備12上時(shí)，通過(guò)對(duì)虛擬物體執(zhí)行點(diǎn)擊手勢(shì)，用戶能夠選擇虛擬物體。
[0075]當(dāng)手在圖像拾取單元14的光軸的方向上，即深度方向上，前后移動(dòng)時(shí)，輸入接收單元100確定執(zhí)行點(diǎn)擊手勢(shì)。如果圖像拾取單元14由立體攝像機(jī)配置，則由手的圖像的視差，輸入接收單元100能夠檢測(cè)到手在深度方向上的運(yùn)動(dòng)。另一方面，如果圖像拾取單元14由單目攝像機(jī)配置，則能夠檢測(cè)到手的大小的變化，從而檢測(cè)到手在深度方向上的運(yùn)動(dòng)。請(qǐng)注意，信息處理設(shè)備10可以包括距離傳感器，從而由距離傳感器的測(cè)量值，檢測(cè)手在深度方向上的運(yùn)動(dòng)。如果輸入接收單元100檢測(cè)到連續(xù)兩次點(diǎn)擊手勢(shì)，則確定執(zhí)行了雙擊操作。
[0076]如果輸入接收單元100在手勢(shì)識(shí)別區(qū)30中檢測(cè)到點(diǎn)擊手勢(shì)，則將表示執(zhí)行點(diǎn)擊操作的信息與執(zhí)行點(diǎn)擊操作的二維AR顯示坐標(biāo)值一起諸如顯示處理部120、圖像處理部110和/或者日程安排登記部分150的處理模塊。輸入接收單元100將在手勢(shì)識(shí)別區(qū)30中執(zhí)行點(diǎn)擊手勢(shì)的二維坐標(biāo)值轉(zhuǎn)換為二維AR顯示坐標(biāo)值。輸入接收單元100具有用于以這種方式將拾取圖像上的二維坐標(biāo)值轉(zhuǎn)換為二維AR顯示坐標(biāo)值并且將該二維AR顯示坐標(biāo)值發(fā)送到處理模塊的功能。在下面的描述中省略了這樣對(duì)坐標(biāo)值執(zhí)行的轉(zhuǎn)換和發(fā)送。
[0077]圖7的(b)示出用戶執(zhí)行拖動(dòng)操作的方式。在信息處理設(shè)備10中，拖動(dòng)操作用作用于移動(dòng)顯示于二維或者三維AR坐標(biāo)系上的虛擬物體的操作。如果虛擬物體顯示于顯示設(shè)備12上，則通過(guò)對(duì)虛擬物體執(zhí)行拖動(dòng)手勢(shì)，用戶能夠移動(dòng)虛擬物體。
[0078]當(dāng)手在AR坐標(biāo)系上垂直地、水平地和傾斜地移動(dòng)時(shí)，輸入接收單元100確定執(zhí)行拖動(dòng)手勢(shì)。如果輸入接收單元100在手勢(shì)識(shí)別區(qū)30中檢測(cè)到拖動(dòng)手勢(shì)，則將表示執(zhí)行拖動(dòng)操作的信息發(fā)送到諸如顯示處理部120、圖像處理部110和/或者日程安排登記部分150的處理模塊。請(qǐng)注意，對(duì)點(diǎn)擊操作選擇的虛擬物體執(zhí)行拖動(dòng)操作。因此，輸入接收單元100指定執(zhí)行點(diǎn)擊手勢(shì)的虛擬物體，并且然后，當(dāng)對(duì)虛擬物體執(zhí)行拖動(dòng)手勢(shì)時(shí)，將對(duì)虛擬物體的拖動(dòng)操作信息發(fā)送到預(yù)定處理模塊或者各預(yù)定處理模塊。請(qǐng)注意，當(dāng)對(duì)虛擬物體執(zhí)行點(diǎn)擊手勢(shì)時(shí)，輸入接收單元100認(rèn)為拖動(dòng)操作結(jié)束。
[0079]圖8的(a)示出用戶執(zhí)行放大手勢(shì)的方式的示意圖。在信息處理設(shè)備10中，將放大操作用作擴(kuò)大顯示于二維或者三維AR坐標(biāo)系上的虛擬物體的操作。當(dāng)虛擬物體顯示于顯示設(shè)備12上時(shí)，通過(guò)對(duì)虛擬物體執(zhí)行放大手勢(shì)，用戶能夠以放大比例顯示虛擬物體。
[0080]當(dāng)在AR坐標(biāo)系上擴(kuò)大兩個(gè)手指之間的距離時(shí)，輸入接收單元100判定執(zhí)行放大手勢(shì)。如果輸入接收單元100在手勢(shì)識(shí)別區(qū)30中檢測(cè)到放大手勢(shì)，則將表示執(zhí)行放大操作的信息發(fā)送到諸如顯示處理部120、圖像處理部110和/或者日程安排登記部分150的處理模塊。請(qǐng)注意，對(duì)點(diǎn)擊操作選擇的虛擬物體執(zhí)行放大操作。因此，輸入接收單元100指定執(zhí)行點(diǎn)擊手勢(shì)的虛擬物體，并且當(dāng)對(duì)虛擬物體執(zhí)行放大手勢(shì)時(shí)，將虛擬物體的放大操作信息發(fā)送到預(yù)定模塊或者各預(yù)定模塊。請(qǐng)注意，當(dāng)執(zhí)行對(duì)虛擬物體的點(diǎn)擊手勢(shì)時(shí)，輸入接收單元100認(rèn)為放大操作結(jié)束。
[0081]圖8的(b)示出用戶執(zhí)行縮小手勢(shì)的方式。在信息處理設(shè)備10中，縮小操作用作用于減小顯示于二維或者三維AR坐標(biāo)系上的操作。當(dāng)虛擬物體顯示于顯示設(shè)備12上時(shí)，通過(guò)對(duì)虛擬物體執(zhí)行縮小手勢(shì)，用戶能夠使虛擬物體以減小比例顯示。
[0082]當(dāng)在AR坐標(biāo)系上減小兩個(gè)手指之間的距離時(shí)，輸入接收單元100判定執(zhí)行縮小手勢(shì)。如果輸入接收單元100在手勢(shì)識(shí)別區(qū)30中檢測(cè)到縮小手勢(shì)，則將表示執(zhí)行縮小操作的信息發(fā)送到諸如顯示處理部120、圖像處理部110和/或者日程安排登記部分150的處理模塊。請(qǐng)注意，對(duì)點(diǎn)擊操作選擇的虛擬物體執(zhí)行縮小操作。因此，輸入接收單元100指定執(zhí)行點(diǎn)擊手勢(shì)的虛擬物體，并且當(dāng)對(duì)虛擬物體執(zhí)行縮小手勢(shì)時(shí)，將虛擬物體的縮小操作信息發(fā)送到預(yù)定模塊或者各預(yù)定模塊。請(qǐng)注意，當(dāng)執(zhí)行對(duì)虛擬物體的點(diǎn)擊手勢(shì)時(shí)，輸入接收單元100認(rèn)為縮小操作結(jié)束。
[0083]圖9的(a)和圖9的(b)是示出結(jié)束手勢(shì)輸入模式的檢測(cè)過(guò)程的示意圖。圖9的(a)和9的(b)示出在不同條件下確定手勢(shì)輸入模式結(jié)束的例子。
[0084]圖9的(a)示出用戶的手指從手勢(shì)識(shí)別區(qū)30縮回的方式。如果在執(zhí)行手勢(shì)識(shí)別處理時(shí)輸入接收單元100檢測(cè)到用戶的手不再包括在手勢(shì)識(shí)別區(qū)30中，則確定滿足手勢(shì)輸入模式的結(jié)束條件，并且結(jié)束手勢(shì)識(shí)別處理。
[0085]圖9的(b)示出手勢(shì)識(shí)別區(qū)30中成像的手執(zhí)行預(yù)定行為的方式。如果在執(zhí)行手勢(shì)識(shí)別處理時(shí)輸入接收單元100檢測(cè)到包括在拾取圖像的手勢(shì)識(shí)別區(qū)40中的用戶的手執(zhí)行預(yù)定行為，則確定滿足手勢(shì)輸入模式的結(jié)束條件并且結(jié)束手勢(shì)識(shí)別處理。請(qǐng)注意，預(yù)定行為包括用戶用手?jǐn)[出預(yù)定姿勢(shì)或者用戶執(zhí)行預(yù)定連續(xù)運(yùn)動(dòng)。
[0086]如果手勢(shì)輸入模式結(jié)束，則顯示于顯示設(shè)備12的AR顯示區(qū)中的菜單屏幕圖像等消失。
[0087]請(qǐng)注意，如下所述，在本實(shí)施例的界面中，通過(guò)選擇包括在菜單屏幕圖像中的選項(xiàng)，打開(kāi)下層的菜單屏幕圖像，并且執(zhí)行與包括在下層菜單屏幕圖像中的選項(xiàng)有關(guān)的處理。這樣，連續(xù)執(zhí)行各種處理。因此，當(dāng)滿足與圖9的(a)或者圖9的(b)有關(guān)的手勢(shì)輸入模式的結(jié)束條件時(shí)，可以不優(yōu)選立即從顯示設(shè)備12擦除菜單屏幕圖像或者當(dāng)前顯示的界面。因此，當(dāng)輸入模式的結(jié)束條件成立時(shí)，用于使用戶確認(rèn)輸入模式要結(jié)束的確認(rèn)消息可以顯示于顯示設(shè)備12上，使得僅當(dāng)用戶明確發(fā)出OK的應(yīng)答時(shí)，從顯示設(shè)備12擦除虛擬物體。
[0088]此外，由于當(dāng)用戶的手出框時(shí)滿足與圖9的(a)有關(guān)的結(jié)束條件，所以可以認(rèn)為無(wú)意中可以滿足結(jié)束條件的概率高。因此，可以將與圖5的(a)有關(guān)的框內(nèi)用作輸入模式的開(kāi)始條件，而不將與圖9的(a)有關(guān)的框外用作結(jié)束條件。在這種情況下，作為結(jié)束條件，可以采用與圖9的(b)有關(guān)的結(jié)束條件。請(qǐng)注意，如果滿足與圖5的(a)有關(guān)的框內(nèi)的開(kāi)始條件并且然后在預(yù)定時(shí)段(例如，在幾秒鐘內(nèi))內(nèi)滿足與圖9的(a)有關(guān)的框外的結(jié)束條件，則由于用戶的手無(wú)意中偶然可以到框內(nèi)的考慮高，所以可以結(jié)束手勢(shì)識(shí)別處理，而不呈現(xiàn)確認(rèn)消息。
[0089]這樣，信息處理設(shè)備10提供用于處理作為操作輸入的用戶手勢(shì)的用戶界面。請(qǐng)注意，輸入接收單元100可以檢測(cè)到上述例子之外的手勢(shì)，例如，用于創(chuàng)建虛擬物體的旋轉(zhuǎn)操作信息的手的旋轉(zhuǎn)手勢(shì)。