這樣，輸入接收單元100能夠檢測到手勢識別物體的運動，以創(chuàng)建用戶的操作信息。請注意，如上所述，輸入接收單元100可以分析從麥克風(fēng)20輸入的語音，以創(chuàng)建用戶的操作信息。例如，如果用戶說出“點擊”，則輸入接收單元100從麥克風(fēng)20收到說話信息，并且創(chuàng)建和將該點擊操作信息發(fā)送到預(yù)定處理模塊或者各預(yù)定處理模塊。
[0090]本實施例的信息處理設(shè)備10由設(shè)置用戶在一天中的事件日程安排的日程安排表創(chuàng)建時間表。盡管下面描述事件列表的詳情，但是如果信息處理設(shè)備10根據(jù)事件列表確定事件的開始條件成立，則信息處理設(shè)備10執(zhí)行與事件關(guān)聯(lián)的應(yīng)用的處理。事件的開始條件是在事件列表中登記的事件的時間段內(nèi)圖像拾取單元14拾取對應(yīng)于與事件關(guān)聯(lián)的網(wǎng)絡(luò)實體圖像信息的真實物理實體的圖像。為了允許這樣處理，通過使時間信息和網(wǎng)絡(luò)實體圖像信息與事件關(guān)聯(lián)，配置事件列表。
[0091]為了創(chuàng)建事件列表，通過使時間信息和網(wǎng)絡(luò)實體圖像信息與事件關(guān)聯(lián)，用戶設(shè)置基于事件列表的日程安排表。下面將描述創(chuàng)建剛描述的這種日程安排表的過程的例子。在下面的例子中，用戶首先拾取與事件關(guān)聯(lián)的物理實體圖像，并且然后，當(dāng)要創(chuàng)建日程安排表時，執(zhí)行指定事件的時間信息和使事件和拾取的物理實體圖像信息互相關(guān)聯(lián)的工作。
[0092]如果輸入接收單元100檢測到圖5的(a)或者圖5的(b)中所示的手勢，則確定滿足手勢輸入模式的開始條件，并且將該條件成立通知顯示處理部120。在顯示處理部120中，菜單顯示部122創(chuàng)建圖6所示的菜單屏幕圖像32，并且使該菜單屏幕圖像32顯示于顯示設(shè)備12上。因此，用戶能夠觀看重疊于真實空間上的菜單屏幕圖像32。
[0093]如果用戶將手指移動到與顯示于顯示設(shè)備12上的菜單屏幕圖像32重疊的位置并且在顯示“日程安排應(yīng)用”的空間上的區(qū)中執(zhí)行兩次點擊手勢，則輸入接收單元100將顯示設(shè)備12的AR顯示區(qū)的坐標(biāo)值和雙擊操作信息發(fā)送到顯示處理部120。如果菜單顯示部122由AR顯示區(qū)的坐標(biāo)值檢測到菜單選項“日程安排應(yīng)用”被選擇，則使與“日程安排應(yīng)用”關(guān)聯(lián)的下層的菜單屏幕圖像顯示于AR顯示區(qū)中。
[0094]圖10示出下層的菜單屏幕圖像的例子。如果選擇圖6中所示的菜單屏幕圖像32上的“日程安排應(yīng)用”，則顯示圖10中所示的菜單屏幕圖像34，代替圖6中所示的菜單屏幕圖像32。菜單屏幕圖像34包括菜單選項:“事件開始物體登記”、“事件登記”、“日程安排創(chuàng)建”以及“日程安排編輯”。
[0095]如果用戶在顯示于顯示設(shè)備12的菜單屏幕圖像34上的“事件開始物體登記”的顯示區(qū)上執(zhí)行雙擊手勢，則輸入接收單元100將雙擊操作信息和AR顯示區(qū)坐標(biāo)值發(fā)送到圖像處理部110和顯示處理部120。請注意，“顯示區(qū)上”呈現(xiàn)在顯示設(shè)備12示出的虛擬空間中的顯示區(qū)上。如果菜單顯示部122檢測到菜單選項“事件開始物體登記”被選擇，則使與該選項關(guān)聯(lián)的下層的菜單屏幕圖像顯示于顯示設(shè)備12上，并且圖像處理部110開始用于指定包括在拾取圖像中的真實物理實體圖像的處理。
[0096]圖11示出下層的菜單屏幕圖像的例子。如果在圖10中所示的菜單屏幕圖像34中選擇“事件開始物體登記”，則顯示圖11中所示的菜單屏幕圖像36。菜單屏幕圖像34包括菜單選項:“徒手繪制”、“直接指定”、“圖像識別”、“自動物理實體選擇”和“登記”。
[0097]圖12示出用戶通過顯示設(shè)備12觀看的場景。如上參考圖6所述，圖12也示出顯示設(shè)備12的顯示區(qū)(與拾取圖像的區(qū)域相同的區(qū)域)，并且顯示設(shè)備12的實際顯示區(qū)通常大于圖12所示的顯示區(qū)。此外，圖12中的顯示設(shè)備12上顯示的僅是菜單屏幕圖像36，并且除此之外的起居室的背景是用戶通過作為半反射鏡的顯示設(shè)備12直接看到的場景。
[0098]如果用戶在“徒手繪制”的顯示區(qū)上執(zhí)行雙擊手勢，則開始徒手輸入模式。如果用戶在輸入模式下以這種方式操縱手指從而包圍要切掉的物理實體，則軌跡顯示部130使作為虛擬物體的手指的軌跡以這種方式顯示于顯示設(shè)備12上，以跟蹤手指的運動。用戶的點擊手勢確定開始和結(jié)束輸入“徒手繪制”。因此，如果用戶自由曲線的開始點執(zhí)行了一次點擊手勢并且然后在移動手指從而包圍物理實體后，執(zhí)行點擊手勢，則使自由曲線固定。
[0099]圖13示出包圍時鐘的軌跡38。如果軌跡38以這種方式包圍時鐘，則輸入接收單元100將固定了自由曲線通知圖像處理部110，并且根據(jù)該通知，真實物理實體指定部112指定用戶選擇的真實物理實體圖像。特別是，真實物理實體指定部112從圖像拾取單元14獲取拾取圖像，并且指定拾取圖像中由軌跡38包圍的圖像，然后，在理論上包括在指定圖像中的真實物理實體圖像。此時，輸入接收單元100可以將與手指的成像軌跡有關(guān)的信息送到真實物理實體指定部112。此外，真實物理實體指定部112可以將軌跡38的信息變換為拾取圖像上的坐標(biāo)信息，以在拾取圖像上指定軌跡38包圍的圖像。在此，削去上面放置時鐘的擱板或者壁的圖像，并且提取時鐘的圖像。
[0100]真實物理實體指定部112提取了真實物理實體圖像后，其可以對真實物理實體圖像的外部輪廓或者整個真實物理實體圖像著色，以將完成提取處理通知用戶。如果用戶確認(rèn)提取處理正確完成，則用戶在菜單屏幕圖像16的“登記”的顯示區(qū)上執(zhí)行雙擊手勢。然后，輸入接收單元100將雙擊操作信息發(fā)送到圖像處理部110，并且物理實體圖像確定部114將提取的真實物理實體圖像作為物理實體圖像144記錄在記錄單元140中。物理實體圖像144用作用于確定滿足事件開始條件的基本信息，如下所述。
[0101]物理實體圖像確定部114可以將對應(yīng)于提取的真實物理實體圖像的標(biāo)記圖像作為物理實體圖像144記錄在記錄單元140中。在記錄單元140中，記錄包括對應(yīng)于物理實體的標(biāo)記圖像的標(biāo)記數(shù)據(jù)142。標(biāo)記數(shù)據(jù)142包括多個為物理實體準(zhǔn)備的標(biāo)記圖像。在此，物理實體是時鐘，并且標(biāo)記數(shù)據(jù)142包括各種類型的時鐘的圖像。座鐘包括各種變型，諸如，根據(jù)形狀，垂直長鐘、水平長鐘以及圓鐘，根據(jù)顯示方法，模擬時鐘和數(shù)字時鐘，或者根據(jù)顏色，藍色時鐘、黑色時鐘，等等。準(zhǔn)備標(biāo)記數(shù)據(jù)142，以覆蓋所有變型。物理實體圖像確定部114可以從標(biāo)記數(shù)據(jù)142中提取與真實物理實體指定部112提取的真實物理實體圖像相同或者類似的標(biāo)記圖像，并且將提取的標(biāo)記圖像作為物理實體圖像144記錄在記錄單元140中。
[0102]特別是，如果在軌跡38包圍時鐘的狀態(tài)下，用戶在菜單屏幕圖像36的“圖像識別”的顯示區(qū)上執(zhí)行雙擊手勢，則物理實體圖像確定部114從標(biāo)記數(shù)據(jù)142中提取與真實物理實體圖像相同或者類似的標(biāo)記圖像。然后，在AR顯示區(qū)中顯示提取的標(biāo)記圖像，用于用戶確認(rèn)。如果用戶看標(biāo)記圖像并且確認(rèn)該標(biāo)記圖像與軌跡38包圍的時鐘相同或者類似，則用戶將在菜單屏幕圖像36的“登記”顯示區(qū)上執(zhí)行雙擊手勢。因此，物理實體圖像確定部114將標(biāo)記圖像作為物理實體圖像144記錄在記錄單元140中。根據(jù)由真實物理實體圖像和標(biāo)記圖像的特性量計算的一致性程度，可以執(zhí)行相同性或者相似性的判定。例如，如果物理實體圖像確定部114從標(biāo)記數(shù)據(jù)142中提取多個相似的標(biāo)記圖像，則為了用戶確認(rèn)在AR顯示區(qū)中顯示標(biāo)記圖像，從而允許用戶選擇其。
[0103]請注意，盡管指出標(biāo)記數(shù)據(jù)142包括座鐘的特征變型的標(biāo)記圖像，但是其包括與諸如例如桌子、椅子、火車、建筑和門的各種其他物體有關(guān)的標(biāo)記圖像。優(yōu)選地，正確提取與拾取的真實物理實體圖像相同或者類似的標(biāo)記圖像。
[0104]這樣，物理實體圖像確定部114確定真實物理實體圖像或者標(biāo)記圖像作為物理實體圖像144，并且將該物理實體圖像144記錄在記錄單元140中。通過重復(fù)剛描述的工作，用戶能夠?qū)⒍鄠€物理實體圖像144記錄在記錄單元140中。
[0105]如上所述，在根據(jù)用戶的狀況再現(xiàn)內(nèi)容的應(yīng)用中，物理實體圖像144是用于選擇和再現(xiàn)正拾取的音樂的條件。因此，為了創(chuàng)建用于執(zhí)行再現(xiàn)應(yīng)用的事件，需要在不發(fā)生故障的情況下將一個物理實體圖像144登記在事件列表中，并且通過登記多個物理實體圖像144，增強可以拾取一個物理實體圖像144的概率，這樣使得能夠以高精度檢測到創(chuàng)建事件。為此，優(yōu)選地，在“事件開始物體登記”的工作中用戶將許多物理實體圖像144記錄在記錄單元140中，使得能夠?qū)σ粋€事件記錄多個物理實體圖像144。請注意，物理實體圖像確定部114可以將圖像拾取單元14拾取的整個拾取圖像作為物理實體圖像144記錄在記錄單元140中。
[0106]盡管上面針對用戶利用自由曲線指定真實物理實體的例子，但是用戶也可以直接指定真實物理實體。如果用戶在菜單屏幕圖像36的“直接指定”的顯示區(qū)上執(zhí)行雙擊手勢，則開始利用直接指定的真實物理實體的選擇模式。如果用戶在這種模式下對真實物理實體執(zhí)行點擊手勢，則真實物理實體指定部112指定用戶選擇的真實物理實體圖像。特別是，真實物理實體指定部112提取包括在拾取圖像上執(zhí)行實際操作的空間坐標(biāo)值的真實物理實體。當(dāng)提取真實物理實體圖像時，真實物理實體指定部112可以對真實物理實體圖像是外部輪廓或者整個真實物理實體圖像著色，以將完成提取處理通知用戶。如果在菜單屏幕圖像36的“登記”顯示區(qū)上執(zhí)行雙擊手勢并且輸入接收單元100將雙擊操作信息發(fā)送到圖像處理部110，則物理實體圖像確定部114將提取的真實物理實體圖像作為物理實體圖像144記錄在記錄單元140中。請注意，物理實體圖像確定部114可以將對應(yīng)于提取的真實物理實體圖像的標(biāo)記圖像作為物理實體圖像144記錄在記錄單元140中，如上所述。
[0107]盡管“徒手繪制”和“直接指定”模式是用戶手動選擇真實物理實體的模式，但是本實施例的信息處理設(shè)備10還準(zhǔn)備用于自動選擇真實物理實體的模式。
[0108]如果用戶在菜單屏幕圖像36的“自動物體選擇”的顯示區(qū)上執(zhí)行雙擊手勢，則開始真實物理實體的自動選擇模式。在該模式下，真實物理實體指定部112指定包括在拾取圖像中的真實物理實體圖像。此時，真實物理實體指定部112優(yōu)選地在拾取圖像中選擇相對于周圍環(huán)境具有特征因素的真實物理實體圖像。在此該特征因素可以是該物體對背景顏色具有高對比度的特性、該物體具有大于周圍等的形狀的特性等等。例如，關(guān)于圖4的例子，選擇時鐘、桌子、桌子前面的椅子、時鐘放置在上面的擱板等等作為相對于周圍環(huán)境具有特征因素的物理實體。
[0109]圖14示出真實物理實體指定部分112選擇的真實物理實體圖像。真實物理實體指定部112選擇時鐘、桌子、桌子前面的椅子和放置時鐘的擱板，并且使顯示設(shè)備12顯示其外部輪廓的內(nèi)側(cè)上的斜線。因此，用戶認(rèn)識到四個真實物理實體被選擇。如果用戶在菜單屏幕圖像36的“登記”顯示區(qū)域上執(zhí)行雙擊手勢并且輸入接收單元100將雙擊操作信息發(fā)送到圖像處理部110，則物理實體圖像確定部114將提取的真實物理實體圖像作為物理實體圖像144記錄在記錄單元140中。請注意，物理實體圖像確定部114可以將對應(yīng)于提取的真實物理實體圖像的標(biāo)記圖像作為物理實體圖像144記錄在記錄單元140中，如上所述。
[0110]請注意，如果將標(biāo)記圖像作為物理實體圖像144記錄，則物理實體圖像確定部114確認(rèn)是否存在對應(yīng)于真實物理實體指定部112指定的真實物理實體圖像的標(biāo)記圖像。例如，如果對應(yīng)于桌子前面的椅子的標(biāo)記圖像不包括在標(biāo)記數(shù)據(jù)142中，則由于椅子的標(biāo)記圖像不能記錄在記錄單元140中，物理實體圖像確定部114優(yōu)選地確定斜線圖像可以不重疊在椅子上。因此，優(yōu)選地，在物理實體圖像確定部114確認(rèn)存在相應(yīng)標(biāo)記圖像后，由真實物理實體指定部112創(chuàng)建斜線圖像。
[0111]此外，由于不考慮用戶的意愿以“自動物體選擇”模式執(zhí)行真實物理實體的選擇過程，所以用戶能夠判定是否將真實物理實體指定部112指定的真實物理實體圖像或者真實物理實體圖像的標(biāo)記圖像作為物理實體圖像144記錄。例如，假定在該地點(起居室內(nèi))不存在桌子前面的椅子，而是此時碰巧存在。由于物理實體圖像144構(gòu)成該事件開始的條件，所以優(yōu)選地其是日常存在的物理實體的圖像。通過在具有椅子的斜線的區(qū)域上執(zhí)行雙擊手勢，用戶能夠從物理實體圖像144的候選對象中選擇排除椅子。
[0112]這樣，通過選擇菜單屏幕圖像36的選項，用戶能夠以各種方式將物理實體圖像144記錄在記錄單元140中。
[0113]在此，指出作為系統(tǒng)工程師的用戶在工作日的行為的例子。用戶在早上醒來、進早餐、穿衣并且去公司工作。用戶到達公司后，用戶坐在辦公桌前，并且在看著個人計算機的屏幕的同時，執(zhí)行編程工作。當(dāng)?shù)轿缧輹r間時，用戶吃午餐，并且在午休結(jié)束后，用戶開始下午的工作。當(dāng)?shù)竭_下班時間時，用戶關(guān)閉個人計算機的電源并且回家?；丶液螅脩粝丛璨⑶页晕顼?，然后，欣賞電視節(jié)目，并且當(dāng)?shù)骄蛯嫊r間時，用戶就寢。能夠?qū)偯枋龅囊惶熘械倪@些動作劃分為各種事件。
[0114]圖15示出用戶的平常行為表。行為表的橫軸示出時間，并且表中描述的內(nèi)容指出事件。根據(jù)行為表，在工作日用戶執(zhí)行下面的行為。
[0115]a) 7:00 至 8:00 醒來事件
[0116]用戶醒來，吃早餐以及穿衣。
[0117]b) 8:00至9:00去工作事件
[0118]用戶離開家，乘坐火車并且去公司。
[0119]c)9:00 至 12:00 工作事件
[0120]上午，用戶工作。
[0121]d) 12:00 至 13:00 午休事件
[0122]用戶離開公