子,但是也能夠使圖像處理部110和日程安排登記部分150互相合作,從而自動創(chuàng)建日程安排表。此外,在該自動創(chuàng)建中,前提條件是用戶事先通過上面參考圖16至19描述的過程使事件和時間信息互相關(guān)聯(lián)。
[0176]在與事件關(guān)聯(lián)的開始時間,真實物理實體指定部112指定包括在拾取圖像中的真實物理實體圖像。此時,真實物理實體指定部112優(yōu)選地在拾取圖像中指定相對于周圍環(huán)境具有特征因素的真實物理實體圖像。真實物理實體指定部112將指定的真實物理實體圖像記錄在記錄單元140中。真實物理實體指定部112對每個事件都指定并且將真實物理實體圖像記錄在記錄單元140中。真實物理實體指定部112多日執(zhí)行記錄處理。請注意,如果在事件與時間信息之間實現(xiàn)關(guān)聯(lián)的日程安排表是關(guān)于工作日的,則真實物理實體指定部112在多個工作日執(zhí)行記錄處理,但是如果日程安排表是關(guān)于節(jié)假日的,則真實物理實體指定部112在多個節(jié)假日執(zhí)行記錄處理。
[0177]在以這種方式將多日的抽樣圖像記錄在記錄單元140中后,真實物理實體指定部112提取對每個事件頻繁拾取的真實物理實體圖像。例如,如果在醒來事件中拾取時鐘的圖像的次數(shù)多,則提取時鐘的圖像座位真實物理實體圖像。通過在每個事件的開始時間以這種方式以最大次數(shù)檢測真實物理實體圖像,能夠提高真實物理實體圖像包括在事件的開始條件中的似然性。這樣,真實物理實體指定部112指定真實物理實體圖像,并且物理實體圖像確定部114將指定的真實物理實體圖像記錄在記錄單元140中。請注意,物理實體圖像確定部114可以將對應(yīng)于指定的真實物理實體圖像的標記圖像座位物理實體圖像144記錄在記錄單元140中,如上所述。由于圖像處理部110以如上所述的這種方式運行,所以在用戶不需要手動將物理實體圖像記錄在記錄單元140中時,創(chuàng)建使事件和物理實體圖像互相關(guān)聯(lián)的日程安排表。
[0178]請注意,盡管在上面描述的例子中,例如,用戶手動或者自動設(shè)置事件,但是信息處理設(shè)備10可以事先準備使個人職業(yè)的事件與時間信息互相關(guān)聯(lián)的事件模型,使得用戶根據(jù)自己的職業(yè)選擇模型,從而自動設(shè)置事件。
[0179]如果用戶在菜單屏幕圖像34的菜單選項“日程安排編輯”的顯示區(qū)上執(zhí)行雙擊手勢,則輸入接收單元100將該顯示區(qū)的雙擊操作信息和AR顯示區(qū)坐標值發(fā)送到顯示處理部120。顯示處理部120接收雙擊操作信息和AR顯示區(qū)坐標值,并且提供由于編輯日程安排表的用戶界面。在該用戶界面中,對用戶呈現(xiàn)已經(jīng)創(chuàng)建的日程安排表顯示于表區(qū)42中的日程安排表編輯屏幕圖像,表區(qū)通過如上所述執(zhí)行該工作,用戶能夠編輯日程安排表。
[0180]〈應(yīng)用處理功能〉
[0181]如果如上所述,用戶利用用戶界面設(shè)置日程安排表,則信息處理設(shè)備10根據(jù)日程安排表創(chuàng)建事件列表。信息處理設(shè)備10具有利用事件列表確定用戶當前的狀況表區(qū)開始處理應(yīng)用的應(yīng)用處理功能。作為應(yīng)用處理功能的例子,下面將描述聲再現(xiàn)應(yīng)用根據(jù)用戶的狀況再現(xiàn)內(nèi)容表區(qū)輸出聲的情況。
[0182]圖25示出用于實現(xiàn)信息處理設(shè)備10的應(yīng)用處理功能的功能框圖。信息處理設(shè)備10包括提供輸入和輸出功能的:顯示設(shè)備12、圖像拾取單元14、耳機16和麥克風20。此夕卜,信息處理設(shè)備10包括運動傳感器50和GPS傳感器52,作為傳感器組。運動傳感器50包括加速度傳感器和傾斜傳感器,并且輸出用于檢測信息處理設(shè)備10的運動或者姿勢的測量值,并且GPS傳感器52輸出代表信息處理設(shè)備10的位置信息的測量值。此外,信息處理設(shè)備10包括用于執(zhí)行各種處理的處理單元80和用于記錄數(shù)據(jù)的記錄單元140。處理單元80具有事件列表創(chuàng)建部分200、穿戴狀態(tài)確定部分210、應(yīng)用執(zhí)行部220和控制部分230。
[0183]盡管實現(xiàn)提到的部件,但是由任意計算機的CPU和存儲器將提到的部件配置為硬件部件,則將程序存儲在存儲器、儲存器等等中。圖25示出各部件合作實現(xiàn)的功能塊。因此,本技術(shù)領(lǐng)域內(nèi)的技術(shù)人員應(yīng)當明白,能夠僅由硬件、僅由軟件或者由硬件和軟件的組合的各種方式實現(xiàn)功能塊。請注意,對圖3中所示的相同功能塊應(yīng)用相同參考符號的功能塊具有上面參考圖3描述的這些功能,并且以相同的方式運行。請注意,可以配置包括圖3和5中所示功能塊的信息處理設(shè)備10。請注意,盡管假定本實施例的信息處理設(shè)備10包括圖3和25中所示的功能塊,但是可以利用終端設(shè)備2以其他方式實現(xiàn)圖和25中所示的一部分功能塊。
[0184]事件列表創(chuàng)建部分200根據(jù)日程安排登記部分150登記到記錄單元140中的日程安排信息創(chuàng)建使時間信息和物理實體圖像信息與事件關(guān)聯(lián)的事件列表,并且將該事件列表記錄在記錄單元140中。更詳細地說,事件列表創(chuàng)建部分200由在日程安排表148中設(shè)置的時間信息獲得事件列表的時間信息,從而創(chuàng)建事件列表。
[0185]在此,描述日程安排表與事件列表之間的區(qū)別。日程安排表表不用戶在一天中的行為(事件)日程安排,并且對每個事件設(shè)置的開始時間和結(jié)束時間指出執(zhí)行該時間的時間段。因此,在日程安排表中,對事件設(shè)置的時間段在時間上不互相重疊,并且在在先事件的結(jié)束時間的同時或者之后,設(shè)置后續(xù)事件的開始時間。
[0186]同時,創(chuàng)建事件列表,以根據(jù)日程安排表確定用戶的狀況,并且為了提高確定用戶狀況的準確性,設(shè)置在日程安排表中對每個事件設(shè)置的時間段,從而擴大。在圖23中所示的日程安排表148中,安排用戶在7:00與8:00之間執(zhí)行醒來事件,并且然后,在8:00與9:00之間執(zhí)行去工作事件。然而,實際上,用戶可以在7:00之前醒來,并且可以在8:00之前去工作。這樣,盡管日程安排表148不出一天的日常行為,但是日程安排表148應(yīng)用于每日行為,則用戶有時執(zhí)行的行為偏離日程安排表148的行為。
[0187]因此,創(chuàng)建事件列表,使得日程安排表148中的每個事件的時間段擴大,從而能夠掌握在偏離日程安排表148的時間段的時間段中行為,使得能夠與高準確性確定用戶的狀況。圖26示出事件列表的示意圖。在日程安排表148中,上段指出事件和事件的時間段,并且下面的狀態(tài)指出擴大事件的時間段的方式。例如,關(guān)于醒來事件,盡管日程安排表148的醒來事件安排在從7:00至8:00的時間段內(nèi),但是將事件列表中的醒來事件擴大到從5:00至8:00的時間段。請注意,在事件列表中,將包括日程安排信息中的至少一個事件時間段的時間段設(shè)置為與事件關(guān)聯(lián)的時間段。請注意,僅需要事件列表的時間信息包括日程安排信息中的事件的時間段,并且該時間信息可以與日程安排信息中的事件的時間段相同。
[0188]事件列表創(chuàng)建部分200根據(jù)日程安排表148中登記的日程安排信息創(chuàng)建事件列表152,并且將該事件列表152記錄在記錄單元140中。如上所述,事件列表創(chuàng)建部分200將至少包括登記的日程安排信息中的每個事件的時間段的時間段設(shè)置為與事件關(guān)聯(lián)的時間?目息O
[0189]圖27示出事件列表152的例子。在該事件列表152中,以與每個事件的關(guān)聯(lián)關(guān)系描述了事件順序號、指出可能開始時間和可能結(jié)束時間的時間信息以及物理實體圖像信息。盡管將這里的物理實體圖像信息表示為圖像文件的路徑信息,但是也可以是物理實體圖像的圖像文件名或者是物理實體圖像的特征量。物理實體圖像信息是當與包括在拾取圖像中的圖像比較時使用的信息,并且尤其用于確定與事件關(guān)聯(lián)的圖像是否包括在圖像拾取單元14拾取的拾取圖像中。
[0190]請注意,作為事件順序號,事件列表創(chuàng)建部分200對每個事件設(shè)置與事件具有關(guān)聯(lián)關(guān)系的事件的生成順序號。將事件順序號設(shè)置得與日程安排表148中的事件的排列順序號相同,并且以降序?qū)σ詰?yīng)用了 “I”的醒來事件開始的每個事件應(yīng)用編號,如圖27所示。
[0191]事件列表創(chuàng)建部分200將日程安排信息中的開始時間和結(jié)束時間定義的時間段變更為由可能開始時間和可能結(jié)束時間定義的時間段。如上所述,擴大事件列表152中的每個事件的時間段,以至少包括日程安排表148中的事件的時間段。
[0192]事件列表創(chuàng)建部分200根據(jù)事件順序號確定每個事件的可能開始時間。在此,將后續(xù)事件的,即,設(shè)置較高事件順序號的事件的可能開始時間設(shè)置得晚于在先事件的,即,設(shè)置較低事件順序號的事件的可能開始時間。但是后續(xù)事件的可能開始時間可以與在先事件的可能開始時間相同,不必早于在先事件的可能開始時間。同樣,可以將后續(xù)事件的可能結(jié)束時間設(shè)置到晚于在先事件的可能結(jié)束時間。但是后續(xù)事件的可能結(jié)束時間可以與在先事件的可能結(jié)束時間相同,不必早于在先事件的可能結(jié)束時間。事件列表創(chuàng)建部分200以這種方式創(chuàng)建事件列表。請注意,用戶可以手動修改創(chuàng)建的事件列表。
[0193]穿戴狀態(tài)確定部分210根據(jù)來自運動傳感器50的測量信息確定信息處理設(shè)備10的穿戴狀態(tài)。如果用戶穿戴有信息處理設(shè)備10,則運動傳感器50將表示信息處理設(shè)備10運行的測量信息送到與用戶的運動處于互鎖關(guān)系的穿戴狀態(tài)確定部分210。相反,如果用戶摘下信息處理設(shè)備10并且將信息處理設(shè)備10放置在例如桌子上,則運動傳感器50將表示信息處理設(shè)備10未運行的測量信息送到穿戴狀態(tài)確定部分210。例如,如果來自運動傳感器50的測量信息在預(yù)定時段(例如,3分鐘)未發(fā)生變化,則穿戴狀態(tài)確定部分210確定信息處理設(shè)備10被摘下,但是如果測量信息在預(yù)定時段內(nèi)發(fā)生變化,則穿戴狀態(tài)確定部分210確定信息處理設(shè)備10被穿戴。
[0194]下面將描述信息處理設(shè)備10的應(yīng)用處理功能。在事件列表創(chuàng)建部分200創(chuàng)建使時間信息和物理實體圖像信息與事件關(guān)聯(lián)的事件列表152并且將其記錄在記錄單元140中的狀態(tài)下,執(zhí)行該應(yīng)用處理功能。請注意,盡管事件列表創(chuàng)建部分200根據(jù)例如信息處理設(shè)備10創(chuàng)建的日程安排表148創(chuàng)建事件列表152,但是日程安排表148可以由不同的設(shè)備創(chuàng)建,并且事件列表創(chuàng)建部分200可以根據(jù)不同設(shè)備創(chuàng)建的日程安排表148創(chuàng)建事件列表。
[0195]如果用戶開啟信息處理設(shè)備10并且將信息處理設(shè)備10穿戴在自己身上,則圖像拾取單元14周期性地拾取真實空間的圖像,并且將拾取圖像送到控制部分230??刂撇糠?30獲取拾取圖像,并且參考事件列表152確定是否滿足事件開始條件。然后,如果確定滿足事件開始條件,則控制部分230指示應(yīng)用執(zhí)行部220執(zhí)行該應(yīng)用的處理。根據(jù)該指令,應(yīng)用執(zhí)行部220開始處理與滿足開始條件的事件關(guān)聯(lián)的應(yīng)用。
[0196]為了實現(xiàn)應(yīng)用處理功能,控制部分230包括:候選對象提取部232、圖像處理部234、條件確定部236和開始指令部238。在此,候選對象提取部232從內(nèi)部或者外部獲取當前時間信息,并且指定位于包括當前時間信息的可能開始時間與可能結(jié)束時間之間的事件。例如,如果當前時間信息是7:30,則候選對象提取部232提取事件順序號I的醒來事件、事件順序號2的去工作事件以及事件順序號3的工作事件。提取的事件是在7:30的時間點能夠滿足開始條件的事件候選對象。
[0197]圖像處理部234確定與候選對象提取部232提取的事件關(guān)聯(lián)的圖像是否包括在圖像拾取單元14拾取的拾取圖像中。這對應(yīng)于圖像處理部234確定對應(yīng)于物理實體圖像信息的圖像是否包括在在事件列表152中的時間信息指定的時間段內(nèi)拾取的拾取圖像中的過程。特別是,確定對應(yīng)于分別與醒來事件、去工作事件和工作事件關(guān)聯(lián)的物理實體圖像信息的圖像是否包括在7:30的時間的點拾取圖像中。請注意,通過得出對應(yīng)于物理實體圖像信息的圖像的特征量與包括在拾取圖像中的圖像的特征量之間的一致性程度,執(zhí)行確定對應(yīng)于物理實體圖像信息的圖像是否包括在拾取圖像中的過程。如果特征量互相完全一致,則圖像互相相同,并且如果一致性程度非常高,圖像互相類似。如果圖像處理部234確定對應(yīng)于物理實體圖像信息的圖像包括在拾取圖像中,則條件確定部236判定滿足事件開始條件。
[0198]通過以與事件列表152中的事件相關(guān)聯(lián)關(guān)系方式記錄多個物理實體圖像的物理實體圖像信息,能夠增強滿足事件的開始條件的概率。例如,在以與醒來事件相關(guān)聯(lián)關(guān)系方式記錄時鐘和桌子的物理實體圖像信息的情況下,如果圖像處理部234確定時鐘的或者桌子的圖像包括在拾取圖像中,則條件確定部236能夠確定滿足醒來事件的開始條件。通過使多個物理實體圖像的物理實體圖像信息與事件關(guān)聯(lián),能夠準確確定滿足事件的開始條件。如果條件確定部236確定滿足醒來事件的開始條件,則開始指令部238指令應(yīng)用執(zhí)行部220執(zhí)行該應(yīng)用的處理,并且將滿足開始條件的事件名稱通知應(yīng)用執(zhí)行部220。應(yīng)用執(zhí)行部220開始處理對應(yīng)于滿足開始條件的事件的應(yīng)用。
[0199]圖28示出使事件和內(nèi)容互相關(guān)聯(lián)的內(nèi)容表。將內(nèi)容表154記錄在記錄單元140中,并且應(yīng)用執(zhí)行部220根據(jù)內(nèi)容表154再現(xiàn)與從開始指令部238傳遞的事件關(guān)聯(lián)的內(nèi)容,并且由耳機16輸出再現(xiàn)內(nèi)容。盡管在內(nèi)容表154中事件與再現(xiàn)內(nèi)容的類型互相關(guān)聯(lián),但是實際上可以描述記錄單元140中的內(nèi)容播放表的儲存地址、內(nèi)容服務(wù)器4的URL等等。應(yīng)用執(zhí)行部220再現(xiàn)與滿足開始條件的事件關(guān)聯(lián)的內(nèi)容。
[0200]盡管在圖28所示的例子中,示出了本技術(shù)領(lǐng)域內(nèi)的技術(shù)人員事先創(chuàng)建的內(nèi)容表154,但是內(nèi)容表154可以由用戶創(chuàng)建,使內(nèi)容與事件關(guān)聯(lián)。因此,在事件列表152中未設(shè)置的充實課程事件、鍛煉事件等包括在內(nèi)容表154中。然而,用戶可以適當編輯內(nèi)容表154,以根據(jù)其口味對事件分配內(nèi)容。
[0201]請注意,如圖28所示,沒有內(nèi)容與幾個事件關(guān)聯(lián)。在此,沒有內(nèi)容與工作事件、充實課程事件以及沐浴事件關(guān)聯(lián),并且這說明在這些事件中,應(yīng)用