專(zhuān)利名稱：對(duì)象控制裝置、對(duì)象控制方法、對(duì)象控制程序以及集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明對(duì)在虛擬現(xiàn)實(shí)空間中虛擬顯示的虛擬對(duì)象的顯示進(jìn)行控制，尤其是，本發(fā)明在將虛擬對(duì)象與現(xiàn)實(shí)空間的現(xiàn)實(shí)對(duì)象重疊起來(lái)進(jìn)行顯示時(shí)，提高狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象的辨認(rèn)性。
背景技術(shù)：
以往，在通過(guò)利用頭戴式顯示器等而實(shí)現(xiàn)的虛擬現(xiàn)實(shí)空間中，使虛擬顯示的對(duì)象(以下，記述為虛擬對(duì)象)與存在于現(xiàn)實(shí)空間的對(duì)象(以下，記述為現(xiàn)實(shí)對(duì)象)重疊進(jìn)行顯 示。在這種狀況下，當(dāng)用戶要對(duì)現(xiàn)實(shí)對(duì)象進(jìn)行某些行動(dòng)時(shí)，有時(shí)在用戶看來(lái)，現(xiàn)實(shí)對(duì)象的視野被顯示在現(xiàn)實(shí)對(duì)象的前側(cè)的虛擬對(duì)象所遮擋，用戶無(wú)法辨認(rèn)現(xiàn)實(shí)對(duì)象。圖18、圖19是表示在虛擬現(xiàn)實(shí)空間現(xiàn)實(shí)對(duì)象和虛擬對(duì)象被重疊加以顯示的例子的圖。在圖18中，從用戶A201來(lái)看，具有多個(gè)虛擬對(duì)象的虛擬對(duì)象組A202在現(xiàn)實(shí)對(duì)象即移動(dòng)電話A203的前側(cè)以重疊的狀態(tài)被顯示。此外，虛擬對(duì)象組A202是透明或不透明的虛擬對(duì)象聚集而成。在圖19中，從用戶B211來(lái)看，與圖18同樣，虛擬對(duì)象組B212在移動(dòng)電話B213的前側(cè)重疊而被顯示。圖18示出移動(dòng)電話A203收到了語(yǔ)音電話的情況，圖19示出移動(dòng)電話收到了電子短信的情況。圖18與圖19的不同點(diǎn)在于，在用戶判斷了移動(dòng)電話收到了什么之后用戶采取的行動(dòng)不同。在圖18中，移動(dòng)電話A203收到了語(yǔ)音電話，因此用戶A201采取向移動(dòng)電話A203伸手這一行動(dòng)。S卩，在移動(dòng)電話A203收到了語(yǔ)音通話時(shí)，需要立刻拿起移動(dòng)電話A203，因此用戶A201采取伸手這一行動(dòng)。在這種情況下，若虛擬對(duì)象組A202顯示于移動(dòng)電話A203的前側(cè)，則移動(dòng)電話A203被虛擬對(duì)象組A202遮住，存在用戶A201無(wú)法容易拿起移動(dòng)電話A203這ー問(wèn)題。因此，在這種情況下，若使虛擬對(duì)象組A202不顯示，則用戶能夠容易拿起移動(dòng)電話A203。另ー方面，在圖19中，移動(dòng)電話B213收到了短信，因此用戶B211采取把頭轉(zhuǎn)向移動(dòng)電話B213這一行動(dòng)。S卩，在移動(dòng)電話B213收到了短信時(shí)，無(wú)需立刻拿起移動(dòng)電話B213，因此用戶B211采取僅把頭轉(zhuǎn)向移動(dòng)電話A203的行動(dòng)，并不進(jìn)行像收到了語(yǔ)音電話時(shí)那樣拿起移動(dòng)電話B213的行動(dòng)。在這種情況下，用戶B211無(wú)需拿起移動(dòng)電話B213，因此即使在移動(dòng)電話B213的前側(cè)顯示有虛擬對(duì)象組B212，對(duì)于用戶B211而言也沒(méi)有問(wèn)題。并且，若保持顯示虛擬對(duì)象組B212的狀態(tài)，則能夠給用戶B211帶來(lái)擴(kuò)展現(xiàn)實(shí)空間特有的臨場(chǎng)感。這樣，根據(jù)現(xiàn)實(shí)對(duì)象的狀態(tài)和用戶對(duì)該狀態(tài)采取的行動(dòng)，存在使虛擬對(duì)象組A202、B212不顯示為好的情況和顯示虛擬對(duì)象組A202、B212為好的情況。利用虛擬現(xiàn)實(shí)空間的技術(shù)利用于醫(yī)療等。例如，在專(zhuān)利文獻(xiàn)I中，公開(kāi)了如下圖像處理裝置在將手術(shù)的對(duì)象部位顯示于虛擬現(xiàn)實(shí)空間的圖像處理裝置中，使包含在用戶的視點(diǎn)與對(duì)象部位之間存在的視野確保區(qū)域中的部位作為障礙物而不顯示，并通知用戶使障礙物不顯示的情況。根據(jù)該技術(shù)，用戶在明確對(duì)象區(qū)域與障礙物的位置關(guān)系的同時(shí)，能夠容易觀察對(duì)象部位。但是，在專(zhuān)利文獻(xiàn)I中，作為觀察對(duì)象而想要始終顯示的對(duì)象部位被預(yù)先決定，無(wú)論用戶是否進(jìn)行觸摸對(duì)象部位等的行動(dòng)，全部障礙物一律不顯示。因此，在專(zhuān)利文獻(xiàn)I中，存在若現(xiàn)實(shí)對(duì)象的狀態(tài)發(fā)生變化，無(wú)法根據(jù)按用戶的意思產(chǎn)生的行動(dòng)進(jìn)行顯示或不顯示障礙物的切換這ー問(wèn)題。因此，即使將專(zhuān)利文獻(xiàn)I的技術(shù)應(yīng)用于顯示虛擬對(duì)象的擴(kuò)展現(xiàn)實(shí)空間，也無(wú)法給用戶帶來(lái)擴(kuò)展現(xiàn)實(shí)空間的臨場(chǎng)感，并且無(wú)法提高現(xiàn)實(shí)對(duì)象的辨認(rèn)性。專(zhuān)利文獻(xiàn)I :日本專(zhuān)利公開(kāi)公報(bào)特開(kāi)2008-029694號(hào)

發(fā)明內(nèi)容
本發(fā)明的目的在于提供ー種對(duì)象控制裝置等，所述對(duì)象控制裝置能夠給用戶帶來(lái)擴(kuò)展現(xiàn)實(shí)空間的臨場(chǎng)感并且使用戶針對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象容易采取行動(dòng)。本發(fā)明的對(duì)象控制裝置，是在虛擬現(xiàn)實(shí)空間進(jìn)行虛擬對(duì)象的顯示控制的對(duì)象控制 裝置，包括用戶動(dòng)作檢測(cè)部，檢測(cè)用戶的動(dòng)作；用戶動(dòng)作通知部，通知表示由所述用戶動(dòng)作檢測(cè)部檢測(cè)到的用戶動(dòng)作的用戶動(dòng)作信息；現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部，檢測(cè)存在于所述虛擬現(xiàn)實(shí)空間的現(xiàn)實(shí)對(duì)象的狀態(tài)變化；現(xiàn)實(shí)對(duì)象狀態(tài)通知部，通知表示由所述現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部檢測(cè)到的所述現(xiàn)實(shí)對(duì)象的狀態(tài)變化的狀態(tài)變化信息；狀態(tài)通信部，通知從所述用戶動(dòng)作通知部通知的用戶動(dòng)作信息和從所述現(xiàn)實(shí)對(duì)象狀態(tài)通知部通知的狀態(tài)變化信息；虛擬對(duì)象顯示判斷部，基于從所述狀態(tài)通信部通知的用戶動(dòng)作信息和狀態(tài)變化信息，判斷是否變更所述虛擬對(duì)象的顯示方式以使?fàn)顟B(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象露出生成部，基于所述虛擬對(duì)象顯示判斷部的判斷結(jié)果，生成對(duì)用戶提示的UI (用戶界面)；以及UI顯示部，顯示由所述n生成部生成的n。-另外，本發(fā)明的對(duì)象控制方法，對(duì)象控制程序以及集成電路具有與上述對(duì)象控制裝置同樣的結(jié)構(gòu)。


圖I是本發(fā)明實(shí)施方式的對(duì)象控制裝置的功能框圖。圖2的(A)、⑶是本發(fā)明實(shí)施方式的對(duì)象控制裝置根據(jù)用戶的動(dòng)作使虛擬對(duì)象不顯示時(shí)的處理的說(shuō)明圖。圖3的(A)、⑶是本發(fā)明實(shí)施方式的對(duì)象控制裝置根據(jù)用戶的動(dòng)作維持虛擬對(duì)象的顯示時(shí)的說(shuō)明圖。圖4的(A)、(B)是從上側(cè)觀看圖2(A)、⑶時(shí)的圖。圖5的⑷、⑶是從上側(cè)觀看圖3⑷、⑶時(shí)的圖。圖6是表示現(xiàn)實(shí)對(duì)象顯示判斷信息的一例的圖。 圖7是表示現(xiàn)實(shí)對(duì)象屬性信息的一例的圖。圖8是表示本發(fā)明實(shí)施方式的對(duì)象控制裝置的動(dòng)作的流程圖。圖9是表示近似動(dòng)作信息的一例的圖。圖10是表示保持?jǐn)U展視野區(qū)域的屬性時(shí)的現(xiàn)實(shí)對(duì)象屬性信息的一例的圖。圖11的(A)、(B)是本發(fā)明實(shí)施方式的對(duì)象控制裝置在設(shè)定了擴(kuò)展視野區(qū)域時(shí)根據(jù)用戶的動(dòng)作使虛擬對(duì)象不顯示時(shí)的處理的說(shuō)明圖。
圖12的(A)、⑶是從上側(cè)觀看圖11 (A)、⑶時(shí)的圖。圖13是從上側(cè)觀看到的用戶的手的活動(dòng)的圖。圖14是從上側(cè)觀看到的根據(jù)用戶的手的朝向設(shè)定了擴(kuò)展視野區(qū)域時(shí)的擴(kuò)展視野區(qū)域的圖。圖15是表示本發(fā)明實(shí)施方式的對(duì)象控制裝置的硬件結(jié)構(gòu)的框圖。圖16是從側(cè)面?zhèn)扔^看到的視野區(qū)域的圖。圖17是從側(cè)面?zhèn)扔^看到的擴(kuò)展視野區(qū)域的圖。圖18是表示在虛擬現(xiàn)實(shí)空間重疊顯示有現(xiàn)實(shí)對(duì)象和虛擬對(duì)象的例子的圖。

圖19是表示在虛擬現(xiàn)實(shí)空間重疊顯示有現(xiàn)實(shí)對(duì)象和虛擬對(duì)象的例子的圖。
具體實(shí)施例方式以下，參照

本發(fā)明實(shí)施方式的對(duì)象控制裝置。(概略)首先，說(shuō)明本發(fā)明實(shí)施方式的對(duì)象控制裝置的概略。在本實(shí)施方式中，假設(shè)對(duì)象控制裝置應(yīng)用于用戶所佩戴的頭戴式顯示器。因此，在現(xiàn)實(shí)空間的影像上重疊有虛擬對(duì)象的虛擬現(xiàn)實(shí)空間的影像被顯示在顯示器上，用戶ー邊觀看該虛擬現(xiàn)實(shí)空間的影像ー邊識(shí)別現(xiàn)實(shí)空間的物體。以下，用圖2至圖5說(shuō)明本實(shí)施方式的對(duì)象控制裝置的概要。圖2的(A)、(B)是本發(fā)明實(shí)施方式的對(duì)象控制裝置根據(jù)用戶的動(dòng)作使虛擬對(duì)象不顯示時(shí)的處理的說(shuō)明圖。圖2(A)示出用戶進(jìn)行伸手的動(dòng)作時(shí)用戶觀看到的虛擬現(xiàn)實(shí)空間，圖2(B)示出用戶進(jìn)行伸手的動(dòng)作后用戶觀看到的虛擬現(xiàn)實(shí)空間。在圖2(A)的例子中，用戶201出干“移動(dòng)電話203收到了語(yǔ)音通話，所以必須趕緊拿起”這ー意思而進(jìn)行伸手的動(dòng)作(行動(dòng))。在這種情況下，由于虛擬對(duì)象組202顯示在移動(dòng)電話203的前側(cè)，因此成為用戶201進(jìn)行拿起移動(dòng)電話203的動(dòng)作時(shí)的妨礙。圖3的(A)、(B)是本發(fā)明實(shí)施方式的對(duì)象控制裝置根據(jù)用戶的動(dòng)作維持虛擬對(duì)象的顯示時(shí)的說(shuō)明圖。圖3(A)示出用戶201進(jìn)行轉(zhuǎn)頭的動(dòng)作時(shí)用戶觀看到的虛擬現(xiàn)實(shí)空間，圖3(B)示出用戶201進(jìn)行轉(zhuǎn)頭的動(dòng)作后用戶觀看到的虛擬現(xiàn)實(shí)空間。在圖3(A)的例子中，用戶201出于想要確認(rèn)移動(dòng)電話203收到短信這ー情況的意思而將頭轉(zhuǎn)向移動(dòng)電話203。在移動(dòng)電話203接收到短信時(shí)，用戶201無(wú)需立刻確認(rèn)短信的內(nèi)容。因此，顯示在移動(dòng)電話203前側(cè)的虛擬對(duì)象組202對(duì)于用戶201而言未成為妨礙的存在。S卩，在圖2(A)的例子中，使重疊于移動(dòng)電話203的虛擬對(duì)象組204不顯示對(duì)于用戶201而言是適合的。另外，在圖3(A)的例子中，維持與移動(dòng)電話203重疊的虛擬對(duì)象組204的顯示，能夠給用戶201帶來(lái)存在于虛擬現(xiàn)實(shí)空間的臨場(chǎng)感，因此是較為理想的。為此，在本實(shí)施方式中，在如圖2(A)那樣用戶201需要對(duì)移動(dòng)電話203進(jìn)行某些動(dòng)作時(shí)，如圖2(B)所示那樣使重疊于移動(dòng)電話203的虛擬對(duì)象組204不顯示。另ー方面，在如圖3(A)那樣用戶201無(wú)需對(duì)移動(dòng)電話203進(jìn)行某些動(dòng)作時(shí)，如圖3(B)所示那樣維持重疊于移動(dòng)電話203的虛擬對(duì)象組204的顯示。圖4的⑷、⑶是從上側(cè)觀看圖2 (A)、(B)時(shí)的圖。在圖4的⑷、⑶中以虛線包圍的梯形狀的區(qū)域是虛擬對(duì)象遮擋移動(dòng)電話203的用戶201的視野區(qū)域205。可知，從俯視來(lái)看視野區(qū)域205呈從用戶201向移動(dòng)電話203擴(kuò)展的梯形形狀。在圖4(A)中，由于虛擬對(duì)象組202中的虛擬對(duì)象202_1、202_2的一部分存在于視野區(qū)域205內(nèi)，因此遮擋用戶201觀看移動(dòng)電話203時(shí)的視野。為此，在本實(shí)施方式中，如圖4(B)所示，使虛擬對(duì)象202_1、202_2不顯示。此外，在圖4的(A)、(B)中，視野區(qū)域205被平面地顯示，但從側(cè)面觀看時(shí)也以從用戶201向移動(dòng)電話203擴(kuò)展的方式存在，實(shí)際上是立體的區(qū)域。圖16是從側(cè)面?zhèn)?X方向側(cè))觀看到的視野區(qū)域205的圖。如圖16所示可知，在側(cè)視時(shí)，視野區(qū)域205具有從用戶201向移動(dòng)電話203以三角形狀擴(kuò)展的形狀。即，視野區(qū)域205具有從用戶201向移動(dòng)電話203截面積逐漸増大的形狀。因此，視野區(qū)域205成為模擬用戶201觀看移動(dòng)電話203時(shí)用戶201的視野的區(qū)域。圖5的(A)、⑶是從上側(cè)觀看圖3 (A)、(B)時(shí)圖。在圖5 (A)中，雖然遮擋移動(dòng)電話203的虛擬對(duì)象202_1、202_2的一部分包含在視野區(qū)域205，但如圖5(B)所示并未設(shè)為不顯示。本實(shí)施方式的對(duì)象控制裝置實(shí)現(xiàn)如上的處理。 為了實(shí)現(xiàn)以上的處理，本實(shí)施方式的對(duì)象控制裝置在現(xiàn)實(shí)對(duì)象的狀態(tài)發(fā)生了變化時(shí)，根據(jù)用戶進(jìn)行的動(dòng)作和現(xiàn)實(shí)對(duì)象的狀態(tài)變化判斷是否使遮擋狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象的視野的虛擬對(duì)象不顯示。具體而言，本對(duì)象控制裝置根據(jù)優(yōu)先度與用戶的各種動(dòng)作預(yù)先被對(duì)應(yīng)起來(lái)的對(duì)象顯示判斷信息，確定與用戶進(jìn)行的動(dòng)作相對(duì)應(yīng)的優(yōu)先度。另外，根據(jù)優(yōu)先度與現(xiàn)實(shí)對(duì)象的各種狀態(tài)預(yù)先被對(duì)應(yīng)起來(lái)的對(duì)象屬性信息，確定與狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象的狀態(tài)相對(duì)應(yīng)的優(yōu)先度。并且，通過(guò)比較確定的兩個(gè)優(yōu)先度，判斷是否使與狀態(tài)發(fā)生了變化的虛擬對(duì)象重疊而被顯示的虛擬對(duì)象不顯示。(功能結(jié)構(gòu))接著，說(shuō)明本發(fā)明實(shí)施方式的對(duì)象控制裝置的功能結(jié)構(gòu)。圖I是本發(fā)明實(shí)施方式的對(duì)象控制裝置100的功能框圖。對(duì)象控制裝置100包括用戶動(dòng)作檢測(cè)部101、用戶動(dòng)作通知部102、現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103、現(xiàn)實(shí)對(duì)象狀態(tài)通知部104、狀態(tài)通信部105、虛擬對(duì)象顯示判斷部106、現(xiàn)實(shí)對(duì)象信息管理部109、虛擬對(duì)象信息管理部110、用戶信息管理部111、UI (用戶界面)生成部112、UI顯示部113以及用戶位置檢測(cè)部114。用戶動(dòng)作檢測(cè)部101例如由如Kinect(注冊(cè)商標(biāo))這樣的非接觸動(dòng)作傳感器(non-contact motion sensor)構(gòu)成,檢測(cè)用戶的動(dòng)作。在此，動(dòng)作傳感器例如具備拍攝部和處理部，被配置在用戶的周?chē)?。拍攝部例如包括紅外線照射元件、紅外照相機(jī)以及RGB照相機(jī)，對(duì)用戶照射紅外光，以指定的幀頻拍攝用戶的距離圖像。在此，距離圖像是除了包含R、G、B的彩色圖像成分以外還包含深度(進(jìn)深)成分的圖像。處理部利用預(yù)先存儲(chǔ)的學(xué)習(xí)數(shù)據(jù)從距離圖像提取構(gòu)成人體的特征部位，連接提取到的部位而生成人體的骨骼(骨架)，并檢測(cè)骨架的動(dòng)作。并且，處理部在骨架的動(dòng)作與預(yù)先確定的動(dòng)作模式一致時(shí)，判斷檢測(cè)到用戶的動(dòng)作。在此，作為預(yù)先確定的動(dòng)作模式，有“歪頭”，“轉(zhuǎn)身”，“伸手”等。在本實(shí)施方式中，用戶動(dòng)作檢測(cè)部101在從虛擬對(duì)象顯示判斷部106發(fā)出動(dòng)作檢測(cè)請(qǐng)求時(shí)，通過(guò)判斷骨架的動(dòng)作符合預(yù)先確定的動(dòng)作模式中的哪個(gè)動(dòng)作模式來(lái)檢測(cè)用戶的動(dòng)作。用戶動(dòng)作通知部102向狀態(tài)通信部105通知表示由用戶動(dòng)作檢測(cè)部101檢測(cè)到的用戶動(dòng)作的用戶動(dòng)作信息。具體而言，用戶動(dòng)作通知部102在由虛擬對(duì)象顯示判斷部106發(fā)出動(dòng)作檢測(cè)請(qǐng)求吋，向用戶動(dòng)作檢測(cè)部101通知該動(dòng)作檢測(cè)請(qǐng)求，讓用戶動(dòng)作檢測(cè)部101檢測(cè)用戶動(dòng)作。并且，用戶動(dòng)作通知部102將從用戶動(dòng)作檢測(cè)部101通知的用戶動(dòng)作信息交付至狀態(tài)通信部105。在此，用戶動(dòng)作信息中記述由用戶動(dòng)作檢測(cè)部101檢測(cè)到的用戶動(dòng)作(上述的“歪頭”等)。此外，在用戶動(dòng)作檢測(cè)部101無(wú)法檢測(cè)到用戶動(dòng)作時(shí)，用戶動(dòng)作信息中記述為“什么都不做”?，F(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103例如包括能夠檢測(cè)存在于用戶周?chē)奈矬w(現(xiàn)實(shí)對(duì)象)的狀態(tài)變化的狀態(tài)檢測(cè)傳感器，檢測(cè)現(xiàn)實(shí)對(duì)象的狀態(tài)變化。在此，狀態(tài)檢測(cè)傳感器例如被安裝于頭戴式顯示器上，包括深度傳感器、麥克風(fēng)以及處理部。深度傳感器包括紅外線發(fā)光元件、紅外線照相機(jī)以及RGB照相機(jī)，例如以指定的幀頻拍攝包含位于用戶視野前方的現(xiàn)實(shí)對(duì)象的距離圖像。麥克風(fēng)檢測(cè)用戶周?chē)穆曇?。處理部例如提取包含在距離圖像中的各現(xiàn)實(shí)對(duì)象的形狀模式，判斷提取到的形狀模式符合預(yù)先確定的現(xiàn)實(shí)對(duì)象的每ー種類(lèi)的形狀模式中的哪個(gè)形狀模式，從而識(shí)別各現(xiàn)實(shí)對(duì)象。在此，作為現(xiàn)實(shí)對(duì)象的種類(lèi)，例如有移動(dòng)電話、個(gè)人電腦、智能手機(jī)、平板終端、電視機(jī)以及DVD刻錄機(jī)等數(shù)字家電設(shè)備，或爐子、電燈、電冰箱、洗 衣機(jī)以及微波爐等家電設(shè)備。并且，處理部利用各幀的距離圖像以及從麥克風(fēng)輸出的聲音信號(hào)，監(jiān)視識(shí)別出的現(xiàn)實(shí)對(duì)象的狀態(tài)是否發(fā)生了變化。例如，在處理部識(shí)別出移動(dòng)電話作為現(xiàn)實(shí)對(duì)象，并且通過(guò)麥克風(fēng)檢測(cè)到表示移動(dòng)電話的來(lái)電音的聲音時(shí)，判斷移動(dòng)電話的狀態(tài)發(fā)生了變化，對(duì)現(xiàn)實(shí)對(duì)象狀態(tài)通知部104通知狀態(tài)變化信息。在此，若為移動(dòng)電話，則狀態(tài)變化信息例如記述“聲音響起”、“聲音停止”等信息。另外，在識(shí)別出爐子作為現(xiàn)實(shí)對(duì)象，并且通過(guò)麥克風(fēng)檢測(cè)到表示鍋煮開(kāi)溢出的聲音吋，判斷爐子的狀態(tài)發(fā)生了變化。在這種情況下，狀態(tài)變化信息中例如記述“發(fā)生煮開(kāi)溢出”。在上述的說(shuō)明中，現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103監(jiān)視距離圖像和聲音信號(hào)以檢測(cè)現(xiàn)實(shí)對(duì)象的狀態(tài)變化，但本發(fā)明不限定于此。例如，若是爐子的情況下，在距離圖像成為從鍋中溢出液體的狀態(tài)時(shí)，現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103可以判斷爐子的狀態(tài)發(fā)生了變化。另外，當(dāng)在距離圖像中移動(dòng)電話的顯示器的亮度從暗狀態(tài)變?yōu)榱翣顟B(tài)時(shí)，現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103可以判斷移動(dòng)電話的狀態(tài)發(fā)生了變化。在這種情況下，狀態(tài)變化信息中例如記述“顯示器變亮”。另外，在數(shù)字家電設(shè)備中，有時(shí)管理數(shù)字家電設(shè)備的因特網(wǎng)上的服務(wù)器對(duì)數(shù)字家電設(shè)備發(fā)送軟件，進(jìn)行軟件的版本升級(jí)。在這種情況下，可以讓服務(wù)器通知軟件的版本升級(jí)通知，并使現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103檢測(cè)數(shù)字家電設(shè)備的狀態(tài)變化。這樣，現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103利用適合識(shí)別出的現(xiàn)實(shí)對(duì)象的種類(lèi)的監(jiān)視方法檢測(cè)現(xiàn)實(shí)對(duì)象的狀態(tài)變化。此外，現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103對(duì)識(shí)別出的各現(xiàn)實(shí)對(duì)象賦予識(shí)別ID，記述與狀態(tài)變化信息相應(yīng)的識(shí)別ID和相應(yīng)的種類(lèi)。通過(guò)這樣，其他的模塊能夠容易地識(shí)別狀態(tài)變化信息與哪個(gè)現(xiàn)實(shí)對(duì)象有夫。并且，現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103在狀態(tài)變化信息中記述現(xiàn)實(shí)對(duì)象的位置數(shù)據(jù)以及尺寸數(shù)據(jù)。通過(guò)這樣，其他的模塊能夠容易地識(shí)別狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象的位置以及尺寸。在此，作為位置數(shù)據(jù)，例如能夠采用虛擬現(xiàn)實(shí)空間中的現(xiàn)實(shí)對(duì)象的重心的位置。在本實(shí)施方式中，構(gòu)成現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103的深度傳感器安裝于用戶佩戴的頭戴式顯示器。因此，虛擬現(xiàn)實(shí)空間由設(shè)深度傳感器的位置為原點(diǎn)、以深度傳感器的水平方向?yàn)閄軸、以深度傳感器的垂直方向?yàn)閥軸、以與深度傳感器的受光面正交的進(jìn)深方向?yàn)閦軸的正交的三軸規(guī)定。因此，現(xiàn)實(shí)對(duì)象的位置數(shù)據(jù)采用包含在距離圖像中的現(xiàn)實(shí)對(duì)象的重心位置的X軸、y軸以及z軸的值。另外，原點(diǎn)表示用戶的當(dāng)前位置。以下，將以用戶的當(dāng)前位置為原點(diǎn)時(shí)的虛擬現(xiàn)實(shí)空間表示為局部坐標(biāo)系(local coordinate system),將以虛擬現(xiàn)實(shí)空間的某個(gè)地點(diǎn)為基準(zhǔn)時(shí)的虛擬現(xiàn)實(shí)空間表示為全局坐標(biāo)系(global coordinate system)。此夕卜，全局坐標(biāo)系也由正交的三軸規(guī)定。在此，全局坐標(biāo)系的正交的三軸分別規(guī)定例如緯度、經(jīng)度、高度。另外，作為現(xiàn)實(shí)對(duì)象的尺寸，例如，在距離圖像中，應(yīng)用與現(xiàn)實(shí)對(duì)象外接的立方體，采用該立方體的六個(gè)頂點(diǎn)的位置數(shù)據(jù)?，F(xiàn)實(shí)對(duì)象狀態(tài)通知部104向狀態(tài)通信部105通知從現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103通知的狀態(tài)變化信息。 狀態(tài)通信部105向虛擬對(duì)象顯示判斷部106通知從用戶動(dòng)作通知部102通知的用戶動(dòng)作信息和從現(xiàn)實(shí)對(duì)象狀態(tài)通知部104通知的狀態(tài)變化信息。虛擬對(duì)象顯示判斷部106基于從狀態(tài)通信部105通知的用戶動(dòng)作信息和狀態(tài)變化信息，判斷是否變更虛擬對(duì)象的顯示方式以便使?fàn)顟B(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象露出。在此，作為顯示方式的變更，例如采用使虛擬對(duì)象不顯示的方式。此外，這是一例，作為顯示方式的變更，例如也可以采用錯(cuò)開(kāi)虛擬對(duì)象的顯示位置以使?fàn)顟B(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象露出的方式。具體而言，虛擬對(duì)象顯示判斷部106根據(jù)現(xiàn)實(shí)對(duì)象顯示判斷信息107確定與從狀態(tài)通信部105通知的用戶動(dòng)作信息表示的用戶動(dòng)作相對(duì)應(yīng)的優(yōu)先度，并且根據(jù)現(xiàn)實(shí)對(duì)象屬性信息108確定與從狀態(tài)通信部105通知的狀態(tài)變化信息表示的狀態(tài)變化相對(duì)應(yīng)的優(yōu)先度，通過(guò)比較確定的兩個(gè)優(yōu)先度，判斷是否變更虛擬對(duì)象的顯示方式?，F(xiàn)實(shí)對(duì)象顯示判斷信息107以及現(xiàn)實(shí)對(duì)象屬性信息108存儲(chǔ)在存儲(chǔ)裝置中，由現(xiàn)實(shí)對(duì)象信息管理部109管理。現(xiàn)實(shí)對(duì)象顯示判斷信息107是用戶動(dòng)作和優(yōu)先度對(duì)應(yīng)起來(lái)的信息。圖6是表示現(xiàn)實(shí)對(duì)象顯示判斷信息107的一例的圖?，F(xiàn)實(shí)對(duì)象顯示判斷信息107包括用戶動(dòng)作欄和優(yōu)先度欄。在用戶動(dòng)作欄，存儲(chǔ)有預(yù)先確定的用戶動(dòng)作。在圖6的例中，作為用戶動(dòng)作，采用“什么都不做”、“轉(zhuǎn)頭”、“轉(zhuǎn)身”、“伸手”以及“靠近”。但這是一例，也可以采用其他動(dòng)作。圖6所示的用戶動(dòng)作全部是與用戶的活動(dòng)有關(guān)的動(dòng)作，但本發(fā)明不限定于此，也可以采用用戶發(fā)出的聲音、用戶移動(dòng)物體的動(dòng)作作為用戶動(dòng)作。在優(yōu)先度欄，存儲(chǔ)有對(duì)各用戶動(dòng)作預(yù)先設(shè)定的優(yōu)先度。在圖6的例中，對(duì)各用戶動(dòng)作設(shè)定優(yōu)先度，對(duì)“什么都不做”設(shè)定“ I ”的優(yōu)先度，對(duì)“轉(zhuǎn)頭”設(shè)定“ 2 ”的優(yōu)先度。此外，優(yōu)先度的優(yōu)先順序隨著優(yōu)先度的值的增大而變高。即，規(guī)定優(yōu)先度，以便用戶進(jìn)行優(yōu)選度越高的動(dòng)作則用戶對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作的可能性越高。現(xiàn)實(shí)對(duì)象屬性信息108是狀態(tài)變化和優(yōu)先度對(duì)應(yīng)起來(lái)的信息。圖7是表示現(xiàn)實(shí)對(duì)象屬性信息108的一例的圖。在圖7的例子中，示出了移動(dòng)電話的現(xiàn)實(shí)對(duì)象屬性信息108?，F(xiàn)實(shí)對(duì)象屬性信息108包括示出表示現(xiàn)實(shí)對(duì)象的種類(lèi)的信息的欄、示出現(xiàn)實(shí)對(duì)象的狀態(tài)變化的“狀態(tài)”欄、示出現(xiàn)實(shí)對(duì)象的當(dāng)前位置的“位置”欄、以及示出現(xiàn)實(shí)對(duì)象的大小的“大小”欄。在圖7的例子中，狀態(tài)欄記述為“聲音響起”，作為優(yōu)先度記述“4”，對(duì)“聲音響起”的狀態(tài)變化賦予“4”的優(yōu)先度。優(yōu)先度被賦給按照現(xiàn)實(shí)對(duì)象的狀態(tài)變化的種類(lèi)而預(yù)先賦予的數(shù)值，值越大表示優(yōu)先順序越高。此外，在圖7的例中，僅對(duì)與“聲音響起”這ー種狀態(tài)的變化規(guī)定了優(yōu)先度，但本發(fā)明不限定于此，也可以對(duì)多種狀態(tài)的變化分別預(yù)先設(shè)定優(yōu)先度。作為狀態(tài)變化的其他例子，例如，在為移動(dòng)電話時(shí)，包含“聲音停止”、“顯示器的亮度變亮”、“軟件版本升級(jí)”等。另外，在圖7中，示出了移動(dòng)電話的現(xiàn)實(shí)對(duì)象屬性信息108，但現(xiàn)實(shí)對(duì)象信息管理部109也可以管理其他種類(lèi)的現(xiàn)實(shí)對(duì)象的現(xiàn)實(shí)對(duì)象屬性信息108。
圖7所示的位置欄記載有局部坐標(biāo)系的現(xiàn)實(shí)對(duì)象的位置數(shù)據(jù)，大小欄記載有現(xiàn)實(shí)對(duì)象的尺寸數(shù)據(jù)。該位置數(shù)據(jù)以及尺寸數(shù)據(jù)基于從現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103定期發(fā)送的狀態(tài)監(jiān)視信息而更新。在此，狀態(tài)監(jiān)視信息中，例如包括現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103識(shí)別出的各現(xiàn)實(shí)對(duì)象的識(shí)別ID、各現(xiàn)實(shí)對(duì)象的種類(lèi)、各現(xiàn)實(shí)對(duì)象的位置數(shù)據(jù)及各現(xiàn)實(shí)對(duì)象的尺寸數(shù)據(jù)?，F(xiàn)實(shí)對(duì)象信息管理部109若開(kāi)始接收狀態(tài)監(jiān)視信息，則根據(jù)現(xiàn)實(shí)對(duì)象的種類(lèi)確定同一種類(lèi)的現(xiàn)實(shí)對(duì)象屬性信息108，使確定的現(xiàn)實(shí)對(duì)象屬性信息108附帯識(shí)別ID，生成每個(gè)識(shí)別ID的現(xiàn)實(shí)對(duì)象屬性信息108。并且，現(xiàn)實(shí)對(duì)象信息管理部109每當(dāng)接收狀態(tài)監(jiān)視信息，就以識(shí)別ID為關(guān)鍵字將包含在狀態(tài)監(jiān)視信息中的位置數(shù)據(jù)以及尺寸數(shù)據(jù)寫(xiě)入對(duì)應(yīng)的現(xiàn)實(shí)對(duì)象屬性信息108的位置欄以及大小欄。由此，在現(xiàn)實(shí)對(duì)象屬性信息108的位置欄以及大小欄中寫(xiě)入最新的現(xiàn)實(shí)對(duì)象的位置數(shù)據(jù)以及尺寸數(shù)據(jù)。此外，在與包含在狀態(tài)監(jiān)視信息中的現(xiàn)實(shí)對(duì)象的種類(lèi)為同一種類(lèi)的現(xiàn)實(shí)對(duì)象屬性信息108不存在吋，現(xiàn)實(shí)對(duì)象信息管理部109可以生成僅包括識(shí)別ID、位置數(shù)據(jù)以及尺寸數(shù)據(jù)的現(xiàn)實(shí)對(duì)象屬性信息108。在此，從現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103通過(guò)現(xiàn)實(shí)對(duì)象狀態(tài)通知部104以及狀態(tài)通信部105向虛擬對(duì)象顯示判斷部106通知狀態(tài)監(jiān)視信息。在本實(shí)施方式中，當(dāng)根據(jù)現(xiàn)實(shí)對(duì)象顯示判斷信息107確定的優(yōu)先度為根據(jù)現(xiàn)實(shí)對(duì)象屬性信息108確定的優(yōu)先度以上時(shí)，虛擬對(duì)象顯示判斷部106判斷變更虛擬對(duì)象的顯示方式。在圖6、圖7的例子中，例如若移動(dòng)電話的聲音響起從而用戶進(jìn)行伸手動(dòng)作，則根據(jù)圖6所示的現(xiàn)實(shí)對(duì)象顯示判斷信息107確定“4”的優(yōu)先度，根據(jù)圖7所示的現(xiàn)實(shí)對(duì)象屬性信息108確定“4”的優(yōu)先度。在這種情況下，根據(jù)現(xiàn)實(shí)對(duì)象顯示判斷信息107確定的優(yōu)先度為根據(jù)現(xiàn)實(shí)對(duì)象屬性信息108確定的優(yōu)先度以上。因此，虛擬對(duì)象顯示判斷部106判斷使虛擬對(duì)象不顯示。另ー方面，若移動(dòng)電話的聲音響起從而用戶進(jìn)行了轉(zhuǎn)頭的動(dòng)作，則根據(jù)圖6所示的現(xiàn)實(shí)對(duì)象顯示判斷信息107確定“2”的優(yōu)先度，根據(jù)圖7所示的現(xiàn)實(shí)對(duì)象屬性信息108確定“4”的優(yōu)先度。在這種情況下，根據(jù)現(xiàn)實(shí)對(duì)象顯示判斷信息107確定的優(yōu)先度小于根據(jù)現(xiàn)實(shí)對(duì)象屬性信息108確定的優(yōu)先度。因此，虛擬對(duì)象顯示判斷部106判斷不便虛擬對(duì)象不顯示。這樣，在現(xiàn)實(shí)對(duì)象的狀態(tài)發(fā)生了變化吋，并非一律地使虛擬對(duì)象不顯示，而是比較現(xiàn)實(shí)對(duì)象的狀態(tài)和用戶動(dòng)作，僅在用戶對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作(例如拿起動(dòng)作)的可能性高時(shí)，使虛擬對(duì)象不顯示。由此，盡可能維持虛擬對(duì)象的顯示，其結(jié)果是，能夠給用戶帶來(lái)趨近存在于虛擬現(xiàn)實(shí)空間的臨場(chǎng)感。另ー方面，在用戶對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作的可能性低時(shí)，若虛擬對(duì)象在該現(xiàn)實(shí)對(duì)象的前側(cè)顯示，則用戶的視野受到顯示于前側(cè)的虛擬對(duì)象妨礙，用戶對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象進(jìn)行動(dòng)作變得困難。為此，在用戶對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作的可能性高時(shí)，使虛擬對(duì)象不顯示。由此，用戶能夠容易地對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作。在此，較為理想的是，虛擬對(duì)象顯示判斷部106提取存在于遮擋用戶對(duì)于狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象的視野的位置的虛擬對(duì)象，使提取到的虛擬對(duì)象不顯示。具體而言，如圖4(A)所示，虛擬對(duì)象顯示判斷部106將由狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象(移動(dòng)電話203)和用戶201的當(dāng)前位置206包圍的區(qū)域設(shè)定為視野區(qū)域205，使至少 一部分包含在視野區(qū)域205的虛擬對(duì)象202_1、202_2不顯示。通過(guò)這樣，僅使遮擋用戶視野的虛擬對(duì)象202_1、202_2不顯示，而讓剩余的虛擬對(duì)象顯示，因此能夠通過(guò)剩余的虛擬對(duì)象的存在給用戶帶來(lái)虛擬現(xiàn)實(shí)空間的臨場(chǎng)感。在此，虛擬對(duì)象顯示判斷部106首先根據(jù)狀態(tài)變化信息確定狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象即移動(dòng)電話203的位置數(shù)據(jù)以及尺寸數(shù)據(jù)。然后，虛擬對(duì)象顯示判斷部106根據(jù)由用戶信息管理部111管理的用戶位置信息確定用戶201在全局坐標(biāo)系中的當(dāng)前位置以及當(dāng)前方位，并利用確定的用戶201的當(dāng)前位置以及當(dāng)前方位將移動(dòng)電話203的位置數(shù)據(jù)變換到全局坐標(biāo)系。接著，虛擬對(duì)象顯示判斷部106根據(jù)移動(dòng)電話203的尺寸數(shù)據(jù)設(shè)定外接移動(dòng)電話203的立方體203a。接著，虛擬對(duì)象顯示判斷部106設(shè)定以用戶201的當(dāng)前位置206為中心向X方向的兩側(cè)延伸一定距離的邊205_1。接著，虛擬對(duì)象顯示判斷部106將由立方體203a的用戶側(cè)的面203s和邊205_1圍住的區(qū)域設(shè)定為視野區(qū)域205。由此，視野區(qū)域205成為I方向看為梯形狀，X方向看為三角形狀的區(qū)域。接著，虛擬對(duì)象顯示判斷部106從由虛擬對(duì)象信息管理部110管理的虛擬對(duì)象中提取顯示對(duì)象的虛擬對(duì)象，從虛擬對(duì)象信息管理部110讀出提取到的虛擬對(duì)象的位置數(shù)據(jù)以及尺寸數(shù)據(jù)，設(shè)定外接虛擬對(duì)象的立方體。在此，虛擬對(duì)象信息管理部110管理的虛擬對(duì)象的位置數(shù)據(jù)例如是全局坐標(biāo)系的位置數(shù)據(jù)。并且，虛擬對(duì)象顯示判斷部106提取位于從用戶201的當(dāng)前位置起至用戶201前方的一定區(qū)域內(nèi)的虛擬對(duì)象作為顯示對(duì)象的虛擬對(duì)象。在圖4(A)的例子中，提取虛擬對(duì)象202_1至202_4這四個(gè)虛擬對(duì)象作為顯示對(duì)象的虛擬對(duì)象。然后，虛擬對(duì)象顯示判斷部106設(shè)定分別外接虛擬對(duì)象202_1至202_4的立方體，判斷使立方體的一部分區(qū)域包含在視野區(qū)域205的虛擬對(duì)象不顯示，并判斷顯示剩余的虛擬對(duì)象。在圖4⑷的例子中，由于虛擬對(duì)象202_1、202_2存在于視野區(qū)域205內(nèi)，因此虛擬對(duì)象202_1、202_2被判斷為不顯示，虛擬對(duì)象202_3、202_4被判斷為顯示。并且，虛擬對(duì)象顯示判斷部106將使虛擬對(duì)象202_1、202_2不顯示并使虛擬對(duì)象202_3、202_4顯示這一判斷結(jié)果通知給n生成部112。
返回圖1，現(xiàn)實(shí)對(duì)象信息管理部109管理現(xiàn)實(shí)對(duì)象顯示判斷信息107和現(xiàn)實(shí)對(duì)象屬性信息108。虛擬對(duì)象信息管理部110管理包含虛擬對(duì)象的位置數(shù)據(jù)以及尺寸數(shù)據(jù)等的虛擬對(duì)象管理信息。在此，虛擬對(duì)象的位置數(shù)據(jù)例如采用全局坐標(biāo)系的位置數(shù)據(jù)并被預(yù)先確定。另外，作為虛擬對(duì)象的尺寸數(shù)據(jù)，采用外接虛擬對(duì)象的立方體的六個(gè)頂點(diǎn)的坐標(biāo)。用戶信息管理部111管理包含全局坐標(biāo)系中的用戶的當(dāng)前位置、當(dāng)前方位以及尺寸的用戶位置信息。在此，用戶信息管理部111按照由用戶位置檢測(cè)部114定期通知的用戶位置信息，管理用戶位置信息。另外，用戶信息管理部111通過(guò)預(yù)先讓用戶輸入身高、體重等尺寸信息，來(lái)管理用戶的尺寸。用戶位置檢測(cè)部114例如包括安裝于頭戴式顯示器的GPS傳感器、加速度傳感器以及電子羅盤(pán)等，檢測(cè)用戶的當(dāng)前位置以及當(dāng)前方位，并定期向狀態(tài)通信部105通知表示用戶的當(dāng)前位置以及當(dāng)前方位的用戶位置信息。
在此，用戶位置檢測(cè)部114例如在頭戴式顯示器被佩戴時(shí)通過(guò)GPS傳感器取得用戶在全局坐標(biāo)系中的位置數(shù)據(jù)和通過(guò)電子羅盤(pán)取得用戶在全局坐標(biāo)系中的當(dāng)前方位。之后，用戶位置檢測(cè)部114通過(guò)累計(jì)從加速度傳感器定期輸出的表示用戶的加速度的加速度數(shù)據(jù)，檢測(cè)用戶在全局坐標(biāo)系中的當(dāng)前位置以及當(dāng)前方位。此外，由于加速度數(shù)據(jù)以三維向量表示，因此通過(guò)累計(jì)用戶的移動(dòng)量以及方位的變化量，能夠確定用戶的當(dāng)前位置以及當(dāng)前方位。另外，通知給狀態(tài)通信部105的用戶位置信息通過(guò)虛擬對(duì)象顯示判斷部106通知至用戶信息管理部111。此外，在上述說(shuō)明中，通過(guò)GPS傳感器以及電子羅盤(pán)取得用戶在全局坐標(biāo)系中的當(dāng)前的位置數(shù)據(jù)以及方位，但也可以讓用戶操作輸入裝置，輸入用戶在全局坐標(biāo)系中的當(dāng)前的位置數(shù)據(jù)和方位。UI生成部112基于虛擬對(duì)象顯示判斷部106的判斷結(jié)果，生成對(duì)用戶提示的UI (用戶界面)。具體而言，UI生成部112從虛擬對(duì)象信息管理部110讀出由虛擬對(duì)象顯示判斷部106判斷為顯示的虛擬對(duì)象的虛擬對(duì)象管理信息，生成該虛擬對(duì)象的ニ維圖形數(shù)據(jù)。并且，n生成部112將生成的圖形數(shù)據(jù)作為n寫(xiě)入n顯示部113的幀緩存器。在該幀緩存器中，寫(xiě)入有由現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103的RGB照相機(jī)拍攝到的彩色圖像成分、即現(xiàn)實(shí)空間的彩色圖像。由此，在現(xiàn)實(shí)空間的圖像上重疊有虛擬對(duì)象的虛擬現(xiàn)實(shí)空間的圖像被生成。UI顯示部113例如包括顯示面板以及幀緩存器，使現(xiàn)實(shí)空間的圖像和虛擬對(duì)象重疊，從而顯示虛擬現(xiàn)實(shí)空間的圖像。在此，在n顯示部113的幀緩存器中，以指定的幀頻寫(xiě)入由現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103的RGB照相機(jī)拍攝到的彩色圖像成分以及由UI生成部112生成的UI，顯示面板顯示寫(xiě)入幀緩存器的圖像。圖15是表示本發(fā)明實(shí)施方式的對(duì)象控制裝置100的硬件結(jié)構(gòu)的框圖。對(duì)象控制裝置100包括顯示裝置11、輸入裝置12、CPU13、通信部14、RAMl5, R0M16、硬盤(pán)驅(qū)動(dòng)器(HDD) 17、用戶位置檢測(cè)傳感器18、動(dòng)作傳感器19以及狀態(tài)檢測(cè)傳感器20。顯示裝置11例如包括液晶顯示裝置，顯示虛擬現(xiàn)實(shí)空間的圖像。輸入裝置12例如包括鍵盤(pán)，受理來(lái)自用戶的輸入操作。CPU13負(fù)責(zé)對(duì)象控制裝置100的整體控制。通信部14包括有線或無(wú)線的通信電路，接收由動(dòng)作傳感器19檢測(cè)到的數(shù)據(jù)，或接收由因特網(wǎng)發(fā)送的數(shù)據(jù)。
RAM15、R0M16以及硬盤(pán)驅(qū)動(dòng)器17構(gòu)成存儲(chǔ)裝置，存儲(chǔ)對(duì)象控制程序。用戶位置檢測(cè)傳感器18包含GPS傳感器、加速度傳感器以及電子羅盤(pán)，構(gòu)成圖I所示的用戶位置檢測(cè)部114。動(dòng)作傳感器19包含處理部以及拍攝部，構(gòu)成圖I所示的用戶動(dòng)作檢測(cè)部101。狀態(tài)檢測(cè)傳感器20包含處理部、深度傳感器以及麥克風(fēng)，構(gòu)成圖I所示的現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部 103。圖I所示的用戶動(dòng)作通知部102、現(xiàn)實(shí)對(duì)象狀態(tài)通知部104、虛擬對(duì)象顯示判斷部106以及n生成部112是存儲(chǔ)在存儲(chǔ)裝置中的對(duì)象控制程序所包含的程序，從存儲(chǔ)裝置讀出由CPU13執(zhí)行。另外，圖I所示狀態(tài)通信部105由通信部14以及對(duì)象控制程序所包含的用于控制通信部14的程序構(gòu)成，從存儲(chǔ)裝置讀出由CPU13執(zhí)行。另外，圖I所示現(xiàn)實(shí)對(duì)象信息管理部109、虛擬對(duì)象信息管理部110以及用戶信息管理部111是對(duì)象控制程序所包含的數(shù)據(jù)以及管理該數(shù)據(jù)的程序，從存儲(chǔ)裝置讀出而被執(zhí)行。 此外，在圖15中，用戶位置檢測(cè)傳感器18、狀態(tài)檢測(cè)傳感器20以及顯示裝置11安裝于頭戴式顯示器。另外，輸入裝置12至硬盤(pán)驅(qū)動(dòng)器17由用戶所攜帶的計(jì)算機(jī)構(gòu)成。另夕卜，動(dòng)作傳感器19通過(guò)通信部14與計(jì)算機(jī)可通信地連接，設(shè)置在用戶周?chē)?動(dòng)作)接著，說(shuō)明對(duì)象控制裝置100的動(dòng)作。圖8是表示本發(fā)明實(shí)施方式的對(duì)象控制裝置100的動(dòng)作的流程圖。此外，在以下的說(shuō)明中，以圖2以及圖3所示的狀況為例進(jìn)行說(shuō)明。首先，現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103檢測(cè)現(xiàn)實(shí)對(duì)象的狀態(tài)變化(S801)，生成狀態(tài)變化信息，井向用戶動(dòng)作通知部102通知。在圖2的例子中，在移動(dòng)電話203收到語(yǔ)音通話時(shí)產(chǎn)生的聲音響起，因此現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103檢測(cè)到移動(dòng)電話203的狀態(tài)發(fā)生了變化。接著，現(xiàn)實(shí)對(duì)象狀態(tài)通知部104對(duì)狀態(tài)通信部105通知由現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103通知的狀態(tài)變化信息(S802)。在圖2的例子中，移動(dòng)電話203的狀態(tài)從聲音未響的狀態(tài)變化為聲音響起的狀態(tài)，因此表示該狀態(tài)的變化(=“聲音響起”)的狀態(tài)變化信息被通知給狀態(tài)通信部105。接著，狀態(tài)通信部105對(duì)虛擬對(duì)象顯示判斷部106通知從現(xiàn)實(shí)對(duì)象狀態(tài)通知部104通知的狀態(tài)變化信息(S803)。接著，虛擬對(duì)象顯示判斷部106發(fā)出動(dòng)作檢測(cè)請(qǐng)求，并通知給狀態(tài)通信部105(S804)。接著，狀態(tài)通信部105對(duì)用戶動(dòng)作通知部102通知?jiǎng)幼鳈z測(cè)請(qǐng)求(S805)。接著，用戶動(dòng)作檢測(cè)部101被用戶動(dòng)作通知部102通知?jiǎng)幼鳈z測(cè)請(qǐng)求，檢測(cè)用戶動(dòng)作(S806)。在此，當(dāng)用戶動(dòng)作檢測(cè)部101無(wú)法在一定時(shí)間內(nèi)檢測(cè)到用戶動(dòng)作時(shí)(在S806中為否)，結(jié)束處理。作為一定時(shí)間，例如可以采用預(yù)先確定的時(shí)間，也可以采用現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部103檢測(cè)其他的狀態(tài)變化并將狀態(tài)變化信息通知給狀態(tài)通信部105為止的時(shí)間。另ー方面，當(dāng)用戶動(dòng)作檢測(cè)部101能夠在一定時(shí)間內(nèi)檢測(cè)到用戶動(dòng)作時(shí)(在S806中為是)，生成表示檢測(cè)到的用戶動(dòng)作的用戶動(dòng)作信息，并通過(guò)用戶動(dòng)作通知部102通知給狀態(tài)通信部105(S807)。接著，狀態(tài)通信部105將用戶動(dòng)作信息通知給虛擬對(duì)象顯示判斷部106(S808)。接著，虛擬對(duì)象顯示判斷部106從現(xiàn)實(shí)對(duì)象信息管理部109取得現(xiàn)實(shí)對(duì)象顯示判斷信息107和現(xiàn)實(shí)對(duì)象屬性信息108(S809)。接著，虛擬對(duì)象顯示判斷部106判斷用戶動(dòng)作檢測(cè)部101檢測(cè)到的用戶動(dòng)作是否由現(xiàn)實(shí)對(duì)象顯示判斷信息107規(guī)定(S810)。并且，當(dāng)虛擬對(duì)象顯示判斷部106判斷用戶動(dòng)作由現(xiàn)實(shí)對(duì)象顯示判斷信息107規(guī)定時(shí)(在S810中為是)，使處理進(jìn)入S811。另ー方面，若用戶動(dòng)作未由現(xiàn)實(shí)對(duì)象顯示判斷信息107規(guī)定(在S810中為否)，則結(jié)束處理。接著，虛擬對(duì)象顯示判斷部106根據(jù)現(xiàn)實(shí)對(duì)象顯示判斷信息107確定與用戶動(dòng)作相對(duì)應(yīng)的優(yōu)先度，并且根據(jù)現(xiàn)實(shí)對(duì)象屬性信息108確定與狀態(tài)變化相對(duì)應(yīng)的優(yōu)先度，對(duì)確定的兩個(gè)優(yōu)先度進(jìn)行比較(S811)。當(dāng)比較的結(jié)果是用戶動(dòng)作的優(yōu)先度為狀態(tài)變化的優(yōu)先度以上時(shí)(在S811中為是)，處理進(jìn)入S812。另ー方面，若用戶動(dòng)作的優(yōu)先度小于狀態(tài)變化的優(yōu)先度(在S811中為否)，則結(jié)束處理。關(guān)于從S807到S811的動(dòng)作，以圖2及圖3為例進(jìn)行說(shuō)明。在圖2中，移動(dòng)電話203收到語(yǔ)音通話從而聲音響起，伴隨于此，用戶進(jìn)行“伸手”這ー動(dòng)作。此時(shí)，根據(jù)圖6所 示的現(xiàn)實(shí)對(duì)象顯示判斷信息107，該動(dòng)作的優(yōu)先度為“4”。另外，在圖7所示的移動(dòng)電話的現(xiàn)實(shí)對(duì)象屬性信息108中，“聲音響起”狀態(tài)變化的優(yōu)先度被設(shè)定為“4”。在這種情況下，兩個(gè)優(yōu)先度相等，因此在S811中判斷為是，處理進(jìn)入S812。另ー方面，在圖3的情況下，移動(dòng)電話203收到短信從而聲音響起，伴隨于此，用戶進(jìn)行“轉(zhuǎn)頭”這ー動(dòng)作。此時(shí)，根據(jù)圖6所示的現(xiàn)實(shí)對(duì)象顯示判斷信息107，該動(dòng)作的優(yōu)先度為“2”。另外，在圖7所示的移動(dòng)電話的現(xiàn)實(shí)對(duì)象屬性信息108中，移動(dòng)電話的狀態(tài)變化的優(yōu)先度被設(shè)定為“4”。在這種情況下，用戶動(dòng)作的優(yōu)先度比移動(dòng)電話203的優(yōu)先度低，因此
結(jié)束處理。接著，虛擬對(duì)象顯示判斷部106從虛擬對(duì)象信息管理部110取得成為顯示對(duì)象的虛擬對(duì)象的虛擬對(duì)象管理信息(S812)。接著，虛擬對(duì)象顯示判斷部106從用戶信息管理部111取得用戶位置信息(S813)。接著，虛擬對(duì)象顯示判斷部106根據(jù)由用戶位置信息所表示的用戶的當(dāng)前位置及方位、以及狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象的現(xiàn)實(shí)對(duì)象屬性信息108所規(guī)定的位置數(shù)據(jù)以及尺寸數(shù)據(jù)，將圖4(A)所示的視野區(qū)域205設(shè)定為虛擬現(xiàn)實(shí)空間(S814)。接著，虛擬對(duì)象顯示判斷部106將成為顯示對(duì)象的虛擬對(duì)象配置在虛擬現(xiàn)實(shí)空間，從成為顯示對(duì)象的虛擬對(duì)象中提取包含在視野區(qū)域205的虛擬對(duì)象(S815)。接著，虛擬對(duì)象顯示判斷部106將用于通知顯示的虛擬對(duì)象和不顯示的虛擬對(duì)象的判斷結(jié)果通知至n生成部112(S816)。接著，n生成部112生成顯示的虛擬對(duì)象的圖形數(shù)據(jù)，n顯示部113在現(xiàn)實(shí)空間的圖像上重疊虛擬對(duì)象的圖形數(shù)據(jù)從而生成虛擬現(xiàn)實(shí)空間的圖像并進(jìn)行顯示(S817)。此外，對(duì)象控制裝置100可以在使虛擬對(duì)象不顯示后，當(dāng)用戶完成了指定的動(dòng)作時(shí)，再次顯示被設(shè)為不顯示的虛擬對(duì)象從而解除不顯示的狀態(tài)。具體而言，虛擬對(duì)象顯示判斷部106可以在用戶動(dòng)作檢測(cè)部101檢測(cè)不到成為使虛擬對(duì)象不顯示的契機(jī)的用戶動(dòng)作時(shí)，解除不顯示的狀態(tài)。更具體而言，虛擬對(duì)象顯示判斷部106可以在從用戶動(dòng)作檢測(cè)部101通知記述為“什么都不做”的用戶動(dòng)作信息時(shí)，解除不顯示狀態(tài)。另外，虛擬對(duì)象顯示判斷部106可以預(yù)先定義例如揮手指定次數(shù)等用于解除不顯示狀態(tài)的指定的動(dòng)作。并且，虛擬對(duì)象顯示判斷部106可以在通過(guò)用戶動(dòng)作檢測(cè)部101檢測(cè)到該指定的動(dòng)作、并被通知表示該指定的動(dòng)作的用戶動(dòng)作信息時(shí)，解除不顯示的狀態(tài)。若不顯示的狀態(tài)被解除，則因存在于視野區(qū)域205而被設(shè)為不顯示的虛擬對(duì)象的圖形數(shù)據(jù)被重疊在現(xiàn)實(shí)空間的圖像上，并顯示于n顯示部113。S卩，如圖3(B)所示的圖像顯示于UI顯示部113。(其他)此外，在本實(shí)施方式中，使包含在視野區(qū)域205的虛擬對(duì)象不顯示，但本發(fā)明不限定于此，也可以使全部虛擬對(duì)象不顯示。由此，在用戶對(duì)現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作時(shí)，不會(huì)被虛擬對(duì)象遮擋，能夠找到成為操作對(duì)象的現(xiàn)實(shí)對(duì)象。另外，在圖8的S810中，即使用戶動(dòng)作未由現(xiàn)實(shí)對(duì)象顯示判斷信息107規(guī)定，也可以使該用戶動(dòng)作與現(xiàn)實(shí)對(duì)象顯示判斷信息107中所規(guī)定的用戶動(dòng)作近似，從而確定優(yōu)先·度。在這種情況下，虛擬對(duì)象顯示判斷部106可以使現(xiàn)實(shí)對(duì)象信息管理部109管理圖9所示的近似動(dòng)作信息，并參照該近似動(dòng)作信息來(lái)近似用戶動(dòng)作。圖9是表示近似動(dòng)作信息的一例的圖。近似動(dòng)作信息包括用戶動(dòng)作欄和近似動(dòng)作欄。用戶動(dòng)作欄中，存儲(chǔ)有現(xiàn)實(shí)對(duì)象顯示判斷信息107所規(guī)定的任一用戶動(dòng)作。近似動(dòng)作欄中，存儲(chǔ)有現(xiàn)實(shí)對(duì)象顯示判斷信息107未規(guī)定的用戶動(dòng)作、并且是用戶動(dòng)作檢測(cè)部101檢測(cè)的用戶動(dòng)作。在圖8的S810中，虛擬對(duì)象顯示判斷部106在由用戶動(dòng)作檢測(cè)部101檢測(cè)到的用戶動(dòng)作未由現(xiàn)實(shí)對(duì)象顯示判斷信息107規(guī)定時(shí)(在S810中為否)，參照?qǐng)D9所示的近似動(dòng)作信息。并且，若檢測(cè)到的用戶動(dòng)作在近似動(dòng)作欄被規(guī)定，則虛擬對(duì)象顯示判斷部106可以確定與該近似動(dòng)作相對(duì)應(yīng)的用戶動(dòng)作，井根據(jù)現(xiàn)實(shí)對(duì)象顯示判斷信息107確定與所確定的用戶動(dòng)作相對(duì)應(yīng)的優(yōu)先度。由此，即使由用戶動(dòng)作檢測(cè)部101檢測(cè)到的用戶動(dòng)作未由現(xiàn)實(shí)對(duì)象顯示判斷信息107規(guī)定，也能夠使該用戶動(dòng)作與現(xiàn)實(shí)對(duì)象顯示判斷信息107所規(guī)定的用戶動(dòng)作近似來(lái)確定優(yōu)先度，并能夠更靈活地對(duì)各種用戶動(dòng)作確定優(yōu)先度。另外，在圖8的S815中，取代使包含在視野區(qū)域205的虛擬對(duì)象不顯示的方式，虛擬對(duì)象顯示判斷部106也可以指示UI生成部112，使包含在視野區(qū)域205的虛擬對(duì)象移動(dòng)到不包含在視野區(qū)域205的位置。在這種情況下，虛擬對(duì)象顯示判斷部106例如可以使虛擬對(duì)象的z坐標(biāo)的位置保持原樣，使成為移動(dòng)對(duì)象的虛擬對(duì)象移動(dòng)到外接該移動(dòng)對(duì)象的虛擬對(duì)象的立方體與視野區(qū)域205不重疊，且該虛擬對(duì)象的移動(dòng)距離為最短距離的位置。通過(guò)這樣，使虛擬對(duì)象的顯示位置的變動(dòng)量達(dá)到最小，可以不給用戶帶來(lái)大的不適感地顯示虛擬對(duì)象。并且，虛擬對(duì)象顯示判斷部106通知虛擬對(duì)象信息管理部110變更包含在視野區(qū)域205的虛擬對(duì)象的位置，更新虛擬對(duì)象信息管理部110管理的相應(yīng)的虛擬對(duì)象的位置。并且，虛擬對(duì)象顯示判斷部106指示n生成部112在更新后的虛擬對(duì)象的位置顯示相應(yīng)的虛擬對(duì)象。由此，在用戶對(duì)現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作時(shí)，不會(huì)被虛擬對(duì)象遮擋，用戶能夠找到作為操作對(duì)象的現(xiàn)實(shí)對(duì)象。此外，在圖8的S815中，虛擬對(duì)象顯示判斷部106也可以在現(xiàn)實(shí)對(duì)象屬性信息108保存擴(kuò)展視野區(qū)域205的屬性時(shí)，不僅使包含在視野區(qū)域205的虛擬對(duì)象不顯示，還使包含在擴(kuò)展視野區(qū)域的虛擬對(duì)象不顯示。擴(kuò)展視野區(qū)域是在狀態(tài)變化被檢測(cè)出的現(xiàn)實(shí)對(duì)象的附近設(shè)定的區(qū)域。由此，在用戶對(duì)現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作時(shí)，在更寬的區(qū)域不會(huì)被虛擬對(duì)象遮擋，能夠找到作為操作對(duì)象的現(xiàn)實(shí)對(duì)象。以下，用圖10、圖11、圖12、圖17說(shuō)明擴(kuò)展視野區(qū)域。圖10是表示保存擴(kuò)展視野區(qū)域205的屬性時(shí)的現(xiàn)實(shí)對(duì)象屬性信息108的一例的圖。如圖10所示，可知，現(xiàn)實(shí)對(duì)象屬性信息108保存有“擴(kuò)展區(qū)域距離L”這ー擴(kuò)展視野區(qū)域205的屬性。圖11是本發(fā)明實(shí)施方式的對(duì)象控制裝置100在設(shè)定了擴(kuò)展視野區(qū)域時(shí)，根據(jù)用戶動(dòng)作使虛擬對(duì)象不顯示時(shí)的處理的說(shuō)明圖。圖Il(A)示出用戶進(jìn)行伸手動(dòng)作時(shí)用戶觀看到的虛擬現(xiàn)實(shí)空間，圖Il(B)示出用戶進(jìn)行了伸手動(dòng)作后用戶觀看到的虛擬現(xiàn)實(shí)空間。與圖2的(A)、⑶的區(qū)別在于，在移動(dòng)電話203的背后存在虛擬對(duì)象202_X。圖12的(A)、(B)是從上側(cè)觀看圖11 (A)、⑶時(shí)的圖。圖17是從側(cè)面?zhèn)?X方向側(cè))觀看到的擴(kuò)展視野區(qū)域 207的圖。如圖12(A)所示，位于移動(dòng)電話203背后的虛擬對(duì)象202_X未包含在視野區(qū)域205。因此，若僅使包含在視野區(qū)域205的虛擬對(duì)象不顯示，則虛擬對(duì)象202_X顯示于移動(dòng)電話203的背后，可能成為用戶201拿起移動(dòng)電話203的動(dòng)作的妨礙。因此，為了使虛擬對(duì)象202_X不顯示，虛擬對(duì)象顯示判斷部106如圖12(B)所示那樣設(shè)定擴(kuò)展視野區(qū)域207。在俯視時(shí)，擴(kuò)展視野區(qū)域207是在用戶201伸出的手一側(cè)設(shè)定弧207_2且從移動(dòng)電話203的中心203_0起具有一定的半徑L的扇形的區(qū)域。在此，采用擴(kuò)展區(qū)域距離作為一定的半徑し另外，作為中心203_0，例如可以采用外接移動(dòng)電話203的立方體203a的中心，也可以采用立方體203a的用戶側(cè)的面203s的中心。另外,其中之一的邊207_1被設(shè)定成與連接用戶201的當(dāng)前位置206和中心203_0的直線平行、即與z軸平行。另外，如圖17所示，在側(cè)視時(shí)，擴(kuò)展視野區(qū)域207具有以中心203_0為中心的半徑L的圓形狀。即，擴(kuò)展視野區(qū)域207是俯視為扇形、側(cè)視為圓形、并將扇形和圓形插值為球狀而得到的立體。這樣，通過(guò)設(shè)定擴(kuò)展視野區(qū)域207，不僅使包含在視野區(qū)域205的虛擬對(duì)象不顯示，而且也使包含在擴(kuò)展視野區(qū)域207的虛擬對(duì)象202_X不顯示(參照?qǐng)D11(B))。因此，位于移動(dòng)電話203背后的虛擬對(duì)象202_X成為不顯示，從而用戶201能夠容易地進(jìn)行對(duì)移動(dòng)電話203的動(dòng)作。另外，在計(jì)算擴(kuò)展視野區(qū)域207時(shí)，也可以在S808取得用戶的手201_1的朝向，利用所取得的手的朝向設(shè)定擴(kuò)展視野區(qū)域207。圖13是從上側(cè)觀看到的用戶的手201_1的活動(dòng)的圖。在圖13的例子中，在俯視時(shí)，用戶201向前方伸出右側(cè)的手201_1。因此，用戶動(dòng)作檢測(cè)部101檢測(cè)俯視時(shí)連接移動(dòng)電話203的中心203_0和用戶201的當(dāng)前位置206的直線L13與用戶201伸出側(cè)的手201_1所成的角度0。在這種情況下，用戶動(dòng)作檢測(cè)部101可以通過(guò)將表示用戶201的姿勢(shì)的骨架投影到x-z平面來(lái)求得角度9。并且，在圖8的S815中，由于在所取得的現(xiàn)實(shí)對(duì)象屬性信息108中記載有“擴(kuò)展區(qū)域距離L”，因此，虛擬對(duì)象顯示判斷部106判斷不僅使存在于視野區(qū)域205的虛擬對(duì)象不顯示，還使存在于擴(kuò)展視野區(qū)域207的虛擬對(duì)象不顯示。在此，虛擬對(duì)象顯示判斷部106設(shè)定外接虛擬對(duì)象202_X的立方體，若立方體的一部分存在于擴(kuò)展視野區(qū)域207，則可以判斷虛擬對(duì)象202_X包含在擴(kuò)展視野區(qū)域207中。另外，如圖14所示，在俯視時(shí)，擴(kuò)展視野區(qū)域207的其中之ー的邊207_1被設(shè)定在連接狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象即移動(dòng)電話203的中心203_0和用戶201的當(dāng)前位置206的直線L13上，并設(shè)定成隨著直線L13和手201_1所成的角度0増大，中心角a減小。具體而言，擴(kuò)展視野區(qū)域207被設(shè)定成俯視時(shí)中心角a以邊207_1為基準(zhǔn)且中心角a為a=(270- 0 )°的扇形。在這種情況下也可以如圖17所示，在側(cè)視時(shí)，擴(kuò)展視野區(qū)域207為半徑L的球狀。此外，即使在采用設(shè)定擴(kuò)展視野區(qū)域207的方式時(shí)，也可以取代使包含在視野區(qū)域205以及擴(kuò)展視野區(qū)域207的虛擬對(duì)象不顯示的方式，而采用使虛擬對(duì)象的位置移動(dòng)的方式。在這種情況下，虛擬對(duì)象的z坐標(biāo)的位置保持原樣，使成為移動(dòng)對(duì)象的虛擬對(duì)象移動(dòng)到外接該虛擬對(duì)象的立方體與視野區(qū)域205以及擴(kuò)展視野區(qū)域207不重疊，且該虛擬對(duì)象 的移動(dòng)距離為最短距離的位置。此外，本實(shí)施方式的對(duì)象控制裝置100典型地作為半導(dǎo)體集成電路即LSI實(shí)現(xiàn)。具體而言，可以通過(guò)集成電路構(gòu)成對(duì)象控制裝置100中的用戶動(dòng)作通知部102、現(xiàn)實(shí)對(duì)象狀態(tài)通知部104、狀態(tài)通信部105、虛擬對(duì)象顯示判斷部106、現(xiàn)實(shí)對(duì)象信息管理部109、虛擬對(duì)象信息管理部110、用戶信息管理部111以及UI (用戶界面)生成部112。這些既可以分別實(shí)行單芯片化，也可以包含其中一部分或者是全部而實(shí)行單芯片化。在此，雖然作為L(zhǎng)SI，但根據(jù)集成度的差異，也可以稱作1C、系統(tǒng)LSI、超大LSI、特大LSI。另外，集成電路化的方法不限于LSI，也可以由專(zhuān)用電路或通用處理器實(shí)現(xiàn)。也可以利用在LSI制造后可編程的FPGA (Field Programmable Gate Array,現(xiàn)場(chǎng)可編程門(mén)陣列)，或可重構(gòu)LSI內(nèi)部的電路單元的連接或設(shè)定的可重構(gòu)處理器。進(jìn)而，若由于半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)而出現(xiàn)了置換LSI的集成電路化的技術(shù)，則當(dāng)然也可以利用該技術(shù)進(jìn)行功能塊的集成化。還存在適用生物技術(shù)等的可能性。進(jìn)而，通過(guò)組合將本實(shí)施方式的對(duì)象控制裝置100集成化后的半導(dǎo)體芯片和用于描繪圖像的顯示器，能夠構(gòu)成適合各種用途的描繪設(shè)備。能夠利用本發(fā)明作為移動(dòng)電話、電視機(jī)、數(shù)字錄像器、數(shù)字?jǐn)z像機(jī)、汽車(chē)導(dǎo)航等中的信息描繪單元。作為顯示器，除了陰極射線管(CRT)以外，還能夠組合液晶或rop(等離子體顯示面板)、有機(jī)EL等平板顯示器、以投影儀為代表的投射式顯示器等。本發(fā)明的對(duì)象控制裝置的技術(shù)的特征可歸納如下。(I)本發(fā)明的對(duì)象控制裝置，是在虛擬現(xiàn)實(shí)空間進(jìn)行虛擬對(duì)象的顯示控制的對(duì)象控制裝置，包括用戶動(dòng)作檢測(cè)部，檢測(cè)用戶的動(dòng)作；用戶動(dòng)作通知部，通知表示由所述用戶動(dòng)作檢測(cè)部檢測(cè)到的用戶動(dòng)作的用戶動(dòng)作信息；現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部，檢測(cè)存在于所述虛擬現(xiàn)實(shí)空間的現(xiàn)實(shí)對(duì)象的狀態(tài)變化；現(xiàn)實(shí)對(duì)象狀態(tài)通知部，通知表示由所述現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部檢測(cè)到的所述現(xiàn)實(shí)對(duì)象的狀態(tài)變化的狀態(tài)變化信息；狀態(tài)通信部，通知從所述用戶動(dòng)作通知部通知的用戶動(dòng)作信息和從所述現(xiàn)實(shí)對(duì)象狀態(tài)通知部通知的狀態(tài)變化信息；虛擬對(duì)象顯示判斷部，基于從所述狀態(tài)通信部通知的用戶動(dòng)作信息和狀態(tài)變化信息，判斷是否變更所述虛擬對(duì)象的顯示方式以使?fàn)顟B(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象露出生成部，基于所述虛擬對(duì)象顯示判斷部的判斷結(jié)果，生成對(duì)用戶提示的UI (用戶界面)；以及n顯示部，顯示由所述n生成部生成的n。根據(jù)該結(jié)構(gòu)，若現(xiàn)實(shí)對(duì)象的狀態(tài)變化，則比較該現(xiàn)實(shí)對(duì)象的狀態(tài)變化和用戶動(dòng)作，判斷是否變更虛擬對(duì)象的顯示方式以使該現(xiàn)實(shí)對(duì)象露出，即、使該現(xiàn)實(shí)對(duì)象顯示在前側(cè)。并且，基于判斷結(jié)果，生成并顯示對(duì)用戶提示的UI。這樣，在現(xiàn)實(shí)對(duì)象的狀態(tài)發(fā)生了變化時(shí)，并不是一律地使虛擬對(duì)象不顯示，而是比較現(xiàn)實(shí)對(duì)象的狀態(tài)和用戶動(dòng)作，僅在用戶對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作的可能性高時(shí)，使虛擬對(duì)象不顯示。由此，盡可能維持虛擬對(duì)象的顯示，其結(jié)果是，能夠給用戶帶來(lái)存在于虛擬現(xiàn)實(shí)空間的臨場(chǎng)感。另ー方面，在用戶對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作時(shí)，若在該現(xiàn)實(shí)對(duì)象的前側(cè)顯示有虛擬對(duì)象，則顯示在前側(cè)的虛擬對(duì)象妨礙用戶對(duì)該現(xiàn)實(shí)對(duì)象的視野，用戶進(jìn)行動(dòng)作變得困難。為此，在用戶對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作的可能性高時(shí)，變更虛擬對(duì)象的顯示方式以使現(xiàn)實(shí)對(duì)象顯示在前側(cè)。由此，用戶的視野不會(huì)被虛擬對(duì) 象遮擋，用戶能夠容易地對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作。(2)較為理想的是，上述結(jié)構(gòu)還包括現(xiàn)實(shí)對(duì)象信息管理部，管理用戶動(dòng)作和優(yōu)先度被對(duì)應(yīng)起來(lái)的現(xiàn)實(shí)對(duì)象顯示判斷信息和所述現(xiàn)實(shí)對(duì)象的狀態(tài)變化和優(yōu)先度被對(duì)應(yīng)起來(lái)的現(xiàn)實(shí)對(duì)象屬性信息，其中，所述虛擬對(duì)象顯示判斷部根據(jù)所述現(xiàn)實(shí)對(duì)象顯示判斷信息確定與從所述狀態(tài)通信部通知的用戶動(dòng)作信息表示的用戶動(dòng)作相對(duì)應(yīng)的優(yōu)先度，并且，根據(jù)所述現(xiàn)實(shí)對(duì)象屬性信息確定與從所述狀態(tài)通信部通知的狀態(tài)變化信息表示的狀態(tài)變化相對(duì)應(yīng)的優(yōu)先度，通過(guò)比較確定的兩個(gè)優(yōu)先度，判斷是否變更所述虛擬對(duì)象的顯示方式。根據(jù)該結(jié)構(gòu)，利用用戶動(dòng)作以及優(yōu)先度預(yù)先被對(duì)應(yīng)起來(lái)的現(xiàn)實(shí)對(duì)象顯示判斷信息，確定與用戶動(dòng)作信息表示的用戶動(dòng)作相對(duì)應(yīng)的優(yōu)先度。另外，利用現(xiàn)實(shí)對(duì)象的狀態(tài)變化以及優(yōu)先度預(yù)先被對(duì)應(yīng)起來(lái)的現(xiàn)實(shí)對(duì)象屬性信息，確定與狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象的狀態(tài)變化相對(duì)應(yīng)的優(yōu)先度。并且，比較確定的兩個(gè)優(yōu)先度來(lái)判斷虛擬對(duì)象的顯示方式的變更的有無(wú)。由此，現(xiàn)實(shí)對(duì)象顯示判斷部能夠用預(yù)先確定的數(shù)據(jù)判斷現(xiàn)實(shí)對(duì)象的顯示方式的變更的有無(wú)，從而能夠正確并且高速地進(jìn)行該判斷。(3)較為理想的是，所述現(xiàn)實(shí)對(duì)象顯示判斷信息以及所述現(xiàn)實(shí)對(duì)象屬性信息所包含的優(yōu)先度的優(yōu)先順序隨著優(yōu)先度的值的增大而變高，所述虛擬對(duì)象顯示判斷部在根據(jù)所述現(xiàn)實(shí)對(duì)象顯示判斷信息確定的優(yōu)先度為根據(jù)所述現(xiàn)實(shí)對(duì)象屬性信息確定的優(yōu)先度以上時(shí)，判斷變更所述虛擬對(duì)象的顯示方式?，F(xiàn)實(shí)對(duì)象顯示判斷信息規(guī)定用戶動(dòng)作的優(yōu)先度，現(xiàn)實(shí)對(duì)象屬性信息規(guī)定現(xiàn)實(shí)對(duì)象的狀態(tài)變化的優(yōu)先度。因此，通過(guò)根據(jù)現(xiàn)實(shí)對(duì)象顯示判斷信息確定的優(yōu)先度是否為根據(jù)現(xiàn)實(shí)對(duì)象屬性信息確定的優(yōu)先度以上，能夠判斷用戶對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象進(jìn)行某些動(dòng)作的可能性是否較高。(4)較為理想的是，所述虛擬對(duì)象顯示判斷部在從所述狀態(tài)通信部通知的用戶動(dòng)作信息未包含在所述現(xiàn)實(shí)對(duì)象顯示判斷信息中時(shí)，使該用戶動(dòng)作信息表示的用戶動(dòng)作與包含在所述現(xiàn)實(shí)對(duì)象顯示判斷信息中的用戶動(dòng)作信息近似，判斷是否變更所述虛擬對(duì)象的顯
,J、O根據(jù)該結(jié)構(gòu)，即使由用戶動(dòng)作檢測(cè)部檢測(cè)到的用戶動(dòng)作未由現(xiàn)實(shí)對(duì)象顯示判斷信息規(guī)定，也能夠使該用戶動(dòng)作與現(xiàn)實(shí)對(duì)象顯示判斷信息中所規(guī)定的用戶動(dòng)作近似來(lái)確定優(yōu)先度，從而能夠更靈活地對(duì)用戶動(dòng)作確定優(yōu)先度。(5)較為理想的是，所述虛擬對(duì)象顯示判斷部針對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象提取存在于遮擋用戶視野的位置的虛擬對(duì)象，變更提取到的虛擬對(duì)象的顯示方式。根據(jù)該結(jié)構(gòu)，僅遮擋用戶視野的虛擬對(duì)象的顯示方式被變更，剰余的虛擬對(duì)象的顯示方式不變更，因此通過(guò)顯示方式未變更的虛擬對(duì)象的存在，能夠給用戶帶來(lái)虛擬現(xiàn)實(shí)空間的臨場(chǎng)感。(6)較為理想的是，所述虛擬對(duì)象顯示判斷部將由狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象和用戶的當(dāng)前位置包圍的區(qū)域設(shè)定為視野區(qū)域，使至少一部分包含在所述視野區(qū)域的所述虛擬對(duì)象的顯示方式變更。根據(jù)該結(jié)構(gòu)，由狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象和用戶的當(dāng)前位置包圍的區(qū)域被設(shè)定為視野區(qū)域，虛擬對(duì)象即便是一部分包含在該視野區(qū)域，也判斷該虛擬對(duì)象遮擋用戶的視 野。因此，能夠正確地判斷虛擬對(duì)象是否遮擋用戶的視野。(7)較為理想的是，所述虛擬對(duì)象顯示判斷部將俯視時(shí)在用戶伸出的手一側(cè)設(shè)定有弧且從狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象起具有一定半徑的扇形的區(qū)域設(shè)定為擴(kuò)展視野區(qū)域，使包含在所述擴(kuò)展視野區(qū)域以及所述視野區(qū)域的至少其中之一區(qū)域的虛擬對(duì)象的顯示方式變更。根據(jù)該結(jié)構(gòu)，即使是未包含在視野區(qū)域的虛擬對(duì)象，如果位于狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象的周?chē)鷦t也變更顯示方式，因此能夠使用戶對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象的視野更為良好。(8)較為理想的是，所述擴(kuò)展視野區(qū)域被設(shè)定成，俯視時(shí)，從狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象的中心朝向用戶設(shè)定所述扇形的ー邊，且隨著連接所述用戶和所述現(xiàn)實(shí)對(duì)象的中心的直線與用戶伸出的手的朝向所成的角度増大，所述扇形的中心角減小。一般而言，用戶的視線的方向朝向用戶伸出手的方向。在本結(jié)構(gòu)中，能夠以俯視時(shí)以用戶伸出手的方向?yàn)榛鶞?zhǔn)向兩側(cè)擴(kuò)展的方式設(shè)定擴(kuò)展視野區(qū)域，因此能夠更為正確地確定妨礙用戶的視野的虛擬對(duì)象。(9)較為理想的是，上述結(jié)構(gòu)還包括管理包含所述虛擬對(duì)象的位置的虛擬對(duì)象管理信息的虛擬對(duì)象信息管理部，其中，所述虛擬對(duì)象顯示判斷部利用所述虛擬對(duì)象管理信息確定所述虛擬對(duì)象的位置。根據(jù)該結(jié)構(gòu)，由于由虛擬對(duì)象信息管理部管理虛擬對(duì)象的位置，因此虛擬對(duì)象顯示判斷部能夠容易地確定虛擬對(duì)象的位置。(10)較為理想的是，上述結(jié)構(gòu)還包括管理包含用戶的當(dāng)前位置的用戶位置信息的用戶信息管理部，其中，所述虛擬對(duì)象顯示判斷部利用所述用戶位置信息確定用戶的當(dāng)前位置。根據(jù)該結(jié)構(gòu)，由于由用戶信息管理部管理用戶的當(dāng)前位置，因此虛擬對(duì)象顯示判斷部能夠容易地確定用戶的當(dāng)前位置。(11)較為理想的是，所述虛擬對(duì)象顯示判斷部在所述虛擬對(duì)象的顯示方式變更之后，當(dāng)由用戶進(jìn)行了使所述顯示方式返回原樣的指定的手勢(shì)時(shí)，使所述顯示方式返回原樣。根據(jù)該結(jié)構(gòu)，在虛擬對(duì)象的顯示方式變更之后，當(dāng)用戶想使虛擬對(duì)象的顯示方式返回原樣時(shí)，能夠通過(guò)指定的手勢(shì)，使虛擬對(duì)象的顯示方式返回原樣。(12)較為理想的是，所述顯示方式的變更是使所述虛擬對(duì)象不顯示。根據(jù)該結(jié)構(gòu)，通過(guò)使虛擬對(duì)象不顯示，狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象被顯示于前側(cè)，因此用戶能夠容易地進(jìn)行對(duì)該現(xiàn)實(shí)對(duì)象的動(dòng)作。(13)較為理想的是，所述顯示方式的變更是使所述虛擬對(duì)象的顯示位置錯(cuò)開(kāi)。根據(jù)該結(jié)構(gòu)，通過(guò)使虛擬對(duì)象的顯示位置錯(cuò)開(kāi)，狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象被顯示于前側(cè)，因此用戶能夠容易地進(jìn)行對(duì)該現(xiàn)實(shí)對(duì)象的動(dòng)作。產(chǎn)業(yè)上的可利用性本發(fā)明涉及的對(duì)象控制裝置作為在利用了頭戴式顯示器等的虛擬現(xiàn)實(shí)空間，針對(duì) 對(duì)象識(shí)別后的物體動(dòng)態(tài)并且選擇性地設(shè)定、利用與物體的種類(lèi)相符的功能的手段是有用的。
權(quán)利要求
1.一種對(duì)象控制裝置，在虛擬現(xiàn)實(shí)空間進(jìn)行虛擬對(duì)象的顯示控制，其特征在于包括 用戶動(dòng)作檢測(cè)部，檢測(cè)用戶的動(dòng)作； 用戶動(dòng)作通知部，通知表示由所述用戶動(dòng)作檢測(cè)部檢測(cè)到的用戶動(dòng)作的用戶動(dòng)作信息； 現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部，檢測(cè)存在于所述虛擬現(xiàn)實(shí)空間的現(xiàn)實(shí)對(duì)象的狀態(tài)變化； 現(xiàn)實(shí)對(duì)象狀態(tài)通知部，通知表示由所述現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部檢測(cè)到的所述現(xiàn)實(shí)對(duì)象的狀態(tài)變化的狀態(tài)變化信息； 狀態(tài)通信部，通知從所述用戶動(dòng)作通知部通知的用戶動(dòng)作信息和從所述現(xiàn)實(shí)對(duì)象狀態(tài) 通知部通知的狀態(tài)變化信息； 虛擬對(duì)象顯示判斷部，基于從所述狀態(tài)通信部通知的用戶動(dòng)作信息和狀態(tài)變化信息，判斷是否變更所述虛擬對(duì)象的顯示方式以使?fàn)顟B(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象露出； UI生成部，基于所述虛擬對(duì)象顯示判斷部的判斷結(jié)果，生成對(duì)用戶提示的用戶界面UI ;以及 UI顯示部，顯示由所述Π生成部生成的UI。
2.根據(jù)權(quán)利要求I所述的對(duì)象控制裝置，其特征在于還包括 現(xiàn)實(shí)對(duì)象信息管理部，管理用戶動(dòng)作和優(yōu)先度被對(duì)應(yīng)起來(lái)的現(xiàn)實(shí)對(duì)象顯示判斷信息和所述現(xiàn)實(shí)對(duì)象的狀態(tài)變化和優(yōu)先度被對(duì)應(yīng)起來(lái)的現(xiàn)實(shí)對(duì)象屬性信息，其中， 所述虛擬對(duì)象顯示判斷部，根據(jù)所述現(xiàn)實(shí)對(duì)象顯示判斷信息確定與從所述狀態(tài)通信部通知的用戶動(dòng)作信息表示的用戶動(dòng)作相對(duì)應(yīng)的優(yōu)先度，并且，根據(jù)所述現(xiàn)實(shí)對(duì)象屬性信息確定與從所述狀態(tài)通信部通知的狀態(tài)變化信息表示的狀態(tài)變化相對(duì)應(yīng)的優(yōu)先度，通過(guò)比較所確定的兩個(gè)優(yōu)先度，判斷是否變更所述虛擬對(duì)象的顯示方式。
3.根據(jù)權(quán)利要求2所述的對(duì)象控制裝置，其特征在于 所述現(xiàn)實(shí)對(duì)象顯示判斷信息以及所述現(xiàn)實(shí)對(duì)象屬性信息所包含的優(yōu)先度的優(yōu)先順序隨著優(yōu)先度的值的增大而變高， 所述虛擬對(duì)象顯示判斷部，在根據(jù)所述現(xiàn)實(shí)對(duì)象顯示判斷信息確定的優(yōu)先度為根據(jù)所述現(xiàn)實(shí)對(duì)象屬性信息確定的優(yōu)先度以上時(shí)，判斷變更所述虛擬對(duì)象的顯示方式。
4.根據(jù)權(quán)利要求2或3所述的對(duì)象控制裝置，其特征在于 所述虛擬對(duì)象顯示判斷部，在從所述狀態(tài)通信部通知的用戶動(dòng)作信息未包含于所述現(xiàn)實(shí)對(duì)象顯示判斷信息中時(shí)，使該用戶動(dòng)作信息表示的用戶動(dòng)作與包含于所述現(xiàn)實(shí)對(duì)象顯示判斷信息中的用戶動(dòng)作信息近似，判斷是否變更所述虛擬對(duì)象的顯示方式。
5.根據(jù)權(quán)利要求I至4中任一項(xiàng)所述的對(duì)象控制裝置，其特征在于 所述虛擬對(duì)象顯示判斷部，針對(duì)狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象提取存在于遮擋用戶視野的位置的虛擬對(duì)象，變更提取到的虛擬對(duì)象的顯示方式。
6.根據(jù)權(quán)利要求5所述的對(duì)象控制裝置，其特征在于 所述虛擬對(duì)象顯示判斷部，將由狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象和用戶的當(dāng)前位置包圍的區(qū)域設(shè)定為視野區(qū)域，使至少一部分包含于所述視野區(qū)域的所述虛擬對(duì)象的顯示方式變更。
7.根據(jù)權(quán)利要求5或6所述的對(duì)象控制裝置，其特征在于 所述虛擬對(duì)象顯示判斷部，將俯視時(shí)在用戶伸出的手一側(cè)設(shè)定弧且從狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象起具有一定半徑的扇形的區(qū)域設(shè)定為擴(kuò)展視野區(qū)域，使包含于所述擴(kuò)展視野區(qū)域以及所述視野區(qū)域的至少其中之一區(qū)域的虛擬對(duì)象的顯示方式變更。
8.根據(jù)權(quán)利要求8所述的對(duì)象控制裝置，其特征在于 所述擴(kuò)展視野區(qū)域被設(shè)定為，俯視時(shí)，從狀態(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象的中心朝向用戶設(shè)定所述扇形的一邊，且隨著連接所述用戶和所述現(xiàn)實(shí)對(duì)象的中心的直線與用戶伸出的手的朝向所成的角度增大，所述扇形的中心角減小。
9.根據(jù)權(quán)利要求I至8中任一項(xiàng)所述的對(duì)象控制裝置，其特征在于還包括管理包含所述虛擬對(duì)象的位置的虛擬對(duì)象管理信息的虛擬對(duì)象信息管理部，其中， 所述虛擬對(duì)象顯示判斷部，利用所述虛擬對(duì)象管理信息確定所述虛擬對(duì)象的位置。
10.根據(jù)權(quán)利要求I至9中任一項(xiàng)所述的對(duì)象控制裝置，其特征在于還包括管理包含用戶的當(dāng)前位置的用戶位置信息的用戶信息管理部，其中， 所述虛擬對(duì)象顯示判斷部，利用所述用戶位置信息確定用戶的當(dāng)前位置。
11.根據(jù)權(quán)利要求I至10中任一項(xiàng)所述的對(duì)象控制裝置，其特征在于所述虛擬對(duì)象顯示判斷部，在所述虛擬對(duì)象的顯示方式變更之后，當(dāng)由用戶進(jìn)行了使所述顯示方式返回原樣的指定的手勢(shì)時(shí)，使所述顯示方式返回原樣。
12.根據(jù)權(quán)利要求I至11中任一項(xiàng)所述的對(duì)象控制裝置，其特征在于所述顯示方式的變更是使所述虛擬對(duì)象不顯示。
13.根據(jù)權(quán)利要求I至11中任一項(xiàng)所述的對(duì)象控制裝置，其特征在于所述顯示方式的變更是使所述虛擬對(duì)象的顯示位置錯(cuò)開(kāi)。
14.一種對(duì)象控制方法，用于在虛擬現(xiàn)實(shí)空間進(jìn)行虛擬對(duì)象的顯示控制的對(duì)象控制裝置，其特征在于包括 用戶動(dòng)作檢測(cè)步驟，用戶動(dòng)作檢測(cè)部檢測(cè)用戶動(dòng)作； 用戶動(dòng)作通知步驟，用戶動(dòng)作通知部通知表示由所述用戶動(dòng)作檢測(cè)部檢測(cè)到的用戶動(dòng)作的用戶動(dòng)作信息； 現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)步驟，現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部檢測(cè)存在于所述虛擬現(xiàn)實(shí)空間的現(xiàn)實(shí)對(duì)象的狀態(tài)變化； 現(xiàn)實(shí)對(duì)象狀態(tài)通知步驟，現(xiàn)實(shí)對(duì)象狀態(tài)通知部通知表示由所述現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部檢測(cè)到的所述現(xiàn)實(shí)對(duì)象的狀態(tài)變化的狀態(tài)變化信息； 狀態(tài)通信步驟，狀態(tài)通信部通知從所述用戶動(dòng)作通知部通知的用戶動(dòng)作信息和從所述現(xiàn)實(shí)對(duì)象狀態(tài)通知部通知的狀態(tài)變化信息； 虛擬對(duì)象顯示判斷步驟，虛擬對(duì)象顯示判斷部基于從所述狀態(tài)通信部通知的用戶動(dòng)作信息和狀態(tài)變化信息，判斷是否變更所述虛擬對(duì)象的顯示方式以使?fàn)顟B(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象露出； UI生成步驟，UI生成部基于所述虛擬對(duì)象顯示判斷部的判斷結(jié)果，生成對(duì)用戶提示的用戶界面Π ;以及 UI顯示步驟，UI顯示部顯示由所述UI生成部生成的UI。
15.一種對(duì)象控制程序，用于使計(jì)算機(jī)作為在虛擬現(xiàn)實(shí)空間進(jìn)行虛擬對(duì)象的顯示控制的對(duì)象控制裝置而動(dòng)作，其特征在于使計(jì)算機(jī)作為以下各部發(fā)揮功能 用戶動(dòng)作通知部，通知表示由用戶動(dòng)作檢測(cè)部檢測(cè)到的用戶動(dòng)作的用戶動(dòng)作信息；現(xiàn)實(shí)對(duì)象狀態(tài)通知部，通知表示由現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部檢測(cè)到的存在于所述虛擬現(xiàn)實(shí)空間的現(xiàn)實(shí)對(duì)象的狀態(tài)變化的狀態(tài)變化信息； 狀態(tài)通信部，通知從所述用戶動(dòng)作通知部通知的用戶動(dòng)作信息和從所述現(xiàn)實(shí)對(duì)象狀態(tài)通知部通知的狀態(tài)變化信息； 虛擬對(duì)象顯示判斷部，基于從所述狀態(tài)通信部通知的用戶動(dòng)作信息和狀態(tài)變化信息，判斷是否變更所述虛擬對(duì)象的顯示方式以使?fàn)顟B(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象露出；以及 UI生成部，基于所述虛擬對(duì)象顯示判斷部的判斷結(jié)果，生成對(duì)用戶提示的用戶界面UI,并顯示于UI顯示部。
16.一種集成電路，用于在虛擬現(xiàn)實(shí)空間中進(jìn)行虛擬對(duì)象的顯示控制的對(duì)象控制裝置，其特征在于包括 用戶動(dòng)作通知部，通知表示由用戶動(dòng)作檢測(cè)部檢測(cè)到的用戶動(dòng)作的用戶動(dòng)作信息； 現(xiàn)實(shí)對(duì)象狀態(tài)通知部，通知表示由現(xiàn)實(shí)對(duì)象狀態(tài)檢測(cè)部檢測(cè)到的存在于所述虛擬現(xiàn)實(shí)空間的現(xiàn)實(shí)對(duì)象的狀態(tài)變化的狀態(tài)變化信息； 狀態(tài)通信部，通知從所述用戶動(dòng)作通知部通知的用戶動(dòng)作信息和狀態(tài)變化信息；虛擬對(duì)象顯示判斷部，基于從所述狀態(tài)通信部通知的用戶動(dòng)作信息和狀態(tài)變化信息，判斷是否變更所述虛擬對(duì)象的顯示方式以使?fàn)顟B(tài)發(fā)生了變化的現(xiàn)實(shí)對(duì)象露出；以及 UI生成部，基于所述虛擬對(duì)象顯示判斷部的判斷結(jié)果，生成對(duì)用戶提示的用戶界面UI,并顯示于UI顯示部。
全文摘要
虛擬對(duì)象顯示判斷部(106)根據(jù)現(xiàn)實(shí)對(duì)象顯示判斷信息(107)確定與從狀態(tài)通信部(105)通知的用戶動(dòng)作信息表示的用戶動(dòng)作相對(duì)應(yīng)的優(yōu)先度，并且根據(jù)現(xiàn)實(shí)對(duì)象屬性信息(108)確定與從狀態(tài)通信部(105)通知的狀態(tài)變化信息表示的狀態(tài)變化相對(duì)應(yīng)的優(yōu)先度，通過(guò)比較確定的兩個(gè)優(yōu)先度，判斷是否變更虛擬對(duì)象的顯示方式。UI生成部(112)基于虛擬對(duì)象顯示判斷部(106)的判斷結(jié)果，生成對(duì)用戶提示的UI，并顯示于UI顯示部(113)。
文檔編號(hào)G06F3/048GK102859470SQ201280001090
公開(kāi)日2013年1月2日 申請(qǐng)日期2012年2月9日 優(yōu)先權(quán)日2011年3月15日
發(fā)明者安達(dá)孝夫 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社