信息處理設(shè)備和信息處理方法
【專利摘要】一種信息處理設(shè)備包括處理電路，該處理電路被配置為基于真實(shí)對(duì)象和預(yù)定對(duì)象之間的顯示位置關(guān)系來(lái)發(fā)出與真實(shí)對(duì)象有關(guān)的控制命令。真實(shí)對(duì)象是有形的可移動(dòng)對(duì)象，并且預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象和虛擬對(duì)象中的至少一個(gè)。
【專利說(shuō)明】信息處理設(shè)備和信息處理方法

【技術(shù)領(lǐng)域】
[0001]本公開(kāi)涉及一種信息處理設(shè)備和信息處理方法。

【背景技術(shù)】
[0002]近來(lái)已經(jīng)公開(kāi)了許多與AR (augmented reality,增強(qiáng)現(xiàn)實(shí))有關(guān)的技術(shù)，AR通過(guò)在用成像設(shè)備拍攝的圖像之上疊加與該圖像相關(guān)聯(lián)的信息、該圖像中包括的目標(biāo)對(duì)象等來(lái)擴(kuò)展現(xiàn)實(shí)世界。
[0003]例如，下述的專利文獻(xiàn)I公開(kāi)了一種用于給圖像提供與圖像的拍攝位置和朝向相對(duì)應(yīng)的標(biāo)簽的技術(shù)。此外，下述的專利文獻(xiàn)2公開(kāi)了一種與能夠通過(guò)利用混合現(xiàn)實(shí)(mixedreality, MR)技術(shù)來(lái)有效地利用顯示屏幕之外的空間區(qū)域的用戶界面有關(guān)的技術(shù)。
[0004]引用列表
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)I JP 2011_244058A
[0007]專利文獻(xiàn)2 JP 2011-283O9A


【發(fā)明內(nèi)容】

[0008]技術(shù)問(wèn)題
[0009]但是，上述文獻(xiàn)沒(méi)有公開(kāi)一種允許用戶通過(guò)利用在現(xiàn)實(shí)世界中存在的真實(shí)對(duì)象來(lái)直接操作虛擬信息或虛擬對(duì)象的方法。因此，鑒于這種情形而作出的本技術(shù)旨在提供一種能夠通過(guò)利用在現(xiàn)實(shí)世界中存在的真實(shí)對(duì)象來(lái)直接操作虛擬信息或虛擬對(duì)象的新的改進(jìn)的信息處理設(shè)備、信息處理方法和程序。
[0010]解決問(wèn)題的方案
[0011]一種信息處理設(shè)備包括處理電路，該處理電路被配置為基于真實(shí)對(duì)象和預(yù)定對(duì)象之間的顯示位置關(guān)系來(lái)發(fā)出與真實(shí)對(duì)象有關(guān)的控制命令。真實(shí)對(duì)象是有形的可移動(dòng)對(duì)象，預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象和虛擬對(duì)象中的至少一個(gè)。
[0012]本發(fā)明的有益效果
[0013]根據(jù)如上所述的本公開(kāi)，可以利用在現(xiàn)實(shí)世界中存在的真實(shí)對(duì)象來(lái)直接操作虛擬信息和虛擬對(duì)象。

【專利附圖】

【附圖說(shuō)明】
[0014]圖1是示出在沒(méi)有利用MR時(shí)使用用戶界面的操作方法的說(shuō)明圖。
[0015]圖2是示出使用AR虛擬桌面應(yīng)用中的用戶界面的操作方法的說(shuō)明圖。
[0016]圖3是示出用于利用AR虛擬桌面應(yīng)用的裝置的配置例的說(shuō)明圖。
[0017]圖4是示出用于在AR虛擬桌面應(yīng)用中利用的裝置的配置例的說(shuō)明圖。
[0018]圖5是示出真實(shí)對(duì)象的識(shí)別方法的說(shuō)明圖。
[0019]圖6是示出根據(jù)第一實(shí)施例的信息處理設(shè)備的功能配置的說(shuō)明圖。
[0020]圖7是示出根據(jù)第一實(shí)施例的命令發(fā)出處理流程的示例的流程圖。
[0021]圖8是示出基于真實(shí)對(duì)象和虛擬對(duì)象之間的位置關(guān)系的命令發(fā)出處理的說(shuō)明圖。
[0022]圖9是示出基于多個(gè)真實(shí)對(duì)象之間的位置關(guān)系的命令發(fā)出處理的說(shuō)明圖。
[0023]圖10是示出基于真實(shí)對(duì)象和顯示對(duì)象之間的位置關(guān)系的命令發(fā)出處理的說(shuō)明圖。
[0024]圖11是示出從多首歌曲中選擇期望的歌曲的方法的說(shuō)明圖。
[0025]圖12是示出多個(gè)虛擬對(duì)象的顯示例的說(shuō)明圖。
[0026]圖13是示出利用多個(gè)虛擬對(duì)象的操作方法的說(shuō)明圖。
[0027]圖14是示出根據(jù)第一實(shí)施例的技術(shù)的應(yīng)用例的說(shuō)明圖。
[0028]圖15是示出根據(jù)第一實(shí)施例的技術(shù)的應(yīng)用例的說(shuō)明圖。
[0029]圖16是示出根據(jù)第一實(shí)施例的技術(shù)的應(yīng)用例的說(shuō)明圖。
[0030]圖17是示出根據(jù)第一實(shí)施例的技術(shù)的應(yīng)用例的說(shuō)明圖。
[0031]圖18是示出根據(jù)第二實(shí)施例的信息處理設(shè)備的功能配置的說(shuō)明圖。
[0032]圖19是示出根據(jù)第二實(shí)施例的命令發(fā)出處理流程的示例的流程圖。
[0033]圖20是示出利用姿勢(shì)的選擇屏幕切換方法的說(shuō)明圖。
[0034]圖21是示出利用姿勢(shì)的執(zhí)行操作方法的說(shuō)明圖。
[0035]圖22是示出能夠執(zhí)行根據(jù)本公開(kāi)的信息處理設(shè)備的功能的硬件配置的說(shuō)明圖。

【具體實(shí)施方式】
[0036]在下文中，將參照附圖詳細(xì)地描述本公開(kāi)的優(yōu)選實(shí)施例。注意，在本說(shuō)明書(shū)和附圖中，具有基本上相同的功能和結(jié)構(gòu)的構(gòu)成要素用相同的附圖標(biāo)記表示，并且省略對(duì)這些構(gòu)成要素的重復(fù)說(shuō)明。
[0037]將按照以下順序進(jìn)行描述。
[0038]1:引言
[0039]1-1關(guān)于AR虛擬桌面應(yīng)用
[0040]1-2關(guān)于物理對(duì)象識(shí)別技術(shù)
[0041]2:第一實(shí)施例(利用對(duì)象之間的位置關(guān)系的用戶界面)
[0042]2-1:系統(tǒng)配置例
[0043]2-2:信息處理設(shè)備100的配置
[0044]2-3:信息處理設(shè)備100的操作
[0045]2-4:關(guān)于操作方法
[0046]2-5:應(yīng)用例
[0047]3:第二實(shí)施例(考慮姿勢(shì)的操作界面)
[0048]3-1:系統(tǒng)配置例
[0049]3-2:信息處理設(shè)備100的配置
[0050]3-3:信息處理設(shè)備100的操作
[0051]3-4:關(guān)于操作方法
[0052]4:硬件配置例
[0053]5:總結(jié)
[0054]〈1:引言〉
[0055]首先，將介紹與本實(shí)施例有關(guān)的技術(shù)。
[0056]1-1:關(guān)于AR虛擬桌面應(yīng)用
[0057]首先，作為與本實(shí)施例有關(guān)的技術(shù)的示例，將介紹AR虛擬桌面應(yīng)用。本技術(shù)涉及能夠通過(guò)利用混合現(xiàn)實(shí)(MR)技術(shù)來(lái)有效地利用顯示屏幕之外的空間區(qū)域的用戶界面?，F(xiàn)在將參照?qǐng)D1至4簡(jiǎn)要地描述該技術(shù)。
[0058]圖1是示出使用正常用戶界面(即，沒(méi)有利用MR時(shí))的操作方法的說(shuō)明圖。另一方面，圖2是示出使用AR虛擬桌面應(yīng)用中的用戶界面(S卩，利用MR時(shí))的操作方法的說(shuō)明圖。此外，圖3是示出用于利用AR虛擬桌面應(yīng)用的裝置的配置例的說(shuō)明圖。
[0059]對(duì)于沒(méi)有利用MR的正常用戶界面，如圖1所示，用戶可以通過(guò)操作鼠標(biāo)，在顯示設(shè)備DSP的顯示屏幕內(nèi)移動(dòng)在該顯示屏幕上顯示的顯示鼠標(biāo)光標(biāo)D_CUR。
[0060]用戶通過(guò)操作鼠標(biāo)將顯示鼠標(biāo)光標(biāo)D_CUR移動(dòng)到顯示設(shè)備DSP的顯示屏幕上顯示的顯示對(duì)象D_0BJ上。然后，用戶通過(guò)執(zhí)行預(yù)定的鼠標(biāo)操作來(lái)指定顯示鼠標(biāo)光標(biāo)D_CUR，并通過(guò)移動(dòng)鼠標(biāo)，可以在顯示設(shè)備DSP的顯示屏幕內(nèi)移動(dòng)指定的對(duì)象。
[0061]但是,如果顯示鼠標(biāo)光標(biāo)D_CUR或顯示對(duì)象D_0BJ位于顯示設(shè)備DSP顯示屏幕的邊緣，則即使用戶沿著使顯示鼠標(biāo)光標(biāo)D_CUR向外進(jìn)一步移動(dòng)的方向移動(dòng)鼠標(biāo),顯示鼠標(biāo)光標(biāo)D_CUR也不能移動(dòng)得超出顯示屏幕。
[0062]另一方面，對(duì)于在利用MR的AR虛擬桌面應(yīng)用中的用戶界面，如圖2所示，虛擬鼠標(biāo)光標(biāo)V_CUR和虛擬對(duì)象V_0BJ被顯示得超出顯示設(shè)備DSP的顯示屏幕。
[0063]在本公開(kāi)中，術(shù)語(yǔ)“虛擬對(duì)象”是指基于MR技術(shù)在用戶佩戴的頭戴式顯示器(HMD)上顯示的用戶可見(jiàn)的對(duì)象。但是，虛擬對(duì)象不能由成像設(shè)備拍攝。相反，在現(xiàn)實(shí)世界中存在的真實(shí)對(duì)象(有形的對(duì)象)和在顯示設(shè)備DSP上顯示的顯示對(duì)象能夠由成像設(shè)備拍攝。
[0064]此外,類似于正常用戶界面,顯示鼠標(biāo)光標(biāo)D_CUR和顯示對(duì)象D_0B J被顯示在顯示設(shè)備DSP的顯示屏幕內(nèi)。顯示鼠標(biāo)光標(biāo)D_CUR和顯示對(duì)象D_0BJ的顯示與虛擬鼠標(biāo)光標(biāo)V_⑶R和虛擬對(duì)象V_0BJ的顯示具有連續(xù)性。如圖2所示，當(dāng)顯示鼠標(biāo)光標(biāo)D_CUR和顯示對(duì)象D_0BJ被移動(dòng)得超出顯示設(shè)備DSP時(shí)，超出顯示設(shè)備DSP顯示虛擬鼠標(biāo)光標(biāo)V_CUR和虛擬對(duì)象V_0BJ。
[0065]因此，對(duì)于AR虛擬桌面應(yīng)用中的用戶界面，由于利用超出顯示設(shè)備DSP的空間區(qū)域，所以便利性高。
[0066]例如，如上述的利用MR技術(shù)的AR虛擬桌面應(yīng)用那樣的AR虛擬桌面應(yīng)用由諸如圖3中示出的裝置配置來(lái)實(shí)現(xiàn)。如圖3所示，用戶U利用照相機(jī)CA和頭戴式顯示器HMD。請(qǐng)注意，還可以使用包括與它們等同的功能的裝置。例如，由于諸如裝備有照相機(jī)的移動(dòng)電話或智能電話的裝置包括圖像拍攝功能和顯示功能，所以可以利用這種裝置替代圖3中示出的配置。但是，為了方便下面的描述，將使用配置組合了照相機(jī)CA和頭戴式顯示器HMD的示例來(lái)進(jìn)行描述。
[0067]頭戴式顯示器HMD顯示由照相機(jī)CA拍攝的目標(biāo)對(duì)象的圖像。另外，頭戴式顯示器HMD在目標(biāo)對(duì)象的這個(gè)圖像之上疊加虛擬鼠標(biāo)光標(biāo)V_CUR和虛擬對(duì)象V_0BJ。在圖3中示出的示例中，虛擬應(yīng)用窗口在頭戴式顯示器HMD上被顯示為虛擬對(duì)象V_0BJ。照相機(jī)CA以指向用戶的視線方向的方式被設(shè)置在頭戴式顯示器HMD中。
[0068]在AR虛擬桌面應(yīng)用中，由用戶U操作的真實(shí)對(duì)象(鼠標(biāo)光標(biāo)等)的位置被用來(lái)確定在拍攝圖像上疊加顯示的虛擬對(duì)象￥_(?】的位置。因此，用戶需要預(yù)先掌握利用鼠標(biāo)光標(biāo)等的用戶界面的操作過(guò)程。顯然，當(dāng)執(zhí)行某種操作時(shí)，例如，需要移動(dòng)鼠標(biāo)光標(biāo)。
[0069]例如，當(dāng)播放音樂(lè)內(nèi)容時(shí)，用戶必須通過(guò)搜索按音樂(lè)內(nèi)容數(shù)據(jù)文件存儲(chǔ)的文件夾來(lái)執(zhí)行回放操作，并且用鼠標(biāo)選擇期望的音樂(lè)內(nèi)容。在這種情況下，用戶需要預(yù)先知道諸如內(nèi)容文件的虛擬信息所處的位置。盡管存在能夠利用虛擬空間的環(huán)境的事實(shí)，但是這種操作只是在擴(kuò)展桌面。也就是說(shuō)，這種操作不能被認(rèn)為是充分地利用MR技術(shù)。
[0070]因此，本發(fā)明的發(fā)明人想到通過(guò)用于利用操作與諸如鼠標(biāo)的操作裝置不同的物品來(lái)實(shí)現(xiàn)直觀的用戶界面，以有效地利用MR技術(shù)。具體地，如圖4所示，本發(fā)明的發(fā)明人想到了利用用戶正試圖播放的實(shí)際的壓縮盤(CD)作為操作目標(biāo)以使得能夠播放對(duì)應(yīng)于該CD的音樂(lè)內(nèi)容，而不是在播放音樂(lè)內(nèi)容時(shí)選擇音樂(lè)內(nèi)容數(shù)據(jù)文件的技術(shù)。顯然，該技術(shù)并不限于音樂(lè)內(nèi)容，并且可以被應(yīng)用于視頻內(nèi)容、書(shū)閱讀器等。
[0071]為了以具體的方式實(shí)現(xiàn)上述想法，需要用于識(shí)別諸如實(shí)際⑶的物品的位置、運(yùn)動(dòng)、類型、屬性等的技術(shù)(在下文中稱為“物理對(duì)象識(shí)別技術(shù)”)。因此，在詳細(xì)地描述與本實(shí)施例有關(guān)的技術(shù)之前，將討論物理對(duì)象識(shí)別技術(shù)。請(qǐng)注意，在下面的描述中，諸如實(shí)際CD等的物品也被稱為“真實(shí)對(duì)象”。真實(shí)對(duì)象的此示例是可移動(dòng)的，也是便攜式的(用戶容易攜帶)。
[0072]1-2關(guān)于物理對(duì)象識(shí)別技術(shù)
[0073]如圖5所示，通過(guò)用物理對(duì)象識(shí)別設(shè)備基于由用戶佩戴的照相機(jī)CA拍攝的圖像來(lái)識(shí)別在拍攝的圖像中包括的真實(shí)對(duì)象的位置、朝向、形狀、類型等，來(lái)執(zhí)行物理對(duì)象識(shí)別技術(shù)。物理對(duì)象識(shí)別設(shè)備使用的物理對(duì)象識(shí)別技術(shù)的已知示例是“加速魯棒特征(Speeded-UpRobust Features, SURF)”。
[0074]SURF是從在拍攝的圖像中包括的各種真實(shí)對(duì)象選擇特征點(diǎn)并檢測(cè)選擇的特征點(diǎn)的位置以及照相機(jī)的位置和朝向的技術(shù)。例如，SURF的基本處理在“H.Bay，A.Ess, T.Tuytelaars and L.V.Gool, “Speeded-Up Robust Features (SURF)，，，ComputerVis1n-ECCV(2006) ” 中被描述。
[0075]通過(guò)應(yīng)用SURF或某一其它技術(shù)，可以識(shí)別真實(shí)對(duì)象的形狀、朝向、位置、類型等。例如，如圖5所示，如果用戶把CD盒拿在手里并且CD盒在照相機(jī)的成像范圍中，則可以使用上述的物理對(duì)象識(shí)別技術(shù)基于由照相機(jī)拍攝的圖像來(lái)識(shí)別CD盒的形狀等。此外，通過(guò)利用該識(shí)別結(jié)果，可以檢測(cè)真實(shí)世界中的物理對(duì)象(在這種情況下，CD盒)和真實(shí)對(duì)象或虛擬對(duì)象之間的位置關(guān)系。
[0076]在上文中，介紹了與本實(shí)施例有關(guān)的技術(shù)。雖然為了容易說(shuō)明而描述了具有HMD和照相機(jī)的頭戴式裝置的示例，但是根據(jù)本實(shí)施例的技術(shù)的應(yīng)用范圍不限于此。
[0077]<2:第一實(shí)施例(利用對(duì)象之間的位置關(guān)系的用戶界面)>
[0078]現(xiàn)在將描述本技術(shù)的第一實(shí)施例。第一實(shí)施例涉及利用對(duì)象之間的位置關(guān)系的用戶界面的配置。特別地，本實(shí)施例涉及用于實(shí)現(xiàn)利用諸如CD盒的真實(shí)對(duì)象的直觀用戶界面的技術(shù)。
[0079]2-1:系統(tǒng)配置例
[0080] 首先，將描述能夠?qū)崿F(xiàn)根據(jù)第一實(shí)施例的技術(shù)的系統(tǒng)的配置例。該系統(tǒng)由例如成像單元101、信息處理設(shè)備100、顯示單元104、輸出控制設(shè)備200和輸出裝置210構(gòu)成。但是，信息處理設(shè)備100可以與成像單元101和顯示單元104 —體地形成。此外，輸出裝置210可以是輸出音頻的音頻輸出裝置或者顯示圖像的顯示裝置。另外，信息處理設(shè)備100的功能中的一些或全部可以由云計(jì)算系統(tǒng)實(shí)現(xiàn)。在下面，描述將關(guān)注于信息處理設(shè)備100的配置。
[0081]2-2:信息處理設(shè)備100的配置(圖6)
[0082]將參照?qǐng)D6描述根據(jù)第一實(shí)施例的信息處理設(shè)備100的配置。圖6是示出信息處理設(shè)備100的功能配置的說(shuō)明圖。如圖6所示，信息處理設(shè)備100主要包括成像單元101、三維信息分析單元102、虛擬對(duì)象管理單元103、顯示單元104、位置關(guān)系分析單元105、命令發(fā)出單元106和通信單元107。
[0083]例如，成像單元101包括用于收集從真實(shí)對(duì)象入射的光的透鏡和用于基于接收到的光的量來(lái)產(chǎn)生電信號(hào)的圖像傳感器。例如，拍攝真實(shí)對(duì)象的圖像的成像單元101可以是在由用戶佩戴的HMD上設(shè)置的照相機(jī)CA。
[0084]可以利用的圖像傳感器的示例包括CXD圖像傳感器和CMOS圖像傳感器。成像單元101拍攝真實(shí)對(duì)象的圖像，并且將拍攝的圖像輸出到三維信息分析單元102和顯示單元104。
[0085]三維信息分析單元102分析在從成像單元101輸入的拍攝圖像中包括的三維信息。三維信息分析單元102包括位置/朝向檢測(cè)單元121和對(duì)象識(shí)別單元122。
[0086]三維信息分析單元102中的位置/朝向檢測(cè)單元121分析輸入的真實(shí)對(duì)象的拍攝圖像，并且檢測(cè)真實(shí)對(duì)象的三維空間中的位置和朝向。例如，可以使用上述SURF技術(shù)來(lái)執(zhí)行該檢測(cè)方法。位置/朝向檢測(cè)單元121將檢測(cè)到的真實(shí)對(duì)象的位置和朝向輸出到虛擬對(duì)象管理單元103。
[0087]三維信息分析單元102中的對(duì)象識(shí)別單元122分析輸入的真實(shí)對(duì)象的拍攝圖像，并且識(shí)別真實(shí)對(duì)象的ID。
[0088]例如，對(duì)象識(shí)別單元122從輸入的真實(shí)對(duì)象的拍攝圖像檢測(cè)一個(gè)或多個(gè)特征點(diǎn)的位置。此外，對(duì)象識(shí)別單元122將輸入的真實(shí)對(duì)象的特征點(diǎn)的位置與在諸如內(nèi)存的存儲(chǔ)單元(未示出)中存儲(chǔ)的多個(gè)真實(shí)對(duì)象的特征點(diǎn)的位置匹配。
[0089]對(duì)于多個(gè)真實(shí)對(duì)象中的每一個(gè)，該存儲(chǔ)單元存儲(chǔ)這些真實(shí)對(duì)象的ID和每一個(gè)特征點(diǎn)的位置。對(duì)象識(shí)別單元122將其特征點(diǎn)被存儲(chǔ)在存儲(chǔ)單元中的多個(gè)真實(shí)對(duì)象當(dāng)中具有離輸入的真實(shí)對(duì)象的特征點(diǎn)的距離最短的特征點(diǎn)的真實(shí)對(duì)象的ID設(shè)置為輸入的真實(shí)對(duì)象的ID。例如，特征點(diǎn)是位于多邊形的方形或圓形的周線上的點(diǎn)。對(duì)象識(shí)別單元122將識(shí)別的真實(shí)對(duì)象ID輸出到虛擬對(duì)象管理單元103。
[0090]虛擬對(duì)象管理單元103獲取與真實(shí)對(duì)象相對(duì)應(yīng)的虛擬對(duì)象，并且基于識(shí)別的真實(shí)對(duì)象的ID和位置來(lái)控制該虛擬對(duì)象將被疊加的位置。此外，虛擬對(duì)象管理單元103包括虛擬對(duì)象獲取單元131和疊加位置控制單元132。
[0091]虛擬對(duì)象獲取單元131從數(shù)據(jù)庫(kù)獲取關(guān)于與識(shí)別的真實(shí)對(duì)象的ID相對(duì)應(yīng)的虛擬對(duì)象的顯示信息，該數(shù)據(jù)庫(kù)例如被預(yù)先存儲(chǔ)在內(nèi)存或其它這種存儲(chǔ)單元中。例如，如果輸入的真實(shí)對(duì)象被識(shí)別為CD，則可以從數(shù)據(jù)庫(kù)獲取具有音符的形狀的圖標(biāo)作為對(duì)應(yīng)的虛擬對(duì)象。虛擬對(duì)象獲取單元131將獲取的虛擬對(duì)象顯示信息輸出到顯示單元104和位置關(guān)系分析單元105。
[0092]疊加位置控制單元132基于檢測(cè)到的真實(shí)對(duì)象的位置和朝向，控制由虛擬對(duì)象獲取單元131獲取的虛擬對(duì)象將被疊加的位置。例如，疊加位置控制單元132計(jì)算作為檢測(cè)到的真實(shí)對(duì)象的CD的中心的位置，并且在計(jì)算出的位置上疊加虛擬對(duì)象。疊加位置控制單元132把要疊加虛擬對(duì)象的位置輸出到顯示單元104和位置關(guān)系分析單元105。
[0093]顯示單元104在包括真實(shí)對(duì)象的拍攝圖像上疊加從虛擬對(duì)象管理單元103輸入的虛擬對(duì)象。
[0094]實(shí)時(shí)地執(zhí)行由成像單元101進(jìn)行的對(duì)真實(shí)對(duì)象的圖像的拍攝、由三維信息分析單元102進(jìn)行的對(duì)拍攝圖像的三維信息分析、以及由虛擬對(duì)象管理單元103進(jìn)行的對(duì)虛擬對(duì)象的獲取和位置控制。結(jié)果，如果用戶移動(dòng)真實(shí)對(duì)象，則與該真實(shí)對(duì)象相對(duì)應(yīng)的虛擬對(duì)象也移動(dòng)以跟隨真實(shí)對(duì)象。
[0095]位置關(guān)系分析單元105分析在由成像單元101拍攝的圖像中包括的給定真實(shí)對(duì)象(在下文中，“真實(shí)對(duì)象A”)和不同于對(duì)象A的預(yù)定對(duì)象(在下文中，“對(duì)象B”)之間的位置關(guān)系。現(xiàn)在將考慮對(duì)象A是CD且對(duì)象B是用于CD回放的應(yīng)用窗口的示例。
[0096]例如，這里作為用于⑶回放的應(yīng)用窗口的對(duì)象B可以是在顯示裝置(例如，圖4中示出的顯示設(shè)備DSP等)上顯示的顯示對(duì)象或者在諸如HMD的顯示單元104上顯示的虛擬對(duì)象。但是，在本示例中，對(duì)象B的位置沒(méi)有跟隨對(duì)象A的位置。
[0097]如果對(duì)象B是諸如由顯示裝置顯示的應(yīng)用窗口的顯示對(duì)象，則真實(shí)對(duì)象A和對(duì)象B被包括在由成像單元101拍攝的圖像中。該拍攝圖像由三維信息分析單元102分析，由此檢測(cè)真實(shí)對(duì)象A的位置和朝向以及顯示對(duì)象B的位置和朝向。位置關(guān)系分析單元105分析由三維信息分析單元102分析的真實(shí)對(duì)象A和真實(shí)對(duì)象B之間的位置關(guān)系。
[0098]另一方面，例如，如果對(duì)象B是諸如虛擬應(yīng)用窗口的虛擬對(duì)象，則疊加位置控制單元132與由成像單元101拍攝的真實(shí)對(duì)象A的位置和朝向毫無(wú)相關(guān)地控制對(duì)象B的位置和朝向。疊加位置控制單元132還可以基于由成像單元101拍攝的真實(shí)對(duì)象A的初始位置和朝向來(lái)控制對(duì)象B的位置和朝向。
[0099]如果對(duì)象B是虛擬對(duì)象，則位置關(guān)系分析單元105分析由三維信息分析單元102分析的真實(shí)對(duì)象A與由虛擬對(duì)象管理單元103控制的虛擬對(duì)象B之間的位置關(guān)系。
[0100]位置關(guān)系分析單元105將關(guān)于真實(shí)對(duì)象A和對(duì)象B是否處于預(yù)定位置關(guān)系(諸如，靠近)的信號(hào)輸出到命令發(fā)出單元106。
[0101]更具體地，位置關(guān)系分析單元105計(jì)算真實(shí)對(duì)象A和對(duì)象B之間的三維空間中的距離。如果計(jì)算出的距離等于或小于預(yù)定閾值，則位置關(guān)系分析單元105確定真實(shí)對(duì)象A和對(duì)象B靠近，并且將預(yù)定的電信號(hào)輸出到命令發(fā)出單元106。此外，真實(shí)對(duì)象A和對(duì)象B之間的距離的計(jì)算可以通過(guò)只考慮在預(yù)定的方向上的距離來(lái)進(jìn)行。
[0102]但是，當(dāng)計(jì)算真實(shí)對(duì)象A和對(duì)象B之間的三維空間中的距離時(shí)，如果對(duì)象B是顯示對(duì)象，則基于顯示裝置的顯示平面的坐標(biāo)必須被轉(zhuǎn)換為三維空間坐標(biāo)。例如，對(duì)于基于顯示裝置的顯示平面的坐標(biāo)，顯示裝置中的顯示屏幕的一角用作原點(diǎn)。此外，形成該角的兩條邊中的一條邊被取為X軸，另一條邊被取為I軸。
[0103]如果從位置關(guān)系分析單元105輸入了指示真實(shí)對(duì)象A和對(duì)象B處于預(yù)定位置關(guān)系的信號(hào)，則命令發(fā)出單元106發(fā)出與真實(shí)對(duì)象A有關(guān)的預(yù)定命令。此外，該預(yù)定命令可以與真實(shí)對(duì)象A有關(guān),也與對(duì)象B有關(guān)。
[0104]例如，如果真實(shí)對(duì)象A是CD，則當(dāng)使該CD靠近用于CD回放的應(yīng)用窗口(對(duì)象B)時(shí)，命令發(fā)出單元106發(fā)出執(zhí)行CD回放的命令。
[0105]這里，信息處理設(shè)備100通過(guò)有線或無(wú)線網(wǎng)絡(luò)與輸出控制設(shè)備200連接。發(fā)出的命令通過(guò)通信單元107被發(fā)送到輸出控制設(shè)備200。輸出控制設(shè)備200通過(guò)執(zhí)行接收到的命令來(lái)控制輸出裝置210。輸出裝置210可以是音頻回放裝置、視頻回放裝置等。
[0106]輸出控制設(shè)備200可以是信息處理設(shè)備100的一部分。在這種情況下，從圖6中示出的信息處理設(shè)備100的配置中去除通信單元107，從而將命令從命令發(fā)出單元106直接發(fā)送到輸出控制設(shè)備200。
[0107]在上文中，主要描述了信息處理設(shè)備100的配置。
[0108]2-3:信息處理設(shè)備100的操作(圖7)
[0109]接下來(lái)，將參照?qǐng)D7描述根據(jù)第一實(shí)施例的信息處理設(shè)備100的操作。圖7是示出根據(jù)第一實(shí)施例的信息處理設(shè)備100的操作的流程圖。
[0110]如圖7所示，首先，信息處理設(shè)備100從拍攝圖像檢測(cè)真實(shí)對(duì)象(S101)。在此階段，信息處理設(shè)備100檢測(cè)真實(shí)對(duì)象的位置和朝向。然后，信息處理設(shè)備100從拍攝圖像識(shí)別真實(shí)對(duì)象的類型(S102)。接下來(lái)，信息處理設(shè)備100基于真實(shí)對(duì)象的類型、位置等，獲取要在虛擬空間中顯示的預(yù)定的虛擬對(duì)象(S103)。例如，如果真實(shí)對(duì)象是CD盒，則信息處理設(shè)備100獲取由音符標(biāo)記的圖標(biāo)或音樂(lè)播放器畫(huà)面作為虛擬對(duì)象。
[0111]接下來(lái)，信息處理設(shè)備100顯示和疊加在步驟S103中獲取的虛擬對(duì)象(S104)。例如，信息處理設(shè)備100在虛擬空間中顯示音樂(lè)播放器畫(huà)面，或者在CD盒上疊加由音符標(biāo)記的圖標(biāo)。然后，信息處理設(shè)備100基于真實(shí)對(duì)象的位置和朝向來(lái)控制虛擬對(duì)象的顯示位置(S105)。例如，如果用戶已經(jīng)使⑶盒靠近音樂(lè)播放器畫(huà)面，則信息處理設(shè)備100移動(dòng)疊加在CD盒上的圖標(biāo)以跟隨CD盒的移動(dòng)。
[0112]接下來(lái)，信息處理設(shè)備100檢測(cè)真實(shí)對(duì)象和預(yù)定對(duì)象之間的位置關(guān)系(例如，音樂(lè)播放器畫(huà)面等，或者窗口)(S106)。然后，信息處理設(shè)備100確定在步驟S106中檢測(cè)到的位置關(guān)系是否滿足預(yù)定的位置關(guān)系(S107)。例如，信息處理設(shè)備100確定真實(shí)對(duì)象和預(yù)定對(duì)象是否接觸，或者確定真實(shí)對(duì)象和預(yù)定對(duì)象之間的距離是否等于或小于預(yù)定的距離。
[0113]如果真實(shí)對(duì)象和預(yù)定對(duì)象處于預(yù)定的位置關(guān)系，則處理前進(jìn)到步驟S108。另一方面，如果真實(shí)對(duì)象和預(yù)定對(duì)象未處于預(yù)定的位置關(guān)系，則處理返回到步驟S105。如果處理前進(jìn)到步驟S108，則信息處理設(shè)備100基于真實(shí)對(duì)象的類型、預(yù)定對(duì)象的類型或者位置關(guān)系，發(fā)出預(yù)設(shè)定的命令(S108)，然后結(jié)束與命令發(fā)出處理有關(guān)的這一系列處理。下面將描述各個(gè)對(duì)象的具體示例、各命令的具體示例以及具體的操作方法。
[0114]在上文中，描述了根據(jù)第一實(shí)施例的信息處理設(shè)備100的操作。雖然描述了在基于位置關(guān)系發(fā)出命令時(shí)執(zhí)行的基本處理的流程，但是，可選地，處理步驟中的一些可以互換或被修改。此外，應(yīng)用這里描述的基本處理流程的下述的各操作方法可以構(gòu)成可執(zhí)行的用戶界面。
[0115]2-4:關(guān)于操作方法
[0116]接下來(lái)，將參照?qǐng)D8至12描述可以使用根據(jù)第一實(shí)施例的信息處理設(shè)備100的功能執(zhí)行的用戶界面及其操作方法的示例。
[0117](使真實(shí)對(duì)象靠近虛擬對(duì)象(窗口)的操作(圖8))
[0118]首先，將參照?qǐng)D8描述使真實(shí)對(duì)象靠近虛擬對(duì)象(窗口)的操作方法。圖8是示出基于真實(shí)對(duì)象和虛擬對(duì)象之間的位置關(guān)系的命令發(fā)出處理的說(shuō)明圖。如圖8所示，佩戴設(shè)置有照相機(jī)CA的HMD的用戶可以把CD作為真實(shí)對(duì)象R_0BJ移動(dòng)到期望的位置。
[0119]此外，用戶佩戴的HMD疊加由照相機(jī)CA(其由圖8中示出的示例中的顯示裝置包括)拍攝的圖像(參考圖像或參考場(chǎng)景)，并且在增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分中顯示虛擬對(duì)象V_0BJ。在圖8中示出的示例中，作為虛擬對(duì)象V_0BJ，顯示與作為真實(shí)對(duì)象R_0BJ的CD相對(duì)應(yīng)的用于CD回放的應(yīng)用窗口。
[0120]用戶可以通過(guò)觀看在HMD上顯示的畫(huà)面來(lái)識(shí)別在真實(shí)對(duì)象R_0BJ和虛擬對(duì)象V_OBJ之間的位置關(guān)系。
[0121]用戶移動(dòng)作為真實(shí)對(duì)象R_0BJ的CD以使其靠近作為虛擬對(duì)象V_0BJ的應(yīng)用窗口。此時(shí)，真實(shí)對(duì)象R_0BJ由成像單元101拍攝，并且由三維信息分析單元102分析其位置。此外，位置關(guān)系分析單元105檢測(cè)到已經(jīng)使真實(shí)對(duì)象R_0BJ和虛擬對(duì)象V_0BJ靠近在一起，并且輸出預(yù)定的信號(hào)。
[0122]當(dāng)從位置關(guān)系分析單元105輸出指示使真實(shí)對(duì)象R_0BJ和虛擬對(duì)象V_0BJ靠近在一起的信號(hào)時(shí)，從命令發(fā)出單元106發(fā)出預(yù)定的命令。
[0123]在圖8中示出的示例中，發(fā)出用于執(zhí)行在CD上包括的歌曲的回放的命令作為預(yù)定的命令，并且從作為輸出裝置210的揚(yáng)聲器播放在⑶上包括的歌曲。
[0124]因此，通過(guò)直接操作真實(shí)對(duì)象R_0BJ，用戶可以只通過(guò)改變?cè)贖MD上顯示的虛擬對(duì)象V_0BJ和真實(shí)對(duì)象R_0BJ之間的位置關(guān)系來(lái)播放在CD上包括的歌曲。因此，用戶不需要掌握用于發(fā)出預(yù)定的命令的復(fù)雜操作方法。此外，用戶也不需要搜索歌曲的數(shù)據(jù)文件。另外，由于利用實(shí)際對(duì)象來(lái)進(jìn)行操作，所以操作自身是非常直觀的。
[0125](使真實(shí)對(duì)象靠近另一個(gè)真實(shí)對(duì)象的操作+圖標(biāo)操作(圖9))
[0126]接下來(lái)，將參照?qǐng)D9描述用于使真實(shí)對(duì)象靠近另一個(gè)真實(shí)對(duì)象(在圖9中示出的示例中，CD播放器)的操作方法。圖9是示出基于真實(shí)對(duì)象和另一個(gè)真實(shí)對(duì)象之間的位置關(guān)系的命令發(fā)出處理的說(shuō)明圖。如圖9所示，佩戴設(shè)置有照相機(jī)CA的HMD的用戶可以將CD作為真實(shí)對(duì)象R_0BJ1移動(dòng)到期望的位置。
[0127]此外，用戶佩戴的HMD疊加由照相機(jī)CA(由在圖9中示出的示例中的顯示裝置包括)拍攝的圖像,并且顯示虛擬對(duì)象V_0BJ。在圖9中示出的示例中，作為虛擬對(duì)象￥_(?】，顯示與作為真實(shí)對(duì)象R_0BJ1的CD相對(duì)應(yīng)的音符圖標(biāo)。
[0128] 用戶可以通過(guò)觀看在HMD上顯示的畫(huà)面來(lái)識(shí)別在真實(shí)對(duì)象R_0BJ1和虛擬對(duì)象V_OBJ之間的位置關(guān)系。
[0129]用戶移動(dòng)作為真實(shí)對(duì)象R_0BJ1的CD以使其靠近作為真實(shí)對(duì)象V_0BJ2的CD播放器。此時(shí)，充當(dāng)真實(shí)對(duì)象R_0BJ1的⑶由成像單元101拍攝，并且由三維信息分析單元102分析其位置。此外，位置關(guān)系分析單元105檢測(cè)到已經(jīng)使充當(dāng)真實(shí)對(duì)象R_0BJ1的⑶靠近充當(dāng)真實(shí)對(duì)象V_0BJ2的CD播放器，并且輸出預(yù)定的信號(hào)。
[0130]當(dāng)從位置關(guān)系分析單元105輸出指示使充當(dāng)真實(shí)對(duì)象R_0BJ1的CD和充當(dāng)真實(shí)對(duì)象V_0BJ2的CD播放器靠近在一起的信號(hào)時(shí)，從命令發(fā)出單元106發(fā)出預(yù)定的命令。在圖9中示出的示例中，發(fā)出用于執(zhí)行在CD上包括的歌曲的回放的命令作為預(yù)定的命令，并且從作為輸出裝置210的揚(yáng)聲器播放在CD上包括的歌曲。
[0131]但是，如果當(dāng)CD和CD播放器處于預(yù)定的位置關(guān)系時(shí)突然播放歌曲，則用戶可能會(huì)感到不安或驚訝。因此，盡管引起突兀覺(jué)的用戶界面可能有趣的，但是它會(huì)導(dǎo)致不適感。因此，該方法可以被配置為，如圖9所示，例如，當(dāng)CD和CD播放器處于預(yù)定的位置關(guān)系時(shí)，虛擬對(duì)象V_0BJ從⑶跳向⑶播放器。此外，該方法可以被配置為使得在跳出的虛擬對(duì)象IOBJ到達(dá)CD播放器的時(shí)刻播放歌曲。通過(guò)應(yīng)用這種方法，因?yàn)榭梢栽谝曈X(jué)上識(shí)別該時(shí)刻，所以實(shí)現(xiàn)了緩解用戶的不適感并且允許更容易的操作的用戶界面。
[0132]因此，通過(guò)直接操作真實(shí)對(duì)象R_0BJ，用戶可以播放在⑶上包括的歌曲。結(jié)果，用戶不需要掌握用于發(fā)出預(yù)定的命令的復(fù)雜操作方法。此外，用戶也不需要搜索歌曲的數(shù)據(jù)文件。另外，由于利用實(shí)際對(duì)象來(lái)進(jìn)行操作，所以操作自身是非常直觀的。而且，通過(guò)還使用虛擬對(duì)象V_0BJ，實(shí)現(xiàn)了可以由用戶容易地操作的用戶界面。
[0133](使真實(shí)對(duì)象靠近另一個(gè)真實(shí)對(duì)象(顯示對(duì)象)的操作(圖10))
[0134]在圖8中示出的示例中，描述了通過(guò)使真實(shí)對(duì)象R_0BJ靠近虛擬對(duì)象V_0BJ來(lái)播放歌曲的用戶界面的示例。但是，如圖10所示，可以使用顯示對(duì)象D_0BJ代替虛擬對(duì)象V_OBJ。在這種情況下，也通過(guò)實(shí)質(zhì)上與參照?qǐng)D8描述的處理流程相同的處理，基于對(duì)象之間的位置關(guān)系來(lái)執(zhí)行歌曲的回放。請(qǐng)注意，由于顯示對(duì)象D_0BJ是由照相機(jī)CA拍攝的顯示對(duì)象，所以它是真實(shí)對(duì)象R_0BJ的不例。
[0135](基于使真實(shí)對(duì)象靠近的操作來(lái)選擇軌道的方法(圖11))
[0136]至此已描述了用于通過(guò)使⑶靠近充當(dāng)目標(biāo)的對(duì)象(⑶播放器、窗口等)來(lái)播放作為真實(shí)對(duì)象R_0BJ的示例的CD上的歌曲的用戶界面。但是，可能有用戶想通過(guò)指定在CD上包括的各個(gè)軌道來(lái)播放歌曲的情況。因此，圖11提出了一種使得用戶能夠從多個(gè)軌道選擇并播放一個(gè)期望的軌道的用戶界面。
[0137]例如，如圖11所示，顯示代表多個(gè)軌道(例如，諸如視頻或音頻軌道的多個(gè)部分)的圖標(biāo)的窗口被顯示為使得用戶可以播放與他/她使真實(shí)對(duì)象R_0BJ所靠近的軌道相對(duì)應(yīng)的歌曲。請(qǐng)注意，盡管考慮表示各個(gè)軌道的圖標(biāo)和真實(shí)對(duì)象R_0BJ之間的位置關(guān)系的點(diǎn)不同，但是選擇軌道之后執(zhí)行的處理實(shí)質(zhì)上與參照?qǐng)D8等描述的處理流程相同。應(yīng)用這種技術(shù)使得能夠快速且直觀地選擇和播放期望的軌道。請(qǐng)注意，由于用戶在選擇期間不執(zhí)行任何特殊的操作，所以操作步驟相對(duì)于圖8中示出的示例中的操作步驟沒(méi)有增加。
[0138](利用多個(gè)圖標(biāo)顯示來(lái)選擇軌道的方法(圖12和13))
[0139]在圖11中示出的示例中，示出了用于在窗口中顯示代表多個(gè)軌道的圖標(biāo)的方法。但是，由于存在可以顯示虛擬對(duì)象V_0BJ的環(huán)境，如圖12所示，所以代表多個(gè)軌跡的虛擬對(duì)象V_0BJ可以被顯示在作為真實(shí)對(duì)象R_0BJ的CD的一側(cè)。例如，可以在CD盒的四個(gè)角上顯示代表各個(gè)軌道#1至#4的虛擬對(duì)象V_0BJ。
[0140]在這種情況下，如圖13所示，可以通過(guò)用戶執(zhí)行操作以使代表期望的軌道的虛擬對(duì)象V_0BJ靠近窗口來(lái)播放期望的軌道。如上所述，虛擬對(duì)象V_0BJ可以被顯示為跟隨真實(shí)對(duì)象R_0BJ的位置和朝向。因此，在如圖13中那樣的配置中，如果用戶旋轉(zhuǎn)⑶盒，則希望虛擬對(duì)象V_0BJ被顯示為跟隨CD盒的四個(gè)角的移動(dòng)。
[0141]應(yīng)用這種配置使得用戶能夠通過(guò)調(diào)整真實(shí)對(duì)象R_0BJ的方向并使其靠近窗口來(lái)容易地播放期望的軌道。因此，用戶可以快速且直觀地選擇和播放期望的軌道。請(qǐng)注意，類似于圖11的示例，由于用戶在選擇期間不執(zhí)行任何特殊的操作，所以操作步驟相對(duì)于圖8中示出的示例中的操作步驟沒(méi)有增加。
[0142]2-5:應(yīng)用例
[0143]在上文中，描述了用于播放CD上的歌曲的用戶界面的示例。但是，根據(jù)本實(shí)施例的技術(shù)的應(yīng)用范圍并不限于此。例如，通過(guò)基于這種操作模式在實(shí)現(xiàn)期間考慮公知技術(shù)常識(shí)可以想到的下述的操作模式和變型例自然也被包括在根據(jù)本實(shí)施例的技術(shù)的應(yīng)用范圍中。
[0144](書(shū)閱讀器中的應(yīng)用(圖14))
[0145]圖14是示出根據(jù)書(shū)實(shí)施例的技術(shù)的應(yīng)用例的說(shuō)明圖?，F(xiàn)在將參照?qǐng)D14描述書(shū)閱讀器中的應(yīng)用例。在這種情況下，例如，希望發(fā)出與書(shū)有關(guān)的預(yù)定命令的用戶使作為真實(shí)對(duì)象的書(shū)靠近書(shū)閱讀器中的應(yīng)用窗口，從而書(shū)和應(yīng)用窗口處于預(yù)定的位置關(guān)系。
[0146]書(shū)閱讀器中的應(yīng)用窗口可以是在顯示裝置上顯示的顯示對(duì)象，或者可以是在HMD上顯示的虛擬對(duì)象。
[0147]例如，用戶拿著書(shū)使得照相機(jī)CA可以拍攝封面的圖像。在這種情況下，書(shū)識(shí)別單元122將記錄有預(yù)先從圖像提取的特征點(diǎn)或關(guān)于封面的圖像的信息的多本書(shū)的數(shù)據(jù)庫(kù)與該書(shū)封面的拍攝圖像匹配。在數(shù)據(jù)庫(kù)中記錄的書(shū)當(dāng)中與被拍攝的書(shū)最相似的書(shū)被識(shí)別為拍攝了其圖像的書(shū)。
[0148]如果拍攝的書(shū)和應(yīng)用窗口處于預(yù)定的位置關(guān)系，則位置關(guān)系分析單元105檢測(cè)該位置關(guān)系，并且命令發(fā)出單元106發(fā)出預(yù)定的命令。在書(shū)閱讀器的情況下，命令發(fā)出單元106發(fā)出朗讀靠近應(yīng)用窗口的書(shū)的內(nèi)容或者在屏幕上顯示文本的命令。
[0149]此外，命令發(fā)出單元106可以發(fā)出用于從服務(wù)器獲取與靠近應(yīng)用窗口的書(shū)有關(guān)的數(shù)字?jǐn)?shù)據(jù)的命令。與書(shū)有關(guān)的數(shù)字?jǐn)?shù)據(jù)的示例包括該書(shū)的文本數(shù)據(jù)、關(guān)于該書(shū)的出版信息、同一作者的書(shū)的列表、基于該書(shū)的推薦書(shū)的列表等。
[0150]另外，該系統(tǒng)還可以被配置為在數(shù)據(jù)庫(kù)中預(yù)先記錄與書(shū)的每一節(jié)相對(duì)應(yīng)的頁(yè)的圖像，從而用戶使書(shū)靠近應(yīng)用窗口同時(shí)打開(kāi)對(duì)應(yīng)于期望的節(jié)的頁(yè)。
[0151]例如，在數(shù)據(jù)庫(kù)中預(yù)先記錄該書(shū)中的每一章的第一頁(yè)的圖像。在用戶使書(shū)靠近應(yīng)用窗口令他/她想要讀的書(shū)的章的第一頁(yè)打開(kāi)時(shí)，從該章開(kāi)始讀。
[0152]在上文中，參照?qǐng)D16描述了根據(jù)本實(shí)施例的技術(shù)的應(yīng)用例。
[0153](其它應(yīng)用例(圖15至17))
[0154]在上文中，主要描述了充當(dāng)操作目標(biāo)的真實(shí)對(duì)象(在下文中，“操作目標(biāo)對(duì)象”)是CD的情況。如果操作目標(biāo)對(duì)象是CD，則控制目標(biāo)內(nèi)容是CD中包括的歌曲，輸出目的地是AR音樂(lè)播放器，并且由命令發(fā)出單元106發(fā)出的命令是用于播放CD中包括的歌曲的命令。
[0155]圖15是示出根據(jù)本實(shí)施例的技術(shù)的應(yīng)用例的說(shuō)明圖。圖15示出對(duì)于操作目標(biāo)對(duì)象是不同于上述CD的東西的情況把操作目標(biāo)對(duì)象、控制目標(biāo)內(nèi)容、輸出目的地和命令相關(guān)聯(lián)的列表。
[0156]如圖15所示，當(dāng)用戶移動(dòng)DVD使得DVD和媒體播放器處于預(yù)定的位置關(guān)系時(shí)，播放在DVD上包括的視頻。
[0157]當(dāng)用戶移動(dòng)數(shù)字照相機(jī)使得數(shù)字照相機(jī)和數(shù)字相框處于預(yù)定的位置關(guān)系時(shí)，顯示在數(shù)字照相機(jī)中包含的照片。
[0158]當(dāng)用戶移動(dòng)書(shū)使得書(shū)和語(yǔ)音程序處于預(yù)定的位置關(guān)系時(shí)，朗讀在書(shū)中包括的章節(jié)。
[0159]當(dāng)用戶移動(dòng)書(shū)使得書(shū)和文本編輯器處于預(yù)定的位置關(guān)系時(shí)，將在書(shū)中包括的章節(jié)復(fù)制并粘貼到文本編輯器。
[0160]當(dāng)用戶移動(dòng)書(shū)使得書(shū)和圖像編輯軟件處于預(yù)定的位置關(guān)系時(shí)，將在書(shū)中包括的照片復(fù)制并粘貼到圖像編輯軟件。
[0161]當(dāng)用戶移動(dòng)名片使得名片和移動(dòng)電話或信息終端處于預(yù)定的位置關(guān)系時(shí)，記錄在名片上包括的聯(lián)系人信息。
[0162]此外，如果用戶移動(dòng)食物使得該食物和虛擬空間中的化身(avatar)處于預(yù)定的位置關(guān)系，并且如果化身喜歡該食物，則顯示指示化身將吃該食物的姿勢(shì)。請(qǐng)注意，在圖15中的控制目標(biāo)內(nèi)容當(dāng)中，“偏愛(ài)食物”是指化身喜歡該食物物品的信息。
[0163]如果在一個(gè)操作目標(biāo)對(duì)象中包括多個(gè)內(nèi)容，則三維信息分析單元102或虛擬對(duì)象管理單元103分析或管理與多個(gè)播放器中的每一個(gè)相對(duì)應(yīng)的信息。
[0164]此外，位置關(guān)系分析單元105分析操作目標(biāo)對(duì)象和所述多個(gè)播放器中的每一個(gè)之間的位置關(guān)系。如果操作目標(biāo)對(duì)象和播放器中的任何一個(gè)處于預(yù)定的位置關(guān)系，則位置關(guān)系分析單兀105輸出對(duì)應(yīng)于該播放器的信號(hào)，并且命令發(fā)出單兀106發(fā)出對(duì)應(yīng)于該播放器的命令。
[0165]例如，如果使包括歌曲和視頻的DVD靠近AR音樂(lè)播放器，則命令發(fā)出單元106發(fā)出播放歌曲的命令。此外，如果使該DVD靠近媒體播放器，則命令發(fā)出單元106發(fā)出播放視頻的命令。
[0166]過(guò)去，當(dāng)發(fā)出與包括多個(gè)內(nèi)容的對(duì)象相對(duì)應(yīng)的期望命令時(shí)，用戶需要操作CTI等以便選擇要發(fā)出的命令。但是，根據(jù)上述方法，用戶可以執(zhí)行直觀的操作，不必例如預(yù)先掌握GUI操作方法。
[0167]請(qǐng)注意，除非另有說(shuō)明，在圖17中，輸出目的地對(duì)象可以是真實(shí)對(duì)象、顯示對(duì)象或虛擬對(duì)象。
[0168]現(xiàn)在將參照?qǐng)D16和17更詳細(xì)地描述操作目標(biāo)對(duì)象是食物的情況。
[0169]圖16是示出用戶使處于虛擬空間中的化身的偏愛(ài)食物靠近的示例的說(shuō)明圖。圖17是示出用戶使除了處于虛擬空間中的化身的偏愛(ài)食物以外的東西靠近的示例的說(shuō)明圖。
[0170]如圖16所示，例如，當(dāng)用戶使作為偏愛(ài)食物的草莓作為真實(shí)對(duì)象R_0BJ靠近虛擬空間中的化身時(shí)，首先，由三維信息分析單元102分析由成像單元101拍攝的真實(shí)對(duì)象是草莓這一事實(shí)。此外，虛擬對(duì)象獲取單元131獲取“草莓是化身的偏愛(ài)食物”的事實(shí)作為與作為真實(shí)對(duì)象的草莓相關(guān)聯(lián)的信息。
[0171]顯示單元104顯示作為預(yù)先存儲(chǔ)的虛擬對(duì)象V_0BJ的草莓，并且顯示指示化身將吃顯示的草莓的姿勢(shì)。
[0172]另一方面,如圖17所示，當(dāng)用戶使不是偏愛(ài)食物的蘋果作為真實(shí)對(duì)象R_0BJ靠近虛擬空間中的化身時(shí)，首先，由三維信息分析單元102分析由成像單元101拍攝的真實(shí)對(duì)象是草莓這一事實(shí)。此外，虛擬對(duì)象獲取單元131獲取“蘋果不是化身的偏愛(ài)食物”的事實(shí)作為與作為真實(shí)對(duì)象的蘋果相關(guān)聯(lián)的信息。
[0173]顯示單元104顯示作為預(yù)先存儲(chǔ)的虛擬對(duì)象V_0BJ的蘋果，并且顯示指示化身不喜歡吃顯示的蘋果的姿勢(shì)。
[0174]此外，虛擬對(duì)象獲取單元131可以被配置為:如果在獲取的圖像中包括的真實(shí)對(duì)象未被包括在預(yù)先記錄有只關(guān)于化身的偏愛(ài)食物的信息的數(shù)據(jù)庫(kù)中(如果該真實(shí)對(duì)象不是化身的偏愛(ài)食物)，則不獲取虛擬對(duì)象。在這種情況下，即使使真實(shí)對(duì)象靠近，顯示單元104的顯示也不改變,從而,如用戶觀看到的，化身不會(huì)出現(xiàn)反應(yīng)。
[0175]因此，可以應(yīng)用本技術(shù)通過(guò)如下方式來(lái)提供甚至更加真實(shí)的游戲:例如，允許用戶通過(guò)作為真實(shí)對(duì)象的食物而把食物給予虛擬空間中的化身來(lái)進(jìn)行交流。
[0176]3:第二實(shí)施例(考慮姿勢(shì)的操作界面)
[0177]接下來(lái)，將描述根據(jù)本技術(shù)的第二實(shí)施例。第二實(shí)施例涉及用于通過(guò)組合第一實(shí)施例的配置和利用真實(shí)對(duì)象的姿勢(shì)來(lái)實(shí)現(xiàn)更復(fù)雜的操作的技術(shù)。
[0178]3-1:系統(tǒng)配置例
[0179]首先，將描述能夠?qū)崿F(xiàn)根據(jù)第二實(shí)施例的技術(shù)的系統(tǒng)的配置例。該系統(tǒng)由例如成像單元101、信息處理設(shè)備100、顯示單元104、輸出控制設(shè)備200和輸出裝置210構(gòu)成。但是，信息處理設(shè)備100可以與成像單元101和顯示單元104 —體地形成。此外，輸出裝置210可以是輸出音頻的音頻輸出裝置或者顯示圖像的顯示裝置。另外，信息處理設(shè)備100的功能中的一些或全部可以由云計(jì)算系統(tǒng)來(lái)實(shí)現(xiàn)。在下面，描述將關(guān)注于信息處理設(shè)備100的配置。
[0180]3-2:信息處理設(shè)備100的配置(圖18)
[0181]將參照?qǐng)D18描述根據(jù)第二實(shí)施例的信息處理設(shè)備100的配置。圖18是示出信息處理設(shè)備100的功能配置的說(shuō)明圖。如圖18所示，信息處理設(shè)備100主要包括成像單元101、三維信息分析單元102、虛擬對(duì)象管理單元103、顯示單元104、位置關(guān)系分析單元105、命令發(fā)出單元106和通信單元107。
[0182]例如，成像單元101包括用于收集從真實(shí)對(duì)象入射的光的透鏡和用于基于接收到的光的量產(chǎn)生電信號(hào)的圖像傳感器。例如，拍攝真實(shí)對(duì)象的圖像的成像單元101可以是在用戶佩戴的HMD上設(shè)置的照相機(jī)CA。
[0183]可以利用的圖像傳感器的示例包括CXD圖像傳感器和CMOS圖像傳感器。成像單元101拍攝真實(shí)對(duì)象的圖像，并且將拍攝的圖像輸出到三維信息分析單元102和顯示單元104。
[0184]三維信息分析單元102分析在從成像單元101輸入的拍攝圖像中包括的三維信息。三維信息分析單元102包括位置/朝向檢測(cè)單元121、對(duì)象識(shí)別單元122和運(yùn)動(dòng)識(shí)別單元 123。
[0185]三維信息分析單元102中的位置/朝向檢測(cè)單元121分析輸入的真實(shí)對(duì)象的拍攝圖像，并且檢測(cè)真實(shí)對(duì)象的三維空間中的位置和朝向。例如，可以使用上述SURF技術(shù)來(lái)執(zhí)行該檢測(cè)方法。位置/朝向檢測(cè)單元121將檢測(cè)到的真實(shí)對(duì)象的位置和朝向輸出到虛擬對(duì)象管理單元103。
[0186]三維信息分析單元102中的對(duì)象識(shí)別單元122分析輸入的真實(shí)對(duì)象的拍攝圖像，并且識(shí)別真實(shí)對(duì)象的ID。
[0187]例如，對(duì)象識(shí)別單元122從輸入的真實(shí)對(duì)象的拍攝圖像檢測(cè)一個(gè)或多個(gè)特征點(diǎn)的位置。此外，對(duì)象識(shí)別單元122將輸入的真實(shí)對(duì)象的特征點(diǎn)的位置與在諸如內(nèi)存的存儲(chǔ)單元(未示出)中存儲(chǔ)的多個(gè)真實(shí)對(duì)象的特征點(diǎn)的位置匹配。
[0188]對(duì)于多個(gè)真實(shí)對(duì)象中的每一個(gè)，該存儲(chǔ)單元存儲(chǔ)這些真實(shí)對(duì)象的ID和每一個(gè)特征點(diǎn)的位置。對(duì)象識(shí)別單元122將其特征點(diǎn)被存儲(chǔ)在存儲(chǔ)單元中的多個(gè)真實(shí)對(duì)象當(dāng)中具有離輸入的真實(shí)對(duì)象的特征點(diǎn)的距離最短的特征點(diǎn)的真實(shí)對(duì)象的ID設(shè)置為輸入的真實(shí)對(duì)象的ID。例如，特征點(diǎn)是位于多邊形的方形或圓形的周線上的點(diǎn)。對(duì)象識(shí)別單元122將識(shí)別的真實(shí)對(duì)象ID輸出到虛擬對(duì)象管理單元103。
[0189]此外，運(yùn)動(dòng)識(shí)別單元123通過(guò)監(jiān)視由位置/朝向檢測(cè)單元121檢測(cè)到的真實(shí)對(duì)象的位置來(lái)識(shí)別真實(shí)對(duì)象的運(yùn)動(dòng)。例如，如果真實(shí)對(duì)象沿著給定的軌跡移動(dòng)，則運(yùn)動(dòng)識(shí)別單元123確定該軌跡是否對(duì)應(yīng)于預(yù)定的模式。如果確定真實(shí)對(duì)象的軌跡對(duì)應(yīng)于預(yù)定的模式，則運(yùn)動(dòng)識(shí)別單元123識(shí)別存在姿勢(shì)，因此通過(guò)位置關(guān)系分析單元105將指示該預(yù)定模式的信息(在下文中，“姿勢(shì)信息”)輸入到虛擬對(duì)象管理單元103或輸入到命令發(fā)出單元106中。
[0190]例如，上述姿勢(shì)信息被用于基于姿勢(shì)的類型的虛擬對(duì)象的顯示控制和命令的選擇。例如，如果識(shí)別了投擲真實(shí)對(duì)象的姿勢(shì)，則執(zhí)行顯示控制，使得被疊加在真實(shí)對(duì)象上的圖標(biāo)(虛擬對(duì)象)跳動(dòng)。此外，如果識(shí)別了左右抖動(dòng)真實(shí)對(duì)象的姿勢(shì)，則切換顯示對(duì)象或虛擬對(duì)象的顯示,或者選擇諸如停止內(nèi)容回放的預(yù)定命令。
[0191]虛擬對(duì)象管理單元103獲取與真實(shí)對(duì)象相對(duì)應(yīng)的虛擬對(duì)象，并且基于識(shí)別的真實(shí)對(duì)象的ID和位置來(lái)控制將疊加該虛擬對(duì)象的位置。例如，通過(guò)利用虛擬對(duì)象管理單元103的功能來(lái)實(shí)現(xiàn)基于姿勢(shì)的虛擬對(duì)象的顯示控制。此外，虛擬對(duì)象管理單元103包括虛擬對(duì)象獲取單元131和疊加位置控制單元132。
[0192]虛擬對(duì)象獲取單元131從數(shù)據(jù)庫(kù)獲取關(guān)于與識(shí)別的真實(shí)對(duì)象的ID相對(duì)應(yīng)的虛擬對(duì)象的顯示信息，例如，該數(shù)據(jù)庫(kù)被預(yù)先存儲(chǔ)在存儲(chǔ)器或其它這種存儲(chǔ)單元中。例如，如果輸入的真實(shí)對(duì)象被識(shí)別為CD，則可以從數(shù)據(jù)庫(kù)獲取具有音符的形狀的圖標(biāo)作為對(duì)應(yīng)的虛擬對(duì)象。虛擬對(duì)象獲取單元131將獲取的虛擬對(duì)象顯示信息輸出到顯示單元104和位置關(guān)系分析單元105。
[0193]疊加位置控制單元132基于檢測(cè)到的真實(shí)對(duì)象的位置和朝向來(lái)控制由虛擬對(duì)象獲取單元131獲取的虛擬對(duì)象將被疊加的位置。例如，疊加位置控制單元132計(jì)算作為檢測(cè)到的真實(shí)對(duì)象的CD的中心的位置，并且在計(jì)算出的位置上疊加虛擬對(duì)象。疊加位置控制單元132把要疊加虛擬對(duì)象的位置輸出到顯示單元104和位置關(guān)系分析單元105。
[0194]顯示單元104在包括真實(shí)對(duì)象的拍攝圖像上疊加從虛擬對(duì)象管理單元103輸入的虛擬對(duì)象。
[0195]實(shí)時(shí)地執(zhí)行由成像單元101進(jìn)行的對(duì)真實(shí)對(duì)象的圖像的拍攝、由三維信息分析單元102進(jìn)行的對(duì)拍攝圖像的三維信息分析、以及由虛擬對(duì)象管理單元103進(jìn)行的對(duì)虛擬對(duì)象的獲取和位置控制。結(jié)果，如果用戶移動(dòng)真實(shí)對(duì)象，則與該真實(shí)對(duì)象相對(duì)應(yīng)的虛擬對(duì)象也移動(dòng)以跟隨真實(shí)對(duì)象。
[0196]位置關(guān)系分析單元105分析在由成像單元101拍攝的圖像中包括的給定真實(shí)對(duì)象(在下文中，“真實(shí)對(duì)象A”)和除了對(duì)象A以外的預(yù)定對(duì)象(在下文中，“對(duì)象B”)之間的位置關(guān)系?，F(xiàn)在將考慮對(duì)象A是CD且對(duì)象B是用于CD回放的應(yīng)用窗口的示例。
[0197]例如，這里作為用于⑶回放的應(yīng)用窗口的對(duì)象B可以是在外部顯示裝置上顯示的顯示對(duì)象或者在諸如HMD的顯示單元104上顯示的虛擬對(duì)象。但是,在本示例中，對(duì)象B的位置沒(méi)有跟隨對(duì)象A的位置。
[0198]如果對(duì)象B是諸如由外部顯示裝置顯示的應(yīng)用窗口的顯示對(duì)象，則真實(shí)對(duì)象A和對(duì)象B被包括在由成像單元101拍攝的圖像中。該拍攝圖像由三維信息分析單元102分析，由此檢測(cè)真實(shí)對(duì)象A的位置和朝向以及顯示對(duì)象B的位置和朝向。位置關(guān)系分析單元105分析由三維信息分析單元102分析的真實(shí)對(duì)象A和顯示對(duì)象B之間的位置關(guān)系。
[0199]另一方面，例如，如果對(duì)象B是諸如虛擬應(yīng)用窗口的虛擬對(duì)象，則疊加位置控制單元132與由成像單元101拍攝的真實(shí)對(duì)象A的位置和朝向毫無(wú)相關(guān)地控制對(duì)象B的位置和朝向。疊加位置控制單元132還可以基于由成像單元101拍攝的真實(shí)對(duì)象A的初始位置和朝向來(lái)控制對(duì)象B的位置和朝向。
[0200]如果對(duì)象B是虛擬對(duì)象，則位置關(guān)系分析單元105分析由三維信息分析單元102分析的真實(shí)對(duì)象A與由虛擬對(duì)象管理單元103控制的虛擬對(duì)象B之間的位置關(guān)系。
[0201]位置關(guān)系分析單元105將關(guān)于真實(shí)對(duì)象A和對(duì)象B是否處于預(yù)定的位置關(guān)系(例如，接近)的信號(hào)輸出到命令發(fā)出單元106。
[0202]更具體地，位置關(guān)系分析單元105計(jì)算真實(shí)對(duì)象A和對(duì)象B之間的三維空間中的距離。如果計(jì)算出的距離等于或小于預(yù)定的閾值，則位置關(guān)系分析單元105確定真實(shí)對(duì)象A和對(duì)象B接近，并且將預(yù)定的電信號(hào)輸出到命令發(fā)出單元106。此外，真實(shí)對(duì)象A和對(duì)象B之間的距離的計(jì)算可以通過(guò)只考慮在預(yù)定方向上的距離來(lái)執(zhí)行。
[0203]但是，當(dāng)計(jì)算真實(shí)對(duì)象A和對(duì)象B之間的三維空間中的距離時(shí)，如果對(duì)象B是顯示對(duì)象，則基于顯示裝置的顯示平面的坐標(biāo)必須被轉(zhuǎn)換為三維空間坐標(biāo)。例如，對(duì)于基于顯示裝置的顯示平面的坐標(biāo)，顯示裝置中的顯示屏幕的一個(gè)角用作原點(diǎn)。此外，形成該角的兩條邊中的一條邊被取為X軸，另一條邊被取為y軸。
[0204]如果從位置關(guān)系分析單元105輸入指示真實(shí)對(duì)象A和對(duì)象B處于預(yù)定位置關(guān)系的信號(hào)，則命令發(fā)出單元106發(fā)出與真實(shí)對(duì)象A有關(guān)的預(yù)定命令。此外，該預(yù)定命令可以與真實(shí)對(duì)象A有關(guān)，也與對(duì)象B有關(guān)。另外，該預(yù)定命令可以與真實(shí)對(duì)象A、對(duì)象B以及識(shí)別的姿勢(shì)預(yù)先相關(guān)聯(lián)。
[0205]例如，如果真實(shí)對(duì)象A是CD，則當(dāng)使該CD被靠近用于CD回放的應(yīng)用窗口(對(duì)象B)時(shí)，命令發(fā)出單元106發(fā)出執(zhí)行CD回放的命令。此外，如果左右抖動(dòng)CD，則命令發(fā)出單元106發(fā)出例如改變軌道或者增大/減小音量的命令。
[0206]這里，信息處理設(shè)備100通過(guò)有線或無(wú)線網(wǎng)絡(luò)與輸出控制設(shè)備200連接。發(fā)出的命令通過(guò)通信單元107被發(fā)送到輸出控制設(shè)備200。輸出控制設(shè)備200通過(guò)執(zhí)行接收到的命令來(lái)控制輸出設(shè)備210。輸出裝置210可以是音頻回放裝置、視頻回放裝置等。
[0207]輸出控制設(shè)備200可以是信息處理設(shè)備100的一部分。在這種情況下，從圖18中示出的信息處理設(shè)備100的配置去除通信單元107，從而將命令從命令發(fā)出單元106直接發(fā)送到輸出控制設(shè)備200。
[0208]在上文中，主要描述了信息處理設(shè)備100的配置。
[0209]3-3:信息處理設(shè)備100的操作(圖19)
[0210]接下來(lái)，將參照?qǐng)D19描述根據(jù)第二實(shí)施例的信息處理設(shè)備100的操作。圖19是示出根據(jù)第二實(shí)施例的信息處理設(shè)備100的操作的流程圖。
[0211]如圖19所示，首先，信息處理設(shè)備100從拍攝的圖像檢測(cè)真實(shí)對(duì)象(Slll)。在此階段，信息處理設(shè)備100檢測(cè)真實(shí)對(duì)象的位置和朝向。然后，信息處理設(shè)備100從拍攝的圖像識(shí)別真實(shí)對(duì)象的類型(S112)。接下來(lái)，信息處理設(shè)備100基于真實(shí)對(duì)象的類型、位置等來(lái)獲取要在虛擬空間中顯示的預(yù)定的虛擬對(duì)象(S113)。例如，如果真實(shí)對(duì)象是CD盒，則信息處理設(shè)備100獲取由音符標(biāo)記的圖標(biāo)或音樂(lè)播放器畫(huà)面作為虛擬對(duì)象。
[0212]接下來(lái)，信息處理設(shè)備100顯示和疊加在步驟SI 13中獲取的虛擬對(duì)象(SI 14)。例如，信息處理設(shè)備100在虛擬空間中顯示音樂(lè)播放器畫(huà)面，或者在CD盒上疊加由音符標(biāo)記的圖標(biāo)。然后，信息處理設(shè)備100基于真實(shí)對(duì)象的位置和朝向來(lái)控制虛擬對(duì)象的顯示位置(S115)。例如，如果用戶已經(jīng)使⑶盒靠近音樂(lè)播放器畫(huà)面，則信息處理設(shè)備100移動(dòng)在⑶盒上置加的圖標(biāo)，以跟隨CD盒的移動(dòng)。
[0213]此外，信息處理設(shè)備100監(jiān)視真實(shí)對(duì)象的運(yùn)動(dòng)，并且如果通過(guò)真實(shí)對(duì)象的運(yùn)動(dòng)形成的軌跡形成預(yù)定模式，則信息處理設(shè)備100確定存在姿勢(shì)，并基于該姿勢(shì)執(zhí)行顯示控制(Siie)0例如，如果確定存在左右抖動(dòng)真實(shí)對(duì)象時(shí)的姿勢(shì)(做出預(yù)定姿勢(shì))，則信息處理設(shè)備100執(zhí)行處理以切換虛擬對(duì)象的類型。請(qǐng)注意，具體的姿勢(shì)示例和具體的顯示控制方法將在下面描述。
[0214]接下來(lái)，信息處理設(shè)備100檢測(cè)真實(shí)對(duì)象和預(yù)定對(duì)象之間的位置關(guān)系(例如，音樂(lè)播放器畫(huà)面等，或者窗口)(S117)。然后，信息處理設(shè)備100確定在步驟S117中檢測(cè)到的位置關(guān)系是否滿足預(yù)定的位置關(guān)系(S118)。例如，信息處理設(shè)備100確定真實(shí)對(duì)象和預(yù)定對(duì)象是否接觸，或者確定真實(shí)對(duì)象和預(yù)定對(duì)象之間的距離是否等于或小于預(yù)定的距離。
[0215]如果真實(shí)對(duì)象和預(yù)定對(duì)象處于預(yù)定的位置關(guān)系，則處理前進(jìn)到步驟S119。另一方面，如果真實(shí)對(duì)象和預(yù)定對(duì)象未處于預(yù)定的位置關(guān)系，則處理返回到步驟S115。如果處理前進(jìn)到步驟S119，則信息處理設(shè)備100基于真實(shí)對(duì)象的類型、預(yù)定對(duì)象的類型或者位置關(guān)系來(lái)發(fā)出預(yù)設(shè)定的命令(S119)，然后結(jié)束與命令發(fā)出處理有關(guān)的一系列處理。下面將描述各個(gè)對(duì)象的具體示例、各命令的具體示例以及具體的操作方法。
[0216]在上文中，描述了根據(jù)第二實(shí)施例的信息處理設(shè)備100的操作。雖然描述了在基于位置關(guān)系發(fā)出命令時(shí)執(zhí)行的考慮姿勢(shì)的處理的流程，但是，可選地，處理步驟中的一些可以被互換或修改。此外，應(yīng)用這里描述的處理流程的下述的各操作方法可以構(gòu)成可執(zhí)行的用戶界面。
[0217]3-4:關(guān)于操作方法
[0218]接下來(lái)，將參照?qǐng)D20至21描述可以使用根據(jù)第二實(shí)施例的信息處理設(shè)備100的功能執(zhí)行的用戶界面及其操作方法的示例。
[0219](基于姿勢(shì)的選擇畫(huà)面的切換操作(圖20))
[0220]通過(guò)與姿勢(shì)組合可以進(jìn)行更加復(fù)雜的操作。如圖20所示，這種更加復(fù)雜的操作的示例包括基于姿勢(shì)切換與在窗口中顯示的多個(gè)軌道相對(duì)應(yīng)的圖標(biāo)的顯示的操作。例如，可以基于左右抖動(dòng)或旋轉(zhuǎn)作為真實(shí)對(duì)象R_0BJ的CD盒的操作來(lái)切換軌道選擇畫(huà)面。更具體地，一種可能的方法是控制顯示器，使得當(dāng)向右抖動(dòng)或旋轉(zhuǎn)真實(shí)對(duì)象R_0BJ時(shí)在右方向上滾動(dòng)圖標(biāo)陣列。
[0221]其它的有效的方法可以包括通過(guò)旋轉(zhuǎn)操作逐個(gè)地滾動(dòng)軌道的方法、以及在窗口中顯示的多個(gè)軌道基于上下抖動(dòng)操作一次全部改變的方法。在圖20中示出的示例中，例如，當(dāng)向右旋轉(zhuǎn)⑶盒時(shí)，軌道#1至#3的顯示一次全部地切換到軌道#2至#4，并且當(dāng)在垂直方向上抖動(dòng)⑶盒時(shí)，軌道#1至#3的顯示一次全部地切換到軌道#4至#6。
[0222]應(yīng)用這種方法是十分方便的，因?yàn)檫@使得能夠在真實(shí)對(duì)象R_0BJ不離開(kāi)用戶的手的情況下切換軌道選擇畫(huà)面。此外，操作步驟的數(shù)量低，并且實(shí)現(xiàn)了直觀的用戶界面。顯然，該方法可以與根據(jù)上述的第一實(shí)施例的技術(shù)和根據(jù)至此描述的第二實(shí)施例的技術(shù)都進(jìn)行組合。
[0223](基于姿勢(shì)的圖標(biāo)投擲操作(圖21))
[0224]雖然參照?qǐng)D20描述了基于姿勢(shì)切換軌道選擇畫(huà)面的操作，但是，在本示例中，將提出一種用于基于姿勢(shì)來(lái)控制伴隨真實(shí)對(duì)象R_0BJ的虛擬對(duì)象V_0BJ的運(yùn)動(dòng)的方法。例如，如圖21所示，當(dāng)作出拋擲真實(shí)對(duì)象R_0BJ的姿勢(shì)時(shí)，可以使伴隨真實(shí)對(duì)象R_0BJ顯示的虛擬對(duì)象V_0BJ向上跳動(dòng)。應(yīng)用該方法使得當(dāng)⑶遠(yuǎn)離⑶播放器時(shí)即使不使⑶靠近⑶播放器也能夠播放⑶上的歌曲。
[0225]此外，由于虛擬對(duì)象￥_(?】實(shí)際上出現(xiàn)跳動(dòng)，所以可以在游戲中使用該方法來(lái)刺激用戶的娛樂(lè)感。應(yīng)用這種方法是十分方便的，因?yàn)檫@使得能夠只通過(guò)輕微的操作來(lái)播放歌曲。此外，操作步驟的數(shù)量低，并且實(shí)現(xiàn)了直觀的用戶界面。顯然，該方法可以與根據(jù)上述的第一實(shí)施例的技術(shù)和根據(jù)至此描述的第二實(shí)施例的技術(shù)都自由地組合。
[0226]在上文中，描述了可以使用根據(jù)第二實(shí)施例的信息處理設(shè)備100的功能執(zhí)行的用戶界面及其操作方法的示例。
[0227]<4:硬件配置例(圖22)>
[0228]上述的信息處理設(shè)備100的每個(gè)組成元件的功能可以通過(guò)例如使用圖22中示出的信息處理設(shè)備的硬件配置來(lái)實(shí)現(xiàn)。具體地，每個(gè)組成元件的功能通過(guò)使用計(jì)算機(jī)程序控制圖22中示出的硬件來(lái)實(shí)現(xiàn)。請(qǐng)注意，該硬件的模式是任意的。其示例可以包括個(gè)人計(jì)算機(jī)、移動(dòng)電話、PHS、例如PDA的便攜式信息終端、游戲機(jī)或者各種信息家用電器。這里，PHS是個(gè)人手持電話的縮寫(xiě)，PDA是個(gè)人數(shù)據(jù)助理的縮寫(xiě)。
[0229]如圖22所示，該硬件(其是示例處理電路)主要包括CPU 902、ROM 904、RAM 906、主機(jī)總線908、橋接器910、外部總線912、接口 914、輸入單元916、輸出單元918、存儲(chǔ)單元920、驅(qū)動(dòng)器922、校正端口 924和通信單元926。這里，CPU是中央處理單元的縮寫(xiě)，ROM是只讀存儲(chǔ)器的縮寫(xiě)，RAM是隨機(jī)存取存儲(chǔ)器的縮寫(xiě)。
[0230] CPU 902充當(dāng)計(jì)算處理設(shè)備或控制設(shè)備，并且基于在ROM 904、RAM 906、存儲(chǔ)單元920或可移動(dòng)存儲(chǔ)介質(zhì)928中存儲(chǔ)的各種程序來(lái)控制各個(gè)組成元件中的全部或部分操作。ROM 904是用于存儲(chǔ)例如要讀入到CPU 902中的程序和用于計(jì)算的數(shù)據(jù)的裝置。例如，RAM908臨時(shí)地或永久地存儲(chǔ)要讀入到CPU 902的程序和在執(zhí)行這些程序時(shí)適當(dāng)?shù)馗淖兊母鞣N參數(shù)。
[0231]這些組成元件通過(guò)例如能夠進(jìn)行高速數(shù)據(jù)傳輸?shù)闹鳈C(jī)總線908來(lái)互連。另一方面，例如，主機(jī)總線908通過(guò)橋接器910與具有相對(duì)較低的數(shù)據(jù)傳輸速度的外部總線912連接。此外，用作輸入單元916的例如是鼠標(biāo)、鍵盤、觸摸面板、按鈕、開(kāi)關(guān)、控制桿等。此外，能夠利用紅外線或其它電磁波發(fā)送控制信號(hào)的遙控器(在下文中，“遙控器”)也可以用作輸入單元916。
[0232]輸出單元918的示例包括能夠通過(guò)視覺(jué)或聽(tīng)覺(jué)向用戶通知獲取的信息的設(shè)備，例如，諸如CRT、IXD、PDP或ELD的顯示器、諸如揚(yáng)聲器或頭戴式電話的音頻輸出裝置、打印機(jī)、移動(dòng)電話、傳真機(jī)等。這里，CRT是陰極射線管的縮寫(xiě)，IXD是液晶顯示器的縮寫(xiě)，PDP是等離子體顯示面板的縮寫(xiě)，ELD是電致發(fā)光顯示器的縮寫(xiě)。
[0233]存儲(chǔ)單元920是存儲(chǔ)各種數(shù)據(jù)的裝置。可以用作存儲(chǔ)單元920的裝置的示例包括諸如HDD的磁存儲(chǔ)裝置、半導(dǎo)體存儲(chǔ)裝置、光學(xué)存儲(chǔ)裝置、磁光存儲(chǔ)裝置等。這里，HDD是硬盤驅(qū)動(dòng)器的縮寫(xiě)。
[0234]驅(qū)動(dòng)器922是用于讀取在諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器的可移動(dòng)存儲(chǔ)介質(zhì)928上記錄的信息或者在可移動(dòng)存儲(chǔ)介質(zhì)928上寫(xiě)入信息的設(shè)備?？梢苿?dòng)存儲(chǔ)介質(zhì)928也可以是DVD介質(zhì)、藍(lán)光介質(zhì)、HD-DVD介質(zhì)、各種半導(dǎo)體存儲(chǔ)介質(zhì)等。顯然，可移動(dòng)存儲(chǔ)介質(zhì)928可以是具有非接觸式IC芯片的IC卡、電子裝置等。這里，IC是集成電路的縮寫(xiě)。
[0235]例如，校正端口 924是用于與外部校正裝置930連接的USB端口、IEEE 1394端口、SCS1、RS-232C端口或者光學(xué)音頻端口。例如，外部校正裝置930是打印機(jī)、便攜式音樂(lè)播放器、數(shù)字照相機(jī)、數(shù)字?jǐn)z像機(jī)、IC錄像機(jī)等。這里，USB是通用串行總線的縮寫(xiě)，SCSI是小型計(jì)算機(jī)系統(tǒng)接口的縮寫(xiě)。
[0236]通信單元926是用于與網(wǎng)絡(luò)932連接的通信裝置。其示例可以包括有線或無(wú)線LAN、藍(lán)牙(Bluetooth?)、用于WUSB的通信卡、光學(xué)通信路由器、ADSL路由器、各種通信調(diào)制解調(diào)器等。與通信單元926連接的網(wǎng)絡(luò)932包括諸如互聯(lián)網(wǎng)、家庭LAN、紅外線通信、可見(jiàn)光通信、廣播、衛(wèi)星通信等的有線或無(wú)線連接網(wǎng)絡(luò)。這里，LAN是局域網(wǎng)的縮寫(xiě)，WUSB是無(wú)線USB的縮寫(xiě)，ADSL是非對(duì)稱數(shù)字用戶線的縮寫(xiě)。
[0237]〈5:總結(jié)〉
[0238]最后，將總結(jié)本實(shí)施例的技術(shù)概念。例如，下述的技術(shù)概念可以被應(yīng)用于諸如PC、移動(dòng)電話、便攜式游戲機(jī)、便攜式信息終端、家用電器和汽車導(dǎo)航系統(tǒng)的各種信息處理設(shè)備。例如，由于在下面的(I)中描述的信息處理設(shè)備基于對(duì)象之間的位置關(guān)系發(fā)出命令，所以該信息處理設(shè)備可以在發(fā)出命令時(shí)被直觀地操作。此外，由于與發(fā)出的命令有關(guān)的虛擬對(duì)象被疊加在第一或第二對(duì)象上，所以可以預(yù)先知道可能隨后被執(zhí)行的處理的內(nèi)容，這使得可以放心地進(jìn)行操作。
[0239]另外，本技術(shù)還可以被配置為如下。
[0240]一種信息處理設(shè)備，包括:
[0241]處理電路，被配置為基于真實(shí)對(duì)象和預(yù)定對(duì)象之間的顯示位置關(guān)系來(lái)發(fā)出與真實(shí)對(duì)象有關(guān)的控制命令，其中
[0242]真實(shí)對(duì)象是有形的可移動(dòng)對(duì)象，并且預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象和虛擬對(duì)象中的至少一個(gè)。
[0243]根據(jù)信息處理設(shè)備的一個(gè)方面，
[0244]有形的可移動(dòng)對(duì)象是便攜式對(duì)象。
[0245]根據(jù)另一個(gè)方面
[0246]虛擬對(duì)象是被添加到參考場(chǎng)景的對(duì)象，使得參考場(chǎng)景和虛擬對(duì)象被顯示為增強(qiáng)現(xiàn)實(shí)場(chǎng)景。
[0247]根據(jù)另一個(gè)方面
[0248]響應(yīng)于外部輸入，控制命令使得處理電路把真實(shí)對(duì)象帶入到增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的虛擬對(duì)象。
[0249]根據(jù)另一個(gè)方面
[0250]虛擬對(duì)象包括應(yīng)用窗口，并且當(dāng)真實(shí)對(duì)象至少部分地被包括在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的應(yīng)用窗口中時(shí)，真實(shí)對(duì)象的內(nèi)容由與應(yīng)用窗口相關(guān)聯(lián)的應(yīng)用執(zhí)行。
[0251]根據(jù)另一個(gè)方面
[0252]預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象，并且
[0253]響應(yīng)于真實(shí)對(duì)象被檢測(cè)為接近所述另一個(gè)真實(shí)對(duì)象，控制命令使得處理電路將與真實(shí)對(duì)象相關(guān)聯(lián)的圖標(biāo)移動(dòng)到在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中顯示的所述另一個(gè)真實(shí)對(duì)象。
[0254]根據(jù)另一個(gè)方面
[0255]在圖標(biāo)被移動(dòng)到增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的所述另一個(gè)真實(shí)對(duì)象時(shí)，使用來(lái)自真實(shí)對(duì)象的內(nèi)容執(zhí)行與所述另一個(gè)真實(shí)對(duì)象相關(guān)聯(lián)的應(yīng)用。
[0256]根據(jù)另一個(gè)方面
[0257]預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象，并且
[0258]響應(yīng)于真實(shí)對(duì)象被檢測(cè)為在預(yù)定的距離內(nèi)接近所述另一個(gè)真實(shí)對(duì)象，控制命令使得處理電路使與真實(shí)對(duì)象相關(guān)聯(lián)的圖標(biāo)跳動(dòng)到增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的所述另一個(gè)真實(shí)對(duì)象。
[0259]根據(jù)另一個(gè)方面
[0260]預(yù)定對(duì)象是顯示顯示對(duì)象的另一個(gè)真實(shí)對(duì)象，并且
[0261]響應(yīng)于真實(shí)對(duì)象被檢測(cè)為接近顯示對(duì)象，控制命令使得處理電路使用真實(shí)對(duì)象的內(nèi)容來(lái)執(zhí)行與顯示對(duì)象相關(guān)聯(lián)的應(yīng)用。
[0262]根據(jù)另一個(gè)方面
[0263]內(nèi)容在增強(qiáng)的現(xiàn)實(shí)場(chǎng)景中被顯示為多個(gè)部分，并且響應(yīng)于真實(shí)對(duì)象被檢測(cè)為接近所述多個(gè)部分中的一個(gè)，控制命令使得處理電路使用所述多個(gè)部分中的所述一個(gè)來(lái)執(zhí)行應(yīng)用。
[0264]根據(jù)另一個(gè)方面
[0265]所述多個(gè)部分包括視頻軌道和音頻軌道中的至少一種。
[0266]根據(jù)另一個(gè)方面
[0267]內(nèi)容在增強(qiáng)的現(xiàn)實(shí)場(chǎng)景中被顯示為與真實(shí)對(duì)象相關(guān)聯(lián)的多個(gè)部分，并且響應(yīng)于所述多個(gè)部分中的一個(gè)被檢測(cè)為接近應(yīng)用窗口，控制命令使得處理電路使用所述多個(gè)部分中的所述一個(gè)來(lái)執(zhí)行應(yīng)用。
[0268]根據(jù)另一個(gè)方面
[0269]所述多個(gè)部分包括視頻軌道和音頻軌道中的至少一種。
[0270]根據(jù)另一個(gè)方面
[0271 ] 真實(shí)對(duì)象是書(shū)，并且預(yù)定對(duì)象是書(shū)閱讀器應(yīng)用。
[0272]根據(jù)另一個(gè)方面
[0273]真實(shí)對(duì)象是⑶、DVD、數(shù)字照相機(jī)、書(shū)、名片和食物。
[0274]根據(jù)另一個(gè)方面
[0275]真實(shí)對(duì)象是物品，并且
[0276]增強(qiáng)現(xiàn)實(shí)場(chǎng)景包括化身，該化身展現(xiàn)與該物品是否為化身的偏愛(ài)物品相對(duì)應(yīng)的姿勢(shì)。
[0277]根據(jù)另一個(gè)方面
[0278]響應(yīng)于用真實(shí)對(duì)象作出的姿勢(shì)，處理電路使得控制命令將預(yù)定對(duì)象從第一虛擬現(xiàn)實(shí)對(duì)象切換到第二虛擬現(xiàn)實(shí)對(duì)象。
[0279]根據(jù)另一個(gè)方面
[0280]響應(yīng)于檢測(cè)到投擲真實(shí)對(duì)象的姿勢(shì)，控制命令使得處理電路將與真實(shí)對(duì)象相關(guān)聯(lián)的圖標(biāo)跳動(dòng)到增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的所述另一個(gè)真實(shí)對(duì)象。
[0281]根據(jù)信息處理方法實(shí)施例，該實(shí)施例包括從處理電路發(fā)出控制命令，該控制命令基于真實(shí)對(duì)象和預(yù)定對(duì)象之間的顯示位置關(guān)系與真實(shí)對(duì)象有關(guān)，其中
[0282]真實(shí)對(duì)象是有形的可移動(dòng)對(duì)象，并且預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象和虛擬對(duì)象中的至少一個(gè)。
[0283]根據(jù)另一信息處理設(shè)備實(shí)施例，該設(shè)備包括
[0284]接口，接收關(guān)于真實(shí)對(duì)象的運(yùn)動(dòng)的信息；以及
[0285]處理電路，被配置為基于真實(shí)對(duì)象和預(yù)定對(duì)象之間的顯示位置關(guān)系發(fā)出與真實(shí)對(duì)象的運(yùn)動(dòng)有關(guān)的控制命令，其中
[0286]真實(shí)對(duì)象是有形的可移動(dòng)對(duì)象，并且預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象和虛擬對(duì)象中的至少一個(gè)。
[0287]根據(jù)另一種信息處理設(shè)備實(shí)施例，該設(shè)備包括
[0288]命令發(fā)出單元，被配置為當(dāng)用戶觀看到的第一對(duì)象和用戶能夠移動(dòng)其位置的第二對(duì)象處于預(yù)定的位置關(guān)系時(shí)，發(fā)出與第二對(duì)象相關(guān)聯(lián)的預(yù)定命令；以及
[0289]顯示控制單元，被配置為在第一或第二對(duì)象上疊加與預(yù)定命令有關(guān)的虛擬對(duì)象。
[0290]根據(jù)信息處理設(shè)備的一個(gè)方面，
[0291]命令發(fā)送單元被配置為將由命令發(fā)出單元發(fā)出的預(yù)定命令發(fā)送到能夠執(zhí)行該預(yù)定命令的裝置。
[0292]根據(jù)另一個(gè)方面
[0293]命令發(fā)出單元被配置為執(zhí)行與第二對(duì)象相關(guān)聯(lián)且也與第一對(duì)象相關(guān)聯(lián)的預(yù)定命令。
[0294]根據(jù)另一個(gè)方面
[0295]位置確定單元被配置為當(dāng)多個(gè)虛擬對(duì)象被疊加在第二對(duì)象上時(shí)，基于第二對(duì)象的位置和形狀來(lái)確定每個(gè)虛擬對(duì)象的顯示位置，
[0296]其中，顯示控制單元被配置為在由位置確定單元確定的顯示位置處顯示各個(gè)虛擬對(duì)象。
[0297]根據(jù)另一個(gè)方面
[0298]顯示控制單元被配置為當(dāng)?shù)谝粚?duì)象和第二對(duì)象不處于預(yù)定位置關(guān)系時(shí)顯示第一虛擬對(duì)象，并且當(dāng)?shù)谝粚?duì)象和第二對(duì)象處于預(yù)定位置關(guān)系時(shí)顯示與第一虛擬對(duì)象不同的第二虛擬對(duì)象。
[0299]根據(jù)另一個(gè)方面
[0300]命令發(fā)出單元被配置為當(dāng)?shù)谝粚?duì)象和第二對(duì)象之間的距離等于或小于預(yù)定閾值時(shí)確定滿足預(yù)定的位置關(guān)系并發(fā)出預(yù)定命令。
[0301]根據(jù)另一個(gè)方面
[0302]命令發(fā)出單元被配置為當(dāng)?shù)诙?duì)象的運(yùn)動(dòng)模式形成預(yù)定的軌跡時(shí)發(fā)出預(yù)定命令。
[0303]根據(jù)另一個(gè)方面
[0304]命令發(fā)出單元被配置為基于軌跡的類型發(fā)出預(yù)定命令。
[0305]根據(jù)另一個(gè)方面
[0306]命令發(fā)出單元被配置為當(dāng)?shù)诙?duì)象滿足相對(duì)于第一對(duì)象的預(yù)定位置關(guān)系并且第二對(duì)象的運(yùn)動(dòng)模式形成預(yù)定的軌跡時(shí)發(fā)出預(yù)定命令。
[0307]根據(jù)另一個(gè)方面
[0308]命令發(fā)出單元被配置為當(dāng)多個(gè)預(yù)定命令與第二對(duì)象相關(guān)聯(lián)并且多個(gè)虛擬對(duì)象被疊加在第一對(duì)象上時(shí)，基于第二對(duì)象和虛擬對(duì)象中的每一個(gè)之間的位置關(guān)系來(lái)選擇要發(fā)出的預(yù)定命令。
[0309]根據(jù)另一個(gè)方面
[0310]命令發(fā)出單元被配置為當(dāng)多個(gè)預(yù)定命令與第二對(duì)象相關(guān)聯(lián)并且多個(gè)虛擬對(duì)象被疊加在第二對(duì)象上時(shí)，基于第一對(duì)象和虛擬對(duì)象中的每一個(gè)之間的位置關(guān)系來(lái)選擇要發(fā)出的預(yù)定命令。
[0311]根據(jù)另一個(gè)方面
[0312]命令發(fā)出單元被配置為當(dāng)多個(gè)預(yù)定命令與第二對(duì)象相關(guān)聯(lián)并且第二對(duì)象形成預(yù)定的軌跡時(shí)，發(fā)出與該預(yù)定的軌跡相對(duì)應(yīng)的預(yù)定命令。
[0313]根據(jù)另一個(gè)方面
[0314]第一對(duì)象是虛擬空間中的對(duì)象。
[0315]根據(jù)另一個(gè)方面
[0316]第一對(duì)象的位置可以由用戶移動(dòng)。
[0317]根據(jù)另一個(gè)方面
[0318]顯示控制單元被配置為通過(guò)控制頭戴式裝置來(lái)顯示虛擬對(duì)象，該頭戴式裝置可以由用戶佩戴在頭部上并且具有使得用戶能夠看到顯示信息的顯示單元。
[0319]根據(jù)另一個(gè)方面
[0320]頭戴式裝置還包括成像單元或傳感器，并且
[0321]基于由成像單元拍攝的第二對(duì)象的圖像或者由傳感器檢測(cè)到的第二對(duì)象的檢測(cè)結(jié)果來(lái)檢測(cè)第二對(duì)象的位置。
[0322]根據(jù)信息處理方法實(shí)施例，該實(shí)施例包括
[0323]當(dāng)用戶觀看到的第一對(duì)象和用戶能夠移動(dòng)其位置的第二對(duì)象處于預(yù)定的位置關(guān)系時(shí)，發(fā)出與第二對(duì)象相關(guān)聯(lián)的預(yù)定命令；以及
[0324]在第一或第二對(duì)象上疊加與該預(yù)定命令有關(guān)的虛擬對(duì)象。
[0325](注釋)
[0326]上述的位置關(guān)系分析單元105和命令發(fā)出單元106是命令發(fā)出單元的示例。上述的虛擬對(duì)象管理單元103是顯示控制單元和位置確定單元的示例。上述的通信單元107是命令發(fā)送單元的示例。上述的HMD是頭戴式裝置的示例。
[0327]本領(lǐng)域的技術(shù)人員應(yīng)該理解，可以根據(jù)設(shè)計(jì)要求和其它因素進(jìn)行各種修改、組合、子組合和替換，只要它們?cè)谒綑?quán)利要求或其等同物的范圍內(nèi)即可。
[0328]附圖標(biāo)記列表
[0329]100信息處理設(shè)備
[0330]101成像單元
[0331]102三維信息分析單元
[0332]103虛擬對(duì)象管理單元
[0333]104顯示單元
[0334]105位置關(guān)系分析單元
[0335]106命令發(fā)出單元
[0336]107通信單元
[0337]121位置/朝向檢測(cè)單元
[0338]122對(duì)象識(shí)別單元
[0339]123運(yùn)動(dòng)識(shí)別單元
[0340]131虛擬對(duì)象獲取單元
[0341]132疊加位置控制單元
[0342]200輸出控制設(shè)備
[0343]210輸出裝置
【權(quán)利要求】
1.一種信息處理設(shè)備,包括: 處理電路，被配置為基于真實(shí)對(duì)象和預(yù)定對(duì)象之間的顯示位置關(guān)系來(lái)發(fā)出與真實(shí)對(duì)象有關(guān)的控制命令，其中 真實(shí)對(duì)象是有形的可移動(dòng)對(duì)象，并且預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象和虛擬對(duì)象中的至少一個(gè)。
2.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中 有形的可移動(dòng)對(duì)象是便攜式對(duì)象。
3. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中 虛擬對(duì)象是被添加到參考場(chǎng)景的對(duì)象，使得參考場(chǎng)景和該虛擬對(duì)象被顯示為增強(qiáng)現(xiàn)實(shí)場(chǎng)景。
4.根據(jù)權(quán)利要求3所述的信息處理設(shè)備，其中 響應(yīng)于外部輸入，控制命令使得處理電路將真實(shí)對(duì)象帶入到增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的虛擬對(duì)象。
5.根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中 虛擬對(duì)象包括應(yīng)用窗口，并且當(dāng)真實(shí)對(duì)象至少部分地被包括在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的應(yīng)用窗口中時(shí)，真實(shí)對(duì)象的內(nèi)容由與應(yīng)用窗口相關(guān)聯(lián)的應(yīng)用執(zhí)行。
6.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中 預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象，并且 響應(yīng)于真實(shí)對(duì)象被檢測(cè)為接近所述另一個(gè)真實(shí)對(duì)象，控制命令使得處理電路將與真實(shí)對(duì)象相關(guān)聯(lián)的圖標(biāo)移動(dòng)到在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中顯示的所述另一個(gè)真實(shí)對(duì)象。
7.根據(jù)權(quán)利要求6所述的信息處理設(shè)備，其中 在圖標(biāo)被移動(dòng)到增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的所述另一個(gè)真實(shí)對(duì)象時(shí)，使用來(lái)自真實(shí)對(duì)象的內(nèi)容執(zhí)行與所述另一個(gè)真實(shí)對(duì)象相關(guān)聯(lián)的應(yīng)用。
8.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中 預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象，并且 響應(yīng)于真實(shí)對(duì)象被檢測(cè)為在預(yù)定距離內(nèi)接近所述另一個(gè)真實(shí)對(duì)象，控制命令使得處理電路使與真實(shí)對(duì)象相關(guān)聯(lián)的圖標(biāo)跳動(dòng)到增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的所述另一個(gè)真實(shí)對(duì)象。
9.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中 預(yù)定對(duì)象是顯示顯示對(duì)象的另一個(gè)真實(shí)對(duì)象，并且 響應(yīng)于真實(shí)對(duì)象被檢測(cè)為接近該顯示對(duì)象，控制命令使得處理電路使用真實(shí)對(duì)象的內(nèi)容來(lái)執(zhí)行與顯示對(duì)象相關(guān)聯(lián)的應(yīng)用。
10.根據(jù)權(quán)利要求5所述的信息處理設(shè)備，其中 內(nèi)容在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中被顯示為多個(gè)部分，并且響應(yīng)于真實(shí)對(duì)象被檢測(cè)為接近所述多個(gè)部分中的一個(gè)，控制命令使得處理電路使用所述多個(gè)部分中的所述一個(gè)來(lái)執(zhí)行應(yīng)用。
11.根據(jù)權(quán)利要求10所述的信息處理設(shè)備，其中 所述多個(gè)部分包括視頻軌道和音頻軌道中的至少一種。
12.根據(jù)權(quán)利要求5所述的信息處理設(shè)備，其中 內(nèi)容在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中被顯示為與真實(shí)對(duì)象相關(guān)聯(lián)的多個(gè)部分，并且響應(yīng)于所述多個(gè)部分中的一個(gè)被檢測(cè)為接近應(yīng)用窗口，控制命令使得處理電路使用所述多個(gè)部分中的所述一個(gè)來(lái)執(zhí)行應(yīng)用。
13.根據(jù)權(quán)利要求12所述的信息處理設(shè)備，其中 所述多個(gè)部分包括視頻軌道和音頻軌道中的至少一種。
14.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中 真實(shí)對(duì)象是書(shū)，并且預(yù)定對(duì)象是書(shū)閱讀器應(yīng)用。
15.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中 真實(shí)對(duì)象是CD、DVD、數(shù)字照相機(jī)、書(shū)、名片和食物。
16.根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中 真實(shí)對(duì)象是物品，并且 增強(qiáng)現(xiàn)實(shí)場(chǎng)景包括化身，該化身展現(xiàn)與該物品是否為化身的偏愛(ài)物品相對(duì)應(yīng)的姿勢(shì)。
17.根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中 響應(yīng)于用真實(shí)對(duì)象作出的姿勢(shì)，處理電路使得控制命令將預(yù)定對(duì)象從第一虛擬現(xiàn)實(shí)對(duì)象切換到第二虛擬現(xiàn)實(shí)對(duì)象。
18.根據(jù)權(quán)利要求6所述的信息處理設(shè)備，其中 響應(yīng)于檢測(cè)到投擲真實(shí)對(duì)象的姿勢(shì)，控制命令使得處理電路使與真實(shí)對(duì)象相關(guān)聯(lián)的圖標(biāo)跳動(dòng)到增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的所述另一個(gè)真實(shí)對(duì)象。
19.一種信息處理方法,包括: 從處理電路發(fā)出控制命令，該控制命令基于真實(shí)對(duì)象和預(yù)定對(duì)象之間的顯示位置關(guān)系而與真實(shí)對(duì)象有關(guān)，其中 真實(shí)對(duì)象是有形的可移動(dòng)對(duì)象，并且預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象和虛擬對(duì)象中的至少一個(gè)。
20.—種信息處理設(shè)備,包括: 接口，接收關(guān)于真實(shí)對(duì)象的運(yùn)動(dòng)的信息；以及 處理電路，被配置為基于真實(shí)對(duì)象和預(yù)定對(duì)象之間的顯示位置關(guān)系來(lái)發(fā)出與真實(shí)對(duì)象的運(yùn)動(dòng)有關(guān)的控制命令，其中 真實(shí)對(duì)象是有形的可移動(dòng)對(duì)象，并且預(yù)定對(duì)象是另一個(gè)真實(shí)對(duì)象和虛擬對(duì)象中的至少一個(gè)。
【文檔編號(hào)】G06F3/01GK104081319SQ201380007190
【公開(kāi)日】2014年10月1日 申請(qǐng)日期:2013年1月29日 優(yōu)先權(quán)日:2012年2月6日
【發(fā)明者】多井堅(jiān)一郎 申請(qǐng)人:索尼公司