信息處理設(shè)備和信息處理方法、顯示設(shè)備和顯示方法與信息處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本說明書中公開的技術(shù)涉及一種用于在增強(qiáng)現(xiàn)實(shí)圖像中執(zhí)行關(guān)于與真實(shí)圖像相結(jié)合的虛擬圖像的處理的信息處理設(shè)備和信息處理方法、一種顯示設(shè)備和顯示方法、以及一種信息處理系統(tǒng)。具體地，該技術(shù)涉及一種用于呈現(xiàn)虛擬物體與真實(shí)空間之間的交互的信息處理設(shè)備和信息處理方法、一種顯示設(shè)備和顯示方法、以及一種信息處理系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)在，在信息處理中的記述領(lǐng)域中，虛擬生物廣泛地用作2D或3D游戲中的人物、玩家(用戶)的化身或計(jì)算機(jī)的用戶界面。在信息處理設(shè)備中生成這種類型的虛擬生物的移動，使得虛擬生物在屏幕上自由移動或者發(fā)出聲音。
[0003]另外，最近，用于在真實(shí)圖像重疊虛擬圖像的技術(shù)(如，增強(qiáng)現(xiàn)實(shí)(AR)和混合現(xiàn)實(shí))正在傳播。要在虛擬圖像上重疊的虛擬圖像可以是虛擬生物的圖像，例如，游戲中的人物、玩家(用戶)的化身、虛擬寵物或計(jì)算機(jī)的用戶界面、或虛擬移動物體，例如，汽車。
[0004]例如，提出了一種娛樂裝置，顯示與真實(shí)環(huán)境的圖像相結(jié)合的虛擬寵物。虛擬寵物可以與用戶交談并且在虛擬屏幕上四處走動(例如，參見專利文獻(xiàn)I)。在這個娛樂裝置中，由系統(tǒng)單元生成的虛擬寵物被呈現(xiàn)(rendered)在通過攝影機(jī)捕捉的真實(shí)圖像中，并且在顯示/聲音輸出設(shè)備上顯示，例如，裝有顯示器和揚(yáng)聲器的監(jiān)控器或電視機(jī)。然而，虛擬寵物僅僅在屏幕中移動，并且表現(xiàn)虛擬寵物的動作或反應(yīng)的聲音等僅僅從顯示/聲音輸出設(shè)備的安裝地點(diǎn)中輸出。因此，存在對虛擬寵物與真實(shí)空間之間的交互的現(xiàn)實(shí)表現(xiàn)的限制。
[0005]還提出了一種物體顯示設(shè)備。在這個物體顯示設(shè)備中，將在DFD (深度融合顯示)型的三維顯示設(shè)備上顯示的三維圖像的深度位置調(diào)整為真實(shí)物體穿過的深度位置，以便給出虛擬物體三維地存在于與觀看者相同的空間內(nèi)的感覺，并且觀看者彼此交互(例如，見專利文獻(xiàn)2)。然而，這個物體顯示設(shè)備僅僅可以提供視覺交互效果。而且，這種交互效果僅僅在顯示虛擬物體的物體顯示設(shè)備的安裝地點(diǎn)內(nèi)有效。
[0006]還提出了一種圖像處理方法，用于在真實(shí)空間上疊加包括虛擬物體的虛擬空間的視頻圖像，并且通過頭戴式顯示器呈現(xiàn)視頻圖像(例如，見專利文獻(xiàn)3)。根據(jù)這個圖像處理方法，揚(yáng)聲器輸出聲音效果，例如，虛擬物體在虛擬空間內(nèi)四處移動的聲音。然而，這種聲音效果表現(xiàn)虛擬物體在虛擬空間內(nèi)的交互，并且不表現(xiàn)虛擬物體與真實(shí)空間的交互。
[0007]還提出了一種信息終端裝置，其顯示虛擬寵物的圖像，使得虛擬寵物看起來如同在實(shí)際視場中的人體皮膚上的虛擬圖像(例如，見專利文獻(xiàn)4)。在虛擬寵物與手等的皮膚的移動一起移動時，用戶可以獲得虛擬寵物對皮膚的移動作出反應(yīng)的印象。即，通過這個信息終端裝置，在真實(shí)空間內(nèi)的用戶可以在虛擬寵物上執(zhí)行動作，但是虛擬寵物不能在真實(shí)空間內(nèi)執(zhí)行任何動作。簡言之，未呈現(xiàn)出虛擬寵物與真實(shí)空間之間的交互(interact1n)。

【發(fā)明內(nèi)容】

[0008]本發(fā)明要解決的問題
[0009]本說明書中公開的技術(shù)旨在提供一種信息處理設(shè)備和信息處理方法、一種顯示設(shè)備和顯示方法、以及一種信息處理系統(tǒng)，其擅長于通過優(yōu)選的方式呈現(xiàn)虛擬物體與真實(shí)空間之間的交互。
[0010]問題的解決方案
[0011]鑒于以上問題，已經(jīng)作出本申請，并且在權(quán)利要求1中公開的技術(shù)是一種信息處理設(shè)備，包括:
[0012]輸出單元，向?qū)嶋H物體施加動作；以及
[0013]控制單元，其根據(jù)由虛擬物體對所述實(shí)際物體執(zhí)行的動作或者由所述實(shí)際物體將要對所述虛擬物體執(zhí)行的動作，控制所述輸出單元的輸出。
[0014]根據(jù)在本申請的權(quán)利要求2中公開的技術(shù)，在權(quán)利要求1中公開的信息處理設(shè)備進(jìn)一步包括識別信息，用于識別所述信息處理設(shè)備。
[0015]根據(jù)在本申請的權(quán)利要求3中公開的技術(shù)，在權(quán)利要求1中公開的信息處理設(shè)備進(jìn)一步包括接收單元，其接收由所述虛擬物體對所述實(shí)際物體執(zhí)行的動作的檢測結(jié)果。所述控制單元根據(jù)所接收的檢測結(jié)果控制所述輸出單元的輸出。
[0016]根據(jù)在本申請的權(quán)利要求4中公開的技術(shù)，在權(quán)利要求1中公開的信息處理設(shè)備進(jìn)一步包括虛擬物體控制單元，其控制所述虛擬物體的動作。所述控制單元根據(jù)由所述虛擬物體控制單元控制的虛擬物體的動作控制所述輸出單元的輸出。
[0017]根據(jù)在本申請的權(quán)利要求5中公開的技術(shù)，在權(quán)利要求1中公開的信息處理設(shè)備的輸出單元包括:組裝在實(shí)際物體內(nèi)的至少一個以下輸出裝置:振動裝置、脈沖生成裝置、發(fā)熱裝置、冷卻裝置、吹風(fēng)裝置、音響裝置、發(fā)光裝置和移動裝置。
[0018]在本申請的權(quán)利要求6中公開的技術(shù)是一種信息處理方法，包括:
[0019]獲取由虛擬物體對實(shí)際物體執(zhí)行的動作或者由所述實(shí)際物體將要對所述虛擬物體執(zhí)行的動作的步驟；以及
[0020]根據(jù)由所述虛擬物體對所述實(shí)際物體執(zhí)行的動作或者由所述實(shí)際物體將要對所述虛擬物體執(zhí)行的動作，向所述實(shí)際物體施加動作的步驟。
[0021]在本申請的權(quán)利要求7中公開的技術(shù)是一種顯示設(shè)備，包括:
[0022]檢測單元，其檢測特定實(shí)際物體；以及
[0023]顯示單元，其響應(yīng)于對所述特定實(shí)際物體的檢測，顯示虛擬物體。
[0024]根據(jù)在本申請的權(quán)利要求8中公開的技術(shù)，在權(quán)利要求7中公開的顯示設(shè)備的檢測單元識別所述實(shí)際物體，并且所述顯示單元顯示與所識別的實(shí)際物體對應(yīng)的虛擬物體。
[0025]根據(jù)在本申請的權(quán)利要求9中公開的技術(shù)，在權(quán)利要求7中公開的顯示設(shè)備的檢測單元根據(jù)所述實(shí)際物體帶有的識別信息，識別所述實(shí)際物體，或者通過物體識別識別所述實(shí)際物體。
[0026]根據(jù)在本申請的權(quán)利要求10中公開的技術(shù)，在權(quán)利要求7中公開的顯示設(shè)備的檢測單元從用戶的視場中檢測所述實(shí)際物體，并且所述顯示單元顯示在所述實(shí)際物體上重疊的虛擬物體。
[0027]根據(jù)在本申請的權(quán)利要求11中公開的技術(shù)，在權(quán)利要求7中公開的顯示設(shè)備進(jìn)一步包括虛擬物體控制單元，其控制所述虛擬物體的動作。
[0028]根據(jù)在本申請的權(quán)利要求12中公開的技術(shù)，在權(quán)利要求11中公開的顯示設(shè)備的虛擬物體控制單元根據(jù)用戶的移動，控制所述虛擬物體的出現(xiàn)或消失。
[0029]根據(jù)在本申請的權(quán)利要求13中公開的技術(shù)，在權(quán)利要求11中公開的顯示設(shè)備的虛擬物體控制單元根據(jù)用戶的移動或狀態(tài)或時間段，控制關(guān)于在所述顯示單元上顯示的所述虛擬物體的信息量。
[0030]根據(jù)在本申請的權(quán)利要求14中公開的技術(shù)，在權(quán)利要求11中公開的顯示設(shè)備的虛擬物體控制單元控制所述虛擬物體對所述實(shí)際物體的動作，或者根據(jù)由所述虛擬物體從所述實(shí)際物體中接收的動作，控制所述虛擬物體的動作。
[0031]根據(jù)在本申請的權(quán)利要求15中公開的技術(shù)，在權(quán)利要求11中公開的顯示設(shè)備的檢測單元檢測所述虛擬物體對所述實(shí)際物體的動作或者由所述虛擬物體從所述實(shí)際物體中接收的動作，并且所述虛擬物體控制單元根據(jù)由所述檢測單元執(zhí)行的檢測結(jié)果控制所述虛擬物體的控制。
[0032]根據(jù)在本申請的權(quán)利要求16中公開的技術(shù)，在權(quán)利要求11中公開的顯示設(shè)備的虛擬物體控制單元控制所述虛擬物體的動作以使所述虛擬物體的動作與所述實(shí)際物體的動作同步。
[0033]根據(jù)在本申請的權(quán)利要求17中公開的技術(shù)，在權(quán)利要求7中公開的顯示設(shè)備的顯示單元安裝在用戶的頭部或面部上，且然后被使用，并且所述顯示設(shè)備進(jìn)一步包括位置/姿勢檢測單元，其檢測用戶的頭部或面部的位置和姿勢。所述顯示單元從與用戶的頭部或面部的位置或姿勢的變化相反的方向校正所述虛擬物體的顯示。
[0034]在本申請的權(quán)利要求18中公開的技術(shù)是一種顯示方法，包括:
[0035]檢測特定的實(shí)際物體的檢測步驟；以及
[0036]響應(yīng)于對所述特定的實(shí)際物體的檢測，顯示虛擬物體的顯示步驟。
[0037]在本申請的權(quán)利要求19中公開的技術(shù)是一種信息處理系統(tǒng)，包括:
[0038]控制設(shè)備，其控制虛擬物體的動作；
[0039]顯示設(shè)備，其檢測實(shí)際物體并且顯示與所述實(shí)際物體對應(yīng)的虛擬物體；以及
[0040]輸出設(shè)備，其根據(jù)由所述虛擬物體對所述實(shí)際物體執(zhí)行的動作或者由所述實(shí)際物體將要對所述虛擬物體執(zhí)行的動作，向所述實(shí)際物體施加動作。
[0041]應(yīng)注意的是，術(shù)語“系統(tǒng)”是裝置(或?qū)崿F(xiàn)特定功能的功能模塊)的邏輯組件，并且各個裝置或功能模塊不必位于單個殼體內(nèi)(這同樣適用于以下描述)。
[0042]在本申請的權(quán)利要求20中公開的技術(shù)是一種信息處理系統(tǒng)，包括:
[0043]顯示設(shè)備，其檢測實(shí)際物體并顯示與所述實(shí)際物體對應(yīng)的虛擬物體，并且控制所述虛擬物體的動作；以及
[0044]輸出設(shè)備，其根據(jù)由所述虛擬物體對所述實(shí)際物體執(zhí)行的動作或者由所述實(shí)際物體將要對所述虛擬物體執(zhí)行的動作，向所述實(shí)際物體施加動作。
[0045]本發(fā)明的效果
[0046]根據(jù)在本說明書中公開的技術(shù)，能夠提供一種信息處理設(shè)備和信息處理方法、一種顯示設(shè)備和顯示方法、以及一種信息處理系統(tǒng)，其擅長于通過優(yōu)選的方式呈現(xiàn)虛擬物體與真實(shí)空間之間的交互。
[0047]通過下面描述的實(shí)施方式以及參照附圖進(jìn)行的詳細(xì)描述，本說明書中公開的技術(shù)的其他目標(biāo)、特征以及優(yōu)點(diǎn)將顯而易見。
【附圖說明】
[0048][圖1]圖1是示意性示出向用戶呈現(xiàn)增強(qiáng)現(xiàn)實(shí)的圖像的信息處理系統(tǒng)100的功能構(gòu)造的示圖；
[0049][圖2]圖2是具體示出信息處理系統(tǒng)的一個示例結(jié)構(gòu)100-2的示圖。
[0050][圖3]圖3是示出在信息處理系統(tǒng)100-2內(nèi)的一個示例通信順序的示圖。
[0051][圖4]圖4是具體示出信息處理系統(tǒng)的一個示例結(jié)構(gòu)100-4的示圖。
[0052][圖5]圖5是具體示出在圖4所示的信息處理系統(tǒng)的變形100-5的示圖。
[0053][圖6]圖6是示出在信息處理系統(tǒng)100-4內(nèi)的一個示例通信順序的示圖。
[0054][圖7]圖7是示出可以應(yīng)用于在本說明書中公開的技術(shù)中的圖像顯示設(shè)備700的外部結(jié)構(gòu)的示圖。
[0055][圖8]圖8是示出從上面觀看的用戶佩戴的圖像顯示設(shè)備700的示圖。
[0056][圖9]圖9是示出圖像顯示設(shè)備700的一個示例內(nèi)部結(jié)構(gòu)的示圖。
[0057][圖10]圖10是示意性示出形成為專用硬件設(shè)備的輸出設(shè)備202的一個示例內(nèi)部結(jié)構(gòu)的示圖。
[0058][圖11]圖11是示意性示出致動器單元1020的一個示例結(jié)構(gòu)的示圖。
[0059][圖12A]圖12A是示出輸出設(shè)備202的一個具體實(shí)例的示圖。
[0060][圖12B]圖12B是示出輸出設(shè)備202的一個具體實(shí)例的示圖。
[0061][圖12C]圖12C是示出輸出設(shè)備202的一個具體實(shí)例的示圖。
[0062][圖13]圖13是示出振動裝置1101的一個示例結(jié)構(gòu)的示圖。
[0063][圖14]圖14是示出在圖13所示的振動裝置1101的一個示例操作的示圖。
[0064][圖15]圖15是示出在圖13所示的振動裝置1101的一個示例操作的示圖。
[0065][圖16]圖16是示出在圖12C所示的輸出設(shè)備202的一個示例操作的示圖。
[0066][圖17]圖17是示出在圖12C所示的輸出設(shè)備202的一個示例操作的示圖。
[0067][圖18]圖18是示出在圖12C所示的輸出設(shè)備202的一個示例操作的示圖。
[0068][圖19]圖19是示出在圖12C所示的輸出設(shè)備202的一個示例操作的示圖。
[0069][圖20]圖20是示出在圖12C所示的輸出設(shè)備202的一個示例操作的示圖。
[0070][圖21]圖21是示出一種情況的示圖，其中，呈現(xiàn)了追蹤用戶的頭部移動的虛擬物體 150。
[0071][圖22]圖22是示出一種情況的示圖，其中，呈現(xiàn)了不追蹤用戶的頭部移動的虛擬物體150。
[0072][圖23]圖23是示出虛擬物體150的圖像的移動相對于用戶的頭部移動的延遲的示圖。
[0073][圖24A]圖24A是示出一種情況的示圖，其中，用戶通過頭戴式顯示器2401觀察實(shí)際物體151。
[0074][圖24B]圖24B是示出一種情況的示圖，其中，用戶通過頭戴式顯示器2401觀察虛擬物體150。
[0075][圖25]圖25是示出一種情況的示圖，其中，用戶分別通過頭戴式顯示器2501、2502、2503、...觀察虛擬物體 150A、150B、150C、...。
[0076][圖26]圖26是示出一個示例情況的示圖，其中，在房間內(nèi)設(shè)有識別信息152的區(qū)域用作實(shí)際物體。
[0077][圖27]圖27是示出一個示例情況的示圖，其中，用戶的身體部分用作實(shí)際物體。
[0078][圖28]圖28是示出一個示例情況的示圖，其中，用戶的身體部分用作實(shí)際物體。
[0079][圖29]圖29是示出在圖4所示的信息處理系統(tǒng)的變形100-29的示圖。
【具體實(shí)施方式】
[0080]下面是參照附圖在本說明書中公開的技術(shù)的實(shí)施方式的詳細(xì)描述。
[0081]圖1示意性示出了向用戶呈現(xiàn)通過在真實(shí)圖像上重疊虛擬圖像所形成的增強(qiáng)現(xiàn)實(shí)或者混合現(xiàn)實(shí)的圖像的信息處理系統(tǒng)100的功能構(gòu)造的示圖。在圖中所示的信息處理系統(tǒng)100通過組合虛擬物體150和真實(shí)空間來呈現(xiàn)虛擬圖像，并且包括虛擬物體控制單元101、虛擬物體生成單元102、顯示單元103、檢測單元104、輸出單元105、輸出控制單元106、環(huán)境檢測單元107以及狀態(tài)檢測單元108。
[0082]例如，在本實(shí)施方式中的“虛擬物體”可以是用戶的化身、在2D或3D游戲中的人物、或計(jì)算機(jī)的用戶界面。虛擬物體150不必是人，而是可以是動物，例如，虛擬寵物。虛擬物體150也不必是生物，而是可以是移動物體，例如，汽車、直升飛機(jī)或船舶。虛擬物體150可以不是物體的圖像，而是可以是文本。虛擬物體150可以是聲音(不伴有任何圖像顯示的語音助理)。在虛擬物體150由物體的圖像和聲音的組合表示時，圖像的顯示位置和聲音的發(fā)出位置需要相同。在以下描述中，為了便于說明，虛擬物體150是人。組合虛擬物體和真實(shí)圖像的方法可以是在使用透視型頭戴式顯示器觀察的作為用戶的視場的真實(shí)空間上重疊虛擬物體的方法、或者在通過相機(jī)(例如，視頻透視型頭戴式顯示器)捕捉的真實(shí)空間的圖像上重疊虛擬物體的方法。
[0083]虛擬物體控制單元101控制虛擬物體150 (在真實(shí)空間內(nèi))的出現(xiàn)、虛擬物體150 (從真實(shí)空間中)的消失、以及正在觀察的虛擬物體150 (在真實(shí)空間內(nèi))的運(yùn)動或行為?；旧?，根據(jù)用戶觀看和尋找實(shí)際物體151，虛擬物體控制單元101使與實(shí)際物體151對應(yīng)的虛擬物體150出現(xiàn)(假設(shè)虛擬物體150與實(shí)際物體151提前相關(guān)聯(lián))。
[0084]在此處，實(shí)際物體151設(shè)置有識別信息152，例如，IC標(biāo)簽或條形碼(或QR碼(注冊商標(biāo))或DOT碼)。在實(shí)際物體151是具有顯示單元的信息終端(例如，智能電話)時，識別信息152可以是條形碼等的顯示圖像。實(shí)際物體151可以是印刷材料或具有特征的物體(例如，在圖像中容易識別的物體)，并且不必包括識別信息152，例如，IC標(biāo)簽。上述“根據(jù)用戶觀看或?qū)ふ覍?shí)際物體151”在實(shí)踐中是通過識別在實(shí)際物體151上設(shè)置的識別信息152的處理或者通過圖像中的物體識別來識別實(shí)際物體151的處理來實(shí)現(xiàn)的。將關(guān)于與識別信息152的各條信息對應(yīng)的虛擬物體150的信息輸入到庫中。
[0085]使虛擬物體150出現(xiàn)的方法分成:拉(PULL)型，通過該類型，根據(jù)由用戶通過姿勢或輸入操作等作出的出現(xiàn)請求，使虛擬物體150出現(xiàn)；以及推(PUSH)型，通過該類型，虛擬物體150隨著在系統(tǒng)側(cè)上發(fā)生的預(yù)定事件而出現(xiàn)，與用戶的意圖無關(guān)。
[0086]使與實(shí)際物體151對應(yīng)的虛擬物體150出現(xiàn)的上述方法屬于HJLL型。在用戶的眼睛從虛擬物體150或?qū)嶋H物體151存在的區(qū)域中離開時(或者在自用戶的眼睛從虛擬物體150或該區(qū)域中離開起已經(jīng)過預(yù)定時