的頭部或面部上的頭戴式顯示器，并且顯示針對右眼和左眼的圖像。在圖中顯示的圖像顯示設(shè)備700是透射型或者透視型，并且用戶可以在顯示圖像的同時，穿過圖像欣賞真實世界中的景色(能夠“看穿”圖像)。因此，可以觀看在真實世界中的景色上重疊的AR(增強現(xiàn)實)圖像，例如，虛擬物體150。從外面(或者由其他人)不能看到顯示的圖像，因此，在顯示信息時，可以容易保護隱私。這個圖像顯示設(shè)備700可以用作在圖2中所示的顯示設(shè)備201或者在圖4、圖5以及圖29中所示的顯示設(shè)備402。
[0169]在圖中所示的圖像顯示設(shè)備700具有與視力矯正用的眼鏡相似的結(jié)構(gòu)。在圖像顯示設(shè)備700上的面對用戶的左右眼的位置中，設(shè)置利用透明導(dǎo)光單元等形成的虛擬圖像光學單元701L和701R，并且在各個虛擬圖像光學單元701L和701R的內(nèi)側(cè)上顯示用戶要觀察的圖像(未示出)。例如，各個虛擬圖像光學單元701L和701R由支架702支撐，該支架具有與一對眼鏡框相似的形狀。
[0170]幾乎在具有眼鏡框的形式的支架702的中心，設(shè)置有用于輸入周圍圖像(用戶的視場)的外部相機712。例如，外部相機712可以捕捉存在于用戶的視線方向的景色。外部相機712可以由相機形成，使得使用視差信息可以獲得關(guān)于周圍圖像的三維信息。甚至在僅僅提供一個相機的情況下，相機在移動的同時使用SLAM(即時定位與地圖構(gòu)建)圖像識別來捕捉圖像，從在不同的時間拍攝的幀圖像中計算視差信息(例如，見專利文獻5)，并且可以獲得關(guān)于周圍圖像的三維信息。在這個實施方式中，通過外部相機712捕捉用戶利用眼睛追蹤虛擬物體150的視場。在圖像顯示設(shè)備700的基本操作中，在通過外部相機712捕捉實際物體151時，在至少一個虛擬圖像光學單元701L和701R上顯示與實際物體151對應(yīng)的虛擬物體150。
[0171]還分別在支架702的左端和右端附近設(shè)置麥克風703L和703R。在麥克風703L和703R幾乎對稱地位于右邊和左邊的情況下，能夠僅僅識別位于中心的聲音(用戶的語音)并且將該聲音從環(huán)境噪聲和其他人的聲音中分離出來。例如，在執(zhí)行使用麥克風703L和703R的語音輸入的操作時，可以防止拾取除了該用戶以外的人的聲音。
[0172]圖8示出了從上面觀看的用戶佩戴的圖像顯示設(shè)備700。如圖中所示，分別輸出和顯示用于左眼的圖像以及用于右眼的圖像的顯示面板704L和704R位于圖像顯示設(shè)備700的左端和右端。每個顯示面板704L和704R由微型顯示器(例如，液晶顯示器或有機EL裝置)或激光掃描顯示器(例如，視網(wǎng)膜直接繪圖顯示器)形成。虛擬圖像光學單元701L和701R分別引導(dǎo)從顯示面板704L和704R中輸出的左和右顯示圖像接近左眼和右眼，并且在用戶的眼睛內(nèi)形成放大的虛擬圖像。雖然在圖中未具體示出，但是每個虛擬圖像光學單元701L和701R包括:光學系統(tǒng)，收集來自微型顯示器的照射光；導(dǎo)光板，設(shè)置于接受穿過光學系統(tǒng)的光的位置中；偏振濾光器，其反射進入導(dǎo)光板的光；以及偏振濾光器，向著用戶的眼睛發(fā)射已通過全內(nèi)反射在導(dǎo)光板內(nèi)傳播的光。
[0173]在這個實施方式中，顯示面板704L和704R用于通過透視的方式顯示虛擬物體150，作為AR圖像。安裝在用戶的頭部或面部上的圖像顯示設(shè)備700可以不通過透視的方式，而是通過視頻透視的方式顯示虛擬物體150。
[0174]圖9示出了圖像顯示設(shè)備700的一個示例內(nèi)部結(jié)構(gòu)。下面描述了各個組件。
[0175]控制單元901包括ROM (只讀存儲器)90IA和RAM (隨機存取存儲器)90IB。ROM901A存儲控制單元901要執(zhí)行的程序代碼以及各種數(shù)據(jù)。通過執(zhí)行載入RAM 901B內(nèi)的程序，控制單元901開始圖像顯示控制，并且統(tǒng)一控制整個圖像顯示設(shè)備700的操作。
[0176]存儲在ROM 901A內(nèi)的程序和數(shù)據(jù)的實例包括:圖像顯示控制程序、用于生成虛擬物體150或者控制虛擬物體150的顯示的控制程序、用于檢測虛擬物體150在真實空間內(nèi)執(zhí)行的動作(或者例如，用于識別由虛擬物體150在物理上操作的實際物體151并且檢測在實際物體151上執(zhí)行的動作)的檢測程序、用于在互聯(lián)網(wǎng)內(nèi)與外部裝置(例如，服務(wù)器(未示出))通信的程序、與各個實際物體151對應(yīng)的虛擬物體150的庫、以及設(shè)備700唯一的識別信息152。然而，虛擬物體150的庫不局部存儲在圖像顯示設(shè)備700內(nèi)，而是可以從在互聯(lián)網(wǎng)內(nèi)的服務(wù)器(未示出)中逐個獲取。
[0177]輸入操作單元902包括一個或多個操作塊體，通過這些操作塊體，用戶執(zhí)行輸入操作，例如，鍵盤、按鈕或開關(guān)。輸入操作單元902通過操作塊體接收用戶指令，并且將用戶指令輸出給控制單元901。輸入操作單元902還接收利用由遙控接收單元903接收的遙控命令形成的用戶指令，并且還將這個用戶指令輸出給控制單元901。
[0178]在這個實施方式中，用戶通過輸入操作單元902會使虛擬物體150的顯示出現(xiàn)或消失，或者執(zhí)行在虛擬物體150上的動作。
[0179]狀態(tài)信息獲取單元904是功能模塊，該模塊獲取關(guān)于圖像顯示設(shè)備700或者關(guān)于佩戴設(shè)備700的用戶的狀態(tài)信息。狀態(tài)信息獲取單元904可以裝有各種傳感器，用于檢測狀態(tài)信息，或者可以通過通信單元905 (稍后描述)從配備有一些或所有那些傳感器的外部裝置(例如，智能電話或者用戶佩戴的手表、或者某個其他多功能終端)中獲取狀態(tài)信息。
[0180]例如，為了追蹤用戶的頭部移動，狀態(tài)信息獲取單元904獲取關(guān)于用戶的頭部的位置和用戶的姿勢的信息或者關(guān)于用戶的姿勢的信息。為了追蹤用戶的頭部移動，狀態(tài)信息獲取單元904是可以總共檢測9個軸的傳感器，例如，包括三軸陀螺儀傳感器、三軸加速度傳感器以及三軸地磁傳感器。狀態(tài)信息獲取單元304可以進一步包括一個或多個以下傳感器的組合:GPS(全球定位系統(tǒng))傳感器、多普勒傳感器、紅外線傳感器、無線電場強度傳感器等。為了獲取位置和姿勢信息，狀態(tài)信息獲取單元904還可以使用從各種基礎(chǔ)設(shè)施中提供的信息的組合，例如，蜂窩電話基站信息和PlaceEngine (注冊商標)信息(無線LAN接入點的電氣測量的信息)。在圖9中所示的實例中，用于追蹤頭部移動的狀態(tài)信息獲取單元904包括在作為圖像顯示設(shè)備700的頭戴式顯示器內(nèi)。然而，狀態(tài)信息獲取單元904可以利用外部地連接至頭戴式顯示器的附屬組件等形成。在后一種情況下，例如，外部連接的狀態(tài)信息獲取單元904以旋轉(zhuǎn)矩陣形式表現(xiàn)關(guān)于頭部的姿勢信息，并且由無線通信(例如，藍牙(注冊商標)通信)或者通過高速電纜接口(例如，USB(通用串行總線))將姿勢信息傳輸給頭戴式顯示器。
[0181]除了通過上述方式追蹤用戶的頭部移動之外，狀態(tài)信息獲取單元904還獲取關(guān)于佩戴圖像顯示設(shè)備700的用戶的狀態(tài)信息。狀態(tài)信息的實例包括用戶的工作狀態(tài)(無論用戶是否佩戴圖像顯示設(shè)備700、用戶的動作狀態(tài)(移動狀態(tài)，例如，靜止狀態(tài)、步行狀態(tài)或跑步狀態(tài)、眼瞼開/閉狀態(tài)、視線方向、瞳孔大小、或物理動作，例如，在虛擬物體150上執(zhí)行的動作或反應(yīng))、用戶的精神狀態(tài)(感動度、興奮度、感知度、感情或情感，例如，用戶是否專心于或集中精力于觀察虛擬物體)以及用戶的生理狀態(tài)。為了獲取用戶的這種狀態(tài)信息，狀態(tài)信息獲取單元904可以包括各種狀態(tài)傳感器，例如，用機械開關(guān)(switch)等的附著式傳感器、捕捉用戶的面部的內(nèi)置相機、陀螺儀傳感器、加速度傳感器、速度傳感器、壓力傳感器、感測體溫或大氣溫度的溫度傳感器、排汗傳感器、肌電位傳感器、眼電位傳感器、腦電波傳感器、吸氣傳感器和氣體/離子濃度傳感器、以及計時器(在圖中未示出任何這些傳感器)。
[0182]在這個實施方式中，根據(jù)由狀態(tài)信息獲取單元904獲取的狀態(tài)或狀態(tài)變化，可控制虛擬物體150的顯示的出現(xiàn)和消失、虛擬物體150的操作以及由實際物體151在虛擬物體150上執(zhí)行的動作。
[0183]環(huán)境信息獲取單元916是功能模塊，該模塊獲取關(guān)于在圖像顯示設(shè)備700以及佩戴圖像顯示設(shè)備700的用戶周圍的一個或多個環(huán)境因素的信息。在此處，環(huán)境因素是設(shè)備700或用戶暴露于其中的電磁波(紫外線、藍光、無線電波)、熱射線(紅外線)、輻射、懸浮在空氣中的?；镔|(zhì)、噪聲、負離子等。
[0184]環(huán)境信息獲取單元916可以包括各種傳感器，用于檢測這種環(huán)境因素?？商娲兀h(huán)境信息獲取單元916可以通過通信單元905 (稍后描述)從配備有一些或所有那些傳感器的外部裝置(例如，智能電話或者用戶佩戴的手表、或者某個其他多功能終端)或者收集環(huán)境信息的服務(wù)器中獲取關(guān)于環(huán)境因素的信息。
[0185]在這個實施方式中，可根據(jù)由環(huán)境信息獲取單元916獲取的環(huán)境或者環(huán)境變化，控制虛擬物體150的顯示的出現(xiàn)和消失、虛擬物體150的操作以及由實際物體151在虛擬物體150上執(zhí)行的動作。
[0186]例如，外部相機912幾乎放在圖像顯示設(shè)備700的正面的中心(見在圖7中的外部相機712)，并且可以拍攝周圍環(huán)境的圖像。此外，根據(jù)由狀態(tài)信息獲取單元904檢測的用戶的視線方向，進行外部相機912的俯仰、偏轉(zhuǎn)和翻滾方向的姿勢控制，以便可以使用外部相機912拍攝在用戶的視線水平面上的圖像或者用戶的視線方向的圖像。外部相機912可以利用多臺相機形成，以便可以使用視差信息獲得關(guān)于周圍圖像的三維信息。甚至在提供僅僅一個相機的情況下，相機在移動的同時使用SLAM(即時定位與地圖構(gòu)建)圖像識別拍攝圖像，從在不同的時間拍攝的幀圖像中計算視差信息(例如，見專利文獻5)，并且可以獲得關(guān)于周圍圖像的三維信息。根據(jù)由內(nèi)置相機識別的瞳孔的尺寸，通過輸入操作單元902的操作，或者通過語音輸入，用戶可以調(diào)整外部相機912的縮放因子。通過外部相機912拍攝的圖像可以輸出給顯示單元909并且在顯示單元上顯示，并且還可以存儲在存儲單元906內(nèi)。
[0187]可以通過外部相機912捕捉用戶的眼睛跟隨虛擬物體150的視場。因此，在這個實施方式中，外部相機912還可以用作上述檢測單元104。例如，通過從通過外部相機912拍攝的圖像中讀取識別信息152 (例如，與實際物體151附接的條形碼)，或者從通過外部相機912拍攝的圖像中識別物體，可以識別實際物體151。
[0188]通信單元905與外部裝置通信，例如，另一個圖像顯示設(shè)備、多功能終端或者在互聯(lián)網(wǎng)內(nèi)的服務(wù)器(未示出)，并且在通信信號上執(zhí)行調(diào)制和解調(diào)、以及編碼和解碼?？刂茊卧?01還通過通信單元905發(fā)送數(shù)據(jù)傳輸給外部裝置。通信單元905可以具有任何類型的結(jié)構(gòu)。例如，可以根據(jù)在與外部裝置進行傳輸/接收操作中使用的通信方法設(shè)計通信單元905，該外部裝置為要與其進行通信的外部裝置。例如，通信方法可以涉及電纜通?目或無線通?目。在此處，通?目標準可以是MHL (移動尚清鏈路)、USB (通用串彳丁總線)、HDMI (注冊商標)(高清晰度多媒體接口)、W1-Fi (注冊商標)、藍牙(注冊商標)通信、BLE(Bluetooth(注冊商標)低能量)通信、超低功耗無線通信(例如，ANT、由IEEE 802.1ls標準化的網(wǎng)狀網(wǎng)絡(luò)等)、紅外通信、人體通信、或經(jīng)由導(dǎo)電纖維的信號傳輸。
[0189]可替代地，通信單元905可以是無線蜂窩收發(fā)器，其根據(jù)諸如W-CDMA (寬帶碼分多址)或LTE (長期演進)等標準操作。
[0190]在這個實施方式中，關(guān)于在圖像顯示設(shè)備700內(nèi)生成的虛擬物體150的信息以及所獲取的狀態(tài)信息和環(huán)境信息可通過通信單元905傳輸給外部裝置。而且，可通過通信單元905接收在外部服務(wù)器內(nèi)生成的并且被設(shè)計為用于控制虛擬物體150的顯示的信息(例如，庫)。
[0191]存儲單元906是大容量存儲器，利用SSD (固態(tài)驅(qū)動器)等形成。存儲單元906存儲由控制單元901執(zhí)行的應(yīng)用程序以及各種數(shù)據(jù)。例如，關(guān)于經(jīng)受由控制單元901進行的顯示控制虛擬物體150的信息(例如，庫)、在顯示單元909上顯示的虛擬物體150的顯示圖像可以存儲在存儲單元906內(nèi)。
[0192]圖像處理單元907進一步對從控制單元901中輸出的圖像信號執(zhí)行信號處理(例如，圖像質(zhì)量校正)，并且將圖像信號的分辨率轉(zhuǎn)換成與顯示單元909的屏幕兼容的分辨率。顯示驅(qū)動單元908隨后逐行選擇顯示單元909的像素，并且對像素執(zhí)行線順序的掃描，以提供基于經(jīng)受信號處理的圖像信號的像素信號。
[0193]顯示單元909包括顯示面板，其用微型顯示器(例如，有機EL(電致發(fā)光)裝置或液晶顯示器)或激光掃描顯示器(例如，視網(wǎng)膜直接繪圖顯示器)形成。虛擬圖像光學單元910放大在顯示單元909上顯示的圖像，并且投射圖像，作為放大的虛擬圖像，以供用戶觀看。在這個實施方式中，向用戶呈現(xiàn)虛擬物體150等的AR圖像，以看穿虛擬圖像光學單元 910。
[0194]外部顯示單元915具有面向圖像顯示設(shè)備700的外面的顯示屏(或者面向佩戴圖像顯示設(shè)備700的用戶的面部的相反方向)，并且可以向附近的其他用戶顯示與在顯示單元909上顯示的圖像相同或不同的圖像。例如，如果在外部顯示單元915上也顯示在顯示單元909上顯示的虛擬物體150的圖像，那么可以與附近的其他用戶共享虛擬現(xiàn)實的感覺。關(guān)于外部顯示單元915的細節(jié)，參照已經(jīng)轉(zhuǎn)讓給申請人的日本專利申請?zhí)?012-200902和2012-200903的說明書。
[0195]音頻處理單元913對從控制單元901中輸出的音頻信號執(zhí)行聲音質(zhì)量校正或聲音放大，并且進一步在輸入音頻信號等上執(zhí)行信號處理。音頻輸入/輸出單元914將經(jīng)受音頻處理的聲音輸出給外面，并且從麥克風(上述)中輸入聲音。在這個實施方式中，輸入/輸出單元914可以輸出雙耳聲源。
[0196]在以上描述中，在基本操作中，根據(jù)用戶觀看或?qū)ふ覍嶋H物體151，虛擬物體150出現(xiàn)。在顯示設(shè)備201或顯示設(shè)備402形成為頭戴式顯示器的情況下，通過外部相機912捕捉用戶的視場，并且通過分析使用外部相機912拍攝的圖像，讀取識別信息152，或者通過物體識別，識別實際物體151。根據(jù)這個結(jié)果，虛擬物體150出現(xiàn)在顯示單元909上。
[0197]雖然圖7到圖9示出了要作為頭戴式顯示器實現(xiàn)的顯示設(shè)備201或顯示設(shè)備402的一個示例結(jié)構(gòu)，但是在本說明書中公開的技術(shù)不限于此。例如，顯示設(shè)備201或顯示設(shè)備402可以用以透視的方式顯示使用相機拍攝的圖像的信息終端，例如，智能電話或數(shù)碼相機形成，(例如，見專利文獻6)。
[0198]圖10示意性示出了形成為專用硬件設(shè)備的輸出設(shè)備202或403的一個示例內(nèi)部結(jié)構(gòu)。如上所述，例如，輸出設(shè)備202是表現(xiàn)虛擬物體150在真實空間內(nèi)執(zhí)行的交互的硬件設(shè)備，并且與實際物體151 —體地或者在實際物體內(nèi)形成。輸出設(shè)備202執(zhí)行對虛擬物體150的動作的反應(yīng)，或者在虛擬物體150上執(zhí)行動作。
[0199]在圖中所示的輸出設(shè)備202包括控制單元1001、通信單元1002、狀態(tài)檢測單元1003、環(huán)境檢測單元1004、致動器單元1020以及驅(qū)動控制單元1010。
[0200]控制單元1001包括ROM 1001A和RAM 100IB。ROM 1001A存儲控制單元1001要執(zhí)行的程序代碼以及各種數(shù)據(jù)。通過執(zhí)行載入RAM 1001B內(nèi)的程序，控制單元1001通過驅(qū)動控制單元1010控制致動器單元1020的操作。
[0201]存儲在ROM 1001A內(nèi)的程序包括用于控制致動器單元1020的操作的控制程序，以便表現(xiàn)對由虛擬物體150在實際物體151上執(zhí)行的動作、由實際物體151在虛擬物體150上執(zhí)行的動作等的反應(yīng)。而且，用于表現(xiàn)通過實際物體151在虛擬物體150上執(zhí)行的動作或反應(yīng)的致動器單元1020的操作模式的數(shù)據(jù)可以存儲在ROM 100A內(nèi)。
[0202]狀態(tài)檢測單元1003檢測在其上安裝輸出設(shè)備202的實際物體151的狀態(tài)或狀態(tài)變化。狀態(tài)檢測單元1003包括一個或多個狀態(tài)傳感器，例如，陀螺儀傳感器、加速度傳感器、速度傳感器、壓力傳感器、感測體溫或大氣溫度的溫度傳感器、排汗傳感器、肌電位傳感器、眼電位傳感器、腦電波傳感器、吸氣傳感器、以及氣體/離子濃度傳感器。
[0203]環(huán)境檢測單元1004檢測在其上安裝輸出設(shè)備202的實際物體151周圍和在實際物體151上執(zhí)行物理動作的虛擬物體150周圍的一個或多個環(huán)境因素或者一個或多個環(huán)境因素的變化。
[0204]致動器單元1020利用一個或多個輸出裝置來形成，用于輸出由實際物體151在虛擬物體150