頭部佩戴型顯示裝置以及頭部佩戴型顯示裝置的控制方法
【專利摘要】本發(fā)明提供為了顯示圖像而減少處理的負(fù)擔(dān)并且不降低對使用者而言的圖像的可視性的技術(shù)。透射式的頭部佩戴型顯示裝置具備：圖像顯示部，其能夠?qū)D像顯示于顯示區(qū)域；視線方向確定部，其確定使用者的視線方向；以及圖像變更部，其根據(jù)確定出的上述視線方向，來變更上述顯示區(qū)域所顯示的顯示圖像。
【專利說明】
頭部佩戴型顯示裝置以及頭部佩戴型顯示裝置的控制方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及頭部佩戴型顯示裝置的技術(shù)?！颈尘凹夹g(shù)】
[0002]已知有作為佩戴于頭部的顯示裝置的頭部佩戴型顯示裝置(頭戴式顯示器(Head Mounted Display)，HMD)。頭部佩戴型顯示裝置例如通過利用液晶顯示器以及光源生成表示圖像的圖像光，并利用投影光學(xué)系統(tǒng)、導(dǎo)光板將所生成的圖像光導(dǎo)入使用者的眼睛，來使使用者視覺確認(rèn)虛像。頭部佩戴型顯示裝置具有使用者除了虛像以外還能夠視覺確認(rèn)外景的透射式、以及使用者不能夠視覺確認(rèn)外景的非透射式這兩種類型。透射式的頭部佩戴型顯示裝置具有光學(xué)透射式以及影像透射式。
[0003]專利文獻(xiàn)1中記載有將使用者的視野分割為2個(gè)以上的區(qū)域，在分割而成的每個(gè)區(qū)域顯示對應(yīng)的虛擬圖像的頭部佩戴型顯示裝置。另外，在專利文獻(xiàn)2中記載有在檢測出的使用者的視線位置的附近顯示表示用于輔助輸入的引導(dǎo)信息的圖像的多模式界面 (multimodal interface)。另外，在專利文獻(xiàn)3中記載有在與根據(jù)使用者的步行等移動狀態(tài)發(fā)生變化的到使用者的注視點(diǎn)的距離相同的位置，顯示使用者視覺確認(rèn)的圖像的頭部佩戴型顯示裝置。
[0004]專利文獻(xiàn)1:日本特表2014-526157號公報(bào) [〇〇〇5] 專利文獻(xiàn)2:日本特開平11-54778號公報(bào) [〇〇〇6] 專利文獻(xiàn)3:日本特開2014-225727號公報(bào)[〇〇〇7]但是，在專利文獻(xiàn)1所記載的技術(shù)中，在分割而成的區(qū)域顯示的虛擬圖像較多的情況下，用于顯示虛擬圖像的處理的負(fù)擔(dān)較大，有虛擬圖像的顯示產(chǎn)生延遲的可能。另外，在專利文獻(xiàn)2、3所記載的技術(shù)中，在所顯示的圖像的容量較大的情況下，也有用于顯示圖像的處理的負(fù)擔(dān)較大的情況。此外，在以往的頭部佩戴型顯示裝置的技術(shù)中，期望其小型化、低成本化、制造的容易化、使用的便利性的提高等。
【發(fā)明內(nèi)容】

[0008]本發(fā)明是為了解決上述課題的至少一部分而完成的，能夠作為以下的方式來實(shí)現(xiàn)。[〇〇〇9] (1)根據(jù)本發(fā)明的一個(gè)方式，提供一種頭部佩戴型顯示裝置。該頭部佩戴型顯示裝置具備:圖像顯示部，其能夠?qū)D像顯示于顯示區(qū)域;視線方向確定部，其確定使用者的視線方向；以及圖像變更部，其根據(jù)確定出的上述視線方向來變更上述顯示區(qū)域所顯示的顯示圖像。根據(jù)該方式的頭部佩戴型顯示裝置，根據(jù)使用者視覺確認(rèn)的位置，來變更圖像的顯示方式，從而能夠不降低使用者針對顯示圖像的可視性地減少用于顯示圖像的處理的負(fù)擔(dān)。
[0010](2)在上述方式的頭部佩戴型顯示裝置中，上述圖像變更部也可以與根據(jù)確定出的上述視線方向發(fā)生變化的使用者的視覺特性對應(yīng)地變更上述顯示圖像。根據(jù)該方式的頭部佩戴型顯示裝置，能夠不損傷視覺確認(rèn)的圖像的使用者的識別等的視覺特性地提高顯示圖像的處理的速度。
[0011](3)在上述方式的頭部佩戴型顯示裝置中，上述視覺特性是與掃視相關(guān)的特性;上述圖像變更部也可以作為使用者的視野范圍，設(shè)定還添加了基于掃視的視角的范圍。根據(jù)該方式的頭部佩戴型顯示裝置，由于考慮掃視來設(shè)定顯示圖像的顯示方式，所以能夠?qū)⒁部紤]了使用者不希望的眼球運(yùn)動的范圍的圖像預(yù)先顯示于顯示區(qū)域。
[0012](4)在上述方式的頭部佩戴型顯示裝置中，上述圖像變更部在上述顯示區(qū)域的一部分顯示上述顯示圖像的情況下，也可以根據(jù)上述顯示圖像的位置和上述視線方向，來變更上述顯示圖像。根據(jù)該方式的頭部佩戴型顯示裝置，能夠不降低視覺確認(rèn)圖像的使用者的識別的容易性地、提高顯示圖像的處理的速度。
[0013](5)在上述方式的頭部佩戴型顯示裝置中，上述圖像顯示部能夠透過外景;上述頭部佩戴型顯示裝置還具備拍攝上述外景的外景拍攝部，上述圖像變更部也可以從拍攝到的上述外景的圖像中檢測特定對象物，并與檢測出的特定對象物的位置建立對應(yīng)關(guān)系地設(shè)定上述顯示圖像的位置。根據(jù)該方式的頭部佩戴型顯示裝置，能夠更容易理解并使使用者視覺確認(rèn)特定對象物與顯示的圖像的對應(yīng)關(guān)系，提高使用者的使用的便利性。
[0014](6)在上述方式的頭部佩戴型顯示裝置中，上述視線方向確定部具有顯示部方向檢測部，該顯示部方向檢測部檢測上述圖像顯示部的朝向，也可以基于檢測出的上述圖像顯示部的朝向來確定上述視線方向。根據(jù)該方式的頭部佩戴型顯示裝置，例如，能夠不使用拍攝使用者的眼睛的裝置，簡便且廉價(jià)地確定使用者的視線方向。
[0015](7)在上述方式的頭部佩戴型顯示裝置中，上述視線方向確定部具有眼睛拍攝部， 該顯示部方向檢測部拍攝使用者的眼睛，也可以基于拍攝到的使用者的眼睛的圖像，來確定上述視線方向。根據(jù)該方式的頭部佩戴型顯示裝置，能夠高精度地確定使用者的視線方向。
[0016](8)在上述方式的頭部佩戴型顯示裝置中，上述視線方向確定部還確定到使用者視覺確認(rèn)的視覺確認(rèn)對象的距離，上述圖像變更部也可以基于上述視覺確認(rèn)對象、和基于上述視覺確認(rèn)對象以外的范圍，并且相對于上述視覺確認(rèn)對象移動的移動背景的運(yùn)動特性，來設(shè)定與上述特定對象物建立有對應(yīng)關(guān)系的上述顯示圖像的顯示方式。根據(jù)該方式的頭部佩戴型顯示裝置，由于通過與使用者視覺確認(rèn)的視覺確認(rèn)對象的移動速度的比較，來設(shè)定圖像的顯示方式，所以能夠調(diào)整給予使用者的身臨其境的感覺。
[0017](9)在上述方式的頭部佩戴型顯示裝置中，上述圖像變更部還可以在上述特定對象物是上述移動背景的情況下與上述特定對象物未相對于上述視覺確認(rèn)對象移動的情況相比較，將與上述特定對象物建立有對應(yīng)關(guān)系的上述顯示圖像的顯示方式設(shè)定為簡便的實(shí)施方式。根據(jù)該方式的頭部佩戴型顯示裝置，減少用于顯示與視覺確認(rèn)對象不同的移動速度的對象建立有對應(yīng)關(guān)系的圖像的處理，從而能夠不降低使用者的圖像的可視性地減輕處理的負(fù)擔(dān)。
[0018](10)在上述方式的頭部佩戴型顯示裝置中，上述圖像顯示部能夠透過外景；上述頭部佩戴型顯示裝置還具備:外景拍攝部，其拍攝上述外景；以及圖像數(shù)據(jù)獲取部，其按照上述圖像數(shù)據(jù)的每個(gè)種類來識別并獲取作為與上述特定對象物建立有對應(yīng)關(guān)系的上述顯示圖像源的圖像數(shù)據(jù)，上述圖像變更部還可以在上述外景拍攝部拍攝了上述特定對象物的情況下，基于上述圖像數(shù)據(jù)獲取部獲取到的上述圖像數(shù)據(jù)的種類、以及針對上述顯示區(qū)域的拍攝到的上述特定對象物的位置，來決定與上述特定對象物建立有對應(yīng)關(guān)系的上述顯示圖像的顯示方式。根據(jù)該方式的頭部佩戴型顯示裝置，能夠根據(jù)圖像數(shù)據(jù)的種類使使用者視覺確認(rèn)的圖像的顯示方式不同，使使用者視覺確認(rèn)與需要相應(yīng)的圖像。
[0019](11)在上述方式的頭部佩戴型顯示裝置中，還具備:移動物體確定部，其確定在外景中移動的移動物體，上述圖像變更部也可以基于上述移動物體接近上述圖像顯示部的速度，來設(shè)定與上述特定對象物建立有對應(yīng)關(guān)系的上述顯示圖像的顯示方式。根據(jù)該方式的頭部佩戴型顯示裝置，能夠?qū)⒔咏褂谜叩钠嚨任ｋU(xiǎn)報(bào)告給使用者。
[0020](12)在上述方式的頭部佩戴型顯示裝置中，上述圖像變更部也可以在以上述視線方向?yàn)橹行牡囊?guī)定的區(qū)域以外的上述移動物體以預(yù)先設(shè)定的速度以上接近上述圖像顯示部的情況下，即使上述移動物體未被預(yù)先設(shè)定為上述特定對象物也判定為上述特定對象物，將預(yù)先設(shè)定的上述顯示圖像設(shè)定為判定出的上述特定對象物。根據(jù)該方式的頭部佩戴型顯示裝置，能夠僅在需要時(shí)，使使用者視覺確認(rèn)需要的圖像，提高針對使用者的頭部佩戴型顯示裝置的使用的便利性。
[0021](13)在上述方式的頭部佩戴型顯示裝置中，上述圖像變更部也可以在上述顯示圖像包含文字圖像的情況下，在包含確定出的上述視線方向的第一視野范圍內(nèi)使上述文字圖像作為上述顯示圖像顯示于上述顯示區(qū)域，在比上述第一視野范圍大的范圍，并且不包含上述第一視野范圍的第二視野范圍內(nèi)不使上述文字圖像作為上述顯示圖像顯示于上述顯示區(qū)域。根據(jù)該方式的頭部佩戴型顯示裝置，由于在使用者難以識別文字的視野范圍內(nèi)將不包含文字圖像的圖像顯示于顯示區(qū)域，所以能夠不進(jìn)一步降低視覺確認(rèn)圖像的使用者的識別的容易性地提高顯示圖像的處理的速度。[〇〇22] (14)在上述方式的頭部佩戴型顯示裝置中，上述圖像變更部也可以在上述顯示圖像是被使用者視覺確認(rèn)為三維圖像的圖像的情況下，在包含確定出的上述視線方向的第三視野范圍內(nèi)使上述顯示圖像作為三維圖像顯示于上述顯示區(qū)域，在比上述第三視野范圍大的范圍并且不包含上述第三視野范圍的第四視野范圍內(nèi)顯示時(shí)，將上述顯示圖像以被使用者視覺確認(rèn)為二維圖像的方式顯示于上述顯示區(qū)域。根據(jù)該方式的頭部佩戴型顯示裝置， 由于在使用者難以識別到顯示圖像的距離的視野范圍內(nèi)使二維圖像顯示于顯示區(qū)域，所以能夠不降低視覺確認(rèn)對應(yīng)圖像的使用者的識別的容易性地進(jìn)一步提高顯示圖像的處理的速度。[〇〇23] (15)在上述方式的頭部佩戴型顯示裝置中，上述圖像變更部也可以在上述顯示圖像是包含多個(gè)顏色的信息的圖像的情況下，在包含確定出的上述視線方向的第五視野范圍內(nèi)使上述顯示圖像作為包含多個(gè)顏色的信息的圖像顯示于上述顯示區(qū)域，在比上述第五視野范圍大的范圍并且不包含上述第五視野范圍的第六視野范圍內(nèi)使用單色的色調(diào)將上述顯示圖像顯示于上述顯示區(qū)域。根據(jù)該方式的頭部佩戴型顯示裝置，能夠不降低視覺確認(rèn)圖像的使用者的識別的容易性地、進(jìn)一步提高顯示圖像的處理的速度。
[0024] (16)在上述方式的頭部佩戴型顯示裝置中，上述圖像變更部也可以在上述第六視野范圍中，僅使上述顯示圖像的輪廓顯示于上述顯示區(qū)域。根據(jù)該方式的頭部佩戴型顯示裝置，由于在使用者難以識別顏色信息的范圍內(nèi)顯示圖像的外框，所以能夠不降低視覺確認(rèn)對應(yīng)圖像的使用者的識別的容易性地進(jìn)一步提高顯示圖像的處理的速度。
[0025](17)在上述方式的頭部佩戴型顯示裝置中，上述圖像變更部也可以比包含確定出的上述視線方向的第七視野范圍大的范圍并且不包含上述第七視野范圍的第八視野范圍內(nèi)，將上述顯示圖像作為比上述第七視野范圍顯示的圖像簡化的簡易圖像顯示于上述顯示區(qū)域。根據(jù)該方式的頭部佩戴型顯示裝置，由于在使用者不能夠識別顯示圖像的詳細(xì)的內(nèi)容的視野范圍內(nèi)，將表示僅具有圖像的簡化的圖像顯示于顯示區(qū)域，所以能夠不降低視覺確認(rèn)對應(yīng)圖像的使用者的識別的容易性地進(jìn)一步提高顯示對應(yīng)圖像的處理的速度。
[0026]上述的本發(fā)明的各方式所具有的多個(gè)構(gòu)成要素并不是全部都是必須的，為了解決上述課題的一部分或者全部、或?yàn)榱藢?shí)現(xiàn)本說明書所記載的有效一部分或者全部，能夠適當(dāng)?shù)貙ι鲜龆鄠€(gè)構(gòu)成要素的一部分的結(jié)構(gòu)要素，進(jìn)行變更、刪除、與新的其它構(gòu)成要素的替換、刪除限定內(nèi)容的一部分。另外，為了解決上述課題的一部分或者全部、或?yàn)榱藢?shí)現(xiàn)本說明書所記載的有效一部分或者全部，將上述的本發(fā)明的一個(gè)方式所包含的技術(shù)特征的一部分或者全部與上述的本發(fā)明的其它方式所包含的技術(shù)特征的一部分或者全部組合，也能夠作為本發(fā)明的獨(dú)立的一個(gè)方式。
[0027]例如，本發(fā)明的一個(gè)方式能夠作為具備圖像顯示部、視線方向確定部、以及圖像變更部這3個(gè)要素內(nèi)的一部分或者全部的要素的裝置來實(shí)現(xiàn)。即、該裝置也可以具有圖像顯示部，也可以不具有。另外，裝置也可以具有視線方向確定部，也可以不具有。另外，裝置也可以具有圖像變更部，也可以不具有。圖像顯示部例如也能夠?qū)D像顯示于顯示區(qū)域。視線方向確定部例如也可以確定使用者的視線方向。圖像變更部例如也可以根據(jù)確定出的上述視線方向，變更顯示于上述顯示區(qū)域的顯示圖像。這樣的裝置例如能夠作為頭部佩戴型顯示裝置來實(shí)現(xiàn)，但也能夠作為頭部佩戴型顯示裝置以外的其它裝置來實(shí)現(xiàn)。根據(jù)這樣的方式， 能夠解決裝置的操作性的提高以及簡化、裝置的一體化、使用裝置的使用者的便利性的提高等各種課題的至少一個(gè)。上述的頭部佩戴型顯示裝置的各方式的技術(shù)特征的一部分或者全部均能夠應(yīng)用于該裝置。[〇〇28] 本發(fā)明也能夠通過頭部佩戴型顯示裝置以外的各種方式來實(shí)現(xiàn)。例如，能夠通過顯示裝置、頭部佩戴型顯示裝置以及顯示裝置的控制方法、控制系統(tǒng)、頭部佩戴型顯示系統(tǒng)、顯示裝置、用于實(shí)現(xiàn)控制系統(tǒng)以及頭部佩戴型顯示系統(tǒng)的功能的計(jì)算機(jī)程序、記錄有該計(jì)算機(jī)程序的記錄介質(zhì)、包含該計(jì)算機(jī)程序并在載波內(nèi)具體化的數(shù)據(jù)信號等方式來實(shí)現(xiàn)。【附圖說明】[〇〇29]圖1是表示第一實(shí)施方式的頭部佩戴型顯示裝置(HMD)的外觀結(jié)構(gòu)的說明圖。
[0030]圖2是功能性地表示本實(shí)施方式的HMD的結(jié)構(gòu)的框圖。[〇〇31]圖3是注視點(diǎn)與使用者的視線方向的關(guān)系的說明圖。[〇〇32]圖4是以注視點(diǎn)為中心的水平視野以及鉛垂視野的示意圖。[〇〇33]圖5是表示水平視野中的每個(gè)視野的范圍的人的識別的程度的說明圖。
[0034]圖6是表示鉛垂視野中的每個(gè)視野的范圍的人的識別的程度的說明圖。
[0035]圖7是表示通過圖像光生成部射出圖像光的情況的說明圖。[〇〇36]圖8是表示圖像顯示處理的流程的流程圖。
[0037]圖9是表示與對應(yīng)圖像的圖像顯示位置與被區(qū)別的視野范圍的關(guān)系的說明圖。
[0038]圖10是表示顯示對應(yīng)圖像的情況下的使用者的視野的一個(gè)例子的說明圖。
[0039]圖11是表示顯示照相機(jī)的拍攝范圍變化后的對應(yīng)圖像的情況下使用者的視野的一個(gè)例子的說明圖。
[0040]圖12是表示顯示使用者的視線方向變化后的對應(yīng)圖像的情況下使用者視覺確認(rèn)的視野的一個(gè)例子的說明圖。
[0041]圖13是用于第一實(shí)施方式的視野范圍與第二實(shí)施方式的視野范圍的比較的說明圖。[〇〇42]圖14是在第三實(shí)施方式中駕駛汽車的使用者視覺確認(rèn)的視野的說明圖。[〇〇43]圖15是在第三實(shí)施方式中駕駛汽車的使用者視覺確認(rèn)的視野的說明圖。[〇〇44]圖16是在第四實(shí)施方式中作為行人的使用者視覺確認(rèn)的視野的說明圖。
[0045]圖17是表示變形例的使用者視覺確認(rèn)的視野的一個(gè)例子的說明圖。
[0046]圖18是表示變形例的使用者視覺確認(rèn)的視野的一個(gè)例子的說明圖。
[0047]圖19是表示對應(yīng)圖像屬于視野范圍的情況下使用者視覺確認(rèn)的視野的一個(gè)例子的說明圖。[〇〇48]圖20是變形例中的使用者的視野中的對應(yīng)圖像的顯示位置的說明圖。[〇〇49]圖21是表示變形例中的HMD的外觀結(jié)構(gòu)的說明圖?！揪唧w實(shí)施方式】[〇〇5〇]A ?第一實(shí)施方式:[〇〇511A-1.頭部佩戴型顯示裝置的結(jié)構(gòu):[〇〇52]圖1是表示本實(shí)施方式的頭部佩戴型顯示裝置100(HMD 100)的外觀結(jié)構(gòu)的說明圖。HMD100是佩戴于頭部的顯示裝置，也被稱為頭戴式顯示器(Head Mounted Display， HMD)。本實(shí)施方式的HMD100是在使用者視覺確認(rèn)虛像的同時(shí)，也能夠直接視覺確認(rèn)外景得光學(xué)透射式的頭部佩戴型顯示裝置。此外，在本說明書中，將使用者通過HMD100視覺確認(rèn)的虛像簡稱為“顯示圖像”。[〇〇53]HMD100具備在佩戴于使用者的頭部的狀態(tài)下使使用者視覺確認(rèn)虛像的圖像顯示部20、以及控制圖像顯示部20的控制部10(控制器10)。[〇〇54]圖像顯示部20是佩戴于使用者的頭部的佩戴體，在本實(shí)施方式中具有眼鏡形狀。 圖像顯示部20包含右保持部21、右顯示驅(qū)動部22、左保持部23、左顯示驅(qū)動部24、右光學(xué)像顯示部26、左光學(xué)像顯示部28、第一照相機(jī)61、第二照相機(jī)62、右眼拍攝照相機(jī)37、以及左眼拍攝照相機(jī)38。右光學(xué)像顯示部26以及左光學(xué)像顯示部28分別以使用者佩戴了圖像顯示部 20時(shí)位于使用者的右眼以及左眼前的方式配置。右光學(xué)像顯示部26的一端和左光學(xué)像顯示部28的一端在與使用者佩戴了圖像顯示部20時(shí)的使用者的眉間對應(yīng)的位置相互連接。 [〇〇55]右保持部21是以從作為右光學(xué)像顯示部26的另一端的端部ER延伸到使用者佩戴了圖像顯示部20時(shí)的與使用者的側(cè)頭部對應(yīng)的位置的方式設(shè)置的部件。同樣地，左保持部 23是以從作為左光學(xué)像顯示部28的另一端的端部EL延伸到使用者佩戴了圖像顯示部20時(shí)的與使用者的側(cè)頭部對應(yīng)的位置延伸的方式設(shè)置的部件。右保持部21以及左保持部23像眼鏡的眼鏡腳(掛耳部分)那樣，將圖像顯示部20保持在使用者的頭部。[〇〇56]右顯示驅(qū)動部22和左顯示驅(qū)動部24配置在使用者佩戴了圖像顯示部20時(shí)的與使用者的頭部對置的一側(cè)。此外，在以下，對右保持部21以及左保持部23進(jìn)行統(tǒng)稱僅稱為“保持部”，對右顯示驅(qū)動部22以及左顯示驅(qū)動部24進(jìn)行統(tǒng)稱僅稱為“顯示驅(qū)動部”，對右光學(xué)像顯示部26以及左光學(xué)像顯示部28進(jìn)行統(tǒng)稱僅稱為“光學(xué)像顯示部”。
[0057] 顯示驅(qū)動部22、24包含液晶顯示器241、242(Liquid Crystal Display，以下也稱為1〇)241、242”)、投影光學(xué)系統(tǒng)251、252等(參照圖2)。顯示驅(qū)動部22、24的結(jié)構(gòu)的詳細(xì)內(nèi)容后述。作為光學(xué)部件的光學(xué)像顯不部26、28包含導(dǎo)光板261、262(參照圖2)和調(diào)光板。導(dǎo)光板261、262由透光性的樹脂材料等形成，將從顯示驅(qū)動部22、24輸出的圖像光導(dǎo)入使用者的眼睛。調(diào)光板是薄板狀的光學(xué)元件，以覆蓋與使用者的眼睛的一側(cè)相反的一側(cè)即圖像顯示部20的正面的方式配置。調(diào)光板保護(hù)導(dǎo)光板261、262,抑制導(dǎo)光板261、262的損傷、受到污染的附著等。另外，通過調(diào)整調(diào)光板的透光率，來調(diào)整進(jìn)入使用者的眼睛的戶外光量而能夠調(diào)整虛像的視覺確認(rèn)的容易性。此外，能夠省略調(diào)光板。[〇〇58] 第一照相機(jī)61以及第二照相機(jī)62拍攝外景。第一照相機(jī)61和第二照相機(jī)62分別配置于圖像顯示部20的不同位置。第一照相機(jī)61在作為右光學(xué)像顯示部26的另一端的端部 ER，配置于將圖像顯示部20佩戴于使用者的情況下的使用者的頭部方向。另外，以相同的方式，第二照相機(jī)62在作為左光學(xué)像顯示部28的另一端的端部EL，配置于將圖像顯示部20佩戴于使用者的情況下的使用者的頭部方向。在本實(shí)施方式中，第一照相機(jī)61和第二照相機(jī) 62分別以相對于通過連接作為圖像顯示部20的中心的右光學(xué)像顯示部26的一端和左光學(xué)像顯示部28的一端的位置的中心線配置成線對稱。此外，在以下，對第一照相機(jī)61和第二照相機(jī)62進(jìn)行合并，僅稱為照相機(jī)61、62。在本實(shí)施方式中，由于將第一照相機(jī)61配置于圖像顯示部20的位置和將第二照相機(jī)62配置于圖像顯示部20的位置不同，所以能夠使用三角法計(jì)算到被第一照相機(jī)61的拍攝范圍和第二照相機(jī)62的拍攝范圍雙方拍攝的對象的距離。此夕卜，照相機(jī)61、62相當(dāng)于技術(shù)方案中的外景拍攝部。[〇〇59]右眼拍攝照相機(jī)37是拍攝佩戴了圖像顯示部20的使用者的右眼的照相機(jī)。同樣地，左眼拍攝照相機(jī)38是拍攝佩戴了圖像顯示部20的使用者的左眼的照相機(jī)。通過右眼拍攝照相機(jī)37拍攝到的使用者的右眼的圖像以及通過左眼拍攝照相機(jī)38拍攝到的使用者的左眼的圖像用于后述的方向確定部166確定使用者的視線方向的處理。此外，右眼拍攝照相機(jī)37以及左眼拍攝照相機(jī)38是單眼照相機(jī)，但也可以是立體照相機(jī)。在以下，對右眼拍攝照相機(jī)37以及左眼拍攝照相機(jī)38進(jìn)行合并，也稱為眼拍攝照相機(jī)37、38。眼拍攝照相機(jī)37、38 和后述的方向確定部166相當(dāng)于技術(shù)方案中的視線方向確定部。另外，眼拍攝照相機(jī)37、38 相當(dāng)于技術(shù)方案中的眼睛拍攝部。
[0060]圖像顯示部20還具有用于將圖像顯示部20連接在控制部10的連接部40。連接部40 包含與控制部10連接的主體軟線(cord)48、右軟線42、左軟線44、以及連結(jié)部件46。右軟線 42和左軟線44是主體軟線48分支出2根的軟線。右軟線42從右保持部21的延伸方向的前端部AP插入右保持部21的筐體內(nèi)，與右顯示驅(qū)動部22連接。同樣地，左軟線44從左保持部23的延伸方向的前端部AP插入左保持部23的筐體內(nèi)，與左顯示驅(qū)動部24連接。連結(jié)部件46設(shè)置于主體軟線48與右軟線42以及左軟線44的分支點(diǎn)，具有用于連接耳機(jī)插頭30的插孔。從耳機(jī)插頭30延伸有右耳機(jī)32以及左耳機(jī)34。[〇〇611圖像顯示部20和控制部10經(jīng)由連接部40進(jìn)行各種信號的傳送。在主體軟線48的與連結(jié)部件46相反的一側(cè)的端部、和控制部10分別設(shè)置有相互嵌合的連接器(未圖示的)。通過主體軟線48的連接器與控制部10的連接器的嵌合/嵌合解除，連接或斷開控制部10與圖像顯示部20。右軟線42、左軟線44以及主體軟線48例如能夠采用金屬電纜、光纖。[〇〇62] 控制部10是用于控制HMD100的裝置?？刂撇?0包含確定鍵11、點(diǎn)亮部12、顯示切換鍵13、觸控板14、亮度切換鍵15、方向鍵16、菜單鍵17、以及電源開關(guān)18。確定鍵11檢測按下操作，通過控制部10輸出決定操作出的內(nèi)容的信號。點(diǎn)亮部12通過其發(fā)光狀態(tài)來通知 HMD100的動作狀態(tài)。作為HMD100的動作狀態(tài)，例如有電源的開啟/關(guān)閉等。作為點(diǎn)亮部12例如使用LED。顯示切換鍵13檢測按下操作，例如，輸出將內(nèi)容視頻的顯示模式切換為3D和2D 的信號。觸控板14檢測觸控板14的操作面上的使用者的手指的操作，輸出檢測內(nèi)容對應(yīng)的信號。作為觸控板14能夠采用靜電式、壓力檢測式、光學(xué)式這樣的各種觸控板。亮度切換鍵 15檢測按下操作，輸出增減圖像顯示部20的亮度的信號。方向鍵16檢測針對與上下左右方向?qū)?yīng)的鍵的按下操作，輸出與檢測內(nèi)容相應(yīng)的信號。電源開關(guān)18檢測開關(guān)的滑動操作，從而切換HMD100的電源接通狀態(tài)。
[0063]圖2是功能性地表示本實(shí)施方式的HMD100的結(jié)構(gòu)的框圖。如圖2所示，控制部10具有存儲部120、電源130、無線通信部132、操作部135、CPU140、接口 180、發(fā)送部51(Tx51)以及發(fā)送部52(Tx52)。操作部135受理使用者的操作，由確定鍵11、顯示切換鍵13、觸控板14、亮度切換鍵15、方向鍵16、菜單鍵17、電源開關(guān)18構(gòu)成。電源130對HMD100的各部供給電力。作為電源130,例如能夠使用二次電池。無線通信部132依據(jù)無線LAN、藍(lán)牙這樣的規(guī)定的無線通信標(biāo)準(zhǔn)，例如，在與內(nèi)容服務(wù)器、電視、個(gè)人計(jì)算機(jī)這樣的其它設(shè)備之間進(jìn)行無線通信。 [〇〇64]存儲部120具有儲存有計(jì)算機(jī)程序的R0M、在CPU140執(zhí)行各種計(jì)算機(jī)程序的寫入以及讀取時(shí)使用的RAM。[〇〇65] CPU140讀出存儲部120的ROM中儲存的計(jì)算機(jī)程序，對存儲部120的RAM執(zhí)行寫入以及讀取，由此作為操作系統(tǒng)150(0S150)、顯示控制部190、聲音處理部170、圖像處理部160、 圖像設(shè)定部165、距離測定部168、以及方向確定部166發(fā)揮作用。[〇〇66] 顯示控制部190生成控制右顯示驅(qū)動部22以及左顯示驅(qū)動部24的控制信號。具體而言，顯示控制部190通過控制信號，分別獨(dú)立地控制右IXD控制部211的右IXD241的驅(qū)動開啟/關(guān)閉、右背光燈控制部201的右背光燈221的驅(qū)動開啟/關(guān)閉、左LCD控制部212的左 LCD242的驅(qū)動開啟/關(guān)閉、左背光燈控制部202的左背光燈222的驅(qū)動開啟/關(guān)閉等。由此，顯示控制部190控制右顯示驅(qū)動部22以及左顯示驅(qū)動部24的每一個(gè)的圖像光的生成以及射出。例如，顯示控制部190使右顯示驅(qū)動部22以及左顯示驅(qū)動部24雙方生成圖像光，或僅使一方生成圖像光，或使兩方均不生成圖像光。此外，將生成圖像光也稱為“顯示圖像”。[〇〇67] 顯示控制部190分別經(jīng)由發(fā)送部51以及52發(fā)送針對右LCD控制部211和左LCD控制部212的控制信號。另外，顯示控制部190分別發(fā)送針對右背光燈控制部201和左背光燈控制部202的控制信號。[〇〇68]圖像處理部160獲取內(nèi)容所包含的圖像信號。圖像處理部160從獲取到的圖像信號中，分離垂直同步信號VSync、水平同步信號HSync等同步信號。另外，圖像處理部160根據(jù)分離出的垂直同步信號VSync、水平同步信號HSync的周期，利用PLL(Phase Locked Loop:鎖相環(huán))電路等(未圖示的)生成時(shí)鐘信號PCLK。圖像處理部160將分離出同步信號的模擬圖像信號使用A/D轉(zhuǎn)換電路等(未圖示的)轉(zhuǎn)換為數(shù)字圖像信號。之后，圖像處理部160將轉(zhuǎn)換后的數(shù)字圖像信號作為對象圖像的圖像數(shù)據(jù)(RGB數(shù)據(jù))，按照每1幀儲存至存儲部120內(nèi)的 DRAM。此外，圖像處理部160也可以根據(jù)需要，對圖像數(shù)據(jù)，執(zhí)行分辨率轉(zhuǎn)換處理、亮度、彩度的調(diào)整這樣的各種色調(diào)修正處理、梯形修正處理等圖像處理。
[0069]圖像處理部160經(jīng)由發(fā)送部51、52發(fā)送所生成的時(shí)鐘信號PCLK、垂直同步信號 VSync、水平同步信號HSync、存儲部120內(nèi)的DRAM所儲存的圖像數(shù)據(jù)的每一個(gè)。此外，將經(jīng)由發(fā)送部51發(fā)送的圖像數(shù)據(jù)也稱為“右眼用圖像數(shù)據(jù)”，將經(jīng)由發(fā)送部52發(fā)送的圖像數(shù)據(jù)也稱為“左眼用圖像數(shù)據(jù)”。發(fā)送部51、52作為用于控制部10與圖像顯示部20之間的串行傳送的收發(fā)器發(fā)揮作用。
[0070]聲音處理部170獲取內(nèi)容所包含的聲音信號，并對獲取到的聲音信號進(jìn)行放大，對與連結(jié)部件46連接的右耳機(jī)32內(nèi)的揚(yáng)聲器(未圖示的)以及左耳機(jī)34內(nèi)的揚(yáng)聲器(未圖示的)供給聲音信號。此外，例如，在采用了 Dolby(注冊商標(biāo):杜比)系統(tǒng)的情況下，進(jìn)行針對聲音信號的處理，分別從右耳機(jī)32以及左耳機(jī)34輸出例如頻率等改變的不同聲音。
[0071]方向確定部166通過對由眼拍攝照相機(jī)37、38拍攝到的使用者的右眼RE的圖像以及左眼LE的圖像進(jìn)行解析，來確定使用者的視線方向。作為基于拍攝到的使用者的右眼RE 的圖像以及左眼LE的圖像的使用者的視線方向的確定方法，能夠使用各種已知技術(shù)。例如， 方向確定部166以存儲部120中預(yù)先存儲的與使用者的視線方向?qū)?yīng)的圖像的數(shù)據(jù)庫為基準(zhǔn)，對拍攝到的眼睛的圖像使用模式匹配、統(tǒng)計(jì)的識別法，能夠確定使用者的視線方向。 [〇〇72]距離測定部168對第一照相機(jī)61的拍攝圖像所包含的對象物、以及第二照相機(jī)62 的拍攝圖像所包含的對象物使用三角法，從而測定到照相機(jī)61、62的拍攝圖像所包含的對象物的圖像的距離。此外，在本實(shí)施方式中，通過配置的位置不同的作為立體照相機(jī)的第一照相機(jī)61和第二照相機(jī)62,測定出了到對象物的距離，但在其它實(shí)施方式中，也可以通過 T0F(Time Of Flight:飛行時(shí)間)傳感器等不同的測定單元，來測定到對象物的距離。[〇〇73]圖像設(shè)定部165進(jìn)行圖像顯示部20所顯示的圖像(顯示圖像)的各種設(shè)定。例如，圖像設(shè)定部165設(shè)定顯示圖像的顯示位置、顯示圖像的大小、顯示圖像的亮度等，或?qū)@示圖像作為三維圖像，為了使使用者視覺確認(rèn)立體(3D)以形成兩眼視差(也僅稱為“視差”)的方式設(shè)定右眼用圖像數(shù)據(jù)和左眼用圖像數(shù)據(jù)。另外，圖像設(shè)定部165對拍攝圖像使用模式匹配等，從而從拍攝圖像中檢測預(yù)先設(shè)定的檢測對象的圖像。
[0074]在本實(shí)施方式中，即使是基于相同的圖像數(shù)據(jù)的圖像，圖像設(shè)定部165也根據(jù)確定出的使用者的視線方向、顯示圖像的圖像區(qū)域的位置的關(guān)系，將不同的圖像顯示于圖像顯示部20。例如，圖像設(shè)定部165基于具有RGB(Red Green Blue)的顏色信息的三維圖像數(shù)據(jù)， 在以使用者的注視點(diǎn)為中心的規(guī)定的視野的范圍內(nèi)將具有RGB的顏色信息，并作為使用了測定出的距離信息的三維圖像顯示于圖像顯示部20。另一方面，圖像設(shè)定部165基于三維圖像數(shù)據(jù)，在該規(guī)定的視野的范圍外作為具有白色和黑色信息的二維圖像顯示于圖像顯示部 20。圖像設(shè)定部165經(jīng)由ROM讀取決定如何應(yīng)對即使是關(guān)于視線方向與圖像區(qū)域的位置的關(guān)系相同的圖像數(shù)據(jù)也顯示不同的圖像的查找表，從而決定顯示于圖像顯示部20的圖像。 [〇〇75]圖3是注視點(diǎn)P0R與使用者的視線方向ED關(guān)系的說明圖。圖3中示有使用者的右眼 RE和左眼LE觀看注視點(diǎn)P0R的情況下的視線方向ED。在本實(shí)施方式中，將從右眼RE與左眼LE 的中間點(diǎn)即左右眼球中心MP到注視點(diǎn)P0R的方向定義為視線方向ED。此外，使用者的視線方向ED的定義能夠進(jìn)行各種變形，例如，也可以將從優(yōu)勢眼到注視點(diǎn)P0R的方向定義為視線方向ED。[〇〇76]人能夠視覺確認(rèn)存在于以注視點(diǎn)P0R為中心的一定的范圍即視野的對象。一般地，越是存在于與到注視點(diǎn)POR的距離相同的距離，且存在于注視點(diǎn)POR的附近的位置的對象， 人越能夠更加明確地視覺確認(rèn)。人根據(jù)是存在于視野的哪個(gè)范圍的對象而人的可視性變化的視覺特性存在各種方式。例如，存在雖然直到某個(gè)視野的范圍都能夠明確地視覺確認(rèn)對象的輪廓，但在其以外的視野的范圍，雖然能夠識別存在對象，但不能夠把握對象的輪廓這樣的視覺特性。此外，對于代替對象的顯示圖像也可以說同樣如此。換言之，人越遠(yuǎn)離注視點(diǎn)P0R，識別視野所包含的對象物的能力越降低。因此，在本實(shí)施方式中，圖像設(shè)定部165對于顯示在遠(yuǎn)離使用者的視線方向ED的位置的圖像，即使是基于相同的圖像數(shù)據(jù)的圖像，例如也以通過降低圖像的分辨率等方法，來減少用于將該圖像顯示于圖像顯示部20的處理的方式使圖像顯示部20顯示該圖像。此外，圖像設(shè)定部165相當(dāng)于技術(shù)方案中的圖像變更部。
[0077]以注視點(diǎn)P0R為中心的約5度以內(nèi)的區(qū)域被稱為視力等視功能優(yōu)異的辨別視野。另夕卜，以注視點(diǎn)P0R為中心水平方向約30度以內(nèi)，并且以視點(diǎn)為中心垂直方向約20度以內(nèi)的區(qū)域被稱為只有眼球運(yùn)動能夠瞬時(shí)識別對象的有效視野。另外，以注視點(diǎn)P0R為中心水平方向約60?90度，并且以視點(diǎn)為中心垂直方向約45?70度以內(nèi)的區(qū)域被稱為使用者進(jìn)行活動眼球的眼球運(yùn)動、頭部運(yùn)動從而能夠容易地識別對象的穩(wěn)定注視視野。[〇〇78]圖4是以注視點(diǎn)P0R為中心的水平視野VRw以及鉛垂視野VRh的示意圖。圖4中示有水平方向以及鉛垂方向上的辨別視野、有效視野以及穩(wěn)定注視視野的關(guān)系。圖4中示有在使用者觀看注視點(diǎn)P0R的情況下，以注視點(diǎn)P0R為中心能夠視覺確認(rèn)的視野VR、用于將視野VR 分為水平方向成分來進(jìn)行說明的水平視野VRw、以及用于將視野VR分為鉛垂方向成分來進(jìn)行說明的鉛垂視野VRh。在圖4中，辨別視野、有效視野以及穩(wěn)定注視視野表示為下述的關(guān)系 (1)。此外，關(guān)系(1)中的括號內(nèi)寫的角度是以注視點(diǎn)P0R為中心的情況下的單側(cè)的角度。 [〇〇79] 辨別視野:W0、H0 (?約5度)
[0080] 有效視野:W1 (?約30度)、H1 (?約20度)……(1)
[0081] 穩(wěn)定注視視野:W2(?約60(90)度)、H2(?約45(70)度)
[0082]如圖4所示，在視野VR的鉛垂方向上，與上側(cè)相比下側(cè)的穩(wěn)定注視視野等是較寬的范圍。這對人來說，表示沿著鉛垂方向與上側(cè)相比容易視覺確認(rèn)下側(cè)。[〇〇83]圖5是表示水平視野VRw中的每個(gè)視野的范圍的人的識別的程度的說明圖。圖5中示有以使用者US的視線方向ED為中心劃分為6個(gè)的視野范圍VR1至視野范圍VR6,下述的關(guān)系(2)成立。此外，關(guān)系(2)的括號中寫的角度是以注視點(diǎn)P0R為中心的情況下的單側(cè)的角度。[〇〇84] VR1:視為注視點(diǎn)P0R的范圍(?約1度)[〇〇85] VR2:能夠識別文字的范圍(?約10度)[〇〇86] VR3:能夠容易地進(jìn)行眼球運(yùn)動的范圍(?約15度)……(2)[〇〇87] VR4:能夠識別形狀的范圍(?約30度)[〇〇88] VR5:能夠識別顏色信息的范圍(?約60度)[〇〇89] VR6:視野的極限(?約94度)
[0090]以上，如圖5所示，根據(jù)視野使用者US能夠識別的信息不同。
[0091]圖6是表示鉛垂視野VRh中的每個(gè)視野的范圍的人的識別的程度的說明圖。圖6中示有有關(guān)作為圖5的水平視野VRw的替代的鉛垂視野VRh的被劃分出的使用者US的視野。因此，省略劃分出的視野范圍是什么樣的視野范圍的說明。
[0092]圖2所示的接口 180是用于將成為內(nèi)容的供給源的各種外部設(shè)備0A與控制部10連接的接口。作為外部設(shè)備0A，例如有個(gè)人計(jì)算機(jī)(PC)、移動電話終端、游戲終端等。作為接口 180,例如能夠使用USB接口、微型USB接口、存儲卡用接口等。[〇〇93]圖像顯示部20具備右顯示驅(qū)動部22、左顯示驅(qū)動部24、作為右光學(xué)像顯示部26的右導(dǎo)光板261、作為左光學(xué)像顯不部28的左導(dǎo)光板262、第一照相機(jī)61、以及第二照相機(jī)62。 [〇〇94]右顯示驅(qū)動部22包含接收部53(Rx53)、作為光源發(fā)揮作用的右背光燈控制部201 (右BL控制部201)及右背光燈221 (右BL221)、作為顯示元件發(fā)揮作用的右LCD控制部211及右LCD241、以及右投影光學(xué)系統(tǒng)251。右背光燈控制部201和右背光燈221作為光源發(fā)揮作用。右LCD控制部211和右LCD241作為顯示元件發(fā)揮作用。此外，對右背光燈控制部201、右 IXD控制部211、右背光燈221以及右IXD241進(jìn)行統(tǒng)稱，稱為“圖像光生成部”。[〇〇95]接收部53作為用于控制部10與圖像顯示部20之間的串行傳送的用于接收器發(fā)揮作用。右背光燈控制部201基于輸入的控制信號，來驅(qū)動右背光燈221。右背光燈221例如是 LED、電致發(fā)光(EL)等發(fā)光體。右LCD控制部211基于經(jīng)由接收部53輸入的時(shí)鐘信號PCLK、垂直同步信號VSync、水平同步信號HSync、以及右眼用圖像數(shù)據(jù)，來驅(qū)動右LCD241。右LCD241 是將多個(gè)像素配置成矩陣狀的透射式液晶面板。[〇〇96]右投影光學(xué)系統(tǒng)251由使從右IXD241射出的圖像光成為并行狀態(tài)的光束的準(zhǔn)直透鏡構(gòu)成。作為右光學(xué)像顯不部26的右導(dǎo)光板261使從右投影光學(xué)系統(tǒng)251輸出的圖像光沿著規(guī)定的光路反射并導(dǎo)入使用者的右眼RE。此外，對右投影光學(xué)系統(tǒng)251和右導(dǎo)光板261進(jìn)行統(tǒng)稱，稱為“導(dǎo)光部”。[〇〇97] 左顯示驅(qū)動部24具有與右顯示驅(qū)動部22相同的結(jié)構(gòu)。左顯示驅(qū)動部24包含接收部 54(Rx54)、作為光源發(fā)揮作用的左背光燈控制部202(左BL控制部202)及左背光燈222(左 BL222)、作為顯示元件發(fā)揮作用的左LCD控制部212及左LCD242、以及左投影光學(xué)系統(tǒng)252。 左背光燈控制部202和左背光燈222作為光源發(fā)揮作用。左LCD控制部212和左IXD242作為顯示元件發(fā)揮作用。此外，對左背光燈控制部202、左LCD控制部212、左背光燈222以及左 IXD242進(jìn)行統(tǒng)稱，稱為“圖像光生成部”。另外，左投影光學(xué)系統(tǒng)252由使從左LCD242射出的圖像光成為并行狀態(tài)的光束的準(zhǔn)直透鏡構(gòu)成。作為左光學(xué)像顯示部28的左導(dǎo)光板262使從左投影光學(xué)系統(tǒng)252輸出的圖像光沿著規(guī)定的光路反射并導(dǎo)入使用者的左眼LE。此外，對左投影光學(xué)系統(tǒng)252和左導(dǎo)光板262進(jìn)行統(tǒng)稱，稱為“導(dǎo)光部”。[〇〇98]圖7是表示通過圖像光生成部射出圖像光的情況的說明圖。右LCD241通過驅(qū)動配置成矩陣狀的各像素位置的液晶，使透過右LCD241的光的透過率變化，從而將從右背光燈 221照射的照明光IL調(diào)制為表示圖像的有效的圖像光PL。對于左側(cè)也同樣。此外，如圖2所示，在本實(shí)施方式中采用了背光燈方式，但也可以為使用前燈方式、反射方式來射出圖像光的結(jié)構(gòu)。[〇〇99]A-2.圖像顯示處理:[〇1〇〇]圖8是表示圖像顯示處理的流程的流程圖。在圖像顯示處理中，是CPU140在使與從照相機(jī)61、62的拍攝圖像中檢測出的檢測對象建立有對應(yīng)關(guān)系的對應(yīng)圖像顯示于圖像顯示部20時(shí)，基于以使用者的視線方向ED為中心劃分出的視野范圍和圖像的顯示位置，來變更顯示圖像并顯示于圖像顯示部20的處理。[〇1〇1]在圖像顯示處理中，首先，圖像設(shè)定部165使用照相機(jī)61、62拍攝外景(步驟S11)。圖像設(shè)定部165從拍攝到的照相機(jī)61、62的拍攝圖像中通過模式匹配等檢測與圖像顯示部 20所顯示的對應(yīng)圖像建立有對應(yīng)關(guān)系的檢測對象(步驟S13)。圖像設(shè)定部165在從拍攝圖像中未檢測出檢測對象的情況下(步驟S13:否)，繼續(xù)待機(jī)從拍攝圖像中檢測出檢測對象(步驟S13)。
[0102]在步驟S13的處理中，圖像設(shè)定部165在從拍攝圖像中檢測出檢測對象的情況下 (步驟S13:是)，決定使與檢測對象預(yù)先建立有對應(yīng)關(guān)系的對應(yīng)圖像顯示于圖像顯示部20的圖像顯示位置(步驟S15)。有關(guān)對應(yīng)圖像的圖像顯示位置，能夠進(jìn)行各種決定，例如，有不管拍攝圖像中的檢測對象的位置如何都顯示于圖像顯示部20能夠顯示圖像的圖像顯示最大區(qū)域PN中的固定的位置、或顯示于對檢測對象設(shè)定的特征點(diǎn)的位置的附近的情況等。此外， 圖像顯示最大區(qū)域PN相當(dāng)于技術(shù)方案中的顯示區(qū)域。[〇1〇3]若決定對應(yīng)圖像的圖像顯示位置(步驟S15)，則CPU140使用眼拍攝照相機(jī)37、38的拍攝圖像來確定將圖像顯示部20佩戴于頭部的使用者的注視點(diǎn)P0R以及視線方向ED(步驟 S17)<XPU140確定到距離測定部168使用照相機(jī)61、62的拍攝圖像測定出的檢測對象的距離、以及方向確定部166使用眼拍攝照相機(jī)37、38的拍攝圖像確定出的使用者的視線方向ED〇[〇1〇4]圖像設(shè)定部165確定對應(yīng)圖像的圖像顯示最大區(qū)域PN中的圖像顯示位置是否屬于基于確定出的視線方向ED設(shè)定的多個(gè)視野范圍內(nèi)的任意一個(gè)視野范圍(步驟S19)。圖像設(shè)定部165例如如圖5所示，對以確定出的視線方向ED為中心的多個(gè)視野范圍進(jìn)行劃分，并確定圖像顯示位置是否屬于劃分出的某個(gè)視野范圍。[〇1〇5]圖9是表示對應(yīng)圖像IM1的圖像顯示位置與劃分出的視野范圍的關(guān)系的說明圖。圖 9中示有使用者視覺確認(rèn)的視野VR的一個(gè)例子。如圖9所示，使用者能夠視覺確認(rèn)透過了光學(xué)像顯示部26、28的外景SC。外景SC中包含有作為檢測對象TW的地標(biāo)之一的“天空樹”。圖9 中示有由CPU140確定出的使用者的注視點(diǎn)P0R、以及以注視點(diǎn)P0R為中心在規(guī)定的范圍內(nèi)設(shè)定的視野范圍￥1?2、￥1?3、￥1?4、￥1?5。此外，所謂的視野范圍￥1?是指包含于視野范圍￥1?3，并且不包含于視野范圍VR2的范圍。同樣地，所謂的視野范圍VR4是指包含于視野范圍VR4,并且不包含于視野范圍VR2、VR3的范圍，所謂的視野范圍VR5是指包含于視野范圍VR5,并且不包含于視野范圍VR2、VR3、VR4的任意一個(gè)的范圍。在圖9中，為了說明簡單地示有表示圖像顯示最大區(qū)域PN的虛線、表示注視點(diǎn)P0R的星號以及表示各視野范圍的單點(diǎn)劃線，但這些并不能被使用者視覺確認(rèn)。在本實(shí)施方式中，由于根據(jù)照相機(jī)61、62的拍攝圖像，來創(chuàng)建與使用者視覺確認(rèn)的視野相當(dāng)?shù)呐臄z圖像，所以創(chuàng)建的拍攝圖像和使用者的視野VR—致。在其它實(shí)施方式中，拍攝圖像和使用者的視野VR也可以不同。
[0106]圖像設(shè)定部165若進(jìn)行圖8的步驟S19的處理，則基于與檢測對象TW建立有對應(yīng)關(guān)系的對應(yīng)圖像的圖像數(shù)據(jù)來設(shè)定圖像顯示最大區(qū)域PN所顯示的對應(yīng)圖像的顯示方式(步驟 S21)。在本實(shí)施方式中，圖像設(shè)定部165與在圖像顯示最大區(qū)域PN中顯示對應(yīng)圖像的位置對應(yīng)地、即使是基于相同的圖像數(shù)據(jù)的顯示圖像，也變更顯示圖像的實(shí)施方式的設(shè)定。圖像設(shè)定部165若設(shè)定對應(yīng)圖像IM1的顯示方式，則將設(shè)定了顯示方式的對應(yīng)圖像頂1顯示于圖像顯示最大區(qū)域PN(步驟S23)。
[0107]圖10是表示顯示有對應(yīng)圖像IM1的情況下的使用者的視野VR的一個(gè)例子的說明圖。如圖10所示，使用者的視野VR中包含有透過光學(xué)像顯示部26、28使用者能夠視覺確認(rèn)的外景SC、以及在圖像顯示最大區(qū)域PN內(nèi)顯示的對應(yīng)圖像頂1。對應(yīng)圖像頂1是與從拍攝圖像中檢測出的檢測對象TW建立對應(yīng)關(guān)系地顯示于圖像顯示最大區(qū)域PN的圖像。對應(yīng)圖像頂1 被預(yù)先設(shè)定為以在檢測對象TW的附近不與檢測對象TW重復(fù)的方式顯示。特別是，在確定出的使用者的注視點(diǎn)POR與檢測對象TW重復(fù)的情況下，對應(yīng)圖像頂1根據(jù)確定出的注視點(diǎn)POR 的位置來顯示。此外，檢測對象TW相當(dāng)于技術(shù)方案中的特定對象物。
[0108]圖像設(shè)定部165確定顯示與確定出的注視點(diǎn)P0R的位置建立有對應(yīng)關(guān)系的對應(yīng)圖像IM1的圖像顯示位置與各視野范圍的位置關(guān)系。圖像設(shè)定部165若確定對應(yīng)圖像IM1的至少一部分包含于最接近注視點(diǎn)P0R的視野范圍VR2,則作為基于對應(yīng)圖像頂1的圖像數(shù)據(jù)顯示的圖像的顯示方式，設(shè)定為將對應(yīng)圖像IM1的圖像數(shù)據(jù)表示到最詳細(xì)的顯示方式。圖像設(shè)定部165作為設(shè)定的顯示方式的對應(yīng)圖像頂1，使倶備下述的內(nèi)容(A)?(C)的全部的圖像顯示于圖像顯示最大區(qū)域PN。
[0109](A)文字圖像[〇11〇](B)三維圖像(包含距離信息)
[0111](C)包含RGB的顏色信息的圖像[〇112]所設(shè)定的顯示方式的對應(yīng)圖像IM1包含有文字圖像，作為被視覺確認(rèn)為與到檢測對象TW的距離相同的距離的三維圖像顯示于圖像顯示最大區(qū)域PN。另外，為了表示通過使另外顯示于圖像顯示最大區(qū)域PN的光標(biāo)等移動到對應(yīng)圖像頂1所包含的文字圖像內(nèi)的畫有下劃線的“這里”，而能夠選擇“這里”，用與其它文字圖像不同的顏色(例如，藍(lán)(BLUE))來顯示。若通過操作部135受理的規(guī)定的操作，選擇對應(yīng)圖像IM1所包含的“這里”，則CPU140經(jīng)由無線通信部132,連接到檢測對象TW的主頁(HP)。此外，在本實(shí)施方式中，在對應(yīng)圖像頂1的圖像顯示位置包含于多個(gè)視野范圍的情況下，圖像設(shè)定部165在顯示為在最內(nèi)側(cè)的視野范圍包含了對應(yīng)圖像IM1的整體的情況的方式下，使對應(yīng)圖像IM1顯示于圖像顯示最大區(qū)域 PN。此外，在其它實(shí)施方式中，關(guān)于對應(yīng)圖像頂1的顯示位置包含于哪一個(gè)視野范圍的確定能夠進(jìn)行各種變形，例如，也可以將圖像內(nèi)包含的顯示區(qū)域最多的視野范圍確定為用于設(shè)定顯示方式的視野范圍。視野范圍VR2相當(dāng)于技術(shù)方案中的第一視野范圍，視野范圍VR2以外的視野范圍相當(dāng)于技術(shù)方案中的第二視野范圍。
[0113]在圖8的步驟S23中，若將對應(yīng)圖像頂1顯示于圖像顯示最大區(qū)域PN，則CPU140監(jiān)視照相機(jī)61、62的拍攝范圍的變化(步驟525)。0?1]140在檢測出照相機(jī)61、62的拍攝范圍的變化的情況下(步驟S25:是)，反復(fù)步驟S13以后的處理。此外，CPU140對于照相機(jī)61、62的拍攝范圍的變化使用規(guī)定的閾值，若是規(guī)定的閾值以下的變化，則也可以作為拍攝范圍沒有變化來處理。
[0114]圖11是表示在顯示照相機(jī)61、62的拍攝范圍發(fā)生了變化后的對應(yīng)圖像IM2的情況下使用者的視野VR的一個(gè)例子的說明圖。圖11中與圖10相比較，示有使用者存在于遠(yuǎn)離檢測對象TW的位置，使用者的注視點(diǎn)P0R是外景SC所包含的月亮麗的情況下的視野VR。即、在圖11中，與圖10相比較，使用者的注視點(diǎn)P0R也發(fā)生變化。在圖11所示的例子中，從照相機(jī) 61、62的拍攝圖像中檢測出的檢測對象TW包含于比視野范圍VR5進(jìn)一步靠外側(cè)的范圍。在這種情況下，圖像設(shè)定部165作為基于與對應(yīng)圖像IM1相同的對應(yīng)圖像IM2的圖像數(shù)據(jù)顯示于圖像顯示最大區(qū)域PN的圖像的顯示方式，設(shè)定不具有僅將檢測對象TW的位置簡化的距離信息的顯示方式。如圖11所示，圖像設(shè)定部165作為基于對應(yīng)圖像IM2的圖像數(shù)據(jù)的簡化的對應(yīng)圖像IM2,將作為與檢測對象TW的位置重復(fù)的圓形的圖像的對應(yīng)圖像IM2顯示于距離圖像顯示最大區(qū)域PN無限遠(yuǎn)的位置。在本實(shí)施方式中，圖像設(shè)定部165作為視野范圍VR5所包含的檢測對象TW的對應(yīng)圖像，使僅表示檢測對象TW的位置的圖像顯示于圖像顯示最大區(qū)域 PN。此外，比視野范圍VR5靠外側(cè)的范圍相當(dāng)于技術(shù)方案中的第八視野范圍，比包含視野范圍VR5的視野范圍VR5靠內(nèi)側(cè)的視野范圍相當(dāng)于技術(shù)方案中的第七視野范圍。
[0115]在圖8的步驟S23中，若顯示對應(yīng)圖像IM2,則CPU140監(jiān)視照相機(jī)61、62的拍攝范圍的變化(步驟S25) XPU140在判定為照相機(jī)61、62的拍攝范圍沒有變化的情況下(步驟S25: 否)，監(jiān)視使用者的視線方向ED的變化(步驟S27)<XPU140在判定為使用者的視線方向ED發(fā)生了變化的情況下(步驟S27:是)，反復(fù)步驟S17以后的處理。
[0116]圖12是表示在顯示使用者的視線方向ED發(fā)生了變化后的對應(yīng)圖像頂3的情況下使用者視覺確認(rèn)的視野VR的一個(gè)例子的說明圖。圖12中與圖11相比較，示有使用者的注視點(diǎn) P0R發(fā)生了變化的情況下的視野VR。在圖12所示的例子中，使用者的注視點(diǎn)P0R是外景SC所包含的建筑物BD1，照相機(jī)61、62的拍攝圖像中的檢測對象TW的位置包含于視野范圍VR4以及視野范圍VR5。因此，圖像設(shè)定部165判定為檢測對象TW屬于視野范圍VR4,并設(shè)定基于同與檢測對象TW建立有對應(yīng)關(guān)系的對應(yīng)圖像IM1相同的圖像數(shù)據(jù)的對應(yīng)圖像IM3的圖像數(shù)據(jù)來顯示于圖像顯示最大區(qū)域PN的圖像的顯示方式。圖像設(shè)定部165基于所設(shè)定的顯示方式， 與主頁(HP)鏈接，將作為能夠選擇的按鈕的對應(yīng)圖像IM3,作為在與圖10的對應(yīng)圖像IM1的 “這里”相同的顏色的無限遠(yuǎn)視覺確認(rèn)的圖像，顯示于圖像顯示最大區(qū)域PN。換言之，圖像設(shè)定部165相對于圖10所示的對應(yīng)圖像IM1，作為不包含(A)文字圖像的內(nèi)容、(B)包含距離信息的三維圖像的內(nèi)容，而包含(C)RGB的顏色信息的圖像，在圖像顯示最大區(qū)域PN顯示對應(yīng)圖像頂3。此外，視野范圍VR4相當(dāng)于技術(shù)方案中的第四視野范圍，比視野范圍VR4靠內(nèi)側(cè)的視野范圍相當(dāng)于技術(shù)方案中的第三視野范圍。
[0117]若在圖8的步驟S23的處理中，將對應(yīng)圖像IM3顯示于圖像顯示最大區(qū)域PN，則 CPU140監(jiān)視照相機(jī)61、62的拍攝范圍的變化(步驟325)。0?1]140在判定為照相機(jī)61、62的拍攝范圍沒有變化的情況下(步驟S 2 5:否)，監(jiān)視使用者的視線方向E D的變化(步驟S 2 7)。 CPU140在判定為使用者US的視線方向ED沒有變化的情況下(步驟S27:否)，監(jiān)視針對操作部 135的結(jié)束圖像顯示處理的規(guī)定的操作的受理(步驟S29)。在未受理結(jié)束圖像顯示處理的規(guī)定的操作的情況下(步驟S29:否)，CPU140反復(fù)步驟S25以后的處理。在步驟S29的處理中，受理了結(jié)束圖像顯示處理的規(guī)定的操作的情況下(步驟S29:是)，CPU140結(jié)束圖像顯示處理。
[0118]另外，在本實(shí)施方式的HMD100中，圖像設(shè)定部165基于確定出的使用者的視線方向 ED與對應(yīng)圖像的顯示位置的關(guān)系，即使是相同的對應(yīng)圖像的圖像數(shù)據(jù)，也作為不同的圖像顯示于圖像顯示部20的圖像顯示最大區(qū)域PN。因此，在本實(shí)施方式的HMD100中，能夠不降低視覺確認(rèn)對應(yīng)圖像的使用者的識別的容易性地、提高顯示對應(yīng)圖像的處理的速度。
[0119]另外，在本實(shí)施方式的HMD100中，圖像設(shè)定部165與從照相機(jī)61、62的拍攝圖像中檢測出的檢測對象TW的位置建立對應(yīng)關(guān)系并設(shè)定對應(yīng)圖像的圖像顯示位置。因此，在本實(shí)施方式的HMD100中，能夠更容易理解地使使用者視覺確認(rèn)檢測對象TW與對應(yīng)圖像的對應(yīng)關(guān)系，提高使用者的使用的便利性。
[0120]另外，在本實(shí)施方式的HMD100中，由于根據(jù)眼拍攝照相機(jī)37、38的拍攝圖像來確定使用者的視線方向，所以能夠高精度地確定使用者的視線方向以及注視點(diǎn)P0R。
[0121]另外，在本實(shí)施方式的HMD100中，圖像設(shè)定部165基于對應(yīng)圖像頂1的圖像數(shù)據(jù)，使在視野范圍VR2中包含文字圖像的對應(yīng)圖像頂1顯示于圖像顯示部20的圖像顯示最大區(qū)域 PN。另一方面，圖像設(shè)定部165基于對應(yīng)圖像頂1的圖像數(shù)據(jù)，使在比視野范圍VR2靠外側(cè)的視野范圍中不包含文字圖像的對應(yīng)圖像(例如，對應(yīng)圖像頂2)顯示于圖像顯示部20的圖像顯示最大區(qū)域PN。因此，在本實(shí)施方式的HMD100中，由于將在使用者難以識別文字的視野范圍不包含文字圖像的對應(yīng)圖像顯示于圖像顯示部20,所以能夠不進(jìn)一步降低視覺確認(rèn)對應(yīng)圖像的使用者的識別的容易性地、提高顯示對應(yīng)圖像的處理的速度。
[0122]另外，在本實(shí)施方式的HMD100中，圖像設(shè)定部165基于對應(yīng)圖像頂1的圖像數(shù)據(jù)，在視野范圍VR5中，使簡化的圓形的圖像的對應(yīng)圖像頂2顯示于圖像顯示部20的圖像顯示最大區(qū)域PN。因此，在本實(shí)施方式的HMD100中，由于在使用者不能夠識別到顯示圖像的詳細(xì)的內(nèi)容的視野范圍只將僅表示有圖像的簡化的圖像顯示于圖像顯示部20,所以能夠不降低視覺確認(rèn)對應(yīng)圖像的使用者的識別的容易性地、進(jìn)一步提高顯示對應(yīng)圖像的處理的速度。
[0123]另外，在本實(shí)施方式的HMD100中，圖像設(shè)定部165基于對應(yīng)圖像頂1的圖像數(shù)據(jù)，在視野范圍VR4中，不管到使用者的注視點(diǎn)P0R的距離如何，都將作為不包含距離信息的二維圖像的對應(yīng)圖像IM3顯示于圖像顯示部20的圖像顯示最大區(qū)域PN。因此，在本實(shí)施方式的 HMD100中，由于在使用者難以識別到顯示圖像的距離的視野范圍內(nèi)使二維圖像顯示于圖像顯示部20,所以能夠不降低視覺確認(rèn)對應(yīng)圖像的使用者的識別的容易性地、進(jìn)一步提高顯示對應(yīng)圖像的處理的速度。
[0124]B.第二實(shí)施方式:
[0125]在第二實(shí)施方式的HMD10a中，與第一實(shí)施方式的HMD100相比較，為了圖像設(shè)定部 165a設(shè)定對應(yīng)圖像的顯示方式所使用的視野范圍VR2不同，其它結(jié)構(gòu)與第一實(shí)施方式的 HMD100 相同。[〇126]在第二實(shí)施方式中，考慮人的眼球運(yùn)動來決定視野范圍VR2。已知作為人的眼球運(yùn)動作分為非自愿眼球運(yùn)動、追蹤運(yùn)動、以及掃視這3種。即使在人注視特定的對象物的情況下，實(shí)際的人的視線也移動，將這樣的不自主運(yùn)動稱為非自愿眼球運(yùn)動。所謂的追蹤運(yùn)動是在人觀看移動的對象物的情況下，跟蹤該對象物的移動的運(yùn)動。追蹤運(yùn)動的速度最大是 30degree/s (dps)左右。所謂的掃視是眼球小幅度地、高速地移動的運(yùn)動。例如，在讀書的情況下等，在讀到橫寫的文字的右端后，使視線高速地移動到換行的文字的開頭即左端的運(yùn)動相當(dāng)于掃視。掃視的眼球的速度是300?600dps左右，掃視的初始運(yùn)動需要160?170毫秒 (ms)左右。若用視角表示掃視的距離，雖然因人而異，但為2?6度(degree)左右。在第二實(shí)施方式中，圖像設(shè)定部165a將在第一實(shí)施方式的視野范圍VR2上還加上掃視的視角的視野范圍VR2S設(shè)定為與第一實(shí)施方式的VR2的顯示方式相同。
[0127]圖13是用于對第一實(shí)施方式的視野范圍VR2和第二實(shí)施方式的視野范圍VR2S進(jìn)行比較的說明圖。此外，圖13中未圖示第一實(shí)施方式的圖10所圖示的視野范圍VR3、VR4、VR5， 而是新圖示有視野范圍VR2S。另外，在圖13中，為了與第一實(shí)施方式進(jìn)行比較，為了方便，用虛線示有第一實(shí)施方式的視野范圍VR2。
[0128]第二實(shí)施方式的圖像設(shè)定部165a即使是第一實(shí)施方式的視野范圍VR2的外側(cè)，只要是視野范圍VR2S的內(nèi)側(cè)，就作為與檢測對象TW建立有對應(yīng)關(guān)系的圖像，使對應(yīng)圖像頂1顯示于圖像顯示最大區(qū)域PN。換言之，在第二實(shí)施方式中，在檢測出檢測對象TW的情況下，顯示為對應(yīng)圖像頂1的視野區(qū)域從視野范圍VR2擴(kuò)大到視野范圍VR2S。
[0129]如以上說明的那樣，在第二實(shí)施方式的HMD10a中，圖像設(shè)定部165a使用作為人的眼球運(yùn)動即視覺特性的掃視，使對應(yīng)圖像的顯示方式變化。因此，在第二實(shí)施方式的 HMD10a中，以與第一實(shí)施方式相同的方式，減輕用于在比視野范圍VR2S靠外側(cè)的區(qū)域中， 使與檢測對象TW建立有對應(yīng)關(guān)系的對應(yīng)圖像顯示于圖像顯示最大區(qū)域PN所需要的處理。并且，由于在視野范圍VR2S的區(qū)域中，使對應(yīng)圖像IM1顯示于圖像顯示最大區(qū)域PN，所以即使注視點(diǎn)P0R因掃視變化到第一實(shí)施方式的視野范圍VR2的外側(cè)，只要是視野范圍VR2S的內(nèi)偵L就不會在對應(yīng)圖像的顯示上產(chǎn)生延遲地完成。由此，對于使用者而言提高HMD10a的使用的便利性。[〇13〇] C.第三實(shí)施方式:
[0131]在第三實(shí)施方式的HMD10b中，圖像設(shè)定部165b在對顯示于圖像顯示最大區(qū)域PN 的對應(yīng)圖像進(jìn)行設(shè)定的情況下，除了在上述實(shí)施方式中考慮的視線方向ED以及檢測對象以夕卜，也考慮使用者注視的視覺確認(rèn)對象和視覺確認(rèn)對象以外的范圍的運(yùn)動特性，來設(shè)定對應(yīng)圖像的顯示方式。作為考慮的運(yùn)動特性，例如舉出在視覺確認(rèn)對象靜止，視覺確認(rèn)對象的背景相對于視覺確認(rèn)對象移動的情況下等，使用者感受到的感覺。具體而言，乘坐電車的使用者將貼于電車的車窗的廣告視覺確認(rèn)為視覺確認(rèn)對象時(shí)，使用者感知好像行駛的電車外的景色移動的情況等。將像這樣，人感知相對于自身移動稱為受到運(yùn)動刺激。另一方面，將人感知相對于自身靜止稱為受到靜止刺激。一般而言，已知若人作為視覺確認(rèn)對象受到靜止刺激，作為視覺確認(rèn)對象的周圍的背景受到運(yùn)動刺激，則感知為自身運(yùn)動。另外，若人從視覺確認(rèn)對象的附近(特別是在以進(jìn)深為基準(zhǔn)的前后)受到運(yùn)動刺激，則感知為自身運(yùn)動。 另一方面，若作為視覺確認(rèn)對象受到運(yùn)動刺激，作為背景受到靜止刺激，則感知為自身未運(yùn)動。在第三實(shí)施方式的HMD 100b中，產(chǎn)生或消除使用者感覺到運(yùn)動的自己運(yùn)動感覺，從而使使用者具有身臨其境的感覺，或抑制使用者的身臨其境的感覺。在本說明書中，HMD10b的使用者將相對于識別為停止的視覺確認(rèn)對象識別為移動的背景等，稱為移動背景。
[0132]圖14是在第三實(shí)施方式中駕駛汽車的使用者視覺確認(rèn)的視野VR的說明圖。如圖14 所示，在第三實(shí)施方式中，使用者作為外景SC視覺確認(rèn)森林中的道路、顯示于圖像顯示最大區(qū)域PN的對應(yīng)圖像IM7以及對應(yīng)圖像IM8。使用者用右手RH和左手LH操作汽車的方向盤HD， 并觀看注視點(diǎn)P0R。對應(yīng)圖像M7是與搭載于作為檢測對象TWa的汽車的汽車導(dǎo)航(以下，僅稱為“導(dǎo)航”)建立有對應(yīng)關(guān)系的圖像。IM7是導(dǎo)航作為到目的地的路徑提醒使用者前進(jìn)的圖像。對應(yīng)圖像IM7作為刪除了文字等信息的只有箭頭的圖像(標(biāo)記)顯示于圖像顯示最大區(qū)域PN。對應(yīng)圖像頂8是與作為包含于外景SC的檢測對象TWb的道路建立有對應(yīng)關(guān)系的圖像。 對應(yīng)圖像IM8是提醒使用者注意有可能從道路的一側(cè)跳出的野生的動物的“注意動物”的文字圖像。
[0133]在第三實(shí)施方式中，方向確定部166使用右眼拍攝照相機(jī)37拍攝到的右眼RE的拍攝圖像和左眼拍攝照相機(jī)38拍攝到的左眼LE的拍攝圖像，從而除了使用者的視線方向ED以夕卜，也能夠確定到視覺確認(rèn)對象0J1的距離。在圖14所示的例子中，到通過方向確定部166確定出的視覺確認(rèn)對象0J1的距離是10米(m)。即、使用者作為視覺確認(rèn)對象0J1注視汽車的外景SC所包含的道路。在該情況下，若汽車行駛，則使用者從識別為對于自身而言移動的道路收到運(yùn)動刺激。另外，使用者通過感知為視覺確認(rèn)對象0J1的道路的附近的背景也移動，從視覺確認(rèn)對象0J1的附近的背景受到運(yùn)動刺激。因此，使用者感知為自身運(yùn)動。
[0134]第三實(shí)施方式的距離測定部168b使用通過照相機(jī)61、62在多個(gè)時(shí)刻(例如，視頻) 拍攝到的外景的拍攝圖像，能夠判定拍攝圖像中的特定的對象是否相對于照相機(jī)61、62移動。圖像設(shè)定部165b基于通過距離測定部168b判定出的對象在拍攝到各畫面中有無移動， 來設(shè)定對應(yīng)圖像頂7的顯示方式以及對應(yīng)圖像頂8的顯示方式。
[0135]由于使用者從視覺確認(rèn)對象0J1受到運(yùn)動刺激，所以圖像設(shè)定部165b以相同的方式使與給使用者帶來運(yùn)動刺激的檢測對象TWb建立有對應(yīng)關(guān)系的對應(yīng)圖像頂8作為也包含文字等信息的圖像顯示于圖像顯示最大區(qū)域PN。另一方面，圖像設(shè)定部165b因配置于使用者乘坐的汽車的內(nèi)部的檢測對象TWa以與使用者相同的速度移動，所以給使用者帶來靜止刺激。圖像設(shè)定部165b使與給使用者帶來與視覺確認(rèn)對象0J1給使用者帶來的運(yùn)動刺激不同的靜止刺激的檢測對象TWa建立有對應(yīng)關(guān)系的對應(yīng)圖像頂7,作為僅表示標(biāo)記的圖像顯示于圖像顯示最大區(qū)域PN。若簡單而言，在第三實(shí)施方式的HMD10b中，圖像設(shè)定部165b基于到作為使用者的視線方向ED的視覺確認(rèn)對象0J1的距離與相對于視覺確認(rèn)對象0J1的速度的關(guān)系，來設(shè)定對應(yīng)圖像頂7、頂8的顯示方式。
[0136]圖15是在第三實(shí)施方式中駕駛汽車的使用者視覺確認(rèn)的視野VR的說明圖。如圖15 所示，使用者視覺確認(rèn)外景SC、對應(yīng)圖像頂8以及對應(yīng)圖像頂9。在圖15所示的例子中，使用者注視與圖14所示的使用者的視線方向ED相同的方向。在該情況下，在圖14所示的例子和圖15所示的例子中，在能夠顯示圖像的圖像顯示最大區(qū)域PN中，使用者視覺確認(rèn)相同的區(qū)域。即、以使用者的視線方向?yàn)榛鶞?zhǔn)，圖15中的檢測對象TWa的位置以及檢測對象TWb的位置與圖14中的檢測對象TWa的位置以及檢測對象TWb的位置相同。
[0137]在圖15中，使用者注視的視覺確認(rèn)對象0J2是距離使用者50厘米(cm)的汽車的擋風(fēng)玻璃。換言之，使用者注視可視為與自身一同移動而靜止的視覺確認(rèn)對象0J2。在圖15所示的例子中，使用者從視覺確認(rèn)對象0J2受到靜止刺激，從檢測對象TWa受到靜止刺激，從檢測對象TWb受到運(yùn)動刺激。因此，圖像設(shè)定部165b作為與給使用者帶來與視覺確認(rèn)對象0J2 相同的靜止刺激的檢測對象TWa建立有對應(yīng)關(guān)系的對應(yīng)圖像頂9的顯示方式，設(shè)定也包含文字信息的圖像。對應(yīng)圖像IM9是導(dǎo)航提醒用于將使用者引導(dǎo)到目的地的前進(jìn)“保持原樣前進(jìn)”的文字圖像。另一方面，圖像設(shè)定部165b作為與給使用者帶來與視覺確認(rèn)對象0J2的靜止刺激不同的運(yùn)動刺激的檢測對象TWb建立有對應(yīng)關(guān)系的對應(yīng)圖像IM10的顯示方式，刪除文字信息，僅設(shè)定提醒注意的感嘆號即“!”。所謂的技術(shù)方案中的簡便的顯示方式，舉出在對顯示于圖像顯示最大區(qū)域PN的兩個(gè)顯示圖像進(jìn)行了比較時(shí)，顯示圖像所包含的形狀并沒有更為復(fù)雜(例如，是單純的“〇”、“X”的形狀)、顯示圖像所使用的顏色更少、顯示圖像的區(qū)域更小(例如，通過更少的文字的顯示)等。
[0138]如以上說明的那樣，在第三實(shí)施方式的HMD10b中，方向確定部166b確定到視覺確認(rèn)對象0J1、〇J2的距離，圖像設(shè)定部165b基于使用者從視覺確認(rèn)對象0J1、0J2受到的靜止刺激、運(yùn)動刺激這樣的運(yùn)動特性，來設(shè)定與檢測對象TWa、TWb建立有對應(yīng)關(guān)系的對應(yīng)圖像頂7、 頂8、頂9、IM10的顯示方式。因此，在第三實(shí)施方式的HMD10b中，由于將也考慮了使用者的運(yùn)動特性的對應(yīng)圖像顯示于圖像顯示最大區(qū)域PN，所以能夠使用對應(yīng)圖像，來調(diào)整使用者感受到的身臨其境的感覺。另外，在將通過使用者容易視覺確認(rèn)的圖像和難以視覺確認(rèn)的對應(yīng)圖像顯示于圖像顯示最大區(qū)域PN的情況下，減少難以視覺確認(rèn)的對應(yīng)圖像的信息，從而能夠減輕HMD10b執(zhí)行的處理的負(fù)擔(dān)。
[0139]另外，在第三實(shí)施方式的HMD10b中，通過圖14所示的例子和圖15所示的例子比較可知，圖像設(shè)定部165b即使是相對于視線方向ED，位于外景的相同的區(qū)域的檢測對象TWa、 TWb，也根據(jù)視覺確認(rèn)對象的運(yùn)動特性，來變更對應(yīng)圖像的顯示方式。因此，在第三實(shí)施方式的HMD10b中，使用對應(yīng)圖像，能夠進(jìn)一步調(diào)整使用者感受到的身臨其境的感覺。[〇14〇] D.第四實(shí)施方式:
[0141]在第四實(shí)施方式的HMD10c中，確定拍攝到的對象的移動速度，圖像設(shè)定部165c基于相對于佩戴了圖像顯示部20c的使用者的確定出的對象的移動速度和使用者的視線方向 ED，來設(shè)定對應(yīng)圖像的顯示方式。另外，在HMD10c中，無線通信部132c進(jìn)行無線通信，從而從其它服務(wù)器獲取檢測對象的數(shù)據(jù)、以及成為與該檢測對象建立有對應(yīng)關(guān)系的對應(yīng)圖像的基礎(chǔ)的圖像數(shù)據(jù)。由無線通信部132c獲取的圖像數(shù)據(jù)被分類為多個(gè)類別，無線通信部132c 也與圖像數(shù)據(jù)相關(guān)地獲取上述類別。作為類別例如舉出指示用者到目的地的道路等的“弓丨導(dǎo)”、由于自然災(zāi)害等突發(fā)的現(xiàn)象提醒使用者注意的“警告”等。此外，無線通信部132c相當(dāng)于技術(shù)方案中的圖像數(shù)據(jù)獲取部。
[0142]圖16是在第四實(shí)施方式中作為行人的使用者視覺確認(rèn)的視野VR的說明圖。如圖16 所示，使用者視覺確認(rèn)包含建筑物BD4等的外景SC、和顯示于圖像顯示最大區(qū)域PN的對應(yīng)圖像頂11以及對應(yīng)圖像頂12。在圖16所示的例子中，使用者作為注視點(diǎn)P0R視覺確認(rèn)建筑物 BD4的入口 EN。此外，圖16以注視點(diǎn)P0R為中心，示有在第一實(shí)施方式中說明的視野范圍VR2。 對應(yīng)圖像頂11是與作為檢測對象的移動物體CA1建立對應(yīng)關(guān)系地顯示的圖像。移動物體CA1 是以相對于使用者橫穿(左右)的方式在建筑物BD4的前方的道路上通行的環(huán)行公共汽車。 對應(yīng)圖像頂11是表示移動物體CA1是在〇〇市內(nèi)循環(huán)的公共汽車的文字圖像“〇〇市內(nèi)環(huán)行公共汽車”。
[0143]對應(yīng)圖像頂12是與作為檢測對象的移動物體CA2建立對應(yīng)關(guān)系地顯示的圖像。移動物體CA2是朝向使用者的方向行駛的汽車。圖像設(shè)定部165c基于經(jīng)由無線通信部132c獲取的圖像數(shù)據(jù)，來決定對應(yīng)圖像IM12的顯示方式，并使對應(yīng)圖像IM12顯示于圖像顯示最大區(qū)域PN。在第四實(shí)施方式中，方向確定部166c以圖像顯示部20c為基準(zhǔn)，測定由照相機(jī)61、62 拍攝到的拍攝圖像所包含的對象的移動速度。對應(yīng)圖像頂12的與成為基礎(chǔ)的圖像數(shù)據(jù)建立有關(guān)聯(lián)的類別是“警告”。在該情況下，圖像設(shè)定部165c在判定為移動物體CA2以預(yù)先設(shè)定的速度以上接近使用者(圖像顯示部20c)的情況下，不管與注視點(diǎn)P0R以及視野范圍VR2的位置關(guān)系，使對應(yīng)圖像IM12比對應(yīng)圖像頂11等其它對應(yīng)圖像大地顯示于圖像顯示最大區(qū)域 PN。因此，如圖16所示，將提示朝向使用者的移動物體CA2的接近的文字圖像“接近中! ”的對應(yīng)圖像頂12的字體比對應(yīng)圖像頂11的字體大地顯示于圖像顯示最大區(qū)域PN。此外，方向確定部166c相當(dāng)于技術(shù)方案中的移動物體確定部。
[0144]如以上說明的那樣，在第四實(shí)施方式的HMD10c中，圖像設(shè)定部165c除了視線方向 ED以外，還基于作為檢測對象的移動物體CA2接近佩戴了圖像顯示部20c的使用者的速度， 來設(shè)定與移動物體CA2建立有對應(yīng)關(guān)系的對應(yīng)圖像頂12的顯示方式。因此，在第四實(shí)施方式的HMD10c中，在存在接近使用者的速度較快的移動物體的情況下，能夠?qū)κ褂谜邎?bào)告危險(xiǎn)，提尚使用者的便利性。
[0145]E.變形例:
[0146]此外，本發(fā)明并不限于上述實(shí)施方式，能夠在不脫離其主旨的范圍內(nèi)在各種方式下實(shí)施，例如，也能夠進(jìn)行如下的變形。
[0147]E-1.變形例 1:
[0148]圖17是表示變形例中的使用者視覺確認(rèn)的視野VR的一個(gè)例子的說明圖。在圖17 中，與第一實(shí)施方式的圖12相比較，示有使用者的注視點(diǎn)P0R從建筑物BD1變化到建筑物BD2 后的視野VR。在圖17所示的例子中，由于使用者的注視點(diǎn)P0R是建筑物BD2,所以圖像設(shè)定部 165判定為照相機(jī)61、62的拍攝圖像中的檢測對象TW的位置屬于視野范圍VR3,并使作為顯示圖像的對應(yīng)圖像頂4顯示于圖像顯示最大區(qū)域PN。對應(yīng)圖像頂4相對于圖12所示的對應(yīng)圖像頂3,還是顯示為(B)包含距離信息的三維圖像的圖像。換言之，對應(yīng)圖像頂4是包含(B)包含距離信息的三維圖像的內(nèi)容、(C)RGB的色信息的圖像。此外，視野范圍VR4相當(dāng)于技術(shù)方案中的第四視野范圍，比視野范圍VR4靠內(nèi)側(cè)的視野范圍相當(dāng)于技術(shù)方案中的第三視野范圍。
[0149]像這樣，在該變形例的HMD100中，圖像設(shè)定部165基于對應(yīng)圖像IM1的圖像數(shù)據(jù)，在視野范圍VR3中，使作為包含距離信息的三維圖像的對應(yīng)圖像頂4顯示于圖像顯示部20的圖像顯示最大區(qū)域PN。因此，在該變形例的HMD100中，基于相同的圖像數(shù)據(jù)，在使用者能夠識別為三維圖像的范圍內(nèi)顯示三維圖像，在使用者難以識別三維圖像的范圍內(nèi)顯示二維圖像。由此，能夠不降低視覺確認(rèn)對應(yīng)圖像的使用者的識別的容易性地。進(jìn)一步提高顯示對應(yīng)圖像的處理的速度。[〇15〇]圖18是表示變形例中的使用者視覺確認(rèn)的視野VR的一個(gè)例子的說明圖。在圖18 中，與第一實(shí)施方式的圖12相比較，示有使用者的注視點(diǎn)P0R從建筑物BD1變化到建筑物BD3 后的視野VR。在圖18所示的例子中，由于使用者US的注視點(diǎn)P0R是建筑物BD3,所以圖像設(shè)定部165判定為照相機(jī)61、62的拍攝圖像中的檢測對象TW的位置屬于視野范圍VR5,使作為顯示圖像的對應(yīng)圖像頂5顯示于圖像顯示最大區(qū)域PN。對應(yīng)圖像頂5通過白色和黑色的色調(diào)來表示，是基于與對應(yīng)圖像IM1相同的圖像數(shù)據(jù)創(chuàng)建的圖像。對應(yīng)圖像IM5為了在不包含RGB的顏色信息的基礎(chǔ)上提高使用者的可視性，是將色調(diào)較深的顏色的長方形的圖像作為背景， 表示了色調(diào)較淡的顏色的“HP”的文字的圖像。換言之，對應(yīng)圖像IM5是相對于對應(yīng)圖像IM3， 不包含(C)RGB的顏色信息的圖像。此外，視野范圍VR5相當(dāng)于技術(shù)方案中的第六視野范圍， 比視野范圍VR5靠內(nèi)側(cè)的視野范圍相當(dāng)于技術(shù)方案中的第五視野范圍。
[0151]像這樣，在該變形例的HMD100中，圖像設(shè)定部165基于對應(yīng)圖像IM1的圖像數(shù)據(jù)，在視野范圍VR5中，使不包含RGB的顏色信息的對應(yīng)圖像IM5顯示于圖像顯示部20的圖像顯示最大區(qū)域PN。因此，在該變形例的HMD100中，基于相同的圖像數(shù)據(jù)，在使用者能夠識別包含 RGB的各種顏色信息的范圍內(nèi)顯示使用了RGB的顏色信息的對應(yīng)圖像，在使用者難以識別顏色信息的范圍內(nèi)顯示只有白色和黑色的顏色信息的對應(yīng)圖像。由此，能夠不降低視覺確認(rèn)對應(yīng)圖像的使用者的識別的容易性地、進(jìn)一步提高顯示對應(yīng)圖像的處理的速度。
[0152]E-2.變形例 2:
[0153]圖19是表示在對應(yīng)圖像IM5屬于視野范圍VR5的情況下使用者視覺確認(rèn)的視野VR 的一個(gè)例子的說明圖。圖19中示有在被拍攝到的人的被拍攝體0B的頭部的位置，重疊地顯示帽子的圖像即對應(yīng)圖像頂6的情況下的視野VR。被拍攝體0B是上半身以及下半身穿有滑雪服的人，實(shí)際上頭部未戴有帽子。如圖19所示，HMD100的使用者的注視點(diǎn)P0R是遠(yuǎn)離被拍攝體OB的位置，在這種情況下，將對應(yīng)圖像頂6顯示在圖像顯示最大區(qū)域PN的區(qū)域?qū)儆谝曇胺秶鶹R5。成為對應(yīng)圖像頂6的基礎(chǔ)的圖像數(shù)據(jù)也包含有顯示為對應(yīng)圖像頂6的帽子的花紋等顏色信息。但是，由于對應(yīng)圖像頂6的顯示位置屬于視野范圍VR5,所以圖像設(shè)定部165將對應(yīng)圖像IM6作為不包含花紋、RGB等顏色信息，而用黑色較深的色調(diào)僅顯示帽子的外框的圖像顯示于圖像顯示最大區(qū)域PN。換言之，圖像設(shè)定部165為了使使用者識別對應(yīng)圖像IM6 的輪廓，僅將帽子的圖像的外框的圖像顯示于圖像顯示最大區(qū)域PN。
[0154]像這樣，在該變形例的HMD100中，圖像設(shè)定部165基于圖像數(shù)據(jù)，在視野范圍VR5 中，將只有顯示圖像的輪廓的對應(yīng)圖像頂6顯示于圖像顯示部20的圖像顯示最大區(qū)域PN。因此，在該變形例的HMD100中，由于在使用者難以識別顏色信息的范圍中只顯示圖像的外框， 所以能夠不降低視覺確認(rèn)對應(yīng)圖像的使用者的識別的容易性地、進(jìn)一步提高顯示對應(yīng)圖像的處理的速度。
[0155]E-3.變形例 3:
[0156]在上述實(shí)施方式中，將顯示圖像顯示于圖像顯示最大區(qū)域PN的一部分，但顯示圖像也可以是顯示于圖像顯示最大區(qū)域PN的整體的圖像，也可以是同與從照相機(jī)61、62的拍攝圖像中檢測的檢測對象建立有對應(yīng)關(guān)系的對應(yīng)圖像不同的圖像。例如，顯示圖像也可以是與檢測對象沒關(guān)系，根據(jù)內(nèi)容等播放的電影等視頻。另外，作為顯示圖像的視頻也可以顯示于圖像顯示最大區(qū)域PN的整體。在圖像是顯示于圖像顯示最大區(qū)域PN的整體的視頻的情況下，圖像設(shè)定部165在判定為使用者的視線方向ED不在圖像顯示最大區(qū)域PN上時(shí)，也可以將視頻設(shè)為非顯示。像這樣，圖像設(shè)定部165基于圖像顯示最大區(qū)域PN所顯示的圖像和確定出的使用者的視線方向H)，對顯示圖像的顯示方式進(jìn)行各種變形并設(shè)定。
[0157]在上述實(shí)施方式中，使用者的視線方向ED是基于眼拍攝照相機(jī)37、38的拍攝圖像來確定的，但也可以通過其它的方法來確定。例如，也可以根據(jù)圖像顯示部20的方向來確定使用者的視線方向ED。具體而言，也可以確定將圖像顯示部20佩戴于頭部的使用者的視線方向ED是圖像顯示部20的正面方向，且一直將圖像顯示最大區(qū)域PN的中心設(shè)定為使用者的注視點(diǎn)P0R。根據(jù)該變形例的HMD100,能夠不使用像眼拍攝照相機(jī)37、38那樣的裝置，而簡便且廉價(jià)地確定使用者的視線方向H)。另外，也可以在圖像顯示部20搭載陀螺儀傳感器，基于由陀螺儀傳感器檢測出的角速度，來確定圖像顯示部20的方向。另外，也可以根據(jù)配置于與使用者的太陽穴、鼻子接觸的部分的電極所檢測的肌電位來確定使用者的視線方向。
[0158]另外，在上述實(shí)施方式中，根據(jù)人的視野和與視野相關(guān)的人視覺確認(rèn)的程度，對視野范圍VR2等相對于使用者的注視點(diǎn)P0R的范圍進(jìn)行了設(shè)定，但這些范圍能夠進(jìn)行各種變形。也可以根據(jù)外景SC的亮度等光亮度、HMD100的使用者的視力、所顯示的圖像的分辨率等來設(shè)定視野范圍VR2等。
[0159]在上述實(shí)施方式中，基于照相機(jī)61、62的拍攝圖像，測定了到拍攝圖像所包含的對象物的距離，但對于到對象物的距離的測定的方法、測定的有無能夠進(jìn)行各種變形。另外， 沒必要必須測定到對象物的距離。[〇16〇]在上述實(shí)施方式中，佩戴了圖像顯示部20的使用者能夠視覺確認(rèn)透過的外景SC， 但也可以是使用者不能夠視覺確認(rèn)外景SC的所謂的封閉式的HMD。[〇161]另外，在上述實(shí)施方式中，作為拍攝外景SC的拍攝部，使用了由第一照相機(jī)61和第二照相機(jī)62構(gòu)成的立體照相機(jī)，但也可以使用一個(gè)照相機(jī)，也可以使用3個(gè)以上的照相機(jī)。另外，配置照相機(jī)的位置沒不要必須包含于圖像顯示部20,照相機(jī)也可以與圖像顯示部20 獨(dú)立地構(gòu)成。
[0162]另外，由于在使用者的視覺特性上存在個(gè)人差異，所以操作部135也可以受理規(guī)定的操作，從而對視野范圍和圖像顯示部20所顯示的圖像的對應(yīng)關(guān)系進(jìn)行變更。
[0163]在上述實(shí)施方式中，為了使使用者識別為三維圖像，使用了形成兩眼視差的方法， 但對于使使用者識別為三維圖像的方法能夠進(jìn)行各種變形。例如，作為使使用者識別為三維圖像的方法，可以使進(jìn)行輻合運(yùn)動的圖像顯示于圖像顯示部20、或?qū)D像標(biāo)注陰影、或變更圖像的大小從而表現(xiàn)出進(jìn)深感。另外，對于二維圖像，例如也可以是作為不包含距離信息的無限遠(yuǎn)顯示于圖像顯示部20的圖像，能夠進(jìn)行各種變形。
[0164]如圖18所示，在視野范圍VR5中，將不包含RGB的顏色信息的對應(yīng)圖像頂5顯示于圖像顯示最大區(qū)域PN，但作為不包含顏色信息的例子并不局限于此，能夠進(jìn)行各種變形。例如，也可以將對紅(RED)等單色賦予了色調(diào)的圖像顯示于圖像顯示最大區(qū)域PN。作為減少了顏色信息的圖像，也可以只是通過特定的顏色的灰度等來顯示的圖像。
[0165]在上述實(shí)施方式中，如圖11所示，作為簡化的圖像將作為圓形的圖像的對應(yīng)圖像頂2顯示于圖像顯示最大區(qū)域PN，但對于簡化的圖像能夠進(jìn)行各種變形。例如，也可以是圓形以外的三角形、四邊形的圖像，也可以是與圖像數(shù)據(jù)建立有對應(yīng)關(guān)系的容易聯(lián)想到該圖像數(shù)據(jù)的任意的象征性標(biāo)記的形狀。所謂的簡化的圖像是與基于圖像數(shù)據(jù)所顯示的圖像 (例如，對應(yīng)圖像IM1)進(jìn)行比較不復(fù)雜，且使使用者識別在此處存在簡化的圖像的程度的圖像即可。
[0166]在上述實(shí)施方式中，基于使用者的視線方向和使用者的視野范圍的關(guān)系，圖像顯示最大區(qū)域PN所顯示的圖像的方式發(fā)生了變化，但也可以不是方式變化，而是顯示圖像的位置變化。例如，也可以在包含于視野范圍VR2的情況下，在圖像顯示最大區(qū)域PN的整體顯示圖像，在是比視野范圍VR5靠外側(cè)的范圍的情況下，在圖像顯示最大區(qū)域PN的一部分顯示簡化的圖像。
[0167]E-4.變形例 4:
[0168]在上述第四實(shí)施方式中，將移動物體CA2預(yù)先設(shè)定為檢測對象，但也可以在判斷為未被預(yù)先設(shè)定為檢測對象的對象以上述的速度以上接近使用者的情況下，重新設(shè)定為檢測對象。另外，在圖16的對應(yīng)圖像頂12包含于注視點(diǎn)P0R附近的視野范圍VR2的情況下，也可以以與對應(yīng)圖像IM11相同的字體顯示于圖像顯示最大區(qū)域PN。這是因?yàn)樵趫D像顯示最大區(qū)域 PN中的注視點(diǎn)P0R的附近，顯示提醒使用者注意的對應(yīng)圖像IM12的情況下，判定為使用者注視對應(yīng)圖像IM12。另外，作為其它實(shí)施方式，無線通信部132c不從其它服務(wù)器獲取成為對應(yīng)圖像的基礎(chǔ)的圖像數(shù)據(jù)，HMD10c也可以作為數(shù)據(jù)庫具有存儲上述圖像數(shù)據(jù)的存儲部。另夕卜，HMD100c的圖像設(shè)定部165c也可以從經(jīng)由接口 180連接的數(shù)據(jù)庫獲取圖像數(shù)據(jù)等。
[0169]如以上說明的那樣，在變形例的MDlOOc中，圖像設(shè)定部165c在即使是未預(yù)先作為檢測對象TW存儲的對象以一定速度以上接近佩戴有圖像顯示部20c的使用者的情況下，將該對象判定為檢測對象TW，使預(yù)先設(shè)定的警告等對應(yīng)圖像IM12顯示于圖像顯示最大區(qū)域 PN。因此，在第四實(shí)施方式的HMD10c中，能夠更加適當(dāng)?shù)貙κ褂谜邎?bào)告危險(xiǎn)，提高使用者的便利性。
[0170]E-5.變形例 5:
[0171]在該變形例中，與上述第四實(shí)施方式的HMD10c的圖像設(shè)定部165c進(jìn)行比較，在變形例的圖像設(shè)定部165d根據(jù)與圖像數(shù)據(jù)相關(guān)的類別來變更對應(yīng)圖像的顯示位置這一點(diǎn)不同。圖像設(shè)定部165d進(jìn)行根據(jù)類別顯示的優(yōu)先度的加權(quán)，使基于與優(yōu)先度較高的類別相關(guān)的圖像數(shù)據(jù)的顯示圖像顯示于注視點(diǎn)P0R的附近。此外，與圖像數(shù)據(jù)相關(guān)的類別相當(dāng)于技術(shù)方案中的圖像數(shù)據(jù)的種類。
[0172]圖20是變形例中的使用者的視野VR中的對應(yīng)圖像IM13、IM14的顯示位置的說明圖。如圖20所示，將圖像顯示部20d佩戴于頭部的使用者視覺確認(rèn)作為外景SC的商業(yè)街、對應(yīng)圖像IM14、以及對應(yīng)圖像IM15。使用者的注視點(diǎn)P0R觀看處于商業(yè)街的店“〇〇藥房”的廣告牌。在圖20所示的例子中，照相機(jī)61、62拍攝作為檢測對象TWdl的“〇0藥房”的廣告牌、 以及作為檢測對象TWd2的汽車。對應(yīng)圖像IM13是與檢測對象TWdl建立對應(yīng)關(guān)系，顯示于圖像顯示最大區(qū)域PN的圖像。對應(yīng)圖像頂13顯示在圖像顯示最大區(qū)域PN的中央上部。與對應(yīng)圖像IM13的圖像數(shù)據(jù)相關(guān)的類別是“廣告”。對應(yīng)圖像IM14是與檢測對象TWdl建立對應(yīng)關(guān)系，顯示于圖像顯示最大區(qū)域PN的圖像。對應(yīng)圖像頂14顯示于圖像顯示最大區(qū)域PN的中央部。與對應(yīng)圖像IM14的圖像數(shù)據(jù)相關(guān)的類別是“警告”。[〇173]變形例的圖像設(shè)定部165d在使用者的視線方向ED上，在距離不同的位置重復(fù)多個(gè)檢測對象的情況下，基于與對應(yīng)圖像的圖像數(shù)據(jù)相關(guān)的類別，以多個(gè)對應(yīng)圖像的顯示區(qū)域不重復(fù)的方式，設(shè)定包含對應(yīng)圖像的顯示位置的顯示方式。在圖20中，檢測對象TWdl的廣告牌和檢測對象TWd2的汽車在相同的注視點(diǎn)P0R附近重復(fù)。在這樣的情況下，圖像設(shè)定部165d 使類別是“警告”的對應(yīng)圖像頂14,以比類別是“廣告”的對應(yīng)圖像頂13顯眼的方式，顯示于圖像顯示最大區(qū)域PN的中央部。另外，圖像設(shè)定部165d以比對應(yīng)圖像頂13大的方式顯示對應(yīng)圖像頂14。
[0174]如以上說明的那樣，在變形例的HMD10d中，圖像設(shè)定部165d根據(jù)與對應(yīng)圖像的圖像數(shù)據(jù)相關(guān)的類別，來設(shè)定與檢測對象建立有對應(yīng)關(guān)系的對應(yīng)圖像的圖像顯示最大區(qū)域PN 的顯示方式。因此，在變形例的HMD10d中，使更想要使使用者視覺確認(rèn)的圖像優(yōu)先地顯示于圖像顯示最大區(qū)域PN，提高使用者的使用的便利性。
[0175]E-6.變形例 6:
[0176]在上述實(shí)施方式中，在控制部10形成了操作部135,但對于操作部135的實(shí)施方式能夠進(jìn)行各種變形。例如，也可以是與控制部10獨(dú)立地具有作為操作部135的用戶接口的方式。在這種情況下，由于操作部135與形成有電源130等的控制部10獨(dú)立，所以能夠小型化， 提高使用者的操作性。另外，將照相機(jī)61、62配置于圖像顯示部20,但照相機(jī)61也可以與圖像顯示部20獨(dú)立地構(gòu)成，而能夠拍攝外景SC。另外，也可以是構(gòu)成控制部10的CPU140、電源 130全部搭載于圖像顯示部20的HMD100。在該HMD100中，由于沒有與圖像顯示部20獨(dú)立地構(gòu)成的控制器，所以能夠進(jìn)一步小型化。另外，分別在控制部10和圖像顯示部20搭載CPU140， 從而也可以將控制部10作為控制器單體來使用，將圖像顯示部20作為顯示裝置單體來使用。
[0177]例如，圖像光生成部也可以為具備有機(jī)EL(有機(jī)電致發(fā)光，Organic Electro-Luminescence)的顯示器、以及有機(jī)EL控制部的結(jié)構(gòu)。另外，例如，圖像光生成部也能夠代替 LCD，使用LC0S(Liquid crystal on silicon:硅基液晶，LCoS是注冊商標(biāo))、數(shù)字微鏡器件等。另外，例如，也能夠?qū)す饩W(wǎng)膜投影型的HMD100應(yīng)用本發(fā)明。另外，圖像顯示最大區(qū)域PN也可以由開關(guān)形成于各像素的MEMS快門的MEMS快門方式的顯示器構(gòu)成。
[0178]另外，也可以是作為圖像光生成部，采用使用了 MEMS反射鏡的掃描光學(xué)系統(tǒng)，并利用了 MEMS顯示器技術(shù)的HMD100。作為具體的結(jié)構(gòu)，HMD100也可以作為光射出部具備信號光形成部、具有對信號光形成部射出的光進(jìn)行掃描的MEMS反射鏡的掃描光學(xué)系統(tǒng)、以及通過被掃描光學(xué)系統(tǒng)掃描的光形成虛像的光學(xué)部件。若HMD100具備該結(jié)構(gòu)，則由信號光形成部射出的光被MEMS反射鏡反射，入射至光學(xué)部件，并在光學(xué)部件中傳導(dǎo)，到達(dá)虛像形成面(例如，反射面)。通過MEMS反射鏡掃描光，在虛像形成面形成虛像，使用者視覺確認(rèn)所形成的虛像，從而使用者識別圖像。
[0179]另外，例如，HMD100也可以為光學(xué)像顯示部覆蓋使用者的眼睛的一部分的方式，換言之，光學(xué)像顯示部不完全覆蓋使用者的眼睛的方式的頭戴式顯示器。另外，HMD100也可以為所謂的單眼類型的頭戴式顯示器。另外，也可以代替HMD100,不是佩戴于使用者的頭部的裝置，而是作為圖像顯示裝置使用像雙筒望遠(yuǎn)鏡那樣使用者用手固定位置的手持顯示器。 另外，HMD100為兩眼類型的光學(xué)透射式，但本發(fā)明也同樣能夠應(yīng)用于例如影像透射式的其它形式的頭部佩戴型顯示裝置。[〇18〇]另外，HMD100也可以用作僅用于顯示基于從其它裝置接收到的圖像信號的圖像的顯示裝置。具體而言，也可以用作相當(dāng)于臺式的PC的監(jiān)視器的顯示裝置，例如，從臺式的PC 接收圖像信號，從而在圖像顯示部20的圖像顯示最大區(qū)域PN顯示圖像。
[0181]另外，HMD100也可以以作為系統(tǒng)的一部分發(fā)揮作用的方式使用。例如，作為用于執(zhí)行包含飛機(jī)的系統(tǒng)的一部分的功能的裝置也可以使用HMD100,作為使用HMD100的系統(tǒng)并不局限于包含飛機(jī)的系統(tǒng)，也可以是包含汽車、自行車等的系統(tǒng)。
[0182]另外，耳機(jī)也可以采用耳掛型、頭戴型，也可以省略。另外，例如，也可以構(gòu)成為搭載于汽車、飛行機(jī)等車輛的頭部佩戴型顯示裝置。另外，例如，也可以構(gòu)成為內(nèi)置于頭盔等身體防護(hù)具的頭部佩戴型顯示裝置。
[0183]E-7.變形例 7:
[0184]上述實(shí)施方式中的HMD100的結(jié)構(gòu)只是一個(gè)例子，能夠進(jìn)行各種變形。例如，也可以省略設(shè)置于控制部10的方向鍵16、或除了方向鍵16、觸控板14以外還設(shè)置操作用棒等其它操作用接口。另外，控制部10是能夠連接鍵盤、鼠標(biāo)等輸入設(shè)備的結(jié)構(gòu)，也可以為從鍵盤、鼠標(biāo)受理輸入的結(jié)構(gòu)。
[0185]另外，作為圖像顯示部，代替像眼鏡那樣佩戴的圖像顯示部20,例如也可以采用像帽子那樣佩戴的圖像顯示部的其它方式的圖像顯示部。另外，耳機(jī)32、34適當(dāng)?shù)啬軌蚴÷浴?另外，在上述實(shí)施方式中，作為生成圖像光的結(jié)構(gòu)，利用LCD和光源，但代替這些，也可以采用有機(jī)EL顯示器這樣的其它顯示元件。
[0186]圖21是表示變形例的HMD的外觀結(jié)構(gòu)的說明圖。在圖21(A)的例子的情況下，與圖1 所示的HMD100的差異在于圖像顯示部20x代替右光學(xué)像顯示部26具備右光學(xué)像顯示部26x 的點(diǎn)、以及代替左光學(xué)像顯示部28具備左光學(xué)像顯示部28x的點(diǎn)。右光學(xué)像顯示部26x以比上述實(shí)施方式的光學(xué)部件小的方式形成，配置于佩戴HMD10x時(shí)的使用者的右眼的斜上方。 同樣地，左光學(xué)像顯示部28x以比上述實(shí)施方式的光學(xué)部件小的方式形成，配置于佩戴 HMD10x時(shí)的使用者的左眼的斜上方。在圖21(B)的例子的情況下，與圖1所示的HMD100的差異在于圖像顯示部20y代替右光學(xué)像顯示部26具備右光學(xué)像顯示部26y的點(diǎn)、以及代替左光學(xué)像顯示部28具備左光學(xué)像顯示部28y的點(diǎn)。右光學(xué)像顯示部26y以比上述實(shí)施方式的光學(xué)部件小的方式形成，配置于佩戴頭戴式顯示器時(shí)的使用者的右眼的斜下方。左光學(xué)像顯示部28y以比上述實(shí)施方式的光學(xué)部件小的方式形成，配置于佩戴頭戴式顯示器時(shí)的使用者的左眼的斜下方。像這樣，只要將光學(xué)像顯示部配置于使用者的眼睛的附近即可。另外，形成光學(xué)像顯示部的光學(xué)部件的大小也是任意的，能夠作為光學(xué)像顯示部只覆蓋使用者的眼睛的一部分的方式，換言之，光學(xué)像顯示部不完全覆蓋使用者的眼睛的方式的HMD100來實(shí)現(xiàn)。
[0187]另外，在上述實(shí)施方式中，HMD100可以對使用者的左右眼導(dǎo)入表示相同的圖像的圖像光來使使用者視覺確認(rèn)二維圖像，也可以對使用者的左右眼導(dǎo)入表示不同的圖像的圖像光來使使用者視覺確認(rèn)三維圖像。
[0188]另外，在上述實(shí)施方式中，也可以將通過硬件實(shí)現(xiàn)的結(jié)構(gòu)的一部置換為軟件，相反，也可以將通過軟件實(shí)現(xiàn)的結(jié)構(gòu)的一部分置換為硬件。例如，在上述實(shí)施方式中，圖像處理部160、聲音處理部170通過CPU140讀出并執(zhí)行計(jì)算機(jī)程序來實(shí)現(xiàn)，但上述功能部也可以通過硬件電路來實(shí)現(xiàn)。
[0189]另外，在本發(fā)明的功能的一部分或者全部通過軟件來實(shí)現(xiàn)的情況下，能夠以將該軟件(計(jì)算機(jī)程序)儲存于計(jì)算機(jī)可讀取的記錄介質(zhì)的形式來提供。在本發(fā)明中，所謂的“計(jì)算機(jī)可讀取的記錄介質(zhì)”并不局限于軟盤、CD-ROM那樣的便攜式的記錄介質(zhì)，也包含各種 RAM、R0M等計(jì)算機(jī)內(nèi)的內(nèi)部存儲裝置、硬盤等固定于計(jì)算機(jī)的外部存儲裝置。[〇19〇]另外，在上述實(shí)施方式中，如圖1以及圖2所示，控制部10和圖像顯示部20形成為分立的結(jié)構(gòu)，但控制部10和圖像顯示部20的結(jié)構(gòu)并不局限于此，能夠進(jìn)行各種變形。例如，也可以在圖像顯示部20的內(nèi)部，形成形成于控制部10的結(jié)構(gòu)的全部，也可以形成一部分。另夕卜，上述實(shí)施方式的電源130也可以是單獨(dú)形成，而能夠更換的結(jié)構(gòu)，形成于控制部10的結(jié)構(gòu)也可以重復(fù)地形成于圖像顯示部20。例如，也可以為圖2所示的CPU140也可以形成于控制部10和圖像顯示部20雙方，形成于控制部10的CPU140和形成于圖像顯示部20的CPU所進(jìn)行的功能被單獨(dú)劃分的結(jié)構(gòu)。
[0191]本發(fā)明并不限于上述實(shí)施方式、變形例，能夠在不脫離其宗旨的范圍內(nèi)以各種結(jié)構(gòu)來實(shí)現(xiàn)。例如，與發(fā)明的概要一欄所記載的各方式中的技術(shù)特征對應(yīng)的實(shí)施方式、變形例中的技術(shù)特征為了解決上述課題的一部分或者全部、或?yàn)榱藢?shí)現(xiàn)上述有效一部分或者全部，能夠適當(dāng)?shù)剡M(jìn)行替換、組合。另外，若該技術(shù)特征在本說明書中不是作為必需部件來說明的，則能夠適當(dāng)?shù)貏h除。
[0192]符號說明
[0193]10…控制部；11…確定鍵;12…點(diǎn)亮部；13…顯示切換鍵;14…觸控板；15…亮度切換鍵;16…方向鍵;17…菜單鍵;18…電源開關(guān);20…圖像顯示部(圖像顯示部)；2卜?右保持部;22…右顯示驅(qū)動部;23…左保持部;24…左顯示驅(qū)動部;26…右光學(xué)像顯示部;28…左光學(xué)像顯示部；30…耳機(jī)插頭；32…右耳機(jī);34…左耳機(jī);37…右眼拍攝照相機(jī)(眼睛拍攝部、 視線方向確定部)；38…左眼拍攝照相機(jī)(眼睛拍攝部、視線方向確定部)；40…連接部;42… 右軟線;44…左軟線;46…連結(jié)部件;48…主體軟線;51、52…發(fā)送部;53、54…接收部;6卜-第一照相機(jī)(外景拍攝部)；62…第二照相機(jī)(外景拍攝部)；100"_HMD(頭部佩戴型顯示裝置)；120…存儲部；130…電源；132…無線通信部；135…操作部；140 — CPU; 150…操作系統(tǒng)；160…圖像處理部；165…圖像設(shè)定部(圖像變更部)；166…方向確定部(視線方向確定部)； 168…距離測定部；170…聲音處理部；180…接口； 190…顯示控制部；201…右BL控制部； 202…左BL控制部；211…右LCD控制部；212…左LCD控制部；221…右背光燈；222…左背光燈;241…右LCD; 242…左LCD; 251…右投影光學(xué)系統(tǒng)；252…左投影光學(xué)系統(tǒng)；261…右導(dǎo)光板;262…左導(dǎo)光板;AP…前端部;BDl、BD2、BD3、BD4…建筑物;ED…使用者的視線方向；EL… 左光學(xué)像顯示部的端部;ER…右光學(xué)像顯示的端部;HSynC…水平同步信號;VSynC…垂直同步信號；PCLK…時(shí)鐘信號；IL…照明光；M1、IM2、頂3、頂4、IM5、頂6、頂7、頂8、IM9、頂10、 頂11、頂12、頂13、]1令"對應(yīng)圖像；1^."左眼；1^"右眼；]\0^"月亮；]\03."左右眼球中心； OA…外部設(shè)備;OB…被拍攝體;PL…圖像光;PN…圖像顯示最大區(qū)域(顯示區(qū)域)；POR…注視點(diǎn)；SC…外景;了1、了1&、了113、了1(11、了1(12?檢測對象(特定對象物)；1^"使用者;￥卜"視野； 乂1?1、￥1?2、￥1?3、￥1?4、￥1?5、￥1?6、￥1?25?視野范圍；￥1^"鉛垂視野;￥1^"水平視野；(^1、0了2? 視覺確認(rèn)對象;RH…右手;LH…左手;HD…方向盤;CA1、CA2…移動物體;EN…入口。
【主權(quán)項(xiàng)】
1.一種頭部佩戴型顯示裝置，其特征在于，具備:圖像顯示部，其能夠?qū)D像顯示于顯示區(qū)域；視線方向確定部，其確定使用者的視線方向；以及圖像變更部，其根據(jù)確定出的所述視線方向來變更所述顯示區(qū)域所顯示的顯示圖像。2.根據(jù)權(quán)利要求1所述的頭部佩戴型顯示裝置，其特征在于，所述圖像變更部與根據(jù)確定出的所述視線方向變化的使用者的視覺特性對應(yīng)地變更 所述顯示圖像。3.根據(jù)權(quán)利要求2所述的頭部佩戴型顯示裝置，其特征在于，所述視覺特性是與掃視相關(guān)的特性，所述圖像變更部將還添加了掃視的視角后的范圍設(shè)定為使用者的視野范圍。4.根據(jù)權(quán)利要求1或3所述的頭部佩戴型顯示裝置，其特征在于，所述圖像變更部在所述顯示區(qū)域的一部分顯示所述顯示圖像的情況下，根據(jù)所述顯示 圖像的位置和所述視線方向來變更所述顯示圖像。5.根據(jù)權(quán)利要求1?4中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于，所述圖像顯示部能夠透過外景，所述頭部佩戴型顯示裝置還具備拍攝所述外景的外景拍攝部，所述圖像變更部從拍攝到的所述外景的圖像中檢測特定對象物，并與檢測出的特定對 象物的位置建立對應(yīng)關(guān)系地設(shè)定所述顯示圖像的位置。6.根據(jù)權(quán)利要求5所述的頭部佩戴型顯示裝置，其特征在于，所述視線方向確定部具有顯示部方向檢測部，該顯示部方向檢測部檢測所述圖像顯示 部的朝向，基于檢測出的所述圖像顯示部的朝向來確定所述視線方向。7.根據(jù)權(quán)利要求5所述的頭部佩戴型顯示裝置，其特征在于，所述視線方向確定部具有眼睛拍攝部，該眼睛拍攝部拍攝使用者的眼睛，基于拍攝到 的使用者的眼睛的圖像來確定所述視線方向。8.根據(jù)權(quán)利要求5?7中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于，所述視線方向確定部還確定到使用者正在視覺確認(rèn)的視覺確認(rèn)對象的距離，所述圖像變更部基于所述視覺確認(rèn)對象、以及基于所述視覺確認(rèn)對象以外的范圍且是 相對于所述視覺確認(rèn)對象移動的移動背景的運(yùn)動特性，來設(shè)定與所述特定對象物建立有對 應(yīng)關(guān)系的所述顯示圖像的顯示方式。9.根據(jù)權(quán)利要求8所述的頭部佩戴型顯示裝置，其特征在于，所述圖像變更部在所述特定對象物是所述移動背景的情況下，與所述特定對象物未相 對于所述視覺確認(rèn)對象移動的情況相比較，將與所述特定對象物建立有對應(yīng)關(guān)系的所述顯 示圖像的顯示方式設(shè)定為簡便的方式。10.根據(jù)權(quán)利要求5?9中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于，所述圖像顯示部能夠透過外景，所述頭部佩戴型顯示裝置還具備:外景拍攝部，其拍攝所述外景；以及圖像數(shù)據(jù)獲取部，其按照所述圖像數(shù)據(jù)的每個(gè)種類來識別并獲取與所述特定對象物建 立有對應(yīng)關(guān)系的所述顯示圖像源的圖像數(shù)據(jù)，所述圖像變更部在所述外景拍攝部拍攝到所述特定對象物的情況下，基于所述圖像數(shù) 據(jù)獲取部獲取的所述圖像數(shù)據(jù)的種類、以及針對所述顯示區(qū)域的拍攝到的所述特定對象物 的位置，來決定與所述特定對象物建立有對應(yīng)關(guān)系的所述顯示圖像的顯示方式。11.根據(jù)權(quán)利要求5?10中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于，還具備: 移動物體確定部，其確定在外景中移動的移動物體，所述圖像變更部基于所述移動物體接近所述圖像顯示部的速度，來設(shè)定與所述特定對 象物建立有對應(yīng)關(guān)系的所述顯示圖像的顯示方式。12.根據(jù)權(quán)利要求11所述的頭部佩戴型顯示裝置，其特征在于，所述圖像變更部在以所述視線方向?yàn)橹行牡囊?guī)定的區(qū)域以外的所述移動物體以預(yù)先 設(shè)定的速度以上接近所述圖像顯示部的情況下，即使所述移動物體未被預(yù)先設(shè)定為所述特 定對象物也判定為所述特定對象物，并將預(yù)先設(shè)定的所述顯示圖像設(shè)定為判定出的所述特 定對象物。13.根據(jù)權(quán)利要求1?12中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于，所述圖像變更部在所述顯示圖像包含文字圖像的情況下，在包含確定出的所述視線方向的第一視野范圍內(nèi)將所述文字圖像作為所述顯示圖像顯示于所述顯示區(qū)域，在比所述第一視野范圍大的范圍并且不包含所述第一視野范圍的第二視野范圍內(nèi)，不 將所述文字圖像作為所述顯示圖像顯示于所述顯示區(qū)域。14.根據(jù)權(quán)利要求1?13中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于，所述圖像變更部在所述顯示圖像是被使用者視覺確認(rèn)為三維圖像的圖像的情況下，在 包含確定出的所述視線方向的第三視野范圍內(nèi)將所述顯示圖像作為三維圖像顯示于所述 顯示區(qū)域，在比所述第三視野范圍大的范圍并且不包含所述第三視野范圍的第四視野范圍 內(nèi)顯示時(shí)，將所述顯示圖像以被使用者視覺確認(rèn)為二維圖像的方式顯示于所述顯示區(qū)域。15.根據(jù)權(quán)利要求1?14中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于，所述圖像變更部在所述顯示圖像是包含多個(gè)顏色的信息的圖像的情況下，在包含確定 出的所述視線方向的第五視野范圍內(nèi)，將所述顯示圖像作為包含多個(gè)顏色的信息的圖像顯 示于所述顯示區(qū)域，在比所述第五視野范圍大的范圍并且不包含所述第五視野范圍的第六 視野范圍內(nèi)，使用單色的色調(diào)將所述顯示圖像顯示于所述顯示區(qū)域。16.根據(jù)權(quán)利要求15所述的頭部佩戴型顯示裝置，其特征在于，所述圖像變更部在所述第六視野范圍內(nèi)，僅將所述顯示圖像的輪廓顯示于所述顯示區(qū) 域。17.根據(jù)權(quán)利要求1?16中任意一項(xiàng)所述的頭部佩戴型顯示裝置，其特征在于，所述圖像變更部在比包含確定出的所述視線方向的第七視野范圍大的范圍并且不包含所述第七視野范圍的第八視野范圍內(nèi)，將所述顯示圖像作為比顯示于所述第七視野范圍 的圖像簡化的簡易圖像顯示于所述顯示區(qū)域。18.—種控制方法，其特征在于，是具有能夠?qū)D像顯示于顯示區(qū)域的圖像顯示部的頭部佩戴型顯示裝置的控制方法， 具備:確定使用者的視線方向的工序；以及根據(jù)確定出的所述視線方向來變更所述顯示區(qū)域所顯示的顯示圖像的工序。
【文檔編號】G02B27/01GK105988219SQ201610146097
【公開日】2016年10月5日
【申請日】2016年3月15日
【發(fā)明人】矢島健郎, 毛利勇, 毛利勇一
【申請人】精工愛普生株式會社