頭戴式顯示裝置、頭戴式顯示裝置的控制方法、以及顯示系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種頭戴式顯示裝置、頭戴式顯示裝置的控制方法以及顯示系統(tǒng)，通過考慮與虛像的顯示環(huán)境有關(guān)的各種條件來使虛擬對象融合于外景，從而緩解使用者的視覺上的不協(xié)調(diào)感的增強現(xiàn)實感。使用者能夠視覺識別虛像和外景的頭戴式顯示裝置具備：圖像顯示部，其使使用者視覺識別虛像；增強現(xiàn)實處理部，其使上述圖像顯示部形成虛像，所述虛像表示用于給使用者帶來增強現(xiàn)實感的對象亦即虛擬對象、且是緩解了使用者的視覺上的不協(xié)調(diào)感的虛擬對象。
【專利說明】頭戴式顯示裝置、頭戴式顯示裝置的控制方法、以及顯示系統(tǒng)

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及頭戴式顯示裝置。

【背景技術(shù)】
[0002]已知一種通過佩戴于觀察者的頭部來使用，來在觀察者的視野區(qū)域形成虛像的頭戴式顯示裝置(參照專利文獻6)。該頭戴式顯示裝置也被稱為頭戴式顯示器(HMD:HeadMounted Display)，有在佩戴頭戴式顯示裝置的狀態(tài)下使用者的視野被遮擋的非透射式頭戴式顯示裝置、和在佩戴頭戴式顯示裝置的狀態(tài)下使用者的視野未被遮擋的透射式頭戴式顯示裝置。
[0003]另一方面，已知一種在現(xiàn)實環(huán)境中使用計算機來附加并提示信息的被稱為增強現(xiàn)實感(AR, Augmented Reality)的技術(shù)。作為實現(xiàn)增強現(xiàn)實感的方法，已知基于圖像識別的方法、和基于穿透方式的方法。在采用基于圖像識別的方法的情況下，通過對例如利用WEB相機等拍攝的外景的圖像進行圖像識別，從而生成虛擬對象。在采用基于穿透方式的方法的情況下，使用例如利用GPS等獲取的當(dāng)前位置信息、和例如利用電子羅盤等獲取的方位信息來生成虛擬對象。在非透射式的頭戴式顯示裝置中，使外景的圖像和如上述那樣生成的虛擬對象重疊而成的圖像被顯示于液晶顯示器。由此，使用者能夠體驗增強現(xiàn)實感。在透射式的頭戴式顯示裝置中，只有如上述那樣生成的虛擬對象被顯示于液晶顯示器。使用者通過視覺識別借助液晶顯示器被顯示為虛像的虛擬對象、和透過眼前的透鏡看到的實際的外景雙方，能夠體驗增強現(xiàn)實感。因此，在光學(xué)透射式的頭戴式顯示裝置中，為了提供緩解了使用者的視覺上的不協(xié)調(diào)感后的增強現(xiàn)實感，需要對使用者實際看到的外景融合作為虛像顯示的虛擬對象。
[0004]專利文獻I中記載有為了使虛擬對象融合于外景，而使從使用者至外景所包含的實際對象的距離、和至虛擬對象的距離成為大致相同的距離的技術(shù)。在專利文獻I中，求出使用者與實際對象之間的距離D，并根據(jù)距離D來決定實際對象的輻輳角0，并對實際對象的輻輳角Θ ±40的虛擬對象的輻輳角進行運算，來生成實現(xiàn)運算出的輻輳角的右眼用的圖像數(shù)據(jù)、和左眼用的圖像數(shù)據(jù)。專利文獻2中記載有為了使虛擬對象融合于外景，而使虛擬對象的輻輳角可調(diào)節(jié)的技術(shù)。專利文獻3中記載有在非透射式頭戴式顯示裝置中為了提供緩解了使用者的視覺上的不協(xié)調(diào)后的增強現(xiàn)實感，根據(jù)預(yù)先測量出的拍攝參數(shù)來調(diào)整用于拍攝外景圖像的相機的技術(shù)。
[0005]專利文獻4以及專利文獻5中記載有為了減少使虛擬對象融合于外景時的不協(xié)調(diào)感，而從由相機拍攝的使用者的視線方向的圖像截取膚色等特定顏色區(qū)域，并遮蔽虛擬對象的技術(shù)。
[0006]專利文獻1:日本專利第3717653號公報
[0007]專利文獻2:日本特開平5 - 328408號公報
[0008]專利文獻3:日本特開2008 - 227865號公報
[0009]專利文獻4:日本特開2005 - 346468號公報
[0010]專利文獻5:日本特開2003 - 296759號公報
[0011]專利文獻6:日本特開2012 — 163637號公報
[0012]在頭戴式顯示裝置中，為了以目標的輻輳角使虛擬對象的虛像進行立體顯示，需要考慮例如液晶顯示器的大小、顯示在使用者的左右眼前的虛像間的距離、使用者的眼間距離之類的與虛像的顯示環(huán)境有關(guān)的各種條件。然而，在專利文獻I以及專利文獻2所記載的技術(shù)中，存在沒有對這一點進行充分的考慮這樣的問題。另外，在專利文獻3所記載的技術(shù)中，未將光學(xué)透射式的頭戴式顯示裝置作為對象。因此，期望一種通過考慮與虛像的顯示環(huán)境有關(guān)的各種條件來使虛擬對象融合于外景，從而能夠提供緩解了使用者的視覺上的不協(xié)調(diào)感的增強現(xiàn)實感的光學(xué)透射式的頭戴式顯示裝置。
[0013]另外，在專利文獻4以及專利文獻5所記載的技術(shù)中，存在由于基于由相機拍攝的圖像來加工虛擬對象，所以對于現(xiàn)實世界看到的、前后關(guān)系復(fù)雜的多個物體、色彩相似的物體，無法確保虛擬對象的加工的精度這樣的問題。因此，期望一種通過更高精度地使虛擬對象融合于外景，能夠提供緩解了使用者的視覺上的不協(xié)調(diào)感的增強現(xiàn)實感的光學(xué)透射式的頭戴式顯示裝置。
[0014]并且，僅作為以將虛擬對象加入現(xiàn)實空間的坐標系來使其被視覺識別方式進行顯示的構(gòu)成下，存在虛擬對象忽略實際物體地進行動作這樣的問題。例如，如果現(xiàn)實空間中存在虛擬對象，則即使在虛擬對象與實際物體碰撞的情況下，虛擬對象也會穿過實際物體。另夕卜，即使從使用者看虛擬對象隱藏在實際物體的后面的情況下，也不能夠識別虛擬對象。這樣的現(xiàn)象給使用者帶來不協(xié)調(diào)感，并成為顯著有損真實感的原因。
[0015]如以上那樣，期望一種能夠提供緩解了使用者的視覺上的不協(xié)調(diào)感的增強現(xiàn)實感的光學(xué)透射式的頭戴式顯示裝置。


【發(fā)明內(nèi)容】

[0016]本發(fā)明是為了解決上述的課題的至少一部分而完成的，能夠作為以下的方式實現(xiàn)。
[0017](I)根據(jù)本發(fā)明的一方式，提供一種使用者能夠視覺識別虛像和外景的頭戴式顯示裝置。該頭戴式顯示裝置具備:圖像顯示部，其使上述使用者視覺識別上述虛像；以及增強現(xiàn)實處理部，其使上述圖像顯示部形成表示用于給上述使用者帶來增強現(xiàn)實感的對象亦即虛擬對象、且是緩解了上述使用者的視覺上的不協(xié)調(diào)感的上述虛擬對象的上述虛像。根據(jù)該方式的頭戴式顯示裝置，圖像顯示部使使用者將緩解了使用者的視覺上的不協(xié)調(diào)感的虛擬對象作為虛像來視覺識別。因此，能夠提供一種可提供緩解了使用者的視覺上的不協(xié)調(diào)感的增強現(xiàn)實感的光學(xué)透射式的頭戴式顯示裝置。
[0018](2)在上述方式的頭戴式顯示裝置中，上述增強現(xiàn)實處理部可以通過使用將上述使用者的周圍環(huán)境表現(xiàn)為三維空間內(nèi)的虛擬的立體物的三維信息，來使上述虛擬對象與上述環(huán)境調(diào)和，從而緩解對上述虛擬對象的上述不協(xié)調(diào)感。根據(jù)該方式的頭戴式顯示裝置，增強現(xiàn)實處理部使虛擬對象與周圍環(huán)境調(diào)和。由此，圖像顯示部能夠使使用者將緩解了使用者的視覺上的不協(xié)調(diào)感的虛擬對象作為虛像來視覺識別。另外，增強現(xiàn)實處理部使用三維信息來使虛擬對象與周圍的環(huán)境調(diào)和。因此，與基于由相機拍攝的圖像來使虛擬對象與周圍環(huán)境調(diào)和的情況相比較，能夠提聞?wù){(diào)和的精度。
[0019](3)在上述方式的頭戴式顯示裝置中，上述增強現(xiàn)實處理部也可以在上述三維信息內(nèi)配置上述虛擬對象，并對上述虛擬對象和上述三維信息中的至少一方加入與上述環(huán)境對應(yīng)的視覺效果后，對上述虛擬對象進行二維化，從而緩解對上述虛擬對象的上述不協(xié)調(diào)感。根據(jù)該方式的頭戴式顯示裝置，增強現(xiàn)實處理部能夠使用三維信息，對虛擬對象加入與周圍環(huán)境對應(yīng)的視覺效果。
[0020](4)在上述方式的頭戴式顯示裝置中，與上述環(huán)境對應(yīng)的視覺效果也可以至少包括以下的任意一個，即:上述虛擬對象中的成為上述三維信息內(nèi)的上述立體物的背后的部分的修整；依照上述環(huán)境的上述虛擬對象的照明；和基于依照上述環(huán)境設(shè)定的上述三維信息內(nèi)的上述立體物的反彈系數(shù)和摩擦系數(shù)中的至少一方的、上述虛擬對象的動作的調(diào)整。根據(jù)該方式的頭戴式顯示裝置，增強現(xiàn)實處理部能夠?qū)μ摂M對象，加入依照環(huán)境的修整、依照環(huán)境的照明、依照環(huán)境的動作的調(diào)整中的至少任意一個的視覺效果。
[0021](5)在上述方式的頭戴式顯示裝置中還可以具備圖像獲取部，該圖像獲取部獲取佩戴上述頭戴式顯示裝置的狀態(tài)下的上述使用者的視野方向的圖像，上述增強現(xiàn)實處理部通過對由上述圖像獲取部獲取的上述視野方向的圖像進行圖像識別，來推斷上述環(huán)境。根據(jù)該方式的頭戴式顯示裝置，增強現(xiàn)實處理部通過對使用者的視野方向的圖像進行圖像識別，能夠自動地推斷使用者的周圍的環(huán)境。
[0022](6)在上述方式的頭戴式顯示裝置中，上述增強現(xiàn)實處理部可以在對上述虛擬對象進行二維化時，考慮從上述使用者的眼睛至上述使用者的注視點之間的距離。根據(jù)該方式的頭戴式顯示裝置，增強現(xiàn)實處理部在對虛擬對象進行二維化時考慮從使用者的眼睛至使用者的注視點之間的距離。因此，例如，對于從使用者的注視點偏離的位置的虛擬對象，也能夠追加模糊效果。
[0023](7)在上述方式的頭戴式顯示裝置中；上述增強現(xiàn)實處理部也可以通過生成表示上述虛擬對象的右眼用的右眼用圖像數(shù)據(jù)、和左眼用的左眼用圖像數(shù)據(jù)，來對上述虛擬對象加入用于使上述虛擬對象能夠被立體觀察的視覺效果來緩解對上述虛擬對象的上述不協(xié)調(diào)感，上述圖像顯示部使用上述右眼用圖像數(shù)據(jù)和上述左眼用圖像數(shù)據(jù)，來使上述使用者的左右眼視覺識別不同的上述虛像，該頭戴式顯示裝置還具備像素視差角存儲部，該像素視差角存儲部存儲基于同一上述右眼用圖像數(shù)據(jù)和上述左眼用圖像數(shù)據(jù)顯示的上述虛像的第I輻輳角、與和基于左右錯開的上述右眼用圖像數(shù)據(jù)和上述左眼用圖像數(shù)據(jù)顯示的上述虛像的第2輻輳角的差，上述增強現(xiàn)實處理部使用存儲在上述像素視差角存儲部中的上述差，來生成用于使上述虛擬對象融合于上述外景的上述右眼用圖像數(shù)據(jù)和上述左眼用圖像數(shù)據(jù)。根據(jù)該方式的頭戴式顯示裝置，存儲在像素視差角存儲部中的差是基于同一右眼用圖像數(shù)據(jù)和左眼用圖像數(shù)據(jù)顯示的虛像的第I輻輳角、與基于左右錯開的右眼用圖像數(shù)據(jù)和左眼用圖像數(shù)據(jù)顯示的虛像的第2輻輳角的差。因此，存儲在像素視差角存儲部中的差可以說是通過左右錯開的圖像數(shù)據(jù)實現(xiàn)的視差角，且是考慮與虛像的顯示環(huán)境有關(guān)的各種條件而決定的視差角。因此，增強現(xiàn)實處理部能夠使用存儲在像素視差角存儲部中的差，并考慮與虛像的顯示環(huán)境有關(guān)的各種條件，來生成用于使虛擬對象融合于外景的右眼用圖像數(shù)據(jù)和左眼用圖像數(shù)據(jù)。這樣，由于增強現(xiàn)實處理部在圖像數(shù)據(jù)的生成時，考慮與虛像的顯示環(huán)境有關(guān)的各種條件來使虛擬對象融合于外景，所以能夠?qū)崿F(xiàn)可提供緩解了使用者的視覺上的不協(xié)調(diào)的增強現(xiàn)實的頭戴式顯示裝置。
[0024](8)在上述方式的頭戴式顯示裝置中，上述增強現(xiàn)實處理部也可以決定使上述使用者視覺識別上述虛擬對象的目標距離；根據(jù)決定的上述目標距離，計算上述目標距離的輻輳角亦即目標輻輳角；使用計算出的上述目標輻輳角和上述第I輻輳角，來計算上述目標距離的視差角亦即目標視差角；使用上述目標視差角、和存儲在上述像素視差角存儲部中的上述差，并根據(jù)表示上述虛擬對象的單一圖像數(shù)據(jù)，來生成上述右眼用圖像數(shù)據(jù)和上述左眼用圖像數(shù)據(jù)。根據(jù)該方式的頭戴式顯示裝置，增強現(xiàn)實處理部決定使使用者視覺識別虛擬對象的目標距離，并根據(jù)決定的目標距離來計算目標距離的輻輳角亦即目標輻輳角，使用計算出的目標輻輳角和第I輻輳角，來計算目標距離的視差角亦即目標視差角。增強現(xiàn)實處理部通過使用這樣計算出的目標視差角、和存儲在像素視差角存儲部中的差，從而能夠根據(jù)表示虛擬對象的單一圖像數(shù)據(jù)來生成不同的右眼用圖像數(shù)據(jù)和左眼用圖像數(shù)據(jù)。
[0025](9)在上述方式的頭戴式顯示裝置中，上述增強現(xiàn)實處理部也可以決定使上述使用者視覺識別上述虛擬對象的目標距離；基于決定的上述目標距離，在3D模型空間上設(shè)定用于獲取2D投影圖像的2個位置的虛擬相機；根據(jù)所決定的上述目標距離，來計算上述目標距離的輻輳角亦即目標輻輳角；使用計算出的上述目標輻輳角和上述第I輻輳角，來計算上述目標距離的視差角亦即目標視差角；使用上述目標視差角、和存儲在上述像素視差角存儲部中的上述差，對由一個上述虛擬相機拍攝的2D投影圖像進行縮放來生成上述右眼用圖像數(shù)據(jù)，并對由另一個上述虛擬相機所拍攝的2D投影圖像進行縮放來生成上述左眼用圖像數(shù)據(jù)。根據(jù)該方式的頭戴式顯示裝置，增強現(xiàn)實處理部決定使使用者視覺識別虛擬對象的目標距離，并根據(jù)決定的目標距離來計算目標距離的輻輳角亦即目標輻輳角，使用計算出的目標輻輳角和第I輻輳角，來計算目標距離的視差角亦即目標視差角。增強現(xiàn)實處理部通過使用這樣計算出的目標視差角、和存儲在像素視差角存儲部中的差，從而分別縮放由2個位置的虛擬相機拍攝的2D投影圖像，來生成右眼用圖像數(shù)據(jù)和左眼用圖像數(shù)據(jù)。
[0026](10)在上述方式的頭戴式顯示裝置中，還可以具備眼間距離存儲部，該眼間距離存儲部存儲上述使用者的眼間距離，上述增強現(xiàn)實處理部在設(shè)定上述2個位置的虛擬相機時，基于上述決定的目標距離，在3D模型空間上配置虛擬的視點即虛擬視點，在與配置的上述虛擬視點相距眼間距離/ 2的位置處配置一個虛擬相機，在與配置的上述虛擬視點相距眼間距離/ 2的位置處配置另一個虛擬相機。根據(jù)該方式的頭戴式顯示裝置，增強現(xiàn)實處理部在3D模型空間上設(shè)定虛擬相機時，首先，基于使使用者視覺識別虛擬對象的目標距離來配置虛擬視點。而且，增強現(xiàn)實處理部在與配置的虛擬視點相距眼間距離/ 2的位置處配置一個虛擬相機，在與配置的虛擬視點相距眼間距離/ 2的位置處配置另一個虛擬相機。其結(jié)果為，虛擬相機能夠獲取考慮了時使用者視覺識別虛擬對象的目標距離和使用者的眼間距離這雙方的2D投影圖像。
[0027](11)在上述方式的頭戴式顯示裝置中，還可以具備瞳孔間距離測量部，該瞳孔間距離測量部測量上述使用者的瞳孔間距離，上述瞳孔間距離測量部的測量結(jié)果作為上述眼間距離被存儲于上述眼間距離存儲部。根據(jù)該方式的頭戴式顯示裝置，由于按每一使用者分別測量瞳孔間距離來更新眼間距離存儲部，所以能夠使與使用者對應(yīng)的瞳孔間距離存儲于眼間距離存儲部。
[0028](12)在上述方式的頭戴式顯示裝置中，還可以具備物體檢測部，該物體檢測部檢測現(xiàn)實空間上的實際物體的坐標位置以及形狀，上述增強現(xiàn)實處理部通過配合上述實際物體的坐標位置以及形狀來控制現(xiàn)實空間上的坐標位置已被設(shè)定的上述虛擬對象，從而緩解對上述虛擬對象的上述不協(xié)調(diào)感。根據(jù)該方式的頭戴式顯示裝置，由于能夠考慮實際物體的坐標位置、形狀來使虛擬對象動作，所以能夠消除如上述那樣的現(xiàn)象，并能夠提高真實感。即、在虛擬對象與實際物體碰撞這樣的情況下,能夠使虛擬對象宛如碰撞那樣地動作，在從使用者來看虛擬對象被隱藏在實際物體的后面這樣的情況下，能夠使虛擬對象宛如隱藏在實際物體的后面那樣地變化。
[0029](13)在上述方式的頭戴式顯示裝置中；上述增強現(xiàn)實處理部也可以配合上述實際物體的坐標位置以及形狀來控制上述虛擬對象的動作。根據(jù)該方式的頭戴式顯示裝置，通過考慮實際物體的坐標位置、形狀來使虛擬對象動作，由此能夠在透射式的顯示裝置中，提供考慮了實際物體的內(nèi)容。例如，能夠提供基于虛擬對象的、考慮了實際物體的游戲、導(dǎo)航服務(wù)。
[0030](14)在上述方式的頭戴式顯示裝置中；上述增強現(xiàn)實處理部也可以基于檢測出的上述實際物體的坐標位置、和設(shè)定的上述虛擬對象的坐標位置，在從上述使用者來看上述虛擬對象位于上述實際物體的后方的情況下，以上述虛擬對象的與上述實際物體的重疊部分消失的方式使上述虛擬對象變化。
[0031](15)在上述的頭戴式顯示裝置中，上述增強現(xiàn)實處理部也可以按在現(xiàn)實空間的坐標系中避開上述實際物體的方式使上述虛擬對象動作。
[0032](16)在上述方式的頭戴式顯示裝置中，上述增強現(xiàn)實處理部也可以在現(xiàn)實空間的坐標系中，在移動的上述虛擬對象到達上述實際物體時，使上述虛擬對象宛如與上述實際物體碰撞那樣地動作。
[0033](17)在上述方式的頭戴式顯示裝置中，還可以具備視線檢測部，該視線檢測部檢測上述使用者的視線，上述增強現(xiàn)實處理部基于檢測出的上述視線，來使上述虛擬對象顯示。根據(jù)該方式的頭戴式顯示裝置，通過考慮使用者的視線來進行虛擬對象的顯示，能夠更高精度地進行虛擬對象的擬合。
[0034](18)在上述方式的頭戴式顯示裝置在，還可以具備距離檢測部，該距離檢測部檢測從上述使用者至上述實際物體的距離，上述增強現(xiàn)實處理部基于檢測出的上述距離，來使上述虛擬對象顯示。根據(jù)該方式的頭戴式顯示裝置，通過考慮從使用者至實際物體的距離，來進行虛擬對象的顯示，能夠更高精度地進行虛擬對象的擬合。
[0035](19)在上述方式的頭戴式顯示裝置中，上述圖像顯示部具有:圖像光輸出部，其輸出上述圖像的圖像光；以及導(dǎo)光部，其將被輸出的上述圖像光引導(dǎo)至上述使用者的眼睛，上述導(dǎo)光部使外部光透過，并使該外部光與上述圖像光一起入射至上述使用者的眼睛。根據(jù)該方式的頭戴式顯示裝置，通過使用所謂的虛像投影型的透射式顯示裝置，能夠更高精度地進行虛擬對象的擬合，并能夠提高真實感。
[0036]上述的本發(fā)明的各方式所具有的多個構(gòu)成要素并不是全部必須，為了解決上述的課題的一部分或者全部，或者，為了實現(xiàn)本說明書中所記載的效果的一部分或者全部，能夠適當(dāng)?shù)貙ι鲜龆鄠€構(gòu)成要素的一部分的構(gòu)成要素進行變更、削除、與新的構(gòu)成要素的交換、限定內(nèi)容的一部分削除。另外，為了解決上述的課題的一部分或者全部，或者為了實現(xiàn)本說明書所記載的效果的一部分或者全部，也能夠?qū)⑸鲜龅谋景l(fā)明的一方式所包含的技術(shù)特征的一部分或者全部與上述的本發(fā)明的其它方式所包含的技術(shù)特征的一部分或者全部組合，來作為本發(fā)明的獨立的一個方式。
[0037]例如，本發(fā)明的一方式能夠作為具備增強現(xiàn)實處理部和圖像顯示部這2個要素中的一部分或者全部的要素的裝置而實現(xiàn)。即、該裝置可以具有增強現(xiàn)實處理部，也可以不具有增強現(xiàn)實處理部。另外，該裝置可以具有圖像顯示部，也可以不具有圖像顯示部。這種裝置能夠作為例如頭戴式顯示裝置而實現(xiàn)，但也可作為頭戴式顯示裝置以外的其它裝置實現(xiàn)。前述的頭戴式顯示裝置的各方式的技術(shù)特征的一部分或者全部都能夠應(yīng)用于該裝置。
[0038]此外，本發(fā)明能夠以各種方式實現(xiàn)，例如能夠以頭戴式顯示裝置以及頭戴式顯示裝置的控制方法、頭部佩戴型顯示系統(tǒng)、用于實現(xiàn)這些方法、裝置或者系統(tǒng)的功能的計算機程序、記錄有該計算機程序的記錄介質(zhì)等的方式實現(xiàn)。

【專利附圖】

【附圖說明】
[0039]圖1是表示本發(fā)明的一個實施方式中的頭戴式顯示裝置的簡要結(jié)構(gòu)的說明圖。
[0040]圖2是功能性表示頭戴式顯示器的構(gòu)成的框圖。
[0041]圖3是表示被使用者視覺識別的虛像的一個例子的說明圖。
[0042]圖4是用于說明增強現(xiàn)實處理的程序的說明圖。
[0043]圖5是用于對說明眼間距離和像素視差角進行說明的說明圖。
[0044]圖6是表示AR處理部根據(jù)圖像數(shù)據(jù)，生成右眼用圖像數(shù)據(jù)和左眼用圖像數(shù)據(jù)的情況的說明圖。
[0045]圖7是表示第2實施例中的增強現(xiàn)實處理的程序的流程圖。
[0046]圖8是用于說明第2實施例中的增強現(xiàn)實處理的詳細的說明圖。
[0047]圖9是表示AR處理部對使用配置在虛擬視點的虛擬相機的2D投影圖像，對通過投影所獲得的圖像進行縮放的情況的說明圖。
[0048]圖10是表示第3實施例中的增強現(xiàn)實處理的程序的流程圖。
[0049]圖11是功能性表示第2實施方式中的頭戴式顯示器的構(gòu)成的框圖。
[0050]圖12是表示第2實施方式中的增強現(xiàn)實處理的程序的流程圖。
[0051]圖13是表示遮蓋對象的一個例子的說明圖。
[0052]圖14是表示虛擬對象相對于遮蓋對象的配置的一個例子的說明圖。
[0053]圖15是表示照明實施后的虛擬對象的情況的說明圖。
[0054]圖16是表示基于反彈系數(shù)和摩擦系數(shù)來調(diào)整虛擬對象的動作的情況的說明圖。
[0055]圖17是表示通過虛擬相機的2D投影獲得的圖像數(shù)據(jù)的說明圖。
[0056]圖18是表示在第2實施方式的增強現(xiàn)實處理中被使用者視覺識別的虛像的一個例子的說明圖。
[0057]圖19是對使用者能夠視覺識別的虛像以及現(xiàn)實風(fēng)景的一個例子進行說明的圖。
[0058]圖20是對頭戴式顯示裝置的控制構(gòu)成進行說明的框圖。
[0059]圖21是表示第3實施方式中的增強現(xiàn)實處理的程序的流程圖。
[0060]圖22是表示第3實施方式中的虛擬對象的動作控制的第I例的遷移圖。
[0061]圖23是表示第3實施方式中的虛擬對象的動作控制的第2例的遷移圖。
[0062]圖24是表示第3實施方式中的虛擬對象的動作控制的第3例的遷移圖。
[0063]圖25是表示變形例中的頭戴式顯示器的外觀的構(gòu)成的說明圖。

【具體實施方式】
[0064]A.第I實施方式:
[0065]A-1.頭戴式顯示裝置的構(gòu)成:
[0066]圖1是表示本發(fā)明的一個實施方式中的頭戴式顯示裝置的簡要結(jié)構(gòu)的說明圖。頭戴式顯示裝置100是佩戴于頭部的顯示裝置，也被稱為頭戴式顯示器(Head MountedDisplay,HMD)0本實施方式的頭戴式顯示器100是使用者視覺識別虛像的同時也能夠直接視覺識別外景的光學(xué)透射式頭戴式顯示裝置。
[0067]頭戴式顯示器100具備在被佩戴于使用者的頭部的狀態(tài)下使使用者視覺識別虛像的圖像顯示部20、和控制圖像顯示部20的控制部(控制器)10。
[0068]圖像顯示部20是佩戴于使用者的頭部的佩戴體，在本實施方式中具有眼鏡形狀。圖像顯示部20包括右保持部21、右顯示驅(qū)動部22、左保持部23、左顯示驅(qū)動部24、右光學(xué)像顯示部26、左光學(xué)像顯示部28、相機61、和瞳孔間距離測量部62。右光學(xué)像顯示部26以及左光學(xué)像顯示部28分別被配置成在使用者佩戴圖像顯示部20時位于使用者的右以及左眼前。右光學(xué)像顯示部26的一端和左光學(xué)像顯示部28的一端在使用者佩戴圖像顯示部20時的與使用者的眉間對應(yīng)的位置相互連接。
[0069]右保持部21是從右光學(xué)像顯示部26的另一端亦即端部ER至使用者佩戴圖像顯示部20時的與使用者的側(cè)頭部對應(yīng)的位置延伸設(shè)置的部件。同樣地，左保持部23是從左光學(xué)像顯示部28的另一端亦即端部EL至使用者佩戴圖像顯示部20時的與使用者的側(cè)頭部對應(yīng)的位置延伸設(shè)置的部件。將右保持部21以及左保持部23制作成如眼鏡的掛耳部分(眼鏡腿)那樣，以在使用者的頭部保持圖像顯示部20。
[0070]右顯示驅(qū)動部22被配置在右保持部21的內(nèi)側(cè)，換言之，在使用者佩戴圖像顯示部20時的與使用者的頭部對置側(cè)。另外，左顯示驅(qū)動部24被配置在左保持部23的內(nèi)側(cè)。此夕卜，以下，統(tǒng)稱右保持部21以及左保持部23并僅稱為“保持部”，統(tǒng)稱右顯示驅(qū)動部22以及左顯示驅(qū)動部24并僅稱為“顯示驅(qū)動部”，統(tǒng)稱右光學(xué)像顯示部26以及左光學(xué)像顯示部28并僅稱為“光學(xué)像顯示部”。
[0071]顯示驅(qū)動部包括液晶顯示器(Liquid Crystal Display,以下稱為“IXD”)241、242、投影光學(xué)系統(tǒng)251、252等(參照圖2)。顯示驅(qū)動部的構(gòu)成的詳細后述。作為光學(xué)部件的光學(xué)像顯不部包括導(dǎo)光板261、262 (參照圖2)和調(diào)光板。導(dǎo)光板261、262由透光性的樹脂材料等形成，將從顯示驅(qū)動部輸出的圖像光引導(dǎo)至使用者的眼睛。調(diào)光板是薄板狀的光學(xué)元件，被配置成覆蓋圖像顯示部20的表側(cè)(與使用者的眼睛側(cè)相反的一側(cè))。調(diào)光板保護導(dǎo)光板261、262，抑制導(dǎo)光板261、262的損傷、污垢的附著等。另外，通過調(diào)整調(diào)光板的透光率，來調(diào)整進入使用者的眼睛的外部光量從而能夠調(diào)整虛像的視覺識別的難易。此外，調(diào)光板能夠省略。
[0072]相機61被配置在使用者佩戴圖像顯示部20時的與使用者的眉間對應(yīng)的位置。相機61拍攝圖像顯示部20的表側(cè)方向，換言之，佩戴頭戴式顯示器100的狀態(tài)下的使用者的視野方向的外景(外部的景色)，并獲取外景圖像。相機61是所謂的可見光相機，由相機61獲取的外景圖像是根據(jù)從物體放射的可見光來表示物體的形狀的圖像。本實施方式中的相機61是單眼相機，但也可以是立體相機。相機61作為“圖像獲取部”發(fā)揮作用。
[0073]瞳孔間距離測量部62測量使用者的瞳孔間距離。所謂瞳孔間距離是使用者的右眼RE的虹膜的中心與使用者的左眼LE的虹膜的中心之間的距離。瞳孔間距離測量部62如圖1所示，被配置在圖像顯示部20的內(nèi)面，由拍攝使用者的右眼RE以及左眼LE的圖像的2個相機、和使用例如基于3角測量的方法來解析拍攝的圖像，并計算左右眼的虹膜的中心間的距離的處理部構(gòu)成。此外，瞳孔間距離測量部62也可以代替相機，而使用超聲波、紅外線來測量使用者的瞳孔間距離。另外，瞳孔間距離測量部62也能夠組合多上述的方法來測量使用者的瞳孔間距離。
[0074]圖像顯示部20還具有用于使圖像顯示部20與控制部10連接的連接部40。連接部40包括與控制部10連接的主體線48、主體線48分支成2條的右線42以及左線44、和設(shè)置在分支點的連結(jié)部件46。右線42從右保持部21的延伸方向的前端部AP插入右保持部21的框體內(nèi)，與右顯示驅(qū)動部22連接。同樣地，左線44從左保持部23的延伸方向的前端部AP插入左保持部23的框體內(nèi)，與左顯示驅(qū)動部24連接。連結(jié)部件46中設(shè)置有用于連接耳機插頭30的插孔。從耳機插頭30延伸出右耳機32以及左耳機34。
[0075]圖像顯示部20與控制部10經(jīng)由連接部40進行各種信號的傳送。主體線48中的與連結(jié)部件46相反側(cè)的端部和控制部10分別設(shè)置有相互嵌合的連接器(圖示省略)，通過主體線48的連接器與控制部10的連接器的嵌合或嵌合解除，來進行控制部10與圖像顯示部20的連接或斷開。右線42、左線44、和主體線48能夠采用例如，金屬線纜、光纖。
[0076]控制部10是用于控制頭戴式顯示器100的裝置?？刂撇?0包括點燈部12、觸摸板14、十字鍵16、和電源開關(guān)18。點燈部12利用其發(fā)光方式來通知頭戴式顯示器100的動作狀態(tài)(例如，電源的接通/斷開等)。作為點燈部12,例如能夠使用LED (Light EmittingD1de)。觸摸板14檢測觸摸板14的操作面上的接觸操作，并輸出與檢測內(nèi)容對應(yīng)的信號。作為觸摸板14，能夠采用靜電式、壓力檢測式、光學(xué)式這樣的各種觸摸板。十字鍵16檢測針對與上下左右方向?qū)?yīng)的鍵的按下操作，并輸出與檢測內(nèi)容對應(yīng)的信號。電源開關(guān)18通過檢測開關(guān)的滑動操作，來切換頭戴式顯示器100的電源的狀態(tài)。
[0077]圖2是功能性表示頭戴式顯示器100的構(gòu)成的框圖。控制部10具備輸入信息獲取部110、存儲部120、電源130、無線通信部132、GPS模塊134、CPU140、接口 180、發(fā)送部(Tx)51以及52，各部通過未圖示的總線相互連接。
[0078]輸入信息獲取部110獲取例如與對觸摸板14、十字鍵16、電源開關(guān)18等的操作輸入對應(yīng)的信號。存儲部120由ROM、RAM、DRAM、硬盤等構(gòu)成。存儲部120包含眼間距離122、和像素視差角124。詳細后述。電源130對頭戴式顯示器100的各部供給電力。作為電源130，例如能夠使用二次電池。無線通信部132遵循無線LAN、藍牙之類的規(guī)定的無線通信標準，來與其它設(shè)備之間進行無線通信。GPS模塊134通過接收來自GPS衛(wèi)星的信號，來檢測自身的當(dāng)前位置。
[0079]CPU140讀出并執(zhí)行儲存在存儲部120中的計算機程序，從而作為操作系統(tǒng)(OS)150、圖像處理部160、聲音處理部170、顯示控制部190、AR處理部142發(fā)揮作用。AR處理部142以來自0S150、特定的應(yīng)用的處理開始請求作為觸發(fā)，來執(zhí)行用于實現(xiàn)增強現(xiàn)實感的處理(以下，稱為“增強現(xiàn)實處理”。)。詳細后述。此外，AR處理部142相當(dāng)于技術(shù)方案中的“增強現(xiàn)實處理部”。
[0080]圖像處理部160基于經(jīng)由接口 180、無線通信部132輸入的內(nèi)容(影像)來生成信號。而且，圖像處理部160將生成的信號經(jīng)由連接部40供給至圖像顯示部20。用于供給至圖像顯示部20的信號在模擬格式和數(shù)字格式的情況下不同。在模擬格式的情況下，圖像處理部160生成及發(fā)送時鐘信號PCLK、垂直同步信號VSync、水平同步信號HSync、和圖像數(shù)據(jù)Data。具體而言，圖像處理部160獲取內(nèi)容所包含的圖像信號。關(guān)于獲取到的圖像信號，例如在動態(tài)圖像的情況下，一般是由每I秒30張幀圖像構(gòu)成的模擬信號。圖像處理部160根據(jù)獲取到的圖像信號，分離垂直同步信號VSync、水平同步信號HSync等同步信號，并根據(jù)它們的周期，利用PLL電路等生成時鐘信號PCLK。圖像處理部160使用A / D變換電路等將分離同步信號而得到的模擬圖像信號變換為數(shù)字圖像信號。圖像處理部160將變換后的數(shù)字圖像信號作為RGB數(shù)據(jù)的圖像數(shù)據(jù)Data，按每I幀儲存于存儲部120內(nèi)的DRAM。另一方面，在數(shù)字形式的情況下，圖像處理部160生成及發(fā)送時鐘信號PCLK、和圖像數(shù)據(jù)Data。具體而言，在內(nèi)容為數(shù)字格式的情況下，由于時鐘信號PCLK與圖像信號同步地被輸出，所以不需要垂直同步信號VSync以及水平同步信號HSync的生成、和模擬圖像信號的A / D變換。此外，圖像處理部160也可以對儲存在存儲部120中的圖像數(shù)據(jù)Data執(zhí)行分辨率變換處理、亮度、彩度的調(diào)整之類的各種色調(diào)修正處理、梯形失真修正處理等圖像處理。
[0081]圖像處理部160將生成的時鐘信號PCLK、垂直同步信號VSync，水平同步信號HSync、和儲存在存儲部120內(nèi)的DRAM的圖像數(shù)據(jù)Data經(jīng)由發(fā)送部51、52分別發(fā)送。此外，還將經(jīng)由發(fā)送部51發(fā)送的圖像數(shù)據(jù)Data稱為“右眼用圖像數(shù)據(jù)Datal”，將經(jīng)由發(fā)送部52發(fā)送的圖像數(shù)據(jù)Data稱為“左眼用圖像數(shù)據(jù)Data2”。發(fā)送部51、52作為用于控制部10與圖像顯示部20之間的串行傳送的收發(fā)器發(fā)揮作用。
[0082]顯示控制部190生成控制右顯示驅(qū)動部22以及左顯示驅(qū)動部24的控制信號。具體而言，顯示控制部190利用控制信號，來分別獨立地控制右IXD控制部211對右IXD241的驅(qū)動開/關(guān)、右背光燈控制部201對右背光燈221的驅(qū)動開/關(guān)、左IXD控制部212對左IXD242的驅(qū)動開/關(guān)、左背光燈控制部202對左背光燈222的驅(qū)動開/關(guān)等，由此控制右顯示驅(qū)動部22以及左顯示驅(qū)動部24的各自的圖像光的生成以及射出。例如，顯示控制部190使右顯示驅(qū)動部22以及左顯示驅(qū)動部24雙方生成圖像光,或者僅使一方生成圖像光，或者使雙方都不生成圖像光。另外，顯示控制部190經(jīng)由發(fā)送部51以及52分別發(fā)送針對右IXD控制部211和左IXD控制部212的控制信號。另外，顯示控制部190分別發(fā)送針對右背光燈控制部201和左背光燈控制部202的控制信號。
[0083]聲音處理部170獲取內(nèi)容所包含的聲音信號，并放大獲取的聲音信號，來供給至與連結(jié)部件46連接的右耳機32內(nèi)的未圖示的揚聲器以及左耳機34內(nèi)的未圖示的揚聲器。此外，例如，在采用Dolby (注冊商標)系統(tǒng)的情況下，進行針對聲音信號的處理，從右耳機32以及左耳機34分別輸出例如頻率等被改變而得的不同聲音。
[0084]接口 180是用于對控制部10連接成為內(nèi)容的供給源的各種外部設(shè)備OA的接口。作為外部設(shè)備0A，例如有個人計算機PC、移動電話終端、游戲終端等。作為接口 180，例如能夠使用USB接口、micro USB接口、存儲卡用接口等。
[0085]圖像顯示部20具備右顯示驅(qū)動部22、左顯示驅(qū)動部24、作為右光學(xué)像顯示部26的右導(dǎo)光板261、作為左光學(xué)像顯不部28的左導(dǎo)光板262、相機61、以及9軸傳感器66。
[0086]9軸傳感器66是檢測加速度(3軸)、角速度(3軸)、地磁(3軸)的運動傳感器。9軸傳感器66被設(shè)置于圖像顯示部20，在圖像顯示部20被佩戴在使用者的頭部時，作為檢測使用者的頭部的活動的活動檢測部發(fā)揮作用。此處，所謂頭部的活動，包括頭部的速度、力口速度、角速度、方向、方向的變化。
[0087]右顯示驅(qū)動部22包括接收部(Rx) 53、作為光源發(fā)揮作用的右背光燈(BL)控制部201以及右背光燈(BL)221、作為顯示元件發(fā)揮作用的右IXD控制部211以及右IXD241、和右投影光學(xué)系統(tǒng)251。此外，將右背光燈控制部201、右IXD控制部211、右背光燈221、和右IXD241總稱為“圖像光生成部”。
[0088]接收部53作為用于控制部10與圖像顯示部20之間的串行傳送的接收器發(fā)揮作用。右背光燈控制部201基于輸入的控制信號來驅(qū)動右背光燈221。右背光燈221例如是LED、電致發(fā)光(EL)等發(fā)光體。右IXD控制部211基于經(jīng)由接收部53輸入的時鐘信號PCLK、垂直同步信號VSync、水平同步信號HSync、和右眼用圖像數(shù)據(jù)Datal，來驅(qū)動右LCD241。右IXD241是呈矩陣狀地配置多個像素而成的透射式液晶面板。右IXD241通過驅(qū)動呈矩陣狀配置的各像素位置的液晶，使透過右IXD241的光的透過率變化，從而將從右背光燈221照射的照明光調(diào)制為表示圖像的有效的圖像光。此外，在本實施方式中采用背光燈方式，但也可以使用前燈方式、反射方式來射出圖像光。
[0089]右投影光學(xué)系統(tǒng)251由使從右LCD241射出的圖像光成為并行狀態(tài)的光束的準直透鏡構(gòu)成。作為右光學(xué)像顯示部26的右導(dǎo)光板261使從右投影光學(xué)系統(tǒng)251輸出的圖像光沿著規(guī)定的光路反射并引導(dǎo)至使用者的右眼RE。光學(xué)像顯示部只要使用圖像光在使用者的眼前形成虛像，則能夠使用任意的方式，例如，可以使用衍射光柵，也可以使用半透過反射膜。
[0090]左顯示驅(qū)動部24具有與右顯示驅(qū)動部22相同的構(gòu)成。S卩、左顯示驅(qū)動部24包括接收部(Rx) 54、作為光源發(fā)揮作用的左背光燈(BL)控制部202以及左背光燈(BL) 222、作為顯示元件發(fā)揮作用的左IXD控制部212以及左IXD242、和左投影光學(xué)系統(tǒng)252。
[0091]圖3是表示被使用者視覺識別的虛像的一個例子的說明圖。圖3 (A)例示出通常的顯示處理中的使用者的視場VR。如上述那樣操作，導(dǎo)入至頭戴式顯示器100的使用者的兩眼的圖像光在使用者的視網(wǎng)膜成像，從而使用者視覺識別虛像VI。在圖3 (A)的例子中，虛像VI是頭戴式顯示器100的OS的等待接受畫面。另外，使用者透過右光學(xué)像顯示部26以及左光學(xué)像顯示部28來視覺識別外景SC。這樣，本實施方式的頭戴式顯示器100的使用者對于視場VR中的顯示有虛像VI的部分，能夠看見虛像V1、和虛像VI的背后的外景SC。另外，對于視場VR中的未顯示虛像VI的部分，透過光學(xué)像顯示部，能夠直接看見外景SC。此外，在本說明書中，“頭戴式顯示器100顯示圖像”如上述那樣，也包括使頭戴式顯示器100的使用者視覺識別虛像。
[0092]圖3 (B)例示出增強現(xiàn)實處理中的使用者的視場VR。在增強現(xiàn)實處理中，頭戴式顯示器100的AR處理部142使圖像顯示部20形成表示用于增強使用者察覺的外景SC的虛擬對象、且是緩解了使用者的視覺上的不協(xié)調(diào)感的虛擬對象的虛像。具體而言，AR處理部142生成對虛擬對象加入能夠緩解使用者的視覺上的不協(xié)調(diào)感的視覺效果的圖像數(shù)據(jù)，并將生成的圖像數(shù)據(jù)發(fā)送給圖像顯示部20。此外，“增強外景SC”是指對使用者看見的現(xiàn)實環(huán)境、即外景SC附加、削除、加強、或減弱信息。在第I實施方式的增強現(xiàn)實處理中，AR處理部142為了使虛擬對象融合于外景SC，而生成不同的右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2，從而加入用于使虛擬對象能夠立體觀察的視覺效果。所謂“使虛擬對象融合于外景”是指在使用者實際看見的外景SC中的、與使用者相距規(guī)定距離(以下，稱為“目標距離”)的位置，顯示給使用者帶來宛如存在虛擬對象這樣的感覺的虛像VI。在圖3 (B)的例子中，以重疊于外景SC所包含的現(xiàn)實的道路上的方式將表示蘋果的圖像作為虛像VI顯示。由此，使用者能夠獲得蘋果落在宛如什么也沒有的道路上的感覺。在圖3 (B)的例子中，使用者的位置與使用者感覺“蘋果落下”的位置之間的距離相當(dāng)于目標距離。在圖3 (B)的例子中，蘋果相當(dāng)于虛擬對象OB。
[0093]A - 2.增強現(xiàn)實處理(第I實施例):
[0094]AR處理部142通過以下的程序al?a3來執(zhí)行增強現(xiàn)實處理。
[0095](al)決定視覺識別虛擬對象的目標距離。
[0096]( a2 )生成表示虛擬對象的圖像數(shù)據(jù)。
[0097](a3)根據(jù)圖像數(shù)據(jù)來生成右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2。
[0098]圖4是用于說明增強現(xiàn)實處理的程序的說明圖。在圖像處理部160將同一右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2向圖像顯示部20供給的情況下，使用者在與使用者相距初始成像距離La的位置COl識別物體。將此時的輻輳角稱為“初始輻輳角Ga”。在程序al中，AR處理部142為了能夠顯示具有遠近感的虛擬對象0B，而決定使使用者視覺識別虛擬對象OB的目標距離Lb。AR處理部142能夠例如利用以下的任意的方法來決定目標距離Lb。
[0099].對由相機61獲取的使用者的視野方向的外景圖像進行解析。
[0100].對使用者的當(dāng)前位置坐標和頭的活動進行解析。該情況下，使用者的當(dāng)前位置坐標通過由GPS模塊134檢測出的控制部10的位置信息獲取。使用者的頭的活動通過由9軸傳感器66檢測出的活動信息獲取。
[0101]在程序a2中，AR處理部142生成表示虛擬對象OB的圖像數(shù)據(jù)。在第I實施例的增強現(xiàn)實處理中，AR處理部142從預(yù)先存儲在存儲部120內(nèi)的多個圖像數(shù)據(jù)獲取與程序al的解析結(jié)果對應(yīng)的圖像數(shù)據(jù)。
[0102]在程序a3中，AR處理部142根據(jù)在程序a2生成的圖像數(shù)據(jù)來生成右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2。此時，AR處理部142使用存儲在存儲部120中的像素視差角124。
[0103]圖5是用于對眼間距離122和像素視差角124進行說明的說明圖。在本實施方式中，對于眼間距離122，將光學(xué)像顯示部26的中心與左光學(xué)像顯示部28的中心之間的距離視為使用者的右眼RE與左眼LE之間的距離DL。因此，在眼間距離存儲部122中，預(yù)先儲存有基于頭戴式顯示器100的設(shè)計值的、右光學(xué)像顯示部26的中心與左光學(xué)像顯示部28的中心之間的距離(例如，65mm)。此外，也可以在眼間距離122中儲存使用者的右眼RE與左眼LE之間的實際距離DL。詳細在增強現(xiàn)實處理的第2實施例中進行說明。另外，眼間距離122也可以能夠根據(jù)使用者的喜好進行調(diào)整。眼間距離存儲部122相當(dāng)于技術(shù)方案中的“眼間距離存儲部”。
[0104]像素視差角124是通過左右錯開I個像素(像素)的圖像數(shù)據(jù)實現(xiàn)的視差角，以θρ?χ (° )表示。像素視差角具體而言是基于左右同一圖像數(shù)據(jù)顯示的虛像的輻輳角、與左右錯開I個像素(pixel)的圖像數(shù)據(jù)顯示的虛像的輻輳角的差。Θ pix如以下那樣求出，并被預(yù)先儲存在像素視差角存儲部124中。
[0105]?測量基于同一右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2來驅(qū)動右IXD241和左LCD242的情況下的初始輻輳角Θ a。
[0106].測量基于錯開I個像素的右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2來驅(qū)動右IXD241和左IXD242的情況下的輻輳角Θ c。
[0107]?求出初始輻輳角Θ a與輻輳角Θ c的差(Θ c — Θ a)。此外，由于通常假定Θ c> Qa,所以此處,從福輳角Θ c減去初始福輳角Ga。
[0108]?由于需要每單眼的輻輳角的差，所以將初始輻輳角0a與輻輳角Θ c的差除以2。
[0109]即、能夠表示為0pix=(0c — 0a) / 2。此外，初始輻輳角Θ a相當(dāng)于技術(shù)方案中的“第I輻輳角”，輻輳角Θ c相當(dāng)于技術(shù)方案中的“第2輻輳角”，像素視差角存儲部124相當(dāng)于技術(shù)方案中的“像素視差角存儲部”。
[0110]返回到圖4，繼續(xù)增強現(xiàn)實處理的步驟的說明。在程序al中決定的目標距離Lb(使使用者視覺識別虛擬對象OB的距離)、此時的輻輳角0b、和眼間距離122 (DL / 2)能夠使用三角函數(shù)由以下的式I表示。因此，AR處理部142將在程序al中決定的目標距離Lb和眼間距離122應(yīng)用于式1，計算目標輻輳角0b。
[0111]tan ( Θ b / 2)=( DL / 2) / Lb
[0112]tan ( Θ b / 2) = DL / (2XLb)
[0113]Θ b / 2 = arctan {DL / (2XLb)}
[0114]θ b = 2 X arctan {DL / (2 X Lb) }...(I)
[0115]AR處理部142使用求出的目標輻輳角Θ b和初始輻輳角0a，來計算目標距離Lb(使使用者視覺識別虛擬對象OB的距離)的視差角亦即目標視差角ΘΧ。具體而言，AR處理部142對式2應(yīng)用初始輻輳角0a和目標輻輳角0b的值，計算目標視差角ΘΧ。
[0116]θ X = ( Θ b — Θ a) / 2...(2)
[0117]在式2中，例如，在將設(shè)定位置設(shè)為無限遠的情況下，θ X表示為θ X = — Qa /2。
[0118]AR處理部142使用求出的目標視差角θ x和像素視差角124，來加工程序a2的圖像數(shù)據(jù)，生成右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2。具體而言，儲存在像素視差角124中的Θ pix是通過左右錯開I個像素的圖像數(shù)據(jù)實現(xiàn)的視差角。因此，為了生成用于實現(xiàn)目標視差角ΘΧ的右眼用圖像數(shù)據(jù)Datal，使原始的圖像數(shù)據(jù)向左方向錯開ΘΧ /θρ?χ像素即可。同樣地，為了生成用于實現(xiàn)目標視差角ΘΧ的左眼用圖像數(shù)據(jù)Data2，使原始的圖像數(shù)據(jù)向右方向錯開θχ / Θ Pix像素即可。
[0119]圖6如上述那樣，示出AR處理部142根據(jù)圖像數(shù)據(jù)DT生成右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2的情況。
[0120]AR處理部142將如上述那樣生成的右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2向圖像處理部160發(fā)送。圖像處理部160將接收到的右眼用圖像數(shù)據(jù)Datal經(jīng)由發(fā)送部51向圖像顯示部20發(fā)送。同樣地，將接收到的左眼用圖像數(shù)據(jù)Data2經(jīng)由發(fā)送部52向圖像顯示部20發(fā)送。之后，執(zhí)行圖2所說明的顯示處理。如圖3 (B)所示，頭戴式顯示器100的使用者能夠在視場VR視覺識別立體的虛擬對象OB。
[0121]此外，視力為1.0的人的分辨率能夠由arctan (1.5mm / 5000mm)表示，約為
0.017°。因此，若將通過右眼用圖像數(shù)據(jù)Datal以及左眼用圖像數(shù)據(jù)Data2顯示的虛像VI與外景SC的誤差設(shè)計為0.017°以下，則能夠顯示與外景SC相匹配的實際大小的尺寸的虛像VI。
[0122]如上那樣，根據(jù)第I實施例的增強現(xiàn)實處理，增強現(xiàn)實處理部(AR處理部142)在圖像數(shù)據(jù)(右眼用圖像數(shù)據(jù)Datal以及左眼用圖像數(shù)據(jù)Data2)的生成時，考慮與虛像VI的顯示環(huán)境有關(guān)的各種條件(右IXD241以及左IXD242的大小、在使用者的左右眼前顯示的虛像VI間的距離)來使虛擬對象OB融合于外景SC，所以能夠?qū)崿F(xiàn)可提供緩解了使用者的視覺上的不協(xié)調(diào)感的增強現(xiàn)實感的頭戴式顯示裝置(頭戴式顯示器100)。具體而言，存儲在像素視差角存儲部(像素視差角124)中的差(Θ pix)是基于同一右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2顯示的虛像VI的第I輻輳角Θ a (初始輻輳角Θ a)、與基于左右錯開I個像素的右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2顯示的虛像的第2輻輳角Θ c的差。因此，存儲在像素視差角存儲部(像素視差角124)中的差(Θ pix)可以說是通過左右錯開I個像素的圖像數(shù)據(jù)實現(xiàn)的視差角，是考慮與虛像VI的顯示環(huán)境有關(guān)的各種條件，SP，右IXD241以及左IXD242的大小、在使用者的左右眼前顯示的虛像VI間的距離這樣的條件決定的視差角。因此，增強現(xiàn)實處理部(AR處理部142)能夠使用存儲在像素視差角存儲部(像素視差角存儲部124)中的像素視差角，并考慮與虛像VI的顯示環(huán)境有關(guān)的各種條件，來生成用于使虛擬對象OB融合于外景SC的右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù) Data2。
[0123]并且，根據(jù)第I實施例的增強現(xiàn)實處理，增強現(xiàn)實處理部(AR處理部142)決定使使用者視覺識別虛擬對象OB的目標距離Lb，并根據(jù)決定出的目標距離Lb來計算目標距離Lb的輻輳角亦即目標輻輳角0b，使用計算出的目標輻輳角0b和第I輻輳角0a (初始輻輳角0a)，來計算目標距離Lb的視差角亦即目標視差角ΘΧ。增強現(xiàn)實處理部(AR處理部142)通過使用這樣計算出的目標視差角ΘΧ、和存儲在像素視差角存儲部(像素視差角124)中的差(0pix)，能夠根據(jù)表示虛擬對象OB的單一圖像數(shù)據(jù)DT (圖6)，生成不同的右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2。
[0124]A- 3.增強現(xiàn)實處理(第2實施例):
[0125]在第2實施例的增強現(xiàn)實處理中，AR處理部142根據(jù)3D (Three Dimens1ns)模型空間內(nèi)的虛擬的立體物來生成表示與使用者的活動對應(yīng)的虛擬對象的圖像數(shù)據(jù)，并根據(jù)生成的圖像數(shù)據(jù)來生成右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2。與第I實施例的增強現(xiàn)實處理的不同在于代替程序a2、a3，執(zhí)行圖7的程序這一點。此外，程序al與I實施例相同，故省略說明。
[0126]圖7是表示第2實施例中的增強現(xiàn)實處理的程序的流程圖。AR處理部142進行眼間距離122的初始設(shè)定(步驟S102)。具體而言，AR處理部142獲取由瞳孔間距離測量部62 (圖2)測量出的使用者的瞳孔間距離，并將獲取的距離存儲于眼間距離存儲部122。這樣，根據(jù)步驟S102，能夠使與使用者對應(yīng)的瞳孔間距離存儲于眼間距離存儲部122。
[0127]圖8是用于說明第2實施例中的增強現(xiàn)實處理的詳細的說明圖。在圖7的步驟S104中，AR處理部142在3D模型空間上的規(guī)定位置設(shè)置虛擬視點。具體而言，AR處理部142在與距離3D模型空間上的虛擬對象OBl相距在程序al中求出的距離Lb的位置上設(shè)定虛擬視點IV(圖8)。虛擬視點IV是與使用者的太陽穴相當(dāng)?shù)奈恢?，虛擬視點IV的方向(視點方向VD)朝向虛擬對象OBl方向。此外，虛擬視點IV的位置根據(jù)相對于3D模型空間的原點坐標的移動量(x，y，z)而被定義。視點方向VD根據(jù)相對于虛擬視點IV的角度(ΘΧ，0y，ΘΖ)而被定義。此外，(Θ X，Θ y，θ Ζ)表示為(傾滾角，間距角,偏航角)=(φ, Θ,
Ψ ).設(shè)定虛擬視點IV之后，AR處理部142并行執(zhí)行步驟SI 10~SI 16的處理和步驟S120~S126的處理。
[0128]在設(shè)定虛擬視點IV之后，AR處理部142基于虛擬視點IV的位置以及方向來在與左眼相當(dāng)?shù)奈恢迷O(shè)定虛擬相機CML (步驟S110)。具體而言，AR處理部142在與虛擬視點IV在左側(cè)相距(眼間距離/ 2)的位置設(shè)定朝向視點方向VD的虛擬相機CML。同樣地，AR處理部142基于虛擬視點IV的位置以及方向來在與右眼相當(dāng)?shù)奈恢迷O(shè)定虛擬相機CMR(步驟S120)。具體而言，AR處理部142在與虛擬視點IV在右側(cè)相距(眼間距離/ 2)的位置設(shè)定朝向視點方向VD的虛擬相機CMR。在圖8中示出如上述那樣設(shè)定的虛擬相機CML、CMR。
[0129]在設(shè)定虛擬相機之后，AR處理部142進行虛擬相機CML的2D (Two Dimens1ns)投影(步驟SI 12)。具體而言，AR處理部142將3D模型空間內(nèi)的立體物(虛擬對象0B1、0B2)變換為通過虛擬相機CML得到的二維即平面狀的信息，并生成有縱深感的圖像。同樣地，AR處理部142進行虛擬相機CMR的2D投影(步驟S122)。具體而言，AR處理部142將3D模型空間上的立體物變換為通過虛擬相機CMR得到的二維即平面上的信息，并生成有縱深感的圖像。
[0130]虛擬相機CML的2D投影后，AR處理部142縮放通過投影得到的圖像(步驟S114)。具體而言，AR處理部142執(zhí)行以下的程序bl~b3。
[0131](bl)AR處理部142將在程序al決定的目標距離Lb應(yīng)用于上述式I，計算目標輻輳角9 b。
[0132](b2) AR處理部142將求出的目標輻輳角Θ b和初始輻輳角Θ a應(yīng)用于上述式2，計算目標視差角θχ。
[0133](b3)放大/縮小通過步驟S112得到的虛擬相機CML的2D投影圖像，以使通過步驟S112得到的虛擬相機CML的2D投影圖像和配置在虛擬視點IV的虛擬相機CM的2D投影圖像錯開θ X / θρ?χ像素。此時，AR處理部142考慮右IXD241的分辨率。
[0134]同樣地，在虛擬相機CMR的2D投影后，AR處理部142縮放通過投影得到的圖像(步驟S124)。具體而言，AR處理部142執(zhí)行上述程序bl、b2、以及以下程序b3。
[0135](b3)放大/縮小通過步驟S122得到的虛擬相機CMR的2D投影圖像，以使通過步驟S122得到的虛擬相機CMR的2D投影圖像和配置在虛擬視點IV的虛擬相機CM的2D投影圖像錯開θ X / θρ?χ像素。此時，AR處理部142考慮左IXD242的分辨率。
[0136] 圖9如上述那樣，示出AR處理部142使用配置在虛擬視點IV的虛擬相機CM的2D投影圖像DT，來縮放通過投影得到的圖像的情況。此外，在上述例子中，虛擬相機CMR被設(shè)定在與右眼相當(dāng)?shù)奈恢?，虛擬相機CML被設(shè)定在與左眼相當(dāng)?shù)奈恢?。然而，設(shè)定的虛擬相機的位置以及個數(shù)能夠變更。之后，AR處理部142將如上述那樣生成的右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2向圖像處理部160發(fā)送(步驟S116、S126)。之后，通過執(zhí)行圖2說明的顯示處理，頭戴式顯示器100的使用者能夠在視場VR視覺識別立體的虛擬對象OB。
[0137]如以上那樣，根據(jù)第2實施例的增強現(xiàn)實處理，增強現(xiàn)實處理部(AR處理部142)在圖像數(shù)據(jù)(右眼用圖像數(shù)據(jù)Datal以及左眼用圖像數(shù)據(jù)Data2)的生成時，考慮與虛像VI的顯示環(huán)境有關(guān)的各種條件(右LCD241以及左LCD242的大小、在使用者的左右的眼前顯示的虛像VI間的距離)來使虛擬對象0B1、0B2融合于外景SC，所以能夠?qū)崿F(xiàn)可提供緩解了使用者的視覺上的不協(xié)調(diào)感的增強現(xiàn)實感的頭戴式顯示裝置(頭戴式顯示器100)。
[0138]并且，根據(jù)第2實施例的增強現(xiàn)實處理，增強現(xiàn)實處理部(AR處理部142)決定使使用者視覺識別虛擬對象OB1、0B2的目標距離Lb，并根據(jù)決定的目標距離Lb來計算目標距離Lb的輻輳角亦即目標輻輳角0b，使用計算出的目標輻輳角0b和第I輻輳角0a (初始輻輳角0a)，來計算目標距離Lb的視差角亦即目標視差角ΘΧ。增強現(xiàn)實處理部(AR處理部142)通過使用這樣計算出的目標視差角ΘΧ、和存儲在像素視差角存儲部(像素視差角124)中的差(0pix)，能夠分別縮放通過2個位置處的虛擬相機(虛擬相機CMR、CML)拍攝的2D投影圖像，來生成右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2。
[0139]并且，根據(jù)第2實施例的增強現(xiàn)實處理，增強現(xiàn)實處理部(AR處理部142)在3D模型空間上設(shè)定虛擬相機(虛擬相機CMR、CML)時，首先，基于使使用者視覺識別虛擬對象的目標距離Lb來配置虛擬視點IV。而且，增強現(xiàn)實處理部(AR處理部142)在與配置的虛擬視點IV相距眼間距離/ 2的位置配置一個虛擬相機(虛擬相機CMR)，在與配置的虛擬視點相距眼間距離/ 2的位置配置另一個虛擬相機(虛擬相機CML)。其結(jié)果為，虛擬相機(虛擬相機CMR、CML)能夠獲取考慮使使用者視覺識別虛擬對象OB1、0B2的目標距離Lb、和使用者的眼間距離(眼間距離122)雙方的2D投影圖像。
[0140]A- 4.增強現(xiàn)實處理(第3實施例):
[0141]在第3實施例的增強現(xiàn)實處理中，在第2實施例的增強現(xiàn)實處理中能夠伴隨著使用者的移動而使用于融合于外景SC的虛擬對象變化。以下，僅對與第2實施例的增強現(xiàn)實處理不同的程序進行說明。其中，在圖中，對于與第2實施例相同的部分，標注與之前說明的第2實施例相同的符號，省略其詳細的說明。
[0142]圖10是表示第3實施例中的增強現(xiàn)實處理的程序的流程圖。與圖7所示的第2實施例的不同在于在步驟S104之后執(zhí)行步驟S202和S204這一點、和在步驟S116以及S126結(jié)束后將處理移至步驟S202這一點。
[0143]在步驟S202中，AR處理部142判定使用者的視點是否移動。具體而言，在使用者的當(dāng)前位置坐標和頭的活動中的至少任意一方有變化的情況下，AR處理部142判定為使用者的視點移動。此外，使用者的當(dāng)前位置坐標通過由GPS模塊134檢測出的控制部10的位置信息獲取。使用者的頭的活動通過由9軸傳感器66檢測出的活動信息獲取。在使用者的視點未移動的情況下(步驟S202 否”)，AR處理部142將處理移至步驟SllO以及S120。
[0144]在使用者的視點移動的情況下(步驟S202 是”)，AR處理部142基于在步驟S202檢測出的使用者的當(dāng)前位置坐標和頭的活動，在3D模型空間上的規(guī)定位置設(shè)定虛擬視點。詳細與圖7的步驟S104相同。
[0145]如以上那樣，根據(jù)第3實施例的增強現(xiàn)實處理，能夠伴隨著使用者的視點的移動，即、伴隨著使用者的當(dāng)前位置坐標和頭的活動中的至少任意一方的變化，生成、縮放虛擬相機CML的2D投影圖像和虛擬相機CMR的2D投影圖像，并生成右眼用圖像數(shù)據(jù)Datal和左眼用圖像數(shù)據(jù)Data2。其結(jié)果，除了第2實施例中的效果之外，還能夠伴隨著使用者的視點的移動，使用于融合于外景SC的虛擬對象變化。
[0146]這樣，根據(jù)第I實施方式的頭戴式顯示裝置(頭戴式顯示器100)，圖像顯示部20將附加了能夠緩解使用者的視覺上的不協(xié)調(diào)感的視覺效果(即、用于使虛擬對象能夠立體觀察的視覺效果)的虛擬對象OB作為虛像VI使使用者視覺識別。因此，能夠提供一種可提供緩解了使用者的視覺上的不協(xié)調(diào)感的增強現(xiàn)實感的光學(xué)透射式的頭戴式顯示裝置。
[0147]B.第2實施方式:
[0148]在本發(fā)明的第2實施方式中，對作為“能夠緩解使用者的視覺上的不協(xié)調(diào)感的視覺效果”，代替第I實施方式所例示的“用于使虛擬對象能夠立體觀察的視覺效果”，而采用“用于使虛擬對象與使用者的周圍的環(huán)境調(diào)和的視覺效果”的情況下的構(gòu)成進行說明。以下，僅對具有與第I實施方式不同的構(gòu)成以及動作的部分進行說明。此外，在圖中，對與第I實施方式相同的構(gòu)成部分標注與之前說明的第I實施方式相同的符號，省略其詳細的說明。
[0149]B-1.頭戴式顯示裝置的構(gòu)成:
[0150]圖11是功能性表示第2實施方式中的頭戴式顯示器10a的構(gòu)成的框圖。與圖2所示的第I實施方式的不同在于代替控制部10而具備控制部1a這一點?？刂撇?a的存儲部120中不包括眼間距離存儲部122和像素視差角存儲部124 (圖2)。另外，控制部1a代替AR處理部142而具備AR處理部142a。AR處理部142a執(zhí)行的“增強現(xiàn)實處理”的處理內(nèi)容與第I實施方式不同。具體而言，AR處理部142a代替作為第I?第3實施例說明的第I實施方式的增強現(xiàn)實處理，而執(zhí)行接下來說明的增強現(xiàn)實處理。
[0151]B —2.增強現(xiàn)實處理:
[0152]圖12是表示第2實施方式中的增強現(xiàn)實處理的程序的流程圖。在步驟S302中，AR處理部142a獲取將使用者的周圍的環(huán)境表現(xiàn)為三維空間內(nèi)的虛擬的立體物的三維信息。該三維信息是表示使用者的周圍的環(huán)境的、所謂“3D模型”。AR處理部142a能夠使用以下的Cl?c3所示的任意一個方法來獲取三維信息。
[0153](Cl) AR處理部142a從與頭戴式顯示器10a連接的云服務(wù)器等外部裝置獲取三維信息。
[0154](c2)在三維信息被預(yù)先存儲在存儲部120中的情況下，AR處理部142a從存儲部120獲取三維信息。
[0155](c3)AR處理部142a使用由相機61拍攝的外景圖像、向使用者的眼前照射紅外光等手段，來生成表現(xiàn)了使用者的周圍環(huán)境的三維信息，并獲取生成的三維信息。
[0156]在方法Cl、c2的情況下，AR處理部142a能夠基于由GPS模塊134檢測出的使用者的當(dāng)前位置坐標來決定三維信息的獲取范圍。另外，在方法c3中，使用相機61來生成三維信息的情況下，AR處理部142a使相機61獲取連續(xù)地改變了角度的多個外景圖像。而且，AR處理部142a能夠基于第η (η為任意的整數(shù))張拍攝的外景圖像與第η + I張拍攝的外景圖像的差信息，來生成三維信息。優(yōu)選此時使用的相機61是被配置成拍攝區(qū)域交叉的多個相機。并且，優(yōu)選多個相機中的至少一個被固定在與使用者的視線方向?qū)?yīng)的位置。由于使相機61獲取連續(xù)地改變了角度的外景圖像，所以在由9軸傳感器66檢測出的使用者的活動是超過規(guī)定的閾值的大小的情況下，AR處理部142a可以向相機61輸出外景圖像的拍攝指不。
[0157]在步驟S304中，AR處理部142a確定與現(xiàn)實空間中的使用者的當(dāng)前位置以及視線方向?qū)?yīng)的、三維信息內(nèi)的位置以及方向。換言之，也可以說在步驟S304中，AR處理部142a確定三維信息內(nèi)的虛擬的使用者的當(dāng)前位置以及視線方向。具體而言，AR處理部142a使用以下的dl?d3所示的任意一個方法。
[0158](dl)AR處理部142a通過比較在步驟S302中獲取的三維信息和在步驟S304的時刻由相機61獲取的使用者的視線方向的外景圖像，確定出三維信息內(nèi)的虛擬的使用者的當(dāng)前位置以及視線方向。
[0159](d2)AR處理部142a通過比較在步驟S302中獲取的三維信息中包含的緯度經(jīng)度的信息和在步驟S304的時刻由GPS模塊134獲取的使用者的當(dāng)前位置坐標(緯度經(jīng)度)，確定出三維信息內(nèi)的虛擬的使用者的當(dāng)前位置。另外，AR處理部142a使用由9軸傳感器66獲取的使用者的頭部的活動，來確定三維信息內(nèi)的虛擬的使用者的視線方向。
[0160](d3)在現(xiàn)實空間上預(yù)先配置多個信號產(chǎn)生裝置的情況下，AR處理部142a使用從信號產(chǎn)生裝置接收的電波、超聲波的接收強度，來確定三維信息內(nèi)的虛擬的使用者的當(dāng)前位置以及視線方向。
[0161]在步驟S306中，AR處理部142a生成遮蓋對象。所謂“遮蓋對象”是指，從與現(xiàn)實空間的使用者的當(dāng)前位置以及視線方向?qū)?yīng)的位置以及方向觀察到的三維信息，換言之，從虛擬的使用者的當(dāng)前位置以及視線方向觀察到的三維信息。AR處理部142a使用在步驟S302中獲取的三維信息和在步驟S304中確定的三維信息內(nèi)的位置以及方向，來生成遮蓋對象。
[0162]圖13是表示遮蓋對象的一個例子的說明圖。圖13 (A)示出從現(xiàn)實空間中的使用者的當(dāng)前位置以及視線方向觀察到的外景SC。外景SC是大樓林立的辦公區(qū)的風(fēng)景。圖13(B)示出從與現(xiàn)實空間中的使用者的當(dāng)前位置以及視線方向?qū)?yīng)的、三維信息內(nèi)的位置以及方向觀察到的遮蓋對象VM。遮蓋對象VM包括圖13 (A)所示的使用者的周圍的環(huán)境(夕卜景SC)在三維空間內(nèi)被虛擬地表現(xiàn)的“大樓”、“道路”、“樹木”、“電線桿子”的立體物。
[0163]該遮蓋對象是為了對虛擬對象加入視覺效果而使用的，不作為圖像顯示。此外，在圖12的步驟S306中，也可以基于在步驟S304中確定的三維信息內(nèi)的位置以及方向，從與頭戴式顯示器10a連接的云服務(wù)器等外部裝置獲取三維信息，來進行遮蓋對象的補充。
[0164]在圖12的步驟S306中，AR處理部142a在增強現(xiàn)實處理中生成表示AR處理部142a作為虛像VI顯示的虛擬對象的圖像數(shù)據(jù)。具體而言，例如，AR處理部142a從預(yù)先存儲在存儲部120內(nèi)的多個圖像數(shù)據(jù)獲取按照使用者的要求或者處理的目的任意的圖像數(shù)據(jù)。
[0165]在步驟S310中，AR處理部142a在步驟S306中生成的遮蓋對象內(nèi)配置步驟S308生成的虛擬對象。在該配置時，AR處理部142a為了能夠顯示具有遠近感的虛擬對象0B，也可以考慮配置虛擬對象的目標距離。目標距離例如能夠利用以下的任意一個方法決定。
[0166].對由相機61獲取的使用者的視野方向的外景圖像進行解析。
[0167].對由GPS模塊134獲取的使用者的當(dāng)前位置坐標、和由9軸傳感器66獲取的使用者的頭的活動進行解析。
[0168]圖14是表示虛擬對象OB相對于遮蓋對象VM的配置的一個例子的說明圖。圖14所例示的虛擬對象OB是“自行車”。在遮蓋對象VM內(nèi)，配置有虛擬對象OB的位置是“處于樹木前面的人行道的旁邊”。此處，從在步驟S304確定出的三維信息內(nèi)的位置以及方向(虛擬的使用者的當(dāng)前位置以及視線方向)來看，在配置在遮蓋對象內(nèi)的虛擬對象(自行車)與使用者之間配置有遮蓋對象的一部分即“電線桿”。
[0169]在圖12的步驟S312中，AR處理部142a對配置有虛擬對象OB的狀態(tài)下的遮蓋對象VM賦予與周圍的環(huán)境對應(yīng)的效果。在本實施方式中，所謂“與周圍的環(huán)境對應(yīng)的效果”是指至少以下的el?e3所示的任意一種效果。此外，效果el?e3也可以單獨采用，也可以組合采用。
[0170](el) AR處理部142a實施虛擬對象OB中的、成為遮蓋對象VM所包含的立體物的背后的部分的修整。例如，在圖14的例子的情況下，AR處理部142a修整自行車(虛擬對象0B)中的、成為電線桿(遮蓋對象VM所包含的立體物)的背后的部分，即、如圖14那樣從虛擬的使用者的當(dāng)前位置以及視線方向觀察的情況下，自行車在電線桿的背后而看不見的部分。這樣，根據(jù)效果el ,AR處理部142a能夠修整虛擬對象OB的一部分，以便看上去虛擬對象OB好像處于存在于現(xiàn)實空間中的立體物(在圖的例子中為電線桿)的背后。因此，圖像顯示部20能夠使使用者視覺識別虛擬對象OB宛如位于存在于現(xiàn)實空間的物(電線桿)的背后這樣的虛像。
[0171](e2)AR處理部142a實施依照周圍環(huán)境的照明。具體而言，AR處理部142a通過對由相機61拍攝的外景圖像進行圖像識別，來收集遮蓋對象VM的各區(qū)域的亮度信息。亮度信息中包括例如影子區(qū)域、鏡面反射、和擴散反射。AR處理部142a基于收集的亮度信息，來決定向遮蓋對象VM追加的光源的種類、光源的色溫、光源的強度等。此處，光源的種類有例如點光源(Point Light),聚光燈(Spot Light)、平行光源(Direct1nal Light)、環(huán)境光(Ambient Light)、天空光(Hemisphere Light)、IBL (Image Based Light)等。而且,AR 處理部142a通過將具有決定的種類、色溫、強度的光源配置于遮蓋對象VM，來實施虛擬對象OB的照明。
[0172]圖15是表示照明實施后的虛擬對象OB的情況的說明圖。在圖15的例子中，通過平行光源DL來實施虛擬對象OB的照明的結(jié)果是生成虛擬對象OB的影子0BS。這樣，根據(jù)效果e2，AR處理部142a能夠修正虛擬對象0B，以使虛擬對象OB具有與現(xiàn)實空間相匹配的明暗。因此，圖像顯示部20使使用者視覺識別虛擬對象OB宛如與存在于現(xiàn)實空間的物體混在這樣的虛像。此外，在圖12的步驟S312中，例示的光源可以單獨被賦予，也可以組合賦予。另外，AR處理部142a也可以使用外景圖像的圖像解析以外的方法(例如，基于當(dāng)前時刻和方位的運算)來收集遮蓋對象VM的各區(qū)域的亮度信息。
[0173](e3)AR處理部142a實施基于遮蓋對象VM所包含的立體物的反彈系數(shù)和摩擦系數(shù)中的至少一方的、虛擬對象OB的動作的調(diào)整。具體而言，AR處理部142a通過對由相機61拍攝的外景圖像進行圖像識別，求出遮蓋對象VM所包含的立體物的表面的反彈系數(shù)和摩擦系數(shù)中的至少一方。此時,AR處理部142a也可以求出針對一個立體物的平均反彈系數(shù)、平均摩擦系數(shù)，也可以按立體物所具有的區(qū)域來求出反彈系數(shù)、摩擦系數(shù)。AR處理部142a基于求出的反彈系數(shù)或者摩擦系數(shù)或它們雙方，來調(diào)整隨時間變化的虛擬對象OB的動作。
[0174]圖16是表示基于反彈系數(shù)和摩擦系數(shù)來調(diào)整虛擬對象OB的動作的情況的說明圖。在圖16的例子中，按遮蓋對象VM所包含的立體物所具有區(qū)域，求出反彈系數(shù)XX(X為任意的數(shù)字)、和摩擦系數(shù)XX，并存儲。AR處理部142a根據(jù)處于活動DI上的立體物的反彈系數(shù)XX和摩擦系數(shù)XX來變更球狀的虛擬對象OB的活動DI。在圖的例子中，AR處理部142a根據(jù)有3車道的道路的中央車道的反彈系數(shù)和摩擦系數(shù)，來調(diào)整虛擬對象OB彈跳的大小。這樣，根據(jù)效果e3，AR處理部142a能夠根據(jù)存在于現(xiàn)實空間的物體的反彈系數(shù)和摩擦系數(shù)中的至少一方來調(diào)整虛擬對象OB的動作。因此，圖像顯示部20能夠使使用者視覺識別虛擬對象OB宛如受到存在于現(xiàn)實空間的物體的影響而活動的虛像。
[0175]在圖12的步驟S314中，AR處理部142a進行虛擬相機的設(shè)定、和虛擬相機的2D投影。具體而言，AR處理部142a在與現(xiàn)實空間的使用者的當(dāng)前位置以及視線方向?qū)?yīng)的遮蓋對象VM內(nèi)的位置以及方向(換言之，遮蓋對象VM內(nèi)的虛擬的使用者的當(dāng)前位置以及視線方向)設(shè)定虛擬相機。而且，AR處理部142a將遮蓋對象VM內(nèi)的虛擬對象OB變換為由虛擬相機得到的二維即平面狀的信息。由此，AR處理部142a能夠?qū)φ谏w對象VM內(nèi)的虛擬對象OB進行二維化，來獲得加入了效果的虛擬對象OB的圖像數(shù)據(jù)。
[0176]圖17是表示通過虛擬相機的2D投影得到的圖像數(shù)據(jù)的說明圖。在圖17的例子中，在圖像數(shù)據(jù)DT中包括作為加入了效果e I的結(jié)果的前輪的一部分被修整、作為加入了效果e2的結(jié)果的影子OBS被附加的虛擬對象(自行車)。此外，優(yōu)選在步驟S314的虛擬相機設(shè)定時，AR處理部142a根據(jù)從使用者的眼睛至使用者的注視點為止之間的距離，來實施虛擬相機的景深等的設(shè)定。如果這樣，在通過虛擬相機的2D投影所得到的虛擬對象OB的圖像數(shù)據(jù)中能夠?qū)μ摂M對象OB追加模糊效果。另外，在步驟S314中設(shè)定的虛擬相機可以是一個，也可以是與使用者的左右眼對應(yīng)的2個虛擬相機，也可以是3個以上的多個虛擬相機。
[0177]圖18是表示在第2實施方式的增強現(xiàn)實處理中，被使用者視覺識別的虛像VI的一個例子的說明圖。在圖12的步驟S316中，AR處理部142a將如上述那樣生成的圖像數(shù)據(jù)DT向圖像處理部160發(fā)送。之后，通過執(zhí)行圖2所說明的顯示處理，頭戴式顯示器10a的使用者能夠在視場VR中視覺識別加入了視覺效果(修整以及影子0BS)的虛擬對象0B。
[0178]如以上那樣，根據(jù)第2實施方式的頭戴式顯示裝置(頭戴式顯示器100a)采用圖像顯示部20將緩解了使用者的視覺上的不協(xié)調(diào)感的虛擬對象0B，即、附加了能夠緩解使用者的視覺上的不協(xié)調(diào)感的視覺效果(即、用于使虛擬對象與周圍環(huán)境調(diào)和的視覺效果)的虛擬對象OB作為虛像VI使使用者視覺識別。因此，能夠提供一種可提供緩解了使用者的視覺上的不協(xié)調(diào)感的增強現(xiàn)實感的光學(xué)透射式的頭戴式顯示裝置。另外，增強現(xiàn)實處理部(AR處理部142a)使用根據(jù)三維信息生成的遮蓋對象VM來對虛擬對象OB加入視覺效果，使虛擬對象OB與周圍的環(huán)境調(diào)和。因此，如以往那樣，與基于由相機拍攝的圖像來對虛擬對象加入視覺效果，使虛擬對象與周圍環(huán)境調(diào)和的情況相比較，能夠提聞?wù){(diào)和的精度。
[0179]另外，根據(jù)第2實施方式的頭戴式顯示裝置(頭戴式顯示器100a)，增強現(xiàn)實處理部(AR處理部142a)能夠?qū)μ摂M對象OB加入依照環(huán)境的修整(效果el)、依照環(huán)境的照明(效果e2)、依照環(huán)境的動作的調(diào)整(效果e3)中的至少任意一種視覺效果。并且，增強現(xiàn)實處理部(AR處理部142a)通過對由圖像獲取部(相機61)拍攝的外景圖像(使用者的視野方向的圖像)進行圖像識別，能夠自動地推斷使用者的周圍的環(huán)境(具體而言，效果e2的亮度信息、效果e3的情況下的反彈系數(shù)和摩擦系數(shù))。
[0180]C.第3實施方式:
[0181]在本發(fā)明的第3實施方式中，配合現(xiàn)實空間上的實際物體的坐標位置以及形狀來控制現(xiàn)實空間上的坐標位置已被設(shè)定的虛擬對象的情況下的構(gòu)成進行說明。以下，僅對具有與第I實施方式不同的構(gòu)成以及動作的部分進行說明。此外，在圖中，對與第I實施方式相同的構(gòu)成部分標注與之前說明的第I實施方式相同的符號，省略其詳細的說明。
[0182]圖19是對使用者能夠視覺識別的虛像以及現(xiàn)實風(fēng)景的一個例子進行說明的圖。如圖19所示，在佩戴本實施方式的頭戴式顯示器10b的使用者的視場VR顯示有頭戴式顯示器10b生成的虛像VI。此處，作為虛像VI，顯示有表示迷宮的領(lǐng)航員(向?qū)?的虛擬對象0B。另外，在使用者的視場VR中，使用者透過右光學(xué)像顯示部26以及左光學(xué)像顯示部28能夠看見外景SC。此處，作為外景SC，看得見實際物體A亦即迷宮的墻A1、A2、A3等。即、構(gòu)成為使用者在視場VR內(nèi)能夠同時視覺識別虛像VI和外景SC。此外，符號27是視場VR內(nèi)的、顯示有虛像VI的(能夠顯示虛像VI的)虛像顯示區(qū)域。
[0183]C-1.頭戴式顯示裝置的構(gòu)成:
[0184]圖20是功能性表示第3實施方式中的頭戴式顯示器10b的構(gòu)成的框圖。與圖2所示的第I實施方式的不同在于代替控制部10而具備控制部1b這一點、和代替圖像顯示部20而具有圖像顯示部20b這一點。
[0185]圖像顯示部20b代替瞳孔間距離測量部62而具備距離傳感器67和視線檢測傳感器69這一點與第I實施方式不同。距離傳感器67例如利用紅外線方式、超聲波方式,來檢測從使用者(嚴格來說，是頭戴式顯示器100b)至實際物體A為止的距離。視線檢測傳感器69例如利用紅外線方式來檢測使用者的視線。
[0186]在控制部1b的存儲部120b中不包眼間距離存儲部122和像素視差角存儲部124(圖2)這一點上與第I實施方式不同。另外，控制部1b代替AR處理部142而具備AR處理部142b，而且還具備圖像解析部144和物體檢測部146這一點上與第I實施方式不同。
[0187]圖像解析部144獲取由相機61拍攝的圖像的圖像信號，并進行獲取的圖像信號的解析。圖像解析部144通過圖像解析來識別設(shè)置在實際物體A的物體識別用的標記MK(圖19參照)，并基于從標記MK獲得的信息來識別實際物體A。即、基于拍攝圖像內(nèi)的標記MK的位置以及方向的信息、讀取標記MK的讀取信息、和預(yù)先存儲的實際物體A的信息(實際物體A的形狀、實際物體A中的標記MK的配設(shè)位置)，來識別視場VR內(nèi)的實際物體A的位置、和實際物體A的形狀。此外，在本實施方式中，是在實際物體A設(shè)置標記MK，識別該標記來識別實際物體A的構(gòu)成，但也可以是無標記，識別實際物體A的特征位置(特征點)來識別實際物體A的構(gòu)成。另外，上述的實際物體A的信息也可以通過無線通信部132，在每次圖像識別時從外部服務(wù)器獲取。
[0188]物體檢測部146基于圖像解析部144對實際物體A的識別結(jié)果、和傳感器的檢測結(jié)果，來檢測現(xiàn)實空間上的實際物體A的坐標位置以及形狀。具體而言，基于圖像解析部144對實際物體A的識別結(jié)果、從距離傳感器67獲得的自使用者至實際物體A為止的距離的信息、和由9軸傳感器66獲得的使用者的頭部的朝向的信息，來檢測現(xiàn)實空間中的實際物體A相對于使用者的相對坐標位置、和實際物體A的形狀。
[0189]第3實施方式的AR處理部142b執(zhí)行的增強現(xiàn)實處理的處理內(nèi)容與第I實施方式不同。AR處理部142b生成由圖像顯示部20顯示的顯示數(shù)據(jù)，并將顯示數(shù)據(jù)經(jīng)由圖像處理部160發(fā)送給圖像顯示部20。AR處理部142b對虛擬對象OB設(shè)定現(xiàn)實空間上的坐標位置，并且作為顯示數(shù)據(jù)，生成使現(xiàn)實空間上的坐標位置已被設(shè)定的虛擬對象OB配合現(xiàn)實空間的坐標系而被視覺識別地顯示(所謂的擬合)的數(shù)據(jù)。
[0190]具體而言，AR處理部142b基于內(nèi)容數(shù)據(jù)對虛擬對象OB設(shè)定現(xiàn)實空間上的、相對于實際物體A的相對坐標位置。而且，基于該虛擬對象OB的相對坐標位置、檢測出的實際物體A的坐標位置、使用者的頭部的朝向的信息、和從視線檢測傳感器69得到的使用者的視線的信息，來確定配合現(xiàn)實空間的坐標系而被視覺識別(適合于現(xiàn)實空間的坐標系而被視覺識別)這樣的、虛像顯示區(qū)域27中的虛擬對象OB的顯示位置、顯示尺寸以及朝向。例如，在虛擬對象OB存在于現(xiàn)實空間的坐標系的情況下，根據(jù)從使用者至虛擬對象OB的距離，來決定顯示尺寸。因此，顯示尺寸通過基于上述各信息計算出的從使用者至虛擬對象OB的距離而被確定。基于確定出的顯示位置、顯示尺寸、朝向，來放大/縮小、旋轉(zhuǎn)、配置虛擬對象0B，來生成包括虛擬對象OB的顯示數(shù)據(jù)。
[0191]此外，在將虛擬對象OB作為立體視圖像顯示的情況下，作為右眼用的顯示數(shù)據(jù)以及左眼用的顯示數(shù)據(jù)，生成對虛擬對象OB賦予視差的顯示數(shù)據(jù)，并將右眼用的顯示數(shù)據(jù)經(jīng)由圖像處理部160發(fā)送給右IXD控制部211，將左眼用的顯示數(shù)據(jù)經(jīng)由圖像處理部160發(fā)送給左IXD控制部212。該情況下，對于虛擬對象OB的視差量(縱深感)，也配合現(xiàn)實空間的坐標系而設(shè)定。即、與顯示尺寸相同，視差量根據(jù)從使用者至虛擬對象OB的距離而決定，所以基于上述各信息來計算從使用者至虛擬對象OB的距離，并基于該距離來設(shè)定虛擬對象OB的視差量。
[0192]另外，AR處理部142b配合檢測出的實際物體A的坐標位置以及形狀來控制虛擬對象OB的動作。即、在上述記載為基于內(nèi)容數(shù)據(jù)來設(shè)定現(xiàn)實空間中的上述相對坐標位置，但嚴格來說，基于內(nèi)容數(shù)據(jù)、和檢測出的實際物體A的坐標位置以及形狀，來設(shè)定上述相對坐標位置。另外，基于檢測出的實際物體A的坐標位置以及形狀來變更虛擬對象0B。由此，加上檢測出的實際物體A的坐標位置以及形狀來使虛擬對象OB動作。
[0193]C — 2.增強現(xiàn)實處理:
[0194]圖21是表示第3實施方式中的增強現(xiàn)實處理的程序的流程圖。第3實施方式中的增強現(xiàn)實處理起因于使用了控制部1b的動作開始操作而進行。
[0195]如圖21所示，頭戴式顯示器10b首先利用相機61拍攝外景SC(S1)。然后，利用圖像解析部144來識別相機61的拍攝圖像中的標記MK，識別實際物體A(S2)。此外，在圖2的例子中，從拍攝圖像識別標記MK能夠識別的壁Al、A2。
[0196]若識別了實際物體A，則由距離傳感器67檢測從使用者至實際物體A的距離
(S3)，并由9軸傳感器66檢測使用者的頭部的朝向(S4)。而且，由物體檢測部146基于圖像解析部144對實際物體A的識別結(jié)果、檢測出的從使用者至實際物體A的距離的信息、和檢測出的頭部的朝向的信息，來檢測實際物體A的坐標位置(相對于使用者的相對坐標位置)以及形狀(S5)。
[0197]若檢測出實際物體A的坐標位置以及形狀，則由視線檢測傳感器69來檢測使用者的視線(S6)。然后，由AR處理部142b基于檢測出的視線的信息、和檢測出的頭部的朝向的信息，來推測使用者的視場VR (的朝向)(S7 )。
[0198]之后，由AR處理部142b基于內(nèi)容數(shù)據(jù)、和檢測出的實際物體A的坐標位置以及形狀，來設(shè)定現(xiàn)實空間上的虛擬對象OB的坐標位置(相對于實際物體A的相對坐標位置)
(SS)0而且，基于推斷出的視場VR、設(shè)定的虛擬對象OB的坐標位置(相對于實際物體A的相對坐標位置)、和檢測出的實際物體A的坐標位置(相對于使用者的相對坐標位置)，來決定虛擬對象OB的顯示位置、顯示尺寸以及朝向(S9)，以便配合現(xiàn)實空間的坐標系地被視覺識別，并生成包括虛擬對象OB的顯示數(shù)據(jù)(S10)。之后，將生成的顯示數(shù)據(jù)經(jīng)由圖像處理部160發(fā)送給圖像顯示部20 (Sll)0此外，技術(shù)方案中所說的“顯示控制步驟”由S6至SlO的工序構(gòu)成。
[0199]然后，由圖像顯示部20顯示(將圖像光投影至視網(wǎng)膜投影)包括該虛擬對象OB的顯示數(shù)據(jù)(S12:顯示步驟)。由此,結(jié)束本顯示動作。
[0200]此處參照圖22至圖24，對AR處理部142b對虛擬對象OB的動作控制進行說明。如上述那樣，AR處理部142b配合檢測出的實際物體A的坐標位置以及形狀來控制虛擬對象OB的動作。圖22是表示AR處理部142b對虛擬對象OB的動作控制的第I例的遷移圖。在圖22的例子中，AR處理部142b基于檢測出的實際物體A的坐標位置、和設(shè)定的虛擬對象OB的坐標位置，在從使用者來看虛擬對象OB位于(推測為)實際物體A的后方的情況下，以使虛擬對象OB的與實際物體A的重疊部分OBa消失的方式來使虛擬對象OB變化。具體而言，如該圖所示，使虛擬對象OB從使用者來看向壁Al的后側(cè)移動時，使虛擬對象OB以其與從使用者看到的壁Al的重疊部分OBa消失的方式變化。這樣，虛擬對象OB被顯示為從使用者來看宛如隱藏在壁Al的后面那樣。
[0201]圖23是表示AR處理部142b對虛擬對象OB的舉動控制的第2例的遷移圖。在圖23的例子中，AR處理部142b使虛擬對象OB動作，以在現(xiàn)實空間的坐標系中避開實際物體A。具體而言，如該圖所示，使虛擬對象OB顯示為在移動至作為障礙物的柱子A4的附近時，使虛擬對象OB的軌道改變，宛如避開實際物體A那樣。
[0202]圖24是表示AR處理部142b對虛擬對象OB的動作控制的第3例的遷移圖。在圖24的例子中，在現(xiàn)實空間的坐標系中，移動的虛擬對象OB到達實際物體A時，AR處理部142b使虛擬對象OB以宛如與實際物體A碰撞那樣地動作。具體而言，如該圖所示，顯示為在使虛擬對象OB移動并到達壁A2時，以從壁A2反彈的方式使虛擬對象OB的軌道改變，宛如與實際物體A碰撞那樣。另外，在虛擬對象OB到達壁Al的時刻，以宛如虛擬對象OB與實際物體A碰撞的方式使OB變化(在圖的例子中，向碰撞的方向縮小變形)。
[0203]以上，根據(jù)第3實施方式的增強現(xiàn)實處理，由于能夠加上實際物體A的坐標位置、形狀地使虛擬對象OB動作，所以能夠提高真實感。因此，能夠提供一種可提供緩解了使用者的視覺上的不協(xié)調(diào)感的增強現(xiàn)實感的光學(xué)透射式的頭戴式顯示裝置(頭戴式顯示器100b)。另外，通過使虛擬對象OB進行加上實際物體A的坐標位置、形狀的動作，能夠在透射式的頭戴式顯示裝置中，提供考慮了實際物體A的內(nèi)容。因此，能夠提供基于虛擬對象OB的、考慮了實際物體A的游戲、導(dǎo)航服務(wù)。作為導(dǎo)航服務(wù)的內(nèi)容，假定了例如，顯示迷宮的向?qū)ё鳛樘摂M對象0B，該向?qū)Э紤]迷宮的壁Al、A2、A3，一邊避開壁Al、A2、A3 一邊進行道路引導(dǎo)的情況等。另外，作為游戲的內(nèi)容，例如，假定了顯示球作為虛擬對象0B，投出的該球撞上壁Al、A2、A3而反彈回來的情況等。
[0204]另外，利用視線檢測傳感器69來檢測視線，并考慮使用者的視線，來進行虛擬對象OB的顯示，從而能夠更高精度地進行虛擬對象OB的擬合(虛擬對象OB的顯示位置、顯示尺寸以及方向的決定)。
[0205]并且，利用距離傳感器67來檢測從使用者至實際物體A的距離，并考慮該距離，來進行虛擬對象OB的顯示，從而能夠更高精度地進行虛擬對象OB的擬合。
[0206]此外，在本實施方式中，作為現(xiàn)實空間上的虛擬對象OB的坐標位置，是設(shè)定相對于實際物體A的相對坐標位置的構(gòu)成，但作為現(xiàn)實空間上的虛擬對象OB的坐標位置，也可以是設(shè)定相對于使用者的相對坐標位置的構(gòu)成，作為現(xiàn)實空間上的虛擬對象OB的坐標位置，也可以是設(shè)定絕對位置的構(gòu)成。
[0207]另外，在本實施方式中，作為現(xiàn)實空間上的實際物體A的坐標位置，是檢測相對于使用者的相對坐標位置的構(gòu)成，但作為現(xiàn)實空間上的實際物體A的坐標位置，也可以是檢測絕對位置的構(gòu)成。
[0208]并且，在本實施方式中，是檢測使用者的視線，并基于使用者的視線和使用者的頭部的朝向來檢測使用者的視野的構(gòu)成，但也可以是使用者的視線始終朝向正前方，并僅基于使用者的頭部的朝向來檢測使用者的視野的構(gòu)成。
[0209]另外，并且，在本實施方式中，物體識別用的標記MK可以是AR標記，也可以是二維碼(QR碼等)、條形碼。
[0210]另外，在本實施方式中，是利用相機61來拍攝現(xiàn)實風(fēng)景，使用針對拍攝圖像的圖像識別來檢測實際物體A的坐標位置以及形狀的構(gòu)成，但也可以是預(yù)先存儲存儲有現(xiàn)實空間中的規(guī)定范圍內(nèi)的全部實際物體A的坐標位置以及形狀的映射數(shù)據(jù)，并基于該映射數(shù)據(jù)來檢測實際物體A的坐標位置以及形狀的構(gòu)成。
[0211]并且，在本實施方式中，為了提高虛擬對象OB的擬合的精度，也可以是檢測眼間距離、左右視差角、輻輳角、優(yōu)勢眼、與圖像的視差、使用者相對于實際物體的相對速度等，并考慮它們來進行虛擬對象OB的擬合的構(gòu)成。
[0212]另外，并且，優(yōu)選推測外景SC的光源環(huán)境，并配合該光源環(huán)境來調(diào)整虛擬對象OB的顏色、亮度。另外，虛擬對象OB的顏色、亮度也優(yōu)選考慮從使用者至實際物體A的距離、使用者的視覺環(huán)境的變化(例如暗適應(yīng)、亮適應(yīng))來決定。
[0213]另外，在本實施方式中，也可以是計算現(xiàn)實空間的坐標系中的從使用者至虛擬對象OB的距離，并變更虛擬對象OB的焦距的構(gòu)成。
[0214]并且，在本實施方式中，內(nèi)容中的用戶操作可以是由圖外的控制器進行的構(gòu)成，也可以是識別使用者的身體的一部分(手指、手等)，并將該身體的一部分的動作作為用戶操作接受的構(gòu)成。另外，也可以是例如，識別使用者的手、手指、手臂等，AR處理部142b使球棒、球拍、撲克、筆等虛擬對象OB顯示為宛如被使用者的手持有那樣。而且，使用者通過使手、手指、手臂等移動，來操作該虛擬對象0B，將該操作作為用戶操作接受的構(gòu)成。在該情況下，從使用者來看，虛擬對象OB位于作為實際物體A的使用者的手、手指、手臂等的后方的情況下，以使虛擬對象OB的與實際物體A的重疊部分消失的方式使虛擬對象OB變化。另夕卜，也可以是識別使用者能夠使用的實際物體A (例如球棒、球拍、撲克、筆)，并將該實際物體A的動作作為用戶操作接受的構(gòu)成。進而，檢測使用者的頭的活動(例如方向)、使用者的視線，并將它們作為用戶操作接受的構(gòu)成。
[0215]并且，顯示的虛擬對象OB并不限于上述的物體，也可以是使例如，箭頭、記號的虛擬對象OB顯示的構(gòu)成。另外，也可以是拍攝現(xiàn)實空間的物、人體的一部分(指尖、手臂等)來獲取，并將它們作為虛擬對象OB進行顯示的構(gòu)成。
[0216]D.變形例:
[0217]在上述實施方式中，也可以將通過硬件實現(xiàn)的構(gòu)成的一部分置換為軟件，反之，也可以將通過軟件實現(xiàn)的構(gòu)成的一部分置換為硬件。其他，可進行如以下那樣的變形。
[0218]?變形例1:
[0219]在上述實施方式中，對頭戴式顯示器的構(gòu)成進行了例示。然而，頭戴式顯示器的構(gòu)成能夠在不脫離本發(fā)明的要旨的范圍內(nèi)任意地決定，例如，能夠進行各構(gòu)成部的追加、削除、變換等。
[0220]上述實施方式中的、針對控制部和圖像顯示部的構(gòu)成要素的分配只是一個例子，可采用各種方式。例如，可以作為以下那樣的方式。(i)在控制部搭載CPU、存儲器等處理功能，在圖像顯示部僅搭載顯示功能的方式，(ii)在控制部和圖像顯示部這雙方搭載CPU、存儲器等處理功能的方式，(iii)將控制部和圖像顯示部一體化的方式(例如，圖像顯示部包括控制部而作為眼鏡型的可穿戴式計算機發(fā)揮作用的方式)，(iv)代替控制部而使用智能手機、便攜式游戲機的方式，(V)通過使控制部和圖像顯示部成為可無線通信且無線供電的構(gòu)成而廢除連接部(線)的方式。
[0221]在上述實施方式中，為了便于說明，控制部具備發(fā)送部，圖像顯示部具備接收部。然而，上述實施方式的發(fā)送部以及接收部都具備可進行雙向通信的功能，能夠作為收發(fā)部發(fā)揮作用。另外，例如，圖2所示的控制部經(jīng)由有線的信號傳送路徑與圖像顯示部連接。然而，控制部和圖像顯示部也可以通過經(jīng)由無線LAN、紅外線通信、Bluetooth (注冊商標)等無線的信號傳送路徑的連接而被連接。
[0222]例如，圖2所示的控制部、圖像顯示部的構(gòu)成能夠任意地變更。具體而言，也可以是例如，從控制部中省略觸摸板，僅利用十字鍵進行操作的構(gòu)成。另外，也可以在控制部具備操作用桿等其它操作用接口。另外，作為能夠?qū)刂撇窟B接鍵盤、鼠標等設(shè)備的構(gòu)成，也可以從鍵盤、鼠標接受輸入。另外，例如，除了觸摸板、十字鍵的操作輸入之外，也可以獲取腳踏開關(guān)(利用使用者的腳進行操作的開關(guān))的操作輸入。例如，在圖像顯示部設(shè)置紅外線傳感器等視線檢測部的基礎(chǔ)上，檢測使用者的視線，并獲取基于與視線的移動建立對應(yīng)的指令的操作輸入。也可以例如使用相機來檢測使用者的手勢，并獲取基于與手勢建立對應(yīng)的指令的操作輸入。在手勢檢測時，能夠使使用者的指尖、戴在使用者的手上的戒指、使用者的手中的醫(yī)療器具等成為用于移動檢測的標記。如果能夠獲取基于腳踏開關(guān)、視線的操作輸入，則在使用者較難放開手的作業(yè)中，輸入信息獲取部能夠獲取來自使用者的操作輸入。
[0223]例如，頭戴式顯示器是雙眼類型的透射式頭戴式顯示器，但也可以是單眼類型的頭戴式顯示器。另外，也可以構(gòu)成為在使用者佩戴頭戴式顯示器的狀態(tài)下，遮擋外景的透過的非透射式頭戴式顯示器。
[0224]圖25是表示變形例中的頭戴式顯示器的外觀的構(gòu)成的說明圖。圖25 (A)的例子的情況下，與圖1所示的頭戴式顯示器100的不同在于，圖像顯示部20a代替右光學(xué)像顯示部26而具備右光學(xué)像顯示部26a這一點、和代替左光學(xué)像顯示部28而具備左光學(xué)像顯示部28a這一點。右光學(xué)像顯示部26a比第I實施方式的光學(xué)部件小地形成，并被配置在頭戴式顯示器的佩戴時的使用者的右眼的斜上方。同樣地，左光學(xué)像顯示部28a也比第I實施方式的光學(xué)部件小地形成，并被配置在頭戴式顯示器的佩戴時的使用者的左眼的斜上方。圖25 (B)的例子的情況下，與圖1所示的頭戴式顯示器100的不同在于，圖像顯示部20b代替右光學(xué)像顯示部26而具備右光學(xué)像顯示部26b這一點、和代替左光學(xué)像顯示部28而具備左光學(xué)像顯不部28b這一點。右光學(xué)像顯不部26b比第I實施方式的光學(xué)部件小地形成，并被配置在頭戴式顯示器的佩戴時的使用者的右眼的斜下方。左光學(xué)像顯示部28b比第I實施方式的光學(xué)部件小地形成，并被配置在頭戴式顯示器的佩戴時的使用者的左眼的斜下方。這樣，光學(xué)像顯示部被配置在使用者的眼睛的附近即可。另外，形成光學(xué)像顯示部的光學(xué)部件的大小也是任意的，能夠作為光學(xué)像顯示部僅覆蓋使用者的眼睛的一部分的方式，換言之，光學(xué)像顯示部不完全覆蓋使用者的眼睛方式的頭戴式顯示器實現(xiàn)。
[0225]例如，記載為圖像處理部、顯示控制部、AR處理部、聲音處理部等功能部通過CPU將儲存在ROM、硬盤中的計算機程序展開至RAM來執(zhí)行而實現(xiàn)。然而，也可以使用為了實現(xiàn)該功能而設(shè)計的ASIC (Applicat1n Specific Integrated Circuit:面向特定用途的集成電路)來構(gòu)成這些功能部。
[0226]例如，在上述實施方式中，是如眼鏡那樣佩戴圖像顯示部的頭戴式顯示器，但圖像顯示部也可以是通常的平面型顯示器裝置(液晶顯示器裝置、等離子顯示器裝置、有機EL顯示器裝置等)。在該情況下，控制部與圖像顯示部之間的連接可以是經(jīng)由有線的信號傳送路徑的連接，也可以是經(jīng)由無線的信號傳送路的連接。這樣，也能夠?qū)⒖刂撇孔鳛橥ǔ５钠矫嫘惋@示器裝置的遙控器利用。
[0227]另外，作為圖像顯示部，也可以代替如眼鏡那樣佩戴的圖像顯示部，而采用例如如帽子那樣佩戴的圖像顯示部這樣的其它形狀的圖像顯示部。另外，耳機可以采用耳掛式、頭戴式，也可以省略。另外，也可以構(gòu)成為例如，搭載在汽車、飛機等交通工具的平視顯示器(HUD，Head-Up Display)。另外，也可以構(gòu)成為例如，內(nèi)置在頭盔等身體防護具的頭戴式顯示器。
[0228]例如，在上述實施方式中，使用二次電池作為電源，但作為電源，并不局限于二次電池，能夠使用各種電池。也可以使用例如一次電池、燃料電池、太陽電池、熱電池等。
[0229]例如，在上述實施方式中，圖像光生成部使用背光燈、背光燈控制部、LCD、和LCD控制部而構(gòu)成。然而，上述的方式只是例示。圖像光生成部也可以與這些構(gòu)成部一起，或者代替這些構(gòu)成部，而具備用于實現(xiàn)其它方式的構(gòu)成部。例如，圖像光生成部可以構(gòu)成為具備有機EL(有機電致發(fā)光,Organic Electro-Luminescence)的顯示器、和有機EL控制部。另夕卜，例如，圖像光生成部也能夠代替LCD而使用數(shù)字微鏡器件等。另外，例如，對激光視網(wǎng)膜投影型的頭戴式顯示裝置也能夠應(yīng)用本發(fā)明。
[0230].變形例2:
[0231]在上述第I實施方式中，示出增強現(xiàn)實處理的一個例子。然而，上述增強現(xiàn)實處理的程序只是一個例子，能夠進行各種變形。例如，可以省略一部分的步驟，也可以更進一步追加其它的步驟。另外，也可以變更所執(zhí)行的步驟的順序。
[0232]在上述實施方式中，像素視差角是基于左右同一圖像數(shù)據(jù)而顯示的虛像的輻輳角、與基于左右錯開I個像素(像素)的圖像數(shù)據(jù)素而顯示的虛像的輻輳角的差。然而，像素視差角是基于左右同一圖像數(shù)據(jù)而顯示的虛像的輻輳角、與基于左右錯開的圖像數(shù)據(jù)而顯示的虛像的輻輳角的差即可，左右的圖像數(shù)據(jù)的錯開量并不限定為I個像素(像素)。
[0233]例如，在增強現(xiàn)實處理中，計算出的目標視差角θχ比平行大的情況下(g卩θχ<-0a / 2的情況下)，AR處理部能夠抑制用于實現(xiàn)這樣的目標視差角ΘΧ的圖像數(shù)據(jù)的生成。這樣，能夠緩解使用者感覺的不協(xié)調(diào)感。
[0234]若視差角過大，則使用者容易感覺到不協(xié)調(diào)感。因此，例如，在增強現(xiàn)實處理中，在計算出的目標視差角θχ為規(guī)定閾值以上的情況下(B卩ΘΧ> Θ Iim的情況下)，AR處理部能夠抑制用于實現(xiàn)這樣的目標視差角ΘΧ的圖像數(shù)據(jù)的生成。此外，優(yōu)選規(guī)定的閾值(Θ Iim)作為“對該利用者來說，物體看成雙影的視差與看成單影的視差的邊界”。規(guī)定的閾值(Θ Iim)能夠根據(jù)使用者的喜好而調(diào)整。
[0235]AR處理部也可以根據(jù)決定的目標距離Lb的大小，或者計算出的目標視差角θ X的大小，來調(diào)整右眼用圖像數(shù)據(jù)以及左眼用圖像數(shù)據(jù)的彩度、亮度、對比度。例如，在表示遠方顯示的虛擬對象的圖像數(shù)據(jù)的情況下，通過使彩度、亮度、對比度中的至少任意一個降低，能夠加強使用者感受的遠近感。
[0236]存儲在像素視差角中的視差角Θ pix能夠根據(jù)使用者的喜好而調(diào)整。利用者能夠在想要加強遠近感的情況下將視差角Θ pix調(diào)整得較小，在想要緩解遠近感的情況下將視差角Qpix調(diào)整得較大。
[0237].變形例3:
[0238]在上述第I實施方式中，AR處理部也可以通過像素視差角使由相機獲取的使用者的視野方向的外景圖像圖案匹配，來實現(xiàn)增強現(xiàn)實處理。具體而言，圖像顯示部為具備右眼用相機和左眼用相機的構(gòu)成。右眼用相機是被配置在與圖像顯示部的使用者的右眼對應(yīng)的位置，且是能拍攝圖像顯示部的表側(cè)方向的外景的相機。左眼用相機是被配置在與圖像顯示部的使用者的左眼對應(yīng)的位置，且是能夠拍攝圖像顯示部的表側(cè)方向的外景的相機。AR處理部也可以求出由右眼用相機拍攝的圖像所包含的對象物體(成為使虛擬對象在附近顯示的對象的物體)、與由左眼用相機拍攝的圖像所包含的對象物體之間的錯開量，使用該錯開量和像素視差角，來決定增強現(xiàn)實處理中的“目標距離”。
[0239].變形例4:
[0240]在上述第I實施方式中，AR處理部可以限于滿足規(guī)定的條件的情況下執(zhí)行上述的增強現(xiàn)實處理。例如，在針對圖像顯示部具備可檢測使用者的視線的方向的構(gòu)成的基礎(chǔ)上，AR處理部也可以限于檢測出的視線的方向滿足以下的條件中的至少任意一個的情況，來執(zhí)行上述的增強現(xiàn)實處理。
[0241]?在水平約200°、垂直約125° (例如，下方向75°，上方向50° )的視場角的范圍內(nèi)時。
[0242]?信息容納能力優(yōu)異的有效視場亦即在水平約30°、垂直約20°的范圍內(nèi)時。
[0243]?注視點迅速穩(wěn)定地看見的穩(wěn)定注視場亦即水平60°~90°、垂直45°~70°的范圍內(nèi)時。
[0244]?在從由影像誘發(fā)的相對運動錯覺(vect1n)的誘發(fā)開始產(chǎn)生的水平約20°起到相對運動錯覺飽和的約110°的范圍內(nèi)時。
[0245].變形例5:
[0246]在上述第2實施方式中示出增強現(xiàn)實處理的一個例子。然而，上述增強現(xiàn)實處理的程序只是一個例子，能夠進行各種變形。例如，可以省略一部分的步驟，也可以進一步追加其它的步驟。另外，也可以變更所執(zhí)行的步驟的順序。
[0247] 對第2實施方式的增強現(xiàn)實處理作為第I實施方式的增強現(xiàn)實處理的代替處理進行了說明。然而，第2實施方式的增強現(xiàn)實處理也可以與第I實施方式的增強現(xiàn)實處理并列執(zhí)行。
[0248]在第2實施方式的增強現(xiàn)實處理的步驟S302中例示了三維信息獲取的方法cl~c3。然而，上述方法只是例示，AR處理部也可以使用方法Cl~c3以外的其它方法來獲取三維信息。另外，AR處理部也可以通過使用其它方法(例如方法Cl)獲取的信息來修正使用一個方法(例如方法c3)獲取的三維信息。
[0249]在第2實施方式的增強現(xiàn)實處理中，并且，為了調(diào)整現(xiàn)實空間的大小與虛擬對象的大小的平衡，可以實施疑似地使可由相機拍攝的區(qū)域的大小與在使用者的眼前作為虛像投影的區(qū)域的大小一致(校準)的處理。
[0250]第2實施方式的增強現(xiàn)實處理的步驟S312中的效果el~e3只是例示，AR處理部加入的效果能夠任意地決定。例如，AR處理部也可以代替效果el~e3，或者與效果el~e3—起加入下一個效果。具體而言，AR處理部根據(jù)配置虛擬對象的目標距離，對虛擬對象加入用于賦予遠近感的效果。作為用于賦予遠近感的效果，例如，在目標距離較遠的情況下能夠采用加霧效果，在目標距離較近的情況下能夠采用銳化效果。
[0251]?變形例6:
[0252]本發(fā)明并不限定于上述的實施方式、實施例、變形例，在不脫離其主旨的范圍內(nèi)能夠以各種構(gòu)成實現(xiàn)。例如，關(guān)于與發(fā)明的概要欄中所記載的各方式中的技術(shù)的特征對應(yīng)的實施方式、實施例、變形例中的技術(shù)特征，為了解決上述課題的一部分或者全部，或者，為了實現(xiàn)上述效果的一部分或者全部，能夠適當(dāng)?shù)剡M行替換、組合。另外，其技術(shù)特征只要未作為本說明書中所必須的進行說明，則能夠適當(dāng)?shù)叵鞒?br> [0253]符號說明
[0254]10...控制部(控制器)；12...點燈部；14...觸摸板；16----h字鍵；18...電源開關(guān)；
20…圖像顯示部；21…右保持部；22…右顯示驅(qū)動部；23…左保持部；24…左顯示驅(qū)動部；26…右光學(xué)像顯不部；28…左光學(xué)像顯不部；30…耳機插頭；32…右耳機；34…左耳機；40…連接部；42…右線;44…左線;46…連結(jié)部件;48…主體線;51…發(fā)送部;52…發(fā)送部；53…接收部；54...接收部；61...相機；67...距離傳感器；69...視線檢測傳感器；62...瞳孔間距離測量部；110…輸入信息獲取部；100、100a、100b…頭戴式顯示器(頭戴式顯示裝置)；120…存儲部；122…眼間距離(眼間距離存儲部)；124…像素視差角(像素視差角存儲部)；130…電源;140…CPU ;142、142a、142b…AR處理部(增強現(xiàn)實處理部)；144…圖像解析部；146…物體檢測部；160…圖像處理部；170…聲音處理部；180…接口 ；190…顯示控制部；201…右背光燈控制部；202…左背光燈控制部；211…右IXD控制部；212…左IXD控制部；221…右背光燈；222…左背光燈；241…右IXD ;242…左IXD ;251…右投影光學(xué)系統(tǒng)；252…左投影光學(xué)系統(tǒng)；261…右導(dǎo)光板；262…左導(dǎo)光板；PCLK…時鐘信號；VSync…垂直同步信號；HSync…水平同步信號；Data...圖像數(shù)據(jù)；Datal…右眼用圖像數(shù)據(jù)；Data2…左眼用圖像數(shù)據(jù)；0A...外部設(shè)備；PC...個人計算機；SC...外景；RE...右眼；LE...左眼；VI...虛像郵…端部；EL...端部；AP…前端部；VR...視場；VD…視點方向；IV...虛擬視點；0B…虛擬對象；0B1...虛擬對象；0B2…虛擬對象；0BS…虛擬對象的影子；0Ba…重疊部分；CM…虛擬相機；CML...虛擬相機；CMR…虛擬相機；DI…虛擬對象的移動；VM…遮蓋對象；Θ a…初始輻輳角(第I輻輳角)；Θ Ir..目標輻輳角；Θ c…輻輳角(第2輻輳角Θ ) ; Θ V目標視差角；A…實際物體；MK…標記。
【權(quán)利要求】
1.一種頭戴式顯示裝置，其特征在于， 是使用者能夠視覺識別虛像和外景的頭戴式顯示裝置， 該頭戴式顯示裝置具備: 圖像顯示部，其使所述使用者視覺識別所述虛像；以及 增強現(xiàn)實處理部，其使所述圖像顯示部形成所述虛像，所述虛像是表示用于給所述使用者帶來增強現(xiàn)實感的對象亦即虛擬對象、且是緩解了所述使用者的視覺上的不協(xié)調(diào)感的所述虛擬對象。
2.根據(jù)權(quán)利要求1所述的頭戴式顯示裝置，其特征在于， 所述增強現(xiàn)實處理部通過使用將所述使用者的周圍環(huán)境表現(xiàn)為三維空間內(nèi)的虛擬的立體物的三維信息，來使所述虛擬對象與所述環(huán)境調(diào)和，從而緩解對所述虛擬對象的所述不協(xié)調(diào)感。
3.根據(jù)權(quán)利要求2所述的頭戴式顯示裝置，其特征在于， 所述增強現(xiàn)實處理部在所述三維信息內(nèi)配置所述虛擬對象，并對所述虛擬對象和所述三維信息中的至少一方加入與所述環(huán)境對應(yīng)的視覺效果后，對所述虛擬對象進行二維化，從而緩解對所述虛擬對象的所述不協(xié)調(diào)感。
4.根據(jù)權(quán)利要求3所述的頭戴式顯示裝置，其特征在于， 與所述環(huán)境對應(yīng)的視覺效果至少包括以下的任意一個，即: 所述虛擬對象中的成為所述三維信息內(nèi)的所述立體物的背后的部分的修整； 依照所述環(huán)境的所述虛擬對象的照明；和 基于依照所述環(huán)境設(shè)定的所述三維信息內(nèi)的所述立體物的反彈系數(shù)和摩擦系數(shù)中的至少一方的所述虛擬對象的動作的調(diào)整。
5.根據(jù)權(quán)利要求3或者4所述的頭戴式顯示裝置，其特征在于， 還具備圖像獲取部，所述圖像獲取部獲取佩戴所述頭戴式顯示裝置的狀態(tài)下的所述使用者的視野方向的圖像， 所述增強現(xiàn)實處理部通過對由所述圖像獲取部獲取的所述視野方向的圖像進行圖像識別，來推斷所述環(huán)境。
6.根據(jù)權(quán)利要求3~5中的任意一項所述的頭戴式顯示裝置，其特征在于， 所述增強現(xiàn)實處理部在對所述虛擬對象進行二維化時，考慮從所述使用者的眼睛至所述使用者的注視點之間的距離。
7.根據(jù)權(quán)利要求1所述的頭戴式顯示裝置，其特征在于， 所述增強現(xiàn)實處理部通過生成表示所述虛擬對象的右眼用的右眼用圖像數(shù)據(jù)和左眼用的左眼用圖像數(shù)據(jù)，來對所述虛擬對象加入用于使所述虛擬對象能夠被立體觀察的視覺效果來緩解對所述虛擬對象的所述不協(xié)調(diào)感， 所述圖像顯示部使用所述右眼用圖像數(shù)據(jù)和所述左眼用圖像數(shù)據(jù)，來使所述使用者的左右眼視覺識別不同的所述虛像， 所述頭戴式顯示裝置還具備像素視差角存儲部，該像素視差角存儲部存儲基于同一所述右眼用圖像數(shù)據(jù)和所述左眼用圖像數(shù)據(jù)顯示的所述虛像的第I輻輳角、與基于左右錯開的所述右眼用圖像數(shù)據(jù)和所述左眼用圖像數(shù)據(jù)顯示的所述虛像的第2輻輳角之間的差，所述增強現(xiàn)實處理部使用存儲在所述像素視差角存儲部中的所述差，來生成用于使所述虛擬對象融合于所述外景的所述右眼用圖像數(shù)據(jù)和所述左眼用圖像數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的頭戴式顯示裝置，其特征在于， 所述增強現(xiàn)實處理部決定使所述使用者視覺識別所述虛擬對象的目標距離，并根據(jù)決定的所述目標距離，計算所述目標距離的輻輳角亦即目標輻輳角，使用計算出的所述目標輻輳角和所述第I輻輳角，來計算所述目標距離的視差角亦即目標視差角，使用所述目標視差角和存儲在所述像素視差角存儲部中的所述差，并根據(jù)表示所述虛擬對象的單一圖像數(shù)據(jù)，來生成所述右眼用圖像數(shù)據(jù)和所述左眼用圖像數(shù)據(jù)。
9.根據(jù)權(quán)利要求7所述的頭戴式顯示裝置，其特征在于， 所述增強現(xiàn)實處理部決定使所述使用者視覺識別所述虛擬對象的目標距離，基于決定的所述目標距離，在3D模型空間上設(shè)定用于獲取2D投影圖像的2個位置的虛擬相機，根據(jù)決定的所述目標距離，來計算所述目標距離的輻輳角亦即目標輻輳角，使用計算出的所述目標輻輳角和所述第I輻輳角，來計算所述目標距離的視差角亦即目標視差角，使用所述目標視差角、和存儲在所述像素視差角存儲部中的所述差，對由一個所述虛擬相機拍攝的2D投影圖像進行縮放來生成所述右眼用圖像數(shù)據(jù)，并對由另一個所述虛擬相機拍攝的2D投影圖像進行縮放來生成所述左眼用圖像數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的頭戴式顯示裝置，其特征在于， 還具備眼間距離存儲部，該眼間距離存儲部存儲所述使用者的眼間距離， 所述增強現(xiàn)實處理部在設(shè)定所述2個位置處的虛擬相機時，基于所述決定的目標距離，在3D模型空間上配 置虛擬的視點亦即虛擬視點，在與配置的所述虛擬視點相距二分之一的眼間距離的位置處配置一個虛擬相機，在與配置的所述虛擬視點相距二分之一的眼間距離的位置處配置另一個虛擬相機。
11.根據(jù)權(quán)利要求10所述的頭戴式顯示裝置，其特征在于， 還具備瞳孔間距離測量部，該瞳孔間距離測量部測量所述使用者的瞳孔間距離， 所述瞳孔間距離測量部的測量結(jié)果作為所述眼間距離被存儲于所述眼間距離存儲部。
12.根據(jù)權(quán)利要求1所述的頭戴式顯示裝置，其特征在于， 還具備物體檢測部，該物體檢測部檢測現(xiàn)實空間上的實際物體的坐標位置以及形狀， 所述增強現(xiàn)實處理部通過配合所述實際物體的坐標位置以及形狀地控制現(xiàn)實空間上的坐標位置被已設(shè)定的所述虛擬對象，從而緩解對所述虛擬對象的所述不協(xié)調(diào)感。
13.根據(jù)權(quán)利要求12所述的頭戴式顯示裝置，其特征在于， 所述增強現(xiàn)實處理部配合所述實際物體的坐標位置以及形狀來控制所述虛擬對象的動作。
14.根據(jù)權(quán)利要求13所述的頭戴式顯示裝置，其特征在于， 所述增強現(xiàn)實處理部基于檢測出的所述實際物體的坐標位置、和設(shè)定的所述虛擬對象的坐標位置，在從所述使用者來看所述虛擬對象位于所述實際物體的后方的情況下，以所述虛擬對象的與所述實際物體的重疊部分消失的方式使所述虛擬對象變化。
15.根據(jù)權(quán)利要求13或者14所述的頭戴式顯示裝置，其特征在于， 所述增強現(xiàn)實處理部以在現(xiàn)實空間的坐標系中避開所述實際物體的方式使所述虛擬對象動作。
16.根據(jù)權(quán)利要求13~15中的任意一項所述的頭戴式顯示裝置，其特征在于，所述增強現(xiàn)實處理部在現(xiàn)實空間的坐標系中，在移動的所述虛擬對象到達所述實際物體時，使所述虛擬對象宛如與所述實際物體碰撞那樣地動作。
17.根據(jù)權(quán)利要求12~16中的任意一項所述的頭戴式顯示裝置，其特征在于， 還具備視線檢測部，所述視線檢測部檢測所述使用者的視線， 所述增強現(xiàn)實處理部基于檢測出的所述視線，來使所述虛擬對象顯示。
18.根據(jù)權(quán)利要求12~17中的任意一項所述的頭戴式顯示裝置，其特征在于， 還具備距離檢測部，該距離檢測部檢測從所述使用者至所述實際物體的距離， 所述增強現(xiàn)實處理部基于檢測出的所述距離，來使所述虛擬對象顯示。
19.根據(jù)權(quán)利要求12~18中的任意一項所述的頭戴式顯示裝置，其特征在于， 所述圖像顯示部具有: 圖像光輸出部，其輸出所述圖像的圖像光；以及 導(dǎo)光部，其將被輸出的所述圖像光引導(dǎo)至所述使用者的眼睛， 所述導(dǎo)光部使外 部光透過，并使該外部光與所述圖像光一起入射至所述使用者的眼睛。
20.一種顯示系統(tǒng)，其特征在于， 是使使用者將顯示圖像視覺識別為虛像的透射式的顯示系統(tǒng)， 該顯示系統(tǒng)具備: 物體檢測部，其檢測現(xiàn)實空間上的實際物體的坐標位置以及形狀； 增強現(xiàn)實處理部，其使現(xiàn)實空間上的坐標位置已被設(shè)定的虛擬對象以配合現(xiàn)實空間的坐標系而被視覺識別的方式進行顯示；以及圖像顯示部，其顯示所述顯示圖像， 所述增強現(xiàn)實處理部配合所述實際物體的坐標位置以及形狀來控制所述虛擬對象。
21.一種頭戴式顯示裝置的控制方法，其特征在于， 是使用者能夠視覺識別虛像和外景的頭戴式顯示裝置的控制方法， 該控制方法具備: 使所述使用者視覺識別所述虛像的視覺識別工序；以及 在所述視覺識別工序中生成表示用于給所述使用者帶來增強現(xiàn)實感的對象亦即虛擬對象、且是緩解了所述使用者的視覺上的不協(xié)調(diào)感的所述虛擬對象的所述虛像的生成工序。
22.根據(jù)權(quán)利要求21所述的頭戴式顯示裝置的控制方法，其特征在于， 所述生成工序通過使用將所述使用者的周圍環(huán)境表現(xiàn)為三維空間內(nèi)的虛擬的立體物的三維信息，來使所述虛擬對象與所述環(huán)境調(diào)和，從而緩解對所述虛擬對象的所述不協(xié)調(diào)感。
23.根據(jù)權(quán)利要求21所述的頭戴式顯示裝置的控制方法，其特征在于， 所述生成工序通過生成表示所述虛擬對象的右眼用的右眼用圖像數(shù)據(jù)和左眼用的左眼用圖像數(shù)據(jù)，從而對所述虛擬對象加入用于使所述虛擬對象能夠被立體觀察的視覺效果來緩解對所述虛擬對象的所述不協(xié)調(diào)感， 所述視覺識別工序使用所述右眼用圖像數(shù)據(jù)、和所述左眼用圖像數(shù)據(jù)，來使所述使用者的左右眼視覺識別不同的所述虛像，所述生成工序使用基于同一所述右眼用圖像數(shù)據(jù)和所述左眼用圖像數(shù)據(jù)顯示的所述虛像的第I輻輳角、與基于左右錯開的所述右眼用圖像數(shù)據(jù)和所述左眼用圖像數(shù)據(jù)顯示的所述虛像的第2輻輳角之間的差，來生成用于使所述虛擬對象融合于所述外景的所述右眼用圖像數(shù)據(jù)和所述左眼用圖像數(shù)據(jù)。
24.根據(jù)權(quán)利要求21所述的頭戴式顯示裝置的控制方法，其特征在于， 還具備檢測現(xiàn)實空間上的實際物體的坐標位置以及形狀的檢測工序， 所述形成工序通過配合所述實際物體的坐標位置以及形狀來控制現(xiàn)實空間上的坐標位置已被設(shè)定的所述虛擬 對象，從而緩解對所述虛擬對象的所述不協(xié)調(diào)感。
【文檔編號】H04N13/04GK104076513SQ201410111332
【公開日】2014年10月1日 申請日期:2014年3月24日 優(yōu)先權(quán)日:2013年3月26日
【發(fā)明者】藤卷由貴, 金子秀穗, 高野正秀, 有賀直人, 千代薰 申請人:精工愛普生株式會社