本發(fā)明涉及虛擬圖像距離改變裝置、虛擬圖像距離改變方法以及程序。

背景技術(shù)：

作為用于顯示圖像的圖像顯示裝置，已知安裝到用戶的頭部并且使用的頭戴式顯示器(在下文中稱為“hmd”)。更具體地，例如，ptl1公開了一種應(yīng)用于透視頭戴式顯示器的技術(shù)，其允許觀看外部世界，同時(shí)允許觀看在給定距離呈現(xiàn)的虛擬圖像。當(dāng)確定用戶正在行走時(shí)，透視頭戴式顯示器移動(dòng)透鏡以確保即使用戶在步行時(shí)使用頭戴式顯示器，也不會(huì)妨礙他或她行走，因此使呈現(xiàn)的虛擬圖像的距離(虛擬圖像距離)比無窮更近。

[引用列表]

[專利文獻(xiàn)]

[ptl1]

日本專利特開第2012-194501號(hào)

技術(shù)實(shí)現(xiàn)要素：

[技術(shù)問題]

然而，在常見的頭戴式顯示器和ptl1(在下文中稱為“相關(guān)技術(shù)”)中，虛擬圖像距離是固定的或不考慮所顯示的目標(biāo)而設(shè)定的。結(jié)果，在相關(guān)技術(shù)中，目標(biāo)不是在虛擬圖像距離處顯示，所述虛擬圖像距離對(duì)應(yīng)于實(shí)際目標(biāo)深度、在目標(biāo)的拍攝期間在相機(jī)和待觀看的目標(biāo)之間的距離或在計(jì)算機(jī)圖形學(xué)中預(yù)期的到目標(biāo)的距離。

鑒于上述情況，本發(fā)明的目的是實(shí)現(xiàn)虛擬圖像距離改變裝置等，其能夠在例如對(duì)應(yīng)于目標(biāo)的實(shí)際深度的虛擬圖像距離處呈現(xiàn)待觀看的目標(biāo)，即用戶要這樣做的對(duì)象。

[問題的解決方案]

(1)本發(fā)明的虛擬圖像距離改變裝置包括顯示面板，光學(xué)器件，深度信息獲取部件，以及距離改變部件。所述顯示面板顯示對(duì)應(yīng)于圖像信息的圖像。所述光學(xué)器件將顯示在所述顯示面板上的圖像引導(dǎo)到用戶的眼睛，并且使用戶觀看對(duì)應(yīng)于所述圖像的虛擬圖像。所述深度信息獲取部件獲取表示待觀看的目標(biāo)的深度的深度信息，所述待觀看的目標(biāo)即顯示在所述顯示面板上將由用戶觀看的對(duì)象。所述距離改變部件根據(jù)所述深度信息改變虛擬圖像距離，所述虛擬圖像距離表示所述虛擬圖像由用戶觀看所處的距離。

(2)在上述(1)中所述的虛擬圖像距離改變裝置中，所述深度信息獲取部件包括視線方向獲取部件和深度估計(jì)部件。所述視線方向獲取部件獲取表示用戶的視線方向的視線方向信息。所述深度估計(jì)部件基于獲取的視線方向信息估計(jì)深度。

(3)在上述(1)或(2)中所述的虛擬圖像距離改變裝置中，對(duì)應(yīng)于所述圖像信息預(yù)先設(shè)定所述深度信息。

(4)在上述(3)中所述的虛擬圖像距離改變裝置中，所述深度信息是基于所述圖像信息的中心部分中的給定典型點(diǎn)。

(5)在上述(1)至(4)任一項(xiàng)中所述的虛擬圖像距離改變裝置中，所述距離改變部件在移動(dòng)用戶的視線方向之后改變所述虛擬圖像距離。

(6)在上述(1)至(5)任一項(xiàng)中所述的虛擬圖像距離改變裝置中，所述距離改變部件在給定范圍內(nèi)改變所述虛擬圖像距離。

(7)在上述(1)至(6)任一項(xiàng)中所述的虛擬圖像距離改變裝置中，如果由所述圖像信息表示的場(chǎng)景變化，則所述距離改變部件在場(chǎng)景變化之后的給定時(shí)間段內(nèi)改變所述虛擬圖像距離。

(8)在上述(1)至(7)任一項(xiàng)中所述的虛擬圖像距離改變裝置中，所述距離改變部件通過移動(dòng)所述顯示面板或包括在所述光學(xué)器件中的透鏡改變所述虛擬圖像距離。

(9)上述(1)至(8)任一項(xiàng)中所述的虛擬圖像距離改變裝置是頭戴式顯示器。

(10)本發(fā)明的虛擬圖像距離改變方法顯示對(duì)應(yīng)于圖像信息的圖像。進(jìn)一步地，所述虛擬圖像距離改變方法將顯示在顯示面板上的圖像引導(dǎo)到用戶的眼睛，并且使用戶觀看對(duì)應(yīng)于所述圖像的虛擬圖像。更進(jìn)一步地，所述虛擬圖像距離改變方法獲取表示待觀看的目標(biāo)的深度的深度信息，所述待觀看的目標(biāo)即顯示在所述顯示面板上將由用戶觀看的對(duì)象。更進(jìn)一步地，所述虛擬圖像距離改變方法根據(jù)所述深度信息改變虛擬圖像距離，所述虛擬圖像距離表示所述虛擬圖像由用戶觀看所處的距離。

(11)本發(fā)明的程序涉及一種包括顯示面板和光學(xué)器件的虛擬圖像距離改變裝置。所述顯示面板顯示對(duì)應(yīng)于圖像信息的圖像。所述光學(xué)器件將顯示在所述顯示面板上的圖像引導(dǎo)到用戶的眼睛，并且使用戶觀看對(duì)應(yīng)于所述圖像的虛擬圖像。所述程序使計(jì)算機(jī)用作深度信息獲取部件和距離改變部件。所述深度信息獲取部件獲取表示待觀看的目標(biāo)的深度的深度信息，所述待觀看的目標(biāo)即顯示在所述顯示面板上將由用戶觀看的對(duì)象。所述距離改變部件根據(jù)所述深度信息改變虛擬圖像距離，所述虛擬圖像距離表示所述虛擬圖像由用戶觀看所處的距離。

附圖說明

圖1是示出本實(shí)施例中的hmd的概述的示例的示意圖。

圖2是用于描述hmd的硬件配置的示例的示意圖。

圖3是示出hmd的控制部分的功能配置的主要示例的示意圖。

圖4是示出深度信息獲取部分的功能配置的示例的示意圖。

圖5a是用于描述虛擬圖像距離的變化的示意圖。

圖5b是用于描述虛擬圖像距離的變化的示意圖。

圖6是用于描述虛擬圖像距離的變化的示例的示意圖。

圖7a是用于描述虛擬圖像距離的變化的示例的示意圖。

圖7b是用于描述虛擬圖像距離的變化的示例的示意圖。

圖8是示出hmd的一般處理流程的示例的示意圖。

具體實(shí)施方式

下面將參考附圖描述本發(fā)明的實(shí)施例。應(yīng)當(dāng)注意在附圖中相同或等價(jià)的元件由相同的附圖標(biāo)記表示并且將省略重復(fù)的描述。

圖1是示出本實(shí)施例中的hmd的概述的示例的示意圖。更具體地，圖1示出當(dāng)hmd100安裝到用戶的頭部時(shí)hmd100的一般側(cè)視圖的示例。

如圖1中所示，hmd100包括顯示面板101，其顯示對(duì)應(yīng)于獲取的圖像信息的三維(3d)圖像。更具體地，例如，顯示面板101在右側(cè)區(qū)域中顯示用于右眼的圖像并且在左側(cè)區(qū)域中顯示用于左眼的圖像。應(yīng)當(dāng)注意，顯示面板101不限于上述，并且例如可以配置成以用其它方式(例如通過幀序列方法)顯示3d圖像。在另一方面，顯示面板101包括例如液晶顯示面板101或有機(jī)電致發(fā)光(el)顯示面板101。另外，hmd100包括例如光學(xué)器件和距離改變部分。光學(xué)器件將顯示在顯示面板101上的圖像引導(dǎo)到用戶的眼睛，并且使用戶觀看對(duì)應(yīng)于圖像的虛擬圖像。距離改變部分通過移動(dòng)包括在光學(xué)器件中的透鏡或顯示面板101改變表示虛擬圖像由用戶觀看所處的距離的虛擬圖像距離。隨后將更詳細(xì)地描述光學(xué)器件和距離改變部分。

hmd100包括用于將hmd100安裝到用戶頭部的安裝帶102。應(yīng)當(dāng)注意，hmd100的上述配置僅僅是示例，并且本實(shí)施例不限于上述。

接著將給出本實(shí)施例中的hmd100的硬件配置的示例的描述。圖2是用于描述hmd的硬件配置的示例的示意圖。如圖2中所示，hmd100包括例如控制部分201，存儲(chǔ)部分202，通信部分203，操作部分204，顯示部分205，和驅(qū)動(dòng)部分206。應(yīng)當(dāng)注意，控制部分201、存儲(chǔ)部分202、通信部分203、操作部分204、顯示部分205和驅(qū)動(dòng)部分206通過內(nèi)部總線207彼此連接。

控制部分201是例如中央處理單元(cpu)，微處理器單元(mpu)等，并且根據(jù)存儲(chǔ)在存儲(chǔ)部分202中的程序進(jìn)行操作。存儲(chǔ)部分202包括例如信息記錄介質(zhì)，如只讀存儲(chǔ)器(rom)，隨機(jī)存取存儲(chǔ)器(ram)等，并且存儲(chǔ)由控制部分201執(zhí)行的程序。進(jìn)一步地，存儲(chǔ)部分202用作控制部分201的工作存儲(chǔ)器。應(yīng)該注意，可以通過經(jīng)由網(wǎng)絡(luò)下載提供程序?？商娲?，可以借助于各種計(jì)算機(jī)可讀信息記錄介質(zhì)提供程序，例如光盤(cd)-rom，數(shù)字通用盤(dvd)-rom，半導(dǎo)體存儲(chǔ)器等。

通信部分203經(jīng)由網(wǎng)絡(luò)將hmd100連接到其它信息處理裝置(例如，游戲裝置和服務(wù)器)(未示出)。操作部分204包括例如按鈕和控制器，并且將由用戶指示的操作的細(xì)節(jié)輸出到對(duì)應(yīng)于指示操作的控制部分201。顯示部分205對(duì)應(yīng)于上述顯示面板101，并且根據(jù)來自控制部分201的指令顯示信息。

驅(qū)動(dòng)部分206包括例如馬達(dá)(未示出)和向馬達(dá)提供驅(qū)動(dòng)電流的驅(qū)動(dòng)器(未示出)。驅(qū)動(dòng)器根據(jù)來自控制部分201的指令向馬達(dá)提供驅(qū)動(dòng)電流，因此使馬達(dá)旋轉(zhuǎn)。顯示部分205經(jīng)由齒輪部分(未示出)等連接到馬達(dá)，并且以這樣的方式支撐顯示部分205，使得作為馬達(dá)的旋轉(zhuǎn)的結(jié)果移動(dòng)顯示部分。換句話說，作為馬達(dá)的旋轉(zhuǎn)的結(jié)果，顯示部分205移動(dòng)，因此改變將隨后描述的虛擬圖像距離。應(yīng)當(dāng)注意，盡管作為馬達(dá)的旋轉(zhuǎn)的結(jié)果，驅(qū)動(dòng)部分206移動(dòng)顯示部分205，但是本實(shí)施例不限于上述配置，只要能夠改變虛擬圖像距離，例如通過移動(dòng)組成光學(xué)器件的透鏡。

應(yīng)當(dāng)注意，圖2中所示的hmd100的配置僅僅是示例，并且本實(shí)施例不限于此。例如，hmd100可以包括相機(jī)，并且配置成使得獲取對(duì)應(yīng)于來自相機(jī)的圖像信息的表示用戶的視線方向的視線方向信息(其隨后將進(jìn)行描述)。

接著將給出本實(shí)施例中的hmd100的控制部分201的功能配置的示例的描述。圖3是示出hmd的控制部分的功能配置的主要示例的示意圖。如圖3中所示，例如，hmd100功能上包括圖像信息獲取部分301，圖像信息生成部分302，深度信息獲取部分303，以及距離改變部分304。

圖像信息獲取部分301獲取圖像信息。更具體地，例如，圖像信息獲取部分301可以配置成獲取來自外部信息處理裝置(例如，游戲裝置或服務(wù)器)(未示出)的圖像信息或存儲(chǔ)在存儲(chǔ)部分202中的圖像信息。

例如，圖像信息生成部分302基于由圖像信息獲取部分301獲取的圖像信息，每幀生成在顯示面板101上顯示的幀圖像。幀圖像是用于在顯示面板101上顯示3d圖像的幀圖像，并且對(duì)應(yīng)于例如用于右眼和左眼的幀圖像或由如上所述的幀序列方法顯示的那些圖像。然后，顯示面板101顯示生成的幀圖像。

深度信息獲取部分303獲取對(duì)應(yīng)于幀圖像的深度信息。這里，深度信息對(duì)應(yīng)于例如將由用戶觀看的目標(biāo)的深度，例如從用戶的眼睛之間的中心到待觀看的目標(biāo)(虛擬圖像)的距離。更具體地，例如，深度信息獲取部分303包括如圖4中所示的視線方向獲取部分401和深度估計(jì)部分402。

視線方向獲取部件401獲取例如表示用戶的眼睛的視線方向的視線方向信息。更具體地，例如，視線方向信息對(duì)應(yīng)于從用戶的每個(gè)眼睛的位置到待觀看的對(duì)象的角度的每一個(gè)。深度估計(jì)部分402基于視線方向估計(jì)將由用戶觀看的目標(biāo)的深度(對(duì)應(yīng)于從用戶的眼睛的中心到待觀看的目標(biāo)(虛擬圖像)的距離)，獲取深度作為深度信息。更具體地，例如，深度估計(jì)部分402從用戶的眼睛之間的距離和每條視線的角度計(jì)算深度。應(yīng)當(dāng)注意，用戶的眼睛之間的距離對(duì)應(yīng)于例如放置在用戶的眼睛上的hmd100的開口的中心之間的距離。應(yīng)當(dāng)注意，上述深度信息的獲取僅僅是示例，并且本實(shí)施例不限于此。例如，可以識(shí)別從視線方向觀看的目標(biāo)，使得從其視差估計(jì)深度。對(duì)于視線方向信息等的獲取，例如，已知實(shí)時(shí)檢測(cè)視線方向的眼睛跟蹤(注視跟蹤)。所以，將省略進(jìn)一步的詳細(xì)描述。

可替代地，深度估計(jì)部分402可以配置成例如與圖像信息一起獲取深度圖，基于深度圖和視線方向信息獲取深度信息。預(yù)先設(shè)置深度圖以表示包括在圖像信息中的每個(gè)目標(biāo)的深度信息。進(jìn)一步可替代地，例如，可以省略視線方向獲取部分401，使得基于例如給定典型點(diǎn)(例如所顯示的圖像的中心部分)使用深度圖獲取深度信息。應(yīng)當(dāng)注意，在該情況下，深度圖可以僅包括典型點(diǎn)的深度信息。另一方面，為了生成圖像信息或其它目的，預(yù)先生成并設(shè)置深度圖。例如，圖像信息獲取部分301與圖像信息一起獲取深度圖。

距離改變部分304通過基于深度信息指示驅(qū)動(dòng)部分206改變將由用戶觀看的虛擬圖像的虛擬圖像距離。也就是說，距離改變部分基于待觀看的目標(biāo)的一幀深度改變虛擬圖像距離。應(yīng)當(dāng)注意，本實(shí)施例不限于待觀看的目標(biāo)的一幀深度，并且可以基于幾幀的深度或在幾幀上獲取的深度的統(tǒng)計(jì)值(如平均)來改變虛擬圖像距離。更具體地，將描述一種情況作為示例，其中光學(xué)器件包括用于每只眼睛的一個(gè)透鏡，并且距離改變部分304移動(dòng)顯示面板101以改變透鏡和顯示面板101之間的距離以簡(jiǎn)化描述。

圖5a和5b是用于描述本實(shí)施例中的虛擬圖像距離的變化的示意圖。例如，如果獲取的深度信息大(即，如果呈現(xiàn)在遠(yuǎn)距離處觀看的虛擬圖像)，則距離改變部分304遠(yuǎn)離透鏡501移動(dòng)顯示面板101，如圖5b中所示。另一方面，如果獲取的深度信息小(即，如果呈現(xiàn)在近距離處觀看的虛擬圖像)，距離改變部分304朝著透鏡501移動(dòng)顯示面板101，如圖5a中所示。應(yīng)當(dāng)注意，已知的馬達(dá)、齒輪和其它部件用于移動(dòng)顯示面板101。所以，將省略對(duì)移動(dòng)機(jī)構(gòu)本身的描述。應(yīng)當(dāng)注意，例如，為hmd100中的每個(gè)用戶的眼睛503提供透鏡501，如圖5a和5b中所示，使得用戶經(jīng)由透鏡501在基于透鏡501和顯示面板501之間的距離的虛擬圖像距離處觀看顯示在顯示面板101上的圖像。應(yīng)當(dāng)注意，圖5a中的箭頭502指示顯示面板101的運(yùn)動(dòng)的方向。

這里，為了將虛擬圖像距離增加到焦距的k倍，必須將透鏡501和顯示面板101之間的間隙朝著透鏡501的側(cè)移動(dòng)1/k的焦距。例如，如圖6中所示，如果焦距為5cm，并且如果虛擬圖像距離從1m變化到無窮大，則顯示面板101需要2.5mm的運(yùn)動(dòng)范圍。所以，在該情況下，僅僅必須確保距離改變部分304可以在直到2.5mm的范圍內(nèi)移動(dòng)顯示面板101。該配置使得可以將虛擬圖像距離從給定的短距離改變到無窮大，例如，如圖7a和7b中所示。這里，圖7a示出了其中虛擬圖像距離短的情況，并且圖7b示出了其中虛擬圖像距離為無窮大的情況。

應(yīng)當(dāng)注意，盡管上面描述了其中光學(xué)器件主要包括用于每只眼睛的一個(gè)透鏡501的情況，但是光學(xué)器件可以包括多個(gè)透鏡。不用說，盡管在該情況下的操作與上述其中光學(xué)器件包括一個(gè)透鏡的情況不同，但是對(duì)應(yīng)于深度信息而改變虛擬圖像距離。

接著將給出本實(shí)施例中的hmd100的一般處理流程的示例的描述。圖8是示出本實(shí)施例中的hmd100的一般處理流程的示例的示意圖。

如圖8中所示，圖像信息生成部分302例如基于由圖像信息獲取部分301獲取的圖像信息，每幀生成將在顯示面板101上顯示的幀圖像(s101)。顯示面板101顯示生成的幀圖像(s102)。深度信息獲取部分303獲取對(duì)應(yīng)于幀圖像的深度信息(s103)。如上所述，深度信息可以例如從視線方向估計(jì)或者基于深度圖獲取。距離改變部分304基于深度信息改變虛擬圖像距離(s104)。

接著，圖像信息生成部分302確定是否完成所有圖像信息的顯示(s105)。更具體地，例如，當(dāng)用戶終止圖像信息的顯示或最后幀圖像的生成完成時(shí)，圖像信息生成部分302確定所有圖像信息的顯示完成。

然后，如果圖像信息生成部分302確定所有圖像信息的顯示尚未完成，則圖像信息生成部分302返回到s101并且重復(fù)從s102到s104的流程，例如顯示將在顯示面板101上接著顯示的幀圖像。另一方面，當(dāng)圖像信息生成部分302確定所有圖像信息的顯示完成時(shí)，圖像信息生成部分302終止流程。

應(yīng)當(dāng)注意，上述處理流程僅僅是示例，并且本實(shí)施例不限于上述。例如，盡管在上述流程中描述了其中基于主要每個(gè)幀圖像的相應(yīng)深度信息移動(dòng)顯示面板101的情況，但是如上所述，可以通過獲取每給定數(shù)量的幀圖像(例如，每給定數(shù)量的幀圖像)的深度信息來移動(dòng)顯示面板101。另一方面，如果使用上述深度圖來估計(jì)深度信息，例如，可以在s102之前獲取深度信息。

本實(shí)施例實(shí)現(xiàn)了一種頭戴式顯示器等，其允許在虛擬圖像距離處觀看待觀看的目標(biāo)，所述虛擬圖像距離對(duì)應(yīng)于例如實(shí)際目標(biāo)深度，在目標(biāo)的拍攝期間在相機(jī)和待觀看的目標(biāo)之間的距離，或在計(jì)算機(jī)圖形學(xué)中預(yù)期的到目標(biāo)的距離。例如，這使得用戶可以更自然地觀看待觀看的目標(biāo)并且以更現(xiàn)實(shí)的方式觀看待觀看的目標(biāo)。

本發(fā)明不限于上述實(shí)施例，并且可以用基本相同、提供相同效果或?qū)崿F(xiàn)相同目的的配置替換上述實(shí)施例中所示的配置。

例如，盡管上面描述了其中作為示例，虛擬圖像距離主要對(duì)應(yīng)于深度信息從1m動(dòng)態(tài)地改變到無窮大的情況，但是可以提供給定的設(shè)定模式來限制虛擬圖像距離范圍。更具體地，虛擬圖像距離可以在第一設(shè)定模式中限制在從1到10m的范圍內(nèi)，并且可以在第二設(shè)定模式中限制在從10m到無窮大的范圍。在該情況下，可以在對(duì)應(yīng)于每個(gè)用戶的期望的范圍內(nèi)觀看虛擬圖像。更具體地，例如，如果用戶近視則使用上述第一設(shè)定模式，如果用戶遠(yuǎn)視則使用上述第二設(shè)定模式，因此允許用戶在舒適可見的虛擬圖像距離處觀看目標(biāo)。

進(jìn)一步地，可以提供一種模式，其中虛擬圖像距離改變?yōu)橥ㄟ^將深度信息乘以對(duì)應(yīng)于深度信息的給定值而獲得的虛擬圖像距離。例如，當(dāng)深度信息為1m時(shí)，虛擬圖像距離為10m，并且當(dāng)深度信息為10m時(shí)，虛擬圖像距離為100m。

可替代地，例如，當(dāng)深度信息等于給定值或更大時(shí)，可以改變虛擬圖像距離到更遠(yuǎn)的距離，并且當(dāng)深度信息等于給定值或更小時(shí)，可以改變虛擬圖像距離到更近的距離。取決于圖像信息，這可以提供更令人印象深刻的觀看體驗(yàn)等。

進(jìn)一步地，在場(chǎng)景變化之后的給定的時(shí)間段內(nèi)虛擬圖像距離保持不變的情況下，可以確定由圖像信息表示的場(chǎng)景是否已改變，使得在給定的時(shí)間段內(nèi)，對(duì)應(yīng)于視線方向改變虛擬圖像距離。結(jié)果，例如，即使出現(xiàn)其中虛擬圖像距離從無窮大突然向近距離改變的場(chǎng)景，用戶可以更加舒適地觀看待觀看的目標(biāo)。

進(jìn)一步地，距離改變部分304可以在視線移動(dòng)之后改變虛擬圖像距離，并且在視線移動(dòng)期間維持虛擬圖像距離不變。更具體地，例如，當(dāng)視線方向獲取部分401正在檢測(cè)視線方向的移動(dòng)時(shí)，距離改變部分304保持虛擬圖像距離不變，并且在視線的移動(dòng)停止之后改變虛擬圖像距離。更具體地，例如，當(dāng)視線在給定的時(shí)間段內(nèi)保持不變時(shí)，改變虛擬圖像距離。可替代地，如果視線移動(dòng)給定的距離或更大，則虛擬圖像距離可以保持不變。這使得用戶可以更舒適地觀看待觀看的目標(biāo)。

進(jìn)一步地，盡管上面描述了其中hmd100主要處理諸如圖像信息的生成和深度信息的估計(jì)的流程的情況，但這些流程可以由連接到hmd100的信息處理裝置(例如，游戲裝置或服務(wù)器)處理。更具體地，例如，hmd100可以配置成獲取視差方向信息，將視差方向發(fā)送到信息處理裝置，并獲取由信息處理裝置生成的深度信息。

更進(jìn)一步地，盡管以上引用了hmd100作為虛擬圖像距離改變裝置的一個(gè)示例，但是虛擬圖像距離改變裝置包括允許通過諸如電子取景器、數(shù)字顯微鏡目鏡和電子雙筒望遠(yuǎn)鏡的光學(xué)器件觀察光源(漫射反射光)的裝置。

應(yīng)當(dāng)注意，上述修改示例可以組合使用，例如在用戶的視線的移動(dòng)期間保持虛擬圖像距離不變，同時(shí)使用深度圖，只要它們彼此兼容。