本發(fā)明涉及立體圖像呈現(xiàn)裝置、立體圖像呈現(xiàn)方法和頭戴式顯示器。

背景技術(shù)：

近來，用于呈現(xiàn)立體視頻的技術(shù)的發(fā)展已取得進(jìn)展，并且能夠呈現(xiàn)具有深度的立體視頻的頭戴式顯示器(在下文中描述為“HMD”)已擴(kuò)展。這樣的HMD包括遮蔽HMD，其完全覆蓋和遮蔽佩戴HMD的用戶的視野，并且因此可以向觀察視頻的用戶提供深沉浸感。光學(xué)透視HMD也已作為另一種類型的HMD被開發(fā)。光學(xué)透視HMD是可以使用全息元件、半鍍銀鏡等向用戶呈現(xiàn)作為虛擬立體視頻的增強(qiáng)現(xiàn)實(shí)(AR)圖像并且以透視方式向用戶呈現(xiàn)在HMD外部的真實(shí)空間的狀態(tài)的立體圖像裝置。

技術(shù)實(shí)現(xiàn)要素：

[技術(shù)問題]

這些HMD是用于向用戶呈現(xiàn)立體視頻的裝置。期望減少給予佩戴HMD的用戶的視覺陌生感，并且增強(qiáng)由HMD呈現(xiàn)的立體視頻的立體效果以給出更深的沉浸感。另外，當(dāng)光學(xué)透視HMD呈現(xiàn)AR圖像時(shí)，以疊加在真實(shí)空間上的方式顯示AR圖像。所以，當(dāng)三維對(duì)象特別地呈現(xiàn)為AR圖像時(shí)，期望的是，對(duì)于光學(xué)透視HMD的用戶，AR圖像看起來與真實(shí)空間中的對(duì)象協(xié)調(diào)而不導(dǎo)致陌生感。因此期望一種改善AR圖像的立體效果的技術(shù)。

本發(fā)明的目的是提供一種技術(shù)，其改善由立體圖像呈現(xiàn)裝置呈現(xiàn)的圖像的立體效果。

[問題的解決方案]

為了解決以上問題，根據(jù)本發(fā)明的模式，提供了一種立體圖像呈現(xiàn)裝置，其包括：圖像獲取部分，其配置成獲取待呈現(xiàn)的圖像；以及圖像呈現(xiàn)部分，其配置成將由所述圖像獲取部分獲取的圖像的虛擬圖像呈現(xiàn)給所述立體圖像呈現(xiàn)裝置的用戶的視野。所述圖像呈現(xiàn)部分配置成能夠改變呈現(xiàn)給用戶的虛擬圖像的位置，并且基于出現(xiàn)在圖像中的對(duì)象的深度信息來改變呈現(xiàn)虛擬圖像的位置。

本發(fā)明的另一模式是一種由立體圖像呈現(xiàn)裝置的處理器執(zhí)行的圖像呈現(xiàn)方法。該方法包括獲取待呈現(xiàn)的對(duì)象的圖像的步驟，基于對(duì)象的深度信息設(shè)置呈現(xiàn)圖像的虛擬圖像的位置的步驟，以及在設(shè)置位置處呈現(xiàn)虛擬圖像的步驟。

本發(fā)明的又一模式是一種用于呈現(xiàn)立體圖像的頭戴式顯示器。該頭戴式顯示器包括：圖像獲取部分，其配置成獲取待呈現(xiàn)的圖像；以及圖像呈現(xiàn)部分，其配置成向佩戴所述頭戴式顯示器的用戶呈現(xiàn)由所述圖像獲取部分獲取的圖像的虛擬圖像。所述圖像呈現(xiàn)部分包括配置成顯示圖像的多個(gè)透射顯示部分，和配置成生成由所述多個(gè)透射顯示部分的每一個(gè)顯示的圖像的虛擬圖像的光學(xué)元件。所述多個(gè)透射顯示部分并排設(shè)在所述圖像呈現(xiàn)部分的光路上，并且所述光學(xué)元件在所述圖像呈現(xiàn)部分的光路中設(shè)在用戶的眼睛和所述多個(gè)透射顯示部分之間。

本發(fā)明的又一模式是一種用于使計(jì)算機(jī)實(shí)現(xiàn)上述方法的每個(gè)步驟的程序。

該程序例如可以提供為包含在用于執(zhí)行硬件資源的基本控制的裝置(例如包括在HMD中的計(jì)算機(jī))中的固件的一部分。該固件例如存儲(chǔ)在諸如只讀存儲(chǔ)器(ROM)的半導(dǎo)體存儲(chǔ)器或裝置內(nèi)的閃存中。為了提供該固件，或者為了更新固件的一部分，可以提供其上記錄有程序的計(jì)算機(jī)可讀記錄介質(zhì)，并且可以通過通信線傳輸程序。

應(yīng)當(dāng)注意以上組成元件的任意組合以及通過在方法、裝置、系統(tǒng)、計(jì)算機(jī)程序、數(shù)據(jù)結(jié)構(gòu)、記錄介質(zhì)等之間轉(zhuǎn)換本發(fā)明的表達(dá)而獲取的模式作為本發(fā)明的模式也是有效的。

[發(fā)明的有利效果]

根據(jù)本發(fā)明，可以改善由立體圖像呈現(xiàn)裝置呈現(xiàn)的圖像的立體效果。

附圖說明

圖1是示意性地顯示根據(jù)實(shí)施例的HMD的外觀的示例的圖。

圖2(a)和2(b)是示意性地顯示虛擬三維空間中的對(duì)象和疊加在真實(shí)空間上的對(duì)象之間的關(guān)系的圖。

圖3是輔助解釋凸透鏡的透鏡公式的圖。

圖4是示意性地顯示提供給根據(jù)實(shí)施例的HMD的光學(xué)系統(tǒng)的圖。

圖5是顯示將由透射顯示元件顯示以在不同位置處呈現(xiàn)具有相同尺寸的虛擬圖像的圖像的圖。

圖6是示意性地顯示根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置的功能配置的圖。

圖7(a)和7(b)是示意性地顯示由根據(jù)實(shí)施例的部分區(qū)域生成部分生成的多個(gè)部分區(qū)域和包括在部分區(qū)域的每一個(gè)中的虛擬對(duì)象之間的關(guān)系的示例的圖。

圖8是示意性地顯示由根據(jù)實(shí)施例的繪制部分生成的圖像的示例的圖。

圖9是輔助解釋由根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置執(zhí)行的立體圖像呈現(xiàn)處理的流程的流程圖。

圖10是示意性地顯示焦距可變的凸透鏡和焦距的圖。

圖11是顯示為了在不同位置處呈現(xiàn)具有相同尺寸的虛擬圖像凸透鏡的焦點(diǎn)將定位的位置的圖。

圖12(a)和12(b)是示意性地顯示根據(jù)第二變形例的立體圖像呈現(xiàn)裝置的光學(xué)系統(tǒng)的圖。

圖13(a)和13(b)是示意性地顯示根據(jù)第三變形例的立體圖像呈現(xiàn)裝置的光學(xué)系統(tǒng)的圖。

圖14(a)和14(b)是示意性地顯示根據(jù)第四變形例的立體圖像呈現(xiàn)裝置的光學(xué)系統(tǒng)的圖。

具體實(shí)施方式

以下將參考附圖詳細(xì)描述用于實(shí)施本發(fā)明的模式。順便提及，在描述中，相同的元件由相同的附圖標(biāo)記表示，并且將視情況省略其重復(fù)描述。另外，下面將描述的配置是示例性的，并且不完全限制本發(fā)明的范圍。

圖1是示意性地顯示根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置100的外觀的示例的圖。立體圖像呈現(xiàn)裝置100可以通過例如遮蔽HMD或光學(xué)透視HMD實(shí)現(xiàn)。立體圖像呈現(xiàn)裝置100包括容納呈現(xiàn)部分120的殼體160，成像元件140和各種模塊。在本說明書中，立體圖像呈現(xiàn)裝置100將在下文中簡(jiǎn)單地描述為HMD，除非要特別區(qū)分諸如遮蔽HMD或光學(xué)透視HMD的HMD的類型。因此，HMD包括遮蔽HMD和光學(xué)透視HMD。

呈現(xiàn)部分120向用戶的眼睛呈現(xiàn)立體視頻。更具體地，呈現(xiàn)部分120向用戶的眼睛單獨(dú)呈現(xiàn)用于左眼的視差圖像和用于右眼的視差圖像。呈現(xiàn)部分120由此可以呈現(xiàn)向用戶提供深度感的立體視頻。成像元件140對(duì)存在于包括佩戴立體圖像呈現(xiàn)裝置100的用戶的視野的區(qū)域中的被攝體進(jìn)行成像。所以，當(dāng)用戶佩戴立體圖像呈現(xiàn)裝置100時(shí)成像元件140安裝成在用戶的前額的中間周圍布置。成像元件140可以通過使用諸如電荷耦合器件(CCD)圖像傳感器、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器的已知固態(tài)成像元件來實(shí)現(xiàn)。

殼體160在立體圖像呈現(xiàn)裝置100中起到框架的作用，并且容納由立體圖像呈現(xiàn)裝置100使用的各種模塊(未顯示)。由立體圖像呈現(xiàn)裝置100使用的模塊是包括全息導(dǎo)光板的光學(xué)部件，和用于改變這些光學(xué)部件的位置的馬達(dá)，以及通信模塊，如Wi-Fi(注冊(cè)商標(biāo))模塊，電子羅盤，加速度傳感器，傾斜傳感器，全球定位系統(tǒng)GPS)傳感器，照度傳感器，用于控制和操作這些部件的中央處理單元(CPU)，用作CPU的工作區(qū)域的存儲(chǔ)器等。這些模塊是示例性的，并且立體圖像呈現(xiàn)裝置100不一定需要包括所有這些模塊。根據(jù)立體圖像呈現(xiàn)裝置100采用的使用場(chǎng)景確定包括哪些模塊就足夠了。

圖1是顯示使用眼鏡型的HMD作為立體圖像呈現(xiàn)裝置100的示例的圖。可以想到立體圖像呈現(xiàn)裝置100的形狀的各種其它變型，如頭飾形狀，圍繞用戶的頭部放置并固定的帶形狀，以及覆蓋用戶的整個(gè)頭部的頭盔形狀。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)容易理解，在本發(fā)明的實(shí)施例中包括任何形狀的立體圖像呈現(xiàn)裝置100。

下面將參考圖2至5描述改善由根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置100呈現(xiàn)的圖像的立體效果的原理。下面將描述立體圖像呈現(xiàn)裝置100以疊加在真實(shí)空間上的方式顯示AR圖像的情況。然而，由立體圖像呈現(xiàn)裝置100呈現(xiàn)的圖像不限于AR圖像，而是也可以應(yīng)用為包括用于左眼的視差圖像和用于右眼的視差圖像的立體視頻，如三維(3D)電影。稍后將作為實(shí)施例的第八變形例描述后一種情況。

圖2(a)和2(b)是示意性地顯示虛擬三維空間中的對(duì)象和疊加在現(xiàn)實(shí)空間上的對(duì)象之間的關(guān)系的圖。

圖2(a)是顯示在虛擬三維空間(在下文中描述為“虛擬空間”)中設(shè)置的虛擬照相機(jī)(在下文中描述為“虛擬照相機(jī)300”)正在拍攝虛擬對(duì)象(在下文中描述為“虛擬對(duì)象304”)的狀態(tài)的圖。在虛擬空間中設(shè)置用于限定虛擬對(duì)象304的位置坐標(biāo)的虛擬三維正交坐標(biāo)系(在下文中描述為“虛擬坐標(biāo)系302”)。

虛擬照相機(jī)300是虛擬雙目照相機(jī)。虛擬照相機(jī)300生成用于用戶的左眼的視差圖像和用于用戶的右眼的視差圖像。從虛擬照相機(jī)300拍攝的虛擬對(duì)象304的圖像根據(jù)在虛擬空間中從虛擬照相機(jī)300到虛擬對(duì)象304的距離變化。

圖2(b)是顯示從虛擬空間中的虛擬照相機(jī)300觀看的虛擬對(duì)象304的圖像以疊加在真實(shí)空間上的方式顯示的狀態(tài)的圖。圖2(b)中的桌子310是作為存在于真實(shí)空間中的真實(shí)物體的桌子。當(dāng)佩戴立體圖像呈現(xiàn)裝置100的用戶用左眼308a和右眼308b觀察桌子310時(shí)，用戶觀察到仿佛虛擬對(duì)象304放置在桌子310上。因此以疊加在真實(shí)空間中存在的真實(shí)物體上的方式顯示的圖像是AR圖像。在下文中，在本說明書中，用戶的左眼308a和右眼308b將簡(jiǎn)單地描述為“視點(diǎn)308”，除非特別地彼此區(qū)分。

與在虛擬空間中一樣，也在真實(shí)空間中設(shè)置用于限定虛擬對(duì)象304的位置坐標(biāo)的三維正交坐標(biāo)系(三維正交坐標(biāo)系將在下文中描述為“真實(shí)坐標(biāo)系306”)。立體圖像呈現(xiàn)裝置100參考虛擬坐標(biāo)系302和真實(shí)坐標(biāo)系306，并且根據(jù)在虛擬空間中從虛擬照相機(jī)300到虛擬對(duì)象304的距離改變真實(shí)空間中的虛擬對(duì)象304的呈現(xiàn)位置。更具體地，當(dāng)在虛擬空間中從虛擬照相機(jī)300到虛擬對(duì)象304的距離變得更長(zhǎng)時(shí)，立體圖像呈現(xiàn)裝置100將虛擬對(duì)象304的虛擬圖像布置在真實(shí)空間中的更遠(yuǎn)離視點(diǎn)308的位置。

圖3是輔助解釋凸透鏡的透鏡公式的圖。更具體地，圖3是在對(duì)象存在于凸透鏡312的焦點(diǎn)的內(nèi)側(cè)的情況下輔助解釋對(duì)象314的對(duì)象314和虛擬圖像316之間的關(guān)系的圖。如圖3中所示，在視點(diǎn)308的視線的方向上設(shè)置Z軸，并且凸透鏡312布置成使得凸透鏡312的光軸和Z軸在Z軸上彼此重合。凸透鏡312的焦距為F。對(duì)象314相對(duì)于凸透鏡312布置在與視點(diǎn)308相對(duì)的一側(cè)從而與凸透鏡312分離距離A(A<F)。也就是說，在圖3中，對(duì)象314布置在凸透鏡312的焦點(diǎn)的內(nèi)側(cè)。在該情況下，當(dāng)從視點(diǎn)308觀看對(duì)象314時(shí)，對(duì)象314在與凸透鏡312分離距離B(F<B)的位置處作為虛擬圖像316被觀察。

在該情況下，距離A、距離B和焦距F之間的關(guān)系由以下等式(1)表達(dá)的已知透鏡公式限定：

1/A-1/B＝1/F (1)

另外，虛擬圖像316的尺寸Q(圖3中的虛線箭頭的長(zhǎng)度)與對(duì)象314的尺寸P(圖3中的實(shí)線箭頭的長(zhǎng)度)的比率，即放大率m＝Q/P，由以下等式(2)表達(dá)：

m＝B/A (2)

等式(1)還可以被認(rèn)為指示為了在相對(duì)于凸透鏡312與視點(diǎn)308相對(duì)的一側(cè)在與凸透鏡312分離距離B的位置處呈現(xiàn)虛擬圖像316由對(duì)象314的距離A和焦距F滿足的關(guān)系。將考慮例如凸透鏡312的焦距F固定的情況。在該情況下，當(dāng)修改等式(1)時(shí)，距離A可以在以下等式(3)表達(dá)為距離B的函數(shù)。

A(B)＝FB/(F+B)＝F/(1+F/B) (4)

等式(4)指示當(dāng)凸透鏡的焦距為F時(shí)為了在距離B的位置處呈現(xiàn)虛擬圖像316布置對(duì)象314的位置。從等式(4)可以清楚，距離B越大，距離A越大。

另外，當(dāng)通過將等式(1)代入等式(2)中修改等式(2)時(shí)，為了在距離B的位置處呈現(xiàn)具有尺寸Q的虛擬圖像316由對(duì)象314采取的尺寸P可以在以下等式(5)中表達(dá)為：

P(B,Q)＝Q*F/(B+F) (5)

等式(5)表示作為距離B和虛擬圖像316的尺寸Q的函數(shù)由對(duì)象314采取的尺寸P。等式(5)指示虛擬圖像316的尺寸Q越大，對(duì)象314的尺寸P越大。它也指示虛擬圖像316的距離B越大，對(duì)象314的尺寸P越小。

圖4是示意性地顯示提供給根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置100的光學(xué)系統(tǒng)的圖。立體圖像呈現(xiàn)裝置100在殼體160內(nèi)包括凸透鏡312和多個(gè)透射顯示元件318。在圖4中，立體圖像呈現(xiàn)裝置100包括七個(gè)透射顯示元件，即透射顯示元件318a至318g。透射顯示元件318a至318g將在下文中統(tǒng)稱為“透射顯示元件318”，除非特別地彼此區(qū)分。

盡管沒有限制，但是透射顯示元件318a至318g的每一個(gè)例如可以通過使用透射有機(jī)電致發(fā)光(EL)來實(shí)現(xiàn)。盡管圖4示出立體圖像呈現(xiàn)裝置100包括七個(gè)透射顯示元件318的情況，但是透射顯示元件318的數(shù)量不限于七個(gè)。提供至少兩個(gè)透射顯示元件318就足夠了。

與圖3中所示的情況一樣，同樣在圖4中，在視點(diǎn)308的視線的方向上設(shè)置Z軸，并且凸透鏡312布置成使得凸透鏡312的光軸和Z軸在Z軸上彼此重合。凸透鏡312的焦距為F。圖4中的兩個(gè)點(diǎn)F均表示凸透鏡312的焦點(diǎn)。如圖4中所示，多個(gè)透射顯示元件318的每一個(gè)在相對(duì)于凸透鏡312與視點(diǎn)308相對(duì)的一側(cè)布置在凸透鏡312的焦點(diǎn)的內(nèi)側(cè)。因此，假設(shè)一個(gè)透射顯示元件318的厚度為d，可以布置的透射顯示元件318的最大數(shù)量為[F/d]。這里，[]是高斯符號(hào)，并且[x]表示等于或小于x的最大整數(shù)。

透射顯示元件318的每一個(gè)可以獨(dú)立地顯示不同圖像。透射顯示元件318是能夠透射可見光的部件。另外，多個(gè)透射顯示元件318均并排設(shè)在立體圖像呈現(xiàn)裝置100的光路上，即在凸透鏡312的光軸上。因此甚至由相對(duì)于視點(diǎn)308在遠(yuǎn)側(cè)的透射顯示元件318顯示的圖像通過相對(duì)于視點(diǎn)308在近側(cè)的透射顯示元件318，并且到達(dá)視點(diǎn)308。也就是說，由多個(gè)透射顯示元件318顯示的圖像以從視點(diǎn)308觀看彼此重疊的方式被觀察。

在該情況下，如上所述，凸透鏡312存在于視點(diǎn)308和透射顯示元件318之間。因此，當(dāng)從視點(diǎn)308觀看透射顯示元件318時(shí)，由多個(gè)透射顯示元件318顯示的圖像均根據(jù)等式(1)和等式(2)作為虛擬圖像被觀察。在這個(gè)意義上，凸透鏡312用作生成由多個(gè)透射顯示元件318顯示的圖像的相應(yīng)虛擬圖像的光學(xué)元件。

圖5是顯示將由透射顯示元件318顯示以在不同位置處呈現(xiàn)具有相同尺寸的虛擬圖像的圖像的圖。圖5顯示在離凸透鏡312的光學(xué)中心的距離B1、B2和B3處以相同尺寸Q呈現(xiàn)三個(gè)虛擬圖像316a、316b和316c的示例。另外，圖5中的圖像314a、314b和314c相應(yīng)地對(duì)應(yīng)于虛擬圖像316a、316b和316c。圖像314a、314b和314c均由多個(gè)透射顯示元件318中的一個(gè)顯示。順便提及，關(guān)于等式(1)中所示的透鏡公式，圖3中的對(duì)象314圖3對(duì)應(yīng)于由圖5中的透射顯示元件318顯示的圖像。因此，圖5中的圖像由與圖3中的對(duì)象314相同的附圖標(biāo)記314識(shí)別。

更具體地，圖像314a、314b和314c相應(yīng)地由位于與凸透鏡312的光學(xué)中心分離A1、A2和A3的位置處的透射顯示元件318顯示。這里，根據(jù)等式(4)，A1、A2和A3由以下相應(yīng)的等式給出。

A1＝F/(1+F/B1)

A2＝F/(1+F/B2)

A3＝F/(1+F/B3)

另外，從等式(5)，使用虛擬圖像316的尺寸Q由相應(yīng)的以下等式給出將顯示的圖像314a、314b和314c的尺寸P1、P2和P3。

P1＝Q*F/(B1+F)

P2＝Q*F/(B2+F)

P3＝Q*F/(B3+F)

通過因此改變用于顯示圖像314的透射顯示元件318，或換句話說，改變用于顯示圖像的透射顯示元件318的位置，可以改變呈現(xiàn)給用戶的虛擬圖像316的位置。另外，也可以通過改變顯示在透射顯示元件318上的圖像的尺寸控制將呈現(xiàn)的虛擬圖像316的尺寸。

在對(duì)象314位于凸透鏡312的焦點(diǎn)F的內(nèi)側(cè)的情況下已對(duì)對(duì)象314的位置和虛擬圖像316的位置之間的關(guān)系以及對(duì)象314的尺寸和虛擬圖像316的尺寸之間的關(guān)系進(jìn)行以上描述。接著將描述根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置100的功能配置。根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置100使用對(duì)象314和虛擬圖像316之間的上述關(guān)系。

圖6是示意性地顯示根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置100的功能配置的圖。立體圖像呈現(xiàn)裝置100包括圖像獲取部分102和圖像呈現(xiàn)部分104。圖6顯示用于實(shí)現(xiàn)根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置100的功能配置，但是未顯示其他配置。作為執(zhí)行圖6中的各種處理的功能塊描述的元件可以在硬件方面由CPU、主存儲(chǔ)器或容納在立體圖像呈現(xiàn)裝置100的殼體160內(nèi)的另一大規(guī)模集成電路(LSI)配置。另外，上述元件在軟件上方面由加載在主存儲(chǔ)器等中的程序?qū)崿F(xiàn)。因此，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，這些功能塊可以以各種形式實(shí)現(xiàn)，并且不限于這些形式之一。

圖像獲取部分102獲取將由立體圖像呈現(xiàn)裝置100呈現(xiàn)的圖像。圖像獲取部分102例如獲取虛擬對(duì)象304的圖像，所述圖像由設(shè)置在虛擬空間中的虛擬照相機(jī)300拍攝。由虛擬照相機(jī)300拍攝的圖像在該情況下是通過二維投影具有三維信息的虛擬對(duì)象304而獲取的二維圖像。圖像獲取部分102由在上面參考圖1描述的立體圖像呈現(xiàn)裝置100的殼體160內(nèi)實(shí)現(xiàn)的各種類型的模塊實(shí)現(xiàn)。稍后將描述圖像獲取部分102的細(xì)節(jié)。

圖像呈現(xiàn)部分104以疊加在由佩戴立體圖像呈現(xiàn)裝置100的用戶觀察的真實(shí)空間上的方式呈現(xiàn)由圖像獲取部分102獲取的圖像。在該情況下圖像呈現(xiàn)部分104在真實(shí)空間中呈現(xiàn)由圖像獲取部分102獲取的圖像的虛擬圖像316。圖像呈現(xiàn)部分104配置成能夠改變圖像的虛擬圖像316的位置，所述虛擬圖像在真實(shí)空間中呈現(xiàn)。圖像呈現(xiàn)部分104基于在呈現(xiàn)給用戶的圖像中出現(xiàn)的虛擬對(duì)象304的深度信息改變呈現(xiàn)虛擬圖像316的位置。

“深度信息”例如是反映當(dāng)向用戶呈現(xiàn)顯示某個(gè)被攝體的圖像并且用戶觀看被攝體時(shí)由用戶識(shí)別的距離感的信息。所以，虛擬對(duì)象304的“深度信息”的示例包括當(dāng)虛擬對(duì)象304被拍攝時(shí)從虛擬照相機(jī)300到虛擬對(duì)象304的距離。在該情況下，圖像呈現(xiàn)部分104基于在虛擬空間中從虛擬照相機(jī)300到虛擬對(duì)象304的距離改變由圖像獲取部分102獲取的圖像的虛擬圖像316的呈現(xiàn)位置。

具體地，在虛擬空間中從虛擬照相機(jī)300到虛擬對(duì)象304的距離短的情況下，與在虛擬空間中從虛擬照相機(jī)300到虛擬對(duì)象304的長(zhǎng)距離的情況相比，圖像呈現(xiàn)部分104在從佩戴立體圖像呈現(xiàn)裝置100的用戶觀看的近位置處呈現(xiàn)虛擬對(duì)象304的圖像的虛擬圖像316。另外，圖像呈現(xiàn)部分104根據(jù)將呈現(xiàn)的虛擬圖像316的位置生成對(duì)應(yīng)于虛擬圖像316的圖像314。在下面，將更詳細(xì)地描述由圖像獲取部分102生成圖像314的方法和由圖像呈現(xiàn)部分104呈現(xiàn)虛擬圖像316的方法。

如圖6中所示，圖像獲取部分102包括部分區(qū)域生成部分106，繪制部分108，虛擬照相機(jī)設(shè)置部分110，和對(duì)象設(shè)置部分112。另外，圖像呈現(xiàn)部分104包括虛擬圖像呈現(xiàn)部分114和虛擬圖像位置設(shè)置部分116。

對(duì)象設(shè)置部分112在虛擬空間內(nèi)設(shè)置用作將呈現(xiàn)給立體圖像呈現(xiàn)裝置100的用戶的AR圖像的基礎(chǔ)的虛擬對(duì)象304。虛擬對(duì)象304例如由三維體素?cái)?shù)據(jù)構(gòu)成。對(duì)象設(shè)置部分112從立體圖像呈現(xiàn)裝置100的殼體160內(nèi)的未顯示的存儲(chǔ)部分讀出虛擬對(duì)象304的體素?cái)?shù)據(jù)?；蛘?，對(duì)象設(shè)置部分112可以經(jīng)由殼體160中的未顯示的Wi-Fi模塊從存在于立體圖像呈現(xiàn)裝置100外部的另一裝置無線通信獲取體素?cái)?shù)據(jù)。對(duì)象設(shè)置部分112還可以在虛擬空間內(nèi)設(shè)置虛擬光源以便照明設(shè)置在虛擬空間內(nèi)的虛擬對(duì)象304。

虛擬照相機(jī)設(shè)置部分110在虛擬空間內(nèi)設(shè)置用于觀察由對(duì)象設(shè)置部分112設(shè)置的虛擬對(duì)象304的虛擬照相機(jī)300。盡管沒有限制，但是虛擬照相機(jī)設(shè)置部分110可以根據(jù)提供給立體圖像呈現(xiàn)裝置100的成像元件140的運(yùn)動(dòng)改變虛擬空間內(nèi)的虛擬照相機(jī)的設(shè)置位置。

在該情況下，虛擬照相機(jī)設(shè)置部分110基于包括在殼體160中的各種傳感器(例如電子羅盤，加速度傳感器和傾斜傳感器)的輸出來檢測(cè)成像元件140的姿態(tài)和運(yùn)動(dòng)。虛擬照相機(jī)設(shè)置部分110改變虛擬照相機(jī)300的姿態(tài)和設(shè)置位置從而跟隨檢測(cè)到的成像元件140的姿態(tài)和運(yùn)動(dòng)。因此，從虛擬照相機(jī)300觀看的虛擬對(duì)象304的外觀可以改變從而跟隨佩戴立體圖像呈現(xiàn)裝置100的用戶的頭部的運(yùn)動(dòng)。這可以更加增強(qiáng)呈現(xiàn)給用戶的AR圖像的真實(shí)性。

部分區(qū)域生成部分106將包括虛擬對(duì)象304的處理目標(biāo)區(qū)域分割為多個(gè)部分區(qū)域。繪制部分108通過繪制從虛擬照相機(jī)300可觀察的部分生成由部分區(qū)域生成部分106生成的多個(gè)部分區(qū)域中包括的各個(gè)虛擬對(duì)象304的圖像。

圖7(a)和7(b)是示意性地顯示由根據(jù)實(shí)施例的部分區(qū)域生成部分106生成的多個(gè)部分區(qū)域和包括在每個(gè)部分區(qū)域中的虛擬對(duì)象304之間的關(guān)系的示例的圖。圖7(a)和7(b)顯示球形或卵形虛擬對(duì)象304由七個(gè)部分區(qū)域320a至320g定界的狀態(tài)。多個(gè)部分區(qū)域在下文中將統(tǒng)稱為“部分區(qū)域320”，除非特別地彼此區(qū)分。

部分區(qū)域生成部分106通過根據(jù)在虛擬空間中離虛擬照相機(jī)300的距離分割虛擬空間生成部分區(qū)域320。盡管沒有限制，但是部分區(qū)域生成部分106在虛擬空間中設(shè)置與虛擬照相機(jī)300的光軸(圖7中的z軸)垂直的多個(gè)平面，并且將夾在彼此相鄰的平面之間的區(qū)域設(shè)置為部分區(qū)域320。為了描述方便，限定部分區(qū)域320的平面將在下文中描述為“分割平面”。在圖7中，部分區(qū)域生成部分106設(shè)置七個(gè)分割平面，即分割平面322a至322g，并且生成七個(gè)部分區(qū)域320a至320g。順便提及，對(duì)于圖7中的部分區(qū)域320g，從分割平面322g到無限遠(yuǎn)的空間是部分區(qū)域320g。

圖7(a)是顯示從與虛擬照相機(jī)300的光軸垂直的方向(即與圖2中的虛擬坐標(biāo)系302的xy平面垂直的方向)觀看的虛擬對(duì)象304的狀態(tài)的圖。另外，圖7(b)是顯示從與圖2中的虛擬坐標(biāo)系302的xz平面垂直的方向觀看虛擬對(duì)象304的狀態(tài)的圖。

如圖7(b)中所示，虛擬對(duì)象304通過由部分區(qū)域生成部分106生成的部分區(qū)域320分割為多個(gè)片段。繪制部分108使用由部分區(qū)域320分段的虛擬對(duì)象304的片段的每一個(gè)作為單位繪制虛擬對(duì)象304。更具體地，繪制部分108在從虛擬照相機(jī)300觀看的范圍內(nèi)生成分段虛擬對(duì)象304的片段的每一個(gè)的圖像。

圖8是示意性地顯示由根據(jù)實(shí)施例的繪制部分108生成的圖像的示例的圖。圖8是顯示繪制部分108繪制圖7中所示的虛擬對(duì)象304的片段的每一個(gè)時(shí)生成的圖像的圖。

通過繪制虛擬對(duì)象304的片段相應(yīng)地獲取圖8中的圖像324a至324e，所述片段包括在圖7中的部分區(qū)域320a至320e中。圖7中的部分區(qū)域320a例如包括虛擬對(duì)象304的一部分，所述部分最靠近虛擬照相機(jī)300。因此當(dāng)從虛擬照相機(jī)觀看時(shí)包括在部分區(qū)域320a中的虛擬對(duì)象304的片段看起來像橢圓形。繪制部分108因此生成如圖8中的圖像324a表示的橢圓圖像324e。

類似地，當(dāng)從虛擬照相機(jī)300觀看時(shí)包括在圖7中的部分區(qū)域320b中的虛擬對(duì)象304的片段具有橢圓形狀。然而，包括在部分區(qū)域320a中的虛擬對(duì)象304的片段存在于包括在部分區(qū)域320b中的虛擬對(duì)象304的片段和虛擬照相機(jī)300之間。因此，在包括在部分區(qū)域320b中的虛擬對(duì)象304的片段中從虛擬照相機(jī)300可觀察到的部分具有如圖8中的圖像324b表示的環(huán)圈型形狀。繪制部分108因此生成圖像324b作為虛擬對(duì)象304的片段的圖像，所述片段包括在部分區(qū)域320b中。圖像324c至324e以類似的方式生成。

順便提及，在圖7中包括在部分區(qū)域320f和部分區(qū)域320g中的虛擬對(duì)象340的片段由虛擬對(duì)象340自身隱藏，并且因此不能從虛擬照相機(jī)300觀察。所以繪制部分108不生成虛擬對(duì)象340的片段的圖像，所述片段包括在部分區(qū)域320f和部分區(qū)域320g中。

描述返回圖6。虛擬圖像位置設(shè)置部分116根據(jù)在虛擬空間中從虛擬照相機(jī)300到部分區(qū)域320的距離設(shè)置呈現(xiàn)由繪制部分108生成的圖像的虛擬圖像316的位置。如上面參考圖3所述，圖像314的位置和虛擬圖像316的位置在一對(duì)一的基礎(chǔ)上彼此對(duì)應(yīng)。因此，如等式(4)指示，可以通過改變對(duì)應(yīng)于虛擬圖像316的圖像314控制呈現(xiàn)虛擬圖像316的位置。因此虛擬圖像位置設(shè)置部分116根據(jù)在虛擬空間中從虛擬照相機(jī)300到部分區(qū)域320的距離設(shè)置透射顯示元件318的位置以顯示由繪制部分108生成的圖像。更具體地，虛擬圖像位置設(shè)置部分116選擇存在于根據(jù)等式(4)導(dǎo)出的位置處的透射顯示元件318。

例如，虛擬圖像位置設(shè)置部分116選擇圖4中的透射顯示元件318a作為透射顯示元件318以顯示從虛擬對(duì)象304的片段產(chǎn)生的圖像，所述片段包括在圖7中的部分區(qū)域320a中。然后虛擬圖像位置設(shè)置部分116類似地選擇透射顯示元件318b至318g作為透射顯示元件318以顯示通過繪制相應(yīng)地包括在部分區(qū)域320b至320g中的虛擬對(duì)象304獲取的圖像。通過因此根據(jù)在空間中從虛擬照相機(jī)300到部分區(qū)域320的距離設(shè)置由繪制部分108生成的圖像的虛擬圖像316的呈現(xiàn)位置可以更立體地呈現(xiàn)AR圖像。這是因?yàn)?，?dāng)從用戶觀看時(shí)，虛擬對(duì)象304的深度方向上的信息在呈現(xiàn)的虛擬圖像316中被反映。

順便提及，如圖7中所示，部分區(qū)域320g包括從分割平面322g到無限遠(yuǎn)的空間。因此，繪制部分108按原樣舍入在部分區(qū)域320g中包括的虛擬對(duì)象304的深度方向上的信息，并且生成圖像。也就是說，在虛擬空間中位于離虛擬照相機(jī)300最遠(yuǎn)的位置處的分割平面322限定離虛擬照相機(jī)300的長(zhǎng)距離。

在圖7所示的示例中，分割平面322g是離虛擬照相機(jī)300最遠(yuǎn)的分割平面。因此，位于離虛擬照相機(jī)300最遠(yuǎn)的位置處的分割平面322和虛擬照相機(jī)300之間的距離設(shè)置為“遠(yuǎn)程參考距離”。部分區(qū)域生成部分106將與虛擬照相機(jī)300分離大于遠(yuǎn)程參考距離的區(qū)域設(shè)置為一個(gè)部分區(qū)域，即遠(yuǎn)程部分區(qū)域。位于離虛擬照相機(jī)300最遠(yuǎn)的位置處的分割平面322限定遠(yuǎn)程參考距離。所以，分割平面322也可以被稱為“遠(yuǎn)程參考平面”。

順便提及，遠(yuǎn)程參考距離由部分區(qū)域生成部分106設(shè)置。部分區(qū)域生成部分106將遠(yuǎn)程參考平面設(shè)置在與虛擬照相機(jī)300分離遠(yuǎn)程參考距離的位置。部分區(qū)域生成部分106將比設(shè)置的遠(yuǎn)程參考平面更靠近虛擬照相機(jī)300的區(qū)域分割為多個(gè)部分區(qū)域320。繪制部分108由此可以對(duì)存在于比遠(yuǎn)程參考距離更靠近虛擬照相機(jī)300的區(qū)域中的虛擬對(duì)象304精細(xì)地成像。也就是說，可以改善從存在于比該距離更靠近虛擬照相機(jī)300的區(qū)域中的虛擬對(duì)象304導(dǎo)出的AR圖像的立體效果。

這里，部分區(qū)域生成部分106執(zhí)行分割，使得多個(gè)部分區(qū)域320的每一個(gè)部分地與另一部分區(qū)域320重疊或者至少與另一部分區(qū)域320接觸。另外，部分區(qū)域生成部分106將最靠近虛擬照相機(jī)300的分割平面322設(shè)置成與虛擬照相機(jī)300接觸。繪制部分108由此可以在沒有遺漏的情況下繪制存在于虛擬空間中的虛擬對(duì)象304。

上面已描述根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置100的功能配置。接著將描述由立體圖像呈現(xiàn)裝置100執(zhí)行的應(yīng)用的示例。

根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置100可以使用殼體160內(nèi)的CPU執(zhí)行各種應(yīng)用。例如引用游戲應(yīng)用作為這樣的應(yīng)用的示例。

游戲應(yīng)用典型地包括可以由用戶操作的角色的圖像和其他圖像。在賽車游戲的情況下，例如，由用戶操作的車輛是角色，并且道路、對(duì)手的車輛等似乎構(gòu)成背景。在近年來的游戲應(yīng)用中，通常的做法是在虛擬空間中設(shè)置用于生成角色圖像的虛擬對(duì)象304和用于生成背景圖像的虛擬對(duì)象304，并且生成從虛擬照相機(jī)300觀看的投影圖像。當(dāng)立體圖像呈現(xiàn)裝置100執(zhí)行游戲應(yīng)用的程序時(shí)，圖像獲取部分102在虛擬空間中設(shè)置出現(xiàn)在游戲和背景中的角色的虛擬對(duì)象304，并且生成虛擬對(duì)象304的圖像。圖像呈現(xiàn)部分104向立體圖像呈現(xiàn)裝置100的用戶呈現(xiàn)由圖像獲取部分102生成的圖像的虛擬圖像316。

由圖像獲取部分102中的對(duì)象設(shè)置部分112在虛擬空間中設(shè)置的虛擬對(duì)象304被給予限定虛擬對(duì)象304的特性的一個(gè)或多個(gè)屬性。作為屬性的示例，例如有指示該角色是否可以由用戶操作的屬性。屬性的其他示例包括虛擬空間中的虛擬對(duì)象304的物理特性，如移動(dòng)速度，加速度，以及光的反射和吸收的程度。

虛擬對(duì)象304因此包括從預(yù)先設(shè)置的多個(gè)屬性中選擇的一個(gè)或多個(gè)屬性。部分區(qū)域生成部分106可以根據(jù)虛擬對(duì)象304的屬性來改變分割部分區(qū)域320的方法。

如上所述，離虛擬照相機(jī)300超過由部分區(qū)域生成部分106設(shè)置的遠(yuǎn)程參考距離的區(qū)域被收集為一個(gè)部分區(qū)域320作為遠(yuǎn)程區(qū)域。因此由繪制部分108在一個(gè)圖像中繪制存在于遠(yuǎn)程區(qū)域中的虛擬對(duì)象304。所以從存在于遠(yuǎn)程區(qū)域中的虛擬對(duì)象304導(dǎo)出的圖像的虛擬圖像316作為缺乏感知深度的圖像呈現(xiàn)給用戶。

據(jù)認(rèn)為由用戶在游戲應(yīng)用中操作的角色引起用戶的高度關(guān)注。所以，如果由用戶操作的角色的虛擬對(duì)象304包括在遠(yuǎn)程區(qū)域中，則實(shí)際呈現(xiàn)給用戶的虛擬圖像316可能缺乏感知深度。因此，當(dāng)虛擬對(duì)象304具有指示用戶可以操作的角色的角色屬性時(shí)，部分區(qū)域生成部分106設(shè)置遠(yuǎn)程參考距離，使得從遠(yuǎn)程部分區(qū)域排除虛擬對(duì)象304。具體地，部分區(qū)域生成部分106在具有角色屬性的虛擬對(duì)象304中，將遠(yuǎn)程參考平面設(shè)置在與離虛擬照相機(jī)300最遠(yuǎn)的位置處的虛擬對(duì)象304相同的位置或更遠(yuǎn)的位置。由此可以改善從至少由用戶操作的角色導(dǎo)出的AR圖像的立體效果。

圖9是輔助解釋由根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置100執(zhí)行的立體圖像呈現(xiàn)處理的流程的流程圖。例如，當(dāng)開始立體圖像呈現(xiàn)裝置100的電力供應(yīng)時(shí)，開始本流程圖中的處理。

對(duì)象設(shè)置部分112在虛擬空間中設(shè)置虛擬對(duì)象304(S2)。部分區(qū)域生成部分106獲取提供給由對(duì)象設(shè)置部分112設(shè)置的虛擬對(duì)象304的屬性(S4)。部分區(qū)域生成部分106根據(jù)獲取的虛擬對(duì)象304的屬性在虛擬空間中設(shè)置多個(gè)部分區(qū)域320(S6)。

虛擬圖像位置設(shè)置部分116針對(duì)由部分區(qū)域生成部分106生成的部分區(qū)域320的每一個(gè)設(shè)置呈現(xiàn)虛擬對(duì)象304的圖像的虛擬圖像316的位置(S8)。繪制部分108通過繪制包括在部分區(qū)域320中的虛擬對(duì)象304的一部分生成由部分區(qū)域生成部分106生成的部分區(qū)域320的每一個(gè)的圖像(S10)。虛擬圖像呈現(xiàn)部分114將由繪制部分108生成的圖像顯示在透射顯示元件318上，使得由繪制部分108生成的圖像的虛擬圖像316呈現(xiàn)在由虛擬圖像位置設(shè)置部分116設(shè)置的位置(S12)。

在虛擬圖像呈現(xiàn)部分114呈現(xiàn)虛擬圖像316之后，本流程圖中的處理結(jié)束。

如上所述，根據(jù)實(shí)施例的立體圖像呈現(xiàn)裝置100可以改善AR圖像的立體效果。

以上基于本發(fā)明的實(shí)施例已描述本發(fā)明。實(shí)施例是示例性的，并且本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，實(shí)施例的組成元件和處理過程的組合易于進(jìn)行各種修改，并且這樣的修改也落入本發(fā)明的范圍內(nèi)。

(第一變形例)

在上文中，已描述凸透鏡312的焦距固定的情況。所以，基于等式(1)，通過改變透射顯示元件318的位置控制虛擬圖像316的位置。代替該情況，從凸透鏡312的光學(xué)中心到透射顯示元件318的距離可以是固定的，并且凸透鏡312的焦距可以改變。這可以通過例如使用焦距可以改變的液晶透鏡作為凸透鏡312來實(shí)現(xiàn)?；蛘?，這可以通過采用具有彼此不同的焦距的多個(gè)透鏡互換的構(gòu)造來實(shí)現(xiàn)。透射顯示元件318的位置固定并且采用焦距可變的凸透鏡312的立體圖像呈現(xiàn)裝置100將在下面作為第一變形例進(jìn)行描述。

圖10是示意性地顯示焦距可變的凸透鏡312和焦距的圖。如圖10中所示，凸透鏡312具有在F1至F2的范圍內(nèi)可自由改變的焦距。例如，在圖10中，在由實(shí)線表示的凸透鏡312a的狀態(tài)下焦距為F1。另外，在由虛線表示的凸透鏡312b的狀態(tài)下焦距為F2。順便提及，盡管為了便于描述，圖10顯示凸透鏡312的厚度改變，但是凸透鏡312的厚度本身不必改變。例如，也可以通過改變具有雙折射的液晶的取向來改變焦距。

假設(shè)在等式(1)中，距離A是固定的，并且焦距F是可變的。在該情況下，當(dāng)修改等式(1)時(shí)，獲取以焦距F作為距離B的函數(shù)的以下等式(6)。

F(B)＝A/(1-A/B) (6)

等式(6)指示當(dāng)給定一定距離B時(shí)由焦距F滿足的值。等式(6)顯示距離B越長(zhǎng)，焦距F越大。

另外，為了在距離B的位置處呈現(xiàn)具有尺寸Q的虛擬圖像316由對(duì)象314采取的的尺寸P與上述等式(5)中相同。

圖11是顯示為了在不同位置處呈現(xiàn)具有相同尺寸的虛擬圖像316凸透鏡312的焦點(diǎn)F將定位的位置的圖。圖11顯示兩個(gè)虛擬圖像316a和316b在相應(yīng)地離凸透鏡312的光學(xué)中心的距離B1和距離B2處以相同尺寸Q呈現(xiàn)的示例。另外，在圖11中，圖像314a和圖像314b相應(yīng)地對(duì)應(yīng)于虛擬圖像316a和虛擬圖像316b。圖像314a和圖像314b由相同的透射顯示元件318顯示。

更具體地，圖像314a和圖像314b都由存在于與凸透鏡312的光學(xué)中心分離距離A的位置處的透射顯示元件318顯示。在該情況下，凸透鏡312的焦點(diǎn)F將定位的位置(即，焦距F1和焦距F2)由相應(yīng)的以下等式給出。

F1＝A/(1-A/B1)

F2＝A/(1-A/B2)

另外，從等式(5)，使用虛擬圖像316的尺寸Q通過相應(yīng)的以下等式給出將顯示的圖像314a和圖像314b的尺寸P1和P2。

P1＝Q*F/(B1+F)

P2＝Q*F/(B2+F)

因此改變凸透鏡312的焦距可以改變呈現(xiàn)給用戶的虛擬圖像316的位置。另外，可以通過改變顯示在透射顯示元件318上的圖像的尺寸來控制將呈現(xiàn)的虛擬圖像316的尺寸。在該情況下，從包括在相應(yīng)的部分區(qū)域320中的虛擬對(duì)象304導(dǎo)出的圖像314在時(shí)分基礎(chǔ)上按順序顯示。用戶可以由于用戶的視覺的持久性而立體地觀察虛擬圖像316。

順便提及，在使用諸如液晶透鏡的具有偏振性質(zhì)的光學(xué)元件的情況下，發(fā)生色差和亮度差異。因此，繪制部分108考慮偏振性質(zhì)理想地生成圖像。

(第二變形例)

已描述根據(jù)上述實(shí)施例的立體圖像呈現(xiàn)裝置100通過從多個(gè)透射顯示元件318中選擇透射顯示元件318以顯示圖像314來改變圖像314的顯示位置的情況。代替該情況，可以通過移動(dòng)透射顯示元件318來改變顯示圖像314的透射顯示元件318的物理位置。在透射顯示元件318的物理位置改變的情況下立體圖像呈現(xiàn)裝置100將在下面作為第二變形例進(jìn)行描述。

圖12(a)和12(b)是示意性地顯示根據(jù)第二變形例的立體圖像呈現(xiàn)裝置100的光學(xué)系統(tǒng)的圖。圖12(a)中所示的示例和圖12(b)中所示的示例都包括一個(gè)透射顯示元件318。該透射顯示元件318可以在圖12(a)和圖12(b)中所示的透射顯示元件318a和318b之間沿著凸透鏡312的光軸移動(dòng)。這可以通過例如使用圖中未顯示的馬達(dá)移動(dòng)透射顯示元件318來實(shí)現(xiàn)，所述馬達(dá)包括在立體圖像呈現(xiàn)裝置100的殼體160內(nèi)。

在圖12(a)所示的示例中，與圖4所示的示例中一樣，透射顯示元件318相對(duì)于凸透鏡312布置在與視點(diǎn)308相對(duì)的一側(cè)。在另一方面，在圖12(b)所示的示例中，提供諸如全息圖的光學(xué)元件326來代替凸透鏡312。當(dāng)光學(xué)元件326接收由透射顯示元件318顯示的圖像的光時(shí)，光學(xué)元件326可以將通過放大由透射顯示元件318顯示的圖像獲取的虛擬圖像呈現(xiàn)給視點(diǎn)308。

(第三變形例)

已描述根據(jù)上述的第二變形例的立體圖像呈現(xiàn)裝置100通過改變顯示圖像314的透射顯示元件318的物理位置來改變虛擬圖像316的位置的情況。代替該情況，透射顯示元件318的位置可以是固定的，并且透鏡可以移動(dòng)。在透鏡的物理位置改變的情況下立體圖像呈現(xiàn)裝置100將在下面作為第三變形例進(jìn)行描述。

圖13(a)和13(b)是示意性地顯示根據(jù)第三變形例的立體圖像呈現(xiàn)裝置100的光學(xué)系統(tǒng)的圖。在圖13(a)所示的示例和圖13(b)所示的示例兩者中，與圖12(a)和12(b)所示的示例中一樣，立體圖像呈現(xiàn)裝置100包括一個(gè)透射顯示元件318。

在圖13(a)所示的示例中，與圖4和圖12(a)所示的示例中一樣，立體圖像呈現(xiàn)裝置100包括一個(gè)凸透鏡312。在圖13(a)所示的示例中，圖中未顯示的馬達(dá)沿著凸透鏡312的光軸移動(dòng)凸透鏡312，所述馬達(dá)包括在立體圖像呈現(xiàn)裝置100的殼體160內(nèi)。具體地，馬達(dá)可以在圖13(a)中所示的凸透鏡312a和312b之間移動(dòng)凸透鏡312。由此可以改變凸透鏡312和透射顯示元件318之間的相對(duì)距離。因此可以改變呈現(xiàn)給視點(diǎn)308的虛擬圖像316的位置。

在圖13(b)所示的示例中，立體圖像呈現(xiàn)裝置100包括凹透鏡328和準(zhǔn)直透鏡330。圖中未顯示的馬達(dá)沿著凹透鏡328的光軸移動(dòng)凹透鏡328，所述馬達(dá)包括在立體圖像呈現(xiàn)裝置100的殼體160內(nèi)。具體地，馬達(dá)可以在圖13(b)中所示的凹透鏡328a和328b之間移動(dòng)凹透鏡328。由此，可以改變呈現(xiàn)給視點(diǎn)308的虛擬圖像的位置。

(第四變形例)

根據(jù)第二變形例的立體圖像呈現(xiàn)裝置100和根據(jù)上述的第三變形例的立體圖像呈現(xiàn)裝置100都是透射顯示元件318或諸如凸透鏡312的透鏡移動(dòng)以由此改變透射顯示元件318和透鏡之間的相對(duì)距離的示例。代替該情況，可以準(zhǔn)備透射顯示元件318和凸透鏡312的多個(gè)組，并且可以在選擇這些組的同時(shí)呈現(xiàn)虛擬圖像316?；蛘?，可以在凸透鏡312和透射顯示元件318之間插入具有可變折射率的光學(xué)元件以使凸透鏡312和透射顯示元件318之間的光路長(zhǎng)度可變。

圖14(a)和14(b)是示意性地顯示根據(jù)第四變形例的立體圖像呈現(xiàn)裝置100的光學(xué)系統(tǒng)的圖。

圖14(a)中所示的示例表示包括凸透鏡312和透射顯示元件318的多個(gè)組的立體圖像呈現(xiàn)裝置100的示例，所述組具有凸透鏡312和透射顯示元件318之間的不同距離。在圖14(a)所示的示例中，立體圖像呈現(xiàn)裝置100包括三個(gè)組，即，凸透鏡312a和透射顯示元件318a的組，凸透鏡312b和透射顯示元件318b的組，以及凸透鏡312c和透射顯示元件318c的組。圖14(a)中所示的立體圖像呈現(xiàn)裝置100還包括連接到圖中未顯示的馬達(dá)的半鍍銀鏡332。立體圖像呈現(xiàn)裝置100通過控制馬達(dá)來旋轉(zhuǎn)半鍍銀鏡332。立體圖像呈現(xiàn)裝置100由此可以將由透射顯示元件318中的一個(gè)顯示的圖像314的虛擬圖像316呈現(xiàn)給視點(diǎn)308。由于凸透鏡312和透射顯示元件318的組具有凸透鏡312和透射顯示元件318之間的相應(yīng)的不同距離，因此立體圖像呈現(xiàn)裝置100可以改變呈現(xiàn)給視點(diǎn)308的虛擬圖像316的位置。

圖14(b)顯示包括在凸透鏡312和透射顯示元件318之間具有可變折射率的光學(xué)元件334的立體圖像呈現(xiàn)裝置100的示例。通過改變光學(xué)元件334的折射率，圖14(b)中所示的立體圖像呈現(xiàn)裝置100改變凸透鏡312和透射顯示元件318之間的光學(xué)距離，即使凸透鏡312和透射顯示元件318之間的物理距離是固定的。立體圖像呈現(xiàn)裝置100由此可以改變呈現(xiàn)給視點(diǎn)308的圖像314的虛擬圖像316的位置。

(第五變形例)

在上文中，已描述改變透射顯示元件318的位置以改變提供給視點(diǎn)308的圖像314的虛擬圖像316的位置的情況。代替該情況，透射顯示元件318可以移動(dòng)以改善透射顯示元件318的可視分辨率。在該情況下，立體圖像呈現(xiàn)裝置100中的圖中未顯示的驅(qū)動(dòng)部分在從光軸偏移例如由透射顯示元件318顯示的圖像的每一幀中的像素的半個(gè)像素或1/4像素的方向上移位透射顯示元件318。與此可操作地關(guān)聯(lián)，虛擬照相機(jī)設(shè)置部分110移位安裝在虛擬照相機(jī)300中的虛擬照相機(jī)300的位置。因此，由于所謂的“無意識(shí)眼動(dòng)”的效果，可以改善呈現(xiàn)給立體圖像呈現(xiàn)裝置100的用戶的虛擬圖像316的可視分辨率。

(第六變形例)

在上文中，已描述顯示由繪制部分108生成的圖像的裝置是透射顯示元件318的情況。然而，當(dāng)立體圖像呈現(xiàn)裝置100僅包括一個(gè)顯示裝置時(shí)，顯示裝置可以例如是諸如液晶監(jiān)視器的非透射顯示裝置，而不是透射顯示裝置。

(第七變形例)

已描述根據(jù)前述實(shí)施例的立體圖像呈現(xiàn)裝置100通過設(shè)在殼體160中的CPU執(zhí)行游戲應(yīng)用的情況。代替該情況，或除此之外，立體圖像呈現(xiàn)裝置100可以通過無線電或有線連接到外部裝置(例如游戲控制臺(tái))，并且用作該裝置的輸出裝置。

(第八變形例)

在上文中，已描述立體圖像呈現(xiàn)裝置100以疊加的方式在真實(shí)空間中顯示AR圖像的情況。為此，基于出現(xiàn)在待呈現(xiàn)給用戶的圖像中的虛擬對(duì)象304的深度信息，圖像呈現(xiàn)部分104改變呈現(xiàn)該圖像的虛擬圖像的位置。然而，如上所述，“深度信息”例如是反映當(dāng)向用戶呈現(xiàn)顯示某個(gè)被攝體的圖像并且用戶觀看被攝體時(shí)由用戶識(shí)別的距離感的信息。因此，作為顯示對(duì)象出現(xiàn)在圖像中的被攝體不限于虛擬對(duì)象304，并且本發(fā)明例如也可應(yīng)用于諸如3D電影的立體視頻，其中實(shí)際存在的對(duì)象設(shè)置為被攝體并且由實(shí)際存在的照相機(jī)拍攝。在這個(gè)意義上，“對(duì)象”不僅包括虛擬對(duì)象，而且包括實(shí)際存在的對(duì)象，并且也可以被稱為立體圖像呈現(xiàn)裝置100的“繪制對(duì)象”。

將假設(shè)立體視頻是包括用于左眼的視差圖像和用于右眼的視差圖像的視頻進(jìn)行以下描述。

用于左眼的視差圖像和用于右眼的視差圖像是通過從相應(yīng)的不同方向或角度拍攝相同被攝體而獲取的圖像的集合。用于左眼的視差圖像和用于右眼的視差圖像通過拍攝相同被攝體而獲取，但是從不同的觀察點(diǎn)獲取。因此，被攝體在相應(yīng)的圖像中出現(xiàn)的方向或角度彼此不同。該差異被稱為“雙眼視差”。雙眼視差的幅度根據(jù)從觀察點(diǎn)到被攝體的距離而變化。也就是說，用于左眼的視差圖像和用于右眼的視差圖像的集合包括被攝體的深度信息。已知通過分析視差圖像的雙眼視差來獲取在視差圖像中拍攝的被攝體的深度信息的技術(shù)。

因此，圖像呈現(xiàn)部分104可以通過分析包括在立體視頻中的雙眼視差來獲取出現(xiàn)在立體視頻中的對(duì)象的深度信息。具體地，對(duì)象設(shè)置部分112基于用于左眼的視差圖像和用于右眼的視差圖像來獲取包括在立體視頻中的對(duì)象的深度信息，所述視差圖像包括在立體視頻中。更具體地，對(duì)象設(shè)置部分112針對(duì)包括在立體視頻中的視差圖像的每個(gè)像素獲取深度信息。由對(duì)象設(shè)置部分112針對(duì)每個(gè)像素獲取的深度信息是反映由每個(gè)像素表示的對(duì)象和拍攝對(duì)象的照相機(jī)之間的距離的信息。

部分區(qū)域生成部分106基于由對(duì)象設(shè)置部分112獲取的深度信息將待處理的立體視頻分割為多個(gè)部分區(qū)域。繪制部分108生成由包括在部分區(qū)域生成部分106所生成的多個(gè)部分區(qū)域的每一個(gè)中的像素組成的視頻。

虛擬圖像位置設(shè)置部分116基于由對(duì)象設(shè)置部分112獲取的深度信息設(shè)置呈現(xiàn)由繪制部分108生成的圖像的虛擬圖像316的位置。也就是說，虛擬圖像位置設(shè)置部分116基于由對(duì)象設(shè)置部分112獲取的深度信息設(shè)置透射顯示元件318的位置以顯示由繪制部分108生成的圖像。當(dāng)由對(duì)象設(shè)置部分112獲取的深度信息指示離用戶的長(zhǎng)距離時(shí)，與由對(duì)象設(shè)置部分112獲取的深度信息指示短距離的情況相比，虛擬圖像位置設(shè)置部分116將透射顯示元件318的位置設(shè)置為遠(yuǎn)離用戶的眼睛的位置。由于在包括被攝體的圖像的虛擬圖像的呈現(xiàn)位置反映被攝體的深度信息，因此可以改善呈現(xiàn)給用戶的立體視頻的立體效果。

順便提及，在深度信息被存儲(chǔ)為與構(gòu)成立體視頻的每個(gè)幀相關(guān)聯(lián)的情況下，例如，在拍攝立體視頻等時(shí)，繪制部分108和虛擬圖像位置設(shè)置部分116可以使用存儲(chǔ)的深度信息。這可以通過例如在拍攝被攝體時(shí)使用已知的三維位置測(cè)量裝置測(cè)量被攝體的三維位置來實(shí)現(xiàn)。可以省略視差圖像的后分析，這是有效的，原因是可以減小處理速度和功耗。另一個(gè)優(yōu)點(diǎn)在于獲取比通過后計(jì)算獲取的深度信息更精確的深度信息。

應(yīng)當(dāng)注意，通過組合上述實(shí)施例或每個(gè)變形例獲取的新實(shí)施例也包括在本發(fā)明的實(shí)施例中。例如，實(shí)施例和第二變形例可以彼此組合以構(gòu)造包括多個(gè)透射顯示元件318并且包括可移動(dòng)凸透鏡312的立體圖像呈現(xiàn)裝置100。

附圖標(biāo)記列表：

100立體圖像呈現(xiàn)裝置，102圖像獲取部分，104圖像呈現(xiàn)部分，106部分區(qū)域生成部分，108繪制部分，110虛擬照相機(jī)設(shè)置部分，112對(duì)象設(shè)置部分，114虛擬圖像呈現(xiàn)部分，116虛擬圖像位置設(shè)置部分，120呈現(xiàn)部分，140成像元件，160殼體，220部分區(qū)域，314圖像，316虛擬圖像，318透射顯示元件，320部分區(qū)域，326光學(xué)元件，334光學(xué)元件。

[工業(yè)實(shí)用性]

本發(fā)明可應(yīng)用于用于呈現(xiàn)立體圖像的技術(shù)。