技術(shù)領(lǐng)域
本發(fā)明涉及圖像處理領(lǐng)域,具體而言,涉及一種影像畫面的顯示控制方法、裝置及頭戴式顯示設(shè)備。
背景技術(shù):
隨著虛擬現(xiàn)實(VR)技術(shù)的發(fā)展,以O(shè)culus Rift、Cardboard、Gear VR等頭戴式可視設(shè)備(HMD),例如:VR眼鏡,為載體的VR應(yīng)用正在不斷興起,其可以帶給用戶前所未有的擬真度,從而使得用戶能夠完全沉浸在VR應(yīng)用世界中,具有很強的代入感。然而,以VR游戲為例,面對用戶中超過1/3的遠/近視群體,由于遠/近視易造成用戶難以看清游戲畫面,因而,極大地降低了用戶的游戲體驗。不僅僅是針對VR游戲,當用戶使用HMD設(shè)備進行其他活動,例如:觀看電視節(jié)目、電影時,也都會存在因遠/近視的問題而造成難以看清顯示畫面的困擾。因此,如何解決VR頭戴式顯示設(shè)備與遠/近視眼鏡之間的矛盾,成為業(yè)界各個生產(chǎn)廠商亟待解決的問題。
據(jù)統(tǒng)計,全球有20億人需要在日常生活中佩戴眼鏡,其中,在亞洲,有80%以上的青少年為近視群體??梢?,遠/近視問題存在全球的普遍性。
針對龐大的遠/近視群體,目前各大HMD設(shè)備廠商主要采用以下三種解決方案:
方案一、指導(dǎo)用戶在自行佩戴眼鏡后再佩戴HMD設(shè)備,其中,HMD設(shè)備廠商會在設(shè)備上加入人工學的優(yōu)化(例如:便于眼鏡腿走向的凹口);
然而,該方案的明顯缺陷在于:佩戴舒適性較差,易存在壓迫感,而且眼鏡位置變動會影響聚焦,致使用戶在佩戴HMD設(shè)備后無法體驗劇烈運動的VR內(nèi)容。
方案二、由HMD設(shè)備提供機械式的焦距調(diào)整功能,從而使得近視用戶能夠直接佩戴HMD設(shè)備,而無須戴上眼鏡;
然而,該方案的明顯缺陷在于:難以滿足高度近視、左右眼視力差距大、散光等用戶群體需求。
方案三、不提供額外支持,用戶只能通過佩戴隱形眼鏡或通過手術(shù)矯正才能體驗到最佳的VR畫面;
然而,該方案的明顯缺陷在于:顯然會對用戶健康造成隱患。
由此可見,當前的HMD設(shè)備針對遠/近視群體的解決方案無法完全覆蓋所有用戶,而且會對用戶造成不同程度的不適甚至是健康隱患。因此,如果HMD設(shè)備本身能夠?qū)崿F(xiàn)對遠/近視用戶的視覺矯正,那將極大地提高該部分用戶群體的視覺體驗。
與上述三種解決方案不同,相關(guān)技術(shù)中還提供了兩種通過HMD設(shè)備改善用戶視覺體驗的改進技術(shù)方案。
為此,相關(guān)技術(shù)中基于上述技術(shù)缺陷還提供了以下兩種改進方案:
方案一、目前普遍使用的,通過非侵入式的手段達到矯正遠/近視群體視覺像差的技術(shù)方案,其利用自調(diào)節(jié)液晶來實現(xiàn)影像畫面的自適應(yīng)。具體的實現(xiàn)步驟如下:
第一步、使用晶狀體焦距檢測器來檢測眼球晶狀體的晶狀體焦距變化;
第二步、顯示屏輸出的影像通過可調(diào)節(jié)液晶向用戶進行顯示;
需要說明的是,普通的光學元件(例如:凸透鏡)的光學參數(shù)(例如:凸透鏡的焦距)是固定的,而上述可調(diào)節(jié)液晶可以根據(jù)輸入?yún)?shù)的變更來改變對應(yīng)的光學參數(shù),從而實現(xiàn)自適配調(diào)整。
第三步、將可調(diào)節(jié)液晶與晶狀體焦距檢測器相連接,以獲取用戶實時的晶狀體焦距數(shù)據(jù);
第四步、根據(jù)獲取到的晶狀體焦距數(shù)據(jù),計算出液晶需要調(diào)節(jié)的數(shù)值;
第五步、最終確保顯示屏輸出的影像在用戶視網(wǎng)膜上聚焦。
根據(jù)上述操作步驟可知,自調(diào)節(jié)液晶的技術(shù)方案是通過實時獲取用戶焦距的方式,利用可調(diào)節(jié)的液晶為用戶提供定制化的影像畫面,其核心技術(shù)構(gòu)思在于:為不同屈光度(度量透鏡,例如:眼睛,屈光能力的單位)的用戶提供不同的影像畫面,并確保這些畫面能夠在用戶視網(wǎng)膜上聚焦。
然而,該技術(shù)方案的缺陷在于:盡管該技術(shù)方案的設(shè)備結(jié)構(gòu)簡單、成本低廉易于小型化生產(chǎn),但是應(yīng)用于HMD設(shè)備上仍然會存在如下幾點問題:
(1)液晶的調(diào)節(jié)無法完全模擬人眼真實的變焦聚焦過程,外界屈光度的驟變會導(dǎo)致用戶感到眩暈和不適;
(2)液晶的自調(diào)節(jié)存在閾值限制,即只能在一定焦距范圍內(nèi)進行調(diào)整,而無法完全覆蓋所有遠/近視用戶群體,并且覆蓋的范圍越大,對液晶的規(guī)格要求越高,這樣只會極大地提高產(chǎn)品成本
綜上所述,自調(diào)節(jié)液晶的方式盡管能夠通過自動調(diào)焦在一定程度上解決遠/近視問題,但是由于受其原理限制,無法確保玩家的視覺體驗;并且其性能受限于可調(diào)節(jié)液晶的變焦范圍,難以覆蓋所有遠/近視用戶群體,因此,無法在HMD設(shè)備上投入使用。
方案二、光場顯示技術(shù),又稱光場三維重建技術(shù),在VR方面具有良好的應(yīng)用前景。對于每個物體而言,無論是其能夠自行發(fā)光,還是漫反射其他光源照射在該物體上的光,都會在自身周圍形成獨特的光強分布。而根據(jù)這種獨特的光強分布,人眼便可以很好地客觀感知到物體的三維狀態(tài);這種獨特的光強分布便稱為該物體的光場(即空間中任意點發(fā)出的任意方向的光的集合)。
需要說明的是,對于真實世界中的物體而言,人眼是可以從各個角度對其進行觀察的,其原因在于:該物體可以向空間任意方向發(fā)射光線,因此,人眼才能夠從任何角度看見該物體。由此可見,光場即為人眼能夠感受到物體的原因。
例如:在觀察特定三維物體的過程中,該三維物體的各個體積元素向觀察者發(fā)射的光線即為該三維物體的光場,觀察者通過這個光場能夠感知到三維物體的存在。
如果此時在該三維物體與觀察者之間插入一塊柱面屏,那么,該三維物體發(fā)出的光場的所有光線都將與這個柱面屏形成交點。假設(shè)上述柱面屏不會改變光線的傳播方向,并且也不會吸收任何光線,那么觀察者仍然能夠看到柱面屏后方的三維物體。
進一步地,如果由該柱面屏發(fā)出與上述三維物體相同分布的光線,那么即使在柱面屏后方不存在該三維物體,觀察者也同樣能夠真實地看到該三維物體。
以上便是光場顯示的原理。目前常用的光場顯示技術(shù)可以包括:掃描型全景光場重構(gòu)技術(shù)、拼接光場型重構(gòu)技術(shù)以及集成光場重構(gòu)技術(shù)。盡管使用的技術(shù)手段存在差異,但是所要實現(xiàn)的根本目的均在于:在盡可能地減少空間三維信息中的冗余信息的基礎(chǔ)上,通過顯示巨大的信息量,還原重構(gòu)人眼所見的真實空間的三維顯示。
然而,該技術(shù)方案的缺陷在于:盡管光場顯示技術(shù)能夠利用物體真實的光場分布,通過發(fā)光二極管(LED)等顯示設(shè)備以及現(xiàn)有的算法技術(shù)對其進行還原,從而實現(xiàn)真正的三維空間顯示;但是其實現(xiàn)的是“能夠裸眼并且自由角度地看到一個實際并不存在卻又準確還原的三維物體或者三維場景”,這其實并沒有解決遠/近視群體在使用HMD設(shè)備時的模糊視覺體驗問題。例如:盡管可以使用光場顯示技術(shù)還原出一個十分精細的浮雕作品,但是如果讓用戶在距離足夠遠(例如:100米)的地方,仍然無法看清浮雕上的具體內(nèi)容。因此,利用光場顯示技術(shù)雖然顯示的數(shù)據(jù)極為豐富,但是,也僅僅還原出一個三維物體,其仍然無法解決遠/近視的聚焦問題。
針對上述的問題,目前尚未提出有效的解決方案。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例提供了一種影像畫面的顯示控制方法、裝置及頭戴式顯示設(shè)備,以至少解決相關(guān)技術(shù)中遠/近視用戶在使用HMD設(shè)備觀看影像畫面時無法獲得良好的視覺體驗的技術(shù)問題。
根據(jù)本發(fā)明實施例的一個方面,提供了一種頭戴式顯示設(shè)備,包括:波前像差儀,用于掃描用戶的眼睛,獲取眼睛的波前圖信息;光場重建模塊,用于采用預(yù)設(shè)光場顯示方式對影像畫面進行三維重建,得到三維重建光場;第一顯示屏,作為顯示裝置用于對所述三維重建光場進行成像顯示;第二顯示屏,用于接受從所述第一顯示屏傳遞過來的光線,并根據(jù)所述波前圖信息使得從所述第一顯示屏傳遞過來的光線中的指定方向的光線通過。
可選地,所述第二顯示屏為針孔濾波器。
可選地,根據(jù)波前圖信息將所述三維重建光場切分為多個焦平面,所述多個焦平面分別對應(yīng)所述眼睛不同部位的屈光度且聚焦于所述眼睛的視網(wǎng)膜上。
可選地,所述第一顯示屏和第二顯示屏相互間的位置關(guān)系以及間距根據(jù)波前圖信息確定。
可選地,所述多個焦平面中每個焦平面相對于用戶的眼睛之間的距離各不相同,且多個焦平面中每個焦平面中呈現(xiàn)的影像均與初始影像畫面相同。
可選地,所述第一顯示屏包括針對用戶左眼的第一顯示屏以及針對用戶右眼的第一顯示屏;所述第二顯示屏包括針對用戶左眼的第二顯示屏以及針對用戶右眼的第二顯示屏。
可選地,包括設(shè)置在針對用戶左眼和右眼的顯示屏之間的不透光材質(zhì)的阻隔欄。
可選地,所述第二顯示屏比所述第一顯示屏更靠近用戶的眼睛。
可選地,所述三維重建光場為各向異性的三維光場。
可選的,包括設(shè)備外殼;設(shè)置在第二顯示屏與用戶眼睛之間的光學元件。
在本發(fā)明實施例中,采用預(yù)設(shè)光場顯示方式對初始影像畫面進行三維重建,得到三維重建光場;根據(jù)波前圖信息將三維重建光場切分為多個焦平面的方式,通過控制多個焦平面在用戶的視網(wǎng)膜上聚焦,將初始影像畫面修正為待顯示影像畫面,達到了利用HMD設(shè)備本身實現(xiàn)遠/近視用戶群體的視覺矯正顯示,從而該部分用戶群體可以在無需借助眼鏡等外部光學元件的情況下便能夠清晰地看到VR畫面,即在裸眼條件下獲得良好的視覺體驗的目的,從而實現(xiàn)了為用戶提供定制的影像畫面,使用戶能夠在裸眼條件下能夠獲得良好VR體驗的技術(shù)效果,進而解決了相關(guān)技術(shù)中遠/近視用戶在使用HMD設(shè)備觀看影像畫面時無法獲得良好的視覺體驗的技術(shù)問題。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進一步理解,構(gòu)成本申請的一部分,本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明,并不構(gòu)成對本發(fā)明的不當限定。在附圖中:
圖1是根據(jù)本發(fā)明實施例的影像畫面的顯示控制方法的流程圖;
圖2是根據(jù)本發(fā)明優(yōu)選實施例的參照波前圖信息將三維重建光場切分為多個焦平面的過程示意圖;
圖3是根據(jù)本發(fā)明實施例的影像畫面的顯示控制裝置的結(jié)構(gòu)框圖;
圖4是根據(jù)本發(fā)明優(yōu)選實施例的HMD設(shè)備內(nèi)部結(jié)構(gòu)示意圖;
圖5是根據(jù)本發(fā)明優(yōu)選實施例的初始影像畫面的顯示控制過程示意圖;
圖6是根據(jù)本發(fā)明優(yōu)選實施例的光場顯示的普適光路圖。
具體實施方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案,下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分的實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都應(yīng)當屬于本發(fā)明保護的范圍。
需要說明的是,本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象,而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當情況下可以互換,以便這里描述的本發(fā)明的實施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外,術(shù)語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
根據(jù)本發(fā)明實施例,提供了一種影像畫面的顯示控制方法的實施例,需要說明的是,在附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行,并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
圖1是根據(jù)本發(fā)明實施例的影像畫面的顯示控制方法的流程圖,如圖1所示,該方法包括如下步驟:
步驟S12,采用預(yù)設(shè)光場顯示方式對初始影像畫面進行三維重建,得到三維重建光場;
步驟S14,根據(jù)波前圖信息將三維重建光場切分為多個焦平面,其中,波前圖信息是通過波前像差儀對觀看影像畫面的用戶的眼睛進行掃描后獲得的,多個焦平面分別對應(yīng)眼睛不同部位的屈光度且聚焦于眼睛的視網(wǎng)膜上;
步驟S16,控制多個焦平面在用戶的視網(wǎng)膜上聚焦,將初始影像畫面顯示為待顯示影像畫面。
目前遠/近視用戶使用HMD設(shè)備進行VR相關(guān)體驗時,因為眼球無法對VR畫面進行準確地聚焦,由此導(dǎo)致視覺體驗較差,而目前HMD設(shè)備廠商廣泛使用的解決方法又無法完全覆蓋該部分用戶群體,并且還會對用戶造成不同程度的不適甚至是健康隱患。通過上述步驟,采用預(yù)設(shè)光場顯示方式對初始影像畫面進行三維重建,得到三維重建光場;根據(jù)波前圖信息將三維重建光場切分為多個焦平面的方式,通過控制多個焦平面在用戶的視網(wǎng)膜上聚焦,將初始影像畫面修正為待顯示影像畫面,達到了利用HMD設(shè)備本身實現(xiàn)遠/近視用戶群體的視覺矯正顯示,從而該部分用戶群體可以在無需借助眼鏡等外部光學元件的情況下便能夠清晰地看到VR畫面,即在裸眼條件下獲得良好的視覺體驗的目的,從而實現(xiàn)了為用戶提供定制的影像畫面,使用戶能夠在裸眼條件下能夠獲得良好VR體驗的技術(shù)效果,進而解決了相關(guān)技術(shù)中遠/近視用戶在使用HMD設(shè)備觀看影像畫面時無法獲得良好的視覺體驗的技術(shù)問題。
在優(yōu)選實施過程中,上述多個焦平面中每個焦平面相對于用戶的眼睛之間的距離各不相同,且多個焦平面中每個焦平面中呈現(xiàn)的影像均與初始影像畫面相同。
可選地,在步驟S14中,參照波前圖信息將三維重建光場切分為多個焦平面可以包括以下執(zhí)行步驟:
步驟S141,根據(jù)待顯示影像畫面中的每個像素點的位置信息從波形圖信息中獲取與每個像素點的位置信息對應(yīng)的角膜點的位置信息以及與角膜點的位置信息對應(yīng)的焦距;
步驟S142,采用每個像素點的位置信息和獲取到的焦距獲取三維重建光場的入射點的位置信息;
步驟S143,通過入射點的位置信息和角膜點的位置信息控制從入射點發(fā)出的入射光線的入射角度;
步驟S144,采用獲取到的焦距和入射角度確定與入射點的位置信息對應(yīng)的虛擬點的位置信息,并根據(jù)虛擬點的位置信息生成多個焦平面,其中,每個焦平面均為垂直于眼睛的中軸線的虛擬平面,虛擬點為待顯示影像畫面中的每個像素點在每個焦平面上的虛擬成像。
在優(yōu)選實施過程中,上述角膜點的位置信息、入射點的位置信息以及虛擬點的位置信息均是在以用戶眼球的軸向中心線和垂直于軸向中心線的平面上的坐標系中的坐標信息。
在優(yōu)選實施例中,可以通過在HMD設(shè)備內(nèi)部新增光場顯示技術(shù)以及雙堆疊的液晶顯示器(LCD)來實現(xiàn)視覺的矯正顯示。通過利用光場顯示器將需要顯示的影像畫面重建為各向異性的三維光場,再根據(jù)波前像差儀采集的用戶的波前圖建立雙堆疊的LCD顯示屏的顯示參數(shù)。最終達到的效果是使得影像畫面的光場被劃分成多個二維的影像實例(即上述焦平面),每個影像實例對于給定的眼睛子孔徑(鑒于人眼不是一個光滑的圓球,導(dǎo)致人眼每處的屈光率均不相同,而眼睛子孔徑可以理解為人眼上屈光度不同的一個個同心圓)而言是對焦的,確保這些影像實例在特定屈光度下被看見。這些影像實例可以被虛擬地放置在不同深度上,最終在用戶眼睛的視網(wǎng)膜上聚焦為單個圖像,從而使得用戶可以根據(jù)自身的角膜和晶狀體的調(diào)節(jié)情況聚焦到合適的圖像上。
圖2是根據(jù)本發(fā)明優(yōu)選實施例的參照波前圖信息將三維重建光場切分為多個焦平面的過程示意圖,如圖2所示,利用波前像差儀對人眼掃描后得到的即為波前圖(wavefront map)??紤]到上述影像畫面是遠/近視群體用戶無法直接看清的,因此,需要通過波前圖的相關(guān)數(shù)據(jù)為用戶提供定制化地修正。波前圖本身便是通過波前像差技術(shù)得到的人眼所有視路范圍(所有能夠折射光線進入視網(wǎng)膜的區(qū)域)內(nèi)各個點的屈光度以及像差情況(屏幕顯示的畫面與人眼中呈現(xiàn)的畫面之間的區(qū)別)。而只有獲知用戶眼中每個點的屈光度情況,才可以對上述影像畫面進行調(diào)整,以便用戶看清上述影像畫面。在遠/近視用戶群體使用HMD設(shè)備的過程中,首先利用波前像差儀獲取得到用戶眼睛的波前圖,將波前圖的信息數(shù)據(jù)傳至控制芯片后,控制中心通過計算得到切分光場的設(shè)置參數(shù),并將這些設(shè)置參數(shù)傳遞至雙堆疊LCD顯示屏;隨后將需要呈現(xiàn)的影像畫面作為輸入傳至光場顯示器,光場顯示器重建后的三維光場通過上述已經(jīng)配置完成參數(shù)的雙堆疊LCD顯示屏得到的一系列對應(yīng)于不同的屈光度的焦平面(過焦點且垂直于系統(tǒng)主光軸的平面)。
可選地,在步驟S143中,控制從入射點發(fā)出的入射光線的入射角度可以包括以下處理步驟:
步驟S1421,根據(jù)入射點的位置信息將入射光線投射在第一顯示屏上;
步驟S1422,根據(jù)波前圖信息確定第一顯示屏與第二顯示屏相互間的位置關(guān)系以及第一顯示屏與第二顯示屏的間距;
步驟S1423,根據(jù)位置關(guān)系和間距控制第一顯示屏傳遞的光線的傳播方向,以控制入射角度。
對于視網(wǎng)膜上具體成像的特定像素點,針對不同的眼球屈光度,只需要改變?nèi)S重建光場的每個入射點相對于用戶的眼球軸向中心線之間的距離便可確保得到的特定像素點的位置相同。而改變?nèi)S重建光場的每個入射點相對于用戶的眼球軸向中心線之間的距離的過程可以由雙堆疊屏來完成的,其中,上述第一顯示屏用于對入射點發(fā)射的光線直接進行顯示,上述第二顯示屏用于濾除光線,其上的每個像素點均可決定是否讓光線透過以及上什么方向的光線透過,從而起到改變上述距離取值的作用。最終根據(jù)不同的角膜點位置信息,如果期望匯聚至相同位置的像素點,便需要多個不同的距離值,最終產(chǎn)生上述多個焦平面。
在具體實施過程中,在角膜點的位置信息與入射點的位置信息之后,可以參考波形圖信息確定第一顯示屏與第二顯示屏之間的位置關(guān)系,即相互平行設(shè)置;以及確定第一顯示屏與第二顯示屏之間的間距,進而根據(jù)位置關(guān)系和間距確定從每個入射點發(fā)出的入射光線的傳播方向。
可選地,在步驟S16中,控制多個焦平面在用戶的視網(wǎng)膜上聚焦,將初始影像畫面修正為待顯示影像畫面可以包括以下執(zhí)行步驟:
步驟S161,從多個焦平面上分別獲取與待顯示影像畫面中每個像素點的位置信息對應(yīng)的虛擬點的位置信息;
步驟S162,對獲取到的虛擬點的位置信息執(zhí)行匯聚操作,得到待顯示影像畫面。
即待顯示影像畫面中的每個像素點均是由上述多個焦平面上對應(yīng)的虛擬點匯聚而成的。
根據(jù)本發(fā)明實施例,還提供了一種影像畫面的顯示控制裝置的實施例。圖3是根據(jù)本發(fā)明實施例的影像畫面的顯示控制裝置的結(jié)構(gòu)框圖,如圖3所示,該裝置可以包括:重建模塊10,用于采用預(yù)設(shè)光場顯示方式對初始影像畫面進行三維重建,得到三維重建光場;切分模塊20,用于根據(jù)波前圖信息將三維重建光場切分為多個焦平面,其中,波前圖信息是通過波前像差儀對觀看影像畫面的用戶的眼睛進行掃描后獲得的,多個焦平面分別對應(yīng)眼睛不同部位的屈光度且聚焦于眼睛的視網(wǎng)膜上;控制模塊30,用于控制多個焦平面在用戶的視網(wǎng)膜上聚焦,將初始影像畫面顯示為待顯示影像畫面。
在優(yōu)選實施過程中,上述多個焦平面中每個焦平面相對于用戶的眼睛之間的距離各不相同,且多個焦平面中每個焦平面中呈現(xiàn)的影像均與初始影像畫面相同。
可選地,切分模塊20可以包括:第一獲取單元(圖中未示出),用于根據(jù)待顯示影像畫面中的每個像素點的位置信息從波形圖信息中獲取與每個像素點的位置信息對應(yīng)的角膜點的位置信息以及與角膜點的位置信息對應(yīng)的焦距;第二獲取單元(圖中未示出),用于采用每個像素點的位置信息和獲取到的焦距獲取三維重建光場的入射點的位置信息;第一處理單元,用于通過入射點的位置信息和角膜點的位置信息控制從入射點發(fā)出的入射光線的入射角度;第二處理單元,用于獲取到的焦距和入射角度確定與入射點的位置信息對應(yīng)的虛擬點的位置信息,并根據(jù)虛擬點的位置信息生成多個焦平面,其中,每個焦平面均為垂直于眼睛的中軸線的虛擬平面,虛擬點為待顯示影像畫面中的每個像素點在每個焦平面上的虛擬成像。
在優(yōu)選實施過程中,上述角膜點的位置信息、入射點的位置信息以及虛擬點的位置信息均是在以用戶眼球的軸向中心線和垂直于軸向中心線的平面上的坐標系中的坐標信息。
可選地,第一處理單元可以包括:第一處理子單元(圖中未示出),用于根據(jù)入射點的位置信息將入射光線投射在第一顯示屏上;第二處理子單元(圖中未示出),用于根據(jù)波前圖信息確定第一顯示屏與第二顯示屏相互間的位置關(guān)系以及第一顯示屏與第二顯示屏的間距;第三處理子單元,用于根據(jù)位置關(guān)系和間距控制第一顯示屏傳遞的光線的傳播方向,以控制入射角度。
可選地,控制模塊30可以包括:第三獲取單元(圖中未示出),用于從多個焦平面上分別獲取與待顯示影像畫面中每個像素點的位置信息對應(yīng)的虛擬點的位置信息;匯聚單元(圖中未示出),用于對獲取到的虛擬點的位置信息執(zhí)行匯聚操作,得到待顯示影像畫面。
下面將結(jié)合以下優(yōu)選實施方式對上述優(yōu)選實施過程作進一步詳細地描述。
圖4是根據(jù)本發(fā)明優(yōu)選實施例的HMD設(shè)備內(nèi)部結(jié)構(gòu)示意圖,如圖4所示,該優(yōu)選實施例中提供的HMD設(shè)備內(nèi)部結(jié)構(gòu)可以包括但不限于以下組成部分:
A1表示HMD設(shè)備外殼;
A2與A3分別表示波前像差儀的底座以及儀器本身;
A4表示光場顯示器(相當于上述重建模塊);
A5表示雙堆疊LCD顯示屏中用于顯示的LCD屏(相當于上述第一顯示屏);
A6表示雙堆疊LCD顯示屏中用于針孔濾波的LCD屏(相當于上述第二顯示屏);
A7表示設(shè)置在顯示屏與用戶雙眼之間的光學元件(例如:鏡片),用于二次成像;
A8表示不透光材質(zhì)的阻隔欄,避免左、右LCD顯示屏的影像互相干擾。
另外,上述切分模塊所實現(xiàn)的功能可以由該圖中未示出的控制芯片控制雙堆疊顯示屏來完成。上述控制模塊所實現(xiàn)的能夠可以由控制芯片來完成。
該技術(shù)方案的基本原理:通過在HMD設(shè)備內(nèi)植入光場顯示器以及波前像差儀,將需要顯示的影像畫面先進行光場三維重建,再將得到的光場利用雙堆疊LCD顯示屏切分為多個焦平面,每個焦平面都是各向異性(與各向同性相反,其是指物體的全部或部分物理、化學等性質(zhì)隨方向的不同而有所變化的特性),分別對應(yīng)于不同的屈光度的,并最終在用戶視網(wǎng)膜上聚焦,從而提高用戶的裸眼視覺顯示效果。
利用波前像差技術(shù)可以得到人眼所有視路范圍(即所有能夠折射光線進入視網(wǎng)膜的區(qū)域)內(nèi)各個點的屈光度以及像差情況(即屏幕顯示的畫面和人眼中呈現(xiàn)的畫面的區(qū)別)。波前像差儀即通過波前像差技術(shù)得到人眼不同區(qū)域調(diào)焦對像差的影響,屈光度的變化對像差的影響等數(shù)據(jù)。
圖5是根據(jù)本發(fā)明優(yōu)選實施例的初始影像畫面的顯示控制過程示意圖,如圖5所示,B1表示輸入的影像信息,即最終需要呈現(xiàn)至用戶眼中的影像畫面;B2表示通過對輸入的影像信息進行光場三維重建,得到待使用的三維重建光場;通過光場顯示技術(shù)對待顯示的影像畫面進行三維重建,其輸入的影像信息是平時電視或電腦上看到的二維畫面,即為特定物體在特定角度所呈現(xiàn)的顯示結(jié)果,而通過光場顯示技術(shù)處理后得到的三維重建光場,則表現(xiàn)為現(xiàn)實世界存在的特定物體,由此可以從不同角度觀察該物體,感受到該物體是一個三維影像;B3表示通過波前像差儀采集到的用戶眼睛的波前圖;B4與B5表示雙堆疊LCD顯示屏;B6表示一系列對應(yīng)于不同的屈光度的焦平面;B7表示用戶眼睛的角膜以及晶狀體;B8表示用戶眼睛的視網(wǎng)膜;
其中,B1變換得到B2的過程為光場顯示器完成;變換過程與所選用的光場顯示器的原理相關(guān)。以常用的集成光場重構(gòu)技術(shù)為例,在得到B1的輸入后,光場顯示器可以分析得到不同視角下的影像畫面,隨后通過光場顯示器上的陣列顯示器(n行*n列的顯示器),陣列顯示器中的每一個顯示器所顯示的圖像為特定三維區(qū)域內(nèi)不同視角影像畫面的組合,最終這些陣列顯示器圖像的集成,便可以重構(gòu)為一個三維物體的空間光場,即B2。通過將B1作為光場顯示器的輸入,將B2作為光場顯示器的輸出,采用光場顯示器對B1進行光場三維重建,可以得到待使用的三維重建光場。通過波前像差儀對人眼的掃描獲取B3,作為輔助數(shù)據(jù)參數(shù)為分解B2提供人眼各點的屈光度以及焦距信息,使得B2通過B4、和B5后得到B6;即B2為B4、B5的輸入,而B6為B4、B5的輸出。盡管B6中每個焦平面相對于用戶眼睛的深度(距離)各不相同,但是每個焦平面呈現(xiàn)的影像均與B1完全相同,最終通過B7在B8上進行匯聚,由于這些焦平面能夠在用戶眼睛的視網(wǎng)膜上聚焦為單個影像畫面,因此,最終實現(xiàn)了視覺矯正顯示的目的。
圖6是根據(jù)本發(fā)明優(yōu)選實施例的光場顯示的普適光路圖,如圖6所示,其為光場中一條光線進入人眼的普通光路圖,其中,C1為光場顯示器,C2為用戶眼睛的角膜和晶狀體以及C3為用戶的視網(wǎng)膜。
光場顯示器距離人眼的距離為d1,眼球的軸向距離為d2,其中d1和d2為正數(shù);光場顯示器的一條光線在L位置發(fā)出,角度為α,在經(jīng)過k位置的角膜點后,到達R位置的視網(wǎng)膜。其中,k位置的角膜點的焦距可以由眼睛的波前圖得到,即f(k),其為正數(shù)且對應(yīng)人眼上不同的點(即上述眼睛子孔徑)的焦距。根據(jù)光路圖可以十分直觀地利用幾何知識得到,從L位置發(fā)出的光線經(jīng)過k位置的角膜點后,到達視網(wǎng)膜R位置之間的相互關(guān)系如下:
又由于k與光場顯示器距離人眼之間的距離d1存在如下關(guān)系:
k=L+tanα*d1
于是,可以得到:
上述公式中的L、k、R的值存在正負之分。在該優(yōu)選實施例中,其表示相應(yīng)的點在以用戶眼球軸向中心線和垂直于該軸向中心線的平面上的坐標系中的坐標信息。角度α也存在正負之分,在-90度到+90度之間。在該優(yōu)選實施例中,偏轉(zhuǎn)角度α對應(yīng)于上述坐標系第四像限位置,即為一個負值。
由此可見,如果光場顯示器與人眼之間的距離d1以及眼球的軸向距離d2(人眼球的軸向距離通常為23.8mm)為定值,那么視網(wǎng)膜上的成像點的位置只與顯示器上的入射光線以及人眼球的波前圖特性相關(guān)聯(lián)。因此,只需要根據(jù)用戶特定的波前圖信息(即人眼的波前圖計算并調(diào)整出顯示器上每個像素點的位置)以及入射光線信息(即對應(yīng)的入射光線的角度),便可以確定其在人眼視網(wǎng)膜上的成像位置。采用矩陣形式可以表示如下:
其中,左側(cè)矩陣為期望在視網(wǎng)膜上呈現(xiàn)的影像畫面,那么只需要通過右側(cè)的兩個矩陣進行乘法運算便可以得到,即根據(jù)不同的波前圖特征調(diào)整光線的發(fā)射點和發(fā)射角度;在上述矩陣公式中,α為其為常量;g(k)為只與用戶的眼睛波前圖相關(guān);L為顯示屏上光線的位置信息。
由于本發(fā)明所提供的技術(shù)方案針對不同的屈光度均需要生成能夠在視網(wǎng)膜上聚焦的影像畫面,因此在上述矩陣乘法的左側(cè)矩陣保持不變的前提下,右側(cè)矩陣中表示顯示屏上光線的位置信息的L,矩陣需要計算出多個值來滿足這一需求;簡而言之,需要顯示屏上特定點能發(fā)出不同方向的光線,即顯示屏上特定點顯示在不同方向上觀測的結(jié)果是不同的。這對于普通的顯示設(shè)備來說是不可能做到的,因此本方案采用光場顯示器來作為本方案的二級輸入裝置,因為光場顯示能夠利用各向異性的特點來滿足這一需求。
另外,即便擁有能夠?qū)崿F(xiàn)各向異性的顯示裝置以及能夠計算出光線的發(fā)射點和發(fā)射角度,還需要額外的裝置來滿足光線的發(fā)射點和發(fā)射角度的需求。因此本方案采用了如圖3中所示的B4以及B5的雙堆疊LCD顯示屏,其中B4作為顯示裝置,而B5作為針孔濾波器來使用,用于確定B4傳遞過來的光線的具體傳播方向,根據(jù)計算出的發(fā)射點和發(fā)射角度,在B4上的具體位置完成光線的發(fā)射,而在B5上確定光線的傳播方向。
上述本發(fā)明實施例序號僅僅為了描述,不代表實施例的優(yōu)劣。
在本發(fā)明的上述實施例中,對各個實施例的描述都各有側(cè)重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關(guān)描述。
在本申請所提供的幾個實施例中,應(yīng)該理解到,所揭露的技術(shù)內(nèi)容,可通過其它的方式實現(xiàn)。其中,以上所描述的裝置實施例僅僅是示意性的,例如所述單元的劃分,可以為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個單元上。可以根據(jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
另外,在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn),也可以采用軟件功能單元的形式實現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時,可以存儲在一個計算機可讀取存儲介質(zhì)中?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機設(shè)備(可為個人計算機、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:U盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
以上所述僅是本發(fā)明的優(yōu)選實施方式,應(yīng)當指出,對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。