一種虛擬現(xiàn)實(shí)設(shè)備和虛擬現(xiàn)實(shí)圖像處理方法
【專利摘要】本發(fā)明公開了一種虛擬現(xiàn)實(shí)設(shè)備和虛擬現(xiàn)實(shí)圖像處理方法，利用虛擬現(xiàn)實(shí)設(shè)備的投射鏡片組可以將目鏡后的人眼圖像投射到終端的前置攝像頭，所以本發(fā)明的虛擬現(xiàn)實(shí)設(shè)備可以幫助移動終端的前置攝像頭獲取人眼圖像，相對于現(xiàn)有技術(shù)中，在虛擬現(xiàn)實(shí)設(shè)備中另設(shè)攝像頭采集人眼圖像，將人眼圖像傳輸給移動終端的方式，本發(fā)明的虛擬現(xiàn)實(shí)設(shè)備不必設(shè)置攝像頭，能有效地節(jié)約生產(chǎn)成本，有利于虛擬現(xiàn)實(shí)設(shè)備的普及；其次，與本發(fā)明的虛擬現(xiàn)實(shí)設(shè)備結(jié)合使用能提高移動終端上的前置攝像頭的利用率。本發(fā)明尤其適用于帶有前置攝像頭的移動終端。
【專利說明】
一種虛擬現(xiàn)實(shí)設(shè)備和虛擬現(xiàn)實(shí)圖像處理方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，更具體地說，涉及一種虛擬現(xiàn)實(shí)設(shè)備和虛擬現(xiàn)實(shí)圖像處理方法。
【背景技術(shù)】
[0002]近年來，隨著虛擬現(xiàn)實(shí)技術(shù)的風(fēng)靡，越來越多應(yīng)用虛擬現(xiàn)實(shí)技術(shù)的產(chǎn)品出現(xiàn)，虛擬現(xiàn)實(shí)技術(shù)將人們從現(xiàn)實(shí)帶到了虛擬世界。目前的虛擬現(xiàn)實(shí)技術(shù)的呈現(xiàn)，主要是體驗(yàn)者依靠全封閉的頭戴型顯示器觀看電腦模擬產(chǎn)生的虛構(gòu)世界的影像，并配有耳機(jī)、運(yùn)動傳感器或其他設(shè)備等，為其提供視覺、聽覺、觸覺等方面的感官體驗(yàn)，虛擬現(xiàn)實(shí)系統(tǒng)的整套設(shè)備可以根據(jù)體驗(yàn)者的反應(yīng)做出反饋，使體驗(yàn)者達(dá)到身臨其境的感覺。
[0003]作為應(yīng)用了虛擬現(xiàn)實(shí)技術(shù)的VR(VirtualReality，虛擬現(xiàn)實(shí))頭戴設(shè)備受到了消費(fèi)者尤其是科技迷的廣泛關(guān)注和追捧。目前，市面上的虛擬現(xiàn)實(shí)設(shè)備大多需要同終端配合使用，將安放在頭戴設(shè)備中的終端作為VR頭戴設(shè)備的顯示屏。終端需要對顯示畫面進(jìn)行虛擬現(xiàn)實(shí)圖像處理，將二維的平面畫面轉(zhuǎn)變?yōu)樘摂M的立體畫面。在轉(zhuǎn)變的過程中，為了使虛擬畫面更真實(shí)，終端需要對播放的畫面進(jìn)行圖像渲染，但是全渲染要求的運(yùn)算資源十分高，觀看全渲染圖像的代價(jià)是幀率下降，延時(shí)提高，帶來卡頓等不良的視覺感受。對此，可以采取局部渲染的方式降低對運(yùn)算資源的要求，只對用戶觀看的部分進(jìn)行渲染即可。可以采取人眼追蹤的方式捕捉人眼的轉(zhuǎn)動，來確定局部渲染的位置?，F(xiàn)有技術(shù)中，一般是在VR頭戴設(shè)備設(shè)置獨(dú)立的光學(xué)或紅外攝像頭，利用這些攝像頭直接拍攝人眼的畫面，完成對人眼運(yùn)動軌跡的捕捉，很明顯，采用設(shè)置獨(dú)立的攝像頭的方式會增加頭戴設(shè)備的成本，除此之外，現(xiàn)有技術(shù)中，不是在頭戴設(shè)備的任意位置都能設(shè)置攝像頭的，該光學(xué)或紅外攝像頭需要設(shè)置于VR頭戴設(shè)備的目鏡周圍，或是設(shè)置于VR頭戴設(shè)備上其他可以直接拍攝到人眼畫面的位置上才能完成對人眼運(yùn)動軌跡的捕捉，所以現(xiàn)有技術(shù)對攝像頭的設(shè)置位置有要求，這在一定程度上會限制VR頭戴設(shè)備的結(jié)構(gòu)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明要解決的技術(shù)問題在于現(xiàn)有技術(shù)中，在虛擬現(xiàn)實(shí)設(shè)備中單獨(dú)設(shè)置攝像頭帶來的虛擬現(xiàn)實(shí)設(shè)備成本增加、攝像頭設(shè)置位置有限制的問題，提供一種虛擬現(xiàn)實(shí)設(shè)備和虛擬現(xiàn)實(shí)圖像處理方法。
[0005]為解決上述技術(shù)問題，本發(fā)明提供一種虛擬現(xiàn)實(shí)設(shè)備，該虛擬現(xiàn)實(shí)設(shè)備包括:投射鏡片組、目鏡和本體，本體具有固設(shè)移動終端的固定部，移動終端帶有前置攝像頭;投射鏡片組和目鏡安裝在本體內(nèi)；投射鏡片組將目鏡后的人眼圖像投射到前置攝像頭。
[0006]可選的，投射鏡片組用于通過反射鏡片的反射機(jī)制和/或透鏡的折射機(jī)制，將人眼圖像投射到前置攝像頭。
[0007]可選的，投射鏡片組包括至少兩級反射鏡組，每一級反射鏡組包括至少一個(gè)反射鏡片；目鏡后的人眼圖像通過至少兩級反射后，投射到前置攝像頭。
[0008]可選的，投射鏡片組包括；兩級反射鏡組，第一級反射鏡組包括兩個(gè)一級反射鏡片，第二級反射鏡組包括一個(gè)二級反射鏡片，兩個(gè)一級反射鏡片分別對應(yīng)兩個(gè)目鏡，并將目鏡后的人眼圖像反射到二級反射鏡片上;二級反射鏡片將兩個(gè)人眼圖像同時(shí)反射至前置攝像頭。
[0009]可選的，一級反射鏡片為單透鏡鏡片，設(shè)置在目鏡與移動終端的屏幕之間；
[0010]或一級反射鏡片為非單透鏡鏡片，設(shè)置在目鏡的視場邊緣。
[0011 ]可選的，還包括:聚焦鏡組，聚焦鏡組位于前置攝像頭前，用于將投射鏡片組投射的人眼圖像進(jìn)行聚焦成像處理后投射到前置攝像頭。
[0012]可選的，還包括位置調(diào)整機(jī)構(gòu)，位置調(diào)整機(jī)構(gòu)對聚焦鏡組進(jìn)行位置調(diào)整，使其與前置攝像頭的位置對應(yīng)。
[0013]為解決上述的技術(shù)問題，本發(fā)明還提供一種虛擬現(xiàn)實(shí)圖像處理方法，包括:
[0014]利用投射鏡片組將目鏡后的人眼圖像投射到移動終端的前置攝像頭；
[0015]移動終端利用前置攝像頭獲取人眼圖像；
[0016]移動終端根據(jù)獲取的人眼圖像確定人眼的觀察區(qū)域，對人眼觀察區(qū)域的顯示畫面的進(jìn)行預(yù)設(shè)的圖像處理。
[0017]可選的，利用投射鏡片組將目鏡后的人眼圖像投射到移動終端的前置攝像頭包括:利用兩個(gè)一級反射鏡片，將各自對應(yīng)的目鏡后的人眼圖像反射至一個(gè)二級反射鏡片，二級反射鏡片將兩人眼圖像反射至前置攝像頭。
[0018]可選的，還包括，將投射鏡片組投射的人眼圖像進(jìn)行聚焦處理后投射到前置攝像頭。
[0019]本發(fā)明提供了一種虛擬現(xiàn)實(shí)設(shè)備和虛擬現(xiàn)實(shí)圖像處理方法，利用虛擬現(xiàn)實(shí)設(shè)備的投射鏡片組可以將目鏡后的人眼圖像投射到終端的前置攝像頭，所以本發(fā)明的虛擬現(xiàn)實(shí)設(shè)備可以幫助移動終端的前置攝像頭獲取人眼圖像，相對于現(xiàn)有技術(shù)中，在虛擬現(xiàn)實(shí)設(shè)備中另設(shè)攝像頭采集人眼圖像，將人眼圖像傳輸給移動終端的方式，本發(fā)明的虛擬現(xiàn)實(shí)設(shè)備不必設(shè)置攝像頭，能有效地節(jié)約生產(chǎn)成本有利于虛擬現(xiàn)實(shí)設(shè)備的普及;其次，本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備還能提高移動終端上的前置攝像頭的利用率。
【附圖說明】
[0020]下面將結(jié)合附圖及實(shí)施例對本發(fā)明作進(jìn)一步說明，附圖中:
[0021]圖1為實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例一個(gè)可選的移動終端的硬件結(jié)構(gòu)示意圖；
[0022]圖2為本發(fā)明第一實(shí)施例提供的一種虛擬現(xiàn)實(shí)設(shè)備的結(jié)構(gòu)示意圖；
[0023]圖3為本發(fā)明第二實(shí)施例提供的一種虛擬現(xiàn)實(shí)設(shè)備的結(jié)構(gòu)示意圖；
[0024]圖4是使用圖3中的虛擬現(xiàn)實(shí)設(shè)備時(shí)，人眼圖像的光路示意圖；
[0025]圖5為本發(fā)明第三實(shí)施例提供的一種虛擬現(xiàn)實(shí)圖像處理方法的流程圖；
[0026]圖6為本發(fā)明第四實(shí)施例提供的一種虛擬現(xiàn)實(shí)圖像處理方法的流程圖。
【具體實(shí)施方式】
[0027]應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0028]現(xiàn)在將參考附圖描述實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例的移動終端。在后續(xù)的描述中，使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說明，其本身并沒有特定的意義。因此，"模塊"與"部件"可以混合地使用。
[0029]移動終端可以以各種形式來實(shí)施。例如，本發(fā)明中描述的終端可以包括諸如移動電話、智能電話、筆記本電腦、PDA(個(gè)人數(shù)字助理)、PAD(平板電腦)等等的可以具有顯示功能和前置攝像頭的移動終端。下面，假設(shè)終端是移動終端。然而，本領(lǐng)域技術(shù)人員將理解的是，除了特別用于移動目的的元件之外，根據(jù)本發(fā)明的實(shí)施方式的構(gòu)造也能夠應(yīng)用于固定類型的終端。
[0030]圖1為實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例一個(gè)可選的移動終端的硬件結(jié)構(gòu)示意圖。
[0031]移動終端100可以包括相機(jī)110、用戶輸入單元120、輸出單元130、接口單元140、存儲器140、控制器150和電源單元160等。圖1示出了具有各種組件的移動終端，但是應(yīng)理解的是，并不要求實(shí)施所有示出的組件?？梢蕴娲貙?shí)施更多或更少的組件。將在下面詳細(xì)描述移動終端的元件。
[0032]相機(jī)110可以包括多個(gè)攝像頭，根據(jù)其在移動終端的位置，可以分為前置攝像頭和后置攝像頭，在本發(fā)明中使用的前置攝像頭可以由相機(jī)110的前置攝像頭實(shí)現(xiàn)。該前置攝像頭與移動終端的屏幕位于同一側(cè)，可以實(shí)現(xiàn)對正對顯示屏幕的拍攝區(qū)域內(nèi)的圖像的捕捉，相機(jī)110對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態(tài)圖片或視頻的圖像數(shù)據(jù)進(jìn)行處理。處理后的圖像幀可以顯示在顯示單元131上。經(jīng)相機(jī)110處理后的圖像幀可以存儲在存儲器140(或其它存儲介質(zhì))中。
[0033]用戶輸入單元120可以根據(jù)用戶輸入的命令生成鍵輸入數(shù)據(jù)以控制移動終端的各種操作。用戶輸入單元120允許用戶輸入各種類型的信息，并且可以包括鍵盤、鍋?zhàn)衅?、觸摸板(例如，檢測由于被接觸而導(dǎo)致的電阻、壓力、電容等等的變化的觸敏組件)、滾輪、搖桿等等。特別地，當(dāng)觸摸板以層的形式疊加在顯示單元131上時(shí)，可以形成觸摸屏，在本發(fā)明中，用戶可以利用用戶輸入單元120開啟終端的前置攝像頭，使其在播放視頻的過程中一直處于開啟狀態(tài)，便于獲取人眼圖像確定人眼的觀察區(qū)域，在本發(fā)明中，還用戶還可以通過用戶輸入單元120設(shè)置攝像頭獲取人眼圖像的頻率控制攝像頭按照預(yù)設(shè)的獲取頻率拍攝人眼圖像。
[0034]輸出單元130被構(gòu)造為以視覺、音頻和/或觸覺方式提供輸出信號(例如，音頻信號、視頻信號等等)。輸出單元130可以包括顯示單元131、音頻輸出模塊132等等。
[0035]顯示單元131可以顯示在移動終端100中處理的信息。例如，當(dāng)移動終端100處于電話通話模式時(shí)，顯示單元131可以顯示與通話或其它通信(例如，文本消息收發(fā)、多媒體文件下載等等)相關(guān)的用戶界面(UI)或圖形用戶界面(GUI)。當(dāng)移動終端100處于視頻通話模式或者圖像捕獲模式時(shí)，顯示單元131可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖像以及相關(guān)功能的UI或GUI等等，在本發(fā)明中，顯示單元131可以用于顯示經(jīng)過虛擬現(xiàn)實(shí)圖像處理后的畫面。
[0036]同時(shí)，當(dāng)顯示單元131和觸摸板以層的形式彼此疊加以形成觸摸屏?xí)r，顯示單元131可以用作輸入裝置和輸出裝置。顯示單元131可以包括液晶顯示器(LCD)、薄膜晶體管IXD(TFT-1XD)、有機(jī)發(fā)光二極管(OLED)顯示器、柔性顯示器、三維(3D)顯示器等等中的至少一種。這些顯示器中的一些可以被構(gòu)造為透明狀以允許用戶從外部觀看，這可以稱為透明顯示器，典型的透明顯示器可以例如為TOLED(透明有機(jī)發(fā)光二極管)顯示器等等。根據(jù)特定想要的實(shí)施方式，移動終端100可以包括兩個(gè)或更多顯示單元131(或其它顯示裝置)，例如，移動終端可以包括外部顯示單元(未示出)和內(nèi)部顯示單元(未示出)。觸摸屏可用于檢測觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。
[0037]音頻輸出模塊132可以將顯示單元131顯示的視頻對應(yīng)的音頻同步輸出，音頻輸出模塊132可以包括揚(yáng)聲器、蜂鳴器等等。
[0038]存儲器140可以存儲由控制器150執(zhí)行的處理和控制操作的軟件程序等等，或者可以暫時(shí)地存儲己經(jīng)輸出或?qū)⒁敵龅臄?shù)據(jù)(例如，電話簿、消息、靜態(tài)圖像、視頻等等)。在本發(fā)明中，存儲器140可以存儲顯示單元131顯示的視頻文件和控制器150調(diào)用的人眼追蹤的算法軟件等等。
[0039]存儲器140可以包括至少一種類型的存儲介質(zhì)，存儲介質(zhì)包括閃存、硬盤、多媒體卡、卡型存儲器(例如，SD或DX存儲器等等)、隨機(jī)訪問存儲器(RAM)、靜態(tài)隨機(jī)訪問存儲器(SRAM)、只讀存儲器(R0M)、電可擦除可編程只讀存儲器(EEPROM)、可編程只讀存儲器(PROM)、磁性存儲器、磁盤、光盤等等。而且，移動終端100可以與通過網(wǎng)絡(luò)連接執(zhí)行存儲器140的存儲功能的網(wǎng)絡(luò)存儲裝置協(xié)作。
[0040]控制器150通?？刂埔苿咏K端的總體操作。例如，控制器150執(zhí)行與語音通話、數(shù)據(jù)通信、視頻通話等等相關(guān)的控制和處理。另外，控制器150可以包括用于再現(xiàn)(或回放)多媒體數(shù)據(jù)的多媒體模塊151，多媒體模塊151可以構(gòu)造在控制器150內(nèi)，或者可以構(gòu)造為與控制器150分離?？刂破?50可以執(zhí)行模式識別處理，以將在觸摸屏上執(zhí)行的手寫輸入或者圖片繪制輸入識別為字符或圖像，在本發(fā)明中，可以利用控制器150控制顯示單元131播放視頻，本發(fā)明的移動終端上可以內(nèi)置一人眼追蹤的算法軟件，根據(jù)人眼圖像計(jì)算人眼的觀察區(qū)域，該控制器150可以用于運(yùn)行該人眼追蹤的算法軟件。
[0041 ]電源單元160在控制器150的控制下接收外部電力或內(nèi)部電力并且提供操作各元件和組件所需的適當(dāng)?shù)碾娏Α?br>[0042]這里描述的各種實(shí)施方式可以以使用例如計(jì)算機(jī)軟件、硬件或其任何組合的計(jì)算機(jī)可讀介質(zhì)來實(shí)施。對于硬件實(shí)施，這里描述的實(shí)施方式可以通過使用特定用途集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理裝置(DSPD)、可編程邏輯裝置(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設(shè)計(jì)為執(zhí)行這里描述的功能的電子單元中的至少一種來實(shí)施，在一些情況下，這樣的實(shí)施方式可以在控制器150中實(shí)施。對于軟件實(shí)施，諸如過程或功能的實(shí)施方式可以與允許執(zhí)行至少一種功能或操作的單獨(dú)的軟件模塊來實(shí)施。軟件代碼可以由以任何適當(dāng)?shù)木幊陶Z言編寫的軟件應(yīng)用程序(或程序)來實(shí)施，軟件代碼可以存儲在存儲器140中并且由控制器150執(zhí)行。
[0043]至此，己經(jīng)按照其功能描述了移動終端。下面，為了簡要起見，將描述諸如折疊型、直板型、擺動型、滑動型移動終端等等的各種類型的移動終端中的滑動型移動終端作為示例。因此，本發(fā)明能夠應(yīng)用于任何類型的移動終端，并且不限于滑動型移動終端。
[0044]本發(fā)明提出一種虛擬現(xiàn)實(shí)設(shè)備和虛擬現(xiàn)實(shí)圖像處理方法，該虛擬現(xiàn)實(shí)設(shè)備包括:投射鏡片組、目鏡和本體，本體具有固設(shè)移動終端的固定部，移動終端帶有前置攝像頭;投射鏡片組和目鏡安裝在本體內(nèi)；投射鏡片組將目鏡后的人眼圖像投射到前置攝像頭。
[0045]以下通過具體實(shí)施例進(jìn)行詳細(xì)說明。
[0046]第一實(shí)施例:
[0047]參照圖2，圖2為本發(fā)明第一實(shí)施例提供的虛擬現(xiàn)實(shí)設(shè)備的結(jié)構(gòu)示意圖。
[0048]本實(shí)施例中的虛擬現(xiàn)實(shí)設(shè)備2包括:投射鏡片組21、目鏡22和本體23，本體23具有固設(shè)移動終端24的固定部，移動終端24帶有前置攝像頭241;投射鏡片組21和目鏡22安裝在本體23內(nèi)；投射鏡片組21將目鏡22后的人眼圖像投射到前置攝像頭241。
[0049]在本實(shí)施例中，虛擬現(xiàn)實(shí)設(shè)備2可以是手持設(shè)備、也可以是頭戴設(shè)備，對此，本實(shí)施例沒有任何限制，但是考慮到使用的方便性，本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備可以設(shè)置為頭戴設(shè)備，在本體23上可以設(shè)置彈性的固定帶，將虛擬現(xiàn)實(shí)設(shè)備固定到用戶的頭部。進(jìn)一步地，彈性固定帶可以設(shè)置為可調(diào)節(jié)的結(jié)構(gòu)，便于用戶根據(jù)自身情況進(jìn)行調(diào)節(jié)，避免出現(xiàn)壓迫鼻梁等不良體驗(yàn)。
[0050]本體23上的固定部的設(shè)置是為了便于移動終端的安裝，該固定部可以設(shè)置為安裝槽，用來安裝移動終端24;考慮到市面上的移動終端的型號不一，大小不盡相同，為了盡可能多地適配不同型號的手機(jī)，在安裝槽上，還可以設(shè)置卡位件，便于將不同型號的終端卡在安裝槽內(nèi)?？ㄎ患慕Y(jié)構(gòu)可以參考自拍桿上的卡位結(jié)構(gòu)，設(shè)置為至少一端可拉伸的卡位夾。此外，固定部也可以設(shè)置為夾具，將移動終端24夾在本體23上，除了安裝槽和夾具外，本實(shí)施例的固定部可以采用其他可固定的結(jié)構(gòu)將移動終端固定到本體23上，本實(shí)施例對此不作任何限制。
[0051 ]在本實(shí)施例中，本體23上的目鏡22，與固定在本體23上的移動終端24的屏幕相對，用戶可以通過本體23上的兩個(gè)目鏡22觀看移動終端顯示的畫面。
[0052]當(dāng)用戶的眼球隨著終端顯示畫面的變化而轉(zhuǎn)動時(shí)，用戶的人眼圖像也隨之變化。所以可以通過人眼圖像來確定人眼的觀察區(qū)域。
[0053]而終端為了節(jié)約運(yùn)算資源，需要對終端的顯示畫面進(jìn)行局部渲染，這里的局部包括用戶的觀察區(qū)域?，F(xiàn)有技術(shù)中，為了知道移動終端上用戶的觀察區(qū)域，一般是在虛擬現(xiàn)實(shí)設(shè)備上另設(shè)攝像頭來捕捉人眼軌跡，確定人眼觀察方向、觀察區(qū)域。
[0054]在本實(shí)施例中，為了降低虛擬現(xiàn)實(shí)設(shè)備的生產(chǎn)成本，利用了固設(shè)于本體23的移動終端24上現(xiàn)有的前置攝像頭，來拍攝人眼圖像。之后，終端可以利用該人眼圖像和現(xiàn)有的人眼追蹤的算法軟件，確定用戶在移動終端上的觀察區(qū)域，然后只對觀察區(qū)域的顯示畫面進(jìn)行渲染等處理，實(shí)現(xiàn)局部渲染的目的。
[0055]為了使前置攝像頭不受其位置的限定，能成功拍攝到人眼圖像，需要具有能將人眼圖像傳輸?shù)角爸脭z像頭的功能的構(gòu)件，在本實(shí)施例中，投射鏡片組21具有該功能，本實(shí)施例的投射鏡片組由多個(gè)鏡片組成，可以利用光的傳輸機(jī)制，將目鏡22后的人眼圖像投射到移動終端24的前置攝像頭241。可以想到的是，光的傳輸機(jī)制包括折射、反射等，本實(shí)施例的投射鏡片組21可以利用反射鏡片的反射機(jī)制和/或透鏡的折射機(jī)制，將人眼圖像投射到前置攝像頭。
[°°56]現(xiàn)有的移動終端上，前置攝像頭241設(shè)置在移動終端24的上部，而移動終端24在虛擬現(xiàn)實(shí)設(shè)備中使用時(shí)是處于橫放狀態(tài)，所以前置攝像頭241 —般會靠近本體23內(nèi)部左側(cè)的殼體或是右側(cè)的殼體。鑒于此，在設(shè)置投射鏡片組21的時(shí)候，可以將投射鏡片組中的一部分鏡片設(shè)置在本體23內(nèi)靠近殼體的位置，這一部分鏡片可以是人眼圖像投射到前置攝像頭的過程中，經(jīng)過的最后一部分鏡片。
[0057]可以理解的是，為了將人眼圖像投射到前置攝像頭241，前置攝像頭241和投射鏡片組21之間能進(jìn)行光線的無障礙傳輸，可以通過對本體的結(jié)構(gòu)設(shè)置實(shí)現(xiàn)該目的。例如，當(dāng)固定部為安裝槽時(shí)，在本體23的安裝槽上靠近殼體的位置設(shè)置對應(yīng)于移動終端的前置攝像頭241的鏤空部，避免前置攝像頭241被遮擋。對應(yīng)的，將投射鏡片組21上人眼圖像最后經(jīng)過的一部分鏡片安裝在靠近本體上正對鏤空部的位置，便于該投射鏡片組21將人眼圖像投射到前置攝像頭，當(dāng)固定部為其他結(jié)構(gòu)時(shí)，也可以采用類似的結(jié)構(gòu)，使投射鏡片組21與前置攝像頭241之間的空間連通。。
[0058]當(dāng)投射鏡片組21將人眼圖像投射到前置攝像頭241之后，前置攝像頭241采用直接拍攝的方式獲取人眼圖像，然后，人眼圖像可以被傳輸至移動終端上處理該人眼圖像的模塊進(jìn)行處理。
[0059]考慮到如果前置攝像頭241拍攝人眼圖像的頻率過高，移動終端24需要頻繁對大量的人眼圖像進(jìn)行處理和計(jì)算，無疑會對移動終端的運(yùn)算資源有較高的需求。而在某些應(yīng)用場景下，當(dāng)用戶的眼球轉(zhuǎn)動沒有那么頻繁時(shí)，即用戶的觀察區(qū)域變化不大的時(shí)候，前置攝像頭241拍攝人眼圖像的頻率過高，會給移動終端24造成極大的資源浪費(fèi)。鑒于此，本實(shí)施例中，用戶可以根據(jù)實(shí)際的需求，在移動終端24上設(shè)置前置攝像頭241拍攝人眼圖像的拍攝頻率，控制前置攝像頭241按照該頻率進(jìn)行拍攝，實(shí)際中，用戶可以通過圖1中的用戶輸入單元120對拍攝頻率進(jìn)行設(shè)置。當(dāng)然，除此之外，移動終端24也可以根據(jù)用戶的觀察區(qū)域的變化情況，自主選擇不同的拍攝頻率，控制前置攝像頭241的拍攝。
[0060]本實(shí)施例的移動終端24可以內(nèi)置人眼追蹤的算法軟件，根據(jù)該算法軟件和前置攝像頭拍攝的人眼圖像進(jìn)行計(jì)算，確定用戶當(dāng)前觀察到的區(qū)域在移動終端24的顯示屏的具體位置。在現(xiàn)有技術(shù)中，對于人眼視線方向估計(jì)算法，已經(jīng)比較成熟，人眼視線方向是一個(gè)人觀察物體的方向，可以表征為連接眼球中心和虹膜中心的直線方向。在本實(shí)施例中，人眼視線方向可以用來反應(yīng)用戶的觀察區(qū)域，所以在本實(shí)施例中，可以利用現(xiàn)有的人眼視線估計(jì)算法，對前置攝像頭拍攝的人眼圖像進(jìn)行處理，確定人眼實(shí)現(xiàn)方向，也即確定人眼觀察區(qū)域，其中，人眼視線估計(jì)算法可以基于單目圖像估計(jì)人眼視線方向，或基于雙目圖像估計(jì)人眼視線方向?；趩文繄D像和雙目圖像的算法，都可以根據(jù)眼睛的虹膜輪廓，有效地估算出人眼視線方向，確定人眼觀察區(qū)域。
[0061]本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備，能利用設(shè)置在本體上的投射鏡片組，將目鏡后的人眼圖像投射到移動終端的前置攝像頭，以便移動終端的前置攝像頭直接拍攝到人眼圖像，使得移動終端能夠利用該人眼圖像確定人眼的觀察區(qū)域，最終實(shí)現(xiàn)顯示畫面的局部處理。相對于現(xiàn)有技術(shù)中，在虛擬現(xiàn)實(shí)設(shè)備中另設(shè)攝像頭獲取人眼圖像，傳輸給終端用來確定人眼觀察區(qū)域，本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備不僅可以幫助移動終端上的前置攝像頭采集人眼圖像，實(shí)現(xiàn)前置攝像頭的重復(fù)利用，還能具有生產(chǎn)成本更低的優(yōu)點(diǎn)。
[0062]此外，本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備與現(xiàn)有的移動終端結(jié)合使用，移動終端可以實(shí)現(xiàn)顯示畫面的局部處理，極大地降低移動終端需要的運(yùn)算資源，保證顯示畫面的流暢性，帶給用戶良好的體驗(yàn)，所以，本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備與移動終端配合使用，在保證終端顯示畫面的流暢度和畫面質(zhì)感，提高用戶的體驗(yàn)的同時(shí)，又能降低達(dá)到這些效果的成本，增強(qiáng)了本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備的實(shí)用性，有利于虛擬現(xiàn)實(shí)設(shè)備的普及。
[0063]第二實(shí)施例:
[0064]參照圖3，圖3為本發(fā)明第二實(shí)施例提供的虛擬現(xiàn)實(shí)設(shè)備的結(jié)構(gòu)示意圖。
[0065]本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備2包括::投射鏡片組21、目鏡22和本體23，本體23具有固設(shè)移動終端24的固定部，移動終端24帶有前置攝像頭241;投射鏡片組21和目鏡22安裝在本體23內(nèi)；投射鏡片組21將目鏡22后的人眼圖像投射到前置攝像頭241。
[0066]本實(shí)施例的移動終端24的類型包括但不限于手機(jī)、平板電腦等設(shè)備，且本實(shí)施例對設(shè)備的型號和大小沒有任何限制。
[0067]在本實(shí)施例中，本體23上的固定部可以采用安裝槽或夾具來實(shí)現(xiàn)，對于安裝槽和夾具，在實(shí)施例一中有詳細(xì)說明，這里不再贅述。
[0068]在本實(shí)施例中，本體23上的目鏡22，與固定在本體23上的移動終端24的屏幕相對，用戶可以通過本體23上的兩個(gè)目鏡22觀看移動終端的顯示畫面。
[0069]當(dāng)用戶的眼球隨著移動終端的顯示畫面的變化而轉(zhuǎn)動時(shí)，用戶的人眼圖像也隨之變化。所以可以通過人眼圖像來確定人眼的觀察區(qū)域。移動終端對顯示畫面的全畫面處理明顯會占用較多的運(yùn)算資源，為了節(jié)約資源，可以只對用戶當(dāng)前觀察到的顯示畫面進(jìn)行處理，即采用顯示畫面局部處理的方式。由此，獲取當(dāng)前用戶在移動終端上的觀察區(qū)域，是進(jìn)行局部處理的基礎(chǔ)?，F(xiàn)有技術(shù)中，為了在使用虛擬現(xiàn)實(shí)設(shè)備時(shí)，確定移動終端上用戶的觀察區(qū)域，一般需要在虛擬現(xiàn)實(shí)設(shè)備上另設(shè)攝像頭獲取人眼圖像，將人眼圖像傳給移動終端，由移動終端根據(jù)人眼圖像確定人眼觀察方向、觀察區(qū)域。
[0070]在本實(shí)施例中，為了降低虛擬現(xiàn)實(shí)設(shè)備的生產(chǎn)成本，利用了固設(shè)于本體23的移動終端24的前置攝像頭拍攝人眼圖像，之后，終端可以利用該人眼圖像和現(xiàn)有的人眼追蹤的算法軟件，確定用戶在移動終端上的觀察區(qū)域，然后只對觀察區(qū)域的顯示畫面進(jìn)行渲染等處理，實(shí)現(xiàn)局部渲染的目的。
[0071]為了使前置攝像頭不受其位置的限定，能成功拍攝到人眼圖像，需要具有能將人眼圖像傳輸?shù)角爸脭z像頭的功能的構(gòu)件，在本實(shí)施例中，投射鏡片組21具有該功能，本實(shí)施例的投射鏡片組由多個(gè)鏡片組成，可以利用光的傳輸機(jī)制，將目鏡22后的人眼圖像投射到終端的前置攝像頭。可以想到的是，光的傳輸機(jī)制包括折射、反射等，本實(shí)施例的投射鏡片組包括反射鏡片、透鏡等，投射鏡片組可以利用反射鏡片對光的反射機(jī)制和/或透鏡的對光的折射機(jī)制，將目鏡22后的人眼圖像投射到前置攝像頭241。采用透鏡對光的折射機(jī)制時(shí)，投射鏡片組可以由多個(gè)透鏡組成，通過多次折射，將人眼圖像投射到前置攝像頭。
[0072]可以想到的是，考慮到前置攝像頭241與目鏡22的距離等因素，為了將人眼圖像投射到前置攝像頭，投射鏡片組可以利用光的反射原理，將人眼圖像經(jīng)過至少兩次反射，投射到前置攝像頭241?？蛇x的，投射鏡片組21包括至少兩級反射鏡組，每一級反射鏡組包括至少一個(gè)反射鏡片，該至少兩級反射鏡片可以對目鏡后的人眼圖像進(jìn)行至少兩級的反射，也即目鏡后的人眼圖像通過至少兩級反射后，投射到前置攝像頭241。
[0073]在該至少兩級反射鏡組中，有一級反射鏡組可以直接反射目鏡后的人眼圖像，其他級的反射鏡組反射的人眼圖像都是這一級反射鏡組反射之后的人眼圖像。在實(shí)際確定人眼觀察區(qū)域時(shí)，根據(jù)一個(gè)人眼圖像也能得到出人眼的觀察區(qū)域，所以上述的投射鏡片組21投射的人眼圖像可以是一只眼睛的人眼圖像，也可以是雙眼的人眼圖像，當(dāng)只采用單眼人眼圖像確定人眼的觀察區(qū)域時(shí)，投射鏡片組21中，能直接反射目鏡后的人眼圖像的一級反射鏡組可以只包括一個(gè)反射鏡片，用來反射一只眼睛的人眼圖像；當(dāng)采用雙眼人眼圖像確定人眼的觀察區(qū)域時(shí)，投射鏡片組21中，能直接反射目鏡后的人眼圖像的一級反射鏡組可以只包括兩個(gè)反射鏡片，每個(gè)反射鏡片用來反射一只眼睛的人眼圖像?？紤]到根據(jù)雙眼人眼圖像能更準(zhǔn)確地判斷人眼觀察區(qū)域，本實(shí)施例的投射鏡片組21可以設(shè)置為反射雙眼人眼圖像的結(jié)構(gòu)。
[0074]投射鏡片組21的反射鏡組的級數(shù)越多，人眼圖像的反射次數(shù)就越多，投射鏡片組21的結(jié)構(gòu)也越復(fù)雜?？紤]到兩級鏡片組已經(jīng)能實(shí)現(xiàn)將人眼圖像投射到前置攝像頭241，可選的，本實(shí)施例的投射鏡片組21包括兩級反射鏡組-第一級反射鏡組211和第二級反射鏡組212，第一級反射鏡組211包括兩個(gè)一級反射鏡片，第二級反射鏡組212包括一個(gè)二級反射鏡片，兩個(gè)一級反射鏡片分別對應(yīng)兩個(gè)目鏡，并將目鏡后的人眼圖像反射到二級反射鏡片上，二級反射鏡片將兩個(gè)人眼圖像同時(shí)反射至前置攝像頭。
[0075]可以想到的是，本實(shí)施例的第一級反射鏡組211是直接將目鏡后的人眼圖像反射給第二級反射鏡組212，所以第一級反射鏡組211必定設(shè)置在虛擬現(xiàn)實(shí)設(shè)備的本體23內(nèi)部能直接反射人眼光線的位置，第二級反射鏡組212的作用是將人眼圖像進(jìn)行二次反射，反射到前置攝像頭241。考慮到移動終端24在虛擬現(xiàn)實(shí)設(shè)備2中處于橫放狀態(tài)，其前置攝像頭241會靠近虛擬現(xiàn)實(shí)設(shè)備內(nèi)部的外殼，可以將第二級反射鏡組212設(shè)置在本體23內(nèi)的靠近外殼的位置。
[0076]在本實(shí)施例中，當(dāng)?shù)谝患壏瓷溏R組211反射的兩個(gè)人眼圖像，在第二級反射鏡組212上重疊時(shí)，兩個(gè)人眼圖像之間會相互干擾，導(dǎo)致移動終端不能獲取清晰的人眼圖像，無法確定人眼觀察區(qū)域。所以，在安裝第一級反射鏡組211中的兩個(gè)反射鏡片在時(shí)，安裝的標(biāo)準(zhǔn)以兩個(gè)反射鏡的反射路徑不重疊為準(zhǔn)。
[0077]為了便于敘述，這里將兩個(gè)一級反射鏡片取名為第一反射鏡2111與第二反射鏡2112。在本實(shí)施例中，第一反射鏡2111與第二反射鏡2112在本體23中的固定方式可以選擇活動連接的方式，例如通過滑槽，螺絲，或通過嵌套的方式固定在本體23中。在對第一反射鏡2111與第二反射鏡2112進(jìn)行光學(xué)設(shè)計(jì)的時(shí)候，可以通過結(jié)構(gòu)件嵌套、或調(diào)節(jié)固定螺絲等方式確保第一反射鏡2111反射的人眼圖像與第二反射鏡2112反射的人眼圖像在二級反射鏡片上互不重疊。
[0078]下面對第一級反射鏡組211包含兩個(gè)一級反射鏡片的結(jié)構(gòu)設(shè)置進(jìn)行說明。
[0079]第一級反射鏡組211包括兩個(gè)一級反射鏡片(第一反射鏡2111與第二反射鏡2112)，當(dāng)一級反射鏡片的材料不同時(shí)，其設(shè)置方式可能也會跟著變化。
[0080]—級反射鏡片可以是單透鏡鏡片，設(shè)置在目鏡與移動終端的屏幕之間，即第一反射鏡2111與第二反射鏡2112的材料可以是單透玻璃，參見圖4，第一反射鏡2111與第二反射鏡2112分別設(shè)置在虛擬現(xiàn)實(shí)設(shè)備的不同目鏡與移動終端的屏幕之間。
[0081]單透玻璃的特質(zhì)是對于雙方入射的光線，較強(qiáng)一方直接通過，呈現(xiàn)為透明；較弱一方進(jìn)行反射，呈現(xiàn)為反射鏡面。當(dāng)用戶戴好虛擬現(xiàn)實(shí)設(shè)備后，移動終端的屏幕射出的光線，比從人眼處入射的光線強(qiáng)，單透玻璃可呈現(xiàn)為透明并讓其直接通過，因此人眼可觀察到移動終端屏幕的畫面，不受單透玻璃的干擾。而從人眼處的入射光線，對于單透玻璃來說，與虛擬現(xiàn)實(shí)設(shè)備的屏幕發(fā)射出的光線相比是較弱的光線，因此單透玻璃呈現(xiàn)為反射鏡面，直接進(jìn)行反射。因此用戶的觀看效果不會受到影響，而人眼的圖像得以反射。本實(shí)施例中，第一反射鏡與第二反射鏡的鍍膜面與人眼是相對的。
[0082]參見圖4，第一反射鏡2111設(shè)置在終端屏幕與虛擬現(xiàn)實(shí)設(shè)備的左側(cè)目鏡之間的位置上，第二反射鏡2112設(shè)置在終端屏幕與虛擬現(xiàn)實(shí)設(shè)備的右側(cè)目鏡之間的位置上。其中，第一反射鏡2111和第二反射鏡2112的對于人眼光線的反射方向一致。同時(shí)，考慮到人眼圖像需要經(jīng)過第一反射鏡2111與第二反射鏡2112的第一次反射。以及二級反射鏡片的第二次反射，為了防止反射過程中因?yàn)榉瓷溏R不平行導(dǎo)致的人眼圖像的變形，可以考慮將第一反射鏡2111、第二反射鏡2112以及二級反射鏡片設(shè)置為相互平行的狀態(tài)?？紤]到反射人眼圖像的一級反射鏡片與目鏡之間的相對位置，對于兩個(gè)一級反射鏡片反射的人眼圖像在二級反射鏡上的大小和位置等有影響，為了保證第一反射鏡2111、第二反射鏡2112分別反射的兩只眼睛的人眼圖像的大小和位置等相對差異較小，可以將第一反射鏡2111與第二反射鏡2112分別設(shè)置在兩個(gè)目鏡的同一側(cè)，例如，參見圖4，將第一反射鏡2111設(shè)置在一個(gè)目鏡的右側(cè)，將第二反射鏡2112也設(shè)置在另一個(gè)目鏡的右側(cè)。
[0083]參見圖4，為了避免第一反射鏡2111與第二反射鏡2112反射的人眼圖像在二級反射鏡片上有重疊，可以使第一反射鏡2111的下邊緣高于第二反射鏡2112的上邊緣，或是使第一反射鏡2111的上邊緣低于第二反射鏡的下邊緣，使得靠近二級反射鏡片的反射鏡在豎直方向上，不會對另一反射鏡出現(xiàn)遮擋。
[0084]在本實(shí)施例中，兩個(gè)一級反射鏡片也可以采用非單透鏡鏡片，即第一反射鏡2111和第二反射鏡2112為非單透鏡鏡片。此時(shí)，第一反射鏡2111和第二反射鏡2112設(shè)置的位置也會有變化，第一反射鏡2111和第二反射鏡2112需要分別設(shè)置在虛擬現(xiàn)實(shí)設(shè)備的不同目鏡的視場邊緣?？蛇x的，可以設(shè)置在目鏡的視場邊緣5°附近，本實(shí)施例的5°只是用于示例，并不限制本實(shí)施例的第一反射鏡2111與第二反射鏡2112的具體設(shè)置位置。
[0085]第一反射鏡2111與第二反射鏡2112采用非單透鏡鏡片時(shí)，雖然會讓使用虛擬現(xiàn)實(shí)設(shè)備的用戶在仔細(xì)觀察時(shí)能發(fā)現(xiàn)非單透鏡鏡片反射的圖像，但是由于第一反射鏡2111與第二反射鏡2112距離視場中心較遠(yuǎn)，屏幕光線的色散和畸變情況較為嚴(yán)重，加上其上的反射圖像對視場角的占比不大，所以用戶不容易覺察，也不影響用戶的使用虛擬現(xiàn)實(shí)設(shè)備體驗(yàn)效果。
[0086]考慮到虛擬顯示設(shè)備的重量和體積會對用戶的使用感有直接影響，為了降低第二級反射鏡組212的重量和其所占的空間體積，可以使二級反射鏡片的面積應(yīng)等于第一反射鏡2111與第二反射鏡2112的面積之和。參見圖4，在進(jìn)行光學(xué)設(shè)計(jì)時(shí)，可通過結(jié)構(gòu)件嵌套、調(diào)節(jié)固定螺絲等方式確保第一反射鏡2111的反射畫面出現(xiàn)在第二級反射鏡組212的反射鏡片的左側(cè)，面積占比為50%;第二反射鏡2112的反射畫面出現(xiàn)在第二級反射鏡組212的反射鏡片的右側(cè)，面積占比為50%，且確保兩個(gè)反射畫面相互之間不會重疊，相加后剛好覆蓋滿二級反射鏡片的鏡面。
[0087]當(dāng)然，本實(shí)施例也可以只根據(jù)單眼人眼圖像確定人眼觀察區(qū)域，此時(shí)，投射鏡組21只需要投射單眼人眼圖像即可，第一級反射鏡組211可以只包括第一反射鏡2111和第二反射鏡2112中的任意一個(gè)，其材料選擇和設(shè)置方式參考上述根據(jù)雙眼人眼圖像確定人眼觀察區(qū)域?yàn)槔?，對第一反射鏡2111和第二反射鏡2112的說明，將單透鏡材料的一個(gè)一級反射鏡片設(shè)置在任一目鏡與虛擬現(xiàn)實(shí)設(shè)備的屏幕之間，將非單透鏡材料制成的一個(gè)一級反射鏡片設(shè)置在任一目鏡的視場邊緣。
[0088]由于現(xiàn)有的反射材料的限制，本實(shí)施例的人眼圖像在經(jīng)過每一次反射時(shí)，都會有一部分光線發(fā)生漫反射，可能導(dǎo)致前置攝像頭獲取的人眼圖像效果不理想，為了前置攝像頭獲取的人眼圖像更清晰，本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備還可以包括聚焦鏡組25，聚焦鏡組25位于前置攝像頭241前，用于將投射鏡片組21投射的人眼圖像進(jìn)行聚焦成像處理后投射到前置攝像頭241。
[0089]在本實(shí)施例中，聚焦鏡組25可以設(shè)置在前置攝像頭241與第二級反射鏡組212之間，對第二級反射鏡組212反射的人眼圖像進(jìn)行聚焦成像處理后投射到前置攝像頭241。
[0090]其中，聚焦鏡組25可以是由不同數(shù)量和不同光學(xué)參數(shù)的凸透鏡和凹透鏡組成。比較好的組成標(biāo)準(zhǔn)是，聚焦鏡組25投射到前置攝像頭241的像是正立放大的虛像。當(dāng)然，除此之外，本實(shí)施例的聚焦鏡組25成的像也可以是其他類型的清晰完整的圖像，例如，倒立的圖像等等，本實(shí)施例對比不作任何限制。
[0091]下面以單透鏡制成的第一反射鏡2111和第二反射鏡2112為例，介紹本實(shí)施例如何利用虛擬現(xiàn)實(shí)設(shè)備將人眼圖像投射到移動終端的前置攝像頭241。
[0092]參考圖4，圖4是利用本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備反射人眼圖像時(shí)，人眼圖像的光路示意圖，圖中的第一反射鏡2111和第二反射鏡2112分別設(shè)置在虛擬現(xiàn)實(shí)設(shè)備的不同目鏡22與移動終端屏幕242之間，根據(jù)上述對單透鏡的介紹，可以得到，從移動終端的屏幕242發(fā)出的光可以直接通過第一反射鏡2111和第二反射鏡2112，此時(shí)兩個(gè)反射鏡對人眼體驗(yàn)虛擬現(xiàn)實(shí)設(shè)備沒有影響。
[0093]在圖4中，光路A和光路B分別是第一反射鏡2111和第二反射鏡2112反射的人眼光線的傳輸路徑，可以很清楚地了解到，第一反射鏡2111和第二反射鏡2112反射的人眼光線是沒有重疊的。圖4中，第二級反射鏡組212設(shè)置在聚焦鏡組25后方，聚焦鏡組25與前置攝像頭241相對。從人眼入射的光線經(jīng)過第一反射鏡2111和第二反射鏡2112的反射，傳輸?shù)降诙壏瓷溏R組212的二級反射鏡片上，二級反射鏡片反射的光線經(jīng)過聚焦鏡組25的聚焦后邊投射到前置攝像頭241。
[0094]在本實(shí)施例中，移動終端24的大小、型號的不同，可能導(dǎo)致其前置攝像頭241的位置不同。為了保證前置攝像頭241始終能獲取到人眼圖像，本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備2還包括位置調(diào)整機(jī)構(gòu)，該位置調(diào)整機(jī)構(gòu)可以用來對聚焦鏡組25進(jìn)行位置調(diào)整，使其與前置攝像頭241的位置對應(yīng)，便于前置攝像頭241獲取清晰的人眼圖像。使得本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備2可匹配各類前置攝像頭241位置不同的終端機(jī)型，使市面上已經(jīng)在售的移動終端均可獲得性能提升，從而達(dá)到用戶體驗(yàn)更優(yōu)，沉浸感更佳的效果。
[0095]其中，位置調(diào)整機(jī)構(gòu)可以是手動調(diào)節(jié)的機(jī)械裝置，通過機(jī)械聯(lián)動的方式控制聚焦鏡組25的轉(zhuǎn)動。對應(yīng)的，位置調(diào)整機(jī)構(gòu)的結(jié)構(gòu)，包括但不限于與聚焦鏡組25連接的旋鈕或連桿等等，用戶通過操作旋鈕或連桿可以控制聚焦鏡組25的轉(zhuǎn)動。另外，本實(shí)施例的位置調(diào)整機(jī)構(gòu)也可以是自動調(diào)節(jié)的機(jī)械裝置，例如，該機(jī)械裝置可以通過感應(yīng)模塊確定前置攝像頭241的位置，然后自動控制位置調(diào)整機(jī)構(gòu)向正對前置攝像頭241的方向轉(zhuǎn)動，為了更快地確定前置攝像頭的位置，感應(yīng)模塊可以設(shè)置為一對可以互相感應(yīng)的射頻模塊，在將移動終端固定在本體23的固定部上時(shí)，將一個(gè)射頻模塊放置于移動終端24上的前置攝像頭241附近，另一個(gè)射頻模塊安裝在位置調(diào)整機(jī)構(gòu)上，利用兩個(gè)射頻模塊的感應(yīng)，位置調(diào)整機(jī)構(gòu)可以快速地確定前置攝像頭241的位置，自動控制聚焦鏡組25向正對前置攝像頭241的方向轉(zhuǎn)動。
[0096]在移動終端24中還可以設(shè)置相應(yīng)的VR工作狀態(tài)，當(dāng)用戶打開VR應(yīng)用列表中的應(yīng)用程序時(shí)，系統(tǒng)即轉(zhuǎn)換工作模式為VR工作狀態(tài)，同時(shí)開啟前置攝像頭進(jìn)行用戶人眼圖像的捕捉。
[0097]本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備，可以幫助終端利用前置攝像頭拍攝投射鏡片組投射到該前置攝像頭的人眼圖像，相對于現(xiàn)有技術(shù)中，在虛擬現(xiàn)實(shí)設(shè)備中另設(shè)攝像頭采集人眼圖像，將人眼圖像傳輸給移動終端的方式，本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備不必設(shè)置攝像頭，其生產(chǎn)成本自然得到了節(jié)約，有利于虛擬現(xiàn)實(shí)設(shè)備的普及;其次，本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備還能提高了移動終端的前置攝像頭的利用率。
[0098]進(jìn)一步地，第一反射鏡組采用單透鏡鏡片，能清晰地反射人眼圖像，保證人眼觀察區(qū)域確定的準(zhǔn)確性，同時(shí)，還能降低反射鏡的使用對用戶使用虛擬現(xiàn)實(shí)設(shè)備觀看視頻帶來的干擾，提高了用戶的視覺享受。
[0099]進(jìn)一步地，聚焦鏡組的使用能對多次反射的人眼圖像進(jìn)行聚焦，使得前置攝像頭拍攝的人眼圖像更清晰，提高人眼觀察區(qū)域確定的準(zhǔn)確性。
[0100]進(jìn)一步地，位置調(diào)整機(jī)構(gòu)的設(shè)置，使得聚焦鏡組的位置可以隨著前置攝像頭的位置的變化而變化，使得本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備可以適配多種不同型號的終端，極大地提高了本實(shí)施例的虛擬現(xiàn)實(shí)設(shè)備的實(shí)用性和與移動終端適配度。
[0101]第三實(shí)施例:
[0102]參照圖5，圖5為本發(fā)明第三實(shí)施例提供的虛擬現(xiàn)實(shí)圖像處理方法的流程圖，本實(shí)施例的虛擬現(xiàn)實(shí)圖像處理方法，可以利用第一實(shí)施例或二實(shí)施例提供的虛擬現(xiàn)實(shí)設(shè)備結(jié)合現(xiàn)有的帶有前置攝像頭的移動終端完成的，關(guān)于該虛擬現(xiàn)實(shí)設(shè)備的結(jié)構(gòu)設(shè)置，可以參見第一實(shí)施例或第二實(shí)施例的描述。本實(shí)施例的虛擬現(xiàn)實(shí)圖像處理方法包括:
[0103]S501、利用投射鏡片組將目鏡后的人眼圖像投射到移動終端的前置攝像頭；
[0104]S502、移動終端利用前置攝像頭獲取人眼圖像；
[0105]S503、移動終端根據(jù)獲取的人眼圖像確定人眼的觀察區(qū)域，對人眼觀察區(qū)域的顯示畫面的進(jìn)行預(yù)設(shè)的圖像處理。
[0106]在S501中的投射鏡片組中的一部分鏡片可以設(shè)置在正對前置攝像頭的位置，便于前置攝像頭獲取該部分鏡片投射的人眼圖像。其中，投射鏡片組可以利用光的折射、反射等傳輸機(jī)制將人眼圖像投射到前置攝像頭。
[0107]在步驟S502中，如果前置攝像頭獲取人眼圖像的頻率過高，步驟S503中移動終端需要頻繁進(jìn)行計(jì)算，這需要占用終端較大的運(yùn)算資源。所以在虛擬現(xiàn)實(shí)設(shè)備的某些使用場景下，當(dāng)用戶的眼球轉(zhuǎn)動頻率較低或幅度較小，即用戶的觀察區(qū)域在一定時(shí)間內(nèi)變化不大的時(shí)候，前置攝像頭不間斷拍攝人眼圖像會導(dǎo)致極大的運(yùn)算資源的浪費(fèi)。所以，本實(shí)施例中步驟S502可以是用前置攝像頭按照預(yù)設(shè)的拍攝頻率拍攝人眼圖像?？蛇x的，用戶可以利用終端設(shè)置前置攝像頭拍攝人眼圖像的頻率，控制攝像頭按照該頻率進(jìn)行拍攝。
[0108]可以想到的是，在前置攝像頭拍攝人眼圖像后，人眼圖像會被發(fā)送給移動終端上處理該人眼圖像的模塊或單元。然后步驟S503中，移動終端可以根據(jù)內(nèi)置人眼追蹤的算法軟件和前置攝像頭拍攝的人眼圖像進(jìn)行計(jì)算，確定當(dāng)前用戶在移動終端上的觀察區(qū)域。
[0109]在現(xiàn)有技術(shù)中，對于人眼視線方向估計(jì)算法，已經(jīng)比較成熟，人眼視線方向的定義為連接眼球中心和虹膜中心的直線方向，也即人眼視線方向是一個(gè)人觀察物體的方向，在本實(shí)施例中，它可以用來反應(yīng)用戶的觀察區(qū)域，所以在本實(shí)施例中，可以利用現(xiàn)有的人眼視線估計(jì)算法，對前置攝像頭拍攝的人眼圖像進(jìn)行處理，確定人眼實(shí)現(xiàn)方向，也即確定人眼觀察區(qū)域，其中，人眼視線估計(jì)算法可以基于單目圖像估計(jì)人眼視線方向、以及基于雙目圖像估計(jì)人眼視線方向?；陔p目圖像的算法，可以根據(jù)雙眼的虹膜輪廓，有效地估算出人眼視線方向，確定人眼觀察區(qū)域。
[0110]步驟S503中，確定人眼觀察區(qū)域后，對人眼觀察區(qū)域的顯示畫面進(jìn)行的預(yù)設(shè)的圖像處理包括:對人眼觀察區(qū)域的顯示畫面進(jìn)行渲染。
[0111]考慮到根據(jù)雙眼的人眼圖像確定的人眼觀察區(qū)域更準(zhǔn)確，本實(shí)施例的步驟S511中，將人眼圖像投射到前置攝像頭的方法包括:利用兩個(gè)一級反射鏡片，將各自對應(yīng)的目鏡后的人眼圖像反射至一個(gè)二級反射鏡片，二級反射鏡片將兩人眼圖像反射至前置攝像頭。
[0112]—級反射鏡片和二級反射鏡片的設(shè)置可以參考第二實(shí)施例的描述，這里不再贅述。
[0113]由于現(xiàn)有的反射材料的限制，人眼圖像在經(jīng)過一級反射鏡片和二級反射鏡片反射時(shí)，會有一部分光線發(fā)生漫反射，導(dǎo)致前置攝像頭獲取的人眼圖像效果不理想。為了前置攝像頭獲取的人眼圖像更清晰，本實(shí)施例還包括，利用聚焦鏡組將投射鏡片組投射的人眼圖像進(jìn)行聚焦處理后投射到前置攝像頭。聚焦鏡組的結(jié)構(gòu)和設(shè)置參考實(shí)施例二的相關(guān)描述。
[0114]本實(shí)施例的虛擬現(xiàn)實(shí)圖像處理方法，可以利用終端現(xiàn)有的前置攝像頭拍攝人眼圖像，避免在虛擬現(xiàn)實(shí)設(shè)備中另設(shè)光學(xué)或紅外線攝像頭，有利于降低虛擬現(xiàn)實(shí)設(shè)備的成本，同時(shí)，由于投射鏡片組將人眼圖像投射到前置攝像頭，前置攝像頭的位置可以不局限于現(xiàn)有技術(shù)中的攝像頭的位置，即可直接拍攝人眼圖像的位置，所以本實(shí)施例的方法適用于更多類型的帶有前者攝像頭的移動終端;利用前置攝像頭獲取人眼圖像后，移動終端可以據(jù)此確定人眼的觀察區(qū)域，對人眼觀察區(qū)域的顯示畫面的進(jìn)行虛擬現(xiàn)實(shí)圖像處理，實(shí)現(xiàn)局部渲染等目的，相對于顯示畫面的全畫面處理，本方法極大地降低了終端需要的運(yùn)算資源，保證了顯示畫面的流暢性，帶給用戶良好的體驗(yàn)。
[0115]第四實(shí)施例:
[0116]參照圖6，圖6為本發(fā)明第四實(shí)施例提供的虛擬現(xiàn)實(shí)圖像處理方法的流程圖，該方法中使用的虛擬現(xiàn)實(shí)設(shè)備，可以參考實(shí)施例二中的具有兩個(gè)一級反射鏡片的虛擬現(xiàn)實(shí)設(shè)備，本實(shí)施例中的兩個(gè)一級反射鏡片是單透鏡鏡片，且兩個(gè)一級反射鏡片在二級反射鏡片上的反射區(qū)域不重疊。
[0117]在使用本實(shí)施例的方法進(jìn)行虛擬現(xiàn)實(shí)圖像處理之前，可以利用虛擬現(xiàn)實(shí)設(shè)備的位置調(diào)整機(jī)構(gòu)調(diào)節(jié)聚焦鏡組，使得聚焦鏡組與前置攝像頭的位置對應(yīng)，聚焦鏡組成的像能投射到前置攝像頭。
[0118]本實(shí)施例的虛擬現(xiàn)實(shí)圖像處理方法流程如下:
[0119]S601、打開VR應(yīng)用列表中的應(yīng)用程序，移動終端的系統(tǒng)處于VR工作狀態(tài)，開啟前置攝像頭進(jìn)行用戶人眼圖像捕捉；
[0120]S602、利用兩個(gè)一級反射鏡片分別將兩個(gè)人眼圖像反射到二級反射鏡片上，利用二級反射鏡片將兩個(gè)人眼圖像同時(shí)反射到聚焦鏡組；
[0121]S603、利用聚焦鏡組對二級反射鏡片反射的人眼圖像進(jìn)行聚焦處理后投射到前置攝像頭;在前置攝像頭處，觀察到的聚焦鏡組成的像是正立放大的虛像；
[0122]S604、前置攝像頭拍攝該人眼圖像；
[0123]S605、移動終端調(diào)用人眼視線方向估計(jì)算法軟件，將拍攝的人眼圖像作為算法軟件的輸入，確定移動終端上人眼的觀察區(qū)域；
[0124]在步驟S605中，確定移動終端上人眼的觀察區(qū)域的過程包括:根據(jù)人眼圖像識別出人眼的眼球中心和虹膜中心，根據(jù)眼球中心和虹膜中心的連線確定眼睛的視線方向，根據(jù)該視線方向確定移動終端上人眼的觀察區(qū)域。
[0125]S606、移動終端對觀察區(qū)域的顯示畫面進(jìn)行渲染。
[0126]采用本實(shí)施例的虛擬現(xiàn)實(shí)圖像處理方法可以利用現(xiàn)有的終端的前置攝像頭確定人眼的觀察區(qū)域，對顯示畫面中人眼的觀察區(qū)域進(jìn)行渲染，達(dá)到局部渲染的效果，所以本實(shí)施例的方法可以減少終端的運(yùn)算量和功耗，提高顯示畫面的流暢度速度，提升用戶的使用感。
[0127]需要說明的是，在本文中，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。
[0128]上述本發(fā)明實(shí)施例序號僅僅為了描述，不代表實(shí)施例的優(yōu)劣。
[0129]上面結(jié)合附圖對本發(fā)明的實(shí)施例進(jìn)行了描述，但是本發(fā)明并不局限于上述的【具體實(shí)施方式】，上述的【具體實(shí)施方式】僅僅是示意性的，而不是限制性的，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的啟示下，在不脫離本發(fā)明宗旨和權(quán)利要求所保護(hù)的范圍情況下，還可做出很多形式，這些均屬于本發(fā)明的保護(hù)之內(nèi)。
【主權(quán)項(xiàng)】
1.一種虛擬現(xiàn)實(shí)設(shè)備，其特征在于，包括投射鏡片組、目鏡和本體，本體具有固設(shè)移動終端的固定部，所述移動終端帶有前置攝像頭;所述投射鏡片組和目鏡安裝在所述本體內(nèi)；所述投射鏡片組將所述目鏡后的人眼圖像投射到所述前置攝像頭。2.如權(quán)利要求1所述的虛擬現(xiàn)實(shí)設(shè)備，其特征在于，所述投射鏡片組用于通過反射鏡片的反射機(jī)制和/或透鏡的折射機(jī)制，將所述人眼圖像投射到所述前置攝像頭。3.如權(quán)利要求2所述的虛擬現(xiàn)實(shí)設(shè)備，其特征在于，所述投射鏡片組包括至少兩級反射鏡組，每一級反射鏡組包括至少一個(gè)反射鏡片;所述目鏡后的人眼圖像通過至少兩級反射后，投射到所述前置攝像頭。4.如權(quán)利要求3所述的虛擬現(xiàn)實(shí)設(shè)備，其特征在于，所述投射鏡片組包括;兩級反射鏡組，第一級反射鏡組包括兩個(gè)一級反射鏡片，第二級反射鏡組包括一個(gè)二級反射鏡片，兩個(gè)一級反射鏡片分別對應(yīng)兩個(gè)目鏡，并將目鏡后的人眼圖像反射到所述二級反射鏡片上;所述二級反射鏡片將兩個(gè)所述人眼圖像同時(shí)反射至所述前置攝像頭。5.如權(quán)利要求4所述的虛擬現(xiàn)實(shí)設(shè)備，其特征在于，所述一級反射鏡片為單透鏡鏡片，設(shè)置在目鏡與所述移動終端的屏幕之間； 或所述一級反射鏡片為非單透鏡鏡片，設(shè)置在所述目鏡的視場邊緣。6.如權(quán)利要求1-5任一項(xiàng)所述的虛擬現(xiàn)實(shí)設(shè)備，其特征在于，還包括:聚焦鏡組，所述聚焦鏡組位于所述前置攝像頭前，用于將所述投射鏡片組投射的人眼圖像進(jìn)行聚焦成像處理后投射到所述前置攝像頭。7.如權(quán)利要求6所述的虛擬現(xiàn)實(shí)設(shè)備，其特征在于，還包括位置調(diào)整機(jī)構(gòu)，所述位置調(diào)整機(jī)構(gòu)對所述聚焦鏡組進(jìn)行位置調(diào)整，使其與所述前置攝像頭的位置對應(yīng)。8.一種虛擬現(xiàn)實(shí)圖像處理方法，其特征在于，包括: 利用投射鏡片組將目鏡后的人眼圖像投射到移動終端的前置攝像頭； 移動終端利用所述前置攝像頭獲取所述人眼圖像； 移動終端根據(jù)獲取的所述人眼圖像確定人眼的觀察區(qū)域，對人眼觀察區(qū)域的顯示畫面的進(jìn)行預(yù)設(shè)的圖像處理。9.如權(quán)利要求8所述的虛擬現(xiàn)實(shí)圖像處理方法，其特征在于，所述利用投射鏡片組將目鏡后的人眼圖像投射到移動終端的前置攝像頭包括:利用兩個(gè)一級反射鏡片，將各自對應(yīng)的目鏡后的人眼圖像反射至一個(gè)二級反射鏡片，所述二級反射鏡片將兩人眼圖像反射至所述前置攝像頭。10.如權(quán)利要求8或9所述的虛擬現(xiàn)實(shí)圖像處理方法，其特征在于，還包括，將所述投射鏡片組投射的人眼圖像進(jìn)行聚焦處理后投射到所述前置攝像頭。
【文檔編號】H04N13/02GK106020480SQ201610357568
【公開日】2016年10月12日
【申請日】2016年5月25日
【發(fā)明人】張圣杰
【申請人】努比亞技術(shù)有限公司