本發(fā)明涉及3D顯示技術(shù)領(lǐng)域，更具體地，涉及一種具有超大視角的追蹤式地面光場3D顯示方法及系統(tǒng)。

背景技術(shù)：

隨著當(dāng)今科學(xué)技術(shù)的飛速發(fā)展，傳統(tǒng)的二維平面顯示技術(shù)已經(jīng)遠(yuǎn)遠(yuǎn)無法滿足目前各個行業(yè)領(lǐng)域?qū)τ谏疃葦?shù)據(jù)與空間立體感的需求。越來越多的應(yīng)用領(lǐng)域，如醫(yī)學(xué)成像、科學(xué)研究、外太空探索、重要遠(yuǎn)程會議和軍事等，要求能夠?qū)崿F(xiàn)3D場景的真實重建，從而使得觀看者可以更加精確的捕獲相關(guān)信息，準(zhǔn)確的進(jìn)行現(xiàn)場判斷。

利用立體眼鏡實現(xiàn)雙目立體是目前最為普遍的3D顯示技術(shù)，目前該技術(shù)主要應(yīng)用于電影產(chǎn)業(yè)。平面自由立體顯示技術(shù)的出現(xiàn)，讓人們可以通過肉眼直接體驗3D視覺，使3D與人們的生活更加貼近。

光場顯示的代表是集成成像顯示，它是由Lippmann提出的集成攝影術(shù)(integral photography，IP)發(fā)展而來，該技術(shù)可以為觀眾提供全視差的自由立體效果。光場顯示是一種重要的3D顯示，觀看者無需佩戴助視眼鏡即可觀看到立體圖像。該3D顯示可以完全還原真實3D場景，具有全視差、全彩色和視點連續(xù)的優(yōu)點。但是目前普通光場顯示中，存在高分辨率與超大視角兩者之間相互制約的缺點，在提高分辨率的同時勢必降低視場角。

技術(shù)實現(xiàn)要素：

為了解決上述問題，在保證高分辨率的基礎(chǔ)上，本發(fā)明提供一種具有超大視角的追蹤式地面光場3D顯示方法，所述顯示方法包括：

S1.基于3D場景的視差圖像，合成用于3D顯示的合成圖；

S2.基于觀察者的方位信息，判斷并顯示所述方位信息對應(yīng)的所述合成圖。

優(yōu)選地，所述S1包括如下步驟：

S11.基于透鏡陣列的光場顯示系統(tǒng)，確定光場顯示系統(tǒng)參數(shù)；

S12.根據(jù)光場顯示系統(tǒng)參數(shù)，利用相同參數(shù)設(shè)置拍攝設(shè)備陣列，采集3D場景的視差圖像；

S13.對所述視差圖像進(jìn)行編碼合成得到用于3D顯示的合成圖。

優(yōu)選地，S11中所述光場顯示系統(tǒng)包括顯示面板、透鏡陣列與具有散射功能的光學(xué)器件。

優(yōu)選地，所述透鏡陣列包括多個透鏡，其中，每個透鏡下覆蓋一個圖像像素組。

優(yōu)選地，S12中采用虛擬相機(jī)矩陣，離軸拍攝，渲染得到視差圖像序列。

優(yōu)選地，所述拍攝設(shè)備陣列中拍攝設(shè)備的個數(shù)與一個像素組中像素的個數(shù)相同。

優(yōu)選地，S11中所述參數(shù)包括透鏡陣列的寬度D、所述光學(xué)器件的顯示寬度W和透鏡陣列與所述光學(xué)器件間的距離L；S12中采集的3D場景的寬度為D₀，拍攝設(shè)備陣列的總寬度為W₀，拍攝設(shè)備陣列拍攝的平面到拍攝陣列的距離為L₀，S12的采集參數(shù)滿足以下關(guān)系：

優(yōu)選地，S13中視差圖像陣列數(shù)目與合成編碼圖像中每個子單元中像素數(shù)目相對應(yīng)。

優(yōu)選地，S2的具體步驟包括：

利用體感追蹤設(shè)備對觀察者進(jìn)行追蹤，實時獲得觀察者的空間方位信息；

判斷觀察者所處的觀看視區(qū)，顯示其對應(yīng)的所述合成圖。

本發(fā)明的另一方面，還提供了一種具有超大視角的追蹤式地面光場3D顯示系統(tǒng)，其特征在于，所述系統(tǒng)包括：

采集模塊，用于采集3D場景的視差圖像；

編碼合成模塊，用于將所述視差圖像進(jìn)行編碼成合成圖；

追蹤模塊，用于實時捕獲觀察者的方位信息；

顯示模塊，判斷并顯示對應(yīng)的合成圖。

優(yōu)選地，顯示模塊包括光場顯示系統(tǒng)。

其中，光場顯示系統(tǒng)包括液晶顯示面板、透鏡陣列與具有散射功能的光學(xué)器件。

優(yōu)選地，透鏡陣列包括多個透鏡，其中，每個透鏡下覆蓋一個圖像像素組。

優(yōu)選地，在采集模塊包括使用離軸拍攝方式的虛擬相機(jī)矩陣陣列。

本發(fā)明通過提供一種具有超大視角的追蹤式地面光場3D顯示方法及其系統(tǒng)，解決了現(xiàn)有技術(shù)中針對地面式光場顯示中所存在的高分辨率與超大視角兩者之間相互制約的缺點，同時實現(xiàn)了在地面式光場顯示中的高分辨率和超大視角。本發(fā)明的顯示系統(tǒng)具有結(jié)構(gòu)簡單、無需場鏡等輔助光學(xué)器件，系統(tǒng)中沒有機(jī)械運(yùn)動，不會產(chǎn)生振動、噪聲和跳變等優(yōu)點。

附圖說明

圖1為根據(jù)本發(fā)明實施例中追蹤式地面光場3D顯示方法的總體流程示意圖；

圖2為根據(jù)本發(fā)明一個優(yōu)選實施例中基于透鏡陣列的光場顯示系統(tǒng)及注意參數(shù)示意圖；

圖3為根據(jù)本發(fā)明一個優(yōu)選實施例中視差圖像采集過程的示意圖；

圖4為根據(jù)本發(fā)明一個優(yōu)選實施例中N*N相機(jī)陣列拍攝位置移動關(guān)系圖；

圖5為根據(jù)本發(fā)明一個優(yōu)選實施例中視差圖像序列編碼合成圖像過程的示意圖；

圖6為根據(jù)本發(fā)明一個優(yōu)選實施例中觀看者位于不同視區(qū)觀看到不同合成圖的示意圖；

圖7為根據(jù)本發(fā)明實施例中使用本發(fā)明的方法與傳統(tǒng)方法所得到視場角的對比圖；

圖8為根據(jù)本發(fā)明實施例中追蹤式地面光場3D顯示系統(tǒng)的示意圖；

圖9為根據(jù)本發(fā)明一個優(yōu)選實施例中基于液晶顯示面板的地面光場3D顯示系統(tǒng)示意圖(a)正面二維示意圖，(b)頂面一維示意圖；

圖10為根據(jù)本發(fā)明一個優(yōu)選實施例中全息功能屏對實際透鏡產(chǎn)生場曲的矯正作用的示意圖。

具體實施方式

下面結(jié)合附圖和實施例，對本發(fā)明的具體實施方式作進(jìn)一步詳細(xì)描述。以下實施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

本發(fā)明的具有超大視角的追蹤式地面光場3D顯示方法，如圖1所示，包括：

S1.基于3D場景的視差圖像，合成用于3D顯示的合成圖；

S2.基于觀察者的方位信息，判斷并顯示所述方位信息對應(yīng)的S1中合成圖。

在地面光場顯示方法中，通常選用含有透鏡陣列的光場系統(tǒng)。

為了實現(xiàn)合成圖之間無跳變切換，在S1采集圖像的過程中，拍攝設(shè)備陣列與3D光場場景之間的參數(shù)關(guān)系應(yīng)與光場顯示系統(tǒng)參數(shù)設(shè)置相同。即，在本發(fā)明的一個優(yōu)選的實施例中，所述S1包括如下步驟：

S11.基于透鏡陣列的光場顯示系統(tǒng)，確定光場顯示系統(tǒng)參數(shù)；

S12.根據(jù)光場顯示系統(tǒng)參數(shù)，利用相同參數(shù)設(shè)置拍攝設(shè)備陣列，采集3D場景的視差圖像；

S13.對所述視差圖像進(jìn)行編碼合成得到用于3D顯示的合成圖。

其中，所述光場顯示系統(tǒng)包括顯示面板、透鏡陣列與具有散射功能的光學(xué)器件。

本發(fā)明中的顯示面板泛指具有顯示功能的器件，本領(lǐng)域中常用的具有上述功能的器件均可以用于本發(fā)明中。在本發(fā)明的具體實施方式中以液晶顯示面板為例來詳述本發(fā)明的技術(shù)方案。

具有散射功能的光學(xué)器件泛指可以將光線以一定的角度進(jìn)行發(fā)散的器件，本領(lǐng)域中具有上述功能的光學(xué)器件均可以用于本發(fā)明中。在本發(fā)明的具體實施方式中以全息功能屏為例來詳述本發(fā)明的技術(shù)方案。

在本發(fā)明的一個優(yōu)選實施例中，在S11中，光場顯示系統(tǒng)包括液晶顯示面板、透鏡陣列與全息功能屏三部分共同組成。

其中，透鏡陣列包括多個透鏡，其中，每個透鏡下覆蓋一個圖像像素組。每個透鏡下覆蓋N*N個像素，這N*N個像素稱為一個像素組。其中，透鏡陣列優(yōu)選矩形排列。

如圖2所示，在距離透鏡陣列L的位置上，液晶面板上所有的像素組經(jīng)過它們對應(yīng)的透鏡中心的連線可以形成寬度為W的共同區(qū)域。透鏡陣列的總體寬度為D。

為了在保持較高分辨率的前提下，使地面式光場能更好的實現(xiàn)超大視角，優(yōu)選地，在S12中采用虛擬相機(jī)矩陣，離軸拍攝，渲染得到視差圖像。

采用拍攝設(shè)備陣列進(jìn)行視差圖像采集。拍攝設(shè)備陣列指多臺拍攝設(shè)備，為了得到更完整的圖像，拍攝設(shè)備陣列中拍攝設(shè)備的個數(shù)與一個像素組中像素的個數(shù)相同。為了一次性快速精確得到大量視差圖，本發(fā)明中使用虛擬相機(jī)陣列來作為拍攝設(shè)備，在下面的優(yōu)選實施例中，均以虛擬相機(jī)陣列為例來詳述本發(fā)明的優(yōu)選技術(shù)方案。

在S12采集視差圖像序列的步驟中，視差采集過程如圖3所示，相機(jī)采集陣列的總寬度為W₀，采集相機(jī)的數(shù)目為N*N。每個相機(jī)采用離軸拍攝的方式，相機(jī)拍攝的公交面到相機(jī)陣列的距離為L₀，被采集的整個3D場景的寬度為D₀。

為了保證合成圖之間無跳變切換，采集過程中其虛擬相機(jī)陣列與3D場景之間的參數(shù)關(guān)系與光場顯示系統(tǒng)參數(shù)設(shè)置相對應(yīng)。視差圖像陣列的采集參數(shù)需要滿足以下關(guān)系：

假設(shè)兩虛擬相機(jī)間距為x，相機(jī)陣列的所有相機(jī)間距相等。

在本發(fā)明的一個實施例中，根據(jù)以上關(guān)系確定虛擬相機(jī)陣列的具體參數(shù)。

例如，本發(fā)明中，進(jìn)行圖像序列采集時可以按照如下方法設(shè)置相機(jī)陣列，如圖4所示，在N*N相機(jī)陣列處于三維坐標(biāo)原點位置的基礎(chǔ)上，向X軸的正、負(fù)方向分別移動m₀x、m₁x...m_kx,Y軸的正、負(fù)方向分別移動n₀x、n₁x...n_k’x，則相機(jī)陣列的中心位于三維坐標(biāo)系(±m(xù)_kx，±n_k’x，z)處分別進(jìn)行虛擬拍攝，其中0≤m₀<m₁...<m_k<N(N指X方向的相機(jī)個數(shù)),m₀、m₁...m_k、k均為整數(shù)；0<n₀<n₁...<n_k’<N(N指Y方向的相機(jī)個數(shù)),n₀、n₁...n_k’、k’均為整數(shù)。

在S13對采集到的視差圖像序列進(jìn)行編碼合成的步驟中，視差圖像陣列數(shù)目優(yōu)選與合成編碼圖像中每個子單元中像素數(shù)目相對應(yīng)。即，以矩形排列的透鏡陣列為例，因此視差圖像陣列水平與豎直方向上的數(shù)目均為N，合成編碼圖像每個透鏡對應(yīng)的子單元中像素的數(shù)目為N*N。

在本發(fā)明的實施例中所提出的利用虛擬相機(jī)矩陣離軸拍攝的方式渲染，一次性快速、精確的得到大量視差序列圖，再根據(jù)圖像編碼方式將多組視差圖像序列合成多張用于光場顯示的合成圖。而傳統(tǒng)的方法是利用單一相機(jī)多次拍攝3D場景，從而得到多張視差圖。此文所述的方法較傳統(tǒng)采集方法有明顯優(yōu)勢，它可以快速精確、大量優(yōu)質(zhì)的得到用于光場顯示的合成圖。

其中，圖像編碼方式為本領(lǐng)域中常用的編碼方式。在本發(fā)明的一個實施例中，以矩形排列的透鏡陣列為例，以如下編碼方式詳述本發(fā)明：

在矩形排列的透鏡陣列中，視差圖像陣列水平與豎直方向上的數(shù)目均為N，合成編碼圖像每個透鏡對應(yīng)的子單元中像素的數(shù)目為N*N。視差圖像陣列中每個圖像的寬度與高度分別為w和h，合成編碼圖像的總寬度與高度分別為w_code和h_code。合成編碼圖像上任意位置(x，y)處的像素值可以用第(i，j)個視差圖像中(x₀，y₀)處的像素值填充。i，j，x₀和y₀可以用公式(2)～公式(5)表示：

j＝x-(x-1)mod[N]·N (2)

i＝y(tǒng)-(y-1)mod[N]·N (3)

上式中(X)mod[N]表示X對N取模值，[X]表示對X取整數(shù)。

利用上述編碼方式將渲染得到的多組視差圖像序列分別合成多張合成圖，如圖5所示。

在S2中，利用體感追蹤設(shè)備對觀察者進(jìn)行追蹤，實時獲得觀察者的空間方位信息，判斷觀察者所處的觀看視區(qū)，顯示其對應(yīng)的S1中合成圖。

其中，將得到的用于3D地面光場顯示的合成圖預(yù)存于計算機(jī)中，利用體感追蹤設(shè)備對觀察者進(jìn)行追蹤，實時捕獲觀看者的空間方位，并判斷觀看者所處的觀看視區(qū)，根據(jù)其對應(yīng)的視區(qū)靈活調(diào)用預(yù)存于系統(tǒng)的合成圖。在現(xiàn)有技術(shù)中，為了能實時捕獲觀看者的空間方位，通常是對觀察者進(jìn)行頭部追蹤，更優(yōu)選地的是對觀察者的眼睛的可視區(qū)進(jìn)行追蹤。

由于觀察者位于的視區(qū)位置與相機(jī)陣列采集位置相一致，當(dāng)觀看者位于視區(qū)某一位置時，在液晶顯示屏上對應(yīng)調(diào)用與此位置一致的采集位置采集得到的序列圖的合成圖。

以下面一個優(yōu)選的實施例來詳述本發(fā)明的步驟S12，并將其效果與傳統(tǒng)集成成像的效果相比較。

設(shè)傳統(tǒng)集成成像在距離液晶顯示屏為L處時，在X方向上的顯示范圍為X₀，Y方向上為Y₀，則采用本發(fā)明的追蹤式地面光場3D顯示方法時，在X方向顯示范圍為(1+2m_k/N)X₀,在Y方向顯示范圍為(1+2n_k’/N)Y₀。

當(dāng)觀看者位于視區(qū)(-X₀/2,X₀/2)∩(-Y₀/2,Y₀/2)時，液晶顯示屏顯示相機(jī)陣列中心位于(0,0，z)處采集得到的序列圖的編碼合成圖；當(dāng)觀看者位于第一象限的視區(qū){((1/2+m_k-1/N)X₀,(1/2+m_k/N)X₀)}∩{(1/2+n_k’-1/N)Y₀,(1/2+n_k’/N)Y₀}時，液晶顯示屏顯示相機(jī)陣列中心位于(m_kx,n_k’x，z)處采集得到的序列圖的編碼合成圖；當(dāng)觀看者位于第二象限的視區(qū){(-(1/2+m_k/N)X₀),-(1/2+m_k/N)X₀)}∩{(1/2+n_k’-1/N)Y₀,(1/2+n_k’/N)Y₀}時，液晶顯示屏顯示相機(jī)陣列中心位于(-m_kx,n_k’x，z)處采集得到的序列圖的編碼合成圖；當(dāng)觀看者位于第三象限的視區(qū){(-(1/2+m_k/N)X₀),-(1/2+m_k/N)X₀)}∩{-(1/2+n_k’/N)Y₀,-1/2+n_k’-1/N)Y₀}時，液晶顯示屏顯示相機(jī)陣列中心位于(-m_kx,-n_k’x，z)處采集得到的序列圖的編碼合成圖；當(dāng)觀看者位于第四象限的視區(qū){((1/2+m_k-1/N)X₀,(1/2+m_k/N)X₀)}∩{-(1/2+n_k’/N)Y₀,-1/2+n_k’-1/N)Y₀}時，液晶顯示屏顯示相機(jī)陣列中心位于(m_kx,-n_k’x，z)處采集得到的序列圖的編碼合成圖。據(jù)上所述，觀看者位于不同視區(qū)觀看到不同的合成圖，如圖6所示。

由以上內(nèi)容得知，如圖7所示，用傳統(tǒng)地面光場顯示方法時，在X方向上顯示視場角的范圍為2arctan(X₀/2L)，同理，在Y方向上顯示視場角的范圍為2arctan(Y₀/2L)；而利用本發(fā)明的追蹤式地面光場3D顯示方法時，在X方向上顯示視場角的范圍為2arctan((1+2m_k/N)X₀/2L)，同理，在Y方向上顯示視場角的范圍為2arctan((1+2n_k’/N)X₀/2L)，明顯在X、Y方向上均很大程度提高了視場角。

本發(fā)明的另一個方面還提供了一種具有高分辨率和超大視角的追蹤式地面光場3D顯示系統(tǒng)，系統(tǒng)包括：

采集模塊，用于采集3D場景的視差圖像；

編碼合成模塊，用于將所述視差圖像進(jìn)行編碼成合成圖；

追蹤模塊，用于實時捕獲觀察者的方位信息；

顯示模塊，用于判斷并顯示對應(yīng)的所述合成圖。

在本發(fā)明的一個實施例中，顯示模塊包括光場顯示系統(tǒng)。

其中，光場顯示系統(tǒng)包括液晶顯示面板、透鏡陣列與具有散射功能的光學(xué)器件。

其中，透鏡陣列包括多個透鏡，其中，每個透鏡下覆蓋一個圖像像素組。

其中，追蹤模塊包括追蹤設(shè)備，追蹤設(shè)備用于實時捕獲觀察者的方位信息，判斷并顯示對應(yīng)的所述合成圖。

如圖8所示，本發(fā)明所提供的追蹤式地面光場3D顯示系統(tǒng)包括：光場顯示系統(tǒng)(顯示模塊)、處理器如計算機(jī)(編碼合成模塊)、和追蹤設(shè)備(追蹤模塊)。其中，處理器中還包括虛擬相機(jī)陣列所構(gòu)成的采集模塊。

本發(fā)明的實施例中提出的光場顯示系統(tǒng)包括：液晶顯示面板、透鏡陣列與全息功能屏(具有散射功能的光學(xué)器件)三部分，系統(tǒng)結(jié)構(gòu)圖如圖9所示。

在該系統(tǒng)中，液晶顯示面板是用于加載2D的編碼圖像，該圖像經(jīng)過透鏡陣列與全息功能屏的調(diào)制作用可以實現(xiàn)三維光場的重建。液晶顯示面板的分辨率越高，重建的信息就越完整，內(nèi)容的精確度就越好。

在一般光場顯示系統(tǒng)中，透鏡陣列的間距與透鏡焦距越大，視場角越大，本文利用大間距、大焦距的透鏡陣列來實現(xiàn)在保證分辨率的基礎(chǔ)上增大視場角。

由于全息功能屏具有擴(kuò)散成像的作用，利用全息功能屏除了可將實際透鏡成像內(nèi)容的場曲矯正、減弱外，最重要的是可以利用它進(jìn)行像素復(fù)用，從而提高空間分辨率，實現(xiàn)高分辨率的功能，如圖10所示。

其中，在采集模塊還包括使用離軸拍攝方式的虛擬相機(jī)矩陣陣列。

在本發(fā)明的實施例中，本發(fā)明提供的追蹤式地面光地場3D顯示方法及系統(tǒng)通過確定光場顯示系統(tǒng)參數(shù)，利用對應(yīng)比例的參數(shù)設(shè)置N﹡N的虛擬相機(jī)矩陣，利用離軸拍攝方式，一次性渲染得到N﹡N張視差序列圖，并將其編碼合成一張用于光場顯示的合成圖。根據(jù)需求設(shè)計，保持3D場景位置不變，平移虛擬相機(jī)矩陣，保證相機(jī)陣列與上次渲染位置有一定的重疊區(qū)域，利用同樣方法渲染獲得其他方位對應(yīng)的視差序列圖，并將其編碼合成。將得到的全部合成圖按照方位進(jìn)行編號，且預(yù)存于計算機(jī)中，并將與此位置對應(yīng)的合成圖顯示于顯示裝置上，在保持原有的高辨率的基礎(chǔ)上實現(xiàn)了超大視角。另外，本發(fā)明的系統(tǒng)結(jié)果簡單，無需場鏡等輔助光學(xué)器件，系統(tǒng)中沒有機(jī)械運(yùn)動，不會產(chǎn)生振動、噪聲和跳變等優(yōu)點。

本說明書中各個實施例采用遞進(jìn)的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對于實施例公開的裝置而言，由于其與實施例公開的方法相對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法部分說明即可。

本文涉及的技術(shù)術(shù)語如下：

1、編碼圖像：根據(jù)顯示系統(tǒng)的參數(shù)，在液晶面板上加載的記錄3D物體多方向信息的圖像稱為編碼圖像。

2、光場顯示：利用顯示設(shè)備與光學(xué)器件描述空間物點發(fā)出光線，并實現(xiàn)自由立體的顯示方式稱為光場顯示。

3、視差圖像：從不同角度對相同場景進(jìn)行采集，獲得的具有一定視差的圖像序列組。

4、透鏡陣列：將多透鏡在2D方向上進(jìn)行排列而形成的透鏡矩陣。

5、全息功能屏：利用全息的方式制作的光學(xué)器件，可以將光線以一定的角度進(jìn)行發(fā)散，本文中的全息功能屏泛指一切具有散射功能的光學(xué)器件。

6、視區(qū)：集成成像系統(tǒng)的透鏡陣列的折射作用使得來源于不同視差圖像的光線向不同方向傳播，在空間中形成的視差圖像觀看區(qū)域，簡稱視區(qū)。

7、體感追蹤：是指利用軀體感覺，如觸覺、壓覺、溫覺、痛覺和本體感覺(關(guān)于肌肉和關(guān)節(jié)位置和運(yùn)動、軀體姿勢和運(yùn)動以及面部表情的感覺)等對電子產(chǎn)品進(jìn)行操作和控制。

8、發(fā)散角：一束平行光經(jīng)過全息功能屏后展開的角度稱為發(fā)散角。

9、離軸拍攝：成像設(shè)備的成像面與像面不平行的拍攝方式，對于一般相機(jī)成像面與光軸垂直離軸拍攝，也可定義為攝像機(jī)光軸與像面不平行的一種拍攝方式。

10、共交面：多個相機(jī)采用離軸拍攝方式拍攝物體時形成的公共交集平面。

最后，本申請的方法僅為較佳的實施方案，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。