專利名稱：一種用于實時渲染和生成彩色視頻全息圖的方法
一種用于實時渲染和生成彩色視頻全息圖的方法
技術領域：
本發(fā)明涉及一種用于從具有深度信息的三維圖像數(shù)據(jù)實時渲染和生
成彩色視頻全息圖的方法，用于擴展3D渲染圖形管道。
關于渲染過程，本發(fā)明涉及3D渲染管道或圖形管道，其描述了從三 維場景的矢量、數(shù)學描述到監(jiān)控器屏幕上的像素化圖像的運算法則。三維 圖像數(shù)據(jù)包含深度信息，且通常還包含關于材料和表面性質的附加信息。 例如，在3D渲染圖形管道中執(zhí)行屏幕坐標到裝置坐標的轉換、材質貼圖 (texturing)、裁切(clipping)和圖形保真(anti-aliasing)。表示三維場景 的二維投射、并且存儲在圖形適配器的幀緩沖器中的像素化圖像包含監(jiān)視 器屏幕，例如LC顯示器的可控像素的像素值。
本發(fā)明還涉及用于計算用于在全息顯示裝置上彩色呈現(xiàn)場景的全息 值的分析方法。
這樣的全息顯示裝置實質上基于以下原理亞全息圖由要重建的場景 的每個物點一起形成，并且整個全息圖借助于至少一個光調制器裝置由亞 全息圖疊加形成，在光調制器裝置上將被分成物點的場景編碼成整個全息 圖，并且場景可以作為重建從位于視頻全息圖的重建的一個周期性區(qū)間內 的可見區(qū)看到。大體上，此原理是主要重建將由物體發(fā)射到一個或多個可 見區(qū)的波陣面。具體地，這樣的裝置基于這樣的原理重建單個物點僅需 要亞全息圖作為在光調制器裝置上編碼的整個全息圖的子集。
全息顯示裝置包含至少一個屏幕裝置(screenmeans)。屏幕裝置是編 碼場景的全息圖的光調制器本身，或者是在光調制器上編碼的場景的全息 圖或波陣面投射到其上的光學元件，如透鏡或反射鏡。申請人提出的其他 文件中己說明了可見區(qū)中屏幕裝置的定義和相應的場景再現(xiàn)的原理。第 WO 2004/044659號和第WO 2006/027228號專利文件中，光調制器本身形 成了屏幕裝置。在名稱為"用于場景的全息重建的投射裝置和方法"的WO2006 / 119760號專利文件中，屏幕裝置是光調制器上編碼的全息圖投射到 其上的光學元件。在名稱為"用于場景的全息重建的投射裝置"的DEI 0 2006 004 300號德國專利文件中，屏幕裝置是在光調制器上編碼的場景的 波陣面投射到其上的光學元件。在申請人提交的WO 2006/ 066919號專 利文件中，公開了用于計算視頻全息圖的方法。
"可見區(qū)域"是限定的區(qū)域，觀察者通過可見區(qū)域可以足夠清晰地看到 場景的整個重建。在可見區(qū)域內，波場干涉使得重建的場景對觀察者變得 可見?？梢妳^(qū)域位于或靠近觀察者的眼睛?？梢妳^(qū)域可以在x， y和z方 向上移動，在公知的位置檢測和追蹤系統(tǒng)的幫助下，將可見區(qū)域跟蹤到實 際的觀察者位置?？梢詰脙蓚€可見區(qū)域，每個可見區(qū)域用于一只眼睛。 總體上，可見區(qū)域的更復雜的設置也是可能的。也可以編碼視頻全息圖， 使得單個對象或整個場景對于觀察者來說看起來處于光調制器之后。
在本申請文件中，術語"光調制裝置"或"SLM"指通過轉換 (switching)、選通(gating)或調制由一個或多個獨立光源發(fā)出的光束的 方式來控制光的強度、色彩和/或相位的裝置。全息顯示裝置典型地包含通 過調節(jié)穿過顯示面板的光的振幅和/或相位重建物點的可控像素矩陣。光調 制器裝置包含這樣的矩陣。光調制器裝置可以例如是聲光調制器 (acousto-optic modulator) AOM或連續(xù)型調制器。通過振幅調制的方式 進行全息圖重建的一個實施例可以利用液晶顯示器(LCD)。本發(fā)明還涉 及用于將充分相干光調制成波陣面或調制成光波輪廓的另外的可控裝置。
術語"像素"指光調制器的可控全息像素，其表示全息點的離散值并且 被離散地尋址和控制。每個像素表示全息圖的全息點。就LC顯示器來說， 像素是可離散控制的顯示器像素。就DMD (數(shù)字微鏡裝置(Digital Micro-mirror Device))來說，例如DLP (數(shù)字光處理器(Digital Light Processor)),像素是可離散控制的微鏡或這種微鏡的小組群。就連續(xù)的空 間光調制器裝置來說，像素是表示全息點的虛構區(qū)。就彩色顯示來說，典 型地將像素再分為多個表示基色(primary colours)的子像素。
術語"變換(transformation)"應理解為包括任何與變換相同或近似的數(shù)學或者計算技術。數(shù)學意義上的變換僅僅是物理過程的逼近，其可以通
過麥克斯韋(Maxwellian)波動方程更加精確地描述。像菲涅耳(Fresnel) 變換或者以傅立葉(Fourier)變換著稱的變換的特殊群的變換描述二階逼 近。變換通常用代數(shù)或者非微分方程表示，因此可以應用公知的計算工具 進行有效且高性能地處理。此外，可以利用光學系統(tǒng)對它們進行精密地模仿。
申請人提交的WO 2006 / 066919號專利文件，公開了一種用于計算 視頻全息圖的方法。其總體上包括以下步驟將場景分割成平行于光調制 器的平面的剖面，將這些剖面變換到可見區(qū)域，并在可見區(qū)域將其相加。 然后，將相加后的結果變換回設置有光調制器的全息圖平面中，從而確定 視頻全息圖的復全息值。
DE1 0 2006 025 096號德國專利文件公開了一種由具有深度信息的圖 像數(shù)據(jù)渲染和實時生成視頻全息圖的方法，其中有3D渲染圖形管道，其 描述了將三維場景轉換為作為三維場景的二維投影的像素化的圖像數(shù)據(jù)， 并在第一模式生成用于監(jiān)控器的可控像素的像素值。其特征是，管道以可 轉換的方式擴展，使得在第二模式中，復全息值在至少一個全息管道生成， 作為用于空間光調制器的像素值，以便對于通常的圖形呈現(xiàn)同時地或選擇 地用全息值控制空間光調制器，以便調制入射波場，從而通過空間干涉重 建三維場景。
DE1 0 2006 042 324號德國專利文件公開了一種用于實時生成視頻全 息圖的方法。該方法應用的原理是單個物點的重建僅需作為在SLM上 編碼的整個全息圖的子集的亞全息圖。其特征在于，對于每個物點，亞全 息圖的貢獻可以從查找表中找回，所述亞全息圖如此累加，從而形成整個 全息圖，用于重建整個場景。
上述公開的方法能使得全息值快速生成。但是，需要將3D渲染圖形 管道納入進一步的考慮。描述了以三維場景的二維投影的形式將三維場景 向像素化的圖像數(shù)據(jù)轉化的3D渲染圖形管道的結果在兩個存儲器部分提 供，即幀緩沖和Z緩沖-幀緩沖包含顏色值或顏色信息，即觀察者看到的場景的顏色圖。
-Z緩沖包含從觀察者位置看到的正常呈現(xiàn)的場景的深度圖或深度信息。
這些數(shù)據(jù)成行排列，且以像素值的方式生成用于光調制器的復全息 值，作為用于全息管道的輸入信息。
前述的用于生成交互式實時顯示的視頻全息圖的方法只能付出大量 努力并投入大量資源才可以實現(xiàn)。因為長的計算時間，視頻序列和交互式 三維實時應用軟件不能提供需要的刷新頻率。在傳統(tǒng)的視頻技術中，在顯 示計算機生成的視頻全息圖時，高圖像刷新率是需要的而且是必不可少 的。
本發(fā)明的目的是提供一種顯著減少用于與顏色相關的全息值的計算 所需要的計算時間的方法。該方法的實時能力將得以實現(xiàn)。為了實施該方 法，用于計算的成本和技術努力也將減少。進一步地，為了進一步支持實
時生成的彩色視頻全息圖，要對當前可商購的圖形卡的結構或3D管道通 過附加的硬件和軟件模塊進行擴展。
根據(jù)本發(fā)明的用于生成視頻全息圖的方法，適合用于具有至少一個光 調制裝置的全息顯示裝置，在該光調制器裝置上，被分為物點的場景編碼 成整個全息圖，并且場景可以作為重建從位于重建的視頻全息圖的一個周 期性區(qū)間內的可見區(qū)看到，亞全息圖由可見區(qū)連同將要重建的場景的每個 物點確定，并且整個全息圖由亞全息圖的疊加而形成，其中3D渲染圖形 管道構成了場景，其通過具有深度信息的圖像數(shù)據(jù)表示成物點，然后進行 計算，并為物點提供最低限度的顏色和深度信息。為了生成彩色視頻全息 圖，擴展描述將三維場景轉換為用于三維場景的二維投影的像素化的圖像 數(shù)據(jù)的3D渲染圖形管道。
進一步地，用于全息顯示裝置的光調制器的像素值形式的復全息值在 全息管道中從3D渲染圖像管道的結果數(shù)據(jù)生成。
這樣的其中具有相應的光調制裝置的全息顯示裝置還基于以下原理 主要重建對象朝觀察者眼睛或可見區(qū)發(fā)射的波陣面。在上述已經(jīng)給出可見
9區(qū)的定義。
進一步，該原理的優(yōu)點是場景的單個物點的重建僅需要作為在光調制 器裝置上編碼的整個全息圖的子集的亞全息圖。每個單一物點由一個亞全 息圖創(chuàng)造，其位置依賴于物點的位置，其大小依賴于觀察者位置。下面將 光調制器裝置上的亞全息圖區(qū)稱為調制區(qū)。調制區(qū)是重建物點所需要的光
調制器裝置的子區(qū)域(sub-region)。同時，為了重建物點，調制區(qū)確定光 調制器上的哪些像素必須尋址。如果物點是固定在空間中的物點，則調制 區(qū)將保持在固定位置。這意味著將要重建的物點依賴于觀察者位置而改變 位置。依賴于觀察者位置的調制區(qū)的改變允許物點在固定位置編碼，艮口， 其在空間中的位置不依賴于觀察者位置而改變。就本發(fā)明而言，可以類似 地利用這些原理。本發(fā)明進一步基于的原理是，最后重建整個場景的整個 全息圖可以通過亞全息圖的重疊來計算。
本發(fā)明基于的思想是，全息彩色管道為每種原色生成用于光調制裝置 的全息值，其中全息彩色管道平行確定原色的各個亞全息圖。全息彩色管 道呈現(xiàn)通過特征波長呈現(xiàn)的原色。在最簡單的情況中，原色是一種公知的 RGB原色，所有的其它顏色可以通過多路技術從RGB原色混合或生成。 然后同時提供物點的各個彩色全息圖。然后，如期望地一樣，同時提供與 顏色相關的整個場景的整個全息圖。此外，與原色相應的整個全息圖可以 計算為與顏色相關的亞全息圖的總和。
下面將結合全息彩色管道的例子說明本發(fā)明的方法步驟。原理可以相 似地應用于使用的每種原色。
確定物點的調制區(qū)后，計算相應的亞全息圖，并相加，作為整個全息 圖的貢獻。在一優(yōu)選的實施例中，物點的亞全息圖可以從已經(jīng)提前生成的 查找表中找回。
必須提供3D渲染圖形管道的擴展，用于平行執(zhí)行全息彩色管道。如 上所述，3D渲染圖形管道的結果在兩個存儲器部分提供，即幀緩沖和Z 緩沖。
在本發(fā)明的第一具體實施例中，3D渲染圖像管道的結果為每種原色儲存在獨立的存儲器部分中。相應地復制儲存內容，使得每個全息管道具 有有相應顏色的各自的幀緩沖及各自的Z緩沖。這保證了在訪問輸入數(shù)據(jù) 時，全息管道不彼此削弱，從而容許對這些數(shù)據(jù)的高性能的訪問。
在本發(fā)明的另一優(yōu)選的實施例中，3D渲染圖形管道針對每個物點在 單個的幀緩沖和單個的Z緩沖分別儲存確定的顏色值和確定的深度值。為 了向全息彩色管道提供數(shù)據(jù)，提供復用器，將其作為控制裝置，用于將數(shù) 據(jù)分配和傳輸給平行的全息彩色管道。
生成的與顏色相關的整個全息圖儲存在儲存裝置或傳輸?shù)饺@示 裝置?；陬伾囟ǖ恼麄€全息圖，應用時間或空間分割多路技術方法， 將彩色全息圖呈現(xiàn)于顯示裝置。
由于應用所述的用于計算亞全息圖的方法，顯著地滿足了實時生成與 顏色相關的全息值的要求。如在傳統(tǒng)的視頻處理技術中，可以提供高的刷 新率，用于計算機生成的視頻全息圖的顯示，其中實時生成在廉價的和簡 單的計算單元的幫助下也是可能的。
下面進一步說明用于計算復全息值的更佳的方法。該方法基于的思想 是亞全息圖的復全息值在光調制器裝置的調制區(qū)中從將要重建的物點的 波陣面中計算，其中對投射元件的透射函數(shù)或調制函數(shù)進行計算和分析， 其在調制區(qū)中模型化并且將要重建的物點位于其焦點上。此處的投射元件 位于全息顯示裝置的全息圖平面中。全息圖平面由屏幕裝置的位置確定， 為了簡化，下述的說明中，屏幕裝置將是光調制器本身。
根據(jù)本方法的優(yōu)選實施例，投射元件包括處在全息平面內具有焦距f 并且傾斜放置的透鏡。傾斜透鏡由相對于全息平面來說沒有傾斜的透鏡以 及在水平方向和垂直方向都有效的棱鏡組成。嚴格來說，棱鏡不確定亞全 息圖，因為由于無焦點棱鏡功能，沒有物點被重建。然而，為了保持本發(fā) 明思想的清晰，將這樣描述，因為棱鏡還將其部分貢獻給調制范圍內的復 全息值。以下以透鏡和棱鏡的例子詳細說明本方法。當然，本方法還可以 獨立地應用于透鏡或棱鏡；在這種情況下，處理步驟或對應的術語不再實
施或者可以忽略。為了計算亞全息圖的復值，對于場景的每個可見物點來說，本方法的詳細設計包含以下步驟
A:如上所述確定調制區(qū)的大小和位置，但是，然后對該調制區(qū)給定局部坐標系，其中原點處在其中心位置，X軸表示橫坐標，y軸表示縱坐標。"a"是調制區(qū)的半寬，"b"是調制區(qū)的半高，這些區(qū)間邊界包括在以下
術語中。
B:確定全息平面內透鏡的亞全息圖Bl:確定透鏡的焦距f:
透鏡的焦距f最好是將要重建的物點距全息平面的垂線距離
(normal distance)。
B2:透鏡對應的亞全息圖的復值
利用等式ZL = exp { (7i/Xf ) * ( x2 + y2 )]}確定對應的亞全息
圖的復值，其中X是參比波長，f是焦距，(x， y)是對應的坐標對。這里的負號是由于凹透鏡的特征。凸透鏡由正號標識。
B3:由于x軸和y軸的對稱性，足以在一個象限內確定復值并且通過利用符號規(guī)則將該復值應用到其它象限。
C:確定全息平面內棱鏡(P)的亞全息圖
所選擇的棱鏡貫穿橫坐標或縱坐標，如附圖所示。
Cl:確定具有水平有效方向的棱鏡(PH)的線性因子Cx，線性
因子Cx在區(qū)間x G [-a，a]內由以下等式描述Cx = M * (2兀從)
其中M是棱鏡的傾角。
C2:確定具有垂直有效方向的棱鏡(PV)的線性因子Cy，線性因子Cy在區(qū)間y e [-b，b]內由以下等式描述
Cy = N*(27t/X)
其中N是棱鏡的傾角。C3:確定組合棱鏡的對應的亞全息圖的復值對應的亞全息圖的復值通過疊加兩個棱鏡項確定
<formula>formula see original document page 13</formula>
疊加的棱鏡貫穿局部坐標系的原點。
C4:如果全息顯示裝置顯示出將光源投射進入可見區(qū)的特征，棱鏡項可以去掉。
D:調制透鏡和棱鏡的亞全息圖
為了確定組合的亞全息圖，將透鏡和棱鏡的復值復合相乘<formula>formula see original document page 13</formula>或者，象征性地，<formula>formula see original document page 13</formula>E:隨機相位的應用
為了確?？梢妳^(qū)內均勻的亮度分布，向從步驟D得到的每個經(jīng)調制的亞全息圖分配隨機相位。通過復乘將隨機相位增加到亞全息圖
<formula>formula see original document page 13</formula>
或者，象征性地，
<formula>formula see original document page 13</formula>
將隨機相位單獨地分配到每個亞全息圖。概括地，所有亞全息圖的隨機相位最好是均勻分布的。
F:強度調制
<formula>formula see original document page 13</formula>或者，象征性地，
<formula>formula see original document page 13</formula>
G:如果計算整個全息圖，將對亞全息圖進行疊加以形成整個全息圖。在簡單的實施例中，考慮到亞全息圖的位置，將亞全息圖復合地增加到整個全息圖中。
整個全息圖=所有的亞全息圖的復合總和，并且
或者，象征性地，
ZSLM= SZSHi (就整個坐標系而言)。
該方法最好僅用于可見物點。物點的可見度作為3D渲染圖形管道對場景渲染處理的結果確定，并且其依賴于觀察者的位置，即眼睛瞳孔的位置，因此，來自追蹤到瞳孔位置的可見區(qū)的位置。
詳細的說明涉及最可能的解決方案的計算。如果降低的重建品質可以接受或者甚至是所需要的，當然可以用更加簡單的函數(shù)項代替上述函數(shù)
項。然而，可以看出為了改善重建品質，應用了更新的處理步驟。例如
可以選擇透鏡或者棱鏡以校正光調制器裝置等的像差、公差。同樣還可以應用于示例性提到的用于確定調制區(qū)的方法。
根據(jù)該方法的延續(xù)，特定的全息顯示裝置的像素值基于整個全息圖
(或亞全息圖)的復全息值求得。例如，將復合全息圖值變換成Burckhardt分量、兩相分量或其它合適的編碼。
該方法具有的優(yōu)點是，要重建的物點可以位于重建空間(平截頭體)內的任意位置，且其位置不是通過離散靠近的，例如應用剖平面時。在步驟(Bl)中，準確地確定透鏡的焦距f。進一步地，在步驟(C)中準確地確定棱鏡的參數(shù)。
除了用于為了在全息顯示裝置上顯示而生成全息值外，根據(jù)本發(fā)明的方法最好還用于用生成的亞全息圖填充查找表。這意味著根據(jù)上述的方法確定用于物點的亞全息圖，然后儲存在查找表中。這樣的查找表使得根據(jù)物點的顏色和深度信息找回初步計算的物點的亞全息圖、且將其應用于生成全息圖數(shù)據(jù)的過程中成為可能。查找表最好用投射元件(組合的透鏡和棱鏡功能)的亞全息圖填充。但是，還可以理解到的是，分離的查找表分別用透鏡或棱鏡相關的亞全息圖填充。 一般地，這樣的査找表實質上地加速任何其它方法，其中亞全息圖的原理最好根據(jù)本發(fā)明的方法的說明應用。這樣的査找表使得后續(xù)的方法或例如需要大量計算負擔的方法加速。
借助于該方法，用于交互式實時全息重建的物點可以應用當前可商購的標準的硬件組件在重建空間的任何位置生成。如果實施該方法的處理單元具有更高的性能，可以更精細地構建場景，并且重建的質量可以顯著提高。根據(jù)本發(fā)明的方法省略了本來應用的復雜的變換，其特征在于，可以分解地執(zhí)行簡單的構建步驟。這也實現(xiàn)了根據(jù)本發(fā)明的方法的實時性能。
現(xiàn)借助實施例結合附圖對本發(fā)明進行詳盡的說明，其中


圖1表示全息顯示裝置所基于的原理，及表示物點的調制區(qū)，
圖2a是具有包含透鏡和棱鏡的投射元件的顯示裝置的側視圖，
圖2b表示調制區(qū)和垂直有效的棱鏡，
圖2c表示調制區(qū)和水平有效的棱鏡，
圖3表示根據(jù)本發(fā)明的方法的流程圖，及
圖4表示用于在全息圖平面后重建物點的可選方法，
圖5是本發(fā)明的方法和具有全息管道的3D渲染圖形管道與顏色相關的擴展的優(yōu)選實施例的流程圖。
圖1表示用于一個觀察者的全息顯示裝置(HAE)所基于的一般原理。該原理因而適用于多個觀察者。觀察者的位置由其眼睛或其瞳孔(VP)的位置來表征。該裝置包含光調制器裝置(SLM)，為了簡化起見，本實施例中該光調制器裝置與屏幕裝置(B)相同；并且該裝置疊加在至少一個可見區(qū)(VR)內用場景(3D-S)的物點信息調制的波陣面。將可見區(qū)追蹤到眼睛。場景(3D-S)的單一物點(OP)的重建僅需要一個亞全息圖(SH)作為在光調制器裝置(SLM)上編碼的整個全息圖(Hi:sLM)的子集。調制區(qū)(MR)是光調制器(SLM)上的亞全息圖區(qū)。從該圖中可以看出，調制區(qū)(MR)僅包含光調制器裝置(SLM)的小部分。根據(jù)最簡單的實施例，調制區(qū)(MR)的中心位于穿過將要重現(xiàn)的物點(OP)并穿過可見區(qū)(VR)中心的直線上。在最簡單的實施例中，基于交線定理確定調制區(qū)(MR)的
大小，通過要被重建到光調制器裝置(SLM)的物點(OP)追溯可見區(qū) (VR)。此外，重建該物點所需的光調制器裝置(SLM)上的這些像素的 索引因此可以確定。從圖中可以看出，對調制區(qū)(MR)給出一坐標系統(tǒng)， 坐標系統(tǒng)的原點在其中心，x軸表示橫坐標，y軸表示縱坐標。調制區(qū)(MR) 具有半寬"a"和半高"b"。
圖2a是表示本發(fā)明方法的基本原理的全息顯示裝置(HAE)的側視 圖。調制區(qū)(MR)的來源與圖1中所述的相似。該區(qū)處在全息平面(HE) 內，全息平面內設置有光調制器(SLM)。在這里由聚焦透鏡(L)和棱鏡 (P)組成的投射元件(OS)位于調制區(qū)(MR)內。該圖僅表示垂直有 效的棱鏡楔(prism wedge)，并且所示的投射元件(OS)在全息平面(HE) 的前方以使物體更加清楚。
圖2b表示在調制區(qū)(MR)前方的垂直有效的棱鏡楔(PH)，連同所 用的坐標和尺寸。因此這里的棱鏡楔貫穿縱坐標。
圖2c類似地表示垂直有效的棱鏡楔(PV)，其貫穿橫坐標。兩個棱鏡 楔如下所述疊加。
圖3表示根據(jù)本發(fā)明的方法的流程圖。該方法的開始點是由多個物點 (OP)組成的三維場景(3D-S)。色彩和深度信息對物點(OP)來說是可 以利用的。基于物點的深度信息、根據(jù)觀察者的位置，即觀察者眼睛瞳孔 的位置確定物點的可見度。步驟(A)中，為每個可見物點確定全息平面 (HE)內或者光調制器裝置上各個調制區(qū)(MR)的大小和位置。根據(jù)本 發(fā)明的思想，將要重建的物點(OP)理解為位于全息平面內的投射元件的 焦點。這里的投射元件理解為聚焦透鏡(L)以及如圖2b和2c所示的垂 直或水平有效的棱鏡(PH， PV)的組合。亞全息圖(SH)的復全息值在光 調制器裝置的調制區(qū)(MR)中從將要重建的物點(OP)的波陣面中計算，其中 對投射元件(OS)的透射函數(shù)或調制函數(shù)進行計算和分析，其在調制區(qū)(MR) 中模型化并且將要重建的物點(OP)位于其焦點上。步驟(Bl)中，為每個 可見物點確定的透鏡(L)的焦距因此作為物點(OP)作為距全息平面(HE)的垂線距離。
在步驟(B2)，利用以下等式確定對應的亞全息圖(SHl)的復值
ZL = exp { (兀/人f ) * ( x2 + y2)]}
其中X是參比波長，f是焦距，(x， y)是對應的局部坐標對。對坐標 系的定義如前所述。
CX=M * (2兀從)，
步驟(C)中，確定全息平面內棱鏡(P)的亞全息圖(SHp)。利用 等式C^MM2兀/人)確定具有水平有效方向的棱鏡(PH)的線性因子Cx，
其中M是棱鏡的傾角。以類似的等式求得垂直有效棱鏡的線性因子 Cy，但是傾角為N。通過疊加兩個棱鏡項確定對應的亞全息圖(SHp)的 復值
SHP:= ZP = exp { i* [ Cx*(x-a) + Cy*(y-b)]}。
如果全息顯示裝置顯示出將光源投射進入可見區(qū)(VR)的特征，一 個棱鏡項可以去掉。
既然透鏡(L)的亞全息圖(SHJ和棱鏡的亞全息圖(SHP)是可以 得到的，它們在步驟(D)中疊加，以通過透鏡的復值和棱鏡的復值的復 合相乘而形成組合的亞全息圖(SH):
Zsh = Zl * ZP
或者，象征性地，
SH = SHL* SHP 。
步驟(E)中，對亞全息圖(SH)給出均勻分布的隨機相位。 步驟(F)中，執(zhí)行強度調制，亞全息圖(SH)與強度因子相乘 Zsh = C * ZSH 或者，象征性地， SH := C * SH
物點(OP)的已組合的亞全息圖(SH)現(xiàn)在完全可以得到。在進一步的可以分開執(zhí)行的方法步驟(G)中，增加物點的亞全息圖
以形成整個全息圖(HSSLM)。物點的單個亞全息圖(SHi)是可疊加的并
且復合地增加，以形成整個全息圖(HSsLM)。
整個全息圖=物點的所有亞全息圖的復合總和
或者
Zsm=SZShi (就整個坐標系而言)。
整個全息圖(H2^m)表示所有物點的全息圖。因此其表示并且重建 了整個場景(3D-S)。
在最后的步驟(H)中，如上所述，整個全息圖可以通過編碼變換成 用于全息顯示裝置的像素值，全息顯示裝置最好也采用亞全息圖原理。如 上所述，這些裝置具體公開于WO 2004/ 044659， WO 2006/ 027228， WO20061 1 9760和DE 1 0 2006 004 300號專利文件中。
圖4表示通過應用本發(fā)明的方法，總體上可以類似地重建位于全息圖 平面(HE)之后的物點(OP)。在該情況下，投射元件(OS)類似地包 含提到的棱鏡(P)，但是投射元件中的透鏡是凹透鏡(L)，用相同的方法 在調制區(qū)可以確定波陣面。
圖5表示用于生成整個全息圖(HZslm)的方法，并示出了為了從具 有深度信息的圖像數(shù)據(jù)生成用于全息顯示裝置(HAE)的光調制器(SLM) 的復全息值，3D渲染圖形管道(RGP)如何通過全息管道(HGP)進行 擴展。
例如，在3D渲染圖形管道(RGP)中執(zhí)行屏幕坐標到裝置坐標的、 材質貼圖(texturing)、裁切(clipping)和圖形保真(anti-aliasing)。 3D 渲染圖形管道描述了以場景(3D-S)的二維投影的形式將三維場景轉化為 像素化的圖像數(shù)據(jù)。3D渲染圖形管道的結果在兩個存儲器部分提供
-幀緩沖(FB)包含顏色值或顏色信息，即觀察者看到的場景的顏色圖。Z緩沖(ZB)包含從觀察者位置看到的正常呈現(xiàn)的場景的深度圖或深
度信息。
為了便于理解，單獨示出了圖形管道的這些存儲器部分，其示意性示
于圖5中。這些數(shù)據(jù)作為用于隨后的全息彩色管道(HGP)的輸入信息，其以顏色特定的方式，生成了用于整個場景(3D-S)的復全息值。從圖中可以看出，為一個原色，此處為RGB，提供一個全息彩色管道(HGP)。這些全息彩色管道中的每一個因此與一個特征波長相應。在圖中用附加的箭頭標明的針對原色的這些與顏色相關的圖像管道(HGP)平行運轉。這保證了物點的單個彩色全息圖，和最終的與顏色相關的整個場景的整個全息圖同時提供。為了向數(shù)據(jù)的單個全息管道提供幀緩沖(FB)和Z緩沖(ZB)，提供向單個的與顏色相關的全息管道分配數(shù)據(jù)的復用器(MX)，作為控制裝置。如上所述，最后重建整個場景(3D-S)的與顏色相關的整個全息圖(HSSLM)可以用等式PEsLM-ZSHi確定為各個與顏色相關的亞全息圖的總和。顏色呈現(xiàn)通過與顏色相關的整個全息圖的時間或空間分割多路技術在全息顯示裝置上執(zhí)行。
圖中頂部的全息管道表示用于確定物點的亞全息圖的不同方法。在第一選擇中，物點的亞全息圖可以從已經(jīng)提前生成的查找表(LUT)中找回。另一選擇通過圖l-4所示的方法形成。
參照本圖，為了保證清楚地理解基本原理，單獨地示出了3D渲染圖形管道和全息管道。但是，不一定意味著執(zhí)行的計算裝置在空間上是分離的。該方法最好在相同的處理器或圖形芯片上實施，其中3D渲染圖形管道操作在處理器或圖形芯片上運行。3D渲染圖形管道最好針對硬件和軟件擴展。但是，在附加的芯片上實施全息管道形成了可能的優(yōu)選的選擇。
在本發(fā)明的一個優(yōu)選的實施例中，全息顯示裝置將它的構造數(shù)據(jù)提供給用于實施本發(fā)明的方法的裝置。例如這些數(shù)據(jù)詳細說明光調制器的大小，它的分辨率，如果需要，還包括關于編碼方法的描述性數(shù)據(jù)，例如Burckhardt編碼方法，兩相編碼方法或其它合適的編碼方法。
然后，可以設置全息值的生成，并應用于指定的或檢測到的全息顯示裝置。因此用于實施該方法的裝置并不限于特定的全息顯示裝置，而可以普遍地應用于較好地利用亞全息圖的基本原理的裝置。附圖標記列表3D—S由物點組成的場景
RGP渲染圖形管道
FB3D渲染圖形管道的幀緩沖
ZB3D渲染圖形管道的Z緩沖
HGP全息管道
MX復用器
HAE全息顯示裝置
B屏幕裝置
SLM光調制裝置
HE全息平面
VP觀察者眼睛/觀察者位置
VR可見區(qū)
OP一般的物點
OPn具有參考索引的物點
SH一般的亞全息圖
SHI透鏡的亞全息圖
SHp棱鏡的亞全息圖
MR調制區(qū)
一般的索引的亞全息圖
H》LM整個全息圖
OS投射元件
透鏡P 棱鏡
PH 具有水平有效的方向的棱鏡 PV 具有垂直有效的方向的棱鏡
權利要求
1.用于具有至少一個光調制裝置(SLM)的全息顯示裝置(HAE)實時計算視頻全息圖的分析方法，被分成物點(OP)的場景(3D-S)在光調制裝置(SLM)上編碼為整個全息圖(H∑SLM)，其中場景(3D-S)可以看作來自位于視頻全息圖的一個重建周期間隔內的可見區(qū)(VR)的重建，其中亞全息圖(SH)通過可見區(qū)(VR)和重建的場景(3D-S)的每個物點(OP)形成，整個全息圖(H∑SLM)通過亞全息圖(SH)的疊加形成，其中3D渲染圖形管道(RGP)構成了場景(3D-S)，其通過具有深度信息的圖像數(shù)據(jù)顯示成物點(OP)，并為物點(OP)至少確定和提供顏色和深度信息，其中用于每個原色的一個全息彩色管道(HGP)生成與顏色相關的全息值，使得對于每個可見物點(OP)，亞全息圖(SH)的復全息值可以從至少一個查找表中找回，或在光調制裝置(SLM)的調制區(qū)(MR)中從要重建的物點(OP)的波陣面分析地確定，其中全息彩色管道(HGP)平行地執(zhí)行各自的、疊加的整個全息圖(H∑SLM)的計算。
2. 根據(jù)權利要求1所述的方法，其特征在于，3D渲染圖形管道(RGP) 在單獨用于每個原色的儲存裝置中針對每個物點將確定的顏色值寫入幀 緩沖(FB)，將確定的深度值寫入Z緩沖(ZB)，其中全息彩色管道(HGP)訪問各自的存儲裝置。
3. 根據(jù)權利要求1所述的方法，其特征在于，3D渲染圖形管道(RGP) 在儲存裝置中針對每個物點將確定的顏色值寫入幀緩沖(FB),針對每種 原色將確定的深度值寫入Z緩沖(ZB)，其中至少一個作為控制裝置的復 用器將這些數(shù)據(jù)分配和傳輸?shù)礁鱾€平行的顏色管道(HGP)。
4. 根據(jù)權利要求3所述的方法，其特征在于，每個全息彩色管道 (HGP)都具有幀緩沖(FB)和Z緩沖(ZB)，其中至少一個作為控制裝置的復用器將3D渲染圖形管道(RGP)的結果分配和傳輸?shù)筋伾艿赖?這些存儲器部分。
5. 根據(jù)權利要求l-4任一項所述的方法，其特征在于，亞全息圖(SH)的復全息值在光調制器裝置的調制區(qū)(MR)中從將要重建的物點(OP) 的波陣面中確定，其中對投射元件(OS)的透射函數(shù)或調制函數(shù)進行計算 和分析，其在調制區(qū)(MR)中模型化并且將要重建的物點(OP)位于其 焦點上。
6. 根據(jù)權利要求5所述的方法，其特征在于，投射元件(OS)包含 至少一個透鏡(L)。
7. 根據(jù)權利要求6所述的方法，其特征在于，投射元件(OS)附加 地包含至少一個棱鏡(P)。
8. 根據(jù)權利要求7所述的方法，其特征在于，對于場景的每個物點， 包含下述步驟A:確定亞全息圖(SH)的位置和大小，作為調制區(qū)(MR)，給出調 制區(qū)(MR)半寬度'a'和半高度'b'，并給出局部坐標；B:確定調制區(qū)(MR)的透鏡(L)的亞全息圖，包含以下步驟Bl:確定透鏡(L)的焦距，最好為要重建的物點(OP)距離調制 區(qū)(MR)的垂線距離；B2:借助等式21^乂？{+/-1*[(兀從力*^2+72)]}，確定透鏡(L)的相 應的亞全息圖(SHD的復值，其中X是參比波長，f是焦距，(x，y)是相 應的坐標對，其中符號表示凸透鏡/凹透鏡；C:確定調制區(qū)(MR)的棱鏡(P)的亞全息圖，包含以下步驟CI:確定具有水平有效方向的棱鏡(PH)的線性因子Cx，其在區(qū) 間[-a，a]用下述等式表示CX=M * (2:c/X)，其中M是棱鏡的傾角；C2:確定具有垂直有效方向的棱鏡(PV)的線性因子Cy，其在區(qū) 間yE[-b, b]用下述等式表示Cy=N* (2tt從)，其中N是棱鏡的傾角；C3:通過疊加兩個棱鏡項z產(chǎn)exp^[C^(x-a)+C^(y-b)])確定組合 的棱鏡的相應亞全息圖(SHp)的復值；D:透鏡(L)的亞全息圖(SHL)和棱鏡(P)的亞全息圖(SHp)的調制，其中透鏡和棱鏡的復值相乘，zSH=zL*zP，或象征性地，SH=SHl*SHpE:隨機相位的應用，其中每個調制的亞全息圖分配有隨機相位(Dz， 復合相乘用下式執(zhí)行zSH :=zSH * exp(i(Dz)，或SH :=SH * exp(iOz);F:強度調制，其中通過zsH，C * zSH或SH :=C * SH對調制的亞全息圖的值設定真實的強度因子C。
9. 根據(jù)權利要求1或8所述的方法，其特征在于，確定調制區(qū)(MR) 的位置，使得調制區(qū)(MR)的中心位于穿過要重建的物點(OP)和可見 區(qū)(VR)的中心的直線上。
10. 根據(jù)權利要求1或8所述的方法，其特征在于，通過物點(OP) 穿過可見區(qū)(VR)反向跟蹤到光調制裝置(SLM)，確定調制區(qū)(MR) 的大小。
11. 根據(jù)權利要求8所述的方法，其特征在于，考慮亞全息圖(SH) 的位置，形成整個全息圖(Hi;SLM)的亞全息圖(SH)的疊加用H^slm =ZSHi 計算成亞全息圖(SH)的復值和。
12. 根據(jù)權利要求8所述的方法，其特征在于，為物點的每個調制的 亞全息圖(SH)設定隨機相位，所有亞全息圖的隨機相位均勻分配。
13.根據(jù)權利要求1-12中的一項或多項所述的方法，其特征在于，將 復全息值附加地顏色特定地轉換成光調制裝置(SLM)的像素值。
14. 根據(jù)權利要求13所述的方法，其特征在于，復全息值轉換成 Burckhardt分量或兩相分量或任何其它合適的編碼。
15. 根據(jù)權利要求1-12中的一項或多項所述的方法，其特征在于，限 定的空間構建成物點，其中用于每個物點的亞全息圖儲存在查找表中。
16. 根據(jù)權利要求l-12中的一項或多項所述的方法，其特征在于，限 定的空間構建成物點，顏色特定地確定與投射元件(OS)的至少一個組件關聯(lián)的用于每個物點的亞全息圖，并儲存在相應的查找表中。
17. 具有屏幕裝置(B)的全息顯示裝置，所述裝置實現(xiàn)根據(jù)權利要 求1-10中的一項或多項所述的方法，其中屏幕裝置(B)是在其上編碼場 景(3D-S)的全息圖的光調制裝置(SLM)本身，或者是在光調制器上編 碼的全息圖或者在光調制器上編碼的場景的波陣面投射到其上的光學元 件。
18. 根據(jù)權利要求17所述的全息顯示裝置，其特征在于，光學元件是 透鏡或鏡子。
全文摘要
本發(fā)明涉及一種用于為具有至少一個光調制裝置(SLM)的全息重建裝置(HAE)渲染和生成視頻全息圖的方法，其中被分為物點(OP)的場景編碼為整個全息圖(H∑_SLM)，并且作為重建從位于重建的視頻全息圖的一個周期性區(qū)間內的可見區(qū)(VR)看到。可見區(qū)(VR)，連同將要重建的場景(3D-S)的每個物點(OP)確定亞全息圖(SH)，并且從亞全息圖(SH)的疊加中生成整個全息圖(H∑_SLM)，其中3D渲染圖形管道(RGP)構成了場景(3D-S)，其通過具有深度信息的圖像數(shù)據(jù)顯示成物點(OP)，并為物點(OP)至少確定和提供顏色和深度信息，其中全息彩色管道(HGP)針對每個基色，通過針對每個可見物點(OP)，以優(yōu)選的分析方式，在光調制裝置(SLM)的調制區(qū)(MR)確定來自各個物點(OP)的波陣面的亞全息圖(SH)的復全息值。
文檔編號G03H1/08GK101689036SQ200880016310
公開日2010年3月31日 申請日期2008年5月16日 優(yōu)先權日2007年5月16日
發(fā)明者亞歷山大·史威特納, 阿明·史威特納 申請人:視瑞爾技術公司