專利名稱：采集和顯示三維光場的方法和系統(tǒng)的制作方法
技術(shù)領域：
本發(fā)明總體上涉及采集和顯示光場，更具體地說，涉及利用攝像機 的陣列采集光場并對該光場重采樣以顯示在自動多視點
(automultiscopic)顯不器件上。
背景技術(shù)：
人們希望采集真實的三維場景的圖像并將該三維場景圖像顯示為逼 真的三維圖像。自動多視點顯示器使得能夠在觀看區(qū)域中的任意位置無 限制地(即，不戴眼鏡)觀看高分辨率立體圖像。自動多視點顯示器包 括具有不同強度(intensity)的視點相關(guān)像素和基于視角的顏色。視點相 關(guān)像素可以使用常規(guī)的高分辨率顯示器和視差柵欄(parallax-barrier)來 實現(xiàn)。
在典型的自動多視點顯示器中，圖像通過視差柵欄投影到柱面光柵 (lenticular sheet)或整體式透鏡光柵(lens sheet)上。 一百多年前就己 經(jīng)知道了多視點自動立體觀察的光學原理，參見Okoshi ， Three-Dimensional Imaging Techniques, Academic Press, 1976。 具有高分 辨率的實用顯示器最近已可供使用。結(jié)果，三維電視重新受到關(guān)注。
然而，自動多視點顯示器具有幾個問題。首先，移動的觀眾會看到 干擾性的視覺偽影(artifact)。其次，難以獲得無偽影的三維圖像。廣播 和電影行業(yè)的攝影師、攝像師和專業(yè)人員不熟悉用于記錄三維圖像所需 的復雜設置。不象常規(guī)的二維電視那樣，目前沒有針對多攝像機參數(shù)、 布置及制作后加工的指南或標準。
具體地說，在大多數(shù)實際情況中，圖像傳感器(即，攝像機)中的 像素并不以一對一方式直接映射到顯示器件中的像素。這需要對圖像數(shù) 據(jù)進行重采樣。該重采樣需要以使得視覺偽影最小化的方式進行。還沒有對自動多視點顯示器的光場進行有效重采樣的現(xiàn)有技術(shù)。
用于三維顯示的大多數(shù)現(xiàn)有的抗混疊技術(shù)使用波動光學。所有巳知
的方法都沒有正確地處理遮擋(occlusion)和鏡面。此外，為了進行適當 濾波，這些方法需要以每像素為基礎的景深(scene depth)。在缺乏深度 信息的情況下，這些方法使用的是保守最壞情況方法并基于場景中的最 大深度進行濾波。實際上，這限制了在具有非常淺深度的場景方面的實現(xiàn)。
通常，自動多視點顯示器發(fā)出靜態(tài)的或時變的光場。光場代表了輻 射(radiance)，所述輻射作為在空間中的無遮光物區(qū)域中的位置和方向 的函數(shù)。使用全光采樣理論(plenoptic sampling theory)進行光場的頻率 分析。其中，對場景的頻譜進行分析，該頻譜是目標深度的函數(shù)。這揭 示出大多數(shù)光場是混疊的?？梢詰弥貥?gòu)(reconstruction)濾波器來去除 混疊并盡可能地保留原始頻譜。
重新參數(shù)化(re-parameterization)可用于在自動多視點顯示器上顯 示光場。然而，重新參數(shù)化沒有解決顯示混疊。重構(gòu)濾波器可以用寬孔 徑濾波器來增強。這能夠產(chǎn)生具有較大場深(field of depth)的三維圖像， 而不犧牲焦平面上的銳度。
沒有一種現(xiàn)有技術(shù)方法解決了自動多視點顯示器的采樣和抗混疊。 這些現(xiàn)有技術(shù)方法不考慮顯示器的采樣率，而僅考慮了在重構(gòu)過程中從 采樣的光場去除混疊的問題。

發(fā)明內(nèi)容
本發(fā)明提供了一種可以用于電視和數(shù)字娛樂的三維顯示系統(tǒng)。這種 顯示系統(tǒng)需要高質(zhì)量光場數(shù)據(jù)。光場是使用攝像機陣列來采集的，并且 該光場在分離的自動多視點顯示器上呈現(xiàn)。然而，大多數(shù)時間，采集裝 置和顯示器件具有不同的采樣模式。
因此，本發(fā)明對光場數(shù)據(jù)進行重采樣。然而，重采樣易于發(fā)生混疊 偽影。在光場數(shù)據(jù)的顯示中最麻煩的偽影是由透視間混疊 (inter-perspective aliasing )弓I起。本發(fā)明提供了使得這種混疊最小化的對光場重采樣的方法。該方法 保證了光場在自動多視點顯示器上的高質(zhì)量顯示。該方法合并了光場重
構(gòu)濾波器和根據(jù)顯示器件的采樣柵格(sampling grid)確定的顯示預濾波
器°
與現(xiàn)有技術(shù)方法對比，本重采樣法不需要深度信息。本方法有效地 合并了多個濾波階段以產(chǎn)生高質(zhì)量顯示。本方法可用于在柱面顯示屏幕 或視差柵欄顯示屏幕上顯示光場。


圖1A是根據(jù)本發(fā)明一個實施方式的用于采集并在三維顯示器件上
顯示三維光場的系統(tǒng)的俯視圖IB是根據(jù)本發(fā)明一個實施方式的用于對光場進行重采樣和抗混
疊的方法的流程圖2是根據(jù)本發(fā)明一個實施方式的顯示參數(shù)化的示意圖3是根據(jù)本發(fā)明一個實施方式的四邊形采樣柵格；
圖4是根據(jù)本發(fā)明一個實施方式的帶寬要求的示意圖5是根據(jù)本發(fā)明一個實施方式的攝像機和顯示器件的示意性重疊
掃描線樣點；
圖6是根據(jù)本發(fā)明一個實施方式的用于采樣和濾波的方法的示意
圖7是根據(jù)本發(fā)明一個實施方式的從光場采集幾何形狀到光場顯示 幾何形狀的變換的示意圖8A是根據(jù)本發(fā)明一個實施方式的攝像機的參數(shù)平面的示意圖8B是根據(jù)本發(fā)明一個實施方式的攝像機孔徑濾波器的頻譜的近 似的示意圖；以及
圖8C是圖8B所示頻譜的帶寬的示意圖。
具體實施方式
系統(tǒng)概述圖1A示出了根據(jù)本發(fā)明一個實施方式的光場采集系統(tǒng)100。多個攝 像機115采集場景110的圖像序列101 (例如視頻)。這些攝像機可以被 布置為水平線性陣列。優(yōu)選地，這些攝像機彼此同步。根據(jù)本發(fā)明的方 法105，處理所輸入的圖像序列。該處理包括重構(gòu)、重采樣、預濾波和采 樣步驟，以產(chǎn)生輸出圖像序列102。然后這些輸出圖像由多個投影儀125 顯示在自動多視點顯示器件120上。這些投影儀也可以被同步并布置為 水平線性陣列。該顯示器件120包括視差柵欄121和觀看區(qū)域130，其中 視差柵欄121安裝在垂直排列的柱面屏幕122上的面對這些投影儀的一
因為采集的輸入圖像101中的離散輸入樣點具有低空間分辨率和高 角分辨率，而顯示的輸出圖像102中的離散輸出樣點具有高空間分辨率 和低角分辨率，因此需要重采樣以產(chǎn)生無偽影顯示。
方法概述
如圖1B所示，方法105以三個步驟進行。通常，我們在頻率域中表 示信號和濾波器。首先，從輸入圖像101重構(gòu)(150)連續(xù)信號152。我 們應用巳知的重構(gòu)濾波器。接著，我們將信號重新參數(shù)化(160)為顯示 器坐標，產(chǎn)生重新參數(shù)化的光場161。在最后步驟170中，信號隨后被預 濾波以匹配顯示像素柵格的納奎斯特(Nyquist)極限，并被采樣到顯示 像素柵格上作為輸出圖像102。
顯示參數(shù)化
圖2示出了用于多視角自動立體顯示器件120的參數(shù)化。該參數(shù)化 試圖針對觀看區(qū)域130中的每個位置和方向再現(xiàn)一個光陣列。我們通過 使光線與兩個平面相交來參數(shù)化這些光線。對于顯示器120，我們使用視 差柵欄平面121作為/坐標，并使用高分辨率屏幕122作為v坐標。注意， 光線的v坐標是相對于它們與f平面的交點的坐標。屏幕122的像素間隔 為Av，柵欄121中的間隙的間隔是&，屏幕和柵欄之間的間距為/,并 且深度通常由z表示。
在一個位置處與f平面相交的所有光線對應于一個多視點像素，并 且與v平面的每個交點是一個視點相關(guān)子像素。我們將多視點像素的數(shù)量稱為空間分辨率，并將每多視點像素的視點相關(guān)子像素的數(shù)量稱為角
分辨率。
如圖3所示，顯示光線在光線空間中形成更高維柵格。大多數(shù)現(xiàn)有 的物理顯示器不對應于圖3所示的四邊形采樣柵格。圖2中的每個光線 對應于圖3中的一個采樣點301 。大多數(shù)自動多視點顯示器僅提供水平視 差，即，這些顯示器僅在v平面上沿水平方向進行采樣。因此，我們可 以單獨處理f平面上的每個掃描線，這導致形成二維光線空間。
我們使用術(shù)語顯示視點來表示v:常數(shù)的一段光線空間。注意，顯示 視點是場景的平行投影。不失一般性，我們假設平面v和f之間的距離/ 歸一化為1。這樣用光線空間來解釋三維顯示使我們能夠理解其帶寬、場 深以及預濾波。
如圖4所示，圖3中的采樣柵格對顯示能夠表達的帶寬施加了嚴格
限制。這稱為納奎斯特極限。我們用^和e表示角頻率和空間頻率，并由
Av和Af表示采樣間隔。則顯示帶寬i/由下式給出
顯示器的場深由具有任意相對比例-和e軸的顯示器矩形帶寬的對
角線給出。我們選擇該比例以反映這兩個軸的相對分辨率，該比例為通
常在空間方向(e軸)上比在角度方向Q軸)上大兩個數(shù)量級。
具有恒定深度的場景的光場的頻譜(或光線空間信號)由直線
0/z+e=O給出，其中z是距f平面的距離，如圖2所示。對于深度在lzl^WAv
的場景，譜線在矩形顯示帶寬的左右垂直邊界與其相交。這意味著這些
場景能夠以顯示器的最高空間分辨率e=7u/Af來顯示。然而，對于lzl〉Af/Av
的場景，頻譜與水平邊界上的顯示帶寬相交。因此，它們的空間頻率減
小到e二兀/Av。這低于顯示器的空間分辨率，并且這些場景將出現(xiàn)模糊。
該特性類似于攝影場深效果和光場攝影中的精確重調(diào)焦的范圍。范
圍lz^A /Av是可以由三維顯示器以最大空間分辨率再現(xiàn)(reproduce)的 范圍。我們將其稱為顯示器的場深。類似于光場攝影，場深與1/Av或角度尺寸下的納奎斯特極限成比例。
因為可用的顯示器具有非常有限的角度帶寬，該顯示器表現(xiàn)為淺場
深。例如，如果Av=0.0625 mm且A&2 mm，則場深僅僅為士32 mm。這 意味著在距顯示器表面的距離大于32 mm處出現(xiàn)的任何場景元素都會是 模糊的。如果視點相關(guān)子像素的間距為0.25 mm且高分辨率屏幕與視差 柵欄之間的距離為4mm，這對應于八個視點和大約25度的視場。盡管 這看起來是非常小的范圍，然而對于觀看區(qū)域中至多幾米的觀察距離來 說，這足以產(chǎn)生令人信服的對深度感的錯覺。
為了刻畫相對于給定顯示器的場景，規(guī)定相對于顯示器的場深的景 深是有用的。有趣的是，景深與場深的比率d (z) =zAv/A6對應于顯示 器上的視點之間的視差(disparity)。通過該定義，具有最大視差(K1的 場景位于顯示器的場深內(nèi)。給定視差d>l意味著空間帶寬減小了 1/d的因 子。
預濾波
當對連續(xù)信號進行采樣時，我們需要對該信號進行帶限(band-limit)， 以避免混疊。從式l，我們看到，對于三維顯示這是個簡單問題，即把輸 入頻譜乘以丟棄了輸入的位于矩形顯示帶寬以外的所有部分后的顯示預 濾波器H的頻譜，參見圖4右側(cè)。注意該預濾波器僅處理由于顯示柵格 而引起的混疊，而沒有考慮光場采集過程中可能發(fā)生的混疊。
與根據(jù)本發(fā)明實施方式的信號處理相反，現(xiàn)有技術(shù)的三維顯示器的 帶寬分析大多基于波動光學或幾何準則。盡管波動光學對于研究衍射效 應是有用的，然而它們對于分析離散的三維顯示不是有效的，離散的三 維顯示工作在遠離衍射極限處。
與我們的解決方法相反，現(xiàn)有技術(shù)導出需要明確已知景深的顯示帶 寬模型。那些技術(shù)提倡對二維輸入圖像的深度相關(guān)濾波。分別地帶限每 個二維視圖是很復雜的，因為濾波需要空間地改變。 一種解決辦法對每 個視圖應用與場景的最大深度相對應的線性濾波器。然而，該方法浪費 了大部分可用的顯示帶寬并導致過度模糊的結(jié)果。相反，利用我們的方 法，預濾波是在光線空間中的線性運算。如果不使用我們的預濾波，則混疊呈現(xiàn)為偽像(ghosting artifact)。
在顯示器的光線空間參數(shù)化中，我們的重采樣保留了零視差平面附近 (即，f平面附近)的空間頻率。 三維顯示器的重采樣
上面，我們分析了自動多視點顯示器的帶寬以及需要如何對連續(xù)輸 入信號進行預濾波以避免混疊。然而，實際上，光場被表示為通常使用 攝像機陣列采集的采樣信號。為了在自動多視點顯示器上示出采樣的光 場，輸入光場的樣點101需要被映射到顯示器的樣點102 (即，像素)。
不幸的是，典型的光場采集器件(例如攝像機陣列)的采樣模式和 自動多視點顯示器不會使光線一一對應。因此，在自動多視點顯示器上 示出光場要涉及重采樣操作。
現(xiàn)在我們描述避免了混疊偽影的重采樣框架，其避免了由于在光場 采集期間和在光場顯示期間包含的采樣步驟(即，在場景采集過程中發(fā) 生的采樣和當將攝像機樣點映射到顯示器像素時執(zhí)行的采樣)引起的混 疊偽影。
我們的技術(shù)基于Heckbert描述的重采樣方法，參見Fundamentals of Texture Mapping and Image Warping, Ucb/csd 89/516 U.C. Berkeley, 1989，
通過引用將其合并于此。然而該重采樣是用于計算機圖形學中的紋理映 射。相反，我們對真實的光場進行重采樣。
我們描述了如何重新參數(shù)化輸入光場并在與顯示器相同的坐標系中 表示它。這使我們能推導出合并了重構(gòu)和預濾波的重采樣濾波器，如下 所述。
重新參數(shù)化
在推導我們的合并的重采樣濾波器之前，我們需要建立用于輸入光 場和三維顯示器的公共參數(shù)。我們將描述限制為其中光場參數(shù)化平行于
顯示器的最常見情況。
攝像機的輸入坐標和焦平面的輸入坐標分別由1和|/, 表示，距/, 軸 的距離或深度由Zm表示，并且采樣間(inter-sampling)距離由Az,力和△、 表示。^軸也被稱作攝像機基線(baseline)。類似地，我們使用顯示器坐標&， vv &， A^，和A^。不失一般性，我們假設針對顯示器和輸入
光場的f平面和v平面之間的距離歸一化為1。
輸入和顯示器坐標之間的關(guān)系由單一參數(shù)厶給出，該參數(shù)是攝像機 平面L和顯示器的零視差平面G之間的距離。該轉(zhuǎn)換對應于光線空間中的裁減。
<formula>formula see original document page 12</formula>(2)
M是該式的中間部分的2x2矩陣。
自動多視點顯示器通常具有高空間分辨率(例如，每掃描線幾百個 多視點像素)和低角分辨率(例如，大約十個視點相關(guān)子像素)。相反， 采集的光場具有低空間分辨率(例如，幾十個攝像機)和高角分辨率(例 如，每掃描線幾百個像素)。
如圖5所示，這導致高度地各向異性且彼此偏斜的兩個采樣柵格。 在圖5中的，樣點501代表顯示器掃描線樣點，樣點502代表攝像機掃 描線樣點。
合并的重采樣濾波器。
圖6更詳細地示出了重采樣方法。左側(cè)是輸入?yún)?shù)化，右側(cè)是輸出 參數(shù)化，并且底部是從采集空間到顯示空間的重新參數(shù)化。圖6象征性 地示出了輸入頻譜611、副本612以及濾波器613。
如圖6所示，用于三維顯示抗混疊的重采樣方法在三個步驟中進行，
其中我們在頻率域中表示信號和濾波器。首先，根據(jù)輸入數(shù)據(jù)101的原 始輸入?yún)?shù)化601中給出的輸入數(shù)據(jù)101來重構(gòu)(150)由角頻率A和空
間頻率0m表示的連續(xù)信號。
必須小心以避免該步驟中的混疊問題并最優(yōu)地使用該輸入信號。我 們將巳知的重構(gòu)濾波器應用于光場呈現(xiàn)，參見Stewart等人的"A new reconstruction filter for undersampled light fields" ， Eurographics Symposium on Rendering, ACM International Conference Proceeding Series, pp. 150-156， 2003，禾口 Chai等人的"Plenoptic sampling," Computer Graphics, SIGGRAPH 2000 Proceedings, pp.307-318，通過引用將這兩者合并于此。
這些技術(shù)都是從采樣頻譜中提取中心副本的最大區(qū)域，同時丟棄與相鄰副本重疊的區(qū)域。
接著，我們使用如上所述的映射將該重構(gòu)信號重新參數(shù)化(160)到 由^和0d表示的顯示器坐標621。
然后，在最后步驟170中，信號被預濾波以匹配如上所述的顯示像
素柵格的納奎斯特極限，并被采樣到顯示像素柵格上。預濾波保證了采 樣信號的副本在顯示器坐標下不會重疊。這避免了模糊效應。
現(xiàn)在我們通過將如上所述的三個步驟合并而導出統(tǒng)一的重采樣濾波 器。我們在空間域中進行操作，這對于實際的實現(xiàn)是有用的。我們?nèi)缦?br> 進行
l.給定輸入光場101的樣點&，我們重構(gòu)(150)連續(xù)光場/, 152:
_風
(3)
其中r代表光場重構(gòu)核。
2.使用式(2)，我們根據(jù)下式將重構(gòu)光場152重新參數(shù)化(160) 為顯示器坐標161:
(4)
3.我們對由顯示器坐標表示的重構(gòu)光場與顯示預濾波器h進行巻積，
得到帶限信號
<formula>formula see original document page 13</formula>(5)
對顯示柵格上的該信號進行采樣不會產(chǎn)生任何混疊偽影。 通過合并上述三個步驟，我們將帶限信號表示為輸入樣點的加權(quán)和。
-M—1
風
(6)
加權(quán)核(weightingkernel)/)是所謂的重采樣濾波器。它被定義為以 顯示器坐標表達的重構(gòu)核與預濾波器的巻積，
我們使用常規(guī)的高斯函數(shù)實現(xiàn)所有的光場重采樣濾波器。 因為重構(gòu)濾波器和預濾波器高度地各向異性，我們將這些濾波器小 心地排列，以盡可能多地保留信號帶寬。注意式(2)隱含著[l,eln]=[*，ed]m"。因此，沿垂直軸剪切該輸入頻譜。
我們還注意到，對應于深度z, =/;n的直線^4+&=o被映射到顯示器
的零視差平面。因此，以輸入坐標表示的顯示器的場深位于與攝像機相 距/ =a^w處。這意味著攝像機平面和顯示器平面之間的距離乂"被選擇
為(對于所關(guān)注的目標Kr/^z^MAv。
基線和場深
如上所述的輸入光場和輸出光場之間的關(guān)系隱含著顯示器充當了針 對均勻比例場景的虛擬窗。該顯示器以不同的、通常較小的比例再現(xiàn)該 場景的光場。然而，實現(xiàn)這一目的通常既不合乎要求實際上也是不可行的。
場景的深度范圍遠遠超過相對淺的顯示器的場深并不罕見。這意味 著場景的大部分位于顯示帶寬以外，這可能導致過度模糊的視圖。此外， 對于其中所關(guān)注的目標離攝像機遠的那些場景，就象在室外環(huán)境中那樣， 以上假設意味著需要非常大的攝像機基線。還將意味著由顯示器的觀察 者看到的成對立體視圖將對應于比實際場景中觀察者的兩個眼睛遠得多 的在物理上相距甚遠的攝像機。
這些問題可以通過改變攝像機基線的大小來解決。這可以表示為輸 入光場的附加線性變換，該附加線性變換減小了場景的顯示深度。該附 加的自由度使我們能夠規(guī)定在輸入場景中需要處于焦點上的期望深度范 圍。我們推導出了將該深度范圍映射到顯示器場深所需的基線比例。
基線比例
如圖7所示，在采集期間對攝像機基線^701的修改對應于對顯示布 局(configuration)的變換。在圖7中，實線表示采集幾何形狀，虛線表 示顯示幾何形狀。
位于給定位置處的觀察者710看到由更靠近基線中心的攝像機采集 的立體視圖。即，我們將每個采集的攝像機光線重映射為使得其與基線 平面^的交點以因子P1來縮放(scale)，而保留其與顯示器的零視差平
面(即，。平面)的交點。
該映射對應于輸入光線空間的線性變換，而光線空間的任何線性變換對應于場景幾何形狀的投影變換。對于圖7所示的變換，該投影變換
是
<formula>formula see original document page 15</formula>
即，場景中的點(x,力映射到OcW，z'/w')。在圖7中還例示了場景幾何 形狀的投影變換。該場景變換與立體顯示使用的深度縮減技術(shù)密切相關(guān)， 該技術(shù)用來輔助立體視圖融合(fUskm)。該變換將無窮遠處的點(即， 2=00)移動到有限深度
<formula>formula see original document page 15</formula>
此外，因為s趨近于無窮遠，所以z'/W'趨近于A。這意味著景深朝 顯示器的零視差平面壓縮。我們通過包括圖7所示的映射而將該變換從 顯示器推廣到輸入坐標，這使得
<formula>formula see original document page 15</formula>
我們該映射稱為M(厶,。以強調(diào)它由自由參數(shù)厶和^決定。 控制場景的場深
在實際應用中，用戶想確保場景的給定深度范圍被映射到顯示器的 場深中并呈現(xiàn)出銳度。前面提到過，有限深度范圍內(nèi)的場景元素的帶寬 以兩條譜線為界。此外，顯示器的場深由其矩形帶寬的對角線給出。使 用式(9)中的兩個自由參數(shù)，其中s用于對基線進行縮放，厶用于相對
于該場景來定位顯示器的零視差平面，我們確定了排列這兩對線的一個 映射，這實現(xiàn)了所期望的效果。
我們通過使相應的兩對譜線(g卩，第一對約束了映射到顯示器坐標 的用戶指定的深度范圍，第二對限定了顯示器的場深)相等來確定該映 射。我們用2/，,和AM表示用戶希望處于顯示器上的焦點處的最小景深
z,和最大場深z,。參數(shù)s和A的解是<formula>formula see original document page 16</formula>
采集的優(yōu)化
三維顯示器上顯示的光場的頻譜和混疊取決于許多采集和顯示參 數(shù)，如攝像機的數(shù)量、它們的間隔、它們的孔徑、景深范圍和顯示器分 辨率。三維電影攝影師的判斷受藝術(shù)性選擇、物理限制、和最優(yōu)地使用 采集和顯示帶寬的愿望這三者的共同支配。因此，我們分析這些系數(shù)如 何相互作用并影響三維顯示器的最終的頻譜和混疊。
首先，我們描述攝像機孔徑對采集的帶寬的影響。然后，我們描述 所有采集和顯示參數(shù)的結(jié)果，并示出如何能夠?qū)⒃摲治鲇糜谑共杉^程 中的參數(shù)選擇最優(yōu)。
有限孔徑攝像機
上面的Chai等人的文獻描述了利用理想化的針孔攝像機采集的光場 的頻譜。這里，我們示出實際攝像機的有限孔徑對針孔光場的頻譜有帶 限影響。我們的推導基于與圖2、 3、 5和7所示略微不同的參數(shù)化。
如圖8A所示，我們選擇/平面作為這些攝像機的公共焦平面，^是
隔開距離d的透鏡801的平面，v平面作為包含這些攝像機傳感器的平面。 如前所述，平面v,"和^隔開距離7。
我們假設尺寸為"的孔徑位于距攝像機傳感器距離/的透鏡上。這 并不是實際透鏡的真實情況，然而對于我們的目的來說，該誤差可以忽 略。根據(jù)薄透鏡模型，在傳感器平面處采集的任意光線/(v,0對應于穿過 該透鏡的所有光線/—。力的加權(quán)積分<formula>formula see original document page 16</formula> (12)
其中積分范圍對應于如圖8A所示的孔徑，a是傳感器平面法線和光線之 間的角度。盡管我們是利用二維光場來代替四維光場，并用一維透鏡和 傳感器來代替二維透鏡和傳感器，但我們的推導同樣適用于更高維的情況。
隨后，設想我們使透鏡在與v平面平行的一個平面上"滑動"。這可 以被表示為巻積
<formula>formula see original document page 17</formula> (13)
其中b(v力是孔徑濾波器。我們忽略cos"項并將b定義為 卩|v|<(v-fl(/ + c/))/(2flO,t = 0 lo 其他
<formula>formula see original document page 17</formula> (14)
在傅立葉域中，式(13)中的巻積是場景光場的頻譜和攝像機孔徑 濾波器的頻譜相乘。我們用以沿e平移(translate)后的^表示的寬度為
27^/&(^+力)的方框802來近似攝像機孔徑濾波器的頻譜(其是以沿e平
移后的^表示的正弦基函數(shù)(sine) (sine cardinal flinction))，如圖8B
現(xiàn)在我們使用與上述用于重采樣的變換相似的變換將坐標改變回到 輸入光場的參數(shù)化，這導致圖8C所示的帶寬803。通過具有聚焦在距離 d處的有限孔徑a的透鏡觀察到的連續(xù)光場是帶限于寬度為2Ti/a且斜率 為-d的剪切帶(sheared slab)的頻帶。
帶寬利用和最小化采樣
在實際應用中，可用的攝像機的數(shù)量受到限制。攝像機的放置也會 受到約束。因此，希望確定對有限和受約束資源的最優(yōu)布置。利用我們 的重采樣技術(shù)，可以估計該設置。給定了采集參數(shù)，我們可以確定重采 樣濾波器的最優(yōu)"形狀"并分析其相對于顯示帶寬的帶寬。
我們認識到，采樣輸入信號101中的混疊是使可用帶寬減小的主要 因素。給定了固定數(shù)量的攝像機，則增大該帶寬有兩個主要選擇。首先， 我們可以減小攝像機基線，這減小了場景的深度，因為它被映射到顯示 器。在此情況下，輸入頻譜由于深度減小而沿角度方向A變窄。顯然，
攝像機基線減小過多可能導致景深難以察覺。其次，我們可以增大攝像 機孔徑。然而，如果攝像機孔徑過大，采集的場深可能變得比顯示器場 深淺。我們選擇攝像機的焦深(focal depth)等于厶，這意味著采集的輸入頻譜帶(slab)平行于矩形顯示帶寬。
在一個另選設置中，希望采集一個給定場景并使位于特定深度的目 標保持在聚焦處。因此，確定在目標顯示器上獲得高質(zhì)量結(jié)果所需的最 小采樣率。從直覺上講，當沒有重構(gòu)混疊出現(xiàn)在一個顯示器的帶寬內(nèi)時， 該采樣率對于該顯示器是足夠的。將采集采樣率增大到超出該標準并不 會提高輸出質(zhì)量。
我們使用式(11)來確定焦距A和基線比例"焦距乂"和基線比例 s決定了從輸入到顯示器坐標的映射。然后，我們通過找到輸入頻譜的副 本的最緊密排列(使得沒有任何非中心副本與顯示預濾波器重疊)，來 推導出最小采樣率，即攝像機的最小數(shù)量和分辨率?，F(xiàn)在可以將所需的 攝像機數(shù)量減少到顯示器的角分辨率。然而，實現(xiàn)這一目的通常是不切 實際的，這是因為需要更大的攝像機孔徑。
本發(fā)明提供了一種用于采樣和混疊三維顯示器件的光場的方法和系 統(tǒng)。該方法基于光線空間分析，這使得該問題能夠按照信號處理方法來 處理。本發(fā)明確定了三維顯示器的帶寬，描述了淺場深特性，并展示了 可以通過對光線空間進行線性濾波來實現(xiàn)抗混疊。本發(fā)明提供了重采樣 算法，其使得能夠在三維顯示器上以受限的分辨率無混疊地呈現(xiàn)高質(zhì)量 的場景。
我們通過使用戶指定場景的深度范圍(其應當映射到顯示器的場深) 而使當前顯示器的淺場深的效應最小化。本發(fā)明能夠用于分析可通過給 定的采集和顯示裝置提供的圖像質(zhì)量。
推導出了針對高質(zhì)量顯示的最小采樣要求。本發(fā)明使得能夠更好地 設計多視角采集和三維顯示器件。
盡管以優(yōu)選實施方式為例描述了本發(fā)明，然而應當理解，在本發(fā)明 的精神和范圍內(nèi)可以做出各種其他修改和變型。因此，所附權(quán)利要求的 目的是涵蓋落入本發(fā)明的真實精神和范圍內(nèi)的所有這種變化和變型。
權(quán)利要求
1.一種用于采集和顯示光場的由計算機實現(xiàn)的方法，該方法包括以下步驟根據(jù)采集參數(shù)化，從多個攝像機采集的三維場景的輸入光場的輸入樣點重構(gòu)連續(xù)光場；根據(jù)顯示參數(shù)化，重新參數(shù)化所述連續(xù)光場；以及對重新參數(shù)化的所述光場進行預濾波并對預濾波后的所述光場進行采樣，以產(chǎn)生具有所述顯示參數(shù)化的輸出樣點，并使用三維顯示器件將所述輸出樣點顯示為輸出光場。
2. 根據(jù)權(quán)利要求1所述的方法，其中，所述預濾波匹配根據(jù)所述顯 示參數(shù)化的顯示帶寬的納奎斯特極限。
3. 根據(jù)權(quán)利要求1所述的方法，其中，所述三維顯示器件是自動多 視點顯示器件。
4. 根據(jù)權(quán)利要求1所述的方法，其中，所述輸入樣點的形式是由所 述多個攝像機采集的圖像序列。
5. 根據(jù)權(quán)利要求1所述的方法，其中，所述多個攝像機被布置為水平線性陣列。
6. 根據(jù)權(quán)利要求1所述的方法，其中，所述三維顯示器件包括多個 投影儀，并且顯示屏幕包括安裝在垂直排列的柱面屏幕前方的視差柵欄。
7. 根據(jù)權(quán)利要求1所述的方法，所述顯示參數(shù)化部分地由所述視差 柵欄的f平面和所述柱面屏幕的v平面來限定，其中所述視差柵欄的f平 面定義了 Z坐標且所述柱面屏幕的v平面定義了 v坐標，并且所述柱面屏 幕的像素間隔為Av，所述視差柵欄中的間隙的間隔為&，所述柱面屏幕 和所述視差柵欄之間的間距為/，深度為z。
8. 根據(jù)權(quán)利要求7所述的方法，其中，所述輸出光場的在一個位置 處與所述f平面相交的光線對應于一個多視點像素，所述光線與v平面的 每個交點是一個視點相關(guān)子像素，并且所述多視點像素的數(shù)量限定了所 述顯示參數(shù)化的空間分辨率，每多視點像素的視點相關(guān)子像素的數(shù)量限定了所述顯示參數(shù)化的角分辨率。
9. 根據(jù)權(quán)利要求7所述的方法，其中，顯示帶寬由下式限定fl 對于I^S;r/Av且間S;r/"[0 其他其中角頻率和空間頻率分別是^和e。
10. 根據(jù)權(quán)利要求7所述的方法，其中，特定攝像機的輸入坐標和 焦平面的輸入坐標分別是^和v,。；距^軸的距離是Zin;采樣間距離是A^ 和A、；相應的顯示器坐標是&、 vrf、 Zd、 A/d和Av^;針對所述輸入光場 和所述輸出光的f平面和v平面之間的距離歸一化為1;并且所述重新參 數(shù)化使用由下式定義的所述采集參數(shù)化和所述顯示參數(shù)化之間的關(guān)系<formula>formula see original document page 3</formula>
11.根據(jù)權(quán)利要求io所述的方法，其中，所述輸入光場的輸入樣點是&,，并且所述重構(gòu)是根據(jù)其中r表示光場重構(gòu)核，并且所述重新參數(shù)化是根據(jù))，以及所述預濾波是根據(jù)其中h是顯示預濾波器。
12.根據(jù)權(quán)利要求ll所述的方法，其中，作為輸入樣點的加權(quán)和的 帶限信號使用重采樣濾波器p并根據(jù)下式執(zhí)行輸入樣點的加權(quán)和<formula>formula see original document page 3</formula>
13. 根據(jù)權(quán)利要求12所述的方法，其中/ 為 P(^)-(KM[.—)(v")。
14. 一種采集并顯示光場的系統(tǒng)，該系統(tǒng)包括構(gòu)造成用于采集三維場景的輸入光場的多個攝像機； 用于根據(jù)采集參數(shù)化從所述輸入光場的輸入樣點來重構(gòu)連續(xù)光場的裝置；用于根據(jù)顯示參數(shù)化來重新參數(shù)化所述連續(xù)光場的裝置； 用于對所述重新參數(shù)化的光場進行預濾波并對所述預濾波后的光場 進行采樣以產(chǎn)生具有所述顯示參數(shù)化的輸出樣點的裝置；以及 被構(gòu)造成顯示所述輸出樣點作為輸出光場的三維顯示器件。
全文摘要
一種采集并顯示光場的方法和系統(tǒng)。根據(jù)采集參數(shù)化，從由攝像機采集的三維場景的輸入光場的輸入樣點來重構(gòu)連續(xù)光場。根據(jù)顯示參數(shù)化，將該連續(xù)光場重新參數(shù)化，隨后進行預濾波和采樣以產(chǎn)生具有該顯示參數(shù)化的輸出樣點。使用三維顯示器件將這些輸出樣點顯示為輸出光場。
文檔編號H04N13/00GK101411207SQ20078001090
公開日2009年4月15日 申請日期2007年3月28日 優(yōu)先權(quán)日2006年4月4日
發(fā)明者弗雷多·多納德, 漢斯皮特·菲斯特, 沃伊切赫·毛圖?？? 馬蒂亞斯·茨維克爾 申請人:三菱電機株式會社