專(zhuān)利名稱(chēng)：用于全分辨率光場(chǎng)捕獲和繪制的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于全分辨率光場(chǎng)捕獲和繪制的方法和設(shè)備。 優(yōu)先權(quán)信息
本申請(qǐng)要求于2008年1月23日^是交的名為"Full-resolution Lightfield Rendering"的美國(guó)臨時(shí)申請(qǐng)序列號(hào)No.61/023,036的優(yōu)先 權(quán)，在此通過(guò)引用并入其全部?jī)?nèi)容。
背景技術(shù)：
在傳統(tǒng)照相機(jī)中，主透鏡將照相機(jī)外部場(chǎng)景中的3D世界映射為 照相機(jī)內(nèi)部的3D世界。圖1示出了傳統(tǒng)照相機(jī)中的成像。"內(nèi)部世 界，，表示相機(jī)內(nèi)部。陰影橢圓形區(qū)域表示外部世界中深度狀況以及 照相機(jī)內(nèi)部的相應(yīng)深度。示出了照相機(jī)內(nèi)部的一個(gè)特定圖像平面。 照相機(jī)以外場(chǎng)景的3D世界映射到照相機(jī)內(nèi)部3D世界的映射遵循如 下透鏡等式
7 5-7
其中j和5分別是從透鏡到對(duì)象平面的距離以及從透鏡到圖像平面 的距離。通常，使用此等式來(lái)描述在兩個(gè)固定平面之間的單一圖像 映射的結(jié)果。然而在實(shí)踐中，透鏡等式描述無(wú)窮數(shù)量的映射——其 對(duì)在距離^和距離B的值之間的關(guān)系進(jìn)行約束而不是固定。即，由 物鏡(objective lens )將外部場(chǎng)景中的每個(gè)平面(將其描述距物鏡透 鏡某距離映射至處于距離5處的照相機(jī)內(nèi)部的相應(yīng)平面。在將 傳感器(例如，傳統(tǒng)膠片、電荷耦合設(shè)備(CCD)等)放置在照相 機(jī)內(nèi)部的F與w (無(wú)窮大)之間的距離5的位置處時(shí)，傳感器捕獲 位于j處相應(yīng)平面的焦點(diǎn)對(duì)準(zhǔn)的圖像，該圖傳_從透鏡之前的場(chǎng)景祐映射。
傳統(tǒng)照相機(jī)將三維場(chǎng)景繪制到二維傳感器之上。在操作期間， 傳統(tǒng)數(shù)字照相機(jī)捕獲二維(2D)圖像，其表示每個(gè)點(diǎn)到達(dá)照相機(jī)內(nèi)
部光傳感器上的光的總量。然而，2D圖像不包含關(guān)于到達(dá)光傳感器 的光的方向的信息。由傳統(tǒng)照相機(jī)捕獲的圖像基本上是在其角度部 分上對(duì)輻射率函數(shù)進(jìn)行積分，這得到了作為位置的函數(shù)的二維強(qiáng)度。 原始輻射的角度信息被丟失。由此，傳統(tǒng)照相機(jī)不能捕獲大量的光
學(xué)信息。
光場(chǎng)或者輻射度捕獲照相機(jī)
相對(duì)于傳統(tǒng)照相才幾，光場(chǎng)或稱(chēng)輻射度(radiance)捕獲照相才幾對(duì) 四維(4D)光學(xué)相位空間或稱(chēng)光場(chǎng)進(jìn)行采樣，以此來(lái)捕獲關(guān)于光線 方向分布的信息。由光場(chǎng)照相機(jī)捕獲的這一信息可以稱(chēng)作光場(chǎng)、全 光函數(shù)或者輻射度。在計(jì)算攝影中，光場(chǎng)是3D中所有光線的4D記 錄。輻射度描述空間信息和角度信息兩者，其被定義為每個(gè)立體角 度(以弧度為單位)單位區(qū)域的能量密度。光場(chǎng)照相機(jī)捕獲輻射度， 由此，可以對(duì)原始拍攝時(shí)焦點(diǎn)未對(duì)準(zhǔn)的光場(chǎng)圖像進(jìn)行重新聚焦，并 且可以降低噪聲、改變視點(diǎn)、并且可以實(shí)現(xiàn)其他光場(chǎng)效果。
光場(chǎng)(即，輻射度)可以利用傳統(tǒng)照相機(jī)來(lái)捕獲。在一個(gè)傳統(tǒng) 方法中，可以利用傳統(tǒng)照相機(jī)從不同位置來(lái)捕獲場(chǎng)景的MxiV的圖 像。例如，如果從64個(gè)不同位置捕獲了 8x8的圖像，則產(chǎn)生64個(gè) 圖像。來(lái)自每個(gè)圖像中的每個(gè)位置O'， y')的像素被拍攝并且被放置 在塊之中，以生成64個(gè)塊。圖2示出了示例性現(xiàn)有技術(shù)的光場(chǎng)照相 機(jī)或者照相機(jī)陣列，其使用了兩個(gè)或者更多物鏡透鏡110的陣列。 每個(gè)物鏡透鏡聚焦于光傳感器108的特定區(qū)域，或者備選地聚焦于 分離的光傳感器108。此光場(chǎng)照相機(jī)100可以看作兩個(gè)或者更多傳統(tǒng) 照相機(jī)的組合，其中每個(gè)傳統(tǒng)照相機(jī)同時(shí)將對(duì)象的圖像記錄在光傳 感器108的特定區(qū)域上，或者備選地記錄在特定的光傳感器108上。 繼而，可以將捕獲的圖像進(jìn)行結(jié)合以形成一個(gè)圖像。圖3示出了一個(gè)示例性現(xiàn)有技術(shù)的全光照相機(jī)，即，另一類(lèi)型 的輻射度捕獲照相機(jī)，其使用單個(gè)物鏡透鏡以及微透鏡或者小透鏡
(lenslet)陣列106，該陣列106包括例如大約100,000個(gè)小透鏡。 在傳統(tǒng)全光照相機(jī)102中，小透鏡陣列106固定在距光傳感器108 很小的距離處( 0.5mm)，其中所述光傳感器例如是電荷耦合設(shè)備
(CCD)。在傳統(tǒng)全光照相機(jī)中，精確地布置或者調(diào)節(jié)微透鏡，以 便將其準(zhǔn)確地定位在距傳感器108 —個(gè)焦距長(zhǎng)度/的位置處。這可以 通過(guò)將微透鏡陣列置于距離傳感器/的位置處來(lái)實(shí)現(xiàn)，其中/是微透 鏡的焦距長(zhǎng)度。另一種說(shuō)法是，對(duì)于微透鏡來(lái)說(shuō)，將/選擇為與到光 傳感器108的距離相等。換言之，如果微透鏡與主透鏡之間的距離 相對(duì)于微透鏡焦距來(lái)說(shuō)較大，則微透鏡聚焦于無(wú)窮遠(yuǎn)，這基本上等 于將微透鏡聚焦于主透鏡104。由此，由全光照相機(jī)102捕獲的原始 圖像由主透鏡108的小圖像(通常是圓)的陣列構(gòu)成。這些小圖像 可以稱(chēng)作微圖像。然而，在傳統(tǒng)全光照相機(jī)102中，每個(gè)微透鏡不 是在傳感器108上創(chuàng)建內(nèi)部世界的圖像，而是創(chuàng)建主照相機(jī)透鏡104 的圖像。
小透鏡陣列106使得全光照相機(jī)102能夠捕獲光場(chǎng)，即，不但 記錄圖像強(qiáng)度，還記錄在每個(gè)點(diǎn)處沿不同方向的強(qiáng)度分布。每個(gè)小 透鏡將從主透鏡104將到達(dá)該小透鏡的光束劃分成為來(lái)自主透鏡 104的孔徑上不同位置的光線。這些光線中的每條光線在光傳感器 108上被記錄為像素，并且在每個(gè)小透鏡下的像素一起形成了 w像素 的圖像。在每個(gè)小透鏡下的這個(gè)w像素區(qū)域可以稱(chēng)作宏像素，并且 照相機(jī)102在每個(gè)宏像素處生成宏圖像。例如，由具有100,000個(gè)小 透鏡的照相機(jī)102捕獲的全光照片將包含100,000個(gè)宏像素，并且由 此生成對(duì)象的100,000個(gè)宏圖像。每個(gè)宏像素包含到達(dá)給定微透鏡的 光線的不同角度采樣。每個(gè)宏像素僅對(duì)場(chǎng)景的不同角度視圖中的一 個(gè)像素有所貢獻(xiàn)；即，在給定的角度視圖中，僅使用來(lái)自一個(gè)宏像 素的一個(gè)像素。結(jié)果，每個(gè)角度視圖包含100,000個(gè)像素，每個(gè)像素 由不同宏像素來(lái)貢獻(xiàn)。另一類(lèi)積分或者光場(chǎng)相機(jī)類(lèi)似于圖3的全光照相機(jī)，只是其在主透鏡以及光傳感器之間使用針孔陣列而不是使 用小透鏡陣列。
圖4進(jìn)一步示出了一個(gè)示例性現(xiàn)有技術(shù)的全光照相機(jī)模型。在 傳統(tǒng)全光照相機(jī)102中，微透鏡空間系統(tǒng)對(duì)微透鏡處輻射度的位置 坐標(biāo)和角度坐標(biāo)進(jìn)行交換。為清楚起見(jiàn)，僅示出了通過(guò)一個(gè)微透鏡 的光線。此類(lèi)全光照相機(jī)的傳統(tǒng)光學(xué)分析認(rèn)為這是符合微透鏡系統(tǒng) 的主透鏡系統(tǒng)的層疊。層疊系統(tǒng)的基本操作如下。由主透鏡104聚 焦的光線被微透鏡106分離，并且在傳感器108上被捕獲。在其交 點(diǎn)處，光線具有相同的位置但是具有不同斜度。這種斜度的差異導(dǎo) 致了光線通過(guò)微透鏡空間系統(tǒng)時(shí)的光線分離。更具體地，每個(gè)微透 鏡功能在于交換輻射度的位置和角度坐標(biāo)，繼而，該新位置信息由 傳感器108所捕獲。由于交換，其表示微透鏡處的角度信息。結(jié)果， 由傳感器108捕獲的每個(gè)微透鏡圖像表示相應(yīng)微透鏡的光軸位置處 輻射度的角度信息。
光場(chǎng)是輻射度密度函數(shù)，其描述在三維(3D)空間中沿所有光 線的能量流。由于描述光線的位置和朝向需要四個(gè)參數(shù)(例如，兩 個(gè)維度的位置信息和兩個(gè)維度的角度信息)，所以輻射度是四維(4D ) 函數(shù)。此函數(shù)可以稱(chēng)作全光函數(shù)。另一方面，圖像傳感器技術(shù)僅是 二維的，并且由此光場(chǎng)影像必須以平面(二維)形式來(lái)捕獲和表示。 已經(jīng)開(kāi)發(fā)了各種技術(shù)，以便按照與2D傳感器技術(shù)兼容的方式來(lái)轉(zhuǎn)換 和捕獲4D輻射度。這可以稱(chēng)作4D輻射度的平面或者光場(chǎng)表示。
為了適應(yīng)維度的其他度數(shù)，捕獲平面輻射度需要極高的傳感器 分辨率。即使這樣，圖像仍是以比傳感器分辨率低得多的分辨率而 從平面被繪制的，即，以輻射度的位置坐標(biāo)的分辨率而被繪制。如 果對(duì)角度信息進(jìn)行精細(xì)采樣，則來(lái)自平面光場(chǎng)影像的大量像素被用 來(lái)創(chuàng)建所繪制圖像中的僅一個(gè)像素。每個(gè)微透鏡確定所繪制圖像中 的僅一個(gè)像素；在對(duì)一個(gè)微透鏡下的角度信息進(jìn)行積分時(shí)，在所繪 制圖像中僅確定一個(gè)像素。由此，所繪制圖像具有的分辨率量級(jí)可 能小于原始平面光場(chǎng)圖像自身的分辨率量級(jí)。例如，在一個(gè)示例性傳統(tǒng)光場(chǎng)照相機(jī)中，可以通過(guò)24,872 x 21,818的像素陣列在2D中表 示"平面，，。所表示的4D輻射度例如可以是408 x 358 x 61 x 61。 利用現(xiàn)有繪制技術(shù)，圖像以408 x 358 (即，0.146百萬(wàn)像素)從該輻 射度被繪制。這不但是一種令人失望的有限分辨率(當(dāng)今的任意移 動(dòng)電話都具有更好的分辨率)，而且任意特定繪制的視圖僅使用來(lái) 自平面影像的每3,720像素中的 一個(gè)。在平面和所繪制圖像的分辨率 之間的較大差異對(duì)于攝影師來(lái)說(shuō)是極端的浪費(fèi)，因?yàn)閿z影師極度關(guān) 心的是所拍攝的照片而不是所捕獲輻射度的平面表示。

發(fā)明內(nèi)容
描述了用于全分辨率光場(chǎng)捕獲和繪制的方法和設(shè)備的各種實(shí)施 方式。描述了一種全分辨率輻射度照相機(jī)的實(shí)施方式，以及用于從 該全分辨率輻射度照相機(jī)的實(shí)施方式所捕獲的平面光場(chǎng)影像來(lái)繪制 高分辨率圖像的方法。使用傳統(tǒng)光場(chǎng)照相機(jī)和傳統(tǒng)光場(chǎng)繪制方法而 從光場(chǎng)繪制的圖像具有非常低的分辨率。相比于傳統(tǒng)光場(chǎng)照相機(jī)以 及繪制方法，全分辨率輻射度照相機(jī)以及全分辨率光場(chǎng)繪制方法的 實(shí)施方式更充分地滿足現(xiàn)代攝影術(shù)對(duì)于分辨率和圖像大小的期望。
在輻射度照相機(jī)的實(shí)施方式中，」微透鏡聚焦于由照相機(jī)內(nèi)部的 主透鏡創(chuàng)建的圖像(主透鏡的圖像平面)，而不是像傳統(tǒng)全光照相 機(jī)中那樣聚焦于主透鏡本身。這有助于提高或者最大化空間分辨率， 并且由此實(shí)現(xiàn)更為清晰、更高空間分辨率的微透鏡圖像。在圖像平 面中，在照相機(jī)之前存在真實(shí)的場(chǎng)景圖像，并且其由主透鏡折射至 圖像平面，但是在物理上什么都沒(méi)有(除了光以外)；圖像平面僅 僅是空間中的平面位置，可將其視為具有由主透鏡創(chuàng)建的"空中" 圖像。微透鏡聚焦于圖像平面而不是主透鏡，其可以捕獲圖像平面 處的圖像。每個(gè)微透鏡捕獲圖像平面處的圖像的小范圍或者小區(qū)域， 并且將所捕獲的區(qū)域映射或者投影至光傳感器的相應(yīng)區(qū)域之上。輻 射度照相機(jī)的成像屬性可以看作兩個(gè)步驟從世界通過(guò)主透鏡到圖 像平面，以及繼而從圖像平面通過(guò)微透鏡到光傳感器。這類(lèi)似于兩個(gè)照相機(jī)的層疊，但是第二照相機(jī)實(shí)際上是多個(gè)小照相機(jī)，因?yàn)槊?個(gè)微透鏡實(shí)際上是捕獲來(lái)自圖像平面的小圖像的小照相機(jī)。與傳統(tǒng) 全光照相機(jī)進(jìn)一步不同，輻射度照相機(jī)實(shí)施方式中的微透鏡可以定 位在或者移動(dòng)至與光傳感器的距離大于/或者小于/的位置，其中/ 是微透鏡的焦距。在一個(gè)示例性實(shí)施方式中，微透鏡陣列可以放置
在與光傳感器的距離為4/3/的位置。其他實(shí)施方式可以將微透鏡陣 列放置在與光傳感器的距離大于或者小于/的其他位置。另外，描述 了輻射度照相機(jī)的如下實(shí)施方式中，其中光傳感器與微透鏡陣列的 距離是可變或者可調(diào)節(jié)的，并且其中照相機(jī)的其他特征是可調(diào)節(jié)的。 在數(shù)字照相機(jī)以及膠片照相機(jī)中實(shí)現(xiàn)的全分辨率輻射度照相機(jī)的各 種實(shí)施方式是可預(yù)期的，并且描述了兩種類(lèi)型的示例性實(shí)施方式。
在全分辨率光場(chǎng)繪制方法的實(shí)施方式中，可以獲取由輻射度照 相機(jī)所捕獲的平面光場(chǎng)圖像?？梢詸z查光場(chǎng)圖像的區(qū)域中的微圖像， 以確定在樣t圖像中的邊緣相對(duì)于移動(dòng)方向的移動(dòng)方向。如果確定區(qū) 域微圖像中的邊緣正在相對(duì)于微圖像中心沿著與移動(dòng)方向相同的方 向移動(dòng)，則可以將該區(qū)域中的微圖像相對(duì)于其各自的中心進(jìn)行翻轉(zhuǎn)。 可以將微圖像分別進(jìn)行切割，以生成每個(gè)孩t圖像的mx w的子區(qū)域 或稱(chēng)切割，其中m是大于2的整數(shù)?？梢詫?lái)自微圖像的子區(qū)域或 者切割進(jìn)行適當(dāng)組合以形成場(chǎng)景的最終高分辨率圖像。
通過(guò)使微透鏡聚焦于由主透鏡產(chǎn)生的圖像，輻射度照相機(jī)的實(shí) 施方式能夠完全捕獲光場(chǎng)的位置信息。全分辨率光場(chǎng)繪制方法的實(shí) 施方式可用以從輻射度照相機(jī)的實(shí)施方式所捕獲的光場(chǎng)圖像來(lái)繪制 全分辨率圖像，其產(chǎn)生的輸出圖像的分辨率遠(yuǎn)遠(yuǎn)高于傳統(tǒng)光場(chǎng)繪制 技術(shù)的分辨率。實(shí)施方式可以按照滿足現(xiàn)代攝影術(shù)期望(例如，一 千萬(wàn)以及更高的像素)的空間分辨率來(lái)繪制圖像，這使得光場(chǎng)攝影 術(shù)更為切實(shí)可行。


圖1示出了傳統(tǒng)照相機(jī)中的成像；圖2示出了使用了兩個(gè)或者更多物鏡透鏡陣列的示例性現(xiàn)有技 術(shù)光場(chǎng)照相機(jī)或者照相才幾陣列；
圖3示出了使用單個(gè)物鏡透鏡和微透鏡陣列的示例性現(xiàn)有技術(shù) 全光照相才幾；
圖4進(jìn)一步示出了一個(gè)示例性現(xiàn)有^支術(shù)的全光照相機(jī)； 圖5A示出了由全光照相機(jī)捕獲的原始光場(chǎng)圖像； 圖5B示出了根據(jù)傳統(tǒng)繪制方法的、從圖5A的光場(chǎng)圖像繪制的 最終圖像；
圖5C示出了根據(jù)全分辨率光場(chǎng)繪制方法實(shí)施方式的、從圖5A 的光場(chǎng)圖像繪制的最終圖像；
圖6是示出了根據(jù)一個(gè)實(shí)施方式的全分辨率輻射度的框圖7示出了具有可以集成在照相機(jī)中的各種其他元件的輻射度 照相才凡示例性實(shí)施方式；
圖8示出了基于大格式膠片照相機(jī)的輻射度照相機(jī)200的一個(gè) 示例性實(shí)施方式；
圖9示出了來(lái)自利用全光照相機(jī)獲得的原始光場(chǎng)圖像的示例切
割；
圖10示出了全光照相機(jī)的望遠(yuǎn)鏡情況；
圖11示出了來(lái)自圖9中的屋檐區(qū)域的切割，并且可視地示出了 光場(chǎng)照相機(jī)中的"望遠(yuǎn)鏡"行為；
圖12示出了全光照相機(jī)的顯微鏡情況；
圖13示出了來(lái)自圖9中樹(shù)木區(qū)域的切割，并且可視地示出了光
場(chǎng)照相機(jī)中的"顯微鏡"行為；
圖14A示出了 n=4的望遠(yuǎn)鏡情況下的光線幾何； 圖14B示出了 n=4的望遠(yuǎn)鏡情況下的光線幾何； 圖15示出了直徑D的透鏡圓(或者微圖像)以及大小為m的塊圖18A至圖18C示出了使用傳統(tǒng)繪制方法而從光場(chǎng)圖像繪制的 輸出圖像；
圖19示出了光場(chǎng)的全分辨率繪制，假定該繪制是根據(jù)一個(gè)全分 辨率光場(chǎng)繪制方法的實(shí)施方式的望遠(yuǎn)鏡情況；
圖20示出了光場(chǎng)的全分辨率繪制，假定該繪制是根據(jù)一個(gè)全分 辨率光場(chǎng)繪制方法的實(shí)施方式的顯微鏡情況；
圖21是示出了根據(jù)一個(gè)實(shí)施方式的在輻射度照相機(jī)內(nèi)部如何指 引光線的流程圖22是根據(jù)一個(gè)實(shí)施方式的全分辨率光場(chǎng)繪制方法的流程圖23示出了根據(jù)一個(gè)實(shí)施方式的、從例如由輻射度照相機(jī)所捕 獲的光場(chǎng)來(lái)繪制高分辨率圖像的全分辨率光場(chǎng)繪制模塊；以及
圖24示出了在實(shí)施方式中可以使用的一個(gè)示例性計(jì)算機(jī)系統(tǒng)。
盡管在此以多個(gè)實(shí)施方式以及示意性附圖的示例方式描述了本 發(fā)明，但是本領(lǐng)域技術(shù)人員應(yīng)該理解，本發(fā)明不局限于所描述的實(shí) 施方式或者附圖。應(yīng)該理解，在此的附圖和詳細(xì)描述并不旨在將本 發(fā)明限制于所公開(kāi)的特定形式；而是相反，其旨在于涵蓋落入本發(fā) 明的精神和范圍以內(nèi)的所有修改、等效方式和備選方式。在此4吏用 的標(biāo)題僅用于組織的目的，而并不意味著顯示描述的范圍。如在本 申請(qǐng)中通篇使用的，詞語(yǔ)"可以，，是以許可型方式(即，意味著具 有可能性)使用，而不是以強(qiáng)制性方式(即，意味著必須)使用。 類(lèi)似地，各種形式的"包括"意味著包括而不限于。
具體實(shí)施例方式
本發(fā)明描述了用于全分辨率光場(chǎng)捕獲和繪制的方法和設(shè)備的各 種實(shí)施方式。本發(fā)明描述了全分辨率輻射度照相機(jī)的實(shí)施方式，以 及用于從該全分辨率輻射度照相機(jī)的實(shí)施方式所捕獲的平面光場(chǎng)影 像來(lái)繪制高分辨率圖像的繪制方法。將用于從全分辨率輻射度照相 機(jī)的實(shí)施方式所捕獲的平面光場(chǎng)影像來(lái)繪制高分辨率圖像的方法稱(chēng) 作全分辨率光場(chǎng)繪制方法，或者筒稱(chēng)為光場(chǎng)繪制方法。為簡(jiǎn)單起見(jiàn)，將全分辨率輻射度照相機(jī)稱(chēng)作輻射度照相機(jī)。
光場(chǎng)攝影術(shù)支持?jǐn)?shù)字成像的多種新可能性，因?yàn)楣鈭?chǎng)攝影術(shù)捕 獲場(chǎng)景的空間信息和角度信息兩者，即，場(chǎng)景的全部四個(gè)維度的輻 射度。需要高分辨率以便利用二維傳感器來(lái)捕獲四維數(shù)據(jù)。然而， 使用傳統(tǒng)光場(chǎng)照相機(jī)以及傳統(tǒng)光場(chǎng)繪制方法，作為四維輻射度到兩 個(gè)空間維度的映射而從該數(shù)據(jù)被繪制的圖像具有非常低的分辨率。 相對(duì)于使用傳統(tǒng)光場(chǎng)照相機(jī)以及繪制方法，全分辨率輻射度照相機(jī) 以及全分辨率光場(chǎng)繪制方法的實(shí)施方式可以更充分地滿足現(xiàn)代攝影 師的分辨率和圖像尺寸的期望。
在全分辨率光場(chǎng)照相機(jī)的實(shí)施方式中，微透鏡陣列中的微透鏡 聚焦于主照相機(jī)透鏡的圖像平面，而不是像傳統(tǒng)全光照相機(jī)中那樣 聚焦于主照相機(jī)透鏡本身。在圖像平面中，在照相機(jī)之前存在真實(shí) 的場(chǎng)景圖像，并且其由主透鏡折射至圖像平面，但是在物理上什么
都沒(méi)有(除了光以外)；圖像平面僅僅是空間中的平面位置，可以
認(rèn)為其是由主透鏡創(chuàng)建的"空中"圖像。微透鏡聚焦于圖像平面而 不是主透鏡，其可以捕獲圖像平面處的圖像。每個(gè)微透鏡捕獲圖像 平面處的圖像的小范圍或者小區(qū)域，并且將所捕獲的區(qū)域映射或者 投影至光傳感器的相應(yīng)區(qū)域之上。輻射度照相機(jī)的成像屬性可以看
作兩個(gè)步驟從世界通過(guò)主透鏡到圖像平面，以及繼而從圖像平面 通過(guò)微透鏡到光傳感器。這類(lèi)似于兩個(gè)照相機(jī)的層疊，但是第二照 相機(jī)實(shí)際上是多個(gè)小照相機(jī)，由于每個(gè)微透鏡實(shí)際上是捕獲來(lái)自圖 像平面的小圖像的小照相機(jī)。這還類(lèi)似于望遠(yuǎn)鏡操作的方式。通過(guò) 使微透鏡聚焦于由主透鏡產(chǎn)生的圖像，輻射度照相機(jī)的實(shí)施方式能 夠完全捕獲輻射度的位置信息。全分辨率光場(chǎng)繪制方法的實(shí)施方式 可用以從輻射度照相機(jī)的實(shí)施方式所捕獲的光場(chǎng)圖像來(lái)繪制全分辨 率圖像，其產(chǎn)生的輸出圖像的分辨率遠(yuǎn)遠(yuǎn)高于傳統(tǒng)光場(chǎng)繪制技術(shù)的 分辨率。實(shí)施方式可以按照滿足現(xiàn)代攝影術(shù)期望(例如， 一千萬(wàn)以 及更高的像素)的空間分辨率繪制圖像，這使得光場(chǎng)攝影術(shù)更為切 實(shí)可行。在下文中給出了對(duì)光場(chǎng)照相機(jī)結(jié)構(gòu)和光學(xué)器件的分析，其深入 研究了光場(chǎng)照相機(jī)中的主透鏡系統(tǒng)與微透鏡陣列之間的交互?；?br> 此分析結(jié)果，實(shí)施方式利用了如下事實(shí)在每個(gè)深度平面，輻射度 包含關(guān)于場(chǎng)景的數(shù)量可觀的位置信息，所述信息編碼于該平面處的 角度信息中。由此，實(shí)施方式可以稱(chēng)作全分辨率，這是因?yàn)閷?shí)施方 式對(duì)在四維輻射度中可用的角度信息以及位置信息兩者進(jìn)行充分使
用，如在分析中所見(jiàn)的那樣。超分辨率(super-resolution)技術(shù)從子 像素偏移的低分辨率圖像來(lái)創(chuàng)建高分辨率圖像，與之不同，實(shí)施方 式直接從輻射度數(shù)據(jù)來(lái)繪制高分辨率圖像。此外，實(shí)施方式可以生 成光場(chǎng)圖像，其可由輻射度處理技術(shù)(諸如，傅立葉切片重聚焦) 來(lái)處理。
出于比較目的，圖5A至圖5C示出了傳統(tǒng)全光照相機(jī)和繪制方 法的結(jié)果以及在此所述的全分辨率輻射度照相機(jī)和全分辨率光場(chǎng)繪 制方法的結(jié)果。圖5A示出了由全光照相機(jī)捕獲的原始光場(chǎng)圖像。注 意，對(duì)于未經(jīng)訓(xùn)練的人眼來(lái)說(shuō)，由傳統(tǒng)全光照相機(jī)捕獲的原始光場(chǎng) 圖像看起來(lái)類(lèi)似于由全分辨率輻射度照相機(jī)的實(shí)施方式捕獲的原始 光場(chǎng)圖像。圖5B示出了傳統(tǒng)繪制的最終圖像，圖5C示出了根據(jù)在 此所述的全分辨率光場(chǎng)繪制方法而繪制的最終圖像。當(dāng)與圖5B中的 空間分辨率相比較時(shí)，即使在這種小的、灰度級(jí)格式中，在圖5C中 的空間分辨率的巨大改進(jìn)也是顯而易見(jiàn)的。
全分辨率輻射度照相機(jī)
描述了全分辨率輻射度照相機(jī)的各種實(shí)施方式。在諸如圖3和 圖4中示出的傳統(tǒng)全光照相機(jī)中，精確地放置和調(diào)節(jié)微透鏡，以便 使其準(zhǔn)確地處于距離光傳感器一個(gè)焦距/的位置，其中/是微透鏡的 焦距。另外，在傳統(tǒng)全光照相機(jī)中，微透鏡陣列固定于照相機(jī)的主 透鏡或者物鏡透鏡的圖像平面處，并且陣列中的微透鏡聚焦于無(wú)窮 遠(yuǎn)。相反，在此描述的輻射度照相機(jī)的實(shí)施方式中，為了提高或者 最大化空間分辨率(即，為了實(shí)現(xiàn)更為銳利、更高空間分辨率的微透鏡圖像)，微透鏡聚焦于由照相機(jī)內(nèi)部的主透鏡所創(chuàng)建的圖像， 并且位于微透鏡(主透鏡的圖像平面)之前，而不是如同傳統(tǒng)全光 照相機(jī)那樣聚焦于主透鏡本身。與傳統(tǒng)全光照相機(jī)進(jìn)一步相反，在 此描述的輻射度照相機(jī)的實(shí)施方式中的微透鏡可以定位在或者移動(dòng) 至與光傳感器的距離大于/或者小于/的位置，其中/是微透鏡的焦 距。在一個(gè)實(shí)施方式中，微透鏡陣列可以放置在與光傳感器的距離
為4/3/的位置處。其他實(shí)施方式可以將微透鏡陣列放置在/倍數(shù)的 其他位置處，例如1.5/或者3/4/。另外，描述輻射度照相機(jī)的如下 實(shí)施方式，其中光傳感器與微透鏡陣列的距離是可變或者可調(diào)節(jié)的， 并且其中照相機(jī)的其他特征是可調(diào)節(jié)的。例如，在一個(gè)實(shí)施方式中， 可以在0.5/至1.5/的范圍內(nèi)調(diào)節(jié)光傳感器與微透鏡的距離。對(duì)于望 遠(yuǎn)鏡情況(光傳感器與微透鏡陣列的距離〉/),最大可用距離可以 是1.5/,盡管不實(shí)際，但大于1.5/的距離也是可能的。由此，對(duì)于 望遠(yuǎn)鏡情況，光傳感器與微透鏡陣列距離的實(shí)際范圍可以是/< 6《 1.5/。
在數(shù)字照相機(jī)和膠片照相機(jī)中實(shí)現(xiàn)全分辨率輻射度照相機(jī)的各 種實(shí)施方式是可預(yù)期的，并且描述了兩種類(lèi)型的示例性實(shí)施方式。 在數(shù)字照相機(jī)中，光傳感器是諸如電荷耦合設(shè)備(CCD)的數(shù)字光 捕獲設(shè)備或者介質(zhì)，其以數(shù)字格式來(lái)捕獲并且記錄光。在膠片照相 機(jī)中，光傳感器是膠片。由此，在此使用的"光傳感器"是指在數(shù) 字照相機(jī)中使用的捕獲光的數(shù)字介質(zhì)以及在膠片照相機(jī)中使用的捕 獲光的膠片介質(zhì)，更一般地，是指可用來(lái)捕獲光的設(shè)備或者介質(zhì)。 使用膠片照相機(jī)實(shí)施方式在膠片上捕獲的光場(chǎng)圖像可以隨后進(jìn)行數(shù) 字化，例如，4吏用高分辨率掃描4義來(lái)進(jìn)行，乂人而例如可以-使用在此 所述的高分辨率光場(chǎng)繪制方法來(lái)進(jìn)行繪制，以便產(chǎn)生高分辨率輸出 圖像。使用數(shù)字照相機(jī)實(shí)施方式捕獲的光場(chǎng)圖像可以直接繪制。
除了數(shù)字和膠片實(shí)施方式以外，全分辨率輻射度照相機(jī)的數(shù)字 照相機(jī)和膠片照相機(jī)實(shí)施方式二者的固定的和可調(diào)節(jié)的實(shí)施方式是 可預(yù)期的，并且描述了兩種類(lèi)型的示例性實(shí)施方式。在固定的實(shí)施具有固定距離6 (該距離6是/
的倍數(shù)，例如4/3/、 3/4/或者1.5/，其中/是微透鏡的焦距)的位
置。注意，在此使用Z7來(lái)表示在微透鏡以及光傳感器之間的距離，
在此使用a來(lái)表示在微透鏡和主透鏡或者物鏡透鏡的圖像平面之間 的距離。在某些實(shí)施方式中，微透鏡陣列/光傳感器組合可以固定在 照相機(jī)機(jī)身中的某個(gè)位置。在某些實(shí)施方式中，微透鏡陣列的光學(xué) 特征及其物理位置可以都是固定的。在某些實(shí)施方式中，照相機(jī)的 主透鏡的光學(xué)特性和位置可以是固定的，同時(shí)可以允許快門(mén)速度、 孔徑焦距等有所變化。在可調(diào)節(jié)實(shí)施方式中，可以使用各種手工裝 置或者自動(dòng)裝置來(lái)改變光傳感器與微透鏡陣列之間的距離6，以便改 變照相機(jī)機(jī)身中的微透鏡陣列/光傳感器組合的位置，改變從主透鏡 到微透鏡陣列的距離，改變微透鏡與圖像平面之間的距離a,和/或 交換或者替換各種組件(諸如，微透鏡陣列和主透鏡)。另外，照 相機(jī)的主透鏡可以是可交換的，以便使用不同的主透鏡，并且可以 根據(jù)孔徑、快門(mén)速度、焦距、與微透鏡陣列的距離等來(lái)進(jìn)行調(diào)節(jié)。 可以使用并且可能使用微透鏡陣列可交換的實(shí)施方式，從而使微透 鏡陣列具有不同數(shù)量的微透鏡和/或微透鏡具有不同的光學(xué)特性。
光學(xué)系統(tǒng)的光學(xué)特性包括透鏡的光學(xué)特性以及各種組件或者元 件之間的距離，所述光學(xué)特性在捕獲光場(chǎng)中是重要的，如在此所描 述的，該光場(chǎng)可以被繪制以獲得高分辨率輸出圖像。由此，在固定 實(shí)施方式中，微透鏡、主透鏡、光傳感器以及這些組件在照相機(jī)中 的相對(duì)物理位置可以根據(jù)在此描述的公式和等式來(lái)確定，以便捕獲 適當(dāng)和令人滿意的光場(chǎng)圖像。在可調(diào)節(jié)實(shí)施方式中，某些實(shí)施方式 可以包括自動(dòng)裝置，該自動(dòng)裝置自動(dòng)地調(diào)節(jié)一個(gè)或者多個(gè)組件的定 位或者其他方面，以便捕獲適當(dāng)?shù)暮土钊藵M意的光場(chǎng)圖像。例如， 如果用戶調(diào)節(jié)或者替換一個(gè)組件，則照相機(jī)可以自動(dòng)調(diào)節(jié)一個(gè)或者 多個(gè)其他組件來(lái)適應(yīng)該變化。備選地，可調(diào)節(jié)輻射度照相^/L的人類(lèi)
#:作者可以手工調(diào)節(jié)一個(gè)或者多個(gè)組件的定位或者其他方面，可以
利用具有不同特性的單元來(lái)替換一個(gè)或者多個(gè)組件，或者可以插入其他組件(例如，微片(microsheet)玻璃，這將在下文描述)，以 便捕獲適當(dāng)?shù)暮土钊藵M意的光場(chǎng)圖像。
圖6至圖8示出了在此所述的輻射度照相機(jī)的示例性膠片照相 機(jī)以及數(shù)字照相機(jī)的實(shí)施方式，并且進(jìn)一步示出了輻射度照相沖幾的 固定實(shí)施方式以及可調(diào)實(shí)施方式二者。應(yīng)該注意，這些是示例性實(shí) 施方式而并不旨在進(jìn)行限制。其他實(shí)施方式也是可能并且是可以想 到的。
圖6是示出根據(jù)一個(gè)實(shí)施方式的全分辨率輻射度照相機(jī)的框圖。 輻射度照相機(jī)200可以包括主(物鏡)透鏡230、微透鏡陣列220 以及光傳感器210。孩i透鏡陣列220可以定位在與光傳感器210距離 大于/的位置，其中/是陣列220中微透鏡的焦距。另外，陣列220 中的微透鏡聚焦于主透鏡230的圖像平面240。相反，在諸如圖3 和圖4中的傳統(tǒng)全光照相機(jī)中，微透鏡陣列106固定在與光傳感器 108距離為/的位置處，并且陣列106中的微透鏡聚焦于主透鏡104。 在某些實(shí)施方式中，光傳感器210可以是傳統(tǒng)膠片；在其他實(shí)施方 式中，光傳感器210可以是用于以數(shù)字方式來(lái)捕獲光的設(shè)備(例如， CCD)。在微透鏡陣列220的一個(gè)實(shí)施方式中，其可以在輻射度照 相機(jī)200的實(shí)施方式中使用，或者在如圖7和圖8中所示的其他實(shí) 施方式中使用，微透鏡陣列220可以包括直徑0.25 mm和焦距0.7 mm 的146,000個(gè)微透鏡。微透鏡陣列220的其他配置(包括不同數(shù)量的 微透鏡和/或具有不同光學(xué)特性的微透鏡)是可能的并且是可以想到 的。圖16示出了對(duì)示例性微透鏡陣列的放大，并且示出了個(gè)體微透 鏡以及微透鏡之間的(黑)鉻遮罩。
圖7示出了具有可在照相機(jī)200中集成的各種其他元件的輻射 度照相機(jī)的示例性實(shí)施方式200。在輻射度照相機(jī)200的某些實(shí)施方 式中，物鏡透鏡230、微透鏡陣列220以及光傳感器210可以是固定 的。在其他實(shí)施方式中，上述元件的一個(gè)或者多個(gè)是可替換的和/或 可調(diào)節(jié)的。在某些實(shí)施方式中，光傳感器210可以是傳統(tǒng)膠片；在 其他實(shí)施方式中，光傳感器210可以是用于以數(shù)字方式來(lái)捕獲光的設(shè)備(例如，CCD)。通常，除了主透鏡230、微透鏡陣列220以及 光傳感器210以外，在此所述的輻射度照相機(jī)200的實(shí)施方式可以 包括在數(shù)字照相機(jī)或者其他照相機(jī)(包括光場(chǎng)和全光照相機(jī)以及大 格式膠片照相機(jī))中常見(jiàn)的任何其他類(lèi)型的元件和特征，并且還可 以包括在傳統(tǒng)照相才幾中不常見(jiàn)的其他元件和特征。
在一個(gè)實(shí)施方式中，可以在捕獲數(shù)據(jù)處理模塊260中實(shí)現(xiàn)用于 從輻射度照相機(jī)200所捕獲的光場(chǎng)來(lái)繪制高分辨率圖像的全分辨率 光場(chǎng)繪制方法和/或應(yīng)用于輻射度照相機(jī)200的實(shí)施方式所捕獲光場(chǎng) 的其他圖像處理算法?？梢酝ㄟ^(guò)硬件、軟件或者其組合的方式來(lái)實(shí) 現(xiàn)捕獲數(shù)據(jù)處理模塊260。備選地，如在此所述，可以根據(jù)在獨(dú)立設(shè) 備(例如，計(jì)算機(jī)系統(tǒng))上執(zhí)行的全分辨率光場(chǎng)繪制模塊中所實(shí)現(xiàn) 的全分辨率光場(chǎng)繪制方法來(lái)繪制由輻射度照相機(jī)200捕獲的光場(chǎng)， 以便生成所捕獲場(chǎng)景的一個(gè)或者多個(gè)高分辨率輸出圖像。在圖24中系統(tǒng)。
輻射度照相機(jī)200可以包括快門(mén)314?？扉T(mén)314可以位于物鏡透 鏡230之前或者之后。輻射度照相機(jī)200可以包括一個(gè)或者多個(gè)處 理器300。輻射度照相機(jī)200可以包括功率源或者電源304，諸如一 個(gè)或者多個(gè)可替換或者可充電電池。輻射度照相機(jī)200可以包括存 儲(chǔ)器存儲(chǔ)設(shè)備或者系統(tǒng)302，用于存儲(chǔ)所捕獲的光場(chǎng)圖像和/或所繪 制的最終圖像或者諸如軟件的其他信息。在一個(gè)實(shí)施方式中，存儲(chǔ) 器302可以是可移除的/可交換的存儲(chǔ)設(shè)備，諸如存儲(chǔ)棒。輻射度照 相機(jī)200可以包括屏幕306 (例如，LCD屏幕)，其用于在捕獲之 前查看照相機(jī)前方的場(chǎng)景，和/或用于查看先前已經(jīng)捕獲和/或繪制的 圖像。屏幕306還可用以向用戶顯示一個(gè)或者多個(gè)菜單或者其他信 息。輻射度照相機(jī)200可以包括一個(gè)或者多個(gè)I/O接口 312 (諸如， FireWire或者通用串行總線(USB)接口 )，用于與外部設(shè)備(諸如， 計(jì)算機(jī)系統(tǒng)甚至其他照相機(jī))雙向傳輸例如所捕獲的光場(chǎng)圖像、軟 件更新等的信息。輻射度照相機(jī)200可以包括快門(mén)線(shutter release )308,其被激活以捕獲對(duì)象或者場(chǎng)景的光場(chǎng)圖像。
輻射度照相機(jī)200可以包括一個(gè)或者多個(gè)控件310,例如用于控 制輻射度照相機(jī)200的光學(xué)方面的控件(諸如快門(mén)速度)、用于控 制查看以及管理和操縱存儲(chǔ)在照相機(jī)存儲(chǔ)器中的已捕獲圖像的 一 個(gè) 或者多個(gè)控件等。可調(diào)節(jié)輻射度照相機(jī)200可以包括一個(gè)或者多個(gè) 控件，用于調(diào)節(jié)在照相機(jī)200中組件的相對(duì)位置(之間的距離)， 諸如微透鏡陣列220與光傳感器210之間的距離6?？烧{(diào)節(jié)輻射度照 相機(jī)200可以包括一個(gè)或者多個(gè)人工或者自動(dòng)調(diào)節(jié)裝置320或者調(diào) 節(jié)器，其配置用于調(diào)節(jié)照相機(jī)200中組件的相對(duì)位置(組件之間的 距離)，諸如微透鏡陣列220與光傳感器210之間的距離6。在某些 實(shí)施方式中，調(diào)節(jié)機(jī)構(gòu)320可以用于響應(yīng)于控件310來(lái)調(diào)節(jié)一個(gè)或 者多個(gè)組件。
圖8示出了基于大格式膠片照相機(jī)的輻射度照相機(jī)200的示例 性實(shí)施方式。與用來(lái)對(duì)從底片或者照片捕獲的圖像進(jìn)行數(shù)字化的當(dāng) 前高分辨率掃描儀相結(jié)合使用，大格式膠片照相機(jī)實(shí)施方式對(duì)于4D
輻射度(原始光場(chǎng)圖像)的平面或者光場(chǎng)表示能夠達(dá)到1G像素或者 甚至更高的分辨率。例如， 一個(gè)示例性實(shí)施方式可以在4吏用135 mm 物鏡透鏡430和4x5格式膠片作為"光傳感器"的大格式膠片照相 機(jī)中實(shí)現(xiàn)(在大格式照相機(jī)中，在膠片夾402或者膠巻中通常放置 單一底片，可以將該膠片夾402或者膠巻插入照相機(jī)機(jī)身或者從其 中移除)。在各種實(shí)施方式中可以使用其他物鏡透鏡和/或其他膠片 格式，例如8xl0格式的膠片。輻射度照相機(jī)400包括微透鏡陣列 406。圖16示出了對(duì)示例性微透鏡陣列的放大，并且示出了個(gè)體微 透鏡和微透鏡之間的(黑)鉻遮罩。在可以在輻射度照相機(jī)400的 實(shí)施方式中使用或者可以在如圖6和圖7所示出的其他實(shí)施方式使 用中的微透鏡陣列的一個(gè)實(shí)施方式中，微透鏡陣列406可以包括具 有0.25mm直徑以及0.7mm焦距的146,000個(gè)微透鏡。包括不同數(shù) 量微透鏡和/或具有不同光線特性的微透鏡的微透鏡陣列406的其他 配置也是可能的并且可以想到的。在一個(gè)實(shí)施方式中，大格式膠片照相機(jī)的膠片夾402內(nèi)部的裝 置保持微透鏡陣列406，從而使陣列406的玻璃基底的平面?zhèn)鹊挚磕z 片。在一個(gè)實(shí)施方式中，微透鏡陣列406的厚度是這樣的，當(dāng)?shù)挚?膠片放置時(shí)，微透鏡與膠片的距離為/。微透鏡陣列406還可以是其 他配置，并且大格式膠片照相機(jī)的配置使其可以通過(guò)簡(jiǎn)單地使用不 同微透鏡陣列406而容易地改變微透鏡的配置。在裝配中可以使用 玻璃微片404作為微透鏡陣列406與膠片夾402中膠片之間的間隔 物或者墊片，以便增加微透鏡和膠片之間的距離，使該距離大于/ (例如，4/3/)。 一種可以使用的示例性微片404厚度為0.23 mm。 插入微片玻璃404以嚴(yán)格控制的方式來(lái)提供間隔。在一個(gè)實(shí)施方式 中，可以通過(guò)在膠片夾402和微透鏡陣列406之間增加單個(gè)微片404 來(lái)產(chǎn)生額外間隔，以便將微透鏡從傳感器再偏移1/3/,約0.2mm。 還可以添加附加的微片404來(lái)提供附加間隔。在某些實(shí)施方式中， 還可以使用微片玻璃以外的其他裝置作為微透鏡陣列406與膠片夾 402之間的間隔物，以便調(diào)節(jié)微透鏡陣列406與膠片夾402之間的距 離。
如圖8中所示，在一個(gè)實(shí)施方式中，膠片夾402可以與微透鏡 陣列406耦合，以創(chuàng)建組合件410。根據(jù)需要或者期望， 一個(gè)或者多 個(gè)微片404可以可選地插入膠片夾402與微透鏡陣列406之間以提 供附加間隔。組合件410繼而可以插入大格式膠片照相才幾。大格式 膠片照相機(jī)和組合件410的結(jié)合可以有效地形成輻射度照相機(jī)400。 繼而可以使用輻射度照相機(jī)400在膠片夾402中的膠片上捕獲場(chǎng)景 的光場(chǎng)圖像。繼而，組合件410可以從照相4幾400中移除、拆裝， 并且可以對(duì)膠片進(jìn)行適當(dāng)處理。光場(chǎng)圖像的膠片底片和/或照片繼而 可以被數(shù)字化，例如使用高分辨率掃描儀或者從底片生成數(shù)字圖像 的設(shè)備來(lái)進(jìn)行數(shù)字化。數(shù)字化的光場(chǎng)圖像可以存儲(chǔ)至存儲(chǔ)器設(shè)備， 諸如盤(pán)驅(qū)動(dòng)器、DVD、 CD等?？梢愿鶕?jù)在計(jì)算機(jī)系統(tǒng)上運(yùn)行的全分 辨率光場(chǎng)繪制模塊中實(shí)現(xiàn)的全分辨率光場(chǎng)繪制方法來(lái)繪制數(shù)字化的 光場(chǎng)圖像，以便生成在此描述的場(chǎng)景的一個(gè)或者多個(gè)高分辨率輸出圖像。在圖24中示出了一種示例性計(jì)算機(jī)系統(tǒng)，在該系統(tǒng)中可以實(shí) 現(xiàn)全分辨率光場(chǎng)繪制方法的實(shí)施方式。
在此提供的對(duì)全分辨率光場(chǎng)繪制方法和設(shè)備的分析示出微透 鏡聚焦于在輻射度照相機(jī)中的圖像平面，而不是如同在傳統(tǒng)全光照 相機(jī)中那樣聚焦于主透鏡本身，這使得全分辨率光場(chǎng)繪制方法和設(shè) 備的實(shí)施方式可以更完全地利用所捕獲的平面光場(chǎng)影像(即，由光 場(chǎng)照相機(jī)捕獲的原始光場(chǎng)圖像)中可用的位置信息?；谖⑼哥R的 高分辨率以及良好的聚焦，相對(duì)于傳統(tǒng)全光照相機(jī)以及傳統(tǒng)繪制方 法而言，所述方法和設(shè)備的實(shí)施方式能夠?qū)崿F(xiàn)非常高的繪制圖像分 辨率。例如，在與來(lái)自傳統(tǒng)全光照相機(jī)和傳統(tǒng)繪制方法的結(jié)果相比 時(shí)， 一個(gè)實(shí)施方式實(shí)現(xiàn)了每個(gè)空間維度分辨率的27倍的提高。
全分辨率光場(chǎng)繪制方法
描述了用于繪制來(lái)自光場(chǎng)高分辨率圖像的方法和設(shè)備的實(shí)施方 式，所述光場(chǎng)例如由全分辨率輻射度照相機(jī)的實(shí)施方式所捕獲。用 于從光場(chǎng)來(lái)繪制高分辨率圖像的方法可以稱(chēng)作全分辨率光場(chǎng)繪制方 法。光場(chǎng)繪制方法可以稱(chēng)為"全分辨率"是因?yàn)樵摲椒▽?duì)于在所捕 獲輻射度數(shù)據(jù)中可用的位置信息和角度信息兩者進(jìn)行完全的使用。 全分辨率光場(chǎng)繪制方法可以在工具、模塊、庫(kù)函數(shù)、插件、單獨(dú)應(yīng) 用等中實(shí)現(xiàn)。為簡(jiǎn)單起見(jiàn)，可以將全分辨率光場(chǎng)繪制方法的實(shí)施方 式的實(shí)現(xiàn)稱(chēng)作全分辨率光場(chǎng)繪制模塊。備選地或者附加地，還可以 對(duì)全分辨率光場(chǎng)繪制模塊和/或其他模塊所捕獲的光場(chǎng)圖像應(yīng)用其他 光場(chǎng)繪制或者處理技術(shù)。圖24示出了可以實(shí)現(xiàn)全分辨率光場(chǎng)繪制模 塊的實(shí)施方式的示例性計(jì)算機(jī)系統(tǒng)。
給出了對(duì)所述方法的限制和折衷的分析以及全分辨率光場(chǎng)繪制 方法的描述。當(dāng)相比于傳統(tǒng)方法時(shí)，可以通過(guò)使用傳統(tǒng)繪制方案以 及使用在此所述的全分辨率光場(chǎng)繪制方案從542兆像素的光場(chǎng)繪制 圖像，以此通過(guò)試驗(yàn)來(lái)示例性說(shuō)明全分辨率光場(chǎng)繪制方法的有效性。 在實(shí)驗(yàn)中，傳統(tǒng)繪制方法產(chǎn)生0.146兆像素的最終圖像，而全分辨率光場(chǎng)繪制方法產(chǎn)生106兆像素的最終圖像。實(shí)驗(yàn)結(jié)果顯示，本方法
可以產(chǎn)生高分辨率圖像，該分辨率接近了利用傳統(tǒng)(非光場(chǎng))高分 辨率照相機(jī)直接捕獲圖像的分辨率。
行為的全光照相機(jī)模式
可以通過(guò)分析全光照相機(jī)的光學(xué)系統(tǒng)來(lái)得出全分辨率光場(chǎng)繪制 方法。首先給出對(duì)所捕獲光場(chǎng)影像的某些觀察，并且使用這些觀察 來(lái)推動(dòng)后續(xù)分析。
圖9示出了由全光照相機(jī)獲取的原始光場(chǎng)圖像的示例切割。在 圖9中，可以觀察到多個(gè)圓內(nèi)部的重復(fù)邊緣。微透鏡陣列中的每個(gè) 微透鏡創(chuàng)建微圖像；由此，結(jié)果光場(chǎng)影像是微圖像的陣列。在大比 例尺上，可以感知到整個(gè)圖像，而單獨(dú)微透鏡圖像與大比例尺場(chǎng)景 之間對(duì)應(yīng)性較不明顯。有趣的是，如將要示出的那樣，在實(shí)施方式 中，可以利用由微透鏡所捕獲的內(nèi)容與整體場(chǎng)景中的內(nèi)容之間的關(guān) 系來(lái)產(chǎn)生高分辨率圖像。
在圖9中，在小比例尺上，可以觀察到圓內(nèi)部的多個(gè)清晰的區(qū) 別特征(諸如，邊緣)。邊緣通常從一個(gè)圓重復(fù)到下一個(gè)圓。相同 邊緣(或者特征)可以在多個(gè)圓中看到，在圓與圓之間略微偏移了 不同位置。如果主照相機(jī)透鏡是手工重聚焦的，則給定邊緣可以進(jìn) 行移動(dòng)，并且實(shí)際上在不同數(shù)量的圓之間改變其多樣性。
微透鏡間的特征重復(fù)表示場(chǎng)景的該部分是離焦的。在對(duì)來(lái)自大 比例尺場(chǎng)景的對(duì)象進(jìn)行聚焦時(shí)，相同特征在微圖像陣列中僅出現(xiàn)一 次。
在解譯微圖像時(shí)，重要的是應(yīng)該注意，如同利用上文所述的基 礎(chǔ)傳統(tǒng)照相機(jī)，基礎(chǔ)全光照相機(jī)的操作遠(yuǎn)比將主透鏡之前某平面處 的輻射度函數(shù)簡(jiǎn)單地映射到傳感器上豐富得多。即，實(shí)際上存在從 透鏡之前場(chǎng)景到圖像傳感器的無(wú)窮個(gè)映射。對(duì)于一個(gè)特定距離，這 對(duì)應(yīng)于輻射度函數(shù)的映射。針對(duì)其他距離處的場(chǎng)景部分的對(duì)應(yīng)性、 以及它們?cè)趥鞲衅魈幦绾物@示自己較不明顯。這將是本章節(jié)其余部分的話題。
接著，考慮可以在全光照相機(jī)的行為中識(shí)別的兩種有限情況 望遠(yuǎn)鏡(其中，光傳感器與微透鏡陣列之間的距離6大于陣列中微 透鏡的焦距/)以及顯微鏡(其中，6小于/)。這些情況都不是嚴(yán)格 確切的真實(shí)全光照相機(jī)，但其特征在每個(gè)全光圖像中都可以看到。 如下文所示，兩者都是可實(shí)現(xiàn)的，并且是非常有用的。
全光照相機(jī)望遠(yuǎn)鏡情況
圖10示出了全光照相機(jī)的望遠(yuǎn)鏡情況(6〉/)。全光照相機(jī)可 以認(rèn)為是利用普通物鏡透鏡的(開(kāi)普勒)望遠(yuǎn)鏡陣列(這里，出于 該目的，透鏡沒(méi)有嚴(yán)格聚焦的問(wèn)題將被忽略)。陣列中的每個(gè)個(gè)體 望遠(yuǎn)鏡在大的照相機(jī)內(nèi)部具有微照相機(jī)(目鏡透鏡以及眼)。恰好 類(lèi)似于任何其他照相機(jī)，這種微照相機(jī)聚焦于一個(gè)單個(gè)平面，并且 將來(lái)自該平面的圖像映射到視網(wǎng)膜上，其中圖像被翻轉(zhuǎn)并且尺寸上 有所縮小。照相機(jī)可以根據(jù)以下透鏡等式僅針對(duì)在從/到無(wú)窮遠(yuǎn)(00 ) 的距離處的平面進(jìn)行聚焦
1 1 1
■謹(jǐn)u卜'............,'irt"Miuy'
a & /
在這里，a、 6和/的含義與大照相機(jī)中相同，只是比例尺較小。 可見(jiàn)，由于"和6必須是正數(shù)，所以其不可能聚焦于比/更近的位置。 在傳統(tǒng)全光照相機(jī)中，圖像平面固定在微透鏡處。更為自然的是， 考慮將圖像平面固定在微透鏡前方的距離/處。在兩種情況下，微圖 像是離焦的。
隨著邊緣在圓之間的移動(dòng)，可以觀察到平面光場(chǎng)中望遠(yuǎn)鏡成像 的特性行為。圖11示出了從圖9中屋檐區(qū)域的切割。圖ll可以用 來(lái)在視覺(jué)上示出"望遠(yuǎn)鏡"行為?？梢杂^察到，在圖11中，當(dāng)從屋 檐移開(kāi)時(shí)，邊緣重復(fù)了兩次。圓距離屋檐越遠(yuǎn)，則出現(xiàn)在圓內(nèi)部的 邊緣越遠(yuǎn)。沿著^f壬何給定方向移動(dòng)，邊緣相對(duì)于圓心沿著相同方向 移動(dòng)。只要在給定區(qū)域中4企測(cè)到該行為，該-f亍為是一致的(在該區(qū) 域中的所有方向中都成立)。仔細(xì)的觀察顯示小圓中的圖像實(shí)際上是從高分辨率圖像翻轉(zhuǎn)的塊，將像通過(guò)望遠(yuǎn)鏡觀察到的那樣。 對(duì)于望遠(yuǎn)鏡情況，6的實(shí)際范圍可以是/<6< 1.5/。
全光照相機(jī)顯微鏡情況
圖12示出了全光照相機(jī)的顯微鏡(伽利略型望遠(yuǎn)鏡)情況(6 </)。圖13示出了從圖9中樹(shù)木區(qū)域的切割，并且用于示出在光場(chǎng) 照相機(jī)中"顯微鏡"成像的詳細(xì)情況。注意，該圖像在圖13中沒(méi)有 翻轉(zhuǎn)。全光照相機(jī)還可以認(rèn)為是"不完全聚焦"的照相機(jī)，即，在 膠片平面之后聚焦的照相機(jī)(就像在伽利略望遠(yuǎn)鏡/顯微鏡中那樣)。 如果將適當(dāng)?shù)恼哥R放置在膠片之前，則圖像將聚焦于膠片上。對(duì) 于伽利略望遠(yuǎn)鏡，將圖像聚焦于視網(wǎng)膜上的是眼睛透鏡。對(duì)于全光 照相機(jī)，由具有焦距/的微透鏡來(lái)完成這一任務(wù)。在顯微鏡情況下， 微透鏡需要放置在與膠片的距離小于/的位置。還應(yīng)該注意，盡管望 遠(yuǎn)鏡操作翻轉(zhuǎn)內(nèi)部圖像，但顯微鏡操作不對(duì)其進(jìn)行翻轉(zhuǎn)。
如同利用望遠(yuǎn)鏡成像那樣，在全光照相機(jī)中可以觀察到顯微鏡 成像的特性行為。參見(jiàn)圖13，該圖是來(lái)自圖9中左上角的切割。在 圖13中可以觀察到，當(dāng)遠(yuǎn)離樹(shù)枝移動(dòng)時(shí)，邊緣大約重復(fù)二至三次。 距離樹(shù)枝越遠(yuǎn)，則在圓內(nèi)部出現(xiàn)的邊緣越靠近樹(shù)枝。沿著任意給定 方向移動(dòng)，邊緣相對(duì)于圓心沿著相反方向移動(dòng)。只要在給定區(qū)域中 檢測(cè)到該行為，則該行為是一致的(在該區(qū)域中的所有方向中均成 立)。這歸因于該位置處圖像中的深度。仔細(xì)觀察顯示小圓中的 圖像實(shí)際上是來(lái)自高分辨率圖像中的相應(yīng)區(qū)域的塊，僅僅是尺寸有 所縮減。在圓中特征重復(fù)的次數(shù)越多，則其顯得越小，并且由此在 每個(gè)個(gè)體圓內(nèi)部成像的區(qū)域越大。
綜上，可以認(rèn)為近似聚焦的全光照相機(jī)(即，6^/的全光照相 機(jī))是微照相機(jī)陣列，該微照相機(jī)陣列正考慮該陣列之前或者該陣 列之后的圖像平面。每個(gè)微照相機(jī)圖像僅僅是該平面的小部分。這 些小圖像之間的偏移從幾何上來(lái)看是明顯的，這將在下文標(biāo)題為"全 近"的章節(jié)中進(jìn)行解釋。如果至少一個(gè)微照相機(jī)可以成像該整個(gè)平面，則其可以直接捕獲高分辨率圖像。然而，小圖像在尺寸上受到 主透鏡孔徑的限制。
這些微照相機(jī)圖像的放大以及其間的偏移由到圖^f象平面的距離 來(lái)定義。該距離可以在相對(duì)于《鼓透4竟的正距離或者負(fù)距離，這對(duì)應(yīng) 于上文描述的望遠(yuǎn)鏡(正)和顯微鏡(負(fù))的情況。通過(guò)對(duì)微透鏡 平面進(jìn)行微小調(diào)節(jié)(從而使透鏡處于聚焦?fàn)顟B(tài))，實(shí)施方式可以利 用望遠(yuǎn)鏡行為或者顯微鏡行為來(lái)從平面生成高分辨率圖像。在下文 的章節(jié)中描述此過(guò)程。
分析
在某些實(shí)施方式中，微透鏡沒(méi)有準(zhǔn)確聚焦于將要成像的平面上， 這導(dǎo)致個(gè)體微透鏡圖像變得模糊。這將限制可實(shí)現(xiàn)的分辨率的量。
一種改進(jìn)此類(lèi)結(jié)果的方式是去巻積(deconvolution )。另一種方式是 縮小微透鏡的孔徑。
在圖14A和圖14B中，考慮使用針孔陣列來(lái)代替微透鏡陣列的 "全光，，照相機(jī)的情況。在圖14A和圖14B中，針孔(或者微透鏡) 陣列將該陣列之前的圖像映射至傳感器。與圖像的距離定義了放大 因子#=^1。在光線光學(xué)中，理論上，針孔圖像不會(huì)產(chǎn)生未聚焦的 模糊，這樣其是完美的。但是這是在理論上；在實(shí)際世界中，使用 有限但很小的孔徑和微透鏡來(lái)代替針孔。
從如下透鏡等式
丄+丄—丄
可見(jiàn)，如果與對(duì)象的距離為m/，則與圖像的距離是
6
幾何放大因子可以定義為M=a/6,其中作為替代給出了
M = m —l圖14A示出了在m=4的望遠(yuǎn)鏡情況下的光線幾何，圖14B示出 了在w=2的望遠(yuǎn)鏡情況下的光線幾何。注意，從微透鏡到傳感器的 距離6總是大于/(在圖14A和圖14B中沒(méi)有表示)。參見(jiàn)圖14A 和圖14B中的幾何，圖像是被縮小M倍、:帔翻轉(zhuǎn)的并且被重復(fù)M次。
全分辨率光場(chǎng)繪制算法
上文描述了兩個(gè)不同行為(望遠(yuǎn)鏡和顯微鏡)，并且全分辨率 光場(chǎng)繪制方法的實(shí)施方式可以根據(jù)在輻射度照相機(jī)捕獲的光場(chǎng)圖像 中包含的微圖像中觀察到哪種行為而執(zhí)行不同動(dòng)作。在一個(gè)實(shí)施方 式中，如果全分辨率光場(chǎng)繪制方法檢測(cè)到邊緣(或者特征)相對(duì)于 微圖像中心(微圖像通常是圓形，因而可以稱(chēng)作圓)沿著與移動(dòng)方 向相同的方向移動(dòng)，則將該區(qū)域中的所有微圖像相對(duì)于其各自的中 心進(jìn)行翻轉(zhuǎn)(這是望遠(yuǎn)鏡情況)。如果全分辨率光場(chǎng)繪制方法檢測(cè) 到邊緣相對(duì)于微圖像中心沿著與移動(dòng)方向相反的方向移動(dòng)，則該方 法不進(jìn)行處理(這是顯微鏡情況)。
光場(chǎng)圖像中的小圓或者說(shuō)微圖像有效地拼成了大圖像的塊，并
來(lái)再現(xiàn)大圖像。還可以這樣來(lái)再現(xiàn)大圖像對(duì)塊進(jìn)行放大，從而使 來(lái)自任何給定塊的特征匹配于相鄰塊的那些特征。將重新設(shè)置大小 的塊進(jìn)行組合以再現(xiàn)實(shí)際的高分辨率圖像。
在這些方案的任何一種中，個(gè)體塊可能重疊。圖15示出了直徑 為D的透鏡圓(或者說(shuō)微圖像)以及大小為m的塊，其中m是大于 或者等于2的整數(shù)。全分辨率光場(chǎng)繪制方法的一個(gè)實(shí)施方式通過(guò)丟 棄大小為m的方塊以外的所有像素來(lái)避免這種重疊，有效地將微圖 像剪切為m x附 的方塊。注意，其他實(shí)施方式可以切割為其他形狀， 諸如矩形。
傳統(tǒng)繪制方法不對(duì)像素進(jìn)行上述重組；傳統(tǒng)全光照相機(jī)算法的 每個(gè)微透鏡產(chǎn)生一個(gè)像素的輸出圖像。使用上述算法，全分辨率光 場(chǎng)繪制方法的實(shí)施方式產(chǎn)生分辨率增益，其大約等于原始?jí)K中的像素?cái)?shù)量m。即，實(shí)施方式中每個(gè)微圖像產(chǎn)生wx附個(gè)像素(或者附2 的像素)，而不是一個(gè)像素。
在上文中已經(jīng)示出，放大^/="-1。還存在這樣的情況M=Z)/M。 由此得出如下等式
，D
W = lH--
附
從上文可見(jiàn)，到微透鏡之前的圖像平面的距離(以焦距數(shù)來(lái)測(cè) 量)與i)和m有關(guān)。
重點(diǎn)注意，即使在透鏡沒(méi)有準(zhǔn)確聚焦時(shí)，透鏡也產(chǎn)生可接受的 圖像。另外，可以對(duì)離焦的圖像進(jìn)行去巻積或者簡(jiǎn)單地銳化。出于 這些原因，上述分析實(shí)際上適用于很大范圍的圖像平面位置。即使 不是最優(yōu)，此類(lèi)結(jié)果通常也是有效的折衷。
在確定每個(gè)微圖像質(zhì)量時(shí)，作為照相機(jī)的微透鏡光學(xué)元件是主 要的因素。對(duì)來(lái)自光學(xué)設(shè)備的模糊圖像可以進(jìn)行去巻積，并且銳利 的圖像在某些程度上得以恢復(fù)。為此，光學(xué)系統(tǒng)的有效核心應(yīng)當(dāng)是 已知的。由于這其中存在與位深度和噪聲有關(guān)的限制，實(shí)施方式可 以將分辨率提高至傳統(tǒng)全光照相機(jī)和傳統(tǒng)繪制方法分辨率的w倍。 與傳統(tǒng)方法和設(shè)備并在沒(méi)有去巻積的情況相比，示例性實(shí)施方式已 經(jīng)展示了在一個(gè)平面中提高27倍分辨率，并且在另一平面中提高10 倍分辨率。在與傳統(tǒng)方法和設(shè)備對(duì)比時(shí)，其他實(shí)施方式可以在分辨 率中產(chǎn)生其他的提高。
示例性結(jié)果
可以在膠片照相機(jī)中實(shí)現(xiàn)在此所述的全分辨率輻射度照相機(jī)的 某些實(shí)施方式。例如，實(shí)施方式可以在大才各式膠片照相4幾中實(shí)現(xiàn)。 在圖8中示出了一個(gè)示例性大格式膠片照相機(jī)的實(shí)施方式。例如， 在使用135 mm物鏡透鏡以及4 x 5格式膠片的大格式膠片照相機(jī)中 可以實(shí)現(xiàn)一個(gè)示例性實(shí)施方式。出于實(shí)驗(yàn)?zāi)康模梢允褂没诖蟾?式膠片照相機(jī)而不是數(shù)字照相機(jī)的全分辨率輻射度照相機(jī)，以便避 免數(shù)字傳感器對(duì)分辨率的約束。然而，全分辨率輻射度照相機(jī)設(shè)計(jì)可行的，并且可以具有實(shí)際應(yīng)用。與 用來(lái)對(duì)從底片或者照片捕獲的圖像進(jìn)行數(shù)字化的當(dāng)前高分辨率掃描
儀相結(jié)合，對(duì)于4D輻射度(原始光場(chǎng)圖像)的平面或者光場(chǎng)表示， 大格式膠片照相機(jī)實(shí)施方式能夠達(dá)到1G像素或者甚至更高的分辨率。
全分辨率輻射度照相機(jī)的組件是微透鏡陣列。圖16示出了對(duì)示 例性微透鏡陣列的放大，并且示出了個(gè)體微透鏡以及在微透鏡之間 的(黑)鉻遮罩。在可以在基于大格式膠片照相機(jī)的示例性實(shí)施方 式中使用的微透鏡陣列的一個(gè)實(shí)施方式中，微透鏡陣列包括146,000 個(gè)0.25 mm直徑、0.7 mm焦距的微透鏡。在大才各式月交片照相才幾的4 x 5英寸膠片夾內(nèi)的裝置保持微透鏡陣列，使玻璃基底的平面?zhèn)鹊挚?膠片。在一個(gè)實(shí)施方式中，微透鏡陣列的厚度是這樣的當(dāng)?shù)挚磕z 片放置時(shí)，微透鏡與膠片的距離為/。微透鏡陣列的其他配置也是可 以的，并且大格式膠片照相機(jī)的配置使其可以通過(guò)簡(jiǎn)單地使用不同 微透鏡陣列而容易地改變微透鏡的配置。在裝配中可以使用玻璃微 片作為微透鏡陣列與膠片之間的間隔物或者墊片，以便增加微透鏡 與膠片之間的距離，使該距離大于/(例如，4/3/)。 一種可以使用 的示例性微片厚度為0.23 mm。插入微片玻璃以嚴(yán)格控制的方式來(lái)提 供間隔。在一個(gè)實(shí)施方式中，可以通過(guò)在膠片和微透鏡之間增加單 個(gè)微片來(lái)產(chǎn)生額外間隔，以便將微透鏡從傳感器再偏移1/3/，約0.2 mm。還可以添加附加的孩i片來(lái)才是供附加間隔。
在用于測(cè)試的示例性膠片照相機(jī)中，可以在微透鏡陣列與膠片 之間插入以及不插入玻璃微片作為間隔物或者墊片的兩種情況下來(lái) 進(jìn)行實(shí)驗(yàn)。在兩種情況下，微透鏡的焦距都是戶0.700 mm。在兩個(gè) 實(shí)驗(yàn)性條件下的間隔區(qū)別如下
6=0.71 mm，使得"=71且#=70，這可以直接通過(guò)孩i透鏡陣 列裝配其自身的玻璃厚度來(lái)實(shí)現(xiàn)；以及
基于微透鏡陣列與膠片之間的微片玻璃，6=0.94 mm。作為結(jié) 果，近似地"=3.9 (大約4)且M二3。高分辨率繪制結(jié)果
圖17至圖20用以示出將全分辨率繪制方法應(yīng)用于平面(即， 光場(chǎng))圖像的實(shí)驗(yàn)性結(jié)果，其中所述圖像是利用基于上文所述的大 格式膠片照相機(jī)的示例性全分辨率輻射度照相機(jī)來(lái)捕獲的。具體地， 示出并描述了在望遠(yuǎn)鏡和顯微鏡兩種情況下的繪制操作。
使用基于大格式膠片照相機(jī)的示例性輻射度照相機(jī)在膠片上捕 獲圖像，以及使用高分辨率掃描儀通過(guò)掃描處理對(duì)該圖像進(jìn)行數(shù)字
化，從而生成原始的未繪制光場(chǎng)圖像(也稱(chēng)作平面)。在圖17中示
出了經(jīng)數(shù)字化的光場(chǎng)圖像的部分。在數(shù)字化之后，整個(gè)原始光場(chǎng)圖
像是24，862 x 21，818像素，其中在圖17中示出了 2，250 x 1,950像素。 在圖18C中，通過(guò)小實(shí)心白色矩形示出了被提取以產(chǎn)生圖17的原始 光場(chǎng)圖像的大致區(qū)域。
在圖18A至圖18C中示出了使用傳統(tǒng)繪制方法從光場(chǎng)而繪制的 輸出圖像。整個(gè)光場(chǎng)圖像都是利用傳統(tǒng)方法繪制的，得到了 408 x 357 像素圖像。圖18A是以300ppi來(lái)繪制的，而圖18C是以72ppi繪 制的。在300ppi時(shí)，圖像僅僅是大約1英寸乘以1英寸。圖18B示 出為來(lái)自圖18A中的300 ppi圖像的路邊區(qū)域切割的27倍放大。圖 18C中的實(shí)心白色矩形示出了來(lái)自圖17中所示光場(chǎng)的區(qū)域。圖18C 中的虛線白色矩形示出了根據(jù)圖19和圖20中所示的全分辨率光場(chǎng) 方法的實(shí)施方式而繪制的區(qū)域。
圖19示出了試驗(yàn)性光場(chǎng)的全分辨率繪制，其中該光場(chǎng)是假設(shè)根 據(jù)在此描述的全分辨率光場(chǎng)繪制方法的一個(gè)實(shí)施方式的望遠(yuǎn)鏡情況 而繪制的。由圖18C中的白色虛線矩形示出了圖像的這一區(qū)域。為 了該繪制，采用大約2.4的按比例縮小因子，從而使全分辨率繪制的 圖像測(cè)量為11016 x 9666，即超過(guò)100兆像素。雖然圖像處于300 dpi， 但在圖19中僅示出了 2，250 x 1,950的區(qū)域。該圖像在房屋的區(qū)域是 以全分辨率良好對(duì)焦的，但是在樹(shù)木的樹(shù)枝處不是良好對(duì)焦的。
圖20示出了試驗(yàn)性光場(chǎng)的全分辨率繪制，其中該光場(chǎng)是假設(shè)根據(jù)在此描述的全分辨率光場(chǎng)繪制方法的 一 個(gè)實(shí)施方式的顯微鏡情況 而繪制的。圖18C中的白色虛線矩形示出了圖像的這一區(qū)域。注意，
與圖20中的圖像不同，此圖像在樹(shù)木樹(shù)枝的區(qū)域中是以全分辨率良
好對(duì)焦的，而房屋處不是良好對(duì)焦的。
圖21是示出了根據(jù)一個(gè)實(shí)施方式的、在輻射度照相機(jī)內(nèi)部如何 引導(dǎo)光的流程圖。如700所示，在輻射度照相機(jī)的主透鏡處接收來(lái) 自場(chǎng)景的光。圖6、圖7以及圖8示出了示例性輻射度照相機(jī)。如 702所示，由主透鏡將接收到的光折射至圖像平面。如704所示，微 透鏡陣列(其中的微透鏡聚焦于圖像平面)將來(lái)自所述圖像的光折
射至光傳感器之上，所述光傳感器相對(duì)于微透鏡定位在距離為微透 鏡焦距/的倍數(shù)的位置處。例如，微透鏡與光傳感器之間的距離可以 是3/4/、 4/3/、 5/3/、 1.5/等。如706所示，在光傳感器的不同區(qū)域處 捕獲由微透鏡折射至光傳感器之上的圖像平面的不同視圖，以生成 光場(chǎng)圖像。在某些實(shí)施方式中，光傳感器可以是被配置用于以數(shù)字 方式來(lái)捕獲光的設(shè)備，諸如CCD;而在其他實(shí)施方式中，光傳感器 可以是傳統(tǒng)膠片。如708所示，可以繪制所捕獲的光場(chǎng)圖像，以產(chǎn) 生場(chǎng)景的一個(gè)或者多個(gè)最終的高分辨率圖像，例如使用如圖22中所 述的全分辨率光場(chǎng)繪制方法進(jìn)行繪制。對(duì)于在傳統(tǒng)膠片上捕獲的光 場(chǎng)圖像，可以將光場(chǎng)圖像進(jìn)行數(shù)字化以在繪制前生成數(shù)字化的光場(chǎng) 圖像。
圖22是示出了根據(jù)一個(gè)實(shí)施方式的全分辨率光場(chǎng)繪制方法的流 程圖。如800所示，可以獲取由輻射度照相機(jī)捕獲的光場(chǎng)圖像(參 見(jiàn)例如圖9，其是這樣的光場(chǎng)圖像對(duì)人類(lèi)觀察者而言看起來(lái)像什么的 示例)。如802所示，可以檢查光場(chǎng)圖像的區(qū)域中的微圖像，以確 定微圖像中邊緣相對(duì)于算法的移動(dòng)方向的移動(dòng)方向。在804處，如 果確定區(qū)域微圖像中的邊緣正在相對(duì)于微圖像中心沿著與移動(dòng)方向 相同的方向移動(dòng)，則可以將該區(qū)域中的微圖像相對(duì)于其各自的中心 進(jìn)行翻轉(zhuǎn)。如806所示，可以對(duì)每個(gè)微圖像進(jìn)行切割，以生成每個(gè) 微圖像的mxw的子區(qū)域或者說(shuō)切割，其中m是大于2的整數(shù)。如808所示，可以將來(lái)自微圖像的子區(qū)域或者切割進(jìn)行適當(dāng)組合以形成 場(chǎng)景的最終高分辨率圖像。
圖23示出了根據(jù)一個(gè)實(shí)施方式的全分辨率光場(chǎng)繪制模塊，該模 塊繪制從例如由輻射度照相機(jī)捕獲的光場(chǎng)來(lái)繪制高分辨率圖像。光 場(chǎng)繪制模塊920可以實(shí)現(xiàn)如圖22中所述的全分辨率光場(chǎng)繪制方法。 圖24示出了可以實(shí)現(xiàn)光場(chǎng)繪制模塊920的示例性計(jì)算機(jī)系統(tǒng)。在輻 射度照相機(jī)的某些實(shí)施方式中，光場(chǎng)繪制模塊920可以實(shí)現(xiàn)在照相 機(jī)中，例如實(shí)現(xiàn)在圖7中所示出的輻射度照相機(jī)200的捕獲數(shù)據(jù)處 理模塊260中。參考圖23,光場(chǎng)繪制模塊920接收由輻射度照相機(jī) (諸如在此所述的全分辨率輻射度照相機(jī)的一個(gè)實(shí)施方式)所捕獲 的輸入光場(chǎng)圖像910。在圖9和圖17中示出了輻射度照相機(jī)的一個(gè) 示例性實(shí)施方式所捕獲的光場(chǎng)圖像的示例性部分。繼而，光場(chǎng)繪制
910。光場(chǎng)繪制模塊920生成高分辨率圖像930作為輸出。圖19和 圖2 0示出了示例性高分辨率圖像，該示例性高分辨率圖像可以由光 場(chǎng)繪制模塊920來(lái)繪制和輸出。輸出圖像930例如可以存儲(chǔ)至存儲(chǔ) 介質(zhì)940，所述存儲(chǔ)介質(zhì)940諸如系統(tǒng)存儲(chǔ)器、盤(pán)驅(qū)動(dòng)、DVD、 CD 等。從輸入圖像910到存儲(chǔ)介質(zhì)940的虛線表示還可以存儲(chǔ)原始(輸 入)光場(chǎng)圖像910。
在全分辨率光場(chǎng)繪制模塊920中實(shí)現(xiàn)的一個(gè)全分辨率光場(chǎng)繪制 方法的實(shí)施方式中，繪制圖像所需的時(shí)間與微透鏡的數(shù)量乘以每個(gè) 微透鏡下的采樣像素的數(shù)量呈比例。換言之，繪制圖像所需的時(shí)間 直接與輸出圖像的大小呈比例。
示例性系統(tǒng)
可以在一個(gè)或者多個(gè)計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)用于在此所述的全分辨 率光場(chǎng)繪制方法的組件，所述 一 個(gè)或者多個(gè)計(jì)算機(jī)系統(tǒng)可以與各種 其他設(shè)備交互。圖24示出了一個(gè)此類(lèi)計(jì)算機(jī)系統(tǒng)。在示出的實(shí)施方 式中，計(jì)算機(jī)系統(tǒng)IOOO包括一個(gè)或者多個(gè)處理器1010，所述處理器1010經(jīng)由輸入/輸出U/0)接口 1030耦合至系統(tǒng)存儲(chǔ)器1020。計(jì)算 機(jī)系統(tǒng)1000進(jìn)一步包括耦合至I/0接口 1030的網(wǎng)絡(luò)接口 1040以 及一個(gè)或者多個(gè)輸入/輸出設(shè)備1050,該輸入/輸出設(shè)備1050諸如光 標(biāo)控制設(shè)備1060、鍵盤(pán)1070、音頻設(shè)備1090、以及顯示器1080。 在某些實(shí)施方式中，期望可以使用計(jì)算機(jī)系統(tǒng)1000的單個(gè)實(shí)例來(lái)實(shí) 現(xiàn)實(shí)施方式，然而在其他實(shí)施方式中，可以配置多個(gè)此類(lèi)系統(tǒng)或者
構(gòu)成計(jì)算機(jī)系統(tǒng)iooo的多個(gè)節(jié)點(diǎn)以主管實(shí)施方式的不同部分或者實(shí)
例。例如，在一個(gè)實(shí)施方式中，可以經(jīng)由計(jì)算機(jī)系統(tǒng)1000的一個(gè)或 者多個(gè)節(jié)點(diǎn)來(lái)實(shí)現(xiàn)某些元素，所述一個(gè)或者多個(gè)節(jié)點(diǎn)不同于實(shí)現(xiàn)其 他元素的那些節(jié)點(diǎn)。
在各種實(shí)施方式中，計(jì)算機(jī)系統(tǒng)1000可以是包括一個(gè)處理器 1010的單處理器系統(tǒng)，或者可以是包括多個(gè)處理器1010 (例如，兩 個(gè)、四個(gè)、八個(gè)、或者其他適合數(shù)目)的多處理器系統(tǒng)。處理器1010
可以是能夠執(zhí)行指令的任意適合的處理器。例如，在各種實(shí)施方式
中，處理器1010可以是通用或者嵌入處理器，該處理器實(shí)現(xiàn)多種指 令集架構(gòu)(ISA)中的任一項(xiàng)，諸如x86、 PowerPC、 SPARC或者 MIPS ISA或者任何其他合適的ISA。在多處理器系統(tǒng)中，每個(gè)處理 器1010可以共同實(shí)現(xiàn)相同的ISA,但這不是必須的。
系統(tǒng)存儲(chǔ)器1020可以配置以存儲(chǔ)由處理器IOIO可訪問(wèn)的數(shù)據(jù) 和/或程序指令。在各種實(shí)施方式中，可以使用各種適合的存儲(chǔ)器技 術(shù)來(lái)實(shí)現(xiàn)系統(tǒng)存儲(chǔ)器1020,諸如靜態(tài)隨機(jī)訪問(wèn)存儲(chǔ)器(SRAM)、 同步動(dòng)態(tài)RAM (SDRAM)、非易失性/閃存類(lèi)型存儲(chǔ)器、或者任何 其他類(lèi)型的存儲(chǔ)器。在示出的實(shí)施方式中，將實(shí)現(xiàn)期望功能(諸如， 上文所述的用于全分辨率光場(chǎng)繪制模塊的實(shí)施方式)的程序指令和 數(shù)據(jù)分別作為程序指令1025以及數(shù)據(jù)存儲(chǔ)1035來(lái)存儲(chǔ)在系統(tǒng)存儲(chǔ) 器1020內(nèi)部。在其他實(shí)施方式中，可以接收、發(fā)送程序指令和/或數(shù) 據(jù)，或者將其存儲(chǔ)在不同類(lèi)型的計(jì)算機(jī)可訪問(wèn)介質(zhì)、或者獨(dú)立于系 統(tǒng)存儲(chǔ)器1020的類(lèi)似介質(zhì)、或者計(jì)算機(jī)系統(tǒng)IOOO之上。 一般而言， 計(jì)算機(jī)可訪問(wèn)介質(zhì)可以包括諸如磁性或者光性介質(zhì)的存儲(chǔ)介質(zhì)或者存儲(chǔ)器介質(zhì)，例如經(jīng)由1/0接口 1030耦合至計(jì)算機(jī)系統(tǒng)1000的盤(pán)或 者CD/DVD-ROM。經(jīng)由計(jì)算機(jī)可訪問(wèn)介質(zhì)存儲(chǔ)的程序指令和數(shù)據(jù)可 以通過(guò)傳輸介質(zhì)或者信號(hào)(諸如，電信號(hào)、電磁信號(hào)或者數(shù)字信號(hào)) 來(lái)傳送，這些信號(hào)可以經(jīng)由諸如網(wǎng)絡(luò)和/或無(wú)線鏈接的通信介質(zhì)來(lái)傳 送，諸如可以經(jīng)由網(wǎng)絡(luò)接口 1040來(lái)實(shí)現(xiàn)。
在一個(gè)實(shí)施方式中，1/0接口 1030可以配置以協(xié)調(diào)在處理器 1010、系統(tǒng)存儲(chǔ)器1020以及設(shè)備中的任何外圍設(shè)備之間的I/O流量， 所述外圍設(shè)備包括網(wǎng)絡(luò)接口 1040或者諸如輸入/輸出設(shè)備1050的其 他外圍接口。在某些實(shí)施方式中，1/0接口 1030可以執(zhí)行任何必要 的協(xié)議、定時(shí)或者其他數(shù)據(jù)變換，以便將數(shù)據(jù)信號(hào)從適用于一個(gè)組 件(例如，系統(tǒng)存儲(chǔ)器1020)的格式轉(zhuǎn)換至適于由另一組件(例如， 處理器1010)使用的格式。在某些實(shí)施方式中，1/0接口 1030例如 可以包括用于對(duì)通過(guò)各種類(lèi)型的外圍總線而附接的設(shè)備的支持，所 述外圍總線諸如不同的外圍組件互聯(lián)(PCI)總線標(biāo)準(zhǔn)或者通用串行 總線(USB)標(biāo)準(zhǔn)。在某些實(shí)施方式中，1/0接口 1030的功能例如 可以劃分成為兩個(gè)或者多個(gè)獨(dú)立的部分，諸如北橋和南橋。另外， 在某些實(shí)施方式中，可以將I/0接口 1030的某些或者全部功能性(諸 如對(duì)系統(tǒng)存儲(chǔ)器1020的接口 )直接結(jié)合到處理器1010之中。
網(wǎng)絡(luò)接口 1040可以配置以允許在計(jì)算機(jī)系統(tǒng)1000和附接至網(wǎng) 絡(luò)的其他設(shè)備(諸如，其他計(jì)算機(jī)系統(tǒng))之間交換數(shù)據(jù)，或者在計(jì) 算機(jī)系統(tǒng)1000的節(jié)點(diǎn)之間交換數(shù)據(jù)。在各種實(shí)施方式中，網(wǎng)絡(luò)接口 1040例如可以支持經(jīng)由有線或者無(wú)線通用數(shù)據(jù)網(wǎng)絡(luò)(諸如，任意適 合類(lèi)型的以太網(wǎng))進(jìn)行通信；經(jīng)由電信/電話網(wǎng)絡(luò)(諸如，模擬語(yǔ)音 網(wǎng)絡(luò)或者數(shù)字光纖通信網(wǎng)絡(luò))進(jìn)行通信；經(jīng)由存儲(chǔ)區(qū)域網(wǎng)絡(luò)(諸如 光纖信道SAN)進(jìn)行通信，或者經(jīng)由任何其他適合類(lèi)型的網(wǎng)絡(luò)和/ 或協(xié)i義進(jìn)4于通信。
在某些實(shí)施方式中，輸入/輸出設(shè)備1050包括一個(gè)或者多個(gè)顯示 終端、鍵盤(pán)小鍵盤(pán)、觸摸板、掃描設(shè)備、語(yǔ)音或者光學(xué)識(shí)別設(shè)備、 或者適用于由 一 個(gè)或者多個(gè)計(jì)算機(jī)系統(tǒng)1000輸入或者獲取數(shù)據(jù)的任何其他設(shè)備。多個(gè)輸入/輸出設(shè)備1050可以存在于計(jì)算機(jī)系統(tǒng)1000 中、或者可以分布在計(jì)算機(jī)系統(tǒng)1000的各種節(jié)點(diǎn)上。在某些實(shí)施方 式中，類(lèi)似的輸入/輸出設(shè)備可以獨(dú)立于計(jì)算機(jī)系統(tǒng)1000，并且可以 通過(guò)有線或者無(wú)線連接(諸如通過(guò)網(wǎng)絡(luò)接口 1040)來(lái)與計(jì)算機(jī)系統(tǒng) 1000的一個(gè)或者多個(gè)節(jié)點(diǎn)交互。
如圖24中所示，存儲(chǔ)器1020可以包括程序指令1025,配置 以實(shí)現(xiàn)在此所述的全分辨率光場(chǎng)繪制模塊的實(shí)施方式，例如直接光 照模塊300、間接光照模塊800或者全局照度繪制模塊900;以及數(shù) 據(jù)存儲(chǔ)1035，包括由程序指令1025可訪問(wèn)的各種數(shù)據(jù)。在一個(gè)實(shí)施 方式中，程序指令1025可以包括如上文附圖中所示出的全分辨率光 場(chǎng)繪制模塊的實(shí)施方式的軟件元件。數(shù)據(jù)存儲(chǔ)1035可以包括在實(shí)施 方式中使用的數(shù)據(jù)。在其他實(shí)施方式中，可以包括其他或者不同的 軟件元素和^t據(jù)。
本領(lǐng)域技術(shù)人員還應(yīng)該理解，在使用時(shí)，盡管各種項(xiàng)目示出為 存儲(chǔ)在存儲(chǔ)器或者存儲(chǔ)設(shè)備中，然而出于存儲(chǔ)器管理和數(shù)據(jù)完整性 的目的，這些項(xiàng)目或者項(xiàng)目的部分還可以在存儲(chǔ)器以及其他存儲(chǔ)設(shè) 備之間傳送?？商鎿Q地，在其他實(shí)施方式中，可以在存儲(chǔ)器中或者 在其他設(shè)備上執(zhí)行某些或者所有軟件組件，并且經(jīng)由計(jì)算機(jī)內(nèi)通信 與示出的計(jì)算機(jī)系統(tǒng)進(jìn)行通信。某些或者所有系統(tǒng)組件或者數(shù)據(jù)結(jié) 構(gòu)還可以(作為指令或結(jié)構(gòu)化數(shù)據(jù))存儲(chǔ)在計(jì)算機(jī)可訪問(wèn)介質(zhì)上， 或者存儲(chǔ)在用于由適當(dāng)驅(qū)動(dòng)裝置讀取的便攜制品上，在上文中示出 了各種示例。在某些實(shí)施方式中，在獨(dú)立于計(jì)算機(jī)系統(tǒng)1000的計(jì)算 機(jī)可訪問(wèn)介質(zhì)上存儲(chǔ)的指令可以經(jīng)由傳輸介質(zhì)或者經(jīng)由通信介質(zhì) (諸如，網(wǎng)絡(luò)和/或無(wú)線鏈接)遞送的信號(hào)來(lái)傳送至計(jì)算機(jī)系統(tǒng)1000, 所述信號(hào)諸如電信號(hào)、電磁信號(hào)和/或數(shù)字信號(hào)。各種實(shí)施方式可以 進(jìn)一 步包括對(duì)根據(jù)基于計(jì)算機(jī)可訪問(wèn)介質(zhì)的上述描述實(shí)現(xiàn)數(shù)據(jù)的和/ 或指令進(jìn)行接收、發(fā)送或者存儲(chǔ)。由此，開(kāi)可以利用其他計(jì)算機(jī)系 統(tǒng)配置來(lái)實(shí)現(xiàn)本發(fā)明。結(jié)論
各種實(shí)施方式可以進(jìn)一步包括對(duì)根據(jù)基于計(jì)算機(jī)可訪問(wèn)介質(zhì)的 上述描述實(shí)現(xiàn)數(shù)據(jù)和/或指令進(jìn)行接收、發(fā)送或者存儲(chǔ)。 一般而言， 計(jì)算機(jī)可訪問(wèn)的介質(zhì)可以包括諸如^茲性介質(zhì)或者光學(xué)介質(zhì)的存儲(chǔ)介
質(zhì)或者存儲(chǔ)器介質(zhì)，例如，盤(pán)或者DVD/CD-ROM、易失性介質(zhì)或者 非易失性介質(zhì)，諸如，RAM(例如，SDRAM、 DDR、 RDRAM、 SRAM 等)、ROM等，以及傳輸介質(zhì)或者經(jīng)由諸如網(wǎng)絡(luò)和/或無(wú)線鏈路的通 信介質(zhì)遞送的信號(hào)(諸如電信號(hào)、電磁信號(hào)或者數(shù)字信號(hào))。
在附圖中示出以及在此所述的各種方法表示方法的示例性實(shí)施 方式?？梢栽谲浖?、硬件或者其結(jié)合中實(shí)現(xiàn)該方法?？梢愿淖兎椒?的順序，并且可以對(duì)各種元素進(jìn)行添加、重新排序、結(jié)合、忽略、 修改等。
對(duì)于受益于本公開(kāi)的本領(lǐng)域技術(shù)人員易見(jiàn)的是，可以進(jìn)行各種 修改和變化。旨在于使得本發(fā)明涵蓋所有此類(lèi)修改和變化，并由此 認(rèn)為上述說(shuō)明是示出性方式而并非限制性方式。
權(quán)利要求
1.一種照相機(jī)，包括光傳感器，其被配置用于捕獲投射到所述光傳感器上的光；物鏡透鏡，其中所述物鏡透鏡被配置用于對(duì)來(lái)自位于所述照相機(jī)之前的場(chǎng)景的光進(jìn)行折射，以便在所述物鏡透鏡的圖像平面處形成所述場(chǎng)景的圖像；以及微透鏡陣列，其定位在所述物鏡透鏡與所述光傳感器之間，其中所述微透鏡陣列包括多個(gè)微透鏡，其中所述多個(gè)微透鏡聚焦于所述圖像平面而不是聚焦于所述物鏡透鏡；其中所述微透鏡陣列的每個(gè)微透鏡被配置用于將在所述圖像平面處形成的所述場(chǎng)景的圖像的分離部分投影到所述光傳感器上的分離位置。
2. 根據(jù)權(quán)利要求1所述的照相機(jī)，其中所述微透鏡陣列中的所 述微透鏡位于與所述光傳感器距離為6的位置處，其中/是所述微透 鏡的焦距，并且其中Z)大于/。
3. 根據(jù)權(quán)利要求2所述的照相機(jī)，其中6是4/3/。
4. 根據(jù)權(quán)利要求2所述的照相機(jī)，其中Z 小于或者等于1.5/。
5. 根據(jù)權(quán)利要求2所述的照相機(jī)，其中對(duì)所述照相機(jī)進(jìn)行配置， 從而在所述微透鏡陣列與所述光傳感器之間插入 一 個(gè)或者多個(gè)間隔 物，以確定所述距離/ 。
6. 根據(jù)權(quán)利要求1所述的照相機(jī)，其中所述微透鏡陣列中的所 述微透鏡位于與所述光傳感器距離為6的位置處，其中/是所述微透 鏡的焦距，并且其中6小于/。
7. 根據(jù)權(quán)利要求1所述的照相機(jī)，其中所述微透鏡陣列中的所 述微透鏡位于與所述光傳感器距離為6的位置處，其中對(duì)所述照相 機(jī)進(jìn)行配置，使得所述距離6是可調(diào)節(jié)的。
8. 根據(jù)權(quán)利要求7所述的照相機(jī)，其中所述照相機(jī)包括調(diào)節(jié)器， 其被配置用于調(diào)節(jié)所述距離6。
9. 根據(jù)權(quán)利要求8所述的照相機(jī)，其中所述調(diào)節(jié)器被配置用于 響應(yīng)于用戶對(duì)所述照相機(jī)的輸入，來(lái)調(diào)節(jié)所述距離6。
10. 根據(jù)權(quán)利要求8所述的照相機(jī)，其中所述調(diào)節(jié)器被配置用于 響應(yīng)于檢測(cè)到所述照相機(jī)的光學(xué)特性的變化，來(lái)自動(dòng)地調(diào)節(jié)所述距離6。
11. 根據(jù)權(quán)利要求1所述的照相機(jī)，其中所述光傳感器被配置用 于捕獲所述場(chǎng)景的光場(chǎng)圖像，所述光場(chǎng)圖像在所述光場(chǎng)圖像的分離 區(qū)域中包括被投影到所述光傳感器上的所述場(chǎng)景的所述圖像的每個(gè) 所述分離部分。
12. 根據(jù)權(quán)利要求11所述的照相機(jī)，其中所述照相機(jī)被配置用 于將所述已捕獲的光場(chǎng)圖像存儲(chǔ)至存儲(chǔ)器設(shè)備。
13. 根據(jù)權(quán)利要求12所述的照相機(jī)，其中所述存儲(chǔ)器設(shè)備是所 述照相一/L的組件。
14. 根據(jù)權(quán)利要求12所述的照相機(jī)，其中所述存儲(chǔ)器設(shè)備實(shí)現(xiàn) 在獨(dú)立于所述照相機(jī)的計(jì)算設(shè)備中。
15. 根據(jù)權(quán)利要求1所述的照相機(jī)，其中所述光傳感器是數(shù)字介質(zhì)。
16. 根據(jù)權(quán)利要求15所述的照相機(jī)，其中所述數(shù)字介質(zhì)是電荷 耦合設(shè)備(CCD )。
17. 根據(jù)權(quán)利要求1所述的照相機(jī)，其中所述光傳感器是膠片。
18. —種用于捕獲光場(chǎng)圖像的方法，包括 在照相機(jī)的物鏡透鏡處接收來(lái)自場(chǎng)景的光；對(duì)來(lái)自所述物鏡透鏡的光進(jìn)行折射，以在所述物鏡透鏡的圖像平 面處形成所述場(chǎng)景的圖像；在位于所述物鏡透鏡與所述照相機(jī)的光傳感器之間的微透鏡陣 列處接收來(lái)自所述圖像平面的光，其中所述微透鏡陣列包括多個(gè)微 透鏡，并且其中所述多個(gè)微透鏡聚焦于所述圖像平面而不是聚焦于 所述物鏡透鏡；在所述光傳感器處從所述微透鏡陣列接收光，其中在所述光傳感器的分離位置處，所述光傳感器從所述微透鏡陣列的每個(gè)微透鏡接 收由所述物鏡透鏡在所述圖像平面處形成的所述場(chǎng)景的所述圖像的 分離部分。
19.根據(jù)權(quán)利要求18所述的方法，其中所述微透鏡陣列中的所 述微透鏡位于與所述光傳感器距離為6的位置處，其中/是所述微透 鏡的焦距，并且其中Z 大于/。
20.根據(jù)權(quán)利要求19所述的方法，其中/ 是4/3/。
21. 根據(jù)權(quán)利要求19所述的方法，其中6小于或者等于1.5/。
22. 根據(jù)權(quán)利要求18所述的方法，其中所述微透鏡陣列中的所 述微透鏡位于與所述光傳感器距離為6的位置處，其中/是所述微透 鏡的焦距，并且其中6小于/。
23. 根據(jù)權(quán)利要求18所述的方法，其中所述微透鏡陣列中的所 述微透鏡位于與所述光傳感器距離為6的位置處，其中所述方法進(jìn) 一步包括改變所述距離6。
24. 根據(jù)權(quán)利要求23所述的方法，其中所述改變所述距離6包 括在所述微透鏡陣列與所述光傳感器之間手工地插入或者移除一 個(gè)或者多個(gè)間隔物。
25. 根據(jù)權(quán)利要求23所述的方法，其中所述改變所述距離6包括接收指定不同距離6的用戶輸入；以及 將所述光傳感器與所述微透鏡陣列之間的所述距離調(diào)節(jié)至所述 指定的不同距離6。
26. 根據(jù)權(quán)利要求23所述的方法，其中所述改變所述距離6包括;險(xiǎn)測(cè)所述照相^L的光學(xué)特性中的變化；以及 根據(jù)在所述照相機(jī)的光學(xué)特性中檢測(cè)到的所述變化，來(lái)自動(dòng)地調(diào) 節(jié)所述光傳感器與所述微透鏡陣列之間的所述距離。
27. 根據(jù)權(quán)利要求18中所述的方法，進(jìn)一步包括在所述光傳 感器處捕獲所述場(chǎng)景的光場(chǎng)圖像，其中所述光場(chǎng)圖像在所述光場(chǎng)圖像的分離區(qū)域中包括所述場(chǎng)景圖像的每個(gè)所述分離部分。
28. 根據(jù)權(quán)利要求27中所述的方法，進(jìn)一步包括將所述已捕 獲光場(chǎng)圖像存儲(chǔ)至存儲(chǔ)器設(shè)備。
29. 根據(jù)權(quán)利要求18中所述的方法，其中所述光傳感器是數(shù)字介質(zhì)。
30. 根據(jù)權(quán)利要求18中所述的方法，其中所述光傳感器是膠片。
31. —種設(shè)備，包括照相機(jī)，其包括物鏡透鏡，其中所述物鏡透鏡被配置用于對(duì)來(lái)自 位于所述照相機(jī)之前的場(chǎng)景的光進(jìn)行折射，以在所述物鏡透鏡的圖 像平面處形成所述場(chǎng)景的圖像；膠片夾，其被配置用于保持膠片，并且被配置用于被插入至所述 照相機(jī)以及從所述照相機(jī)移除；以及微透鏡陣列，其被配置用于抵靠所述膠片而放置在所述膠片夾 中，使得當(dāng)所述膠片夾被插入所述照相機(jī)時(shí)，所述微透鏡陣列處于 所述膠片與所述照相機(jī)的所述物鏡透鏡之間，其中所述微透鏡陣列 在一個(gè)面上包括多個(gè)微透鏡，其中所述微透鏡陣列的相對(duì)面是平滑 的玻璃，其中所述平滑的玻璃表面被配置用于定位在所述膠片旁邊， 并且其中當(dāng)所述膠片夾被插入所述照相機(jī)時(shí)，所述多個(gè)微透鏡聚焦 于所述圖像表面而不是聚焦于所述物鏡透鏡；其中所述微透鏡陣列的每個(gè)微透鏡被配置用于將由所述物鏡透 鏡在所述圖像平面處形成的所述場(chǎng)景的所述圖像的分離部分投影到 所述膠片上的分離位置。
32. 根據(jù)權(quán)利要求31所述的設(shè)備，其中所述微透鏡陣列中的所 述微透鏡位于與所述膠片距離為6的位置處，其中/是所述微透鏡的 焦距，并且其中6等于/。
33. 根據(jù)權(quán)利要求31所述的設(shè)備，其中所述微透鏡陣列中的所 述微透鏡位于與所述膠片距離為6的位置處，其中/是所述微透鏡的 焦距，并且其中6大于/。
34. 根據(jù)權(quán)利要求33所述的設(shè)備，其中6是4/3/。
35. 根據(jù)權(quán)利要求33所述的設(shè)備，其中6小于或者等于1.5/。
36. 根據(jù)權(quán)利要求31所述的設(shè)備，其中所述微透鏡陣列中的所 述微透鏡位于與所述膠片距離為6的位置處，其中/是所述微透鏡的 焦距，并且其中6小于/。
37. 根據(jù)權(quán)利要求31所述的設(shè)備，進(jìn)一步包括 一個(gè)或者多個(gè) 間隔物，其配置用于插入所述微透鏡陣列與所述膠片夾中的所述膠 片之間，以調(diào)節(jié)所述微透鏡陣列與所述膠片之間的所述距離。
38. 根據(jù)權(quán)利要求36所述的設(shè)備，其中所述間隔物是清澈的玻 璃片。
全文摘要
本發(fā)明涉及用于全分辨率光場(chǎng)捕獲和繪制的方法和設(shè)備。描述了一種輻射度照相機(jī)，其中微透鏡陣列中的微透鏡聚焦于主透鏡的圖像平面，而不是如同傳統(tǒng)全光照相機(jī)那樣聚焦于主透鏡。微透鏡陣列可以定位在與光傳感器距離為f的位置，其中f是微透鏡的焦距。描述了一種輻射度照相機(jī)，其中從光傳感器到微透鏡陣列的距離是可調(diào)節(jié)的，并且其中照相機(jī)的其他特性是可調(diào)節(jié)的。全分辨率光場(chǎng)繪制方法可以應(yīng)用于由輻射度照相機(jī)捕獲的光場(chǎng)，以繪制較高分辨率的輸出圖像，所述分辨率以比傳統(tǒng)全光照相機(jī)和繪制方法所能夠提供的分辨率更高。
文檔編號(hào)G03B19/10GK101610353SQ200910003950
公開(kāi)日2009年12月23日 申請(qǐng)日期2009年1月23日 優(yōu)先權(quán)日2008年1月23日
發(fā)明者A·盧姆斯戴尼, T·G·喬吉夫 申請(qǐng)人:奧多比公司