本申請涉及并要求于2013年12月23日提交的題為“3-D LIGHT FIELD CAMERA AND PHOTOGRAPHY METHOD(3D光場相機和攝影方法)”的美國臨時申請第61/920,074號以及于2014年1月24日提交的題為“3-D LIGHT FIELD CAMERA AND PHOTOGRAPHY METHOD(3D光場相機和攝影方法)”的美國臨時申請第61/931,051號的權(quán)益，上述申請的內(nèi)容通過引用合并到本文中。

關(guān)于聯(lián)邦政府贊助研究的聲明

本發(fā)明是部分地基于國家科學基金資助號0845268而展開的。美國政府可以擁有本發(fā)明的某些權(quán)利。

技術(shù)領(lǐng)域

本發(fā)明涉及三維(3D)成像，并且特別地涉及用于捕獲和呈現(xiàn)3D圖像的3D光場相機、方法以及系統(tǒng)。

背景技術(shù)：

越來越多的關(guān)注集中于對光場(LF)相機的開發(fā)，該LF相機還被稱為全光相機。LF相機使用微透鏡陣列來捕獲關(guān)于場景的四維(4D)光場信息。這樣的光場信息可以用于提高計算機圖形和計算機視覺應(yīng)用的分辨率。

技術(shù)實現(xiàn)要素：

本發(fā)明的各方面涉及一種生成場景的圖像的方法。代表場景的光被引導穿過與成像傳感器耦接的透鏡模塊。透鏡模塊包括：具有狹縫形孔徑的表面；以及沿著成像傳感器的光軸安置的柱形透鏡陣列。狹縫形孔徑的縱向方向被布置成與柱形透鏡陣列的柱軸正交。由成像傳感器捕獲被引導穿過透鏡模塊的光以形成3D LF圖像。

本發(fā)明的各方面還涉及一種3D LF相機。3D LF相機包括：具有安裝在透鏡上的狹縫形孔徑的表面；成像傳感器；以及安置在成像傳感器與透鏡之間的柱形透鏡陣列。柱形透鏡陣列沿著成像傳感器的光軸進行布置。狹縫形孔徑的縱向方向被布置成與柱形透鏡陣列的柱軸正交。成像傳感器被配置成捕獲場景的至少一個3D LF圖像。

本發(fā)明的各方面還涉及一種3D相片。3D相片包括場景的3D光場打印圖像以及柱形透鏡陣列，該柱形透鏡陣列被安置在3D光場打印圖像上。3D光場打印圖像和柱形透鏡陣列的組合形成3D立體圖像。

附圖說明

當結(jié)合附圖閱讀下面的詳細描述時可以從下面的詳細描述理解本發(fā)明。需要強調(diào)的是，根據(jù)常見做法，可以不按比例繪制附圖的各種特征/要素。相反，為清楚起見，可以任意放大或縮小各種特征/要素的尺寸。此外，在附圖中，常見附圖標記用來表示相似的特征/要素。本專利或申請文件包含至少一個以彩色顯示的附圖。根據(jù)請求以及在支付必要費用的情況下，將由專利局提供具有彩色附圖的本專利或?qū)＠暾埞_的副本。附圖中包括以下圖：

圖1是根據(jù)本發(fā)明的一方面的用于捕獲和呈現(xiàn)3D圖像的示例系統(tǒng)的功能性框圖；

圖2A是根據(jù)本發(fā)明的一方面的圖1所示系統(tǒng)的示例3D LF相機的透視圖；

圖2B是根據(jù)本發(fā)明的一方面的圖2A所示的示例3D LF相機的分解透視圖，其示出了3D LF透鏡模塊和相機的部件；

圖2C是根據(jù)本發(fā)明的一方面的圖2B所示的示例3D LF相機的分解透視圖，其示出了3D LF相機的光線幾何形狀；

圖3是根據(jù)本發(fā)明的一方面的圖1所示系統(tǒng)的示例3D相片的分解透視圖；

圖4A是示出根據(jù)本發(fā)明的一方面的通過柱形透鏡來使光線錐聚焦的示例圖；

圖4B是示出根據(jù)本發(fā)明的一方面的通過圖1所示的示例3D LF相機將一片光線光學地分選到成像傳感器上的圖；

圖5A和圖5B是根據(jù)本發(fā)明的一個方面的由圖1所示的示例3D LF相機捕獲的示例原始3D光場圖像；

圖6A是示出根據(jù)本發(fā)明的一個方面的用于渲染重聚焦圖像的示例方法的流程圖；

圖6B是示出根據(jù)本發(fā)明的又一方面的用于渲染圖像的示例方法的流程圖；

圖6C是示出根據(jù)本發(fā)明的一個方面的用于形成3D相片的示例方法的流程圖；

圖7是示出根據(jù)本發(fā)明的一個方面的用于渲染重聚焦3D圖像的光線重新參數(shù)化的示例圖；

圖8A、圖8B、圖8C和圖8D是根據(jù)本發(fā)明的一個方面的關(guān)于各種聚焦深度的示例渲染3D圖像；以及

圖9A和圖9B是示出根據(jù)本發(fā)明的一個方面的圖8B和圖8D各自所示圖像的具有不同視角的立體視圖的示例渲染3D圖像。

具體實施方式

當前的光場相機的分辨率不佳。例如，具有10兆像素傳感器的光場相機僅產(chǎn)生很低分辨率(例如，大約1兆像素)的圖像。低分辨率合成圖像是當前所有光場相機的設(shè)計所固有的：它們犧牲空間分辨率來換取角分辨率?？臻g分辨率被定義為空間采樣率。在常規(guī)的(非光場)相機中，空間分辨率相當于傳感器的分辨率。在光場相機中，空間采樣點的總數(shù)目等于透鏡的數(shù)目。假定透鏡的尺寸通常是像素間距的若干倍，則可以減小空間分辨率。然而，每個透鏡下的像素將記錄以不同方向穿過其常見采樣點的光線。方向特異性限定了相機的角分辨率。假設(shè)傳感器具有有限的分辨率，則可以在空間分辨率與角分辨率之間進行權(quán)衡，這等同于在圖像分辨率與視點的數(shù)目之間進行權(quán)衡。

當前的捕獲光場的相機包括4D光場相機，其記錄所有方向上的角度信息和空間信息二者。例如，當前的一個4D光場相機包括與成像傳感器附接的328×328個微透鏡陣列，其中，每個微透鏡覆蓋大約100個像素。在該示例中，可以獲得大約328×328的空間分辨率和大約10×10的角分辨率的光場。由光場相機得到的固有權(quán)衡以降低空間分辨率為代價而提供較大的角分辨率。盡管該示例中的相機配備有11兆像素傳感器，但是它僅提供具有大約700×700的有效分辨率的圖像。其他的4D光場相機共享類似的設(shè)計和類似的限制。

關(guān)于3D顯示，大多數(shù)現(xiàn)有的3D電視機使用快門式眼鏡技術(shù)來顯示立體3D圖像。該技術(shù)的缺點在于會產(chǎn)生閃爍(除非以很高刷新率顯示，否則可能會注意到閃爍)。另外，當前的3D觀看技術(shù)(諸如通過快門式眼鏡)在用于觀看3D相片時不便且昂貴。

本發(fā)明的各方面包括3D光場相機，該3D光場相機將相機、與相機的成像傳感器附接的柱形透鏡陣列與經(jīng)改進的具有窄縫形孔徑的透鏡組合。在一些示例中，相機可以包括數(shù)碼單鏡頭反光式(DSLR)相機。在一些示例中，3D光場相機使用垂直柱形透鏡陣列。垂直柱形透鏡陣列可以用于僅在水平分辨率與角分辨率之間進行權(quán)衡的同時保持垂直分辨率。為了減小散焦模糊，可以將柱形透鏡陣列與狹縫形孔徑耦接。

隨著3D顯示技術(shù)的快速發(fā)展，人們更有可能觀看3D內(nèi)容而不是二維(2D)圖像。本發(fā)明的示例3D光場相機超出了單純觀看3D內(nèi)容的能力。利用用于捕獲和呈現(xiàn)3D圖像的示例性3D光場相機和示例性系統(tǒng)，可以直接從場景捕獲3D內(nèi)容并且然后進行顯示。通過將柱形透鏡陣列附接至傳感器并且將窄縫形遮罩附接至孔徑，可以將消費型DSLR相機轉(zhuǎn)換成3D光場相機。類似于常規(guī)相機，用戶可以利用示例性3D光場相機來拍照。

本發(fā)明的各方面還涉及用于渲染來自原始光場圖像的3D立體圖像的示例性方法和系統(tǒng)。關(guān)于所捕獲的原始光場圖像，可以利用視圖相關(guān)特征諸如阻擋(occlusion)和反射來從不同的視角渲染3D立體圖像。由于3D光場相機可以同時在單次拍攝中從不同視點捕獲場景，所獲取的視圖將表現(xiàn)出視差，即，較近的對象跨視圖表現(xiàn)出較大的差異。保留視差的能力使得能夠?qū)崿F(xiàn)場景/對象的裸眼3D可視化。所述保留視差的能力使得能夠保留視圖相關(guān)特征諸如反射，其中每個視圖(即，子圖像)捕獲場景的稍微不同的圖像。在一些示例中，系統(tǒng)可以渲染來自原始光場圖像的在預(yù)定聚焦深度處的重聚焦圖像。示例方法使用基于圖像的渲染(IBR)技術(shù)。具體地，可以將簡單幾何形狀(諸如3D平面)用作場景幾何形狀的代用品。可以將所捕獲的所有視圖卷曲(warp)在幾何形狀上并且(例如，經(jīng)由光線跟蹤或紋理映射)再渲染成期望視圖。該處理與指定商用SLR相機的焦點深度類似。在卷曲之后將所有視圖組合時，結(jié)果仿真常規(guī)大孔徑攝影中的散焦模糊。

本發(fā)明的各方面還涉及用于3D觀看的方法和設(shè)備。根據(jù)一些示例，該設(shè)備落入自動立體3D顯示的類別，即無需眼鏡來觀看3D。

參照圖1，示出了用于捕獲和呈現(xiàn)3D圖像的系統(tǒng)100。系統(tǒng)100包括：3D LF相機102、控制器104、渲染模塊106、存儲器108、顯示器110、用戶接口112、打印機114以及3D相片116。盡管沒有示出，但是可以將系統(tǒng)100例如經(jīng)由全球網(wǎng)絡(luò)(即，因特網(wǎng))耦接至遠程位置。

3D LF相機102包括3D LF透鏡模塊118和相機120。如下面關(guān)于圖2A至圖2C進一步描述的，透鏡模塊118包括柱形透鏡陣列210和狹縫形孔徑206。相機120可以包括任何適當?shù)木哂兄魍哥R(例如圖2B所示的透鏡208)以及成像傳感器(例如成像傳感器214)的通用相機。在一些示例中，相機120包括DSLR相機。在一個示例中，相機118包括由佳能公司(日本東京)制造的編號為XSi的DSLR相機模塊。為了將相機120轉(zhuǎn)換成3D LF相機102，可以使用透鏡模塊118的具有狹縫形孔徑206的遮罩204(圖2B)修改主透鏡208的孔徑，并且可以將透鏡模塊118的柱形透鏡陣列210附接至成像傳感器214。在一些示例中，可以將透鏡模塊118與相機120可拆卸地耦接。

可以將3D LF相機102配置成捕獲場景的(原始)3D LF圖像128。在一些示例中，3D LF相機102可以諸如在預(yù)定時段內(nèi)捕獲場景的兩個或更多個3D LF圖像128。因此，在一些示例中，3D LF相機102可以包括視頻相機。通常，3D LF相機102可以捕獲場景的至少一個3D LF圖像128。

可以將控制器104耦接至一個或更多個3D LF相機102、渲染模塊106、存儲器108、顯示器110、用戶接口112以及打印機114，以對3D LF圖像128的捕獲、存儲、顯示、打印和/或處理進行控制?？刂破?04可以包括例如邏輯電路、數(shù)字信號處理器或微處理器。應(yīng)當理解的是，可以由控制器104執(zhí)行渲染模塊106的一個或更多個功能。

可以將渲染模塊106配置成處理3D LF圖像128以形成渲染圖像130?？梢詫秩灸K106配置成校準3D LF相機102以對柱形透鏡陣列212的每個透鏡212(圖2B)的透鏡中心進行定位。還可以將渲染模塊106配置成(在校準之后)針對各種重聚焦平面渲染重聚焦圖像。下面關(guān)于圖6A進一步描述重聚焦。在一些示例中，可以將渲染模塊106配置成向3D LF圖像128應(yīng)用預(yù)定視角。在一些示例中，還可以將渲染模塊106配置成：生成3D LF圖像128的立體視圖。下面關(guān)于圖6B進一步描述透視處理和立體處理。通常，對渲染圖像130的處理可以包括下述中至少之一：重聚焦到預(yù)定聚焦深度、透視渲染或立體觀看。應(yīng)當理解的是，重聚焦、透視渲染和立體視圖渲染代表通過渲染模塊106進行的示例處理，并且渲染模塊106可以執(zhí)行3D LF圖像128的另外的處理諸如但不限于濾波、噪聲消減等。渲染模塊106可以包括例如邏輯電路、數(shù)字信號處理器或微處理器。

可以將存儲器108配置成存儲(來自3D LF相機102或經(jīng)由控制器104的)原始3D LF圖像128或(來自渲染模塊106的)渲染圖像130中的至少一個。存儲器108還可以存儲與控制器104和/或渲染模塊106相關(guān)聯(lián)的參數(shù)。盡管存儲器108被示為與3D LF相機102分離，但是在一些示例中，存儲器108可以是3D LF相機102的一部分。存儲器108可以包括任何適當?shù)挠行蔚?、非暫態(tài)計算機可讀介質(zhì)，例如磁盤、光盤或硬盤驅(qū)動器。

可以將(來自3D LF相機102的)原始3D LF圖像128和/或(來自渲染模塊106的)渲染圖像130顯示在顯示器110上。顯示器110可以包括被配置成顯示原始3D LF圖像128/渲染圖像130的任何適當?shù)娘@示設(shè)備。

用戶接口112可以包括能夠接收與例如下述內(nèi)容相關(guān)聯(lián)的用戶輸入的任何適當?shù)挠脩艚涌冢簩τ谝射秩灸K106執(zhí)行的渲染的選擇，與渲染模塊106相關(guān)聯(lián)的參數(shù)，在存儲器108中對于捕獲圖像128/渲染圖像130的存儲選擇，對于圖像128、130的顯示選擇和/或?qū)τ趫D像128、130的打印選擇。用戶接口112可以包括例如定點設(shè)備、鍵盤和/或顯示設(shè)備。盡管用戶接口112和顯示器110被示出為獨立的設(shè)備，但是應(yīng)當理解的是，可以將用戶接口112的功能和顯示器110的功能組合到一個設(shè)備中。

可以由打印機114打印原始3D LF圖像128和/或渲染圖像130以形成打印圖像122。打印機114可以包括被配置成打印原始3D LF圖像128/渲染圖像130的任何適當?shù)拇蛴C設(shè)備。在一些示例中，打印機114可以包括激光打印機，該激光打印機被配置成打印彩色和/或黑白打印圖像122。在一些示例中，打印圖像122包括光面紙。

參照圖1和圖3，描述了3D相片116。圖3是示例3D相片116的分解透視圖。3D相片116可以包括柱形透鏡陣列124，該柱形透鏡陣列124被布置在(由打印機114打印的)打印圖像122上。因此，除在顯示器110上顯示圖像之外，還可以(經(jīng)由打印機114)打印原始3D LF圖像128(或渲染圖像130)以形成打印圖像122，例如在光面相片紙上(形成打印圖像120)。然后可以將打印圖像122安裝在柱形透鏡陣列124上以產(chǎn)生3D相片116。這是實用3D攝影技術(shù)，其可以使得用戶能夠從不同的視角直接感知到立體的3D立體視圖而無需3D眼鏡。示例3D相片116可以看起來類似于相框，但是具有特殊相片(打印圖像122)和特殊保護玻璃(柱形透鏡陣列124)。柱形透鏡陣列124的選擇與3D LF圖像128無關(guān)。例如，可以對3D LF圖像128進行重新采樣以與柱形透鏡陣列124的物理特性(例如，微透鏡寬度、密度、焦距等)相符來產(chǎn)生期望的3D效果。

3D相片116可以用于捕獲諸如雕塑、食品等的其他的對象。例如，餐館可以使用3D相片116來生成食品的3D菜單或顯示。3D相片116可以是便宜且便攜的，從而使得它適合于產(chǎn)品廣告。

返回參照圖1，在一些示例中，可以使用系統(tǒng)100經(jīng)由3D LF相機102來產(chǎn)生3D肖像。在一些示例中，系統(tǒng)100的渲染模塊106可以生成渲染圖像130，從而使得人們能夠在顯示器110上從不同視角觀看3D肖像。在一些示例中，系統(tǒng)100可以經(jīng)由打印機114打印原始3D LF圖像128和/或渲染圖像130(如打印圖像122一樣)。在一些示例中，系統(tǒng)100可以(根據(jù)與柱形透鏡陣列124耦接的打印圖像122)產(chǎn)生3D相片116。

根據(jù)本文中的描述，本領(lǐng)域技術(shù)人員可以理解適當?shù)?D LF相機102、控制器104、渲染模塊106、存儲器108、顯示器110、用戶接口112、打印機114以及3D相片116。

接下來參照圖2A至圖2C，示出了示例3D LF相機102。特別地，圖2A是3D LF相機102的透視圖，圖2B是3D LF相機102的分解透視圖。圖2A示出了與相機120的本體耦接的3D LF透鏡模塊118。圖2A還示出了透鏡模塊118的狹縫遮罩204。透鏡模塊118可以包括柱形透鏡陣列210(圖2B)和具有狹縫遮罩204的殼體202。圖2B示出了相機120的3D LF透鏡模塊118和成像傳感器214相對于光軸216的布置。圖2C示出了用于3D LF相機102的示例光線幾何形狀。

如圖2B所示，3D LF透鏡模塊118可以包括沿著光軸216安置的主透鏡208、柱形透鏡陣列210以及具有狹縫形孔徑206的狹縫遮罩204。柱形透鏡陣列210包括多個柱形透鏡212。每個柱形透鏡212的寬度與主透鏡208相比可以是極小的(例如，數(shù)百微米)。狹縫遮罩204被安置在主透鏡208上并且被配置成使得狹縫形孔徑206的縱向方向(即，狹縫長度方向)被安置成與柱形透鏡陣列210的柱形透鏡212的柱軸410(圖4A)正交?？讖?06被配置成將主透鏡208的孔徑的形狀從圓形改變成狹縫形。在一些示例中，主透鏡208包括相機120的消費型透鏡。在一些示例中，狹縫遮罩204包括塑料片，該塑料片具有穿過其中而形成的狹縫形孔徑206。柱形透鏡陣列210被布置在成像傳感器214上。

作為示例，孔徑206具有大約1.3mm的寬度。柱形透鏡陣列210包括40個透鏡212。透鏡陣列210的尺寸為10mm乘10mm，其中，每個透鏡212具有大約0.25mm的間距和大約1.6mm的焦距。通常，可以選擇孔徑206的寬度、透鏡212的數(shù)目、每個透鏡212的間距、每個透鏡的焦距以及透鏡陣列210的尺寸來產(chǎn)生3D LF透鏡模塊118的期望分辨率。在以上示例中，所選擇的透鏡模塊118的參數(shù)產(chǎn)生大約2000×2000的有效分辨率。由3D LF相機102捕獲的光線的數(shù)目還可以取決于成像傳感器214的分辨率。在示例中，成像傳感器214的分辨率為大約5,184×3,456。圖5A和圖5B示出了由3D LF相機102針對兩個不同場景所捕獲的示例原始光場圖像。

如圖2C所示，由于狹縫孔徑206的方向與柱狀透鏡212的方向彼此正交，由對象402(圖4B)上的點發(fā)射的光線錐(a cone of rays)220大部分會被狹縫遮罩204阻擋，從而使得僅光線扇(fan of rays)222穿過主透鏡208?？梢园凑?由圖4B中的光線412所示的)方向?qū)⒋┻^的光線222光學分選到柱形透鏡陣列210下方的成像傳感器214的像素上。

用戶可以通過將3D LF透鏡模塊118附接至相機120，與利用常規(guī)相機(諸如DSLR相機)類似地利用3D LF相機102捕獲圖像。因此，通過僅按壓相機120的快門按鈕，可以捕獲至少一個3D LF圖像，通常采用相同的方式捕獲2D圖像。相應(yīng)地，存在用于使用3D LF相機102的最小學習曲線?？梢酝ㄟ^渲染模塊106對由3D LF相機102捕獲的3D LF圖像128(圖1)進行修改，(經(jīng)由顯示器110)顯示或(經(jīng)由打印機114)打印出來以用于可視化。

參照圖2C、圖4A和圖4B，進一步描述穿過3D LF相機102的光線202的光線幾何形狀。特別地，圖4A是示出通過柱形透鏡212對光線錐404聚焦的示例圖；以及圖4B是示出將一片光線(sheet of rays)(即，光線扇)222光學地分選到成像傳感器214上的圖。

在常規(guī)相機中，每個像素的值是穿過孔的許多光線的積分，這得到了高空間分辨率但是很低的角分辨率。3D LF相機102能夠在維持其他方向的高空間分辨率的同時，沿一個方向發(fā)散光線。具體地，由對象402發(fā)射的光線錐220將被匯聚并且部分地被主透鏡108上的狹縫遮罩204阻擋，從而變成一片光線222。可以經(jīng)由柱形透鏡陣列212按照某一方向?qū)饩€222進行光學分選，以形成經(jīng)分選的光線412。來自柱形透鏡陣列210的經(jīng)分選的光線412然后被引導到成像傳感器214的像素(未示出)上。

如圖4A所示，柱形透鏡212被配置成使得光線406沿一個方向匯聚，而使其他方向不變。因此，通過柱形透鏡212將來自對象402的入射光404聚焦成線408。

如圖2C和圖4B所示，由于在光線錐220通過狹縫遮罩204和主透鏡208之后光線錐220變?yōu)橐黄饩€222，所以不需要將光線沿兩個方向匯聚，如球面透鏡陣列的情況那樣。柱形透鏡陣列210通過將光線沿一個方向匯聚來提供該方向上的角度信息，同時保持沿其他方向(即，沿柱軸410的方向)的高空間分辨率。然而，如果用微透鏡陣列取代柱形透鏡陣列210，則狹縫孔徑206可能會引起透鏡圖像重疊或者分辨率的浪費。

參照圖6A，示出了用于渲染來自3D LF圖像128(圖1)的重聚焦圖像的示例方法?？梢杂射秩灸K106(圖1)根據(jù)3D LF相機102捕獲的3D LF圖像128來執(zhí)行圖6A所示的一些步驟。圖6A所示的步驟代表本發(fā)明的示例實施方式。應(yīng)當理解的是，可以按照與示出的順序不同的順序執(zhí)行某些步驟。盡管圖6A示出了渲染單個重聚焦圖像，但是圖6A所示的方法還可以用于場景的所捕獲的多個3D LF圖像。

在步驟600處，例如經(jīng)由3D LF相機102(圖1)捕獲參考場景的3D LF圖像。在步驟602處，基于參考場景的所捕獲圖像(步驟600)來對柱形透鏡陣列210中的每個柱形透鏡212的透鏡中心進行定位?？梢詫⑺ㄎ坏耐哥R中心存儲在存儲器108(圖1)中。

3D LF相機102可以生成具有視差的圖像128。通常，柱形透鏡陣列210的準確安置是未知的，并且柱形透鏡之間的基線可以是像素間距的非整數(shù)倍。因此，為了對透鏡212的圖像中心進行定位，在步驟600中捕獲白色場景的圖像。由于漸暈，所以在步驟602中獲得沿著每個微透鏡圖像的最亮光線，以近似柱形透鏡的中心。微透鏡圖像指的是由位于柱形微透鏡212(圖2B)正下方的像素形成的圖像?？梢岳缭谙到y(tǒng)100中第一次使用3D LF相機102之前執(zhí)行步驟600至步驟602以校準3D LF相機102。因此，在一些示例中，可以將步驟600至步驟602執(zhí)行一次并且將結(jié)果存儲在存儲器108(圖1)中?？梢允褂迷诖鎯ζ?08中所存儲的透鏡中心執(zhí)行步驟604至步驟612，而無需在對3D LF相機102校準之后執(zhí)行步驟600至步驟602。

在步驟604處，例如經(jīng)由3D LF相機102(圖1)來捕獲所需場景的3D LF圖像128?？梢詫⑺东@的3D LF圖像128存儲在存儲器108(圖1)中。在步驟606處，例如通過渲染模塊106(圖1)由所捕獲的(原始)3D LF圖像(步驟604)形成一組子孔徑圖像(例如，圖5A和圖5B所示的圖像的垂直段)?？梢詫⑺东@的3D LF圖像(步驟604)重新組合成一組子孔徑圖像。首先，將LF圖像劃分(即，分離)成微透鏡圖像。然后，將微透鏡圖像的像素重新組合成子孔徑圖像。具體地，可以在所有微透鏡圖像中選擇完全相同列(例如，第5列)的像素并且然后縫合在一起以形成子孔徑圖像。不同列的選擇與不同子孔徑圖像對應(yīng)。如果由寬度完全相同的柱形透鏡212(圖2B)捕獲到所有微透鏡圖像，則所有微透鏡圖像應(yīng)當具有相同數(shù)目的列。因此，如果每個微透鏡圖像具有8列，則可以合成8個不同的子孔徑圖像。

在步驟608處，例如經(jīng)由用戶接口112(圖1)來選擇聚焦深度。在步驟610處，基于根據(jù)光線跟蹤算法而定位的圖像中心(步驟602)經(jīng)由渲染模塊106來將每個子孔徑圖像轉(zhuǎn)變成所選擇的聚焦深度(步驟608)。

基于經(jīng)典輻射度學，膠片(或膠片被安置的圖像平面)上的點的輻照度是穿過孔到達該點的所有光線的積分：

$E_F(x,y)=\frac{1}{F^2}\∫\∫L_F(x,y,u,v){\left(cos\mathrm{\θ}\right)}^{4}dudv---\left(1\right)$

其中，F(xiàn)是透鏡208(圖2B)與膠片(即，成像傳感器214)之間的間隔，E_F(x,y)是膠片上(x,y)位置的輻照度，L_F是通過透鏡平面uv和膠片平面xy被參數(shù)化的光場，θ是光線(x,y,u,v)與圖像平面法向之間的角度。為簡單起見，可以將L_F定義為L_F(x,y,u,v):＝L_F(x,y,u,v)(cosθ)⁴。

為了聚焦于不同平面上，改變透鏡平面與膠片平面之間的間隔。例如，為了以新的深度F′聚焦，如圖7所示，可以如下面所描述地渲染圖像。在圖7中，軸v,y′,y從圖(與相應(yīng)軸u,x′,x正交)延伸出去。

使用相似三角形，光線(u,x′)可以在原始x平面處被重新參數(shù)化為其中x′是膠片平面上的坐標。因此，如果將α＝F′/F定義為膠片平面的相對深度，則：

$L_{F^{\′}}(x^{\′},y^{\′},u,v)=L_F(u+\frac{x^{\′}-u}{\mathrm{\α}},v+\frac{y^{\′}-v}{\mathrm{\α}},u,v)---\left(2\right)$

因此，在膠片中的處于從透鏡平面起深度為F′＝α·F的像素值(x′，y′)的最終方程變?yōu)椋?/p>

$E_{(\mathrm{\α}\·F)}(x^{\′},y^{\′})=\frac{1}{{\mathrm{\α}}^2{F}^2}\∫\∫L_F\left(u\right(1-\frac{1}{\mathrm{\α}})+\frac{x^{\′}}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{y^{\′}}{\mathrm{\α}},u,v)dudv---\left(3\right)$

由于每個對象在被主透鏡208上的狹縫遮罩204濾光之后發(fā)射一片光線222(圖2C)，則可以使用下面的近似估算：y＝y(tǒng)′＝v。因此，可以將方程(3)改寫為：

$E_{(\mathrm{\α}\·F)}(x^{\′},y^{\′})=\frac{1}{{\mathrm{\α}}^2{F}^2}\∫L_F\left(u\right(1-\frac{1}{\mathrm{\α}})+\frac{x^{\′}}{\mathrm{\α}},y^{\′},u,v)du---\left(4\right)$

因此，可以跟蹤通過(在步驟602中被定位的)每個透鏡的中心的光線并且將所述光線用于渲染重聚焦圖像。這里，項L_F與子孔徑圖像對應(yīng)，并且可以把積分視為增加經(jīng)轉(zhuǎn)換的子孔徑圖像。

在步驟612處，經(jīng)由渲染模塊106對經(jīng)轉(zhuǎn)變的子孔徑圖像(步驟610)進行組合以形成重聚焦(渲染)圖像130(圖1)?？梢越?jīng)由轉(zhuǎn)變和增加算法來執(zhí)行步驟610和612。例如，可以選擇(與方程(4)中的α對應(yīng)的)具體轉(zhuǎn)變量。接下來，可以根據(jù)每個子孔徑圖像的位置來水平地轉(zhuǎn)變每個子孔徑圖像。接下來，可以利用歸一化系數(shù)(如方程(4)所示的)將所有產(chǎn)生的經(jīng)轉(zhuǎn)變的圖像融合在一起。結(jié)果與偽2D重聚焦圖像對應(yīng)。

可以預(yù)期的是，非暫態(tài)計算機可讀介質(zhì)可以存儲用于步驟602以及步驟606至步驟612的機器執(zhí)行的計算機可讀指令。

參照圖6B，示出了用于渲染來自原始3D LF圖像128(圖1)的圖像的示例方法。可以由渲染模塊106(圖1)根據(jù)由3D LF相機102捕獲的3D LF圖像128來執(zhí)行圖6B所示的一些步驟。圖6B所示的步驟代表本發(fā)明的示例實施方式。應(yīng)當理解的是，可以按照與所示出的順序不同的順序執(zhí)行某些步驟。盡管圖6B示出了渲染單個圖像，但是還可以將圖6B所示的方法應(yīng)用于場景的所捕獲的多個3D LF圖像。

在步驟620處，重復步驟604至步驟606，以形成一組子孔徑圖像。在步驟622處，例如經(jīng)由用戶接口112(圖1)選擇用于圖像的視點。

在步驟624處，代替使用一樣的權(quán)重，可以將不同權(quán)重分配給不同子孔徑圖像。例如，可以例如經(jīng)由渲染模塊106將較高權(quán)重分配給較靠近所選(合成的)視點的子孔徑圖像。在步驟626處，可以例如經(jīng)由渲染模塊106將較低權(quán)重分配給一組子孔徑圖像中的距所選視點較遠的其他子孔徑圖像。在步驟628處，渲染模塊106可以將轉(zhuǎn)變和增加算法應(yīng)用到加權(quán)的子孔徑圖像(步驟624至步驟626)以形成透視(渲染)圖像130(圖1)。除了當在步驟628中增加(即，組合)所有視圖時使用不同權(quán)重方案之外，還可以在步驟628中應(yīng)用以上在步驟610和步驟612(圖6A)中所描述的相同的轉(zhuǎn)變和增加算法來生成以合成方式散焦的圖像。

在可選步驟630處，渲染模塊106可以根據(jù)透視圖像(步驟628)(或根據(jù)原始3D LF圖像128或圖6A的步驟612中的重聚焦圖像)例如經(jīng)由紅藍立體圖(red-cyan anaglyph)來生成立體視圖。立體(渲染)圖像可以包括與不同顏色(諸如紅色和青色或其他上色(chromatically)相反的顏色)疊加的兩個圖像，從而在通過相應(yīng)彩色濾鏡觀看到圖像時產(chǎn)生立體效果。通常，立體圖像包含兩個不同的濾光彩色圖像，一個圖像用于一只眼睛。當通過彩色編碼的立體眼鏡觀看時，兩個圖像中的每個圖像到達相應(yīng)眼睛，從而顯示了綜合的立體圖像。大腦的視覺皮質(zhì)將該圖像融合成對三維場景或構(gòu)圖的感知。

設(shè)想非暫態(tài)計算機可讀介質(zhì)可以存儲用于步驟624至步驟630的機器執(zhí)行的計算機可讀指令。

參照圖6C，示出了用于形成3D相片116(圖1和圖3)的示例方法。在步驟640處，例如經(jīng)由3D LF相機102捕獲到場景的原始3D LF圖像。在步驟642處，例如通過打印機114打印所捕獲的(原始)3D LF圖像，從而形成打印圖像122。在步驟644處，將打印圖像122安置在柱形透鏡陣列124上以形成3D相片116。在一些示例中，可以例如諸如經(jīng)由粘合劑將打印圖像122永久地安置在柱形透鏡陣列124上。在一些示例中，可以將打印圖像122可拆卸地安置在柱形透鏡陣列124上。例如，可以將打印圖像122和透鏡陣列124安置在殼體(諸如框架)中，該殼體被配置成將打印圖像122(可拆卸地)固定至透鏡陣列124?？梢栽?諸如經(jīng)由圖1所示的渲染模塊106)形成3D相片之前將對諸如圖像超分辨率和/或降噪的另外的處理應(yīng)用于原始3D LF圖像，以改進最終結(jié)果的質(zhì)量。

可以將示例3D LF相機102(圖1)配置成記錄場景的3D光場128。具體地，3D LF相機102在獲得其他方向的角度信息的同時，維持沿柱形透鏡方向的高空間分辨率。利用所捕獲的光場，系統(tǒng)100能夠恢復并且渲染可利用3D眼鏡或無需3D眼鏡而可視化的場景的3D表示。由于3D LF相機102使用通用相機120，所以3D LF相機102可以應(yīng)用于各種應(yīng)用。常規(guī)2D圖像具有固定的視點并且缺乏深度感知。相反，系統(tǒng)100使得能夠以不同的視點感知到對象的立體的立體視圖。

接下來參照圖5A、圖5B、圖8A至圖8D、圖9A以及圖9B，描述使用示例3D LF相機102(圖1)針對真實場景所捕獲的示例數(shù)據(jù)以及使用系統(tǒng)100進行的渲染。特別地，圖5A和圖5B是針對兩個不同場景所捕獲的示例原始3D光場圖像；圖8A至圖8D是圖5A和圖5B各自示出的原始圖像的針對不同聚焦深度的示例渲染重聚焦3D圖像；以及圖9A和圖9B是以不同視角示出圖8B和圖8D各自所示圖像的立體視圖的示例渲染3D圖像。

在示例中，使用由佳能公司(日本東京)制造的具有5,184×3,456的傳感器分辨率的XSi DSLR相機(例如，相機120)來捕獲數(shù)據(jù)?？讖秸谡?04(在孔徑處)的狹縫206(圖2B)的寬度測出為1.3mm。柱形透鏡陣列210包括40個柱形透鏡212。陣列210中的每個透鏡212的間距為0.25mm，并且焦距為1.6mm。柱形透鏡陣列210的尺寸為10mm×10mm，其意味著有效分辨率為2000×2000。

為了生成圖8A至圖8D所示的重聚焦圖像，首先通過采取每個柱形透鏡下方的相同像素條來生成子孔徑圖像。然后，在光場圖像中選擇重聚焦平面并且使用轉(zhuǎn)變和增加重聚焦算法來渲染重聚焦圖像(參見圖6A)。

圖9A和圖9B示出了系統(tǒng)100能夠從不同視角渲染對象。圖9A和圖9B還(例如通過使用紅藍立體圖)示出了立體視圖中的渲染圖像。為了渲染不同視角，可以將較高權(quán)重分配給具有期望視點的子孔徑圖像并且可以將較低權(quán)重分配給其他子孔徑圖像。然后，可以應(yīng)用轉(zhuǎn)變和增加算法來渲染圖像(參見圖6B)。

已經(jīng)在用于捕獲、處理以及呈現(xiàn)3D圖像的方法和系統(tǒng)方面描述了本發(fā)明，然而設(shè)想可以以軟件實現(xiàn)一個或更多個步驟和/或部件以供微處理器/通用計算機(未示出)使用。在該實施方式中，可以利用控制計算機的軟件來實現(xiàn)上述各種部件和/或步驟的功能中的一個或更多個功能?？梢栽诜菚簯B(tài)有形計算機可讀介質(zhì)(作為非限制性示例，諸如磁盤、光盤、硬盤驅(qū)動器等)中實現(xiàn)軟件以供計算機執(zhí)行。如本文所述的，圖1所示的設(shè)備104、106、110、112和114可以使用專用電路系統(tǒng)和/或使用在與控制器104耦接的計算機可讀介質(zhì)108中包含的軟件來執(zhí)行某些操作。軟件指令可以使得控制器104和/或渲染模塊106執(zhí)行本文所描述的一個或更多個處理。可替選地，可以使用硬連線電路系統(tǒng)來取代本文所描述的用于實現(xiàn)處理的軟件指令或者與本文所描述的用于實現(xiàn)處理的軟件指令相結(jié)合。因此，本文所描述的實現(xiàn)不限于硬件電路系統(tǒng)和軟件的任何特定組合。

盡管在本文中參照具體實施方式示出且描述了本發(fā)明，但是本發(fā)明不意在限于所示出的細節(jié)。而是可以在權(quán)利要求的等同范圍內(nèi)并且在不偏離本發(fā)明的情況下，在細節(jié)方面做出各種修改。