本發(fā)明涉及表示光場(chǎng)的數(shù)據(jù)的生成。

背景技術(shù)：

在anatlevin等人的文章“understandingcameratrade-offsthroughabayesiananalysisoflight_fieldprojections”(發(fā)表于eccv2008的會(huì)議錄)中說明了可以被視為四維或4d光場(chǎng)的采樣(即光射線的記錄)的4d光場(chǎng)數(shù)據(jù)的獲取，這是一個(gè)熱門的研究主題。

與從相機(jī)所獲得的經(jīng)典的二維或2d圖像相比，4d光場(chǎng)數(shù)據(jù)使得用戶能夠使用增強(qiáng)呈現(xiàn)圖像的呈現(xiàn)以及與用戶的交互性的更多的后處理特征。例如，通過4d光場(chǎng)數(shù)據(jù)，能夠用自由選擇的聚焦距離來執(zhí)行圖像的重新聚焦(這意味著焦平面的位置可以被指定/選擇為后驗(yàn))以及稍微地改變圖像的場(chǎng)景中的視點(diǎn)。為了獲取4d光場(chǎng)數(shù)據(jù)，可以使用若干技術(shù)。例如，全光(plenoptic)相機(jī)能夠獲取4d光場(chǎng)數(shù)據(jù)。在圖1a中提供全光相機(jī)的架構(gòu)的細(xì)節(jié)。圖1a是示意性地表示全光相機(jī)100的圖。全光相機(jī)100包括：主透鏡101；微透鏡陣列102，其包括以二維陣列布置的多個(gè)微透鏡103；以及圖像傳感器104。

獲取4d光場(chǎng)數(shù)據(jù)的另一種方式是使用圖1b中所示的相機(jī)陣列。圖1b表示多陣列相機(jī)110。多陣列相機(jī)110包括透鏡陣列112和圖像傳感器114。

在如圖1a所示的全光相機(jī)100的示例中，主透鏡101從主透鏡101的物場(chǎng)中的對(duì)象(圖中未示出)接收光，并且使光經(jīng)過主透鏡101的圖像場(chǎng)。

最后，獲取4d光場(chǎng)的另一種方式是使用被配置為在不同的焦平面捕獲同一場(chǎng)景的2d圖像序列的傳統(tǒng)相機(jī)。例如，j.-h.park等人的文獻(xiàn)“l(fā)ightrayfieldcaptureusingfocalplanesweepinganditsopticalreconstructionusing3ddisplays”(于2014年10月發(fā)表于opticsexpress第22卷第21號(hào))中所描述的技術(shù)可以用于通過傳統(tǒng)的相機(jī)來實(shí)現(xiàn)4d光場(chǎng)數(shù)據(jù)的獲取。

存在用以表示4d光場(chǎng)數(shù)據(jù)的若干方式。實(shí)際上，renng的題為“digitallightfieldphotography”(發(fā)表于2006年7月)的博士學(xué)位論文的第3.3章中描述了表示4d光場(chǎng)數(shù)據(jù)的三種不同的方式。第一，當(dāng)由全光相機(jī)記錄時(shí)，4d光場(chǎng)數(shù)據(jù)可以由微透鏡圖像的集合來表示。該表示中的4d光場(chǎng)數(shù)據(jù)被稱為原始數(shù)據(jù)或原始4d光場(chǎng)數(shù)據(jù)。第二，當(dāng)由全光相機(jī)或相機(jī)陣列記錄時(shí)，4d光場(chǎng)數(shù)據(jù)可以由子孔徑圖像的集合來表示。子孔徑圖像與從視點(diǎn)所捕獲的場(chǎng)景的圖像相對(duì)應(yīng)，視點(diǎn)在兩個(gè)子孔徑圖像之間稍微不同。這些子孔徑圖像給出關(guān)于所成像的場(chǎng)景的視差和深度的信息。第三，4d光場(chǎng)數(shù)據(jù)可以由對(duì)極(epipolar)圖像的集合來表示，例如參見s.wanner等人的題為“generatingepirepresentationofa4dlightfieldswithasinglelensfocusedplenopticcamera”的文章(發(fā)表于isvc2011的會(huì)議錄)。

光場(chǎng)數(shù)據(jù)可能占用大量存儲(chǔ)空間，這可能使存儲(chǔ)難以處理，并且使得處理是不太高效。此外，光場(chǎng)獲取器件是極度異質(zhì)性的。光場(chǎng)相機(jī)是不同類型的，例如全光器件或相機(jī)陣列。在每種類型內(nèi)，存在很多差異，諸如不同的光學(xué)布置或者不同焦距的微透鏡。每個(gè)相機(jī)具有其自身的專有文件格式?？v覽光場(chǎng)所依賴的不同參數(shù)，目前沒有支持多維信息的獲取和傳輸?shù)臉?biāo)準(zhǔn)。因此，不同相機(jī)的所獲取的光場(chǎng)數(shù)據(jù)具有格式的多樣性?？紤]到前述問題而設(shè)計(jì)出本發(fā)明。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明的第一方面，提供一種用于生成數(shù)據(jù)的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述數(shù)據(jù)表示光學(xué)獲取系統(tǒng)的傳感器的至少一個(gè)像素能夠通過光學(xué)獲取系統(tǒng)的光瞳(pupil)感測(cè)的光射線的集合所占據(jù)的光學(xué)獲取系統(tǒng)的物空間中的體積，所述體積被稱為像素束，所述方法包括：

從由光學(xué)獲取設(shè)備所捕獲的光場(chǎng)數(shù)據(jù)獲得(s803)定義表示像素束的光場(chǎng)射線與多個(gè)給定的基準(zhǔn)平面的交點(diǎn)的交點(diǎn)數(shù)據(jù)，所述基準(zhǔn)平面與物空間中的不同深度相對(duì)應(yīng)；

獲得定義4d射線圖中的交點(diǎn)數(shù)據(jù)的圖形表示的射線圖參數(shù)(s805，s806)；以及

將射線圖參數(shù)與定義像素束的參數(shù)相關(guān)聯(lián)，以提供表示像素束的數(shù)據(jù)。

根據(jù)本發(fā)明的實(shí)施例，表示像素束的光場(chǎng)射線是經(jīng)過像素的中心和光瞳的中心的直線，并且定義像素束的參數(shù)是物空間中的像素的共軛的位置和大小。

根據(jù)本發(fā)明的實(shí)施例，與光場(chǎng)射線相對(duì)應(yīng)的截距(interception)數(shù)據(jù)在射線圖中圖形地表示為數(shù)據(jù)線，并且射線圖參數(shù)包括表示數(shù)據(jù)線的斜率以及數(shù)據(jù)線與射線圖的軸的截距中的至少一個(gè)的數(shù)據(jù)。

根據(jù)本發(fā)明的實(shí)施例，通過應(yīng)用radon變換，在2d射線圖中檢測(cè)數(shù)據(jù)線。

根據(jù)本發(fā)明的實(shí)施例，圖形表示提供為單元的矩陣以提供數(shù)字?jǐn)?shù)據(jù)線，每個(gè)數(shù)字?jǐn)?shù)據(jù)線格式由多個(gè)單元即表示線與軸的截距的至少一個(gè)第一單元以及能夠據(jù)以確定線的斜率的至少一個(gè)第二單元來定義。

根據(jù)本發(fā)明的實(shí)施例，通過應(yīng)用bresenham算法來生成每個(gè)數(shù)字?jǐn)?shù)據(jù)線。

根據(jù)本發(fā)明的實(shí)施例，表示像素束的數(shù)據(jù)還包括表示對(duì)應(yīng)的光場(chǎng)射線的色彩的色彩數(shù)據(jù)。

根據(jù)本發(fā)明的實(shí)施例，表示像素束的數(shù)據(jù)提供為元數(shù)據(jù)，元數(shù)據(jù)的首部包括定義2d射線圖中的交點(diǎn)數(shù)據(jù)的圖形表示的射線圖參數(shù)，并且元數(shù)據(jù)的被攝體包括表示射線的色彩的數(shù)據(jù)以及定義物空間中的像素的共軛的位置和大小的參數(shù)。

本發(fā)明的另一目的在于提供元數(shù)據(jù)的設(shè)備，所述元數(shù)據(jù)用于光學(xué)獲取系統(tǒng)的傳感器的至少一個(gè)像素能夠通過光學(xué)獲取系統(tǒng)的光瞳感測(cè)的光射線的集合所占據(jù)的光學(xué)獲取系統(tǒng)的物空間中的體積，所述體積被稱為像素束，所述設(shè)備包括：光場(chǎng)數(shù)據(jù)獲取模塊，用于獲取光場(chǎng)相機(jī)所捕獲的光場(chǎng)數(shù)據(jù)；以及光場(chǎng)數(shù)據(jù)生成模塊，其被配置為：

從所獲取的光場(chǎng)數(shù)據(jù)獲得定義表示像素束的光場(chǎng)射線與多個(gè)給定的基準(zhǔn)平面的交點(diǎn)的交點(diǎn)數(shù)據(jù)，所述基準(zhǔn)平面彼此平行并且與物空間中的不同深度相對(duì)應(yīng)；以及

獲得定義2d射線圖中的交點(diǎn)數(shù)據(jù)的圖形表示的射線圖參數(shù)，以提供表示所獲取的光場(chǎng)數(shù)據(jù)的數(shù)據(jù)；

將射線圖參數(shù)與定義像素束的參數(shù)相關(guān)聯(lián)，以提供表示像素束的數(shù)據(jù)。

本發(fā)明的另一目的涉及一種光場(chǎng)成像設(shè)備，包括：

微透鏡陣列，其以規(guī)則柵格結(jié)構(gòu)來布置；

光電傳感器，其被配置為從微透鏡陣列捕獲在光電傳感器上所投影的光，所述光電傳感器包括像素集合，每個(gè)像素集合光學(xué)地與微透鏡陣列中的相應(yīng)的微透鏡相關(guān)聯(lián)；以及

根據(jù)權(quán)利要求9所述的用于提供元數(shù)據(jù)的設(shè)備。

本發(fā)明的另一目的涉及一種用于從使用根據(jù)權(quán)利要求1至8中的任一項(xiàng)所述的方法所獲得的光場(chǎng)數(shù)據(jù)來呈現(xiàn)圖像的設(shè)備。

根據(jù)本發(fā)明的另一方面，提供一種數(shù)據(jù)的數(shù)據(jù)包，所述數(shù)據(jù)表示光學(xué)獲取系統(tǒng)的傳感器的至少一個(gè)像素能夠通過光學(xué)獲取系統(tǒng)的光瞳感測(cè)的光射線的集合所占據(jù)的光學(xué)獲取系統(tǒng)的物空間中的體積，所述體積被稱為像素束，所述數(shù)據(jù)包包括：射線圖參數(shù)，其定義表示像素束的光場(chǎng)射線的交點(diǎn)數(shù)據(jù)的以2d射線圖的圖形表示，所述交點(diǎn)數(shù)據(jù)定義表示像素束的光場(chǎng)射線與多個(gè)給定的基準(zhǔn)平面的交點(diǎn)的交點(diǎn)數(shù)據(jù)，所述基準(zhǔn)平面彼此平行并且與物空間中的不同深度相對(duì)應(yīng)；色彩數(shù)據(jù)，定義表示像素束的光場(chǎng)射線的色彩；以及定義物空間中的像素的共軛的位置和大小的參數(shù)。

本發(fā)明的元件所實(shí)現(xiàn)的一些處理可以是計(jì)算機(jī)實(shí)現(xiàn)的。相應(yīng)地，這些元件可以采取整體硬件實(shí)施例的形式、整體軟件實(shí)施例的形式(包括固件、常駐軟件、微代碼等)或者組合軟件和硬件方面的實(shí)施例的形式(其在本文中一般可以被稱為“電路”、“模塊”或“系統(tǒng)”)。此外，這樣的元件可以采取在具有在介質(zhì)中嵌入的計(jì)算機(jī)可使用的程序代碼的表示的任何有形介質(zhì)中所嵌入的計(jì)算機(jī)程序產(chǎn)品的形式。

由于可以通過軟件來實(shí)現(xiàn)本發(fā)明的元件，所以本發(fā)明可以實(shí)施為計(jì)算機(jī)可讀代碼，以便通過任何適合的載體介質(zhì)提供給可編程裝置。有形載體介質(zhì)可以包括存儲(chǔ)介質(zhì)，諸如軟盤、cd-rom、硬盤驅(qū)動(dòng)器、磁帶設(shè)備或固態(tài)存儲(chǔ)器設(shè)備等。臨時(shí)性載體介質(zhì)可以包括信號(hào)，諸如電信號(hào)、電子信號(hào)、光信號(hào)、聲信號(hào)、磁信號(hào)或電磁信號(hào)(例如微波或rf信號(hào))。

附圖說明

現(xiàn)在將僅通過示例并且參照以下附圖來描述本發(fā)明的實(shí)施例，附圖中：

圖1a是示意性地表示全光相機(jī)的圖；

圖1b表示多陣列相機(jī)；

圖2a是根據(jù)本發(fā)明的實(shí)施例的光場(chǎng)相機(jī)的功能圖；

圖2b是根據(jù)本發(fā)明的實(shí)施例的光場(chǎng)數(shù)據(jù)格式化器和光場(chǎng)數(shù)據(jù)處理器的功能圖；

圖3是在光電傳感器陣列上所形成的2d光場(chǎng)圖像的示例；

圖4表示相機(jī)的光學(xué)系統(tǒng)或者光學(xué)獲取系統(tǒng)的物空間中的光射線的集合所占據(jù)的體積；

圖5表示一個(gè)片層(sheet)的雙曲面；

圖6a和圖6b圖形地示出根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的用于光場(chǎng)數(shù)據(jù)的參數(shù)化的基準(zhǔn)平面的使用；

圖7示意性地示出根據(jù)本發(fā)明的實(shí)施例的關(guān)于基準(zhǔn)平面的光場(chǎng)射線的表示；

圖8a是示出根據(jù)本發(fā)明一個(gè)或多個(gè)實(shí)施例的方法的步驟的流程圖；

圖8b是示出根據(jù)本發(fā)明一個(gè)或多個(gè)實(shí)施例的提供光數(shù)據(jù)格式的設(shè)備的模塊的功能框圖；

圖9示意性地示出根據(jù)本發(fā)明的實(shí)施例的用于光場(chǎng)射線的表示的參數(shù)；

圖10是圖形地示出根據(jù)本發(fā)明的實(shí)施例的交點(diǎn)數(shù)據(jù)的2d射線圖；

圖11圖形地示出根據(jù)本發(fā)明的實(shí)施例的所生成的數(shù)字線；

圖12圖形地示出根據(jù)本發(fā)明的實(shí)施例的所生成的數(shù)字線；

圖13a至圖13c圖形地示出根據(jù)本發(fā)明的實(shí)施例的應(yīng)用于數(shù)字線的radon變換；以及

圖14是圖形地示出根據(jù)本發(fā)明的實(shí)施例的多個(gè)相機(jī)的交點(diǎn)數(shù)據(jù)的2d射線圖。

具體實(shí)施方式

本領(lǐng)域技術(shù)人員將意識(shí)到，所述原理的各方面可以實(shí)施為系統(tǒng)、方法或者計(jì)算機(jī)可讀介質(zhì)。相應(yīng)地，所述原理的各方面可以采取整體硬件實(shí)施例的形式、整體軟件實(shí)施例的形式(包括固件、常駐軟件、微代碼等)或者組合軟件和硬件方面的實(shí)施例的形式(其在本文中一般可以被稱為“電路”、“模塊”或“系統(tǒng)”)。而且，所述原理的各方面可以采取計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的形式?？梢岳靡粋€(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的任何組合。

本發(fā)明的實(shí)施例提供光場(chǎng)數(shù)據(jù)的格式化，以便進(jìn)一步處理諸如格式轉(zhuǎn)換、重新聚焦、視點(diǎn)改變和3d圖像生成這樣的應(yīng)用。

圖2a是根據(jù)本發(fā)明的實(shí)施例的光場(chǎng)相機(jī)設(shè)備的框圖。根據(jù)圖1a的光場(chǎng)相機(jī)，光場(chǎng)相機(jī)包括孔徑/快門202、主(物)透鏡201、微透鏡陣列210以及光電傳感器陣列220。在一些實(shí)施例中，光場(chǎng)相機(jī)包括被激活以捕獲被攝體或場(chǎng)景的光場(chǎng)圖像的快門線。應(yīng)當(dāng)意識(shí)到，所述功能特征也可以應(yīng)用于圖1b的光場(chǎng)相機(jī)。

光電傳感器陣列220提供由lf數(shù)據(jù)獲取模塊240所捕獲的光場(chǎng)圖像數(shù)據(jù)，以便通過光場(chǎng)數(shù)據(jù)格式化模塊250生成光場(chǎng)數(shù)據(jù)格式和/或通過光場(chǎng)數(shù)據(jù)處理器255進(jìn)行處理。根據(jù)本發(fā)明的實(shí)施例，光場(chǎng)數(shù)據(jù)可以在獲取之后以及處理之后以原始數(shù)據(jù)格式作為子孔徑圖像或焦棧(focalstack)或者以光場(chǎng)數(shù)據(jù)格式存儲(chǔ)在存儲(chǔ)器290中。

在所示的示例中，光場(chǎng)數(shù)據(jù)格式化模塊150和光場(chǎng)數(shù)據(jù)處理器255部署在或集成到光場(chǎng)相機(jī)200中。在本發(fā)明其他實(shí)施例中，光場(chǎng)數(shù)據(jù)格式化模塊250和/或光場(chǎng)數(shù)據(jù)處理器255可以提供為光場(chǎng)捕獲相機(jī)外部的分離組件。分離組件相對(duì)于光場(chǎng)圖像捕獲設(shè)備可以是本地的或遠(yuǎn)程的。應(yīng)意識(shí)到，任何適合的有線或無線協(xié)議均可以用于將光場(chǎng)圖像數(shù)據(jù)發(fā)送給格式化模塊250或光場(chǎng)數(shù)據(jù)處理器255；例如，光場(chǎng)數(shù)據(jù)處理器可以經(jīng)由互聯(lián)網(wǎng)、蜂窩數(shù)據(jù)網(wǎng)絡(luò)、wifi網(wǎng)絡(luò)、藍(lán)牙通信協(xié)議和/或任何其他適合的手段傳送所捕獲的光場(chǎng)圖像數(shù)據(jù)和/或其他數(shù)據(jù)。

根據(jù)本發(fā)明的實(shí)施例，光場(chǎng)數(shù)據(jù)格式化模塊250被配置為生成表示所獲取的光場(chǎng)的數(shù)據(jù)。光場(chǎng)數(shù)據(jù)格式化模塊250可以實(shí)現(xiàn)為軟件、硬件或其組合。

根據(jù)本發(fā)明的實(shí)施例，光場(chǎng)數(shù)據(jù)處理器255被配置為對(duì)直接從lf數(shù)據(jù)獲取模塊240接收到的原始光場(chǎng)圖像數(shù)據(jù)進(jìn)行操作，例如以生成焦棧或視圖矩陣?？梢陨伤东@的場(chǎng)景的輸出數(shù)據(jù)(諸如例如靜止圖像、2d視頻流等)。光場(chǎng)數(shù)據(jù)處理器可以實(shí)現(xiàn)為軟件、硬件或其組合。

在至少一個(gè)實(shí)施例中，光場(chǎng)相機(jī)200可以還包括用戶接口260，以便使用戶能夠提供用戶輸入以通過控制器270控制相機(jī)100的操作。相機(jī)的控制可以包括相機(jī)的光學(xué)參數(shù)(諸如快門速度)的控制或者在可調(diào)節(jié)的光場(chǎng)相機(jī)的情況下的微透鏡陣列與光電傳感器之間的相對(duì)距離或物鏡與微透鏡陣列之間的相對(duì)距離的控制中的一個(gè)或多個(gè)。在一些實(shí)施例中，可以手動(dòng)地調(diào)節(jié)光場(chǎng)相機(jī)的光學(xué)元件之間的相對(duì)距離。相機(jī)的控制可以還包括相機(jī)的其他光場(chǎng)數(shù)據(jù)獲取參數(shù)、光場(chǎng)數(shù)據(jù)格式化參數(shù)或光場(chǎng)處理參數(shù)的控制。用戶接口260可以包括任何適合的用戶輸入設(shè)備(諸如觸摸屏、按鈕、鍵盤、指點(diǎn)設(shè)備等)。由此，用戶接口所接收到的輸入可以用于控制和/或配置用于控制數(shù)據(jù)格式化的lf數(shù)據(jù)格式化模塊250、用于控制所獲取的光場(chǎng)數(shù)據(jù)的處理的lf數(shù)據(jù)處理器255以及用于控制光場(chǎng)相機(jī)200的控制器270。

光場(chǎng)相機(jī)包括電源280，諸如一個(gè)或多個(gè)可更換或可重復(fù)充電的電池。光場(chǎng)相機(jī)包括存儲(chǔ)器290，以便存儲(chǔ)所捕獲的光場(chǎng)數(shù)據(jù)和/或所呈現(xiàn)的最終圖像或者諸如用于實(shí)現(xiàn)本發(fā)明的實(shí)施例的方法的軟件這樣的其他數(shù)據(jù)。存儲(chǔ)器可以包括外部存儲(chǔ)器和/或內(nèi)部存儲(chǔ)器。在至少一個(gè)實(shí)施例中，可以在離開相機(jī)200的分離的設(shè)備和/或位置處提供存儲(chǔ)器。在一個(gè)實(shí)施例中，存儲(chǔ)器包括諸如存儲(chǔ)棒這樣的可拆卸/可交換的存儲(chǔ)設(shè)備。

光場(chǎng)相機(jī)還可以包括顯示單元265(例如lcd屏幕)，以便在捕獲之前觀看在相機(jī)前面的場(chǎng)景和/或觀看先前所捕獲和/或呈現(xiàn)的圖像。屏幕265也可以用于對(duì)用戶顯示一個(gè)或多個(gè)菜單或者其他信息。光場(chǎng)相機(jī)還可以包括一個(gè)或多個(gè)i/o接口295，諸如firewire或通用串行總線(usb)接口或者用于經(jīng)由互聯(lián)網(wǎng)、蜂窩數(shù)據(jù)網(wǎng)絡(luò)、wifi網(wǎng)絡(luò)、藍(lán)牙通信協(xié)議和/或任何其他適合的手段的數(shù)據(jù)通信的有線或無線通信接口。i/o接口295可以用于與諸如計(jì)算機(jī)系統(tǒng)或顯示單元這樣的外部設(shè)備之間傳遞數(shù)據(jù)，諸如表示由根據(jù)本發(fā)明的實(shí)施例的lf數(shù)據(jù)格式化模塊所生成的數(shù)據(jù)的光場(chǎng)以及諸如原始光場(chǎng)數(shù)據(jù)這樣的光場(chǎng)數(shù)據(jù)或者lf數(shù)據(jù)處理器255所處理的數(shù)據(jù)，以便呈現(xiàn)應(yīng)用。

圖2b是示出光場(chǎng)數(shù)據(jù)格式化模塊250和光場(chǎng)數(shù)據(jù)處理器253的可能的實(shí)現(xiàn)方式的具體實(shí)施例的框圖。

電路2000包括：存儲(chǔ)器2090；存儲(chǔ)器控制器2045；以及處理電路2040，其包括一個(gè)或多個(gè)處理單元(cpu)。一個(gè)或多個(gè)處理單元2040被配置為運(yùn)行存儲(chǔ)器2090中所存儲(chǔ)的各種軟件程序和/或指令集，以執(zhí)行包括光場(chǎng)數(shù)據(jù)格式化和光場(chǎng)數(shù)據(jù)處理的各種功能。存儲(chǔ)器中所存儲(chǔ)的軟件組件包括：數(shù)據(jù)格式化模塊(或指令集)2050，用于生成表示根據(jù)本發(fā)明的實(shí)施例的所獲取的光數(shù)據(jù)的數(shù)據(jù)；以及光場(chǎng)數(shù)據(jù)處理模塊(或指令集)2055，用于處理根據(jù)本發(fā)明的實(shí)施例的光場(chǎng)數(shù)據(jù)。其他模塊可以包括在存儲(chǔ)器中，用于光場(chǎng)相機(jī)設(shè)備的應(yīng)用，諸如：操作系統(tǒng)模塊2051，用于控制一般的系統(tǒng)任務(wù)(例如電源管理、存儲(chǔ)器管理)，并且便于設(shè)備2000的各個(gè)硬件和軟件之間的通信；以及接口模塊2052，用于控制和管理經(jīng)由i/o接口端口與其他設(shè)備的通信。

圖3示出圖1a的光電傳感器陣列104或圖1b的光電傳感器陣列114上所形成的2d圖像的示例。往往被稱為原始4d光場(chǎng)圖像的2d圖像包括微圖像mi的陣列，每個(gè)微圖像由微透鏡陣列102、112中的相應(yīng)的微透鏡(i，j)產(chǎn)生。微圖像以通過軸i和j所定義的矩形柵格結(jié)構(gòu)布置在陣列中。微透鏡圖像可以由相應(yīng)的微透鏡坐標(biāo)(i，j)所指代。光電傳感器104、114的像素pi可以由其空間坐標(biāo)(x，y)所指代。與給定的像素相關(guān)聯(lián)的4d光場(chǎng)數(shù)據(jù)可以被指代為(x，y，i，j)。

存在表示(或定義)4d光場(chǎng)圖像的若干方式。例如，可以通過先前參照?qǐng)D3所描述的微透鏡圖像的集合來表示4d光場(chǎng)圖像。當(dāng)由全光相機(jī)記錄時(shí)，4d光場(chǎng)圖像也可以由子孔徑圖像的集合來表示。相同位置的像素所構(gòu)成的每個(gè)子孔徑圖像選自每個(gè)微透鏡圖像。此外，4d光場(chǎng)圖像可以由對(duì)極圖像集合來表示，其并非像素束的情況。

本發(fā)明的實(shí)施例基于像素束的概念來提供光場(chǎng)數(shù)據(jù)的表示。由此，可以考慮格式和光場(chǎng)設(shè)備的多樣性。實(shí)際上，基于射線的格式的一個(gè)缺點(diǎn)在于，必須對(duì)參數(shù)化平面進(jìn)行采樣以反映像素格式和大小。因此，需要與其他數(shù)據(jù)一起定義采樣，以便恢復(fù)物理上有意義的信息。

如圖4所示，像素束40表示相機(jī)的光學(xué)系統(tǒng)41的物空間中的光射線的集合所占據(jù)的體積。光射線的集合由相機(jī)的傳感器43的像素42通過所述光學(xué)系統(tǒng)41的光瞳44來感測(cè)。相對(duì)于射線，可以任意地對(duì)像素束40進(jìn)行采樣，因?yàn)樗鼈儽旧韨鬟f與物理光射線的能量保留截面相對(duì)應(yīng)的“集光率(étendue)”。

光學(xué)系統(tǒng)的光瞳被定義為通過所述光學(xué)系統(tǒng)即相機(jī)的透鏡所看見的孔徑光闌的圖像，相機(jī)的透鏡在所述孔徑光闌之前。孔徑光闌是限制經(jīng)過相機(jī)的光學(xué)系統(tǒng)的光量的開口。例如，位于相機(jī)透鏡前方附近的可調(diào)節(jié)的光圈是透鏡的孔徑光闌。可以根據(jù)相機(jī)的用戶希望許可的光量適配的光圈開口的直徑來控制通過光圈所許可的光量。例如，使孔徑更小減少被許可通過光圈的光量，而增加聚焦的深度。由于透鏡的折射作用，光闌的有效大小可以大于或小于其物理大小。規(guī)范地說，光瞳是通過相機(jī)的光學(xué)系統(tǒng)的一部分的孔徑光闌的圖像。

像素束40被定義為當(dāng)經(jīng)由入射光瞳44傳播通過光學(xué)系統(tǒng)41時(shí)到達(dá)給定的像素42的光的射線的光線錐。隨著光在自由空間中在直線上行進(jìn)，這樣的像素束40的形狀可以由兩個(gè)部分來定義：一個(gè)是像素42的共軛45；另一個(gè)是入射光瞳44。像素42由其非空表面以及其敏感度映射來定義。

因此，像素束可以由相機(jī)的物空間中的像素42的光瞳54和共軛55這兩個(gè)要素所支持的如圖5所示的一個(gè)片層50的雙曲面來定義。

一個(gè)片層的雙曲面是可以支持光的射線的光線錐的概念并且與物理光束的“集光率”的概念兼容的直紋表面(ruledsurface)。

在本發(fā)明的實(shí)施例中，像素束40、50由四個(gè)獨(dú)立參數(shù)來定義，即定義在光瞳44、54之前的像素共軛45、55的位置和大小的zp，θx，θy，a。

表示像素束的一個(gè)片層的雙曲面可以由以下等式來定義：

其中，tx＝tanθx并且ty＝tanθy。

定義像素束40、50的參數(shù)的坐標(biāo)系統(tǒng)(x，y，z)的原點(diǎn)o與如圖4所示的光瞳44的中心相對(duì)應(yīng)，其中z軸定義與光瞳44、54的表面垂直的方向。

參數(shù)θx，θy定義相對(duì)于入射光瞳44中心的主射線方向。它們?nèi)Q于傳感器43上的像素42位置以及光學(xué)系統(tǒng)41的光學(xué)元件。更準(zhǔn)確地說，參數(shù)θx，θy表示定義像素42的共軛45離開光瞳44的中心的方向的剪切角。

參數(shù)zp表示沿著z軸的像素42的共軛45或者像素束40、50的腰線55的距離。

參數(shù)a表示像素束40、50的腰線55的半徑，c由以下等式給出：

其中，r是光瞳44、54的半徑。

針對(duì)給定的相機(jī)的每個(gè)像素束，在所述相機(jī)的校準(zhǔn)階段期間實(shí)現(xiàn)參數(shù)zp、a和c的值的計(jì)算。該校準(zhǔn)階段包括例如運(yùn)行能夠?qū)νㄟ^相機(jī)的光學(xué)系統(tǒng)的光射線的傳播進(jìn)行建模的程序。這樣的程序例如是光學(xué)設(shè)計(jì)程序，諸如或光學(xué)設(shè)計(jì)程序用于設(shè)計(jì)并分析光學(xué)系統(tǒng)。光學(xué)設(shè)計(jì)程序?qū)νㄟ^光學(xué)系統(tǒng)的光的射線的傳播進(jìn)行建模，并且對(duì)諸如簡(jiǎn)單透鏡、非球面透鏡、梯度率透鏡、反射鏡和衍射光學(xué)元件等光學(xué)元件的效果進(jìn)行建模。

因此，像素束40、50可以由其主射線以及參數(shù)zp、a和c來定義。

然而，像素束40、50的這樣的表示占用大量的存儲(chǔ)空間，因?yàn)橛糜诖鎯?chǔ)射線的經(jīng)典的文件格式包括存儲(chǔ)3d空間中的位置和方向。

為了提出需要較少的存儲(chǔ)空間的用于存儲(chǔ)射線的文件格式，用于參數(shù)化光場(chǎng)輻射的四個(gè)維度的方法可以參照?qǐng)D6a所示的立方體。立方體的所有六個(gè)面可以被用于對(duì)光場(chǎng)進(jìn)行參數(shù)化。為了對(duì)方向進(jìn)行參數(shù)化，可以添加與立方體面平行的第二組平面。由此，光場(chǎng)可以參照具有沿著軸方向的法線的六對(duì)平面而被定義為：

圖6b示出經(jīng)過用于參數(shù)化的兩個(gè)基準(zhǔn)平面p1和p2的光場(chǎng)射線，兩個(gè)基準(zhǔn)平面p1和p2彼此平行并且分別位于已知深度z1和z2處。光場(chǎng)射線在交叉點(diǎn)(x1、y1)處與處于深度z1處的第一基準(zhǔn)平面p1相交，并且在交叉點(diǎn)(x2，y2)處與處于深度z2處的第二基準(zhǔn)平面p2相交。由此，光場(chǎng)射線可以由四個(gè)坐標(biāo)(x1，y1，x2，y2)來標(biāo)識(shí)。因此，光場(chǎng)可以由用于參數(shù)化的一對(duì)基準(zhǔn)平面p1、p2(在本文中也被稱為參數(shù)化平面)來參數(shù)化，其中每個(gè)光場(chǎng)射線被表示為4d射線空間中的點(diǎn)(x1，y1，x2，x2，)∈r⁴。

例如，基準(zhǔn)坐標(biāo)系統(tǒng)的原點(diǎn)可以位于坐標(biāo)軸系統(tǒng)的基向量所生成的平面p1的中心處。軸與所生成的平面p1垂直，并且為了簡(jiǎn)單，第二平面p2可以放置在沿著軸離開平面p1的距離z＝δ處。為了考慮傳播的六個(gè)不同的方向，整個(gè)光場(chǎng)可以通過六對(duì)這樣的平面來表征。一對(duì)平面(往往被稱為光厚片)表征沿著傳播方向與光場(chǎng)相機(jī)的傳感器或傳感器陣列相互作用的光場(chǎng)。

用于參數(shù)化的基準(zhǔn)平面的位置可以給出為：

其中，是法線，d是沿著法線的方向離開3d坐標(biāo)系統(tǒng)的原點(diǎn)的偏移。

用于參數(shù)化的基準(zhǔn)平面的笛卡爾等式可以給出為：

如果光場(chǎng)射線具有已知的位置以及經(jīng)歸一化的傳播向量則以3d形式的射線的通用參數(shù)等式可以給出為：

光場(chǎng)射線與基準(zhǔn)平面之間的交點(diǎn)的坐標(biāo)給出為：

如果不滿足以下條件，則光場(chǎng)射線與基準(zhǔn)參數(shù)化之間不存在交點(diǎn)：

由于與被用于對(duì)光場(chǎng)進(jìn)行參數(shù)化的該對(duì)基準(zhǔn)平面的系統(tǒng)的軸之一之間的垂直性，射線交點(diǎn)的分量之一對(duì)于每個(gè)平面總是恒定的。因此，如果存在光場(chǎng)射線與第一基準(zhǔn)平面的交點(diǎn)以及所述光場(chǎng)與第二基準(zhǔn)平面的交點(diǎn)則四個(gè)坐標(biāo)變化，并且可以使用等式a來計(jì)算光場(chǎng)射線的四個(gè)參數(shù)。這四個(gè)參數(shù)可以用于建立起光場(chǎng)的4d射線圖。

假設(shè)參照兩個(gè)參數(shù)化基準(zhǔn)平面的光場(chǎng)的參數(shù)化，可以如下那樣地獲得表示光場(chǎng)的數(shù)據(jù)。如果如圖7中所示的那樣地設(shè)置基準(zhǔn)系統(tǒng)，則第一參數(shù)化平面p1在z＝z1處與z軸垂直，第二參數(shù)化平面p2被布置為在z＝z2處與z軸垂直，并且光場(chǎng)參數(shù)為l(x1；y1；x2；y2)的射線將呈現(xiàn)在光場(chǎng)相機(jī)的光電傳感器陣列所在的位置z＝z3處。根據(jù)等式(a)：

其中

展開上述表達(dá)式給出：

z3＝z3

z3＝z3

兩組等式應(yīng)當(dāng)傳遞與在新位置處所呈現(xiàn)的光場(chǎng)射線相同的點(diǎn)通過將ux；uy；uz替換為它們的作為和的函數(shù)的對(duì)應(yīng)表達(dá)式，如果使用來自前塊的第二組等式并且將x3和y3相加在一起，則：

得到表達(dá)式：

(z2-z3)(x1+y1)+(z3-z1)(x2+y2)＝(z2-z1)(x3+y3)(b)

具有下標(biāo)3的坐標(biāo)與呈現(xiàn)光場(chǎng)的已知點(diǎn)(x3，y3，z3)有關(guān)。所有深度坐標(biāo)zi是已知的。參數(shù)化平面在傳播或呈現(xiàn)的方向上。光場(chǎng)數(shù)據(jù)參數(shù)l是(x1，y1，x2，y2)。

在點(diǎn)(x3，y3，z3)處形成圖像的光場(chǎng)射線通過在中定義超平面的表達(dá)式(b)來鏈接。

這意味著，如果要根據(jù)雙平面參數(shù)化光場(chǎng)來呈現(xiàn)圖像，則僅需要呈現(xiàn)在超平面附近的射線，而無需跟蹤它們。圖8a是示出根據(jù)本發(fā)明一個(gè)或多個(gè)實(shí)施例的用于生成表示光場(chǎng)的數(shù)據(jù)的方法的步驟的流程圖。圖8b是示意性示出根據(jù)本發(fā)明一個(gè)或多個(gè)實(shí)施例的用于生成表示光場(chǎng)的數(shù)據(jù)的系統(tǒng)的主要模塊的框圖。

在方法的預(yù)備步驟s801中，定義與相機(jī)的傳感器的像素相關(guān)聯(lián)的不同像素束的參數(shù)通過校準(zhǔn)相機(jī)或者通過從遠(yuǎn)程服務(wù)器中或本地存儲(chǔ)單元(諸如相機(jī)的存儲(chǔ)器290或連接到相機(jī)的閃速盤)上所存儲(chǔ)的數(shù)據(jù)文件檢索來獲取這樣的參數(shù)。

這樣的參數(shù)是不同像素束的主射線的坐標(biāo)以及定義在相機(jī)的校準(zhǔn)期間在針對(duì)每個(gè)像素束所獲得的光瞳之前的像素共軛的位置和大小的參數(shù)zp和a。像素束的主射線是經(jīng)過像素的中心以及支持像素束的光瞳的中心的直線。在另一個(gè)預(yù)備步驟s802中，通過光場(chǎng)相機(jī)801獲取原始光場(chǎng)數(shù)據(jù)。原始光場(chǎng)數(shù)據(jù)可以例如是以參照?qǐng)D3所描述的微圖像的形式。光場(chǎng)相機(jī)可以是諸如圖1a或圖1b以及圖2a和圖2b所示的光場(chǎng)相機(jī)設(shè)備。

在步驟s803中，由射線參數(shù)模塊802處理所獲取的光場(chǎng)數(shù)據(jù)，以提供交點(diǎn)數(shù)據(jù)(x1，y1，x2，y2)，其定義與像素束40、50的主射線相對(duì)應(yīng)的所捕獲的光場(chǎng)射線與用于在相應(yīng)的深度z1、z2處的參數(shù)化的一對(duì)基準(zhǔn)平面p1、p2的交點(diǎn)。

根據(jù)相機(jī)的校準(zhǔn)，可以確定以下參數(shù)：投影的中心(x3，y3，z3)、相機(jī)的光軸的取向以及從相機(jī)的針孔到光電傳感器的平面的距離f。圖9中示出光場(chǎng)相機(jī)參數(shù)。光電傳感器平面位于深度zp處。光電傳感器的像素輸出被轉(zhuǎn)換為光場(chǎng)射線的幾何表示。包括兩個(gè)基準(zhǔn)平面p1和p2的光厚片分別位于到光電傳感器的相機(jī)的投影的中心的另一側(cè)、超越z3的深度z1和z2處。通過將三角形原理應(yīng)用于光射線，可以通過以下表達(dá)式將記錄從微透鏡陣列投影的光的像素坐標(biāo)(xp，yp，zp)映射為射線參數(shù)即基準(zhǔn)平面交點(diǎn)(x1，y1，x2，y2)：

以上計(jì)算可以擴(kuò)展到具有不同對(duì)的三元組(xp，yp，zp)(x3，y3，z3)的多個(gè)相機(jī)。

在全光相機(jī)的情況下，使用具有孔徑的相機(jī)模型，并且光場(chǎng)射線在相位空間中描述為具有原點(diǎn)(xp，yp，zp)和方向(x'3，y'3，1)。其到深度z3處的平面(x3，y3)的傳播可以描述為矩陣變換。透鏡將充當(dāng)abcd矩陣以折射射線，并且另一個(gè)abcd傳播矩陣將把射線帶到光厚片基準(zhǔn)平面p1和p2上。

根據(jù)該步驟，獲得以幾何方式定義光場(chǎng)射線與基準(zhǔn)平面p1、p2的交點(diǎn)的交點(diǎn)數(shù)據(jù)(x1，y1，x2，y2)。

在步驟s804，通過射線圖生成器模塊803獲得圖形地表示交點(diǎn)數(shù)據(jù)(x1，y1，x2，y2)的2d射線圖。

圖10是圖形地表示具有孔徑|a|<0.5的、在位置x3＝2以及深度z3＝2處的相機(jī)所捕獲的光場(chǎng)射線的交點(diǎn)數(shù)據(jù)(x1，x2)的2d射線圖。用于參數(shù)化的射線圖的數(shù)據(jù)線按照提供256x256個(gè)像素的圖像的256個(gè)單元進(jìn)行采樣。

如果將圖10中所示的射線圖解釋為矩陣，則可以看出其稀疏地分布(populate)。如果在文件中單獨(dú)地保存射線而非4d相位空間矩陣，則這將需要針對(duì)每個(gè)射線保存至少2個(gè)字節(jié)(int16)用于每個(gè)位置xi或x3，再加上3個(gè)字節(jié)用于色彩，即對(duì)于2d切片光場(chǎng)，針對(duì)每個(gè)射線7個(gè)字節(jié)，而對(duì)于其完整的4d表示，針對(duì)每個(gè)射線11個(gè)字節(jié)。盡管如此，射線將隨機(jī)地存儲(chǔ)在文件中，這對(duì)于需要操控表示的應(yīng)用可能是不適合的。本發(fā)明的發(fā)明人確定了如何從射線圖矩陣僅提取代表性數(shù)據(jù)以及如何以結(jié)構(gòu)化的方式將數(shù)據(jù)存儲(chǔ)在文件中。

因?yàn)?d切片光場(chǎng)射線是沿著2d射線圖的數(shù)據(jù)線被映射的，所以存儲(chǔ)定義數(shù)據(jù)線的參數(shù)而非線值本身是更高效的。可以存儲(chǔ)定義諸如例如斜率定義參數(shù)s和軸截距d這樣的數(shù)據(jù)線的參數(shù)以及屬于該數(shù)據(jù)線的光場(chǎng)射線的集合。

這可以僅僅需要例如2字節(jié)用于斜率參數(shù)s、2字節(jié)用于斜率參數(shù)d以及然后針對(duì)每個(gè)射線3字節(jié)。此外，射線在文件中可以沿著線排序。為了設(shè)置通過矩陣單元的線，生成以最小誤差來近似射線的所謂的數(shù)字線。

為了在步驟s805中定位數(shù)據(jù)線并且獲得斜率參數(shù)s和截距參數(shù)d，在步驟s804中由線檢測(cè)模塊804對(duì)所生成的射線圖執(zhí)行radon變換。

根據(jù)所獲得的斜率參數(shù)s和截距參數(shù)d，由數(shù)字線生成模塊805在步驟s806中生成代表性的數(shù)字線。在該步驟中，通過將解析線近似為其最近的柵格點(diǎn)(例如，通過應(yīng)用bresenham的算法)來生成數(shù)字線。實(shí)際上，bresenham的算法提供以最小操作來提供數(shù)字線的方式。bresenham應(yīng)用的示例是根據(jù)以下參考適配的應(yīng)用：http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html。

數(shù)字格式通過柵格(0，d)和(n-1，s)的兩個(gè)點(diǎn)來定義數(shù)據(jù)線，d是與x1＝0時(shí)的x2的值相對(duì)應(yīng)的截距，s是與x1＝n-1時(shí)的x2的值相對(duì)應(yīng)的斜率參數(shù)。根據(jù)所生成的數(shù)字格式，每個(gè)單獨(dú)的線的斜率a可以表示為以下項(xiàng)和s的函數(shù)：

其中，s∈{0，1，....n-1}并且d∈{0，1，....n-1}

圖11示出通過應(yīng)用bresenham的算法所生成的數(shù)字線的示例。

圖12示出具有相同斜率a(或s-d)但是具有不同截距d的一組數(shù)字線，該組數(shù)據(jù)線是連續(xù)的。該組數(shù)據(jù)線在本文中被稱為線叢(abundleoflines)，并且對(duì)應(yīng)于由相機(jī)所產(chǎn)生的束，其不是理想地精確定點(diǎn)的(pinpoint)。每個(gè)線針對(duì)不同的像素。換言之，一個(gè)像素僅屬于具有相同斜率但不同截距的叢(bundle)的唯一線。軸截距d的上、下邊界分別給出為dmax和dmin。

由(2d中的)線的所采樣的對(duì)進(jìn)行所參數(shù)化并且屬于一個(gè)相機(jī)的射線數(shù)據(jù)屬于用于表示數(shù)據(jù)的相位空間中的數(shù)字線(束)的族。束的首部可以僅包含斜率a以及軸截距的上、下邊界dmax-dmin所定義的束的厚度。射線值將沿著首部可以是d和s的數(shù)字線而存儲(chǔ)為rgb色彩。無需存儲(chǔ)所采樣的空間中的射線圖的空單元(voidcells)?？梢愿鶕?jù)參數(shù)d、s并且從沿著數(shù)字線的單元的位置來推導(dǎo)出射線的坐標(biāo)x1；x2。

要從光場(chǎng)或相機(jī)的幾何形狀估計(jì)出的參數(shù)是斜率a以及數(shù)字線截距的上、下邊界(dmin，dmax)以及數(shù)字線參數(shù)(di，si)。已經(jīng)討論離散radon變換作為測(cè)量射線圖的光場(chǎng)的支持位置的工具。

圖13b示出圖13a的數(shù)據(jù)線的數(shù)字線參數(shù)空間(d，s)中的離散radon變換。圖13c是在圖12b中所包括的感興趣區(qū)域的縮放。通過搜索最大值參數(shù)來定位數(shù)字線的束。由于圖像內(nèi)容，在drt的對(duì)稱的幾何中心與最大值的實(shí)際位置之間可能存在一些偏移，使得算法稍后被用于精確定點(diǎn)對(duì)稱的中心而非最大值。然后，圖13c所示的射束變換的腰線容易發(fā)現(xiàn)為給出值(dmin，dmax)。點(diǎn)(dmin＝74，s＝201)是來自圖12a的數(shù)字線的束的下包絡(luò)，而點(diǎn)(dmax＝81，s＝208)是來自數(shù)字線的束的上包絡(luò)。

來自等式b的兩個(gè)正交2d切片空間的等式給出為：

(z2-z3)(x1+y1)+(z3-z1)(x2+y2)＝(z2-z1)(x3+y3)（c）

如果取得用于坐標(biāo)的xi的2d切片，則在(x3，y3，z3)處通過大小為a的孔徑的射線數(shù)據(jù)將映射的線束的等式將給出為：

類似地，如果取得2d切片，則對(duì)于yi坐標(biāo)：

如前所述，可以在離散域中估計(jì)m和的值，以定位按照先前所討論的格式所定義的光場(chǎng)的特性，無需執(zhí)行4d離散radon變換。如果獲得兩個(gè)正交2ddrt，則可以執(zhí)行超平面的斜率m以及數(shù)字超平面的束寬度的測(cè)量，其中所有數(shù)據(jù)聚集在4d射線圖中。

這種較簡(jiǎn)單的定位過程假設(shè)圓形入射光瞳a，使得將涵蓋所有超平面截距，以該格式寫入的一些值將不包含值。

將感興趣于獲得與針對(duì)2d情況所提出的格式相似的針對(duì)4d情況的格式。為此，將感興趣于將π(x1，x2)平面上所找到的2d線與п(y1，y2)平面上所找到的線相關(guān)聯(lián)，即，作為對(duì)應(yīng)超平面與∏(x1，x2)和п(y1，y2)的兩個(gè)正交切片的相交的結(jié)果的線。根據(jù)表達(dá)式d和e，已知對(duì)應(yīng)的線具有相同斜率m。對(duì)于在特定深度處的相機(jī)，這是將∏(x1，x2)中的每個(gè)線關(guān)聯(lián)到∏(y1，y2)中的線的第一參數(shù)。如果在相同深度處存在多個(gè)相機(jī)(即圖13a的情況)，則存在具有相同的所估計(jì)的斜率m的、∏(x1，x2)中的三條線和∏(y1，y2)中的三條線。然后，確定在這兩個(gè)平面中的線之間的線偏移的對(duì)應(yīng)性。為此，利用表達(dá)式d和e中的線的公式化。具體地，記為：

偏移如下：

并且

可以針對(duì)k、x3和y3求解方程組。注意，(x3,y3,z3)對(duì)應(yīng)于相機(jī)的坐標(biāo)，或者換言之，光的對(duì)應(yīng)的叢聚焦到半徑為a的圓中的體像素。已經(jīng)假設(shè)位于z3處的平面上的孔徑是圓形，使得并且通過求解前述方程組：

可以使用bresenham數(shù)字線在∏(x1，x2)上如前文那樣地掃描數(shù)字線；對(duì)于每個(gè)單獨(dú)(x1，x2)值，存儲(chǔ)在光場(chǎng)中所捕獲的對(duì)應(yīng)的(y1，y2)值。為了找出這樣的值，利用表達(dá)式c。x3；y3；z3；z1；z2全部是從表達(dá)式f和g獲知的或者估計(jì)出的。

對(duì)于每個(gè)在∏(x1，x2)中的每個(gè)線上移動(dòng)，獲得(y1，y2)的以下關(guān)系：

或者

對(duì)于∏(x1，x2)中的每個(gè)點(diǎn)，保存∏(y1，y2)中的線的集合。doff與針對(duì)所掃描并且保存的線的偏移相對(duì)應(yīng)。注意：

參照?qǐng)D12，每個(gè)正方形是點(diǎn)，并且對(duì)于這些點(diǎn)中的每一個(gè)，存在沿著以下等式所定義的數(shù)字叢離開圖的平面的bresenham數(shù)字線的集合：

與所描述的數(shù)據(jù)線垂直，但是在4d空間中。

在表格1中示出針對(duì)每個(gè)相機(jī)的數(shù)據(jù)線的叢的示例性數(shù)據(jù)格式。

表格1

首先，提供4d空間的通用元數(shù)據(jù)：包括4個(gè)軸x1、x2、y1、y2的邊界及其對(duì)應(yīng)的采樣。還提供相機(jī)(叢)的數(shù)量。對(duì)于每個(gè)相機(jī)j，保存以下參數(shù)：

孔徑的大小：aj，其與像素束的光瞳的直徑相對(duì)應(yīng)

相機(jī)的焦點(diǎn)：camj，焦點(diǎn)＝(u3,u3,w3)

(x1，x2)中的最低d截距(χ1x，2)＝dj

陡度＝mj

在每個(gè)相機(jī)上，對(duì)于每個(gè)(χq1；χq2)，使用bresenham數(shù)字線參照表達(dá)式(k)在(y1，y2)上開始掃描，并且保存每個(gè)光場(chǎng)射線的rgb值。具體地，到并且根據(jù)表達(dá)式(k)來計(jì)算對(duì)應(yīng)的doff。

由于光場(chǎng)射線與像素束的主射線相對(duì)應(yīng)，所以給定像素束的參數(shù)zp、a的值存儲(chǔ)在對(duì)應(yīng)的光場(chǎng)射線的rgb值旁邊，如表格1所示。

使用所存儲(chǔ)的元數(shù)據(jù)在解碼步驟中執(zhí)行相同計(jì)算。具體地，使用等式(g)求出k。因此，格式保持緊湊。無需針對(duì)系統(tǒng)中的每個(gè)射線存儲(chǔ)四個(gè)指數(shù)。注意，上述超平面的采樣是4d射線空間的采樣，并且因此單個(gè)x1；y1；x2；y2位置不丟失。這僅是用于以非常緊湊的格式保存所有數(shù)據(jù)的4d射線空間的對(duì)稱掃描的一個(gè)示例。當(dāng)然可以應(yīng)用其他處理。參數(shù)化形式看上去適合于探索超平面，因?yàn)槠湓试S交錯(cuò)式空間探索。

在多個(gè)相機(jī)工作在包含若干超平面的叢的數(shù)據(jù)上(由于多個(gè)相機(jī)而在radon變換中有若干最大值)的情況下，可以使用更復(fù)雜的算法。作為預(yù)處理步驟，針對(duì)∏(x1，x2)的radon變換中的所有峰值求出參數(shù)(m，k)，并且放在一個(gè)集合中。對(duì)于(y1，y2)中的峰值完成同樣的操作，并且參數(shù)放在另一集合中?，F(xiàn)在，在貪心算法的每次迭代中，在(x1，x2)的2dradon變換中求出最大峰值強(qiáng)度，并且通過匹配先前所求出的參數(shù)(m，k)來求出(y1，y2)中的對(duì)應(yīng)峰值。如在最后部分中所述那樣地保存數(shù)據(jù)之后，從radon變換清除這些峰值，并且開始下一個(gè)迭代，直至沒有有意義的東西保留在光場(chǎng)中為止。

雖然以上已經(jīng)參照具體實(shí)施例描述了本發(fā)明，但是本發(fā)明不限于所述具體實(shí)施例，在本發(fā)明的范圍內(nèi)的修改對(duì)于本領(lǐng)域技術(shù)人員將是顯而易見的。

本領(lǐng)域技術(shù)人員在參照前述的示例性實(shí)施例時(shí)將想到很多進(jìn)一步的修改和變型，前述的示例性實(shí)施例僅作為示例而不打算限制本發(fā)明的范圍，本發(fā)明的范圍僅由所附的權(quán)利要求來確定。具體地，在適當(dāng)?shù)那闆r下，來自不同實(shí)施例的不同特征可以互換。