本發(fā)明屬于光場相機的渲染
技術(shù)領(lǐng)域：
，特別涉及一種聚焦光場相機的渲染方法和系統(tǒng)。
背景技術(shù)：
：光場相機是一種能記錄光線方向和位置信息的裝置，與傳統(tǒng)相機相比，在結(jié)構(gòu)上多一個微透鏡陣列，采用這種裝置得到圖像的過程即為光場成像。光場成像作為成像技術(shù)中的一個新的方向，它可以實現(xiàn)拍攝后無需機械對焦，而是通過圖像處理計算實現(xiàn)再聚焦，并且可以實現(xiàn)3D重建和多目標(biāo)點聚焦等，這些特點都使得它在未來的生活中將會有很大的發(fā)展空間。光場相機可以同時捕捉到場景的空間(或位置)和方向(或角度)信息，即光場的四維信息。這樣，在一次曝光后記錄到的光場利用軟件就可以聚焦在任意位置，也就是再聚焦。第一代手持式光場相機于2005年出現(xiàn)，但是這種裝置得到的最終圖像分辨率受微透鏡個數(shù)影響，其最大空間分辨率為其微透鏡數(shù)目，限制了傳統(tǒng)光場相機的發(fā)展。為提高圖像分辨率，提出了第二代光場相機，又稱為聚焦型光場相機。第二代與第一代的主要區(qū)別是微透鏡陣列與圖像傳感器的間距可調(diào)，這樣就可以使微透鏡聚焦在主透鏡的像面上，而不是主透鏡平面上。這種裝置可以使圖像空間分辨率和方向分辨率之間有個很好的權(quán)衡關(guān)系，同時可以提高圖像的空間分辨率，使圖像看起來更加清晰。光場相機中必不可少的一步是后期圖像的處理，一般采用光場渲染技術(shù)。光場相機渲染技術(shù)是指基于圖像渲染技術(shù)的場景的獲取及重現(xiàn)的一種實現(xiàn)方法，后期渲染處理的好壞直接影響圖像的最終成像質(zhì)量。從原始圖像的每一個微透鏡子孔徑圖像中選取中間一個區(qū)域塊得到的圖像，即為渲染處理的過程。區(qū)域塊的大小與場景的深度有關(guān)，可以人為確定，也可以由其深度信息確定，在不同的場景中使用不同的大小。在傳統(tǒng)的渲染方法中，區(qū)域塊所取的形狀為正方形，而聚焦型光場相機的微透鏡陣列通常采用正六邊形的排列方式，故在渲染過程中，需要先經(jīng)過一個正六邊形坐標(biāo)系到正交坐標(biāo)系的轉(zhuǎn)換，其渲染方法的計算量大，影響渲染的速率。技術(shù)實現(xiàn)要素：為解決上述問題，本發(fā)明提供了一種聚焦型光場相機的渲染方法和系統(tǒng)，其能避免坐標(biāo)系的轉(zhuǎn)換，減少渲染方法的計算量。本發(fā)明提供一種聚焦型光場相機的渲染方法，該方法包括如下步驟：S1.輸入聚焦型光場相機拍攝的圖片，記錄每個微透鏡和子孔徑圖的位置信息和中心位置；S2.根據(jù)需要重聚焦的平面圖像，計算其景深，根據(jù)景深確定半徑R的大?。籗3.在每一個子孔徑圖的中心位置，取一個半徑為R的正六邊形區(qū)域塊；S4.將正六邊形區(qū)域塊，按子孔徑圖的順序平鋪合并得合并圖；S5.對合并圖進行處理，得到最終渲染圖。優(yōu)選地，所述步驟S2需要重聚焦的平面圖像為單個時，在不同景深處選取相同的半徑R，該重聚焦平面圖像的景深人為確定。優(yōu)選地，所述步驟S2需要重聚焦的平面圖像為全平面時，在不同景深處選取不同的半徑R，各平面圖像的景深根據(jù)深度估計的方法計算得到，再通過深度值與R的關(guān)系表中查找確定R的大小。優(yōu)選地，所述步驟S2需要重聚焦的平面圖像為單個時，在不同景深處選取相同的半徑R，該重聚焦平面圖像的深度根據(jù)深度估計的方法計算得到，再通過深度值與R的關(guān)系表中查找確定R的大小。優(yōu)選地，所述步驟S3的正六邊形為縱向正六邊形。正六邊形的方向根據(jù)微透鏡排列方式進行調(diào)整。如微透鏡排列方式為橫向，則正六邊形的方向為縱向；如微透鏡排列方式為縱向，則正六邊形的方向為橫向。優(yōu)選地，步驟S4的正六邊形區(qū)域塊的邊緣像素通過四舍五入的方法進行整數(shù)化。優(yōu)選地，步驟S5對對合并圖的處理為：取出其中最大的矩形塊，舍棄多余的邊角信息。優(yōu)選地，步驟S5對合并圖的處理為：對合并圖中六邊形區(qū)域塊內(nèi)的每個像素，對其原始圖像中像素點相隔(μ-R)處的值求平均得到輸出圖像給定的一點像素值，其中μ為微透鏡的大小；再對合并圖取出其中最大的矩形塊，舍棄多余的邊角信息。進一步地優(yōu)選，對其原始圖像中像素點相隔(μ-R)處的值求平均的表達公式如下：其中，fi(x)＝pi+q′q′=q+μ-R2=(xμ-p)R+μ-R2]]>μ＝R(a/b)i＝0,±1,±2,Li的絕對值有一個確定的上限值；a,b分別為微透鏡平面到傳感器平面、主透鏡成像平面的距離，pi為微透鏡位置，fi(x)為輸出圖像中一點x在原始圖像中所對應(yīng)的偏移數(shù)為i處的位置，為fi(x)處所對應(yīng)的像素值，ωi為其權(quán)重，與fi(x)有關(guān)，q為偏移量，q′為實際偏移量。本發(fā)明還提供一種聚焦型光場相機的渲染系統(tǒng)，該系統(tǒng)包含如下模塊：記錄模塊、半徑模塊、分塊模塊、合并模塊、處理模塊；記錄模塊用于記錄每個微透鏡和子孔徑圖的位置信息及其中心位置；半徑模塊用于根據(jù)需要重聚焦的平面圖像，計算其景深，根據(jù)景深確定半徑R的大小；分塊模塊用于將每一個子孔徑圖中心位置，取一個半徑為R的正六邊形區(qū)域塊；合并模塊用于將正六邊形區(qū)域塊，按子孔徑圖的順序平鋪合并得合并圖；處理模塊用于對合并圖進行處理，得到最終渲染圖。本發(fā)明的有益效果為：利用微透鏡陣列的六邊形排列特性，通過對微透鏡子孔徑圖取正六邊形的區(qū)域塊，在渲染過程中，無需經(jīng)過坐標(biāo)系的變換，能減少聚焦型光場相機的渲染方法的計算量。在本發(fā)明的優(yōu)選的方案中，還具有如下的有益效果：通過人為確定圖形景深，在不同景深處選取相同的半徑R，可以實現(xiàn)單個平面圖像的重聚焦。通過深度估計計算各平面圖像的景深，在不同景深處選取不同的半徑R，可以實現(xiàn)全圖像清晰，有效消除圖像中的Artifacts，改善最終渲染圖的圖像質(zhì)量。通過深度估計計算各平面圖像的景深，在不同景深處選取相同的半徑R，再對合并圖中六邊形區(qū)域塊內(nèi)的每個像素，對其原始圖像中像素點相隔(μ-R)處的值求平均得到輸出圖像給定的一點像素值，可以實現(xiàn)單個平面圖像，即特定深度的圖像重聚焦，且無Artifacts。通過對正六邊形區(qū)域塊的邊緣像素進行四舍五入的方法進行整數(shù)化，使平鋪合并時，相對兩條邊上的像素能很好地互補，減少最終渲染出圖像的像差。附圖說明圖1為本發(fā)明實施例流程示意圖。圖2為本發(fā)明實施例聚焦光場相機光學(xué)結(jié)構(gòu)示意圖，A為傳感器，B為微透鏡陣列，C為像平面，D為主透鏡，E為物體。圖3為本發(fā)明實施例微透鏡實際排列方式示意圖。圖4為本發(fā)明實施例對單個子孔徑圖取正六邊形區(qū)域塊方法示意圖。圖5為本發(fā)明實施例對所有子孔徑圖取正六邊形區(qū)域塊示意圖。圖6為本發(fā)明實施例正六邊形區(qū)域塊排列示意圖。圖7為本發(fā)明實施例邊界處理示意圖。具體實施方式下面結(jié)合附圖對本發(fā)明的實施方式做進一步的說明，具體過程如下，其流程示意圖如圖1所示。S1.輸入聚焦型光場相機拍攝的圖片，記錄每個微透鏡和子孔徑圖的位置信息和中心位置。S2.根據(jù)需要重聚焦的平面圖像，計算其景深，根據(jù)景深確定半徑R的大小。S3.在每一個子孔徑圖的中心位置，取一個半徑為R的正六邊形區(qū)域塊。S4.將正六邊形區(qū)域塊，按子孔徑圖的順序平鋪合并得合并圖；S5.對合并圖進行處理，得到最終渲染圖。光場相機是獲取光場信息的裝置，包信息含空間位置和方向的四維光輻射場。因此每個傳感器單元捕捉到的是物體從特定角度發(fā)出的光線，不僅記錄了光線的位置信息，也記錄了其方向信息，實際上是四維全光函數(shù)的采樣。但傳統(tǒng)光場相機存在空間分辨率太低的缺點，聚焦光場相機則提供了一種空間分辨率和角度分辨率的折中，其光學(xué)結(jié)構(gòu)示意圖如圖2所示。微透鏡排列方式通常采用六邊形排列方式，如圖3所示，其填充因子最大為90％。相比最大填充因子為78.5％的正交排列方式，采用六邊形排列方式，其填充因子要大很多。微透鏡的填充因子是指單位元件的有效通光面積與單元總面積之比，表征了元件對光能的匯聚和發(fā)散能力，通常與元件形狀和排列方式有關(guān)。對于區(qū)域塊，R的大小對應(yīng)著不同的聚焦面，因此對應(yīng)著不同的深度。根據(jù)所需要重聚焦的平面圖像的景深來確定其半徑R的大小。根據(jù)重聚焦的平面的對象不同，以及其深度計算方法的不同，可以采取如下3種方式。(1)當(dāng)需要重聚焦的平面圖像為單個時，在不同景深處選取相同的半徑R；該重聚焦平面圖像的景深人為確定。人為確定是根據(jù)經(jīng)驗確定，在不同景深處，采用的都是相同的R，因此得到的是特定平面的聚焦圖。該方法能夠?qū)崿F(xiàn)某個深處度的圖像聚焦，但不在聚焦面的部分有可能會產(chǎn)生Artifacts。(2)當(dāng)要重聚焦的平面圖像為全平面時，在不同景深處選取不同的半徑R；各平面圖像的景深根據(jù)深度估計的方法計算得到，再通過深度值與R的關(guān)系表中查找確定R的大小。利用深度估計的方法，可以得到更精確的深度值，再通過深度值數(shù)組中查表得到R的大小，此方法可以有效減少方法(1)所產(chǎn)生的圖像Artifacts，得出所有的圖像都清晰、無Artifacts的最終渲染圖，該方法可以實現(xiàn)圖像的全聚焦。(3)當(dāng)需要重聚焦的平面圖像為單個時，在不同景深處選取相同的半徑R；該重聚焦平面圖像的深度根據(jù)深度估計的方法計算得到，再通過深度值與R的關(guān)系表中查找確定R的大小。該方法產(chǎn)生的不是全聚焦圖像，而是特定深度的聚焦圖，與(1)中方法不同的是，對于不在聚焦面的部分，此方法不會產(chǎn)生Artifacts。在圖2所示光學(xué)結(jié)構(gòu)中，微透鏡陣列上的每個微透鏡對應(yīng)傳感器平面上的一塊區(qū)域，對應(yīng)一個子孔徑圖。利用微透鏡本身的正六邊形排列方式，對每個子孔徑圖取一個正六邊形的區(qū)域塊。值得注意的是，圖3中微透鏡排列方式是橫向正六邊形，故所取的正六邊形區(qū)域塊的形狀為縱向正六邊形，對單個子孔徑圖取正六邊形的區(qū)域塊方法如圖4所示，對所有子孔徑圖的取塊方式如圖5所示。對于步驟S3中的所取出的所有縱向的正六邊形塊，由步驟S1中所確定的位置信息，按原來的位置排列并平鋪所有的子孔徑圖中心塊，其示意圖如圖6所示。其中，由于傳感器像素的形狀為正方形，而每一個六邊形塊圖邊緣難免有非整數(shù)像素，對于邊緣的這些像素，需要整數(shù)化，這里可以采取四舍五入的方法。由于正六邊形相對的兩條邊是平行的，因此相對兩條邊上的整數(shù)化后像素依然能夠很好地互補。對于如上的方法(1)和方法(2)，合并圖進行如下的處理：如圖7所示，經(jīng)上述步驟平鋪合并得到的合并圖是一個不規(guī)則的圖形，由于微透鏡數(shù)目較多，相鄰微透鏡所成的子孔徑圖有較多相似部分，因此對于最后的圖形，取出其中所能找到的一個最大矩形塊。矩形塊中已經(jīng)都是整數(shù)像素了，然后舍棄多余的邊角信息。最終結(jié)果示意圖即圖7中陰影所示部分。對于如上的方法(3)，對合并圖的處理需要先對合并圖中六邊形區(qū)域塊內(nèi)的每個像素，對其原始圖像中像素點相隔(μ-R)處的值求平均得到輸出圖像給定的一點像素值；然后再對合并圖取出其中最大的矩形塊，舍棄多余的邊角信息。對于尺寸為μ的微透鏡，R的圖像塊，被平均的像素值的間隔為(μ-R),位置為fi(x)的所有對應(yīng)像素被平均：其中，為fi(x)處所對應(yīng)的像素值。fi(x)＝pi+q′，fi(x)為輸出圖像中一點x在原始圖像中所對應(yīng)的偏移數(shù)為i處的位置；pi為微透鏡位置；q′=q+μ-R2=(xμ-p)R+μ-R2]]>μ＝R(a/b)這里i＝0,±1,±2,L，a,b分別表示微透鏡平面到傳感器平面和微透鏡平面到主透鏡成像平面的距離。因為μ是一個常數(shù)，因此對于給定圖像塊尺寸R的采樣，i的絕對值有一個確定的上限值，對于不同點，R可以不同，但對于每個點都有一個積分值。不同視角的貢獻可以用權(quán)重來表示，可以把一個微透鏡每個像素規(guī)定一個權(quán)重值，即對不同位置的fi(x)進行加權(quán)平均，最后得到在固定深度處聚焦的無Artifacts的結(jié)果。當(dāng)前第1頁1 2 3