本公開的領(lǐng)域涉及光場成像。更具體地，本公開涉及用于記錄有色光場圖像的技術(shù)。更具體地，本公開涉及一種目標(biāo)為安裝在全光相機的傳感器上的濾色陣列(ColorFilterArray，CFA)。
背景技術(shù)：
：該部分意圖為讀者介紹可能與在下面所描述和/或要求保護的本公開的各個方面有關(guān)的領(lǐng)域的各個方面。相信本討論就向讀者提供背景信息以促進更好地理解本公開的各個方面而言是有用的。因此，應(yīng)當(dāng)理解，將從這個角度來閱讀這些陳述，并且這些陳述不作為對現(xiàn)有技術(shù)的承認。常規(guī)的圖像捕捉設(shè)備將三維場景呈現(xiàn)到二維傳感器上。在操作期間，常規(guī)的捕捉設(shè)備捕捉表示到達該設(shè)備內(nèi)的傳感器(或光電探測器)上的每個點的光量的二維(2-D)圖像。然而，該2-D圖像不包含關(guān)于到達傳感器的光射線的方向分布(可以被稱為光場)的信息。例如在獲取期間丟失深度。因而，常規(guī)的捕捉設(shè)備不存儲關(guān)于來自場景的光分布的大多數(shù)信息。光場捕捉設(shè)備(也被稱為“光場數(shù)據(jù)獲取設(shè)備”)已經(jīng)被設(shè)計為通過捕捉來自場景的不同視點的光來測量該場景的四維(4D)光場。因而，通過測量沿著與傳感器相交的每個光束傳播的光量，這些設(shè)備能夠捕捉附加的光學(xué)信息(關(guān)于光射線的束的方向分布的信息)以便通過后處理提供新的成像應(yīng)用。由光場捕捉設(shè)備所獲取/獲得的信息被稱為光場數(shù)據(jù)。光場捕捉設(shè)備在本文被定義為能夠捕捉光場數(shù)據(jù)的任何設(shè)備。光場數(shù)據(jù)處理顯著地包括、但是不限于：生成場景的重聚焦圖像、生成場景的透視圖、生成場景的深度圖、生成擴展景深(EDOF)圖像、生成立體圖像，和/或這些的任何組合。在光場捕捉設(shè)備的若干現(xiàn)有分組之中，“全光設(shè)備”或“全光相機”具體化為微透鏡陣列，該微透鏡陣列定位在主透鏡的圖像焦場中并且在每個微透鏡的微圖像(microimage)被投射到其上的傳感器之前。在以下描述中，一個(或若干)微圖像目標(biāo)要投射到其上的傳感器的區(qū)域被稱為“微圖像區(qū)域”或“傳感器微圖像”或“傳感器的微圖像”或“暴露區(qū)”或“投射區(qū)”。作為結(jié)果所獲得的場景的原始圖像是屬于一個傳感器微圖像和/或另一個傳感器微圖像的傳感器的所有像素的總和。然后通過像素在微圖像區(qū)域中相對于它們的中心的相對位置來給出光場的角度信息。基于該原始圖像，能夠執(zhí)行也被稱作“解復(fù)用”的、來自某視點的所捕捉的場景的圖像的提取。解復(fù)用處理可以被看作從2D原始圖像到4D光場的數(shù)據(jù)轉(zhuǎn)換?？梢酝ㄟ^其中所有視圖水平且垂直地對準的視圖的矩陣來表示所得到的解復(fù)用的光場數(shù)據(jù)。關(guān)于色彩檢測，多數(shù)傳感器的像素僅僅記錄經(jīng)過它們的可見光子的數(shù)量，而不管它們的色彩。為了獲取有色(colored)4D光場數(shù)據(jù)，從
背景技術(shù)：
可知,將濾色陣列(CFA)安裝在傳感器之上。例如，覆蓋具有按以下R、G、G、B的順序被定位在2乘2矩陣內(nèi)的三個不同色彩紅(R)綠(G)藍(B)的2乘2像素的拜耳濾色器(Bayerfilter)通常被用作CFA。然而，技術(shù)人員將理解，在以下描述中所使用的表述“濾色陣列”不僅僅指的是拜耳濾色器，而且也指的是對現(xiàn)有技術(shù)的所有可替換CFA。該技術(shù)的一個主要缺點是減弱了傳感器的光敏性，這是因為至少一半光子被CFA阻擋。此外，色像差(chromaticaberration)可能出現(xiàn)在傳感器微圖像的邊緣上，并且因而影響所呈現(xiàn)的圖像的質(zhì)量。在嘗試解決這些問題時，專利文獻US2014/0146201A1公開了一種僅僅覆蓋傳感器微圖像的一部分的CFA。然而，這不足以提高傳感器的光敏性。因此，理想的是提供一種展現(xiàn)相對于
背景技術(shù)：
的改善的傳感器。顯著地，理想的是提供這樣的傳感器：其能夠以更好的光敏性為特征，同時保持滿意的色彩靈敏度并且限制色像差出現(xiàn)的風(fēng)險。技術(shù)實現(xiàn)要素：在說明書中對“一個實施例”、“一實施例”、“示例實施例”的引用指示所描述的實施例可以包括特定特征、結(jié)構(gòu)或特性，但是每個實施例可以不一定包括該特定特征、結(jié)構(gòu)或特性。此外，這樣的短語不一定指代相同的實施例。此外，當(dāng)與實施例結(jié)合來描述特定特征、結(jié)構(gòu)或特性時，在此提出，結(jié)合其它實施例(不管是否被明確地描述)實現(xiàn)這樣的特征、結(jié)構(gòu)或特性處于本領(lǐng)域技術(shù)人員的知識范圍內(nèi)。在該技術(shù)的一個特定實施例中，公開了一種目標(biāo)為安裝在全光相機上的傳感器。傳感器包括目標(biāo)為感測由微透鏡陣列所折射的微圖像的至少一個微圖像區(qū)域，該微圖像區(qū)域至少被濾色陣列部分地覆蓋。當(dāng)遠離微圖像區(qū)域的形心(centroid)時，濾色陣列的色彩飽和度降低。在以下描述中，表述“部分地覆蓋”指的是與傳感器微圖像(微圖像區(qū)域)相比的CFA的位置。在一個實施例中，這種CFA覆蓋傳感器微圖像的全部。在另一個實施例中，CFA僅覆蓋包括或不包括微圖像區(qū)域的形心的傳感器微圖像的一部分?；谝豢紤]的CFA的點與傳感器微圖像的形心之間的距離，當(dāng)該距離增加時，該點的色彩飽和度降低。當(dāng)更靠近傳感器微圖像邊界時，該CFA的色彩飽和度的降低允許捕捉比
背景技術(shù)：
的CFA更多的光子。因此，這樣的傳感器特征在于提高光敏性。此外，由于與穿過主透鏡光瞳邊界的光子相比的較少像差的光子照射在形心處的像素，因此，這樣的傳感器還允許限制色像差出現(xiàn)的風(fēng)險，同時將其色彩靈敏度保持在滿意的水平。在一個實施例中，濾色陣列的形心對應(yīng)于微圖像區(qū)域的形心。由于色像差現(xiàn)象，在傳感器微圖像的形心處的像素帶來比位于傳感器微圖像的邊界處的像素更銳利的細節(jié)和色彩。因而，對于CFA表面的相等值，將CFA定位在傳感器微圖像的形心允許提高所呈現(xiàn)的微透鏡圖像的質(zhì)量。根據(jù)實施例，濾色陣列的色彩飽和度從微圖像區(qū)域的形心(xi,j,yi,j)到微圖像區(qū)域的邊界降低。在一個實施例中，濾色陣列的色彩飽和度從在微圖像區(qū)域的形心處的1變化到在微圖像區(qū)域的邊界附近的0。在一個實施例中，CFA是拜耳濾色器，并且在HSV色彩空間中給出色彩分量：其中(x,y)是微透鏡(i,j)下面的像素的坐標(biāo)，(xi,j,yi,j)是微透鏡圖像區(qū)域的形心的坐標(biāo)，并且p是兩個相鄰的微圖像區(qū)域的相應(yīng)形心之間的距離。從微圖像區(qū)域的形心(xi,j,yi,j)到微圖像區(qū)域的邊界的飽和度的這種平滑變化防止了重聚焦圖像的色彩飽和度的階梯效應(yīng)。在一個實施例中，微圖像區(qū)域僅被濾色陣列部分地覆蓋。根據(jù)該特定CFA布局，與所記錄的光子的數(shù)量相比于光子的總數(shù)量相對應(yīng)的比率較高，這是因為較少像素被CFA覆蓋。因而，與覆蓋整體傳感器微圖像的CFA相比，該傳感器對光更敏感。在一個實施例中，濾色陣列僅覆蓋在微圖像區(qū)域的形心處的4*4像素區(qū)域。根據(jù)該特定布局，每個微透鏡圖像覆蓋50.26個像素，并且僅16個像素接收較少的光。傳感器微圖像從16個像素收集減小的光子數(shù)量并且從剩余的像素收集所有可見光子。因此，這樣的傳感器捕捉超過84％的光子，與
背景技術(shù)：
的CFA相比，這有顯著改善。出于說明的目的，對于覆蓋所有像素的常用拜耳圖案，該比率下降到大約50％。在該技術(shù)的一個特定實施例中，公開了一種用于確定被濾色陣列部分地覆蓋的微圖像區(qū)域的至少一個重聚焦圖像色彩分量RX的方法。這樣的方法包括：·確定被濾色陣列覆蓋的微圖像區(qū)域像素的重聚焦圖像Ra,b，其中，當(dāng)遠離微圖像區(qū)域的形心(xi,j,yi,j)時，濾色陣列的色彩飽和度降低；·確定未被濾色陣列覆蓋的微圖像區(qū)域像素的重聚焦圖像RT；·通過將重聚焦圖像Ra,b和重聚焦圖像RT進行組合來確定色彩分量RX；其中，所述確定色彩分量RX對重聚焦圖像RT實現(xiàn)權(quán)重。這種權(quán)重的實現(xiàn)具有以下優(yōu)點：將遭受較大光學(xué)像差的光子與較少受到主透鏡的光學(xué)像差影響的光子相區(qū)分。本領(lǐng)域技術(shù)人員將理解，表述“色彩分量”指的是所實現(xiàn)的CFA的任何色彩分量。例如，當(dāng)考慮被拜耳濾色器覆蓋的傳感器時，要確定的色彩分量可以是紅色、綠色或藍色分量。在該技術(shù)的一個特定實施例中，本公開涉及可從通信網(wǎng)絡(luò)下載的和/或記錄在計算機可讀的介質(zhì)上和/或可由處理器執(zhí)行的計算機程序產(chǎn)品。這種計算機程序產(chǎn)品包括實現(xiàn)方法的程序代碼指令。在該技術(shù)的一個特定實施例中，本公開涉及包括記錄在其上并且能夠由處理器運行的計算機程序產(chǎn)品(包含實現(xiàn)方法的程序代碼指令)的非暫時性計算機可讀載體介質(zhì)。雖然未明確地描述，但可以以任何組合或子組合來采用本實施例。附圖說明可以參考以示例的方式給出的并且不限制保護的范圍的以下描述和附圖來更好地理解本公開，在附圖中：圖1是示出常用拜耳濾色器的示意表示，圖2是示出HSV色彩空間的示意表示，圖3是示出對于各個濾色器的像素響應(yīng)的圖，圖4是示出全光相機的示意表示，圖5是示出由全光相機的傳感器所記錄的光場數(shù)據(jù)的示意表示，圖6是示出其中W＞P的全光相機的示意表示，圖7是示出其中W＜P的全光相機的示意表示，圖8是色像差現(xiàn)象的示意表示，圖9是示出全光相機的示意表示，圖10是示出對于各個射線波長的、由全光相機的傳感器所記錄的光場數(shù)據(jù)的示意表示，圖11是示出由全光相機的傳感器所記錄的光場數(shù)據(jù)的示意表示，該傳感器被拜耳濾色器覆蓋，圖12是示出根據(jù)本公開的一個實施例的、由全光相機的傳感器所記錄的光場數(shù)據(jù)的示意表示，圖13是示出由被CFA部分覆蓋的傳感器所記錄的光場數(shù)據(jù)的示意表示，圖14是當(dāng)執(zhí)行根據(jù)本公開的一個實施例的方法時所實施的連續(xù)步驟的流程圖，圖15是示出根據(jù)本公開的一個實施例的、用于確定重聚焦圖像色彩分量的裝置的示意框圖。附圖中的組件不一定是按比例的，而是將重點放在示出本公開的原理上。具體實施方式在以下描述中并且在圖1至13中闡述本公開的某些實施例的一般概念和具體細節(jié)以提供對這樣的實施例的徹底理解。然而，本領(lǐng)域技術(shù)人員將理解，本公開可以具有附加的實施例，或者可以在沒有以下描述中所描述的若干細節(jié)的情況下被實踐。1.1一般概念1.1.1濾色陣列典型地通過每個像素三個色彩分量來形成色彩圖像。常用分量是略微地對應(yīng)于眼睛的色彩靈敏度的紅色、綠色和藍色。不幸地，大多數(shù)傳感器與光子波長無關(guān)地記錄進入像素的可見光子。為了使灰度傳感器成為有色彩能力的傳感器，常常將濾色陣列(CFA)安裝在傳感器上。最常見的CFA是由2乘2像素構(gòu)成的并且在傳感器上重復(fù)的所謂的拜耳圖案(拜耳濾色器)，如圖1中所示。利用CFA記錄的圖像是不完善的，這是因為每個像素僅僅記錄一個色彩。如在名稱為“Adaptivecolorplaninterpolationinsinglesensorcolorelectroniccamera(單傳感器色彩電子相機中的適配性色彩平面內(nèi)插)”的專利文獻US5506619A中所描述的，在拜耳圖案的情況下，根據(jù)所謂的去馬賽克算法使用周圍色彩、通過內(nèi)插進行給定像素的兩個其它色彩的計算。這種算法影響圖像質(zhì)量并且可能需要大量計算。1.1.2與RGB和HSV色彩空間有關(guān)的概念RGB(紅-綠-監(jiān))是用于以三個色彩分量來表征像素的色彩的色彩空間。能夠?qū)⑦@三個值轉(zhuǎn)換為其它色彩空間，舉例來說，色度飽和度明度(HSV)色彩空間。如圖2所示出的HSV空間允許定義從純色(給定的色度、飽和度和明度被設(shè)置為最大值)到白色(相同的色度、飽和度被設(shè)置為0，明度被設(shè)置為最大值)的色彩梯度。通過以下等式來執(zhí)行從RGB色彩空間到HSV色彩空間的轉(zhuǎn)換：Δ＝max(R，G，B)-min(R，G，B)H=4+R-GΔS=V-min(R,G,B)VV=max(R,G,B)]]>通過以下來執(zhí)行從HSV到RGB色彩空間的轉(zhuǎn)換：H′=H60]]>P＝V(1-S)Q＝V(1-S{H′})T＝V(1-S(1-{H′}))其中，{H}表示H′的小數(shù)部分。從三元組(P,V,Q)，根據(jù)I＝[H'」(小于H′的最大整數(shù))來定義值(R,G,B)。如果I＝0，則(R,G,B)＝(V,T,P)；如果I＝1，則(R,G,B)＝(Q,V,P)；如果I＝2，則(R,G,B)＝(P,V,T)；如果I＝3，則(R,G,B)＝(P,Q,V)；如果I＝4，則(R,G,B)＝(T,P,V)；如果I＝5，則(R,G,B)＝(V,P,Q)。先前的等式假定三個色彩分量是在0和1之間的實數(shù)。作為結(jié)果，分量H和S是在0和1之間的實數(shù)，并且H是在0到360度之間的實數(shù)。如在本文前面所指出的，CFA的重大缺點是濾色器阻擋一些光子并且因而傳感器的靈敏度有所減弱。例如，在拜耳圖案的情況下，在濾光器中至少丟失一半光子。圖3示出對于KodakTM傳感器的各個濾色器、相對于進入像素的光子的總數(shù)量有多少光子被收集。傳感器的效率受到濾色器的很大影響。1.1.2全光相機的描述圖4示出由主透鏡2、微透鏡陣列3和傳感器4組成的示意全光相機1。主透鏡2接收來自其物場中將被捕捉的場景(未示出)的光，并且通過位于主透鏡像場上的微透鏡陣列3來呈現(xiàn)該光。在一個實施例中，該微透鏡陣列3包括以二維(2D)陣列布置的多個圓形微透鏡。在另一個實施例中，在不脫離本公開的范圍的情況下，這樣的微透鏡具有不同的形狀，例如橢圓形。每個微透鏡具有將對應(yīng)的微圖像(傳感器微圖像5)的光引導(dǎo)到傳感器4的專用區(qū)域的透鏡屬性。在一個實施例中，在微透鏡陣列3與傳感器4之間圍繞每個透鏡存在一些間隔物，以防止在傳感器側(cè)來自一個透鏡的光與其它透鏡的光重疊。1.1.34D光場數(shù)據(jù)：在傳感器4上所捕捉的圖像由布置在2D圖像內(nèi)的2D小圖像的聚集組成。由來自微透鏡陣列3的微透鏡(i,j)產(chǎn)生每個小圖像。圖5示出由傳感器4所記錄的圖像的示例。每個微透鏡(i,j)產(chǎn)生由圓形表示的微圖像(小圖像的形狀取決于微透鏡的形狀，該形狀典型地是圓形)。將像素坐標(biāo)標(biāo)記為(x,y)。p是兩個連續(xù)的微圖像5之間的距離。選取微透鏡(i,j)使得p大于像素尺寸δ。通過它們的坐標(biāo)(i,j)來引用微透鏡圖像區(qū)域5。一些像素(x,y)可能沒有接收到來自任何微透鏡(i,j)的任何光；將那些像素(X)丟棄。實際上，將微透鏡間的空間遮住以防止光子從微透鏡外部通過(如果微透鏡具有方形形狀，則無需遮住)。微透鏡圖像(i,j)的中心(xi,j,yi,j)位于處于坐標(biāo)(xi,j,yi,j)處的傳感器4上。θ是像素的正方形柵格(squarelattice)和微透鏡的正方形柵格之間的角度?？梢酝ㄟ^考慮(x0,0,y0,0)(微透鏡圖像(0,0)的像素坐標(biāo))的以下等式來計算(xi,j,yi,j)：xi,jyi,j=pcosθ-sinθsinθcosθij+x0,0y0,0---(1)]]>該等式假定微透鏡陣列3被布置在正方形柵格之后。然而，本公開不受限于該柵格，并且同樣地適用于六方柵格或者甚至不規(guī)則柵格。圖5還示出在若干連續(xù)的微透鏡圖像上來自場景的對象是可見的(暗點)。對象的兩個連續(xù)視圖之間的距離是w，該距離在下面也被稱為術(shù)語“視差”。1.1.4光場相機的光學(xué)屬性以像素為單位給出在先前子章節(jié)中所引入的距離p和w。通過將它們乘以像素尺寸δ而將它們分別轉(zhuǎn)換為物理單位距離(米)P和W：W＝δw以及P＝δp這些距離取決于光場相機特征。圖6和圖7示出假定理想薄透鏡模型的示意性光場。主透鏡具有焦距F和孔徑Φ。微透鏡陣列由具有焦距f的微透鏡組成。微透鏡陣列的間距是φ。微透鏡陣列位于距主透鏡的距離D處，以及距傳感器的距離d處。(在圖上不可見的)對象位于距主透鏡(左側(cè))的距離z處。通過位于距主透鏡(右側(cè))的距離z’的主透鏡來聚焦該對象。圖6和圖7示出其中分別D＞z’和D＜z’的情況。在這兩種情況下，可以根據(jù)d和f將微透鏡圖像對準焦點。視差W隨對象的距離z而變化。1.1.5圖像重聚焦光場相機的主要屬性是能夠計算其中重聚焦化距離可自由地調(diào)整的2D重聚焦圖像。僅通過對微透鏡圖像進行移位和縮放并且然后將它們求和到2D圖像中來將4D光場數(shù)據(jù)投射到2D圖像中。移位的量控制重聚焦化距離。4D光場像素(x,y,i,j)到重聚焦2D圖像坐標(biāo)(X,Y)的投射由以下定義：XY=sg(xy-xi,jyi,j)+sxi,jyi,j---(2)]]>其中，s控制2D重聚焦圖像的尺寸，并且g控制重聚焦圖像的聚焦化距離。1.1.6色像差問題如圖8所示出的，色像差問題來自透鏡缺陷，這妨礙了在相同的圖像平面中聚集點源的所有色彩。當(dāng)研究如圖9和圖10所示的全光相機系統(tǒng)中的色像差的影響時，我們可以注意到，取決于波長的會聚平面的變化轉(zhuǎn)化為也取決于波長的視差W的變化。關(guān)于這點，技術(shù)人員認識到，與進入光瞳的中間的光子相比，在主透鏡2的邊界處進入的光子更加受到色像差的影響?，F(xiàn)在，穿過主透鏡光瞳的中間和邊界的光子是分別在傳感器微圖像5的中心(xi,j,yi,j)和邊界所收集的光子。因而，與在傳感器微圖像5的中心(xi,j,yi,j)附近所收集的光子相比，在傳感器微圖像5的邊界處所收集的光子更加受到色像差的影響。換句話說，每個微透鏡圖像的圖像質(zhì)量從中心(xi,j,yi,j)到邊界有所變化。與位于傳感器微圖像5的邊界處的像素相比，在傳感器微圖像5的中心處的像素帶來更銳利的細節(jié)和色彩。1.1.6安裝在全光相機上的CFA為了記錄有色4D光場，將CFA定位在記錄4D光場的傳感器上。例如，假定CFA由坐標(biāo)(a,b)的M×M個像素構(gòu)成，其中(a,b)∈[0,M[2。4D光場加上色彩參數(shù)變?yōu)?D光場(x,y,i,j,ca,b)，其中ca,b是CFA坐標(biāo)(a,b)的色彩。圖11示出設(shè)置在記錄4D光場的傳感器之上的拜耳圖案(M＝2)。利用等式(2)執(zhí)行5D光場的重聚焦，但是5D光場的重聚焦被獨立地應(yīng)用至CFA的每個色彩ca,b。因而可以獲得M2重聚焦圖像Ra,b，然后將這些圖像Ra,b進行組合，以便計算RGB重聚焦圖像的3個色彩分量：Rred、Rgreen和Rblue。例如，在拜耳圖案M＝2的情況下，c0,0＝Red(紅)、c1,1＝Blue(藍)、c1,0＝c1,0＝Green(綠)。RGB重聚焦圖像的三個色彩分量等于Rred＝R0,0、Rgreen＝(R0,1+R1,0)/2以及Rred＝R1,1。1.2本公開的第一實施例的描述圖12示出根據(jù)本公開的一個實施例的傳感器4。該傳感器4可以被安裝在全光相機1上，其包括多個微圖像區(qū)域5，每一個微圖像區(qū)域被CFA6覆蓋。傳感器4是使用CMOS(互補金屬氧化物半導(dǎo)體)技術(shù)的CCD(電荷耦合器件)類型。然而，本領(lǐng)域技術(shù)人員將理解，這種傳感器4可以可替換地具體化為基于光流尖峰的傳感器(例如，人造硅視網(wǎng)膜)或者從
背景技術(shù)：
已知的任何其它類型的光電傳感器。如圖12所示出的CFA6是拜耳濾色器。然而，本領(lǐng)域技術(shù)人員將理解，在不脫離公開的范圍的情況下，這種CFA6可以可替換地具體化為RGBE濾色器、CYYM濾色器或者從
背景技術(shù)：
已知的任何其它類型的CFA。在本公開的一個實施例中，CFA6的色彩飽和度從傳感器微圖像5的中心(X)到邊界降低。圖12的上部示出色彩飽和度的這種減小，其中對于分別位于中心(xi,j,yi,j)的以及位于遠離中心(xi,j,yi,j)一個、兩個和三個像素處的像素，色彩飽和度被設(shè)置為100％、50％、25％和12.5％。在本公開的另一個實施例中，如圖12的下部所示出的，根據(jù)函數(shù)f(該函數(shù)返回[0.0,1.0]之間的值并且從f(d＝0)到f(p/2)降低)給出色彩飽和度在該特定實施例中，色彩的飽和度從傳感器微圖像5的中心(xi,j,yi,j)處的1線性地變化為在其邊界處的0。給定的色彩分量是HSV色彩空間：從微圖像區(qū)域5的中心(xi,j,yi,j)到邊界的飽和度的這樣平滑的變化防止了重聚焦圖像的色彩飽和度的階梯效應(yīng)。與常用拜耳濾色器相比，該CFA的飽和度的降低允許捕捉更多光子，因此改善了傳感器4的光敏性。此外，由于與穿過主透鏡光瞳邊界的光子相比，由較少像差的光子照射在中心(xi,j,yi,j)處的像素，因此這樣的傳感器4允許限制色像差出現(xiàn)的風(fēng)險，同時保持滿意的色彩靈敏度。1.3本公開的第二實施例的描述根據(jù)本公開的第二實施例，僅僅將CFA6應(yīng)用于傳感器微圖像5的一部分上。圖13示出由具有微透鏡陣列3的全光相機1所捕捉的4D光場，該微透鏡陣列3具有正方形柵格以及間距φ＝8δ(8個像素)。僅僅在位于每個傳感器微圖像5的中心(xi,j,yi,j)處的4×4像素上重復(fù)拜耳圖案。微透鏡圖像的直徑p等于p＝φ(D+d)/D。但是由于(D+d)/D非常接近于1.0，所以可以認為通過微透鏡陣列的間距給出微透鏡圖像的直徑。與覆蓋傳感器微圖像5的全部的CFA6相比，該特定設(shè)計使得傳感器4對光更敏感。出于說明的目的，在運行條件中對如圖13所示的根據(jù)第二實施例的、且具有CFA6的不變的色彩飽和度的傳感器4進行測試。對于這樣的傳感器4，每個微透鏡圖像覆蓋50.26個像素，并且僅僅16個像素(即，被拜耳圖案覆蓋的4x4個像素)接收減小量的光。傳感器微圖像5從16個像素收集一半光子并且從剩余的像素收集所有可見光子。所記錄的光子的數(shù)量相比于光子的總數(shù)量是(50.26-16*0.5)/50.26＝84％。與覆蓋所有像素的典型50％的拜耳圖案相比，該比率更大。本領(lǐng)域技術(shù)人員將理解，在具有從傳感器微圖像5的中心(xi,j,yi,j)到邊界降低的CFA的色彩飽和度的、根據(jù)第二實施例的傳感器4的情況下，與所記錄的光子的數(shù)量相比于光子的總數(shù)量相對應(yīng)的比率明顯更高，進一步改善了傳感器4的光敏性。1.4計算RGB重聚焦圖像以下段落涉及根據(jù)本公開的第二實施例的傳感器4。本領(lǐng)域技術(shù)人員將理解，可以在不脫離本公開的范圍的情況下將這種實施方式應(yīng)用于根據(jù)本公開的第一實施例的傳感器4?，F(xiàn)在考慮根據(jù)本公開的第二實施例的傳感器4，可以計算與CFA圖案的M2濾色器相對應(yīng)的M2重聚焦圖像Ra,b加上與未被濾色器6覆蓋的像素相對應(yīng)的單個重聚焦圖像RT?？梢允褂萌舾煞椒▉韺2重聚焦圖像Ra,b和RT重聚焦圖像轉(zhuǎn)換為3個色彩分量：重聚焦圖像的Rred、Rgreen和Rblue。例如，在拜耳圖案M＝2的情況下，c0,0＝Red、c1,1＝Blue、c1,0＝c1,0＝Green?？梢酝ㄟ^Rred＝(R0,0+RT)/2、Rgreen＝(R0,1/2+R1,0/2+RT)/2以及Rred＝(R1,1+RT)/2來計算RGB重聚焦圖像的三個色彩分量。明顯地，可以在不脫離本公開的范圍的情況下使用其它組合。如圖14所示的，根據(jù)本公開的一個實施例的該方法包括：·確定7被濾色陣列6覆蓋的微圖像區(qū)域像素(i,j)的重聚焦圖像Ra,b，·確定8未被濾色陣列6覆蓋的微圖像區(qū)域像素(i,j)的重聚焦圖像RT，·通過將重聚焦圖像Ra,b和重聚焦圖像RT進行組合來確定9色彩分量RX。所述確定RX9對重聚焦圖像RT實現(xiàn)權(quán)重(W)。本領(lǐng)域技術(shù)人員將理解，表述“色彩分量”指的是所實現(xiàn)的CFA的任何色彩分量。例如，當(dāng)考慮被拜耳濾色器覆蓋的傳感器時，要被確定的色彩分量可以是紅色Rr、綠色Rg或藍色Rb分量。與另一個Ra,b重聚焦圖像相比，RT重聚焦圖像具有較低的圖像質(zhì)量，這是因為其收集受到主透鏡2的光學(xué)像差較大影響的光子。為了考慮該圖像屬性，根據(jù)局部對比度將RT與Ra,b的值混合。例如：在Ra,b上局部所識別的紋理周圍，減小RT相對于Ra,b的權(quán)重(W)。RT相對于Ra,b的這種權(quán)重W到Ra,b和RT的組合的實施方式具有以下優(yōu)點：將遭受較大光學(xué)像差的光子與受到主透鏡的光學(xué)像差較少影響的光子相區(qū)分。圖15是示出根據(jù)本公開的實施例的、用于確定被濾色陣列6部分覆蓋的微圖像區(qū)域5的至少一個重聚焦圖像色彩分量RX的裝置10的示例的示意性框圖。這種裝置10包括通過總線14連接的處理器11、存儲單元12、接口單元13和傳感器4。當(dāng)然，可以通過與使用總線14的總線連接不同的連接將計算機裝置10構(gòu)成元件進行連接。處理器11控制裝置10的操作。存儲單元12存儲將要由處理器11執(zhí)行的至少一個程序以及各種數(shù)據(jù)，所述各種數(shù)據(jù)包括全光圖像的數(shù)據(jù)、由處理器11執(zhí)行的計算所使用的參數(shù)、由處理器11執(zhí)行的計算的中間數(shù)據(jù)等?？梢酝ㄟ^任何已知的和合適的硬件或軟件，或者通過硬件和軟件的組合來形成處理器11。例如，可以通過諸如處理電路之類的專用硬件，或者通過執(zhí)行存儲在其存儲器中的程序的諸如CPU(中央處理單元)之類的可編程處理單元來形成處理器11?？梢酝ㄟ^任何適當(dāng)?shù)拇尜A器或能夠以計算機可讀方式存儲程序、數(shù)據(jù)等的部件來形成存儲單元12。存儲單元12的示例包括諸如半導(dǎo)體存儲器設(shè)備之類的非暫時性計算機可讀存儲介質(zhì)，以及加載到讀和寫單元中的磁性、光學(xué)或磁光記錄介質(zhì)。程序使得處理器11執(zhí)行如上參考圖14所描述的根據(jù)本公開的實施例的、用于確定被濾色陣列6部分覆蓋的微圖像區(qū)域5的至少一個重聚焦圖像色彩分量RX的處理。接口單元13提供裝置10和外部裝置之間的接口。接口單元13可以經(jīng)由電纜或無線通信與外部裝置進行通信。在該實施例中，外部裝置可以是全光相機。在這種情況下，可以通過接口單元13將全光圖像從全光相機輸入到裝置10，并且然后將其存儲在存儲單元12中。裝置10和全光相機可以經(jīng)由電纜或無線通信與彼此進行通信。雖然在圖15上僅示出一個處理器11，但技術(shù)人員將理解，這種處理器可以包括體現(xiàn)由根據(jù)本公開的實施例的裝置10所執(zhí)行的功能的不同模塊和單元，諸如：‐用于確定被濾色陣列6覆蓋的微圖像區(qū)域像素(i,j)的重聚焦圖像Ra,b的模塊；‐用于確定未被濾色陣列6覆蓋的微圖像區(qū)域像素(i,j)的重聚焦圖像RT的模塊；‐用于通過將重聚焦圖像Ra,b和重聚焦圖像RT進行組合來確定色彩分量RX的模塊。這些模塊也可以被具體化在彼此通信且協(xié)作的若干處理器9中。本領(lǐng)域技術(shù)人員將理解，本發(fā)明的原理的各方面可以被具體化為系統(tǒng)、方法或計算機可讀介質(zhì)。因此，本發(fā)明的原理的各方面可以采取完全硬件實施例、完全軟件實施例(包括固件、常駐軟件、微指令，等等)，或者組合軟件和硬件方面的實施例的形式。當(dāng)通過一個或若干硬件組件實施本發(fā)明的原理時，可以注意到，硬件組件包括諸如中央處理單元之類的作為集成電路的處理器，和/或微處理器，和/或?qū)Ｓ眉呻娐?ASIC)，和/或?qū)Ｓ弥噶罴幚砥?ASIP)，和/或圖形處理單元(GPU)，和/或物理處理單元(PPU)，和/或數(shù)字信號處理器(DSP)，和/或圖像處理器，和/或協(xié)處理器，和/或浮點單元，和/或網(wǎng)絡(luò)處理器，和/或音頻處理器，和/或多核處理器。而且，硬件組件也可以包括基帶處理器(例如包括存儲器單元，和固件)和/或接收或傳送無線電信號的無線電電子電路(其可以包括天線)。在一個實施例中，硬件組件符合一個或多個標(biāo)準，諸如ISO/IEC18092/ECMA-340、ISO/IEC21481/ECMA-352、GSMA、StoLPaN、ETSI/SCP(智能卡平臺)、GlobalPlatform(即，安全元件)。在變型中，硬件組件是射頻識別(RFID)標(biāo)簽。在一個實施例中，硬件組件包括使得能夠進行藍牙通信和/或Wi-Fi通信和/或Zigbee通信和/或USB通信和/或火線通信和/或NFC(用于近場)通信的電路。此外，本發(fā)明的原理的各方面可以采取計算機可讀存儲介質(zhì)的形式?？梢岳靡粋€或多個計算機可讀存儲介質(zhì)的任何組合。因此例如，將理解的是，任何流程、流程圖、狀態(tài)轉(zhuǎn)移圖、偽代碼等表示可以基本上以計算機可讀存儲介質(zhì)表示的并且因而由計算機或處理器執(zhí)行(不管是否明確示出這種計算機或處理器)的各種處理。盡管已經(jīng)參考一個或多個示例描述了本公開，但技術(shù)人員將認識到，在不脫離本公開的范圍和/或所附權(quán)利要求的情況下可以在形式和細節(jié)方面進行改變。當(dāng)前第1頁1 2 3