攝像元件的制作方法
【專利摘要】由暗角造成通過光瞳周圍部的光束無法到達(dá)攝像元件周圍部的問題。此處提供一種攝像元件，二維且周期性排列有以將入射光光電轉(zhuǎn)換為電信號的多個(gè)光電轉(zhuǎn)換元件為一組的光電轉(zhuǎn)換元件組；與構(gòu)成光電轉(zhuǎn)換元件組的多個(gè)光電轉(zhuǎn)換元件的每一個(gè)對應(yīng)設(shè)置的開口掩模的開口被定位為，使來自于入射光的截面區(qū)域中包含的互不相同的部分區(qū)域的光束通過；關(guān)于構(gòu)成光電轉(zhuǎn)換元件組的多個(gè)光電轉(zhuǎn)換元件的數(shù)量，相對于所排列光電轉(zhuǎn)換元件組的整體而言，排列于周圍部的光電轉(zhuǎn)換元件組比排列于中心部的光電轉(zhuǎn)換元件組更少。
【專利說明】攝像元件
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及一種攝像元件。
【背景技術(shù)】
[0002]已知的立體攝像裝置使用兩個(gè)攝影光學(xué)系統(tǒng)拍攝由右眼用圖像和左眼用圖像構(gòu)成的立體圖像。這種立體攝像裝置通過以一定間隔設(shè)置兩個(gè)攝像光學(xué)系統(tǒng)，在對同一被拍對象進(jìn)行拍攝而得到的兩個(gè)圖像上產(chǎn)生視差。
[0003]專利文獻(xiàn)1:日本特開平8-47001號公報(bào)

【發(fā)明內(nèi)容】

[0004]發(fā)明要解決的問題:
[0005]當(dāng)通過各自獨(dú)立的攝像系統(tǒng)來取得多個(gè)視差圖像時(shí)，有可能在事實(shí)上忽略暗角(Vignetting)的影響。然而，在從一個(gè)攝像系統(tǒng)通過一次曝光動(dòng)作輸出用于生成多個(gè)視差圖像的圖像信號的攝像元件的情形下，會(huì)存在由暗角造成通過光瞳周圍部的光束無法到達(dá)攝像元件周圍部的問題。
[0006]解決問題的方案:
[0007]本發(fā)明具體方式中的攝像元件二維且周期性排列有以將入射光光電轉(zhuǎn)換為電信號的多個(gè)光電轉(zhuǎn)換元件為一組的光電轉(zhuǎn)換元件組；與構(gòu)成光電轉(zhuǎn)換元件組的多個(gè)光電轉(zhuǎn)換元件的每一個(gè)對應(yīng)設(shè)置的開口掩模的開口被定位為，使來自于入射光的截面區(qū)域中包含的互不相同的部分區(qū)域的光束通過；關(guān)于構(gòu)成光電轉(zhuǎn)換元件組的多個(gè)光電轉(zhuǎn)換元件的數(shù)量，相對于所排列光電轉(zhuǎn)換元件組的整體而言，排列于周圍部的光電轉(zhuǎn)換元件組比排列于中心部的光電轉(zhuǎn)換元件組更少。
[0008]另外，上述
【發(fā)明內(nèi)容】
并未列舉出本發(fā)明的全部可能特征，所述特征組的子組合也有可能構(gòu)成發(fā)明。
【專利附圖】

【附圖說明】
[0009]圖1為本發(fā)明實(shí)施形態(tài)所述數(shù)碼相機(jī)的結(jié)構(gòu)說明圖。
[0010]圖2為顯示本發(fā)明實(shí)施形態(tài)所述攝像元件的截面示意圖。
[0011]圖3為將攝像元件的一部分放大顯示后的樣子的示意圖。
[0012]圖4為說明位于攝像元件中心部的視差像素與被拍對象的關(guān)系的示意圖。
[0013]圖5為說明位于攝像元件周圍部的視差像素與被拍對象的關(guān)系的示意圖。
[0014]圖6為說明位于攝像元件各區(qū)域的重復(fù)圖案的圖。
[0015]圖7為說明生成視差圖像的處理的示意圖。
[0016]圖8為表不重復(fù)圖案的另一例的圖。
[0017]圖9為表示重復(fù)圖案的又一例的圖。
[0018]圖10為說明位于輸出垂直視差圖像的攝像元件的各區(qū)域的重復(fù)圖案的圖。[0019]圖11為說明彩色濾光片陣列的圖。
[0020]圖12為表示彩色濾光片陣列與視差像素的關(guān)系的圖。
[0021]圖13為表示視差圖像與2D圖像的生成過程的示意圖。
【具體實(shí)施方式】
[0022]以下通過發(fā)明實(shí)施方式對本發(fā)明進(jìn)行說明，但以下實(shí)施方式并非對權(quán)利要求書所涉及的發(fā)明進(jìn)行限定。并且，實(shí)施方式中說明的特征組合也并非全部為本發(fā)明的必要特征。
[0023]本實(shí)施形態(tài)所述數(shù)碼相機(jī)作為一種攝像裝置形態(tài)，通過對一個(gè)場景進(jìn)行一次拍攝便能生成多個(gè)視點(diǎn)數(shù)的圖像。將視點(diǎn)各不相同的各個(gè)圖像稱為視差圖像。
[0024]圖1為本發(fā)明實(shí)施形態(tài)所述數(shù)碼相機(jī)10的結(jié)構(gòu)說明圖。數(shù)碼相機(jī)10包括作為攝影光學(xué)系統(tǒng)的攝影透鏡20，將沿光軸21入射的被拍對象光束引導(dǎo)至攝像元件100。攝影透鏡20也可以是相對于數(shù)碼相機(jī)10可裝卸的交換式鏡頭。數(shù)碼相機(jī)10包括:攝像元件100、控制部201、A/D轉(zhuǎn)換電路202、存儲器203、驅(qū)動(dòng)部204、存儲卡接口(IF，InterFace) 207、操作部208、顯示部209及IXD驅(qū)動(dòng)電路210。
[0025]另外，如圖所示，將朝向攝像元件100的、與光軸21相平行的方向定為+Z軸方向，將在與Z軸相垂直的平面中朝向紙面前方的方向定為+X軸方向，將紙面上方向定為+Y軸方向。與攝影中的構(gòu)圖的關(guān)系為，X軸為水平方向、Y軸為垂直方向。在此后的幾個(gè)圖中，以圖1的座標(biāo)軸為基準(zhǔn)來顯示座標(biāo)軸，以表明各圖的朝向。
[0026]攝影透鏡20由多個(gè)光學(xué)透鏡組構(gòu)成，使來自于場景的被拍對象光束在其焦點(diǎn)面附近成像。另外，在圖1中，為了便于說明攝影透鏡20，以設(shè)置在光瞳附近的一個(gè)假想透鏡為代表進(jìn)行表示。攝像元件100設(shè)置于攝影透鏡20的焦點(diǎn)面附近。攝像元件100為二維地排列有多個(gè)光電轉(zhuǎn)換元件的例如CCD (電荷藕合器件，Charge Coupled Device)、CM0S (互補(bǔ)金屬氧化物半導(dǎo)體，Complementary Metal Oxide Semiconductor)傳感器等圖像傳感器。攝像元件100由驅(qū)動(dòng)部204進(jìn)行定時(shí)控制，將受光面上成像的被拍對象像轉(zhuǎn)換成圖像信號并輸出給Α/D轉(zhuǎn)換電路202。
[0027]Α/D轉(zhuǎn)換電路202將由攝像元件100輸出的圖像信號轉(zhuǎn)換成數(shù)字圖像信號并輸出給存儲器203。作為控制部201的一部分的圖像處理部205將存儲器203作為工作空間來進(jìn)行各種圖像處理，生成圖像數(shù)據(jù)。例如當(dāng)生成JPEG(聯(lián)合圖像專家組,Joint PhotographicExperts Group)文件格式的圖像數(shù)據(jù)時(shí)，在施加白平衡處理、灰度處理等處理后執(zhí)行壓縮處理。生成的圖像數(shù)據(jù)由IXD驅(qū)動(dòng)電路210轉(zhuǎn)換成顯示信號，由顯示部209進(jìn)行顯示。并且記錄在裝設(shè)于存儲卡IF207上的存儲卡220中。
[0028]操作部208收到用戶的操作后向控制部201輸出操作信號，從而開始一連串的攝影過程。攝影過程所附帶的AF (自動(dòng)調(diào)焦，Auto Focus)、AE (自動(dòng)曝光,Auto Exposure)等各種動(dòng)作對應(yīng)于運(yùn)算部206的運(yùn)算結(jié)果執(zhí)行。
[0029]數(shù)碼相機(jī)10除了通常的攝影模式以外還具有視差圖像攝影模式。用戶能夠通過在觀看顯示有菜單畫面的顯示部的同時(shí)對操作部208進(jìn)行操作，來選擇這些模式中任意一種。
[0030]以下，對攝像元件100的結(jié)構(gòu)進(jìn)行詳細(xì)說明。圖2為表示本實(shí)施方式所述攝像元件的截面示意圖。圖2(a)為彩色濾光片102與開口掩模103分體構(gòu)成的攝像元件100的截面示意圖。并且，圖2(b)為作為攝像元件100的變形例，具有彩色濾光片部122與開口掩模部123 —體構(gòu)成的屏幕濾波器121的攝像元件120的截面示意圖。
[0031]如圖2(a)所示，從被拍對象側(cè)開始依次排列有微型透鏡101、彩色濾光片102、開口掩模103、布線層105及光電轉(zhuǎn)換元件108，從而構(gòu)成攝像元件100。光電轉(zhuǎn)換元件108由將入射的光轉(zhuǎn)換成電信號的光電二極管構(gòu)成。多個(gè)光電轉(zhuǎn)換元件108在基板109的表面上二維排列。
[0032]由光電轉(zhuǎn)換元件108轉(zhuǎn)換的圖像信號以及控制光電轉(zhuǎn)換元件108的控制信號等通過布線層105上設(shè)置的布線106進(jìn)行收發(fā)。而且,具有與各個(gè)光電轉(zhuǎn)換兀件108 對應(yīng)設(shè)置的開口部104的開口掩模103與布線層相接觸。如后所述，使開口部104相對于各個(gè)相應(yīng)的光電轉(zhuǎn)換元件108偏移，并嚴(yán)格地確定了相對位置。通過具有該開口部104的開口掩模103的作用，在光電轉(zhuǎn)換元件108受光的被拍對象光束上產(chǎn)生視差，詳細(xì)內(nèi)容將在后續(xù)內(nèi)容進(jìn)行說明。
[0033]另一方面，在不產(chǎn)生視差的光電轉(zhuǎn)換元件108上不存在開口掩模103。換言之，設(shè)置的開口掩模103所具有的開口部104并不限制向相應(yīng)的光電轉(zhuǎn)換元件108入射的被拍對象光束，而是使全部有效光束均穿過。雖然沒有產(chǎn)生視差，但由于通過布線106所形成的開口 107實(shí)質(zhì)上規(guī)定了入射的被拍對象光束，因此可以將布線106看做是使不產(chǎn)生視差的全部有效光束穿過的開口掩模。開口掩模103可以分別對應(yīng)于各個(gè)光電轉(zhuǎn)換元件108獨(dú)立排列，也可以與彩色濾光片102的制造過程相同，對應(yīng)于多個(gè)光電轉(zhuǎn)換元件108統(tǒng)一形成。
[0034]彩色濾光片102設(shè)置于開口掩模103上。彩色濾光片102是分別與各個(gè)光電轉(zhuǎn)換元件108 —一對應(yīng)設(shè)置、通過對各個(gè)光電轉(zhuǎn)換元件108進(jìn)行著色而使特定波段透過的濾光片。要輸出彩色圖像，只要排列彼此各異的至少三種彩色濾光片即可。這些彩色濾光片可以認(rèn)為是用于生成彩色圖像的原色濾光片。原色濾光片的組合例如為:使紅色波段透過的紅色濾光片、使綠色波段透過的綠色濾光片、以及使藍(lán)色波段透過的藍(lán)色濾光片。這些彩色濾光片如后所述對應(yīng)于光電轉(zhuǎn)換元件108排列成網(wǎng)格狀。彩色濾光片不僅為原色RGB的組合，也可以為YeCyMg的補(bǔ)色濾光片的組合。
[0035]微型透鏡101設(shè)置于彩色濾光片102上。微型透鏡101是用于將入射的被拍對象光束更多地引導(dǎo)至光電轉(zhuǎn)換元件108的聚光透鏡。微型透鏡101分別與光電轉(zhuǎn)換元件108一一對應(yīng)設(shè)置。優(yōu)選是微型透鏡101考慮攝影透鏡20的光瞳中心與光電轉(zhuǎn)換元件108的相對位置關(guān)系來移動(dòng)其光軸，以使更多的被拍對象光束被引導(dǎo)至光電轉(zhuǎn)換元件108。進(jìn)一步地，可以與開口掩模103的開口部104的位置共同調(diào)整設(shè)置位置，以使后述特定的被拍對象光束更多地入射。
[0036]如此，將與各個(gè)光電轉(zhuǎn)換元件108——對應(yīng)設(shè)置的開口掩模103、彩色濾光片102及微型透鏡101的一個(gè)單位稱為像素。具體地，將設(shè)置有產(chǎn)生視差的開口掩模103的像素稱為視差像素，將沒有設(shè)置產(chǎn)生視差的開口掩模103的像素稱為無視差像素。例如，當(dāng)攝像元件100的有效像素區(qū)域?yàn)?4_X16mm左右時(shí)，像素?cái)?shù)達(dá)到1200萬個(gè)左右。
[0037]另外，在聚光效率、光電轉(zhuǎn)換效率優(yōu)良的圖像傳感器的情形中，也可以不設(shè)置微型透鏡101。而且，在背面照射型圖像傳感器的情形中，布線層105設(shè)置于光電轉(zhuǎn)換元件108的相對側(cè)。
[0038]在彩色濾光片102與開口掩模103的組合中存在各種變化。在圖2(a)中，如果使開口掩模103的開口部104具有色彩成分，則可以將彩色濾光片102與開口掩模103 —體形成。而且，在將特定像素作為取得被拍對象亮度信息的像素時(shí)，也可以不在該像素中設(shè)置相應(yīng)的彩色濾光片102?；蛘咭部梢耘帕形词┘又耐该鳛V光片，以便使可見光的幾乎整個(gè)波段均透過。
[0039]以將取得亮度信息的像素作為視差像素時(shí),也就是說,一旦將視差圖像作為單色圖像輸出，便有可能采用圖2(b)所示的攝像元件120的結(jié)構(gòu)。即，可以在微型透鏡101與布線層105之間設(shè)置由發(fā)揮彩色濾光片功能的彩色濾光片部122與具有開口部104的開口掩模部123 —體構(gòu)成的屏幕濾光片121。
[0040]例如將彩色濾光片部122著色成藍(lán)色、綠色、紅色，將開口掩模部123除開口部104以外的掩模部分著色成黑色，從而形成屏幕濾光片121。采用屏幕濾光片121的攝像元件120與攝像元件100相比，由于從微型透鏡101到光電轉(zhuǎn)換元件108的距離較短，因此被拍對象光束的聚光效率較高。
[0041]以下對開口掩模103的開口部104與生成視差的關(guān)系進(jìn)行說明。圖3為表示將攝像元件100的中央部附近的一部分放大的樣子的示意圖。此處，為簡化說明，暫未考慮彩色濾光片102的配色，將在后述內(nèi)容再提及。當(dāng)不具備彩色濾光片102時(shí)，攝像元件100可以作為單色圖像傳感器生成單色視差圖像。另外，在未提及彩色濾光片102的配色的以下說明中，可以認(rèn)為是僅集成了具有同色的彩色濾光片102的視差像素的圖像傳感器。因此，以下所說明的重復(fù)圖案也可以被認(rèn)為是同色的彩色濾光片102中的相鄰像素。
[0042]如圖3所示，開口掩模103的開口部104相對于各個(gè)像素相對偏移設(shè)置。而且，在相鄰像素的彼此之間，各個(gè)開口部104設(shè)置于彼此錯(cuò)位的位置。
[0043]在圖中的例子中，根據(jù)開口部104相對于各個(gè)像素的位置的不同，預(yù)先準(zhǔn)備有沿X軸彼此偏移的六種開口掩模103。而且，在整個(gè)攝像元件100中二維地且周期性地排列有光電轉(zhuǎn)換元件組，該光電轉(zhuǎn)換元件組以分別具有從-X側(cè)往+X側(cè)逐漸偏移的開口部104的六個(gè)視差像素為一組。即，可以說攝像元件100是包含一組光電轉(zhuǎn)換元件組的重復(fù)圖案110周期性且連續(xù)地鋪設(shè)而構(gòu)成。另外，在圖中的例子中，雖然使開口部104的形狀為縱長的長方形，但不限于此。只要是相對于像素中心偏移并能朝向光瞳上特定部分區(qū)域的開口，便可以采用各種形狀。
[0044]圖4為說明攝像元件100中心部的視差像素與被拍對象的關(guān)系的示意圖。尤其是，圖4(a)示意性地表示當(dāng)攝像元件100中排列在與攝影光軸21相垂直的中心的重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組捕捉位于相對于攝影透鏡20聚焦位置的被拍對象30時(shí)的樣子。圖4(b)對應(yīng)于圖4(a)示意性地表示捕捉相對于攝影透鏡20位于非聚焦位置的被拍對象31時(shí)的關(guān)系。
[0045]首先說明當(dāng)攝像元件100捕捉處于聚焦?fàn)顟B(tài)的被拍對象30時(shí)的視差像素與被拍對象的關(guān)系。被拍對象光束通過攝影透鏡20的光瞳被引導(dǎo)向攝像元件100，對被拍對象光束所通過的整個(gè)截面區(qū)域規(guī)定了六個(gè)部分區(qū)域Pa?Pf。而且，從放大圖可以看到，例如構(gòu)成重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組的-X側(cè)端的像素中確定開口掩模103的開口部104f的位置，使得僅有從部分區(qū)域Pf射出的被拍對象光束到達(dá)光電轉(zhuǎn)換元件108。同樣地，朝向+X側(cè)端的像素中分別確定:開口部104e對應(yīng)于部分區(qū)域Pe的位置、開口部104d對應(yīng)于部分區(qū)域Pd的位置、開口部104c對應(yīng)于部分區(qū)域Pc的位置、開口部104b對應(yīng)于部分區(qū)域Pb的位置、開口部104a對應(yīng)于部分區(qū)域Pa的位置。
[0046]換言之，例如也可以說根據(jù)由部分區(qū)域Pf與-X側(cè)端的像素的相對位置關(guān)系所定義的從部分區(qū)域Pf射出的被拍對象光束的主光線Rf的斜率來確定開口部104f的位置。而且，當(dāng)來自于位于聚焦位置的被拍對象30的被拍對象光束經(jīng)過開口部104f而被光電轉(zhuǎn)換元件108接收時(shí)，該被拍對象光束如虛線所示在光電轉(zhuǎn)換元件108上成像。同樣地，可以說朝向+X側(cè)端的像素分別根據(jù)主光線Re的斜率來確定開口部104e的位置、根據(jù)主光線Rd的斜率來確定開口部104d的位置、根據(jù)主光線Re的斜率來確定開口部104c的位置、根據(jù)主光線Rb的斜率來確定開口部104b的位置、根據(jù)主光線Ra的斜率確定開口部104a的位置。
[0047]如圖4(a)所示，在位于聚焦位置的被拍對象30中，從與光軸21相交叉的被拍對象30上的微小區(qū)域Ot放射的光束穿過攝影透鏡20的光瞳到達(dá)構(gòu)成重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組的各個(gè)像素。即，構(gòu)成重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組的各個(gè)像素分別透過六個(gè)部分區(qū)域Pa?Pf接收到從一個(gè)微小區(qū)域Ot放射的光束。微小區(qū)域Ot具有與構(gòu)成重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組的各個(gè)像素的錯(cuò)位相對應(yīng)程度的擴(kuò)散，但也可以實(shí)質(zhì)上近似于大致同一物點(diǎn)。
[0048]以下說明由攝影透鏡20捕捉處于非聚焦?fàn)顟B(tài)的被拍對象31時(shí)的、視差像素與被拍對象的關(guān)系。在此情形中，來自于位于非聚焦位置的被拍對象31的被拍對象光束也透過攝影透鏡20的光瞳的六個(gè)部分區(qū)域Pa?Pf到達(dá)攝像元件100。然而，來自于處于非聚焦位置的被拍對象31的被拍對象光束并不在光電轉(zhuǎn)換元件108上成像，而是在其他位置成像。例如，如圖4(b)所示，當(dāng)被拍對象31位于比被拍對象30更加遠(yuǎn)離攝像元件100的位置時(shí)，被拍對象光束與光電轉(zhuǎn)換元件108相比在更靠近被拍對象31側(cè)成像。相反，當(dāng)被拍對象31位于比被拍對象30更接近攝像元件100的位置時(shí)，被拍對象光束與光電轉(zhuǎn)換元件108相比在被拍對象31的相對側(cè)成像。
[0049]因此，在位于非聚焦位置的被拍對象31中，從微小區(qū)域0t’放射的被拍對象光束，根據(jù)透過六個(gè)部分區(qū)域Pa?Pf中的哪一個(gè)部分區(qū)域，而到達(dá)不同組的重復(fù)圖案110中的相應(yīng)像素。例如，如圖4(b)的放大圖所示，透過部分區(qū)域Pd的被拍對象光束作為主光線Rd’入射到重復(fù)圖案110t’中包含的具有開口部104d的光電轉(zhuǎn)換元件108。而且，即使是從微小區(qū)域0t’放射的被拍對象光束，透過其他部分區(qū)域的被拍對象光束也不會(huì)入射到重復(fù)圖案110t’中包含的光電轉(zhuǎn)換元件108，而是入射到另一重復(fù)圖案中具有相應(yīng)開口部的光電轉(zhuǎn)換元件108。換言之，到達(dá)構(gòu)成重復(fù)圖案110t’的各光電轉(zhuǎn)換元件108的被拍對象光束是從被拍對象31中互不相同的微小區(qū)域放射的被拍對象光束。也就是說，以Rd’為主光線的被拍對象光束入射到與開口部104d對應(yīng)的108，以Ra+、Rb+、Re+、Re+、Rf+為主光線的被拍對象光束入射到與其他開口部對應(yīng)的光電轉(zhuǎn)換元件108，這些被拍對象光束都是從被拍對象31中互不相同的微小區(qū)域放射的被拍對象光束。
[0050]圖5為說明攝像元件100的周圍部中的視差像素與被拍對象的關(guān)系的示意圖。與圖4(a)相同，圖5中的被拍對象30相對于攝影透鏡20位于聚焦位置。此處，如果認(rèn)為沒有后述暗角的影響，從位于聚焦位置的被拍對象30中的、離開光軸21的被拍對象30上的微小區(qū)域Ou放射的光束通過攝影透鏡20的光瞳到達(dá)構(gòu)成重復(fù)圖案110U的光電轉(zhuǎn)換元件組的各像素。S卩，構(gòu)成重復(fù)圖案110U的光電轉(zhuǎn)換元件組的各像素接收從一個(gè)微小區(qū)域Ou放射出并經(jīng)過各個(gè)六個(gè)部分區(qū)域Pa?Pf的光束。微小區(qū)域Ou也與微小區(qū)域Ot相同，具有與構(gòu)成重復(fù)圖案IlOu的光電轉(zhuǎn)換元件組的各個(gè)像素的錯(cuò)位相對應(yīng)程度的擴(kuò)散，但也可以實(shí)質(zhì)上近似于大致同一物點(diǎn)。
[0051]也就是說，只要被拍對象30位于聚焦位置，對應(yīng)于攝像元件100上的重復(fù)圖案110的位置，光電轉(zhuǎn)換元件組所捕捉到的微小區(qū)域各不相同，且構(gòu)成光電轉(zhuǎn)換元件組的各像素透過彼此不同的部分區(qū)域捕捉同一微小區(qū)域。而且，在各個(gè)重復(fù)圖案110中，相應(yīng)像素彼此之間接收來自于同一部分區(qū)域的被拍對象光束。例如，重復(fù)圖案IlOtUlOU的各個(gè)-X側(cè)端的像素(具有開口部104f的視差像素)接收來自相同部分區(qū)域Pf的被拍對象光束。
[0052]在排列于與攝影光軸21相垂直的中心的重復(fù)圖案IlOt中-X側(cè)端的像素接收來自于部分區(qū)域Pf的被拍對象光束的開口部104f的位置與排列于周圍部分的重復(fù)圖案IlOu中-X側(cè)端的像素接收來自于部分區(qū)域Pf的被拍對象光束的開口部104f的位置嚴(yán)格不同。然而，從功能的觀點(diǎn)來看，在用于接收來自于部分區(qū)域Pf的被拍對象光束的開口掩模這點(diǎn)上，可以將它們作為同種開口掩模進(jìn)行處理。因此可以說重復(fù)圖案IlOt及IlOU中的各個(gè)視差像素具有6種開口掩模中的一種。
[0053]當(dāng)把攝像元件100作為一個(gè)整體時(shí)，例如，由與開口部104a對應(yīng)的光電轉(zhuǎn)換元件108捕捉到的被拍對象像A和由與開口部104d對應(yīng)的光電轉(zhuǎn)換元件108捕捉到的被拍對象像D，如果是針對位于聚焦位置的被拍對象的像，就不會(huì)彼此錯(cuò)位，而如果是針對位于非聚焦位置的被拍對象的像，則會(huì)產(chǎn)生錯(cuò)位。而且，該錯(cuò)位根據(jù)位于非聚焦位置的被拍對象相對于聚焦位置朝哪一側(cè)以何種程度錯(cuò)位，或者根據(jù)部分區(qū)域Pa與部分區(qū)域Pd的距離來確定方向和量。也就是說，被拍對象像A與被拍對象像D彼此成為視差像。該關(guān)系對于其他開口部也是相同的，因此對應(yīng)于開口部104a?104f形成六個(gè)視差像。
[0054]因此，在如此構(gòu)成的各個(gè)重復(fù)圖案110中，匯集彼此對應(yīng)的像素的輸出便得到視差圖像。也就是說，接收到從六個(gè)部分區(qū)域Pa?Pf中的特定部分區(qū)域射出的被拍對象光束的像素所進(jìn)行的輸出形成了視差圖像。
[0055]另外，當(dāng)在攝影透鏡20的光瞳上設(shè)定的特定部分區(qū)域位于遠(yuǎn)離攝影透鏡20的光軸的位置時(shí)，原本會(huì)到達(dá)攝像元件100的周圍部的一部分光束被支撐攝影透鏡20的鏡筒框等阻斷。也就是說，在光瞳周圍區(qū)域設(shè)定的部分區(qū)域受到了所謂暗角的影響。在圖5中，當(dāng)微小區(qū)域Ou位于X軸負(fù)側(cè)時(shí)，在網(wǎng)點(diǎn)所示的光瞳周圍區(qū)域V中，從微小區(qū)域Ou放射的被拍對象光束被暗角阻斷。
[0056]因此，本來要經(jīng)過包含在周圍區(qū)域V中的部分區(qū)域Pa的以主光線為Ra的被拍對象光束實(shí)際未到達(dá)具有開口部104a的視差像素。這種關(guān)系與圖中微小區(qū)域Ou位于相對于光軸21對稱位置的情形相同。即，當(dāng)微小區(qū)域Ou位于X軸正側(cè)時(shí)，周圍區(qū)域V包含部分區(qū)域Pf。這樣一來，原本應(yīng)當(dāng)經(jīng)過部分區(qū)域Pf的以主光線為Rf的被拍對象光束未到達(dá)位于作為攝像元件100的X軸負(fù)側(cè)的周圍部的具有開口部104f的視差像素。
[0057]也就是說，從景深的周圍部入射到攝影透鏡20的光束未到達(dá)在攝像元件100的周圍部具有開口部104a或開口部104f的視差像素。因此，在本實(shí)施形態(tài)中，如圖所示，使攝像元件100的周圍部的重復(fù)圖案110成為由分別具有開口部104b?104e的視差像素構(gòu)成的重復(fù)圖案110u。換言之，相對于在中央部以六個(gè)視差像素為一組的重復(fù)圖案110t，采用在周圍部以除兩端的視差像素以外的四個(gè)視差像素為一組的重復(fù)圖案110u。這樣一來，如圖5的下圖所示，在攝像元件100的周圍部中，重復(fù)圖案IlOu呈周期性排列。
[0058]受到多大程度的暗角影響依賴于在攝影透鏡20的光瞳中設(shè)定的部分區(qū)域的位置以及具有使來自于該部分區(qū)域的光束通過的開口部的視差像素相對于攝像元件100所在的位置等。具體地，在攝像元件100中，離中心部越遠(yuǎn)，成為暗角陰影的區(qū)域就越大，因此，視差像素越靠近周圍部，被拍對象光束就越不會(huì)到達(dá)開口部偏移量小的視差像素。
[0059]因此，在本實(shí)施形態(tài)的攝像元件100中，將構(gòu)成排列于周圍部的重復(fù)圖案110的視差像素?cái)?shù)設(shè)定為少于構(gòu)成排列于中心部的重復(fù)圖案110的視差像素?cái)?shù)。即，越靠近攝像元件100的中心部排列的重復(fù)圖案110會(huì)包含朝向設(shè)定于光瞳周圍區(qū)域的部分區(qū)域的、開口部104的偏移量大的視差像素，越靠近周圍部排列的重復(fù)圖案110僅包含朝向設(shè)定于光瞳中心附近的部分區(qū)域的、開口部104的偏移量小的視差像素。由于排列于中心部的重復(fù)圖案110也包含朝向設(shè)定于光瞳中心附近的部分區(qū)域的開口部104的偏移量小的視差像素，因此，該視差像素?cái)?shù)比周圍部更多。例如，如果排列于中心部區(qū)域的重復(fù)圖案110所包含的視差像素?cái)?shù)為六個(gè)，則在與中心部區(qū)域相鄰的周圍部區(qū)域逐漸減為4個(gè)，進(jìn)一步地在與外側(cè)相鄰的周圍部區(qū)域逐漸減為2個(gè)。另外，此時(shí)，將攝像元件100的中心部區(qū)域和周圍部區(qū)域相結(jié)合的方向與開口掩模103的開口部104的偏移方向(圖中為X軸方向)相平行。即，攝像元件100在與開口部104的偏移方向相垂直的方向上被劃分成多個(gè)區(qū)域。以下借助附圖進(jìn)行具體說明。
[0060]圖6為說明本實(shí)施形態(tài)所述攝像元件100的各區(qū)域中的重復(fù)圖案110的圖。如圖所示，攝像元件100中包含中心部的縱條紋狀區(qū)域A中，由分別具有開口部104a?104f的六個(gè)視差像素構(gòu)成的重復(fù)圖案IlOt周期性且連續(xù)性排列。
[0061]而且，在與區(qū)域A的兩側(cè)分別相鄰的縱條紋狀的兩個(gè)區(qū)域B中，由分別具有開口部104b?104e的四個(gè)視差像素構(gòu)成的重復(fù)圖案IlOu周期性且連續(xù)性排列。進(jìn)一步地，相對于區(qū)域B與周圍部側(cè)分別相鄰的縱條紋狀的兩個(gè)區(qū)域C中，由分別具有開口部104c及104d的兩個(gè)視差像素構(gòu)成的重復(fù)圖案IlOv周期性且連續(xù)性排列。
[0062]作為整體進(jìn)行比較時(shí)，與排列于周圍部的重復(fù)圖案IlOu的開口部104相比，排列于中心部的重復(fù)圖案IlOt中的開口部104使來自于設(shè)定在光瞳中更寬的區(qū)域中的部分區(qū)域的光束通過。進(jìn)一步地，與排列于更靠近周圍部的重復(fù)圖案IlOv的開口部104相比，重復(fù)圖案IlOu的開口部104使來自于設(shè)定在光瞳中更寬的區(qū)域中的部分區(qū)域的光束通過。
[0063]圖7為說明生成視差圖像的處理的示意圖。圖中從紙面左列開始依次表示:對開口部104f對應(yīng)的視差像素的輸出進(jìn)行匯集而生成的視差圖像數(shù)據(jù)Im_f的生成樣子、由開口部104e的輸出形成的視差圖像數(shù)據(jù)Im_e的生成樣子、由開口部104d的輸出形成的視差圖像數(shù)據(jù)Im_d的生成樣子、由開口部104c的輸出形成的視差圖像數(shù)據(jù)Im_c的生成樣子、由開口部104b的輸出形成的視差圖像數(shù)據(jù)Im_b的生成樣子、由開口部104a的輸出形成的視差圖像數(shù)據(jù)Im_a的生成樣子。
[0064]首先，對開口部104f的輸出形成的視差圖像數(shù)據(jù)Im_f的生成樣子進(jìn)行說明。排列有包含開口部104f對應(yīng)的視差像素的重復(fù)圖案IlOt的是區(qū)域A。排列于區(qū)域B、C的重復(fù)圖案110u、110v不包含開口部104f對應(yīng)的視差像素。
[0065]由以六個(gè)視差像素為一組的光電轉(zhuǎn)換元件組構(gòu)成的重復(fù)圖案IlOt在區(qū)域A中排列于X軸方向。因此，具有開口部104f的視差像素在攝像元件100的區(qū)域A上沿X軸方向每隔六個(gè)像素且沿Y軸方向連續(xù)存在。如上所述，各個(gè)這些像素接收來自于各個(gè)不相同微小區(qū)域的被拍對象光束。對這些視差像素的輸出進(jìn)行匯集并排列便得到區(qū)域A對應(yīng)的視差圖像。
[0066]然而，由于本實(shí)施形態(tài)中的攝像元件100的各像素為正方像素，僅進(jìn)行單純的匯集會(huì)造成X軸方向的像素?cái)?shù)縮減到1/6，從而相對于實(shí)際被拍對象像生成縱長的圖像數(shù)據(jù)。因此，通過實(shí)施插值處理在X軸方向變?yōu)榱兜南袼財(cái)?shù)，從而生成視差圖像數(shù)據(jù)Im_f作為原始長寬比的圖像。然而，由于當(dāng)初在插值處理前的視差圖像數(shù)據(jù)是在X軸方向上縮減到1/6的圖像，因此，X軸方向上的分辨率比Y軸方向上的分辨率低。也就是說，所生成的視差圖像數(shù)據(jù)的數(shù)量與分辨率的提高呈相反關(guān)系。
[0067]由開口部104a的輸出形成的視差圖像數(shù)據(jù)Im_a的生成與由開口部104f的輸出形成的視差圖像數(shù)據(jù)Im_f的生成相同。此時(shí)，與視差圖像數(shù)據(jù)Im_f相同，視差圖像數(shù)據(jù)Im_a不可能具有區(qū)域B及C對應(yīng)的圖像數(shù)據(jù)。
[0068]以下就開口部104e的輸出形成的視差圖像數(shù)據(jù)Im_e的生成樣子進(jìn)行說明。排列有包含開口部104e對應(yīng)的視差像素的重復(fù)圖案IlOt及IlOu分別為區(qū)域A和區(qū)域B。排列于區(qū)域C的重復(fù)圖案IlOv不包含開口部104e對應(yīng)的視差像素。
[0069]由以六個(gè)視差像素為一組的光電轉(zhuǎn)換元件組構(gòu)成的重復(fù)圖案IlOt在區(qū)域A中沿X軸方向排列。因此，具有開口部104e的視差像素在攝像元件100的區(qū)域A上沿X軸方向相隔6個(gè)像素且沿Y軸方向連續(xù)存在。這些像素如上所述分別接收來自于各個(gè)不同微小區(qū)域的被拍對象光束。對這些視差像素的輸出進(jìn)行匯集排列后便得到視差圖像。
[0070]進(jìn)一步地，由以四個(gè)視差像素為一組的光電轉(zhuǎn)換元件組構(gòu)成的重復(fù)圖案IlOu在區(qū)域B中沿X軸方向排列。因此，具有開口部104e的視差像素在攝像元件100的區(qū)域B上沿X軸方向相隔4個(gè)像素且沿Y軸方向連續(xù)存在。這些像素如上所述分別接收來自于各個(gè)不同微小區(qū)域的被拍對象光束。對這些視差像素的輸出進(jìn)行匯集排列后便得到區(qū)域B對應(yīng)的視差圖像。
[0071]將這些區(qū)域A對應(yīng)的視差圖像與區(qū)域B對應(yīng)的視差圖像以保持各個(gè)區(qū)域的相對位置關(guān)系的方式相接合，從而能夠生成來自于開口部104e對應(yīng)的視差像素的視差圖像。然而，如上所述，由于本實(shí)施形態(tài)中的攝像元件100的各像素為正方像素，僅進(jìn)行單純的匯集會(huì)造成X軸方向的像素?cái)?shù)在區(qū)域A對應(yīng)的視差圖像區(qū)域縮減到1/6、在區(qū)域B對應(yīng)的視差圖像區(qū)域縮減到1/4，從而導(dǎo)致相對于實(shí)際被拍對象像生成縱長的圖像數(shù)據(jù)。因此，通過相對于X軸方向在區(qū)域A對應(yīng)的視差圖像區(qū)域施加6倍的插值處理、在區(qū)域B對應(yīng)的視差圖像區(qū)域施加4倍的插值處理，從而生成視差圖像數(shù)據(jù)Im_e作為原始長寬比的圖像。
[0072]開口部104b的輸出形成的視差圖像數(shù)據(jù)Im_b的生成與開口部104e的輸出形成的視差圖像數(shù)據(jù)Im_e的生成相同。此時(shí)，與視差圖像數(shù)據(jù)Im_e相同，視差圖像數(shù)據(jù)Im_b不可能具有區(qū)域C對應(yīng)的圖像數(shù)據(jù)。
[0073]以下說明開口部104d的輸出形成的視差圖像數(shù)據(jù)Im_d的生成樣子。排列有包含開口部104d對應(yīng)的視差像素的重復(fù)圖案IlOtUlOu及IlOv分別是區(qū)域A、區(qū)域B及區(qū)域C。即，在任一重復(fù)圖案中均包含開口部104d對應(yīng)的視差像素。
[0074]由以六個(gè)視差像素為一組的光電轉(zhuǎn)換元件組構(gòu)成的重復(fù)圖案IIOt在區(qū)域A中沿X軸方向排列。因此，具有開口部104d的視差像素在攝像元件100的區(qū)域A上沿X軸方向相隔6個(gè)像素且沿Y軸方向連續(xù)存在。這些像素如上所述分別接收來自于各個(gè)不同微小區(qū)域的被拍對象光束。對這些視差像素的輸出進(jìn)行匯集排列后便得到區(qū)域A對應(yīng)的視差圖像。
[0075]進(jìn)一步地，由以四個(gè)視差像素為一組的光電轉(zhuǎn)換元件組構(gòu)成的重復(fù)圖案IlOu在區(qū)域B中沿X軸方向排列。因此，具有開口部104d的視差像素在攝像元件100的區(qū)域B上沿X軸方向相隔4個(gè)像素且沿Y軸方向連續(xù)存在。這些像素如上所述分別接收來自于各個(gè)不同微小區(qū)域的被拍對象光束。對這些視差像素的輸出進(jìn)行匯集排列后便得到區(qū)域B對應(yīng)的視差圖像。
[0076]進(jìn)一步地，由以兩個(gè)視差像素為一組的光電轉(zhuǎn)換元件組構(gòu)成的重復(fù)圖案IlOv在區(qū)域C中沿X軸方向排列。因此，具有開口部104d的視差像素在攝像元件100的區(qū)域C上沿X軸方向相隔2個(gè)像素且沿Y軸方向連續(xù)存在。這些像素如上所述分別接收來自于各個(gè)不同微小區(qū)域的被拍對象光束。對這些視差像素的輸出進(jìn)行匯集排列后便得到區(qū)域C對應(yīng)的視差圖像。
[0077]在將這些區(qū)域A、B、C對應(yīng)的各個(gè)視差圖像以保持相對位置關(guān)系的方式相接合時(shí)，能夠生成來自于開口部104d對應(yīng)的視差像素的視差圖像。然而，如上所述，由于本實(shí)施形態(tài)中的攝像元件100的各像素為正方像素，僅進(jìn)行單純的匯集會(huì)造成X軸方向的像素?cái)?shù)在區(qū)域A對應(yīng)的視差圖像區(qū)域中縮減到1/6、在區(qū)域B對應(yīng)的視差圖像區(qū)域中縮減到1/4、在區(qū)域C對應(yīng)的視差圖像區(qū)域中縮減到1/2，從而生成相對于實(shí)際被拍對象像為縱長的圖像數(shù)據(jù)。因此，通過相對于X軸方向在區(qū)域A對應(yīng)的視差圖像區(qū)域中施加6倍的插值處理、在區(qū)域B對應(yīng)的視差圖像區(qū)域中施加4倍的插值處理、在區(qū)域C對應(yīng)的視差圖像區(qū)域中施加2倍的插值處理，從而生成視差圖像數(shù)據(jù)Im_d作為原始長寬比的圖像。
[0078]開口部104c的輸出形成的視差圖像數(shù)據(jù)Im_c的生成與開口部104d的輸出形成的視差圖像數(shù)據(jù)Im_d的生成相同。此時(shí)，與視差圖像數(shù)據(jù)Im_d相同，視差圖像數(shù)據(jù)Im_c有可能具有區(qū)域A?C對應(yīng)的圖像數(shù)據(jù)。
[0079]如上所述，通過圖像處理部205的圖像處理能夠生成在X軸方向(水平方向)上賦予視差的六個(gè)視差圖像數(shù)據(jù)。如上所述，有可能會(huì)由匯集了輸出的視差像素的攝像元件100上的排列造成各個(gè)視差圖像的視角互不相同。因此，當(dāng)通過3D顯示裝置顯示這些視差圖像數(shù)據(jù)時(shí)，觀察者在被拍對象的中心附近看到6個(gè)視點(diǎn)的3D圖像，在其兩側(cè)附近看到4個(gè)視點(diǎn)、進(jìn)一步地在周圍部看到2個(gè)視點(diǎn)的3D圖像。
[0080]在上述例子中說明了以X軸方向?yàn)橹貜?fù)圖案110進(jìn)行周期性排列的例子，但重復(fù)圖案110并不限于此。圖8為表示重復(fù)圖案的另一例的圖。在該另一例中，以Y軸方向作為重復(fù)圖案110進(jìn)行周期性排列。
[0081]在攝像元件100中，與圖6所示攝像元件100的區(qū)域劃分相同，在區(qū)域A中，如圖8(a)所示，由分別具有開口部104a?104f的六個(gè)視差像素構(gòu)成的重復(fù)圖案IlOt周期性且連續(xù)性排列。在此情形中的重復(fù)圖案IlOt中，各個(gè)開口部104被定位為從+Y側(cè)端的視差像素往-Y方向，從-X側(cè)往+X側(cè)逐漸偏移。即使根據(jù)如此排列的重復(fù)圖案110也能夠生成在X軸方向賦予視差的視差圖像。
[0082]而且，在區(qū)域B中，如圖8(b)所示，由分別具有開口部104b?104e的四個(gè)視差像素構(gòu)成的重復(fù)圖案IlOu周期性且連續(xù)性排列。進(jìn)一步地，在區(qū)域C中，如圖8(c)所示，由分別具有開口部104c及104d這兩個(gè)視差像素構(gòu)成的重復(fù)圖案IlOv周期性且連續(xù)性排列。[0083]即使根據(jù)這種重復(fù)圖案110，通過圖像處理部205的圖像處理便能夠生成在水平方向賦予視差的六個(gè)視差圖像數(shù)據(jù)。此時(shí)，與圖6的重復(fù)圖案110相比，可以認(rèn)為是犧牲Y軸方向的分辨率而維持了 X軸方向分辨率的重復(fù)圖案。
[0084]圖9為表示重復(fù)圖案又一例的圖。在此又一例中，將在傾斜方向上相鄰的像素作為重復(fù)圖案110進(jìn)行周期性排列。
[0085]在攝像元件100中，與圖6所示的攝像元件100的區(qū)域劃分相同，在區(qū)域A中，如圖9(a)所示，由分別具有開口部104a?104f的六個(gè)視差像素構(gòu)成的重復(fù)圖案IlOt周期性且連續(xù)性排列。在此情形中的重復(fù)圖案IlOt中，從-X側(cè)且+Y側(cè)端(紙面左上端)的視差像素往+X側(cè)且-Y側(cè)端(紙面右下端)進(jìn)行定位，從而從-X側(cè)往+X側(cè)逐漸偏移。即使根據(jù)這樣排列的重復(fù)圖案110也能夠生成在X軸方向賦予視差的視差圖像。
[0086]而且，在區(qū)域B中，如圖9(b)所示，由分別具有開口部104b?104e的四個(gè)視差像素構(gòu)成的重復(fù)圖案IlOu周期性且連續(xù)性排列。進(jìn)一步地，在區(qū)域C中，如圖9(c)所示，由分別具有開口部104c及104d這兩個(gè)視差像素構(gòu)成的重復(fù)圖案IlOv周期性且連續(xù)性排列。
[0087]即便是這樣的重復(fù)圖案110，通過圖像處理部205的圖像處理也能夠生成在X軸方向賦予視差的六個(gè)視差圖像數(shù)據(jù)。此時(shí)，與圖6的重復(fù)圖案110相比，可以認(rèn)為是在某種程度上保持了Y軸方向的分辨率及X軸方向的分辨率并且增加了視差圖像數(shù)量的重復(fù)圖案。
[0088]分別比較圖6、圖8、圖9的重復(fù)圖案110時(shí)，可以認(rèn)為區(qū)別在于，在均生成6個(gè)視點(diǎn)的視差圖像時(shí)，相對于從整個(gè)非視差圖像輸出一幅圖像時(shí)的分辨率是否犧牲了 Y軸方向、X軸方向的哪一方向的分辨率。用區(qū)域A中的重復(fù)圖案IlOt的排列進(jìn)行比較時(shí)，在圖6所示排列的情形中，是使X軸方向的分辨率成為1/6的結(jié)構(gòu)，在圖8所示排列的情形中，是使Y軸方向的分辨率成為1/6的結(jié)構(gòu)，而且在圖9所示排列的情形中，是使Y軸方向成為1/3、使X軸方向成為1/2的結(jié)構(gòu)。在任一,清形中均被構(gòu)成為,在一個(gè)圖案內(nèi)，對應(yīng)于各個(gè)像素逐一設(shè)置開口部104a?104f，從各個(gè)所對應(yīng)的部分區(qū)域Pa?Pf的任意一個(gè)接收到被拍對象光束，從而使任意重復(fù)圖案110都能有同等的視差量。
[0089]在上述例子中說明了生成在水平方向(X軸方向)賦予視差的視差圖像情形，但毋庸置疑也可以生成在垂直方向(Y軸方向)賦予視差的視差圖像，并且也可以生成在水平垂直的二維方向賦予視差的視差圖像。圖10是說明輸出在垂直方向賦予視差的垂直視差圖像的攝像元件的各區(qū)域中的重復(fù)圖案Iio的圖。
[0090]如圖所示，在攝像元件100中，包含中心部的橫條紋狀的區(qū)域A中，由分別具有開口部104a?104f的六個(gè)視差像素構(gòu)成的重復(fù)圖案IlOt周期性且連續(xù)性排列。在圖中所示例子中準(zhǔn)備有作為開口部104相對于各個(gè)像素的位置互相朝Y軸方向偏移的6種類型的開口掩模103。而且，在整個(gè)攝像元件100中二維且周期性地排列有光電轉(zhuǎn)換元件組，該光電轉(zhuǎn)換元件組以分別具有從+Y側(cè)(紙面上側(cè))往-Y側(cè)(紙面下側(cè))逐漸偏移的開口部104a?104f的六個(gè)視差像素為一組。也就是說，攝像元件100是由包含一組光電轉(zhuǎn)換元件組的重復(fù)圖案110周期且連續(xù)地鋪設(shè)而成。另外，雖然在圖中所示例子中使開口部104的形狀為橫長的長方形，但并不限于此。只要是相對于像素中心偏移并朝向光瞳上的特定部分區(qū)域的開口，可以采用各種各樣的形狀。
[0091]而且，在區(qū)域A兩側(cè)分別相鄰的橫條紋狀的兩個(gè)區(qū)域B中，由分別具有開口部104b?104e的四個(gè)視差像素構(gòu)成的重復(fù)圖案IlOu周期性且連續(xù)性排列。[0092]當(dāng)作為整體進(jìn)行比較時(shí)，與排列于周圍部的重復(fù)圖案IlOu的開口部104相比，排列于中心部的重復(fù)圖案IlOt中的開口部104使來自于在光瞳中更寬的區(qū)域中設(shè)定的部分區(qū)域的光束通過。
[0093]如果對從這種攝像元件100輸出的圖像數(shù)據(jù)施加與圖7所說明的圖像處理相同的圖像處理，則能夠生成在垂直方向賦予視差的六個(gè)視差圖像數(shù)據(jù)。如上所述，有可能會(huì)由匯集了輸出的視差像素的攝像元件100上的排列引起各個(gè)視差圖像的視角彼此各不相同。因此，當(dāng)采用3D顯示裝置再現(xiàn)這些視差圖像數(shù)據(jù)時(shí)，觀察者在被拍對象的中心附近看到6個(gè)視點(diǎn)的3D圖像，在其兩側(cè)附近看到4個(gè)視點(diǎn)的3D圖像。
[0094]以下說明彩色濾光片102與視差圖像。圖11為說明彩色濾光片陣列的圖。圖示所示彩色濾光片陣列的排列為，將綠色濾光片分配給所謂的拜耳陣列的4個(gè)像素中的右下像素并作為G像素加以保持,另一方面,將未分配有彩色濾光片的左上像素變更為W像素。將藍(lán)色濾光片分配給右上像素作為B像素并將紅色濾光片分配給左下像素作為R像素，這樣的排列與拜耳陣列相同。另外，如上所述，W像素上可以排列有未施加著色的透明濾光片，以使可見光的幾乎整個(gè)波段透過。
[0095]即便采用拜耳陣列及圖11所示這種彩色濾光片陣列等任一彩色濾光片陣列，根據(jù)將視差像素和無視差像素以何種周期分配給何種顏色的像素，便能設(shè)定出龐大數(shù)量的組合圖案。通過匯集無視差像素的輸出便可以生成與通常的攝影圖像相同的無視差的攝影圖像數(shù)據(jù)。因此，只要相對地增加無視差像素的比例，便能夠輸出分辨率較高的2D圖像。此時(shí)，由于視差像素的比例相對變小，因此使得由多個(gè)視差圖像構(gòu)成的3D圖像的畫質(zhì)下降。相反，如果增加視差像素的比例，雖然能提高3D圖像的畫質(zhì)，但由于無視差像素相對減少，因此會(huì)輸出分辨率較低的2D圖像。
[0096]在這種權(quán)衡關(guān)系中，根據(jù)將哪個(gè)像素作為視差像素或者作為無視差像素而設(shè)定出具有各種各樣特征的組合圖案。例如，如果分配很多無視差像素，就會(huì)成為高分辨率的2D圖像數(shù)據(jù)，如果針對任意的RGB像素都進(jìn)行平均分配，則會(huì)成為色差較小的高畫質(zhì)的2D圖像數(shù)據(jù)。當(dāng)也利用視差像素的輸出來生成2D圖像數(shù)據(jù)時(shí)，參照周圍像素的輸出對發(fā)生了錯(cuò)位的被拍對象的像進(jìn)行修正。因此，即使例如將全部R像素都作為視差像素，也能夠生成2D圖像，但其畫質(zhì)自然會(huì)降低。
[0097]另一方面，如果分配很多視差像素，就會(huì)成為高分辨率的3D圖像數(shù)據(jù)，如果針對任意RGB像素都進(jìn)行平均分配，則在成為3D圖像的同時(shí)，會(huì)得到色彩再現(xiàn)性良好的高品質(zhì)的彩色圖像數(shù)據(jù)。當(dāng)也利用無視差像素的輸出來生成3D圖像數(shù)據(jù)時(shí)，參照周圍視差像素的輸出從無視差的被拍對象的像生成發(fā)生了錯(cuò)位的被拍對象的像。因此，即使認(rèn)為全部R像素都為無視差像素，雖然也能夠生成彩色的3D圖像，但其品質(zhì)自然很低。
[0098]另外，如果采用包含W像素的彩色濾光片陣列，攝像元件輸出的色彩信息的精度多少會(huì)有所下降，但由于W像素所接收到的光量與設(shè)置了彩色濾光片的情形相比較多，因此能夠得到高精度的亮度信息。對W像素的輸出進(jìn)行匯集便能夠形成單色圖像。
[0099]當(dāng)采用包含W像素的彩色濾光片陣列時(shí)，視差像素與無視差像素的組合圖案存在進(jìn)一步的變形。例如，即使是在較暗的環(huán)境下拍攝到的圖像與從彩色像素輸出的圖像相比，從W像素輸出的圖像使被拍對象像的對比度更高。因此，如果向W像素分配視差像素，則在多個(gè)視差圖像之間進(jìn)行匹配處理時(shí)，可望得到高精度的運(yùn)算結(jié)果。執(zhí)行匹配處理作為取得寫入到圖像數(shù)據(jù)中的被拍對象像的距離信息的處理的一環(huán)。因此，在對2D圖像的分辨率及視差圖像畫質(zhì)的影響的基礎(chǔ)上，進(jìn)一步考慮對所提取的其他信息帶來的利弊，來設(shè)定視差像素與無視差像素的組合圖案。
[0100]圖12為表示彩色濾光片陣列與視差像素的關(guān)系的圖。尤其表示當(dāng)采用圖11所示彩色濾光片陣列時(shí)，W像素與視差像素的排列的一例。在圖中所示例子中，將沿X軸方向連續(xù)的6組圖11所示彩色濾光片陣列的4個(gè)像素共計(jì)24個(gè)像素作為組合圖案。在構(gòu)成組合圖案的各個(gè)W像素中，從位于左端的W像素往位于右端的W像素依次分配具有開口部104f、104e、…104a的視差像素。在這種排列中，攝像元件100將視差圖像作為單色圖像進(jìn)行輸出，將2D圖像作為彩色圖像進(jìn)行輸出。
[0101]另外，當(dāng)在例如圖6中的區(qū)域A中采用圖12所示組合圖案時(shí)，在區(qū)域B中采用的組合圖案將沿X軸方向連續(xù)的4組圖11所示彩色濾光片陣列的4個(gè)像素共計(jì)16個(gè)像素作為組合圖案。此時(shí)，在構(gòu)成組合圖案的各個(gè)W像素中，從位于左端的W像素往位于右端的W像素依次分配具有開口部104e、…104b的視差像素。同樣地，區(qū)域C中采用的組合圖案將沿X軸方向連續(xù)的兩組圖11所示彩色濾光片陣列的4個(gè)像素共計(jì)8個(gè)像素作為組合圖案。此時(shí)，在構(gòu)成組合圖案的各個(gè)W像素中，在位于左側(cè)的W像素中分配具有開口部104d的視差像素，在位于右側(cè)的W像素中分配具有開口部104c的視差像素。
[0102]此處說明生成作為單色圖像的視差圖像以及生成作為彩色圖像的2D圖像。 [0103]圖13為表示視差圖像和2D圖像的生成過程的示意圖。如圖所示，具有開口部104f的視差像素的輸出在保持?jǐn)z像元件100上的相對位置關(guān)系的同時(shí)被匯集，生成Im_f圖像數(shù)據(jù)。具有一個(gè)重復(fù)圖案110中包含的開口部104f的視差像素為一個(gè)，因此可以認(rèn)為具有形成Im_f圖像數(shù)據(jù)的各個(gè)開口部104f的視差像素分別從互不相同的重復(fù)圖案110被進(jìn)行匯集。即，由于被匯集的各個(gè)輸出是對從被拍對象的互不相同微小區(qū)域放射的光進(jìn)行了光電轉(zhuǎn)換的結(jié)果，因此，Im_f圖像數(shù)據(jù)成為了從特定視點(diǎn)(f視點(diǎn))捕捉到的被拍對象的一個(gè)視差圖像數(shù)據(jù)。而且，由于該視差像素被分配給了 W像素，因此Im_f圖像數(shù)據(jù)不具有色彩信息，從而被生成為單色圖像。
[0104]同樣地，具有開口部104e~104a的視差像素的輸出在保持?jǐn)z像元件100上的相對位置關(guān)系的同時(shí)被匯集，從而生成Im_e圖像數(shù)據(jù)~Im_a圖像數(shù)據(jù)。
[0105]而且，無視差像素的輸出在保持?jǐn)z像元件100上的相對位置關(guān)系的同時(shí)被匯集，從而生成2D圖像數(shù)據(jù)。此時(shí)，由于W像素是視差像素，因此，相對于僅僅由無視差像素構(gòu)成的拜耳陣列的輸出，缺少了相當(dāng)于左上像素的輸出的輸出。此時(shí)，例如代入G像素的輸出值，作為所缺少的該輸出值。也就是說，由G像素的輸出進(jìn)行插值處理。這樣一來，通過實(shí)施插值處理，便能夠采用針對拜耳陣列輸出的圖像處理以生成2D圖像數(shù)據(jù)。
[0106]另外，以上的圖像處理由圖像處理部205執(zhí)行。圖像處理部205通過控制部201接收從攝像元件100輸出的圖像信號，如上所述基于各個(gè)像素的每個(gè)輸出進(jìn)行分配，從而生成視差圖像數(shù)據(jù)及2D圖像數(shù)據(jù)。
[0107]在以上的實(shí)施形態(tài)中說明了攝像元件100由包含一組光電轉(zhuǎn)換元件組的重復(fù)圖案110進(jìn)行周期性且連續(xù)地鋪設(shè)而構(gòu)成。然而，只要各個(gè)視差像素捕捉被拍對象的離散微小區(qū)域以輸出視差圖像即可，因此，也可以例如在周期性的重復(fù)圖案110之間使無視差像素相連續(xù)。也就是說，包含視差像素的重復(fù)圖案110即使不連續(xù)，只要是具有周期性，也有可能輸出視差圖像。
[0108]在以上實(shí)施形態(tài)中，例如在圖6中將攝像元件100分成了區(qū)域A、B、C這三種類型的區(qū)域，但毋庸置疑，并不是要限定該數(shù)量。而且，各區(qū)域中的開口部104的種類也并不限定于6種、4種、2種。如何區(qū)域劃分?jǐn)z像元件100，如何構(gòu)成排列于該區(qū)域的重復(fù)圖案，基于由攝影透鏡20以及對其進(jìn)行支撐的鏡筒引起的暗角來確定。
[0109]也就是說，確定區(qū)域劃分及重復(fù)圖案，以避免產(chǎn)生由暗角引起的無法接收來自于光瞳上設(shè)定的部分區(qū)域的被拍對象光束的視差像素。因此，各區(qū)域的交界可以不是圖6及圖10所示與攝像元件的長邊或短邊相平行的直線，而可以是與暗角相符合的曲線。
[0110]而且，由于暗角在相對于焦點(diǎn)距離的寬側(cè)、在相對于光圈的開放側(cè)很明顯地顯現(xiàn)，因此優(yōu)選在暗角明顯顯現(xiàn)的條件下確定區(qū)域劃分和重復(fù)圖案。尤其是，當(dāng)數(shù)碼相機(jī)10為可更換鏡頭的相機(jī)時(shí)，優(yōu)選是整體考慮可能裝設(shè)的攝影鏡頭來確定。
[0111]而且，在以上實(shí)施形態(tài)中，例如在圖6所示重復(fù)圖案中，將區(qū)域A的視差像素為6個(gè)像素，使相鄰的區(qū)域B的視差像素為區(qū)域A的6個(gè)像素中除去兩端像素后的4個(gè)像素。然而，根據(jù)與圖5的關(guān)系也可以理解為，與區(qū)域A的右側(cè)相鄰的區(qū)域B (區(qū)域Br)中，被拍對象光束不會(huì)到達(dá)具有開口部104a的視差像素，被拍對象光束會(huì)達(dá)到具有開口部104f的視差像素。因此，在區(qū)域Br中，可以將分別具有開口部104b?104f的五個(gè)視差像素作為重復(fù)圖案。此時(shí)，同樣地，與區(qū)域A的左側(cè)相鄰的區(qū)域B(區(qū)域BI)中，也可以將分別各有開口部104a?104e的五個(gè)視差像素作為重復(fù)圖案。
[0112]以上，使用本發(fā)明的實(shí)施方式進(jìn)行了說明，但本發(fā)明的技術(shù)范圍不限于上述實(shí)施方式所記載的范圍。另外，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚，在上述實(shí)施方式的基礎(chǔ)上可加以增加各種變更或改進(jìn)。此外，由權(quán)利要求的記載可知，這種加以變更或改進(jìn)的實(shí)施方式也包含在本發(fā)明的技術(shù)范圍內(nèi)。
[0113]附圖標(biāo)記說明
[0114]10數(shù)碼相機(jī)、20攝影透鏡、21光軸、30、31被拍對象、100攝像元件、101微型透鏡、102彩色濾光片、103開口掩模、104開口部、105布線層、106布線、107開口、108光電轉(zhuǎn)換元件、109基板、110重復(fù)圖案、120攝像元件、121屏幕濾波器、122彩色濾光片部、123開口掩模部、201控制部、202A/D轉(zhuǎn)換電路、203存儲器、204驅(qū)動(dòng)部、205圖像處理部、206運(yùn)算部、207存儲卡IF、208操作部、209顯示部、210LCD驅(qū)動(dòng)電路、220存儲卡
【權(quán)利要求】
1.一種攝像元件，其中: 二維且周期性排列有以將入射光光電轉(zhuǎn)換為電信號的多個(gè)光電轉(zhuǎn)換元件為一組的光電轉(zhuǎn)換元件組； 與構(gòu)成所述光電轉(zhuǎn)換元件組的所述多個(gè)光電轉(zhuǎn)換元件的每一個(gè)對應(yīng)設(shè)置的開口掩模的開口被定位為，使來自于所述入射光的截面區(qū)域中包含的互不相同的部分區(qū)域的光束通過； 關(guān)于構(gòu)成所述光電轉(zhuǎn)換元件組的所述多個(gè)光電轉(zhuǎn)換元件的數(shù)量，相對于所排列所述光電轉(zhuǎn)換元件組的整體而言，排列于周圍部的所述光電轉(zhuǎn)換元件組比排列于中心部的所述光電轉(zhuǎn)換元件組更少。
2.根據(jù)權(quán)利要求1所述的攝像元件，其中: 在作為所述光電轉(zhuǎn)換元件組的整體進(jìn)行比較時(shí)，與構(gòu)成排列于所述周圍部的所述光電轉(zhuǎn)換元件組的所述多個(gè)光電轉(zhuǎn)換元件上設(shè)置的開口掩模的開口相比，構(gòu)成排列于所述中心部的所述光電轉(zhuǎn)換元件組的所述多個(gè)光電轉(zhuǎn)換元件上設(shè)置的開口掩模的開口使得針對更寬的所述截面區(qū)域設(shè)定的所述部分區(qū)域的光束通過。
3.根據(jù)權(quán)利要求2所述的攝像元件，其中，所述截面區(qū)域是基于具有使所述入射光透過的光學(xué)系統(tǒng)的攝影透鏡的暗角確定的。
4.根據(jù)權(quán)利要求1?3中任一項(xiàng)所述的攝像元件，其中，連結(jié)所述中心部與所述周圍部的方向與所述開口掩模的開口的偏移方向相平行。
5.根據(jù)權(quán)利要求1?4中任一項(xiàng)所述的攝像元件，其中，當(dāng)被拍對象位于聚焦位置時(shí)，構(gòu)成一組所述光電轉(zhuǎn)換元件組的所述多個(gè)光電轉(zhuǎn)換元件接收從所述被拍對象的一個(gè)微小區(qū)域放射的光束。
6.根據(jù)權(quán)利要求1?5中任一項(xiàng)所述的攝像元件，其中，未設(shè)置有所述開口掩模的或者設(shè)置有使所述入射光的全部有效光束通過的開口掩模的光電轉(zhuǎn)換兀件與構(gòu)成所述光電轉(zhuǎn)換元件組的所述多個(gè)光電轉(zhuǎn)換元件相鄰，二維且周期性排列。
【文檔編號】G03B15/00GK103999449SQ201280062683
【公開日】2014年8月20日 申請日期:2012年8月17日 優(yōu)先權(quán)日:2011年10月21日
【發(fā)明者】芝崎清茂, 浜島宗樹, 森晉 申請人:株式會(huì)社尼康