專(zhuān)利名稱(chēng)：拍攝裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成合成圖像的拍攝裝置。
背景技術(shù)：
傳統(tǒng)，已知有與一個(gè)微透鏡對(duì)應(yīng)具備多個(gè)拍攝像素，將一次攝影取得的圖像數(shù)據(jù)在攝影后合成，生成任意焦點(diǎn)位置的圖像的拍攝裝置(例如，專(zhuān)利文獻(xiàn)1、2及非專(zhuān)利文獻(xiàn)I)。專(zhuān)利文獻(xiàn)I :日本特開(kāi)2007-4471號(hào)公報(bào)專(zhuān)利文獻(xiàn)2 US2007 / 0252047 號(hào)公報(bào) 非專(zhuān)利文獻(xiàn)I :Light Field Photography with a Handheld Plenopticcamera, Stanford tech report CTSR2005-0
發(fā)明內(nèi)容
但是，存在生成的圖像成為與微透鏡排列數(shù)相同的分辨率，生成的圖像的分辨率比拍攝像素排列密度顯著降低的問(wèn)題。而且，存在合成圖像生成時(shí)運(yùn)算處理非常繁瑣的問(wèn)題。根據(jù)本發(fā)明第I方式，拍攝裝置具備多個(gè)微透鏡，其在成像光學(xué)系統(tǒng)的焦點(diǎn)面附近二維狀地配置；拍攝元件，其由元件群與上述微透鏡分別對(duì)應(yīng)地二維狀地配置而成，上述元件群包含經(jīng)由上述微透鏡接受通過(guò)上述成像光學(xué)系統(tǒng)的來(lái)自被攝體的光束并輸出圖像信號(hào)的多個(gè)光電變換元件；和合成部，其為了生成與上述成像光學(xué)系統(tǒng)的任意成像面中的多個(gè)成像區(qū)域?qū)?yīng)的合成圖像數(shù)據(jù)，根據(jù)按每個(gè)上述成像區(qū)域來(lái)特定輸出用于生成上述合成圖像數(shù)據(jù)的上述圖像信號(hào)的上述光電變換元件的位置的信息，合成從上述多個(gè)光電變換元件輸出的上述圖像信號(hào)。根據(jù)本發(fā)明第2方式，優(yōu)選的是，第I方式的拍攝裝置中，上述多個(gè)成像區(qū)域設(shè)置與上述微透鏡相同的數(shù)量以上，上述成像區(qū)域的各自的配置間隔與多個(gè)上述微透鏡的各自的配置間隔具有比例關(guān)系。根據(jù)本發(fā)明第3方式，優(yōu)選的是，第I或第2方式的拍攝裝置中，按每個(gè)上述成像區(qū)域來(lái)特定輸出用于生成上述合成圖像數(shù)據(jù)的上述圖像信號(hào)的上述光電變換元件的位置的信息，包括按每個(gè)上述成像區(qū)域來(lái)特定輸出用于生成上述合成圖像數(shù)據(jù)的上述圖像信號(hào)的上述光電變換元件的位置的表。根據(jù)本發(fā)明第4方式，優(yōu)選的是，第3方式的拍攝裝置中，具備按每個(gè)上述任意成像面作成上述表的作成部。 根據(jù)本發(fā)明第5方式，優(yōu)選的是，第3或第4方式的拍攝裝置中，上述表，按每個(gè)上述成像區(qū)域，以上述微透鏡的偽光軸為基準(zhǔn)，將上述光電變換元件的配置位置標(biāo)準(zhǔn)化，以與上述成像區(qū)域?qū)?yīng)的上述微透鏡為基準(zhǔn)，相對(duì)地特定與上述光電變換元件的配置位置對(duì)應(yīng)的上述微透鏡的配置位置。
根據(jù)本發(fā)明第6方式，優(yōu)選的是，第3至第5方式的拍攝裝置中，上述表，通過(guò)表示以上述成像區(qū)域?yàn)榛鶞?zhǔn)，以將上述微透鏡的焦點(diǎn)距離除以合成圖像數(shù)據(jù)的光圈值(光闌值)后的值為直徑的區(qū)域所包含的上述光電變換元件的配置位置與上述多個(gè)微透鏡中的哪一個(gè)上述微透鏡對(duì)應(yīng)，來(lái)特定上述光電變換元件的位置。根據(jù)本發(fā)明第7方式，優(yōu)選的是，第I至第6方式的拍攝裝置中，上述多個(gè)微透鏡的各個(gè)在與上述攝影光學(xué)系統(tǒng)的光軸正交的平面上具有六角形形狀，上述多個(gè)微透鏡二維狀地蜂窩排列。根據(jù)本發(fā)明第8方式，優(yōu)選的是，第7方式的拍攝裝置中，具備將上述合成部生成的上述合成圖像數(shù)據(jù)的水平方向和垂直方向的比率變換為I的變換單元。根據(jù)本發(fā)明，按每個(gè)任意成像面作成特定用于生成多個(gè)成像區(qū)域的各個(gè)的合成圖像數(shù)據(jù)的光電變換元件的位置的表，根據(jù)表生成合成圖像數(shù)據(jù)，因此可以高速生成分辨率 高的合成圖像數(shù)據(jù)。


圖I是本發(fā)明實(shí)施方式的數(shù)字拍攝機(jī)的構(gòu)成的說(shuō)明圖。圖2是微透鏡和拍攝元件的配置的一例示圖。圖3是實(shí)施方式中的微透鏡和基點(diǎn)像素的位置關(guān)系的說(shuō)明圖。圖4是合成圖像的生成原理的說(shuō)明圖。圖5是用于生成合成圖像的積分(累計(jì))區(qū)域和拍攝像素的關(guān)系的示圖。圖6是輸出用于對(duì)基點(diǎn)信號(hào)積分的圖像信號(hào)的拍攝像素的位置關(guān)系的一例示圖。圖7是環(huán)帶和微透鏡的關(guān)系的一例示圖。圖8是基點(diǎn)像素從微透鏡的偽光軸偏心時(shí)的積分區(qū)域的示圖。圖9是變形例中的微透鏡的形狀和基點(diǎn)像素的說(shuō)明圖。圖10是從光點(diǎn)發(fā)出的光束由拍攝像素的受光面截取的光截面的說(shuō)明圖。圖11是微透鏡和光截面的關(guān)系的說(shuō)明圖。圖12是微透鏡和光截面的關(guān)系的說(shuō)明圖。圖13是在基點(diǎn)微透鏡展開(kāi)了區(qū)域分割時(shí)的光截面的說(shuō)明圖。圖14是光點(diǎn)相對(duì)于基點(diǎn)微透鏡的偽光軸偏心時(shí)的分割區(qū)域的說(shuō)明圖。
具體實(shí)施例方式本實(shí)施方式的數(shù)字拍攝機(jī)(數(shù)字相機(jī))利用經(jīng)由微透鏡陣列攝影取得的圖像信號(hào)具有深度信息等波面信息的情況，通過(guò)數(shù)值處理，生成具有用戶(hù)期望的景深和焦點(diǎn)位置的圖像數(shù)據(jù)。經(jīng)由拍攝透鏡入射的被攝體光束在微透鏡陣列附近成像。此時(shí)，根據(jù)被攝體位置，光束成像的位置在拍攝透鏡的光軸方向上不同，而且被攝體若為三維物體，則被攝體光束不在同一平面上成像。本實(shí)施方式的數(shù)字拍攝機(jī)生成用戶(hù)期望的在光軸方向的成像位置再現(xiàn)成像的被攝體的像的圖像。而且，本實(shí)施方式的數(shù)字拍攝機(jī)構(gòu)成為可生成具有比微透鏡陣列所包含的微透鏡數(shù)目更大分辨率的合成圖像，作為上述圖像。即，與一個(gè)微透鏡對(duì)應(yīng)，輸出成為合成圖像的各像素的圖像信號(hào)的拍攝像素(基點(diǎn)像素)設(shè)置多個(gè)。并且，數(shù)字拍攝機(jī)為了形成與用戶(hù)選擇對(duì)應(yīng)的焦點(diǎn)位置的合成圖像，向從基點(diǎn)像素輸出的圖像信號(hào)累加從周邊配置的拍攝像素輸出的圖像信號(hào)，生成與合成圖像的I像素量的成像區(qū)域相當(dāng)?shù)暮铣蓤D像信號(hào)，作成焦點(diǎn)位置可變的合成圖像。以下，詳細(xì)說(shuō)明。圖I是實(shí)施方式的數(shù)字拍攝機(jī)的構(gòu)成圖。數(shù)字拍攝機(jī)I構(gòu)成為，具有拍攝透鏡LI的交換透鏡2可拆裝。數(shù)字拍攝機(jī)I具備拍攝單元100、控制電路101、A / D變換電路102、存儲(chǔ)器103、操作部108、顯示器109、IXD驅(qū)動(dòng)電路110及存儲(chǔ)卡接口 111。拍攝單元100具備多個(gè)微透鏡120 二維狀排列的微透鏡陣列12及拍攝元件13。另外，以下說(shuō)明中，Z軸設(shè)定成與拍攝透鏡LI的光軸平行，在與Z軸正交的平面內(nèi)，X軸和Y軸設(shè)定成相互正交的方向。拍攝透鏡LI包括多個(gè)光學(xué)透鏡群，使來(lái)自被攝體的光束在其焦點(diǎn)面附近成像。另夕卜，為了便于說(shuō)明，圖I用一塊透鏡代表表示了拍攝透鏡LI。在拍攝透鏡LI的焦點(diǎn)面附近，順序配置微透鏡陣列12和拍攝元件13。拍攝元件13包括具有多個(gè)光電變換元件的CXD和/或CMOS圖像傳感器。拍攝元件13拍攝在拍攝面上成像的被攝體像，由控制電路101 控制，將與被攝體像相應(yīng)的光電變換信號(hào)(圖像信號(hào))向A / D變換電路102輸出。另外，拍攝單元100詳細(xì)說(shuō)明將后述。A / D變換電路102是對(duì)拍攝元件13輸出的圖像信號(hào)進(jìn)行模擬處理后變換為數(shù)字圖像信號(hào)的電路?？刂齐娐?01由CPU和/或存儲(chǔ)器等周邊電路構(gòu)成?？刂齐娐?01根據(jù)控制程序，用從構(gòu)成數(shù)字拍攝機(jī)I的各部輸入的信號(hào)，進(jìn)行預(yù)定運(yùn)算，對(duì)數(shù)字拍攝機(jī)I的各部送出控制信號(hào)，控制攝影工作。另外，如后述，控制電路101根據(jù)響應(yīng)光圈值輸入按鈕108a操作而從操作部108輸入的操作信號(hào)，確定由用戶(hù)選擇的合成圖像的光圈值。如后述，控制電路101根據(jù)響應(yīng)焦點(diǎn)位置輸入按鈕108b操作而從操作部108輸入的操作信號(hào)，確定合成圖像的焦點(diǎn)位置?？刂齐娐?01功能上具備表生成部105、圖像積分(累計(jì))部106及圖像標(biāo)準(zhǔn)化部107。表生成部105用根據(jù)光圈值輸入按鈕108a的操作而確定的合成圖像的光圈值，作成合成像素所屬表。圖像積分部106用根據(jù)焦點(diǎn)位置輸入按鈕108b的操作而確定的合成圖像的焦點(diǎn)位置和由表生成部105作成的合成像素所屬表，從圖像信號(hào)生成合成圖像數(shù)據(jù)。如后述，圖像標(biāo)準(zhǔn)化部107以與圖像積分部106生成的合成圖像數(shù)據(jù)對(duì)應(yīng)的合成圖像縱橫比(水平方向和垂直方向的比)成為I :1的方式進(jìn)行校正。另外，表作成部105、圖像積分部106及圖像標(biāo)準(zhǔn)化部107的詳細(xì)情況將后述。存儲(chǔ)器103是易失性存儲(chǔ)介質(zhì)，用于暫時(shí)地存儲(chǔ)由A / D變換電路102數(shù)字變換后的圖像信號(hào)和/或圖像處理、圖像壓縮處理及顯示用圖像數(shù)據(jù)作成處理途中和/或處理后的數(shù)據(jù)。存儲(chǔ)卡接口 111是可拆裝存儲(chǔ)卡Illa的接口。存儲(chǔ)卡接口 111是根據(jù)控制電路101的控制，向存儲(chǔ)卡Illa寫(xiě)入圖像數(shù)據(jù)或者讀出在存儲(chǔ)卡Illa記錄的圖像數(shù)據(jù)的接口電路。存儲(chǔ)卡Illa是Compactflash(注冊(cè)商標(biāo))和/或SD卡等的半導(dǎo)體存儲(chǔ)卡。IXD驅(qū)動(dòng)電路110是根據(jù)控制電路101的命令，驅(qū)動(dòng)顯示器109的電路。顯示器109包括例如液晶等，根據(jù)重放模式中在存儲(chǔ)卡Illa記錄的圖像數(shù)據(jù)，顯示由控制電路101作成的顯示數(shù)據(jù)。另外，在顯示器109顯示用于設(shè)定數(shù)字拍攝機(jī)I的各種工作的菜單畫(huà)面。操作部108接受用戶(hù)操作，向控制電路101輸出與操作內(nèi)容相應(yīng)的各種操作信號(hào)。操作部108包含光圈值輸入按鈕108a、焦點(diǎn)位置輸入按鈕108b、電源按鈕、釋放按鈕、其他設(shè)定菜單的顯示切換按鈕、設(shè)定菜單確定按鈕等。光圈值輸入按鈕108a在合成圖像的光圈值F輸入時(shí)由用戶(hù)操作。用戶(hù)操作光圈值輸入按鈕108a，選擇光圈值F后，操作部108向控制電路101輸出操作信號(hào)。焦點(diǎn)位置輸入按鈕108b在合成圖像的焦點(diǎn)位置y輸入時(shí)由用戶(hù)操作。用戶(hù)操作焦點(diǎn)位置輸入按鈕108b，選擇焦點(diǎn)位置y后，操作部108向控制電路101輸出操作信號(hào)。接著，詳細(xì)說(shuō)明拍攝單元100的構(gòu)成。拍攝單元100具有如上所述的微透鏡陣列12和拍攝元件13。微透鏡陣列12包括二維狀排列的多個(gè)微透鏡120。拍攝元件13中，接收通過(guò)上述各微透鏡120的光的像素排列130以與微透鏡120對(duì)應(yīng)的配置圖案配置。各個(gè)像素排列130包括二維狀排列的多個(gè)光電變換元件131 (以下，稱(chēng)為拍攝像素131)。圖2 (a)表示按微透鏡陣列12排列的微透鏡120的XY平面的平面圖。如圖2 (a)所示，微透鏡陣列12在XY平面上，由例如六角形形成的多個(gè)微透鏡120蜂窩排列而成。另夕卜，圖2(a)表示在微透鏡陣列12設(shè)置的多個(gè)微透鏡120中的部分微透鏡120。圖2 (b)是 在拍攝透鏡LI的光軸方向(Z軸方向)中、拍攝透鏡LI、微透鏡陣列12和拍攝元件13的位置關(guān)系的說(shuō)明圖。如圖2(b)所示，拍攝元件13配置在按微透鏡120的焦點(diǎn)距離f離開(kāi)的位置。即，具有多個(gè)拍攝像素131的像素排列130設(shè)置在按與各像素排列130分別對(duì)應(yīng)的微透鏡120的焦點(diǎn)距離f離開(kāi)的位置。另外，圖2(b)中，表示了在微透鏡陣列12設(shè)置的多個(gè)微透鏡120和在拍攝元件13設(shè)置的多個(gè)像素排列130及多個(gè)拍攝像素131 —部分。采用從具有上述構(gòu)成的拍攝元件13輸出的圖像信號(hào)，圖像積分部106作成合成圖像數(shù)據(jù)。圖像積分部106將與某微透鏡120對(duì)應(yīng)設(shè)置的像素排列130所包含的拍攝像素131中預(yù)定的拍攝像素131(以下，稱(chēng)為基點(diǎn)像素132(圖3))輸出的圖像信號(hào)(以下，稱(chēng)為基點(diǎn)信號(hào))和與基點(diǎn)像素132對(duì)應(yīng)的微透鏡120及附近設(shè)置的微透鏡120對(duì)應(yīng)的像素排列130所包含的拍攝像素131輸出的圖像信號(hào)合成。結(jié)果，圖像積分部106生成與I像素相當(dāng)?shù)暮铣蓤D像信號(hào)。圖像積分部106對(duì)與各微透鏡120對(duì)應(yīng)的基點(diǎn)像素全部進(jìn)行上述處理，將生成的各個(gè)合成圖像信號(hào)累加，生成合成圖像數(shù)據(jù)。圖像積分部106在如上所述生成合成圖像信號(hào)時(shí)，參照表作成部105作成的合成像素所屬表。合成像素所屬表表示輸出用于合成到基點(diǎn)信號(hào)的圖像信號(hào)的拍攝像素131配置在與哪個(gè)微透鏡120對(duì)應(yīng)的像素排列130的哪個(gè)位置。以下，說(shuō)明圖像積分部106采用從拍攝像素131輸出的圖像信號(hào)生成合成圖像信號(hào)的處理和表作成部105作成合成圖像所屬表的處理。圖3表示與各微透鏡120即各像素排列130對(duì)應(yīng)設(shè)置的基點(diǎn)像素。圖3中，也表示了多個(gè)微透鏡120中的部分微透鏡120。如圖3所示，本實(shí)施方式中，相對(duì)于一個(gè)微透鏡120，設(shè)置例如4個(gè)基點(diǎn)像素132a 132d。通過(guò)使基點(diǎn)像素132的個(gè)數(shù)為多個(gè)，可以減少焦點(diǎn)位置不可變的區(qū)域。即，基點(diǎn)像素132為I個(gè)的場(chǎng)合，上述區(qū)域的大小為±2f(f是微透鏡120的焦點(diǎn)距離)，而通過(guò)使基點(diǎn)像素132為多個(gè)，最少可將上述區(qū)域的大小設(shè)為土f。而且，通過(guò)增加基點(diǎn)像素132的個(gè)數(shù)，可以增加合成圖像數(shù)據(jù)的像素?cái)?shù)。從而，圖3所示場(chǎng)合中，合成圖像數(shù)據(jù)的像素?cái)?shù)成為在微透鏡陣列12排列的微透鏡120的個(gè)數(shù)4倍。圖3中，基點(diǎn)像素132a與微透鏡120的偽光軸對(duì)應(yīng)配置。另外，本實(shí)施方式中，將偽光軸設(shè)為從拍攝透鏡LI的光瞳入射的光束的中心和微透鏡120的主面的交點(diǎn)來(lái)說(shuō)明。圖3中，表示微透鏡120的幾何學(xué)的中心和偽光軸一致的情況?；c(diǎn)像素132b、132d在相鄰的微透鏡120附近配置，基點(diǎn)像素132c在與相鄰的微透鏡120的邊界線上對(duì)應(yīng)配置。另外，以下說(shuō)明中，與基點(diǎn)像素132對(duì)應(yīng)的微透鏡120稱(chēng)為基點(diǎn)微透鏡121。-合成圖像信號(hào)的生成-首先，說(shuō)明圖4 (a)所示的被攝體的像在微透鏡120的頂點(diǎn)成像時(shí)、即焦點(diǎn)面S存在于微透鏡120的頂點(diǎn)時(shí)合成圖像的生成原理。該場(chǎng)合的來(lái)自被攝體的光束入射與微透鏡120對(duì)應(yīng)設(shè)置的像素排列130的拍攝像素131。圖像積分部106通過(guò)對(duì)從圖4(a)所示的拍攝像素131中的劃斜線的拍攝像素131輸出的圖像信號(hào)積分，生成與合成圖像數(shù)據(jù)I的像素相當(dāng)?shù)暮铣蓤D像信號(hào)。圖像積分部106通過(guò)對(duì)與全部微透鏡120對(duì)應(yīng)的像素排列130進(jìn)行該處理，生成合成圖像數(shù)據(jù)。接著，說(shuō)明對(duì)于某焦點(diǎn)面(成像面)成像的被攝體像，生成合成圖像信號(hào)時(shí)的原理。如圖4(b)所示，焦點(diǎn)面S存在于從微透鏡120的頂點(diǎn)離開(kāi)的位置時(shí)，來(lái)自被攝體的光束入射不同的多個(gè)微透鏡120。因而，圖像積分部106為了生成合成圖像信號(hào)，必須還采用 來(lái)自與在基點(diǎn)微透鏡121附近配置的微透鏡120對(duì)應(yīng)配置的拍攝像素131的圖像信號(hào)。本實(shí)施方式中，相對(duì)于一個(gè)基點(diǎn)微透鏡121設(shè)置多個(gè)基點(diǎn)像素132,即,在與微透鏡120的偽光軸對(duì)應(yīng)的位置不同的位置也設(shè)置了基點(diǎn)像素132。圖像積分部106通過(guò)對(duì)根據(jù)合成圖像的光圈值確定的積分區(qū)域所包含的拍攝像素131輸出的圖像信號(hào)全部積分，生成與合成圖像數(shù)據(jù)中的I像素(合成圖像成像區(qū)域)相當(dāng)?shù)暮铣蓤D像信號(hào)。另外，積分區(qū)域由直徑為D的圓表示。積分區(qū)域的直徑D采用根據(jù)光圈值輸入按鈕108a的操作確定的光圈值(合成圖像數(shù)據(jù)的光圈值)F和微透鏡120的焦點(diǎn)距離f，通過(guò)以下的式(I)表達(dá)。D=f/F ... (I)圖5表示積分區(qū)域Rs和拍攝像素131的關(guān)系。如上所述，圖像積分部106對(duì)從表現(xiàn)為圓形區(qū)域的積分區(qū)域Rs覆蓋的全部拍攝像素131輸出的圖像信號(hào)積分。圖5中，向輸出積分的圖像信號(hào)的拍攝像素131附上了斜線來(lái)表示。微透鏡120是構(gòu)成微透鏡陣列12的一個(gè)透鏡，因此，不能使積分區(qū)域Rs大于由微透鏡120的排列所容許的各微透鏡120的直徑。從而，由合成圖像數(shù)據(jù)容許的最大光圈值Fmax通過(guò)以下的式⑵表達(dá)。另外，式(2)中“s”表示拍攝像素131的一邊的大小。另外，合成圖像數(shù)據(jù)中的最小光圈值Fmin成為微透鏡120的F值。Fmax=f/s …(2)通過(guò)圖像積分部106對(duì)從包含基點(diǎn)像素132的像素排列130輸出的圖像信號(hào)積分后的合成圖像信號(hào)，即積分值通過(guò)以下的式(3)表達(dá)。另外，式(3)中，P表示從拍攝像素131輸出的圖像信號(hào)的輸出值。另外，式(3)的“i”表示合成圖像的光圈值為F時(shí)積分區(qū)域Rs覆蓋的拍攝像素131，“O”表示與包括基點(diǎn)像素132的像素排列130對(duì)應(yīng)配置的微透鏡120，即基點(diǎn)微透鏡121。尸-· ■ ■ (3 )如上所述，圖像積分部106還采用從與在基點(diǎn)微透鏡121的附近設(shè)置的微透鏡120對(duì)應(yīng)的像素排列130所包含的拍攝像素131輸出的圖像信號(hào)進(jìn)行積分。即，圖像積分部106對(duì)來(lái)自由合成圖像的光圈值F確定的積分區(qū)域Rs覆蓋的拍攝像素131的集合F {i}所包含的全部拍攝像素131，即與包含基點(diǎn)微透鏡121的附近的微透鏡120對(duì)應(yīng)配置的拍攝像素131的像素信號(hào)的輸出值進(jìn)行積分。該場(chǎng)合，輸出值P由以下式的(4)表達(dá)。另外，式(4)的“t”表示包含基點(diǎn)微透鏡121的附近的微透鏡120。* * * (4 )圖6表示輸出由圖像積分部106生成一個(gè)合成圖像信號(hào)時(shí)采用的圖像信號(hào)的拍攝像素131與基點(diǎn)微透鏡121及附近相鄰的微透鏡120a 120f的關(guān)系。另外，圖6中，表示對(duì)從基點(diǎn)像素132a輸出的基點(diǎn)信號(hào)生成合成圖像信號(hào)的情況。若將與圖6所示的基點(diǎn)微透鏡121相鄰的微透鏡120a 120f中分散的各拍攝像素131集中，則構(gòu)成由圖5所示的合成圖像的光圈值F規(guī)定的區(qū)域即積分區(qū)域Rs覆蓋的多個(gè)拍攝像素131。
圖像積分部106進(jìn)行上述處理對(duì)圖像信號(hào)積分時(shí)，輸出累加到基點(diǎn)信號(hào)的圖像信號(hào)的拍攝像素131配置在與哪一個(gè)微透鏡120對(duì)應(yīng)的像素排列130哪個(gè)位置是重要的。因此，式(3)、⑷中“i”表示的拍攝像素131設(shè)置為與哪個(gè)微透鏡120a 120f對(duì)應(yīng)，即表示拍攝像素131的分散的信息即表，作為合成像素所屬表存儲(chǔ)在預(yù)定的存儲(chǔ)區(qū)域。圖像積分部106生成合成圖像信號(hào)時(shí)，參照該合成像素所屬表。另外，合成像素所屬表設(shè)為由以下的式
(5)表達(dá)。t=Td(i)...(5)以下，說(shuō)明合成像素所屬表的作成原理。圖10表示在微透鏡陣列12中從光點(diǎn)LP發(fā)出并由拍攝像素131的受光面截取的光束LF的光截面LFD。如圖10所示，從光點(diǎn)LP擴(kuò)散的光束LF通過(guò)其前級(jí)的拍攝透鏡LI，擴(kuò)散角受到限制。因此，分別入射各微透鏡120的光束LF不會(huì)超出微透鏡120的覆蓋區(qū)域外(圖10中，光截面LFDc、LFDe描繪為一部分超出覆蓋區(qū)域外)。這也可以通過(guò)拍攝像素131的受光面與拍攝透鏡LI的光瞳光學(xué)共軛來(lái)說(shuō)明。經(jīng)由拍攝透鏡LI攝影時(shí)，微透鏡120覆蓋的區(qū)域中出現(xiàn)攝影光瞳像即光的邊界，光束LF不入射其外側(cè)。以上述點(diǎn)為前提進(jìn)行說(shuō)明。圖10的微透鏡陣列12中，若對(duì)于向與光束LF的光截面LFDalFDeG^JIS LFD)對(duì)應(yīng)的拍攝像素131a 131e的入射光量積分，則可獲得來(lái)自光點(diǎn)LP的光束LF中的限制到拍攝透鏡LI的光瞳的光束LF的所有輻射量。從而，圖像積分部106對(duì)圖像信號(hào)積分時(shí),相對(duì)于光點(diǎn)LP的z軸方向的坐標(biāo)運(yùn)算拍攝像素131的受光兀件面的光截面LFD即可。反之，若設(shè)置顯示元件、從與光束LF的各光截面LFD對(duì)應(yīng)的各個(gè)顯示元件出射光，則必然存在按照與入射相同的方向前進(jìn)的光束LF，因此“光點(diǎn)LP”成為光束LF的聚點(diǎn)。如上所述，從光點(diǎn)LP擴(kuò)散的光束LF的角度由拍攝透鏡LI的光瞳，即，拍攝透鏡LI的F值決定。另外，如顯示系統(tǒng)等那樣不存在拍攝透鏡LI的場(chǎng)合，由微透鏡120的F值規(guī)定開(kāi)口的最大值(F的最小值)。從而，若僅僅使用微透鏡120的覆蓋區(qū)域的中心部，則可限制開(kāi)口。用圖11，通過(guò)在微透鏡120上投影來(lái)自光點(diǎn)LP的光束LF的擴(kuò)散，來(lái)說(shuō)明幾個(gè)或哪個(gè)微透鏡120與某一光截面LFD對(duì)應(yīng)。另外，圖11中，為了便于說(shuō)明，表示了微透鏡120為正方形排列的情況。另外，圖11中，對(duì)從光點(diǎn)LP擴(kuò)散的光束LF，表示了光點(diǎn)LP的Z軸方向位置在微透鏡120的焦點(diǎn)距離f的情況和在為其二倍的2f的情況。圖11中，光點(diǎn)LP位置為f時(shí)光束LF的擴(kuò)散用虛線表示，為2f時(shí)用點(diǎn)劃線表示。光點(diǎn)LP若位于微透鏡120的焦點(diǎn)距離f的位置，則光束LP的擴(kuò)散由微透鏡120規(guī)定(光截面LFD設(shè)為圓，但是微透鏡120若直到正方形端部為止光學(xué)有效，則成為正方形)，因此，光束LF入射一個(gè)微透鏡120內(nèi)。以上，確定與一個(gè)光點(diǎn)LP對(duì)應(yīng)的微透鏡120。光點(diǎn)LP的位置在微透鏡120的焦點(diǎn)距離f時(shí)，光束LF作為圓形開(kāi)口的光擴(kuò)散到該微透鏡120的正下方的區(qū)域全體。因而，選擇來(lái)自?xún)?nèi)切于正方形區(qū)域的圓的內(nèi)部所包括的全部的拍攝像素131的圖像信號(hào)即可。光點(diǎn)LP的位置的絕對(duì)值比焦點(diǎn)距離f小的場(chǎng)合，光束LF在微透鏡120的正下方的區(qū)域內(nèi)不會(huì)聚地?cái)U(kuò)散。但是，入射光束LF的擴(kuò)散角受到限制，因此，光截面LFD處在覆蓋區(qū)域。這里說(shuō)明光點(diǎn)LP的位置在2f的情況。圖12表示與該情況有關(guān)的微透鏡120。如圖12(a)所示，有關(guān)的微透鏡120是自身即基點(diǎn)微透鏡121和與其相鄰的8個(gè)微透鏡120。 考慮微透鏡120對(duì)開(kāi)口的限制時(shí)，在圖12(a)中的斜線表示的覆蓋區(qū)域中存在光截面LFD。該場(chǎng)合，各微透鏡120形成的光截面LFD成為由圖12(b)的斜線表示的區(qū)域。如圖12(b)所示，將一個(gè)基點(diǎn)微透鏡121的覆蓋區(qū)域分割，向相鄰的微透鏡120分配。對(duì)分割后分配的覆蓋區(qū)域(部分區(qū)域)積分時(shí)的整體區(qū)域成為一個(gè)微透鏡120的開(kāi)口區(qū)域。因此，不管哪個(gè)位置的光點(diǎn)LP，光截面LFD的整體區(qū)域的大小都相同，因此，對(duì)部分區(qū)域積分來(lái)算出整體區(qū)域的場(chǎng)合，確定各個(gè)部分區(qū)域所屬的微透鏡120即可。圖11中，表示了光點(diǎn)LP的位置和倍率即與基點(diǎn)微透鏡121相鄰的微透鏡120的個(gè)數(shù)和關(guān)系，將其適用到假想的開(kāi)口區(qū)域。本實(shí)施例中，采用下述方法以按倍率縮小的微透鏡120的排列分割開(kāi)口區(qū)域，在由此定義的微透鏡120中的相同位置配置開(kāi)口區(qū)域的片斷。以下述情況為例說(shuō)明按倍率2縮小外切于開(kāi)口區(qū)域的正方形，以微透鏡120的排列分割開(kāi)口區(qū)域(區(qū)域分割)。圖13表示在基點(diǎn)微透鏡121展開(kāi)上述區(qū)域分割時(shí)的光截面LFD。若根據(jù)倍率進(jìn)行同樣的區(qū)域分割，則可獲得倍率、即相對(duì)于光點(diǎn)LP的光截面LFD的圖形。具體地說(shuō)，微透鏡120的直徑(微透鏡的一邊的大小)設(shè)為g時(shí)，用g/m寬度的格子分割開(kāi)口區(qū)域。倍率可以用光點(diǎn)LP的高度(位置)y和微透鏡的焦點(diǎn)距離f之比m = y/f表達(dá)。比m也存在負(fù)符號(hào)。比m的符號(hào)為負(fù)的場(chǎng)合，光點(diǎn)LP與微透鏡120相比，處于拍攝元件13偵U。上述例中，說(shuō)明了光點(diǎn)LP在某微透鏡120的透鏡中心軸即偽光軸上存在的情況，但是實(shí)際上即使偏心，計(jì)算上也沒(méi)有問(wèn)題。若僅僅可在透鏡中心上運(yùn)算，則合成圖像的二維分辨率等于微透鏡120的個(gè)數(shù)，但是通常這是完全不夠的。其理由是因?yàn)?，微透鏡120覆蓋的拍攝像素131的數(shù)目若設(shè)為100，則合成圖像的分辨率成為像素?cái)?shù)目的1/100。因而，為了獲得100萬(wàn)像素的合成圖像，需要I億個(gè)拍攝像素131。因而，設(shè)為進(jìn)行偏心位置處的合成，在微透鏡120內(nèi)，多個(gè)光點(diǎn)LP可對(duì)應(yīng)。微透鏡120的覆蓋區(qū)域和微透鏡120的個(gè)數(shù)的積大致等于拍攝像素131的全部像素?cái)?shù)，因此，將在一個(gè)微透鏡120內(nèi)偏心的多個(gè)點(diǎn)分別設(shè)為基點(diǎn)進(jìn)行合成的情況，等同于重疊使用來(lái)自拍攝像素131的圖像信號(hào)。即，來(lái)自各偏心的光點(diǎn)LP的光束LF重疊存在于拍攝像素131上。但是，倍率為I倍時(shí)，該運(yùn)算成為單純的內(nèi)插操作，對(duì)分辨率提高沒(méi)有實(shí)質(zhì)貢獻(xiàn)。這表明若在微透鏡120頂點(diǎn)附近成像，則光學(xué)的深度方向的信息丟失。圖14表不了與相對(duì)于基點(diǎn)微透鏡121的偽光軸左偏心的光點(diǎn)LP相關(guān)的分割區(qū)域。說(shuō)明從基點(diǎn)微透鏡121 (透鏡直徑設(shè)為g)的中心即偽光軸向圖14的左方向偏心p、光點(diǎn)LP的高度(位置)為2f的情況。另外，圖14中，點(diǎn)ol表示偏心的光點(diǎn)LP，點(diǎn)o2表示偽光軸。該場(chǎng)合，圖13所示的微透鏡120向圖中右方向偏移P，若分割開(kāi)口區(qū)域，則獲得圖14所示的場(chǎng)合的分割區(qū)域。若將微透鏡120分割為16個(gè),若將透鏡中心(偽光軸)的座標(biāo)設(shè)為(O, O),相對(duì)于X軸y軸，分別進(jìn)行一 g / 2、一 g / 4、0、g/4、g / 2的位置的圖形及其形成的分割區(qū)域及整體區(qū)域的積分，則可以對(duì)一個(gè)微透鏡120獲得16點(diǎn)的光點(diǎn)群。-合成像素所屬表作成處理-圖像積分部106在對(duì)圖像信號(hào)積分時(shí)，參照合成像素所屬表。如上所述，該合成像 素所屬表特定輸出用于合成到基點(diǎn)信號(hào)的圖像信號(hào)的拍攝像素131配置在與基點(diǎn)微透鏡121及附近設(shè)置的微透鏡120對(duì)應(yīng)的像素排列130的哪個(gè)位置。表生成部105確定合成圖像的焦點(diǎn)位置y和合成圖像的光圈值F (景深)后，作成與輸出用于合成到基點(diǎn)信號(hào)的圖像信號(hào)的拍攝像素131有關(guān)的合成像素所屬表。如上所述，將來(lái)自與哪個(gè)微透鏡120對(duì)應(yīng)的哪個(gè)拍攝像素131的圖像信號(hào)累加到基點(diǎn)信號(hào)，由合成圖像的焦點(diǎn)位置確定。圖6 (a)表示合成圖像的焦點(diǎn)位置(焦點(diǎn)面)y相對(duì)于微透鏡陣列12存在于被拍攝體側(cè)的情況。另外，圖6(b)表示合成圖像的焦點(diǎn)位置(焦點(diǎn)面)y相對(duì)于微透鏡陣列12存在于拍攝元件13側(cè)的情況。如圖6(a)及圖6(b)所示，關(guān)于與微透鏡120a對(duì)應(yīng)的拍攝像素131，輸出累加到基點(diǎn)信號(hào)的圖像信號(hào)的拍攝像素131的配置相應(yīng)于焦點(diǎn)面的位置而不同。其他的微透鏡120b 120f及基點(diǎn)微透鏡121也同樣不同。在基點(diǎn)微透鏡121存在多個(gè)基點(diǎn)像素132的場(chǎng)合(例如圖3的基點(diǎn)像素132a 132d)，表作成部105對(duì)各個(gè)基點(diǎn)像素132作成合成像素所屬表。但是，多個(gè)基點(diǎn)像素132若相對(duì)于基點(diǎn)微透鏡121的偽光軸對(duì)稱(chēng)(對(duì)稱(chēng)性)，則圖像積分部106可將某基點(diǎn)像素132的合成像素所屬表用作其他基點(diǎn)像素132的合成像素所屬表。例如，圖像積分部106可將圖3的基點(diǎn)像素132b的合成像素所屬表用作相對(duì)于基點(diǎn)微透鏡121的偽光軸對(duì)稱(chēng)的基點(diǎn)像素132d的合成像素所屬表。以下，詳細(xì)說(shuō)明表作成部105進(jìn)行的合成像素所屬表的作成處理。以下說(shuō)明中，代表性說(shuō)明與基點(diǎn)微透鏡121的偽光軸對(duì)應(yīng)配置的基點(diǎn)像素132a的合成像素所屬表的作成處理。合成圖像的焦點(diǎn)面存在于離微透鏡陣列12距離y的位置，即焦點(diǎn)距離設(shè)為y。而且，從基點(diǎn)微透鏡121通過(guò)第η個(gè)微透鏡120的偽光軸的光束如以下的式(6)所示，入射離基點(diǎn)微透鏡121的偽光軸距離X的位置。另外，“d”表示各微透鏡120的排列間距。x=fnd / y ... (6)若考慮拍攝像素131接受由對(duì)應(yīng)的微透鏡120成像的光束，則來(lái)自合成圖像的焦點(diǎn)位置I的來(lái)自被攝體的光中的在拍攝元件13的拍攝面中由各微透鏡120照射的光的幅度1，通過(guò)以下的式(7)表達(dá)。l=fd / y ... (7)上述光幅度I在拍攝元件13的二維平面上，由幅度I的環(huán)狀區(qū)域(以下，稱(chēng)為環(huán)帶)表示。從而，在從基點(diǎn)微透鏡121到在第η個(gè)位置配置的微透鏡120中，由合成圖像的光闌值F規(guī)定的光束入射由該環(huán)帶I表示的區(qū)域內(nèi)。如式(7)所示，合成圖像的焦點(diǎn)位置y越大，環(huán)帶I的幅度越小。本實(shí)施例中，各個(gè)微透鏡120在xy平面中的形狀為圖3所示的六角形，在微透鏡陣列12上蜂窩狀排列。圖7表示在某合成圖像的光闌值F對(duì)應(yīng)的積分區(qū)域Rs中，η= I時(shí)的環(huán)帶11及η = 2時(shí)的環(huán)帶12。如圖7所示，η = I時(shí)的環(huán)帶11由基點(diǎn)微透鏡121及微透鏡120a 120f區(qū)分,分別形成部分區(qū)域Rpa Rpg。即，各部分區(qū)域Rpa Rpg分別由不同的微透鏡120覆蓋。從而，圖像積分部106算出來(lái)自環(huán)帶11的各部分區(qū)域Rpa Rpg所包括的拍攝像素131的圖像信號(hào)的輸出值Pi，S。同樣，圖像積分部106對(duì)積分區(qū)域Rs即全部環(huán)帶I積分即可。關(guān)于基點(diǎn)微透鏡121及各微透鏡120a 120f，與相鄰的微透鏡120的關(guān)系基本同樣。從而，表作成部105對(duì)于構(gòu)成環(huán)帶11的部分區(qū)域Rpa Rpg各自所包括的各拍攝像素131,確定某拍攝像素131屬于哪個(gè)部分區(qū)域Rp。
對(duì)于基點(diǎn)像素132a，將包括輸出被積分的圖像信號(hào)的拍攝像素131的積分區(qū)域Rs的直徑設(shè)為(D = f / F)。另外，將各微透鏡120的X軸方向(水平方向)的排列間距d、換言之是內(nèi)切于六角形形狀的各微透鏡120各個(gè)的圓的直徑，設(shè)為等于積分區(qū)域Rs的直徑的最大值Dmax。而且，以微透鏡120的假想彎曲面為基準(zhǔn)，將合成圖像的焦點(diǎn)位置(焦點(diǎn)距離)設(shè)為I。該場(chǎng)合，將微透鏡陣列12中的各微透鏡120的排列間距d設(shè)為投射倍率即f/y倍而在積分區(qū)域Rs上投影的區(qū)域，與通過(guò)各微透鏡120分割環(huán)帶I所成的部分區(qū)域Rp的各個(gè)相當(dāng)。表作成部105使部分區(qū)域Rp所包含的拍攝像素131的位置和與部分區(qū)域Rp對(duì)應(yīng)的微透鏡120相關(guān)聯(lián),作成基點(diǎn)像素132a的合成像素所屬表。表作成部105對(duì)于其他基點(diǎn)像素132lTl32d，也同樣作成合成像素所屬表。另外，與部分區(qū)域Rp對(duì)應(yīng)的微透鏡120的位置特定為以基點(diǎn)微透鏡121的位置為基準(zhǔn)的相對(duì)位置。另外，表作成部105對(duì)于基點(diǎn)像素132沒(méi)有在基點(diǎn)微透鏡121的偽光軸上配置的場(chǎng)合，即基點(diǎn)像素132lTl32d，也同樣作成合成像素所屬表。說(shuō)明例如在2個(gè)微透鏡120的邊界線上配置的基點(diǎn)像素132c那樣，從基點(diǎn)微透鏡121的偽光軸偏心的情況。該場(chǎng)合，表作成部105如圖8所示，以從基點(diǎn)微透鏡121的偽光軸偏心的基點(diǎn)像素132c為中心，以投射倍率擴(kuò)大或縮小微透鏡120的排列間距d，在積分區(qū)域Rs上投影。另外，期望微透鏡120和拍攝像素131的位置關(guān)系，即微透鏡120的大小(配置間隔)和拍攝像素131的排列間距具有比例關(guān)系。如圖3所示，以微透鏡120的內(nèi)部成為拍攝像素131的排列間距的整數(shù)倍的方式確定拍攝像素131的排列間距后，表作成部105通過(guò)按每一微透鏡120反復(fù)進(jìn)行同一運(yùn)算,可作成式(5)表不的合成像素所屬表。說(shuō)明以上說(shuō)明的數(shù)字拍攝機(jī)I的工作。響應(yīng)用戶(hù)對(duì)釋放開(kāi)關(guān)的操作，從操作部108輸出操作信號(hào)后，控制電路101使拍攝元件13開(kāi)始被攝體像的拍攝，輸出圖像信號(hào)。拍攝元件13輸出的圖像信號(hào)通過(guò)A / D變換電路102變換為數(shù)字圖像信號(hào)，在存儲(chǔ)器103存儲(chǔ)。圖像積分部106采用在該存儲(chǔ)器103存儲(chǔ)的圖像信號(hào)，生成合成圖像數(shù)據(jù)。響應(yīng)用戶(hù)對(duì)光圈值輸入按鈕108a及焦點(diǎn)位置輸入按鈕108b的操作，控制電路101確定合成圖像的光圈值F及焦點(diǎn)位置y后，表作成部105如上所述作成合成像素所屬表。由合成圖像的光圈值F確定積分區(qū)域Rs，因此，表作成部105根據(jù)確定的合成圖像的焦點(diǎn)位置y算出投射倍率，確定積分區(qū)域Rs的部分區(qū)域Rp。然后，表作成部105根據(jù)確定的部分區(qū)域Rp所包含的拍攝像素131，作成合成像素所屬表，在預(yù)定的存儲(chǔ)區(qū)域存儲(chǔ)。圖像積分部106采用存儲(chǔ)的合成像素所屬表，對(duì)存儲(chǔ)器103存儲(chǔ)的圖像信號(hào)進(jìn)行合成圖像數(shù)據(jù)的生成處理。此時(shí)，圖像積分部106可以按每個(gè)與各微透鏡120對(duì)應(yīng)的像素排列130，生成合成圖像信號(hào)，進(jìn)行合成圖像數(shù)據(jù)的生成處理，也可以按照基點(diǎn)像素132的排列順序，生成合成圖像信號(hào)，生成合成圖像數(shù)據(jù)。圖像積分部106從各微透鏡120中選擇基點(diǎn)微透鏡121，以基點(diǎn)微透鏡121的偽光軸為中心，確定積分區(qū)域Rs。如上所述，本實(shí)施方式中，將偽光軸設(shè)為從拍攝透鏡LI的光瞳入射的光束中心和微透鏡120的主面交點(diǎn)。通常，越靠微透鏡陣列12的周邊部，即與被攝體象的像高高的位置對(duì)應(yīng)配置的微透鏡120，則偽光軸越從微透鏡120的幾何學(xué)上的中心偏移。從而，在拍攝透鏡LI的光瞳位置固定的場(chǎng)合，優(yōu)選以拍攝元件13的各拍攝像素131和微透鏡120的偽光軸成比例關(guān)系的方式預(yù)先設(shè)計(jì)微透鏡120。
拍攝像素131和微透鏡120的偽光軸不成比例關(guān)系的場(chǎng)合,表作成部105以偽光軸為基準(zhǔn)，按每一微透鏡120，內(nèi)插拍攝像素131的位置，進(jìn)行標(biāo)準(zhǔn)化，作成合成像素所屬表。標(biāo)準(zhǔn)化手法采用例如公知的雙立方(bicubic)法和/或最近鄰法等。合成像素所屬表根據(jù)如上所述標(biāo)準(zhǔn)化的拍攝像素131的位置，由表作成部105作成。從而，圖像積分部106參照該合成像素所屬表，對(duì)從由合成圖像的光圈值F確定的積分區(qū)域Rs內(nèi)的拍攝像素131輸出的圖像信號(hào)積分，生成合成圖像數(shù)據(jù)。圖像積分部106生成合成圖像數(shù)據(jù)后，圖像標(biāo)準(zhǔn)化部107對(duì)合成圖像數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。圖像積分部106生成的合成圖像數(shù)據(jù)的間距根據(jù)微透鏡120的排列和拍攝像素131的排列的比例關(guān)系確定，因此，合成圖像數(shù)據(jù)的水平方向和垂直方向的像素間距不同。圖3所示的微透鏡120是具有六角形形狀的蜂窩排列，在各像素排列130包含4個(gè)基點(diǎn)像素132的場(chǎng)合，水平方向和垂直方向的比如以下的式(8)。
1:0.8660=1:^
/2 ... (8)從而，圖像標(biāo)準(zhǔn)化部107對(duì)于垂直方向或水平方向，采用例如公知的最近鄰法和/或雙立方法等進(jìn)行內(nèi)插運(yùn)算，進(jìn)行標(biāo)準(zhǔn)化。結(jié)果，通過(guò)圖像標(biāo)準(zhǔn)化部107，合成圖像數(shù)據(jù)的水平方向和垂直方向的比變換為1:1。根據(jù)以上說(shuō)明的實(shí)施方式的數(shù)字拍攝機(jī)1，可獲得以下作用效果。(I)在拍攝透鏡LI的焦點(diǎn)面附近二維狀配置多個(gè)微透鏡120，拍攝元件13中，包含經(jīng)由微透鏡120接受通過(guò)拍攝透鏡LI的來(lái)自被攝體的光束并輸出圖像信號(hào)的多個(gè)拍攝像素131的像素排列130，與微透鏡120分別對(duì)應(yīng)地二維狀配置。圖像積分部106為了生成拍攝透鏡LI的任意焦點(diǎn)位置即與成像面中的多個(gè)成像區(qū)域?qū)?yīng)的合成圖像信號(hào)，根據(jù)按每個(gè)成像區(qū)域來(lái)特定輸出用于生成合成圖像信號(hào)的圖像信號(hào)的拍攝像素131的位置的信息，即合成像素所屬表，合成從拍攝像素131輸出的圖像信號(hào)。傳統(tǒng)技術(shù)中，生成某焦點(diǎn)面中的合成圖像數(shù)據(jù)時(shí)，合成與通過(guò)微透鏡120的中心位置對(duì)應(yīng)的坐標(biāo)的光束對(duì)應(yīng)輸出的圖像信號(hào)，生成與合成圖像數(shù)據(jù)I的像素相當(dāng)?shù)暮铣蓤D像信號(hào)。即，合成圖像數(shù)據(jù)的像素?cái)?shù)即分辨率等于微透鏡120的排列數(shù)。假定一個(gè)微透鏡120的直徑與拍攝像素131的10像素量相當(dāng)，即與一個(gè)微透鏡120對(duì)應(yīng)排列了 IOX 10像素的拍攝像素131。該場(chǎng)合，合成圖像數(shù)據(jù)的像素?cái)?shù)等于微透鏡120的排列數(shù)，因此圖像密度成為1/100。S卩，拍攝元件13即使具有1000萬(wàn)像素的拍攝像素131，生成的合成圖像數(shù)據(jù)也成為10萬(wàn)像素。相對(duì)地，本實(shí)施方式的數(shù)字拍攝機(jī)1，對(duì)一個(gè)微透鏡120設(shè)置4個(gè)用于生成與合成圖像數(shù)據(jù)的I像素相當(dāng)?shù)暮铣蓤D像信號(hào)的基點(diǎn)像素132。結(jié)果，與傳統(tǒng)技術(shù)的數(shù)字拍攝機(jī)生成的合成圖像數(shù)據(jù)比，分辨率增加，即與微透鏡120的排列數(shù)比可增加分辨率，因此合成圖像畫(huà)質(zhì)提聞。(2)而且，表作成部105作成表示輸出合成到來(lái)自基點(diǎn)像素132的基點(diǎn)信號(hào)的圖 像信號(hào)的拍攝像素131的位置的合成像素所屬表。即，不用如傳統(tǒng)技術(shù)那樣采用使用傅里葉變換的復(fù)雜運(yùn)算就可生成合成圖像數(shù)據(jù)。結(jié)果，即使微透鏡120的xy平面上形狀不是矩形排列(例如蜂窩排列)，基于傅里葉變換的運(yùn)算繁瑣，也可以降低處理負(fù)載，高速生成合成圖像。另外，表作成部105在每次確定合成圖像的焦點(diǎn)位置y時(shí)作成合成像素所屬表，因此，不必預(yù)先存儲(chǔ)與多個(gè)合成圖像的焦點(diǎn)位置I和多個(gè)基點(diǎn)像素132分別對(duì)應(yīng)的多個(gè)數(shù)據(jù)表，從而可以確保存儲(chǔ)容量。(3)多個(gè)基點(diǎn)像素132的各個(gè)的配置間隔與多個(gè)微透鏡120的各個(gè)的配置間隔具有比例關(guān)系。S卩，確定拍攝像素131的排列間距，使微透鏡120的大小成為拍攝像素131的排列間距的整數(shù)倍。其結(jié)果，圖像積分部106，通過(guò)對(duì)與其他微透鏡120對(duì)應(yīng)的基點(diǎn)像素132，進(jìn)行與對(duì)與多個(gè)中某微透鏡120對(duì)應(yīng)的基點(diǎn)像素132進(jìn)行的合成圖像生成處理同樣的處理，可以生成合成圖像數(shù)據(jù)。從而，可以減輕合成圖像的生成處理的負(fù)擔(dān)，高速生成合成圖像數(shù)據(jù)。(4)表作成部105對(duì)多個(gè)基點(diǎn)像素132a 132d分別作成合成像素所屬表。該合成像素所屬表中，與基點(diǎn)像素132對(duì)應(yīng)的拍攝像素131配置的位置，以微透鏡120的偽光軸為基準(zhǔn)而標(biāo)準(zhǔn)化。合成像素所屬表，以基點(diǎn)微透鏡121為基準(zhǔn)，相對(duì)地指定與拍攝像素131的配置位置對(duì)應(yīng)的微透鏡120的配置位置。從而，圖像積分部106可以參照合成像素所屬表選擇輸出合成到來(lái)自基點(diǎn)像素132的基點(diǎn)圖像信號(hào)的圖像信號(hào)的拍攝像素131，因此可以實(shí)現(xiàn)合成圖像數(shù)據(jù)的生成處理高速化。(5)表作成部105作成的合成像素所屬表，表示以基點(diǎn)像素132為基點(diǎn)的區(qū)域即以微透鏡120的焦點(diǎn)距離f除以合成圖像的光圈值F的值為直徑D (=f/F)的積分區(qū)域Rs所包含的拍攝像素131的配置位置與多個(gè)微透鏡120中哪個(gè)微透鏡120對(duì)應(yīng)。從而，圖像積分部106可以參照合成像素所屬表選擇合成到來(lái)自基點(diǎn)像素132的基點(diǎn)信號(hào)的圖像信號(hào)，即與合成圖像的光圈值F對(duì)應(yīng)的圖像信號(hào)，因此，可以實(shí)現(xiàn)合成圖像數(shù)據(jù)的生成處理高速化。(6)圖像標(biāo)準(zhǔn)化部107將圖像積分部106生成的合成圖像數(shù)據(jù)標(biāo)準(zhǔn)化，將水平方向和垂直方向的比率變換為I。從而，微透鏡120的xy平面上的形狀即使不是矩形，也可以生成水平方向和垂直方向的比率一致的合成圖像數(shù)據(jù)，防止合成圖像的畫(huà)質(zhì)降低。以上說(shuō)明的實(shí)施方式的數(shù)字拍攝機(jī)I可如下變形。(I)與一個(gè)微透鏡120對(duì)應(yīng)的4個(gè)基點(diǎn)像素132a 132d也可以配置在從微透鏡120的偽光軸偏心的位置。圖9(a)表示該場(chǎng)合的基點(diǎn)像素132的配置例。該場(chǎng)合，基點(diǎn)像素132a 132d配置在相對(duì)于微透鏡120的偽光軸相互對(duì)稱(chēng)(對(duì)稱(chēng)性)的位置。基點(diǎn)像素132如圖9(a)所示配置時(shí)，圖像積分部106可以將與一個(gè)基點(diǎn)像素132對(duì)應(yīng)的合成像素所屬表用作與其他3個(gè)基點(diǎn)像素132對(duì)應(yīng)的合成像素所屬表。例如，圖像積分部106通過(guò)每隔60度進(jìn)行旋轉(zhuǎn)，可以將與基點(diǎn)像素132a對(duì)應(yīng)的合成像素所屬表用作與基點(diǎn)像素132b、132c、132d分別對(duì)應(yīng)的合成像素所屬表。即，表作成部105對(duì)一個(gè)微透鏡120作成一個(gè)合成像素所屬表即可。(2)微透鏡120xy的平面中的形狀也可以取代六角形蜂窩構(gòu)造而采用例如正方形的矩形形狀。圖9(b)表示該場(chǎng)合的微透鏡120和基點(diǎn)像素132的配置例。該場(chǎng)合，表作成部105通過(guò)與實(shí)施方式同樣方法作成與4個(gè)基點(diǎn)像素132a 132d對(duì)應(yīng)的合成像素所屬表，圖像積分部106 —邊參照合成像素所屬表，一邊生成合成圖像數(shù)據(jù)。但是，不同于微透鏡120具有蜂窩構(gòu)造的場(chǎng)合，合成圖像數(shù)據(jù)的水平方向和垂直方向的比率為1，因此不必進(jìn)行圖像標(biāo)準(zhǔn)化部107的處理。(3)本實(shí)施方式中，對(duì)4個(gè)基點(diǎn)像素132作成合成像素所屬表，但是也可以對(duì)η個(gè) (η是I以上整數(shù))。例如，在與基點(diǎn)微透鏡120對(duì)應(yīng)的像素排列130包含16個(gè)基點(diǎn)像素132的場(chǎng)合，即對(duì)微透鏡120的排列生成16倍的分辨率的合成圖像數(shù)據(jù)的場(chǎng)合，表生成部105作成16種合成像素所屬表即可。另外，與基點(diǎn)微透鏡121對(duì)應(yīng)的基點(diǎn)像素132數(shù)為I個(gè)時(shí)，合成圖像數(shù)據(jù)分辨率等于微透鏡120的排列數(shù)。另外，只要無(wú)損本發(fā)明的特征，本發(fā)明不限于上述實(shí)施方式，在本發(fā)明的技術(shù)思想的范圍內(nèi)考慮的其他方式也是本發(fā)明范圍所包含的。說(shuō)明中采用的實(shí)施方式及變形例當(dāng)然也可以進(jìn)行適宜組合。以下優(yōu)先權(quán)基礎(chǔ)申請(qǐng)的公開(kāi)內(nèi)容作為引用文獻(xiàn)結(jié)合于此。日本專(zhuān)利申請(qǐng)2010年第127825號(hào)(2010年6月3日申請(qǐng))。
權(quán)利要求
1.一種拍攝裝置，其特征在于，具備 多個(gè)微透鏡，其在成像光學(xué)系統(tǒng)的焦點(diǎn)面附近二維狀地配置； 拍攝元件，其由元件群與上述微透鏡分別對(duì)應(yīng)地二維狀地配置而成，上述元件群包含經(jīng)由上述微透鏡接受通過(guò)上述成像光學(xué)系統(tǒng)的來(lái)自被攝體的光束并輸出圖像信號(hào)的多個(gè)光電變換元件；和 合成部，其為了生成與上述成像光學(xué)系統(tǒng)的任意成像面中的多個(gè)成像區(qū)域?qū)?yīng)的合成圖像數(shù)據(jù)，根據(jù)按每個(gè)上述成像區(qū)域來(lái)特定輸出用于生成上述合成圖像數(shù)據(jù)的上述圖像信號(hào)的上述光電變換元件的位置的信息，合成從上述多個(gè)光電變換元件輸出的上述圖像信號(hào)。
2.根據(jù)權(quán)利要求I所述的拍攝裝置，其特征在于， 上述多個(gè)成像區(qū)域設(shè)置與上述微透鏡相同的數(shù)量以上，上述成像區(qū)域的各自的配置間隔與多個(gè)上述微透鏡的各自的配置間隔具有比例關(guān)系。
3.根據(jù)權(quán)利要求I或2所述的拍攝裝置，其特征在于， 按每個(gè)上述成像區(qū)域來(lái)特定輸出用于生成上述合成圖像數(shù)據(jù)的上述圖像信號(hào)的上述光電變換元件的位置的信息，包括按每個(gè)上述成像區(qū)域來(lái)特定輸出用于生成上述合成圖像數(shù)據(jù)的上述圖像信號(hào)的上述光電變換元件的位置的表。
4.根據(jù)權(quán)利要求3所述的拍攝裝置，其特征在于， 具備按每個(gè)上述任意成像面作成上述表的作成部。
5.根據(jù)權(quán)利要求3或4所述的拍攝裝置，其特征在于， 上述表，按每個(gè)上述成像區(qū)域，以上述微透鏡的偽光軸為基準(zhǔn)，將上述光電變換元件的配置位置標(biāo)準(zhǔn)化，以與上述成像區(qū)域?qū)?yīng)的上述微透鏡為基準(zhǔn)，相對(duì)地特定與上述光電變換元件的配置位置對(duì)應(yīng)的上述微透鏡的配置位置。
6.根據(jù)權(quán)利要求3至5的任一項(xiàng)所述的拍攝裝置，其特征在于， 上述表，通過(guò)表示以上述成像區(qū)域?yàn)榛鶞?zhǔn)，以將上述微透鏡的焦點(diǎn)距離除以合成圖像數(shù)據(jù)的光圈值后的值為直徑的區(qū)域所包含的上述光電變換元件的配置位置與上述多個(gè)微透鏡中的哪一個(gè)上述微透鏡對(duì)應(yīng)，來(lái)特定上述光電變換元件的位置。
7.根據(jù)權(quán)利要求I至6的任一項(xiàng)所述的拍攝裝置，其特征在于， 上述多個(gè)微透鏡的各個(gè)在與上述攝影光學(xué)系統(tǒng)的光軸正交的平面上具有六角形形狀，上述多個(gè)微透鏡二維狀地蜂窩排列。
8.根據(jù)權(quán)利要求7所述的拍攝裝置，其特征在于， 具備將上述合成部生成的上述合成圖像數(shù)據(jù)的水平方向和垂直方向的比率變換為I的變換單元。
全文摘要
本發(fā)明提供拍攝裝置，其具備多個(gè)微透鏡，其在成像光學(xué)系統(tǒng)的焦點(diǎn)面附近二維狀地配置；拍攝元件，其由元件群與上述微透鏡分別對(duì)應(yīng)地二維狀地配置而成，上述元件群包含經(jīng)由上述微透鏡接受通過(guò)上述成像光學(xué)系統(tǒng)的來(lái)自被攝體的光束并輸出圖像信號(hào)的多個(gè)光電變換元件；和合成部，其為了生成與上述成像光學(xué)系統(tǒng)的任意成像面中的多個(gè)成像區(qū)域?qū)?yīng)的合成圖像數(shù)據(jù)，根據(jù)按每個(gè)上述成像區(qū)域來(lái)特定輸出用于生成上述合成圖像數(shù)據(jù)的上述圖像信號(hào)的上述光電變換元件的位置的信息，合成從上述多個(gè)光電變換元件輸出的上述圖像信號(hào)。
文檔編號(hào)G06T1/00GK102844785SQ20118001677
公開(kāi)日2012年12月26日 申請(qǐng)日期2011年6月3日 優(yōu)先權(quán)日2010年6月3日
發(fā)明者巖根透 申請(qǐng)人:株式會(huì)社尼康