專利名稱：攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成多視點(diǎn)圖像的攝像裝置。
背景技術(shù)：
以往，公知有使用兩個(gè)攝像光學(xué)系統(tǒng)拍攝由右眼用圖像和左眼用圖像構(gòu)成的立體圖像的立體攝像裝置(例如專利文獻(xiàn)I)。這樣的立體攝像裝置通過以預(yù)定間隔配置兩個(gè)攝像光學(xué)系統(tǒng)，從而使拍攝同一被攝體而得到的兩個(gè)圖像產(chǎn)生視差。此外，還公知有將任意像面中的像的圖像數(shù)據(jù)合成的攝像裝置(例如專利文獻(xiàn)2 )。該攝像裝置具有如下功能從配置在構(gòu)成微透鏡陣列的各個(gè)微透鏡的后方的像素陣列取出預(yù)定光電轉(zhuǎn)換元件的輸出，從而合成對(duì)焦于位于任意攝影距離的被攝體的圖像數(shù)據(jù)。
專利文獻(xiàn)I :日本特開平8-47001號(hào)公報(bào)專利文獻(xiàn)2 :日本特開2007-4471號(hào)公報(bào)

發(fā)明內(nèi)容
但是，存在無法使用單一的攝影光學(xué)系統(tǒng)來生成具有任意數(shù)量的視差的圖像的問題。根據(jù)本發(fā)明的第一方案，一種攝像裝置，包括多個(gè)微透鏡，呈二維狀地配置在攝影光學(xué)系統(tǒng)的焦面附近；攝像元件，與微透鏡分別對(duì)應(yīng)地呈二維狀配置有包括多個(gè)光電轉(zhuǎn)換元件的多個(gè)元件組，多個(gè)光電轉(zhuǎn)換元件經(jīng)由微透鏡接受通過了攝影光學(xué)系統(tǒng)的來自被攝體的光束、輸出圖像信號(hào)；生成部，從由多個(gè)元件組各自所含的多個(gè)光電轉(zhuǎn)換元件輸出的圖像信號(hào)，抽取與攝影光學(xué)系統(tǒng)的光瞳面上的多個(gè)不同的部分區(qū)域各自對(duì)應(yīng)的多個(gè)區(qū)域圖像信號(hào)，基于區(qū)域圖像信號(hào)，生成與部分區(qū)域各自對(duì)應(yīng)的多個(gè)圖像數(shù)據(jù)來作為視點(diǎn)位置各不相同的多個(gè)視點(diǎn)圖像數(shù)據(jù)；和接受部，接受選擇視點(diǎn)數(shù)的視點(diǎn)數(shù)選擇操作，生成部抽取與由視點(diǎn)數(shù)選擇操作所選擇的視點(diǎn)數(shù)相同數(shù)量的區(qū)域圖像信號(hào)，生成視點(diǎn)圖像數(shù)據(jù)。根據(jù)本發(fā)明的第二方案，在第一方案的攝像裝置中，優(yōu)選是生成部，將從多個(gè)元件組各自抽取的多個(gè)區(qū)域圖像信號(hào)中的、從不同的元件組抽取的、且與同一部分區(qū)域?qū)?yīng)的區(qū)域圖像信號(hào)合成，生成一個(gè)視點(diǎn)圖像數(shù)據(jù)。根據(jù)本發(fā)明的第三方案，在第一或第二方案的攝像裝置中，優(yōu)選是包括設(shè)定部，設(shè)定部設(shè)定用于抽取區(qū)域圖像信號(hào)的抽取區(qū)域，設(shè)定部在元件組的不同位置設(shè)定與所選擇的視點(diǎn)數(shù)相同數(shù)量的抽取區(qū)域，生成部按由設(shè)定部設(shè)定的抽取區(qū)域抽取區(qū)域圖像信號(hào)。根據(jù)本發(fā)明的第四方案，在第三方案的攝像裝置中，優(yōu)選是接受部接受選擇視差的視差選擇操作，視差表示在多個(gè)視點(diǎn)圖像數(shù)據(jù)之間的視點(diǎn)的變化量；設(shè)定部以與由視差選擇操作所選擇的視差對(duì)應(yīng)的位置間隔，設(shè)定抽取區(qū)域，生成部每隔位置間隔從抽取區(qū)域抽取區(qū)域圖像信號(hào)，生成視點(diǎn)圖像數(shù)據(jù)。根據(jù)本發(fā)明的第五方案，在第三或第四方案的攝像裝置中，優(yōu)選是接受部接受選擇圖像的景深(被寫界深度)的景深選擇操作，設(shè)定部根據(jù)由景深選擇操作所選擇的景深，設(shè)定抽取區(qū)域的大小，生成部根據(jù)設(shè)定的抽取區(qū)域的大小，將多個(gè)圖像信號(hào)合成、作為一個(gè)區(qū)域圖像信號(hào)抽取，生成視點(diǎn)圖像數(shù)據(jù)。根據(jù)本發(fā)明的第六方案，在第三 第五方案的任一方案的攝像裝置中，優(yōu)選是接受部還接受使視點(diǎn)的位置在二維方向上不同的視點(diǎn)位置選擇操作，設(shè)定部根據(jù)視點(diǎn)位置選擇操作，設(shè)定抽取與視點(diǎn)數(shù)相同數(shù)量的抽取區(qū)域的方向，生成部沿著由設(shè)定部設(shè)定的方向抽取區(qū)域圖像信號(hào)，生成視點(diǎn)圖像數(shù)據(jù)。根據(jù)本發(fā)明的第七方案，在第三 第六方案的任一方案的攝像裝置中，優(yōu)選是生成部，在由設(shè)定部設(shè)定的抽取區(qū)域與一個(gè)光電轉(zhuǎn)換元件中的一部分重復(fù)的情況下，對(duì)從重復(fù)的光電轉(zhuǎn)換元件輸出的圖像信號(hào)進(jìn)行根據(jù)重復(fù)比例決定的加權(quán)、作為區(qū)域圖像信號(hào)抽取。根據(jù)本發(fā)明的第八方案，在第三 第七方案的任一方案的攝像裝置中，優(yōu)選是包括檢測(cè)攝像裝置的姿勢(shì)的姿勢(shì)檢測(cè)部，設(shè)定部根據(jù)由姿勢(shì)檢測(cè)部檢測(cè)出的姿勢(shì)，設(shè)定抽取與視點(diǎn)數(shù)相同數(shù)量的抽取區(qū)域的方向，以使視點(diǎn)的位置不同，生成部沿著由設(shè)定部設(shè)定的
方向抽取區(qū)域圖像信號(hào)、生成視點(diǎn)圖像數(shù)據(jù)。根據(jù)本發(fā)明的第九方案，在第一 第八方案的任一方案的攝像裝置中，優(yōu)選是還包括顯示控制部，顯示控制部基于由生成部生成的多個(gè)視點(diǎn)圖像數(shù)據(jù)而生成顯示用圖像數(shù)據(jù)，使與顯示用圖像數(shù)據(jù)對(duì)應(yīng)的圖像作為立體圖像顯示于顯示器。根據(jù)本發(fā)明，能夠生成與由視點(diǎn)數(shù)選擇操作所選擇的視點(diǎn)數(shù)相同數(shù)量的視點(diǎn)圖像數(shù)據(jù)。


圖I是說明本發(fā)明的實(shí)施方式的數(shù)字相機(jī)(camera)的構(gòu)成的圖。圖2是表示微透鏡與攝像元件的配置的一個(gè)例子的圖，圖2 (a)是表示xy平面中的微透鏡的配置的圖，圖2 (b)是表示光軸方向上的攝影透鏡、微透鏡和攝像元件的位置關(guān)系的圖，圖2 (c)是表示一個(gè)像素陣列上的攝像像素的配置的圖。圖3是說明區(qū)塊的大小與視點(diǎn)數(shù)的關(guān)系的圖，圖3 Ca)是表示一個(gè)像素陣列上的攝像像素的配置的圖，圖3 (b)是表示所生成的5視點(diǎn)的圖像數(shù)據(jù)的一個(gè)例子的圖。圖4是說明區(qū)塊的大小與視點(diǎn)數(shù)的關(guān)系的圖，圖4 Ca)是表示一個(gè)像素陣列上的攝像像素與區(qū)塊的配置關(guān)系的圖，圖4 (b)是表示所生成的4視點(diǎn)的圖像數(shù)據(jù)的一個(gè)例子的圖。圖5是說明在多視點(diǎn)圖像之間不產(chǎn)生視差的情況下的原理的圖，圖5 Ca)是表示生成5個(gè)視點(diǎn)圖像時(shí)的光束，圖5 (b)是在焦面附近將圖5 (a)放大表示的圖，圖5 (c)是在微透鏡陣列和攝像元件的附近將圖5 (b)放大表示的圖。圖6是說明在多視點(diǎn)圖像之間不產(chǎn)生視差的情況下的原理的圖，圖6 Ca)表示與視點(diǎn)圖像數(shù)據(jù)對(duì)應(yīng)的視點(diǎn)圖像，圖6 (b)表示入射到攝像元件的光束的樣子。圖7是說明在多視點(diǎn)圖像之間產(chǎn)生視差的情況下的原理的圖，圖7 Ca)表示與視點(diǎn)圖像數(shù)據(jù)對(duì)應(yīng)的視點(diǎn)圖像，圖7 (b)表示入射到攝像元件的光束的樣子。圖8是表示可變參數(shù)與固定參數(shù)的一個(gè)例子的圖，圖8 (a)表示可變參數(shù)與可由可變參數(shù)控制的特性，圖8 (b)表示固定參數(shù)的一個(gè)例子。
圖9是說明多視點(diǎn)圖像生成時(shí)的運(yùn)算處理的圖，圖9 (a)表示在xy平面上的微透鏡的坐標(biāo)系，圖9 (b)表示在xy平面上的攝像元件的坐標(biāo)系。圖10是說明第一實(shí)施方式中的數(shù)字相機(jī)的處理的流程圖。圖11是表示實(shí)施方式中的數(shù)字相機(jī)的顯示器的構(gòu)成的一個(gè)例子的圖，圖11 (a)表示雙凸透鏡(lenticular lens)的一個(gè)例子，圖11 (b)表示xy平面上的顯示器與光束的關(guān)系。圖12是說明顯示用圖像數(shù)據(jù)的生成處理的概念圖。圖13是說明第二實(shí)施方式的微透鏡與攝像元件的配置的一個(gè)例子的圖，圖13(a)表示xy平面上的微透鏡與攝像元件的配置，圖13 (b)表示將區(qū)塊一般化了的情況下的xy平面上的微透鏡與攝像元件的配置，圖13 (c)示意表示區(qū)塊根據(jù)運(yùn)算結(jié)果而移動(dòng)的樣子。
圖14是說明第二實(shí)施方式的數(shù)字相機(jī)的處理的流程圖。圖15是說明第三實(shí)施方式的數(shù)字相機(jī)的構(gòu)成的圖。
具體實(shí)施例方式第一實(shí)施方式本實(shí)施方式的數(shù)字相機(jī)構(gòu)成為可對(duì)一個(gè)視場(chǎng)(被寫界)生成多個(gè)視點(diǎn)(視差)數(shù)量的圖像。該數(shù)字相機(jī)當(dāng)用戶選擇了所希望的視點(diǎn)數(shù)、視差、視點(diǎn)變化的方向、景深等時(shí)，能夠做成與用戶選擇相應(yīng)的多視點(diǎn)的圖像。以下進(jìn)行詳細(xì)說明。圖I是表示第一實(shí)施方式的數(shù)字相機(jī)的構(gòu)成的圖。數(shù)字相機(jī)I構(gòu)成為具有攝影透鏡LI的更換透鏡2可拆裝。數(shù)字相機(jī)I具有攝像單元100、控制電路101、A/D轉(zhuǎn)換電路102、存儲(chǔ)器103、驅(qū)動(dòng)部104、存儲(chǔ)卡接口 107、操作部108、顯示器109和LCD驅(qū)動(dòng)電路110。攝像單元100具有許多微透鏡120呈二維狀排列而成的微透鏡陣列12以及攝像元件13。另外，在圖I中，將z軸設(shè)定為與攝影透鏡LI的光軸平行，在與z軸正交的平面內(nèi)，將X軸和I軸設(shè)定為彼此正交的方向。攝影透鏡LI由多個(gè)光學(xué)透鏡組構(gòu)成，將來自視場(chǎng)的光束成像于其焦面附近。另夕卜，在圖I中為了便于說明以一個(gè)透鏡為代表表示攝影透鏡LI。在攝影透鏡LI的焦面附近依次配置有微透鏡陣列12和攝像元件13。攝像元件13由具有多個(gè)光電轉(zhuǎn)換元件的CCD、CMOS圖像傳感器構(gòu)成。攝像元件13拍攝在攝像面上成像的被攝體像，被驅(qū)動(dòng)部104驅(qū)動(dòng)而將與被攝體像相應(yīng)的光電轉(zhuǎn)換信號(hào)(圖像信號(hào))輸出到A/D轉(zhuǎn)換電路102。另外，之后詳細(xì)說明攝像單元100。驅(qū)動(dòng)部104根據(jù)來自控制電路101的命令，向攝像元件13輸出定時(shí)信號(hào)，控制攝像元件13的驅(qū)動(dòng)定時(shí)。A/D轉(zhuǎn)換電路102是對(duì)攝像元件13輸出的圖像信號(hào)進(jìn)行模擬處理后將其轉(zhuǎn)換為數(shù)字圖像信號(hào)的電路?？刂齐娐?01基于控制程序，使用從構(gòu)成數(shù)字相機(jī)I的各部分輸入的信號(hào)進(jìn)行預(yù)定的運(yùn)算，發(fā)送對(duì)數(shù)字相機(jī)I的各部分的控制信號(hào)，控制攝影工作?？刂齐娐?01在功能上具有圖像處理部105和運(yùn)算部106。圖像處理部105對(duì)被A/D轉(zhuǎn)換電路102進(jìn)行了數(shù)字轉(zhuǎn)換的圖像信號(hào)實(shí)施各種圖像處理，生成圖像數(shù)據(jù)。并且，圖像處理部105對(duì)所生成的圖像數(shù)據(jù)實(shí)施JPEG壓縮處理，以EXIF等形式將其記錄于存儲(chǔ)卡107a。運(yùn)算部106進(jìn)行用于由上述的圖像處理部105進(jìn)行的各種圖像處理的運(yùn)算處理。存儲(chǔ)器103是用于將被A/D轉(zhuǎn)換電路102進(jìn)行了數(shù)字轉(zhuǎn)換的圖像信號(hào)、圖像處理、圖像壓縮處理及顯示用圖像數(shù)據(jù)作成處理的中途、處理后的數(shù)據(jù)暫時(shí)存儲(chǔ)的易失性存儲(chǔ)介質(zhì)。存儲(chǔ)卡接口 107是供存儲(chǔ)卡107a可拆裝的接口。存儲(chǔ)卡接口 107是根據(jù)控制電路101的控制而將圖像數(shù)據(jù)寫入存儲(chǔ)卡107a、或?qū)⒂涗浻诖鎯?chǔ)卡107a的圖像數(shù)據(jù)讀出的接口電路。存儲(chǔ)卡107a是CF (compact flash注冊(cè)商標(biāo))、SD卡等半導(dǎo)體存儲(chǔ)卡。IXD驅(qū)動(dòng)電路110是基于控制電路101的命令而驅(qū)動(dòng)顯示器109的電路。顯示器109例如由液晶等構(gòu)成，在再現(xiàn)模式下顯示基于記錄于存儲(chǔ)卡107a的圖像數(shù)據(jù)由控制電路101做成的顯示數(shù)據(jù)。此外，在顯示器109顯示用于設(shè)定數(shù)字相機(jī)I的各種動(dòng)作的菜單畫面。之面將詳細(xì)說明IXD驅(qū)動(dòng)電路110和顯示器109。操作部108接受用戶的操作，將與操作內(nèi)容相應(yīng)的各種操作信號(hào)向控制電路101輸出。操作部108包括電源按鍵、釋放按鍵、模式選擇按鍵、其他設(shè)定菜單的顯示切換按鍵、設(shè)定菜單決定按鍵等。模式選擇按鍵在進(jìn)行用于在攝影模式和再現(xiàn)模式之間切換數(shù)字相機(jī)I的工作的操作時(shí)使用。此外，數(shù)字相機(jī)1，包括用于拍攝多個(gè)視點(diǎn)數(shù)的圖像(多視點(diǎn)圖像)的多視點(diǎn)圖像生成模式作為攝影模式。在多視點(diǎn)圖像生成模式中，可由用戶選擇拍攝的圖像的視點(diǎn)數(shù)、視差、視點(diǎn)變化的方向、景深等視點(diǎn)條件。多視點(diǎn)圖像生成模式下的視點(diǎn)條件 的選擇通過操作操作部108從上述菜單畫面上選擇來進(jìn)行。接著,詳細(xì)說明攝像單元100的構(gòu)成。攝像單元100如上所述具有微透鏡陣列12和攝像元件13。微透鏡陣列12由排列成二維狀的多個(gè)微透鏡120構(gòu)成。在攝像元件13，以與微透鏡120對(duì)應(yīng)的配置圖案配置接受通過了上述各微透鏡120的光的像素陣列130。各個(gè)像素陣列130由排列成二維狀的多個(gè)光電轉(zhuǎn)換元件131 (以下稱為攝像像素131)構(gòu)成。圖2表示微透鏡120和攝像元件13的配置的一個(gè)例子。圖2(a)是說明與攝影透鏡LI的光軸方向正交的方向(xy平面)上的微透鏡120和攝像元件13的攝像像素131的配置的一個(gè)例子的圖。在圖2 (a)所示的微透鏡陣列12，沿X軸方向排列6個(gè)微透鏡120，沿y方向排列6個(gè)微透鏡120，即排列6X6個(gè)微透鏡120。對(duì)于一個(gè)微透鏡120對(duì)應(yīng)設(shè)有一個(gè)像素陣列130。各個(gè)像素陣列130包括例如沿X軸方向的5個(gè)攝像像素131和沿y軸方向的5個(gè)攝像像素131，即包括5X5個(gè)攝像像素131。S卩，對(duì)一個(gè)微透鏡120配置5X5個(gè)攝像像素131。結(jié)果，在本實(shí)施方式中，攝像元件13具有30X30個(gè)攝像像素131。圖2 (b)是說明攝影透鏡LI的光軸方向(z軸方向)上的攝影透鏡LI、微透鏡120和攝像元件13的位置關(guān)系的圖。如圖2 (b)所示，微透鏡120配置在捕捉被攝體(物體面)的像的攝影透鏡LI的焦點(diǎn)位置(成像面)、即與物體面共軛的位置。攝像元件13配置在以微透鏡120的焦距離開的位置。結(jié)果，攝像元件13的攝像面與攝影透鏡LI共軛。另外，在圖2 (b)中，表示攝影透鏡LI的焦點(diǎn)對(duì)焦于物體面的情況，即來自攝影透鏡LI的光束在微透鏡120上成像的情況。在圖2 (b)中，由與攝像像素131ai對(duì)應(yīng)的微透鏡120向攝影透鏡LI的光瞳面投影的投影像所占的區(qū)域，是攝影透鏡LI的光瞳上的部分區(qū)域P1。與部分區(qū)域Pl同樣，部分區(qū)域P2、P3、*與攝像像素131bi、131ci、 對(duì)應(yīng)。透射了攝影透鏡LI的光瞳上的部分區(qū)域P1、P2、P3、 的光束rl、r2、r3、 分別透射微透鏡而入射到攝像像素131ai、131bi、131ci、 o另外，在圖2 (b)中，代表性示出向配置在攝影透鏡LI的光軸上的微透鏡120入射的光束rll5，但對(duì)于設(shè)置在與光軸分離開的位置的微透鏡120也同樣入射各光束rl\5，被引導(dǎo)到對(duì)應(yīng)的攝像像素131。此外，部分區(qū)域PU P2、P3、 實(shí)際上呈二維狀，即在y軸方向也存在，在此為了簡(jiǎn)化說明而僅考慮沿X方向的排列。圖2 (C)表示一個(gè)像素陣列130i上的攝像像素131ai 131di的位置關(guān)系。另外，在圖2(b)中，以在X軸方向上的攝影透鏡LI的部分區(qū)域Pf P5為例，因此各光束rf r5分別入射到沿X軸方向排列配置的攝像像素131ai 131di。并且，各攝像像素131ai、131bi、131ci、 分別輸出圖像信號(hào)ai、bi、ci、 。使用從如上述那樣構(gòu)成的攝像單元100輸出的圖像信號(hào)，進(jìn)行用于利用數(shù)字相機(jī)I的圖像處理部105生成多視點(diǎn)(多視差)圖像的處理。此外,本實(shí)施方式的數(shù)字相機(jī)I的IXD驅(qū)動(dòng)電路110和顯示器109構(gòu)成為可將所生成的多視點(diǎn)(多視差)圖像顯示為立體圖像(3D圖像)。以下，說明(A)多視點(diǎn)(多視差)圖像的生成原理、(B)在多視點(diǎn)圖像之間產(chǎn)生視差的原理、(C)多視點(diǎn)圖像的生成處理、(D)立體顯示。(A)多視點(diǎn)(多視差)圖像的生成原理
使用從攝像單元100所含的各攝像像素131輸出的圖像信號(hào)，分別獨(dú)立地檢測(cè)來自被攝體的光束的位置和方向。能夠與微透鏡120的數(shù)量相應(yīng)地檢測(cè)來自被攝體的光束的位置。因此，基于圖像信號(hào)而生成的圖像數(shù)據(jù)的像素?cái)?shù)、即分辨率受微透鏡120的數(shù)量限制。如圖2 (a)所示，在微透鏡陣列12具有6X6個(gè)微透鏡120時(shí)，圖像數(shù)據(jù)的分辨率為36(=6X6)。根據(jù)與一個(gè)微透鏡120對(duì)應(yīng)設(shè)置的攝像像素131的數(shù)量而檢測(cè)視點(diǎn)的方向。如上所述，由于攝影透鏡LI的光瞳面與攝像元件13的攝像面共軛，因此在攝影透鏡LI的光瞳面分割出與一個(gè)像素陣列130所含的攝像像素131的個(gè)數(shù)相同數(shù)量的部分區(qū)域P。圖像處理部105按與通過了該各部分區(qū)域P的光束r對(duì)應(yīng)的每個(gè)圖像信號(hào)生成圖像數(shù)據(jù)。結(jié)果，圖像處理部105對(duì)于同一被攝體生成與視點(diǎn)不同的部分區(qū)域P的數(shù)量相同數(shù)量、即與一個(gè)像素陣列130所含的攝像像素131的數(shù)量相同數(shù)量的圖像數(shù)據(jù)。如圖2 Ca)所示情況那樣，在對(duì)一個(gè)微透鏡120配置5X5個(gè)攝像像素131時(shí)，能夠檢測(cè)5X5個(gè)視點(diǎn)，因此圖像處理部105生成5X5個(gè)視點(diǎn)不同的圖像數(shù)據(jù)。進(jìn)而，圖像處理部105將由一個(gè)像素陣列130規(guī)定的區(qū)域分割為多個(gè)抽取區(qū)域(例如矩形區(qū)域)，使用從抽取區(qū)域所含的多個(gè)攝像像素131輸出的像素信號(hào)而生成圖像數(shù)據(jù)。此時(shí)，圖像處理部105生成與抽取區(qū)域數(shù)量相同數(shù)量的視點(diǎn)數(shù)的圖像數(shù)據(jù)。換言之，在攝影透鏡LI的光瞳面分割出與抽取區(qū)域數(shù)量相同數(shù)量的部分區(qū)域P，圖像處理部105按與通過了該各部分區(qū)域P的光束r對(duì)應(yīng)的每個(gè)圖像信號(hào)生成圖像數(shù)據(jù)。另外，在以后的說明中，將抽取區(qū)域稱為區(qū)塊(block)。此外，區(qū)塊的大小可通過在菜單畫面上由用戶使用操作部108進(jìn)行選擇、設(shè)定處理而設(shè)定。關(guān)于設(shè)定處理的詳細(xì)內(nèi)容將之后說明。使用圖3說明區(qū)塊的大小與視點(diǎn)數(shù)的關(guān)系。在圖3中表示由用戶將區(qū)塊Blo的大小設(shè)定為I的情況，即表示在一個(gè)區(qū)塊Blo含有一個(gè)攝像像素131的情況。另外，在圖3中，為了便于說明僅表示X軸方向的視點(diǎn)數(shù)。圖3 (a)以攝像元件13所含有的多個(gè)像素陣列130中的一個(gè)像素陣列130i為一例進(jìn)行表示。該情況下，圖像處理部15從由攝像元件13輸出的圖像信號(hào)中抽取由圖3(a)所示的像素陣列130i所含的攝像像素131ai輸出的圖像信號(hào)ai。進(jìn)而，圖像處理部105抽取從攝像元件13所含的所有像素陣列130的各個(gè)攝像像素131a輸出的圖像信號(hào)a。然后，圖像處理部105使用抽取的所有圖像信號(hào)a生成一個(gè)圖像數(shù)據(jù)Im_a。同樣，圖像處理部105使用從各像素陣列130所含的各個(gè)攝像像素131b、 、131e輸出的圖像信號(hào)b、 、e而生成圖像數(shù)據(jù)Im_b、 、Im_e。結(jié)果，如圖3 (b)所示，圖像處理部105生成5個(gè)(5視點(diǎn))的圖像數(shù)據(jù)Im_a、Im_b、 、Im_e。使用圖4說明區(qū)塊Blo的大小與視點(diǎn)數(shù)的關(guān)系。圖4 (a)表示由用戶將區(qū)塊Blo的大小設(shè)定為2X3的情況、即在一個(gè)區(qū)塊Blo含有6 (= 2X3)個(gè)攝像像素131的情況。另外，關(guān)于圖4，也與圖3—樣，為了便于說明而僅表示X軸方向的視點(diǎn)數(shù)。圖4 (a)以攝像元件13所含的多個(gè)像素陣列130中的一個(gè)像素陣列130i為一個(gè)例子而表示。此外，區(qū)塊Blo_bi (圖4 (a)的縱線區(qū)域)、區(qū)塊Blo_ci (圖4 (a)的點(diǎn)區(qū)域)、區(qū)塊Blo_di (圖4 (a)的橫線區(qū)域)是使區(qū)塊Blo_ai (圖4 (a)的斜線區(qū)域)沿X軸方向依次移動(dòng)一個(gè)像素而成 的。此時(shí)，圖像處理部15從由攝像元件13輸出的圖像信號(hào)中，將從像素陣列130i的區(qū)塊Blo_ai所含的6 (2X3)個(gè)攝像像素131輸出的圖像信號(hào)相加，抽取一個(gè)圖像信號(hào)ai。進(jìn)而，圖像處理部105抽取從攝像元件13所含的所有像素陣列130的各個(gè)區(qū)塊Blo_a內(nèi)的攝像像素131輸出的圖像信號(hào)a。然后，圖像處理部105使用抽取的所有圖像信號(hào)a生成一個(gè)圖像數(shù)據(jù)Im_a。同樣，圖像處理部105對(duì)來自各像素陣列130所含的各個(gè)區(qū)塊Blo_b、 Blo_di內(nèi)的攝像像素131的輸出也進(jìn)行同樣的處理,生成圖像數(shù)據(jù)Im_b、 Im_
d。結(jié)果,如圖4(b)所示，圖像處理部105生成4個(gè)(4視點(diǎn))圖像數(shù)據(jù)d0如上所述，在攝影透鏡LI的光瞳面分割出與區(qū)塊Blo的數(shù)量相同數(shù)量的部分區(qū)域P，因此攝影透鏡LI的部分區(qū)域P的大小根據(jù)所設(shè)定的區(qū)塊Blo的大小而確定。因此，攝像元件13的各像素(即區(qū)塊Blo的大小)規(guī)定與攝像元件13成共軛關(guān)系的攝影透鏡LI的部分區(qū)域P的大小、即光束的大小(直徑)。因此，所設(shè)定的區(qū)塊Blo的大小相當(dāng)于攝影透鏡LI的F值，區(qū)塊Blo的大小越小F值越大。如使用圖3所說明的情況那樣，區(qū)塊Blo的大小設(shè)定為I時(shí)，圖像處理部105基于對(duì)于一個(gè)微透鏡120從一個(gè)攝像像素131輸出的圖像信號(hào)，生成5個(gè)圖像數(shù)據(jù)Im_a Im_
e。因此，區(qū)塊Blo的大小設(shè)定為I時(shí)F值變大，所以與生成的圖像數(shù)據(jù)Im_a Im_e各自對(duì)應(yīng)的圖像的景深變深。如使用圖4說明的情況那樣，在區(qū)塊Blo的大小設(shè)定為2X3的情況下，圖像處理部105基于對(duì)于一個(gè)微透鏡120從6個(gè)攝像像素131輸出的圖像信號(hào)，生成圖像數(shù)據(jù)。此時(shí)的攝影透鏡LI的部分區(qū)域P具有為圖3的情況下的攝影透鏡LI的部分區(qū)域P的大小的6倍的大小，因此入射到區(qū)塊Blo內(nèi)的攝像像素131的光束成為6倍大小(直徑)。因此，區(qū)塊Blo的大小設(shè)定為2X3時(shí)，F(xiàn)值變小，因此與生成的圖像數(shù)據(jù)Im_a Im_e各自對(duì)應(yīng)的圖像的景深變淺。結(jié)果，通過將區(qū)塊Blo的大小設(shè)定得較大，從而由本實(shí)施方式的數(shù)字相機(jī)I生成與使用通常的單鏡頭反射相機(jī)等拍攝的、僅對(duì)主要被攝體聚焦而使遠(yuǎn)景(背景)、近景(前景)模糊(暈色)的照片同樣的圖像。另外，在上述說明中將視點(diǎn)的移動(dòng)方向作為X軸方向進(jìn)行說明，但視點(diǎn)也可以沿y軸方向移動(dòng)，也可以在xy平面上沿二維方向移動(dòng)。此外，關(guān)于區(qū)塊Blo的形狀不限定于矩形。(B)在多視點(diǎn)圖像之間產(chǎn)生視差的原理
說明在如上所述那樣生成的多個(gè)視點(diǎn)圖像相互產(chǎn)生視差的情況和不產(chǎn)生視差的情況。首先，使用圖5說明在多個(gè)視點(diǎn)圖像相互不產(chǎn)生視差的情況。圖5 (a)是說明在拍攝側(cè)生成5個(gè)視點(diǎn)圖像時(shí)的光束rfr5的圖。圖5 (b)是將圖5 (a)所示的光束rf r5中的、在攝影透鏡LI和焦面(成像面)附近的光束rll5放大表示的圖。圖5 (c)是將圖5(b)所示的光束rll5中的、在微透鏡陣列12和攝像元件13附近的光束放大表示的圖。在圖5中，5個(gè)視點(diǎn)的位置與圖2 圖4所示的攝像像素131af 131ei相同。如圖5 (a)所示，入射到與一個(gè)微透鏡120對(duì)應(yīng)設(shè)置的攝像像素131af 131ei各自的光線在物體面Ql上在同一點(diǎn)相交。因此，對(duì)于存在于物體面Ql的被攝體，在與視點(diǎn)圖像數(shù)據(jù)Im_a Im_e各自對(duì)應(yīng)的圖像上不產(chǎn)生視差。與此相對(duì)，在偏離物體面Ql的面Q2相交的光束rfr5被導(dǎo)向不同的微透鏡120。因此，對(duì)于存在于偏離物體面Ql的面Q2的被攝體，在與視點(diǎn)圖像數(shù)據(jù)1111_& 1111_6各自對(duì)應(yīng)的圖像上產(chǎn)生視差。以下，詳細(xì)說明產(chǎn)生視差的情況和不產(chǎn)生視差的情況。不產(chǎn)生視差的情況 參照?qǐng)D6說明多個(gè)視點(diǎn)圖像相互不產(chǎn)生視差的情況。圖6 (a)表示與拍攝成像于焦面的被攝體“A”的像而生成的5個(gè)視點(diǎn)圖像數(shù)據(jù)Im_a Im_e對(duì)應(yīng)的視點(diǎn)圖像AiH即，視點(diǎn)圖像AfEi分別與從攝像像素131afl31ei輸出的圖像信號(hào)對(duì)應(yīng)。圖6 (b)表示入射到攝像元件13的光束的樣子。在圖6(b)中，以紙面的上下方向?yàn)閦軸方向，將Z=O設(shè)定為微透鏡120的面，即焦面。將成像于焦面(Z=O)的被攝體“A”的像的位置表示為Xl X9。形成在X5的位置成像的像的光束rl\5經(jīng)由微透鏡1205分別入射到攝像像素131a5 131e5。此外，形成在X6的位置成像的像的光束rf r5經(jīng)由微透鏡1206分別入射到攝像像素131a6 131e6。S卩，攝像元件13上的攝像像素131al、131a2、131a3、 接受光束rl而輸出圖像信號(hào)。結(jié)果,攝像像素131al、131a2、 拍攝位置X1、X2、*的像。同樣，攝像像素131bl、131b2、 接受光束r2，攝像像素131cl、131c2、 接受光束r3，攝像像素131dl、131d2、 接受光束r4，攝像像素131el、131e2、 接受光束r5。結(jié)果,攝像像素131al、131a2、 拍攝的像、攝像像素131bl、131b2、 拍攝的像、攝像像素131cl、131c2、 拍攝的像、攝像像素131dl、131d2、 拍攝的像、攝像像素131el、131e2、 拍攝的像都成為位置XI、X2、 的像。因此，如圖6 (a)所示，基于從攝像像素131af 131ei輸出的各個(gè)圖像信號(hào)而生成的5個(gè)視點(diǎn)圖像AfEi成為同一圖像，因此不產(chǎn)生視差。產(chǎn)生視差的情況參照?qǐng)D7，說明多個(gè)視點(diǎn)圖像相互不產(chǎn)生視差情況。圖7 (a)表示對(duì)成像于與焦面不同的面的被攝體“A”的像拍攝而生成的5個(gè)視點(diǎn)圖像AiH與圖6 (a)的情況相同，視點(diǎn)圖像AfEi分別與從攝像像素131afl31ei輸出的圖像信號(hào)對(duì)應(yīng)。圖7 (b)表示入射于攝像元件13的光束的樣子。在圖7 (b)中也是將紙面的上下方向設(shè)為z軸方向，將Z=O設(shè)定為微透鏡120的面、即焦面。將成像于與焦面不同的面(z=hl)的被攝體“A”的像的位置表示為Xl X9。形成在X5的位置成像的像的光束rfr5中的光束rl經(jīng)由微透鏡1203入射到攝像像素131a3。此外，光束r2經(jīng)由微透鏡1204入射到攝像像素131b4，光束r3經(jīng)由微透鏡1205入射到攝像像素131c5，光束r4經(jīng)由微透鏡1206入射到攝像像素131d6，光束r5經(jīng)由微透鏡1207入射到攝像像素131e7。同樣，形成在X6的位置成像的像的光束rf r5中的光束rl入射到攝像像素131a4，光束r2入射到攝像像素131b5，光束r3入射到攝像像素131c6,光束r4入射到攝像像素131d7,光束r5入射到攝像像素131e8。結(jié)果,形成成像在不同位置的像的光束rf r5各自經(jīng)由不同的微透鏡120入射到攝像元件13。因此，攝像元件13上的攝像像素131al、131a2、131a3、 接受光束rl而輸出圖像信號(hào)。即，攝像像素131al、131a2、131a3、 拍攝位置X3、X4、X5、 的像。此夕卜，攝像元件13上的攝像像素131bl、131b2、131b3、 接受光束r2，因此拍攝位置X2、X3、X4.的像。同樣，攝像像素131cl、131c2、131c3、 接受光束r3，拍攝位置XI、X2、X3、*的像，攝像像素131dl、131d2、131d3、 接受光束r4，拍攝位置XO (未圖*)、X1、X2*的像，攝像像素131el、131e2、131e3、 接受光束r5，拍攝位置X (-1)(未圖示)、X0 (未圖示)、X1、 的像。結(jié)果，攝像像素131al、131a2、 拍攝的像、攝像像素131bl、131b2、 拍攝的像、攝像像素131cl、131c2、 拍攝的像、攝像像素131dl、131d2、 拍攝的像、 攝像像素131el、131e2、 拍攝的像，其位置在x軸方向上逐次稍微偏移。因此，如圖7
(a)所示，基于從攝像像素131afl31ei輸出的各個(gè)圖像信號(hào)而生成的5個(gè)視點(diǎn)圖像AfEi不成為同一圖像，因此產(chǎn)生視差。如此，在物體面相對(duì)于數(shù)字相機(jī)I的進(jìn)深方向、即取得距離信息的多個(gè)視點(diǎn)圖像之間呈現(xiàn)出視差。如之后所述，該視差在能進(jìn)行三維顯示的顯示元件上能夠處理為立體信息。(C)多視點(diǎn)圖像的生成處理以下，說明第一實(shí)施方式的數(shù)字相機(jī)I進(jìn)行的多視點(diǎn)(多視差)圖像的生成處理、SP設(shè)定了多視點(diǎn)圖像生成模式時(shí)的數(shù)字相機(jī)I的工作。另外，多視點(diǎn)圖像生成模式是當(dāng)根據(jù)用戶對(duì)模式選擇按鍵的操作而選擇多視點(diǎn)圖像生成模式、從操作部108輸入操作信號(hào)時(shí)，由控制電路101設(shè)定的。在多視點(diǎn)圖像生成模式中，如上所述，構(gòu)成為可由用戶選擇視點(diǎn)圖像(即三維圖像)的特性、即視點(diǎn)條件。作為可選擇的特性，有視點(diǎn)變化的方向、視點(diǎn)數(shù)、視點(diǎn)的變化量、視點(diǎn)生成的像素?cái)?shù)(區(qū)塊Blo的大小)。這些特性是通過用戶使用操作部108從顯示于上述的顯示器109的菜單畫面上進(jìn)行選擇操作而設(shè)定。運(yùn)算部106將與上述特性對(duì)應(yīng)的參數(shù)設(shè)為可變參數(shù)，用于生成視點(diǎn)圖像數(shù)據(jù)時(shí)的運(yùn)算處理。圖8 (a)表示各種可變參數(shù)與可由可變參數(shù)控制的特性。圖8 (a)所示的“區(qū)塊內(nèi)的像素(攝像像素131)數(shù)u、v”是用于決定區(qū)塊Blo的大小的可變參數(shù)，根據(jù)所設(shè)定的區(qū)塊Blo內(nèi)的像素?cái)?shù)，如上述那樣決定視點(diǎn)圖像的景深。另外，u表示區(qū)塊Blo內(nèi)的X軸方向的像素?cái)?shù)，V表示區(qū)塊Blo內(nèi)的y軸方向的像素?cái)?shù)?！皡^(qū)塊的移動(dòng)次數(shù)Kx、Ky”是用于決定多視點(diǎn)圖像的視點(diǎn)數(shù)的可變參數(shù)。圖像處理部105在像素陣列130上設(shè)定與所設(shè)定的次數(shù)Kx、Ky相同數(shù)量的不同區(qū)塊Blo，從各個(gè)區(qū)塊Blo所含的攝像像素131抽取像素信號(hào)。若如圖3、圖4所示區(qū)塊Blo移動(dòng)5次，則生成5視點(diǎn)的圖像，若區(qū)塊Blo移動(dòng)4次則生成4視點(diǎn)的圖像?！皡^(qū)塊的移動(dòng)量Sx、Sy”是用于決定多個(gè)視點(diǎn)圖像之間的視點(diǎn)的變化量的可變參數(shù)。區(qū)塊Blo移動(dòng)的量越大，則在視點(diǎn)圖像之間產(chǎn)生的視差越大。圖像處理部105從以與設(shè)定的移動(dòng)量Sx、Sy相應(yīng)的位置間隔排列在像素陣列130上的區(qū)塊Blo抽取圖像信號(hào)?！皡^(qū)塊的移動(dòng)方向Arctan (Sy/Sx)”是用于決定視點(diǎn)圖像的視點(diǎn)變化的方向的可變參數(shù)。圖像處理部105從沿著所選擇的移動(dòng)方向設(shè)定于像素陣列130上的區(qū)塊Blo抽取圖像信號(hào)。在圖3、圖4中說明的例子中，表示設(shè)定X軸方向?yàn)橐苿?dòng)方向的情況。“區(qū)塊的初始位置U0、V0”是用于決定視點(diǎn)圖像的視點(diǎn)的初始位置的可變參數(shù)。此外，如圖8 (b)所示，作為固定參數(shù)，設(shè)定微透鏡120的排列數(shù)M、N及間距p、q、攝像元件13的像素(攝像像素131)數(shù)Cx、Cy及間距s、t、生成圖像的分辨率M、N。這些固定參數(shù)是取決于微透鏡120和攝像元件13的構(gòu)造的值。在生成圖3所示的5個(gè)視點(diǎn)(在X軸方向上5個(gè)視點(diǎn))圖像時(shí),上述可變參數(shù)及固定參數(shù)的值如下所示。微透鏡120的X軸方向的排列數(shù)M=6微透鏡120的y軸方向的排列數(shù)N=6
攝像元件13的X軸方向的像素?cái)?shù)Cx=30攝像元件13的y軸方向的像素?cái)?shù)Cy=30區(qū)塊的初始位置U0=0、V0=0區(qū)塊的移動(dòng)次數(shù)Kx=5、Ky=l區(qū)塊的移動(dòng)量Sx=l、Sy=O區(qū)塊內(nèi)的像素?cái)?shù)u=l、V=I另外，此時(shí)的視點(diǎn)圖像的分辨率是36 (=6X6=MXN)。在生成圖4所示的4個(gè)多視點(diǎn)(在水平方向上4個(gè)視點(diǎn))圖像時(shí)，上述可變參數(shù)及固定參數(shù)的值如下所示。微透鏡120的X軸方向的排列數(shù)M=6微透鏡120的y軸方向的排列數(shù)N=6攝像元件13的X軸方向的像素?cái)?shù)Cx=30攝像元件13的y軸方向的像素?cái)?shù)Cy=30區(qū)塊的初始位置U0=0、V0=0區(qū)塊的移動(dòng)次數(shù)Kx=4、Ky=l區(qū)塊的移動(dòng)量Sx=l、Sy=O區(qū)塊內(nèi)的像素?cái)?shù)U=2、v=3另外，此時(shí)的視點(diǎn)圖像的分辨率是36 (=6X6=MXN)。當(dāng)設(shè)定了上述的各種參數(shù)時(shí)，圖像處理部105使用拍攝一個(gè)被攝體而取得的存儲(chǔ)在存儲(chǔ)器103的圖像信號(hào)，生成多個(gè)視點(diǎn)圖像數(shù)據(jù)。如上所述，圖像處理部105從由與一個(gè)微透鏡120對(duì)應(yīng)的像素陣列130內(nèi)的攝像像素131輸出的圖像信號(hào)中，抽取由所設(shè)定的區(qū)塊Blo所包含的攝像像素131輸出的像素信號(hào)。并且，圖像處理部105對(duì)所有像素陣列130內(nèi)同樣地抽取像素信號(hào)，使用所抽取的多個(gè)像素信號(hào)生成一個(gè)視點(diǎn)圖像數(shù)據(jù)Im。圖像處理部105—邊使上述處理移動(dòng)所設(shè)定的區(qū)塊Blo的移動(dòng)量Sx、Sy，一邊按所設(shè)定的區(qū)塊Blo的移動(dòng)次數(shù)Kx、Ky進(jìn)行上述處理，由此生成多個(gè)視點(diǎn)圖像數(shù)據(jù)Im。此時(shí)，圖像處理部105基于運(yùn)算部106的運(yùn)算結(jié)果抽取圖像信號(hào)。即，運(yùn)算部106決定圖像處理部105為了生成視點(diǎn)圖像數(shù)據(jù)Im而抽取的圖像信號(hào)。首先，說明運(yùn)算部106進(jìn)行的運(yùn)算處理。
圖9 (a)表示在xy平面上的微透鏡陣列12的坐標(biāo)系(m，n)。在該坐標(biāo)系中，將圖左下端的微透鏡120的位置表示為(m，n)= (0,0)o另外，在圖9 (a)中，0彡m〈6、0彡n〈6。此外，圖9 (b)表示在xy平面上的攝像元件13的坐標(biāo)系(i, j)。在圖9 (b)的攝像元件13的坐標(biāo)系中，將來自配置在(i，j)的攝像像素131的像素值、即圖像信號(hào)用I (i，j)表示。運(yùn)算部106，首先使用下式(I)算出設(shè)于(m，n)= (0，0)的位置的微透鏡120的中心位置(X0，Y0)。另外，系數(shù)p是如上所述表示微透鏡120的X軸方向的排列間距的固定參數(shù)，系數(shù)q是表示微透鏡120的y軸方向的排列間距的固定參數(shù)。X0=mp+p/ 2Y0=nq+q/2 (I)接著，運(yùn)算部106使用下式(2)算出微透鏡120中的區(qū)塊的初始位置(左下端)(X，Y)。如上所述，系數(shù)s是表示攝像像素131的X軸方向的排列間距的固定參數(shù)，系數(shù)t是表示攝像像素131的y軸方向的排列間距的固定參數(shù)。系數(shù)Nx是表示在X軸方向生成的視 點(diǎn)圖像數(shù)據(jù)Im的個(gè)數(shù)的參數(shù)，0 ( Nx〈Kx。系數(shù)Ny是表示在y軸方向生成的視點(diǎn)圖像數(shù)據(jù)1111的個(gè)數(shù)的參數(shù)，0<咐〈1^。X=X0+U0+s Nx SxY=Y0+V0+t Ny Sy (2)在生成圖3所示的5視點(diǎn)圖像數(shù)據(jù)和圖4所示的4視點(diǎn)圖像數(shù)據(jù)時(shí)，區(qū)塊Blo的初始位置(X，Y)如下式(2)’表示。另外，如上所述，系數(shù)V是區(qū)塊Blo所含的y軸方向的攝像像素131的數(shù)量。X=mp+s NxY= (n+1/2) q-tv/2 *(2)，運(yùn)算部106將使用式(2)算出的區(qū)塊Blo的初始位置(X，Y)換算為攝像元件13的坐標(biāo)系(i，j)。此時(shí)，運(yùn)算部106使用下式(3)。i=X/sj=Y/t (3)在生成圖3所示的5視點(diǎn)圖像數(shù)據(jù)Im時(shí)，區(qū)塊Blo的初始位置(X，Y)換算為下式(3)’所示的位置。另外，以下的換算是基于在圖3中各參數(shù)可表示為U0=-p/2、V0=-tv/2、p=5s、q=5t、u=l、V=I0i=X/s=mp/ s+Nx=5m+Nxj=Y/t= (n+1/2) q/t-v/2=5n+2 (3)，生成圖4所示的4視點(diǎn)圖像數(shù)據(jù)Im時(shí)，區(qū)塊Blo的初始位置(X，Y)換算為下式
(3)”所示的位置。另外，以下的換算是基于在圖4中各參數(shù)可表示為U0=-p/2、V0=-tv/2、p=5s、q=5t、u=2、v=3。i=X/s=mp/ s+Nx=5m+Nxj=Y/t= (n+1/2) q/t-v/2=5n+l *(3)”圖像處理部105使用在上述式(3)算出的區(qū)塊Blo的初始位置，抽取圖像信號(hào)I。即，圖像處理部105以與用式(3)算出的初始位置(i，j)對(duì)應(yīng)的圖像信號(hào)為基準(zhǔn)，算出區(qū)塊Blo內(nèi)所含的圖像信號(hào)之和(區(qū)塊信號(hào)Ib (i，j))。此時(shí)，圖像處理部105使用下式(4)算出區(qū)塊信號(hào)Ib (i，j)。
Ib (i, j) =E I (i+k-1, j+I-1)= I (i，j)+I (i，j+1)+* +I (i, j+v-1)+I (i+1, j)+I(i+l, j+1)+...+I (i+1, j+v-1)+I (i+2, j) +I (i+2, j+1) ++I (i+2, j+v-1)++I (i+u-1, j) +1 (i+u-1, j+1)+...+I(i+u-1, j+v-1) (4)生成圖3所示的5視點(diǎn)圖像數(shù)據(jù)Im時(shí)，區(qū)塊信號(hào)Ib (i，j)為下式(4)’所示的值。此外，生成圖4所示的4視點(diǎn)圖像數(shù)據(jù)時(shí)，區(qū)塊信號(hào)Ib (i，j)為下式(4)”所示的值。Ib (i, j) =I (i, j) =I (5m+Nx, 5n+2) *(4)，Ib (i，j)=I (i，j)+I (i，j+l)+I (i，j+2)+I (i+1, j)+I (i+1, j+1)+I (i+1,j+2) (4)”使用對(duì)所有微透鏡120進(jìn)行以上的處理而生成的區(qū)塊信號(hào)Ib圖像處理部105生成一個(gè)視點(diǎn)圖像數(shù)據(jù)Im。S卩，圖像處理部105以使得區(qū)塊信號(hào)Ib (i，j)在視點(diǎn)圖像數(shù)據(jù)Im內(nèi)表示一個(gè)像素值的方式，將各區(qū)塊信號(hào)Ib相加。其后，運(yùn)算部106重新算出在使區(qū)塊Blo沿所設(shè)定的移動(dòng)方向(Arctan (Sy/Sx))移動(dòng)了所設(shè)定的移動(dòng)量Sx、Sy時(shí)的區(qū)塊Blo的初始位置(i，j)。然后，圖像處理部105基于新算出的區(qū)塊Blo的初始位置(i，j)使用式(4)重新算出區(qū)塊信號(hào)Ib (i，j)，生成不同的一個(gè)視點(diǎn)圖像數(shù)據(jù)Im。圖像處理部105將上述處理反復(fù)進(jìn)行所設(shè)定的移動(dòng)次數(shù)Kx、Ky,生成多個(gè)視點(diǎn)圖像數(shù)據(jù)Im。圖像處理部105使用如上述那樣生成的多個(gè)視點(diǎn)圖像數(shù)據(jù)Im生成多視點(diǎn)圖像文件而記錄于存儲(chǔ)卡107a。另外，圖像處理部105也可以對(duì)生成的視點(diǎn)圖像數(shù)據(jù)Im分別施加關(guān)聯(lián)地記錄于存儲(chǔ)卡107a。使用圖10的流程圖說明以上所述的多視點(diǎn)圖像生成處理。圖10所示的各處理記錄于控制電路101內(nèi)的未圖示的存儲(chǔ)器，當(dāng)在設(shè)定了多視點(diǎn)圖像生成模式的狀態(tài)下通過攝影處理取得的圖像信號(hào)被存儲(chǔ)于存儲(chǔ)器103內(nèi)時(shí)，通過控制電路101啟動(dòng)而執(zhí)行。在步驟SlOl中，將生成視點(diǎn)圖像的個(gè)數(shù)(Nx，Ny)的值設(shè)定為初始值即0，進(jìn)入步驟S102。在步驟S102中，作為微透鏡120的初始位置，將m、n的值設(shè)定為0，進(jìn)入步驟S103。在步驟S103中，使用式(I)算出成為對(duì)象的微透鏡120的中心位置，進(jìn)入步驟S104。在步驟S104中，使用式(2)，算出微透鏡120的坐標(biāo)系中的區(qū)塊Blo的初始位置、即左下端部的坐標(biāo)，進(jìn)入步驟S105。在步驟S105中，使用式(3)將在步驟S104中算出的坐標(biāo)值換算為攝像元件13的坐標(biāo)系(i，j)，進(jìn)入步驟S106。在步驟S106，使用式(4)，將從區(qū)塊所含的光電轉(zhuǎn)換信號(hào)131輸出的圖像信號(hào)相加，生成區(qū)塊信號(hào)Ib，進(jìn)入步驟S107。在步驟S107，向下一微透鏡120移動(dòng)(m=m+l或n=n+l)，進(jìn)入步驟S108。在步驟S108，判斷是否對(duì)于與所有微透鏡120對(duì)應(yīng)的像素陣列130結(jié)束了處理。在對(duì)于所有像素陣列130結(jié)束了處理時(shí)，即m=M且n=N時(shí)，進(jìn)入步驟S109。在未對(duì)于所有像素陣列130結(jié)束了處理時(shí)，步驟S109判定為否定，返回步驟S103。在步驟S109，將按各像素陣列130生成的區(qū)塊信號(hào)Ib合成而生成一個(gè)視點(diǎn)圖像數(shù)據(jù)Im，進(jìn)入步驟SllO。在步驟S110，使區(qū)塊的位置移動(dòng)設(shè)定的移動(dòng)量即Sx、Sy。然后，將視點(diǎn)圖像的個(gè)數(shù)設(shè)定為Nx=Nx+l或Ny=Ny+l，進(jìn)入步驟Slll。在步驟S111，判斷是否生成了所設(shè)定的視點(diǎn)數(shù)(Kx，Ky)的量的視點(diǎn)圖像數(shù)據(jù)Im。在生成了所設(shè)定的視點(diǎn)數(shù)的視點(diǎn)圖像數(shù)據(jù)Im時(shí)，即Nx=Kx且Ny=Ky時(shí)，在步驟Slll判斷為肯定，進(jìn)入步驟S112。在未生成所設(shè)定的視點(diǎn)數(shù)的視點(diǎn)圖像數(shù)據(jù)Im時(shí)，步驟Slll判斷為否定，返回步驟S102。在步驟S112，使用所生成的KxXKy個(gè)視點(diǎn)圖像數(shù)據(jù)Im生成多視點(diǎn)圖像文件，并記錄于存儲(chǔ)卡107a，結(jié)束處理。(D)立體顯示說明用于使與如上述那樣生成的多個(gè)視點(diǎn)圖像數(shù)據(jù)Im各自對(duì)應(yīng)的視點(diǎn)圖像作為立體圖像顯示于顯示器109的處理。如圖11所示，顯示器109，在其表面具有雙凸透鏡150，該雙凸透鏡150具有多個(gè) 具有沿軸向?qū)A筒形切斷那樣的形狀的凸透鏡151。即，顯示器109利用公知的雙凸透鏡方式將多個(gè)視點(diǎn)圖像顯示為立體圖像。如圖11 (a)所示，在本實(shí)施方式中，使雙凸透鏡150的各個(gè)凸透鏡151的長(zhǎng)邊方向一致于y軸方向地配置。另外，在以下的說明中，作為代表，以X軸方向的處理為中心進(jìn)行說明。圖11 (b)表示顯示器109的xy平面上處的剖面圖。雙凸透鏡150的各個(gè)凸透鏡151將來自構(gòu)成顯示器109的、沿y軸方向的多個(gè)像素列Co的光聚光而導(dǎo)向用戶。在圖11
(b)中，一個(gè)凸透鏡151a將從顯不器109的像素列Col_l Col_5發(fā)出的光聚光。并且，從多個(gè)凸透鏡151導(dǎo)出的光中的來自像素列Col_l、Co2_l、Co3_l、 的光在點(diǎn)Wl成像。同樣，來自像素列Col_2、Co2_2、Co3_2、 的光在點(diǎn)W2成像，來自像素列Col_3、Co2_3、Co3_3、 的光在點(diǎn)W3成像，來自像素列Col_4、Co2_4、Co3_4、 的光在點(diǎn)W4成像，來自像素列Col_5、Co2_5、Co3_5、 的光在點(diǎn)W5成像。因此，用戶(閱覽者)從Hl的位置觀察在顯示器109顯示的圖像時(shí)，用右眼觀察點(diǎn)Wl的像即來自像素列Col_l、Co2_l、Co3_l、 的光，用左眼觀察點(diǎn)W2的像即來自像素列Col_2、Co2_2、Co3_2、 的光。此外，在用戶從H2的位置觀察圖像時(shí)，用右眼觀察點(diǎn)W4的像(來自像素列Col_4、Co2_4、Co3_4、 的光)，用左眼觀察點(diǎn)W5的像(來自像素列Col_5、Co2_5、Co3_5、 的光)。另外，顯示器109也可以利用視差屏障方式使多個(gè)視點(diǎn)圖像顯示為立體圖像。此時(shí)，只要在圖11的配置雙凸透鏡150的位置，配置具有使長(zhǎng)邊一致于y軸方向的多個(gè)細(xì)長(zhǎng)開口的掩模(屏障)即可。使用圖12所示的概念圖，說明生成向如上述可顯示立體圖像的顯示器109輸出的顯示用數(shù)據(jù)的處理。將與拍攝同一視場(chǎng)而得的存在視差的多視點(diǎn)圖像(例如5個(gè)視點(diǎn))對(duì)應(yīng)的視點(diǎn)圖像數(shù)據(jù)設(shè)為Iml、Im2、 、Im5。此時(shí)，圖像處理部105從視點(diǎn)圖像數(shù)據(jù)Iml、Im2、---,ImS分別抽取與同一像素列Col對(duì)應(yīng)的圖像數(shù)據(jù)并合成，由此作成一個(gè)顯示用圖像數(shù)據(jù)Idl。進(jìn)而，圖像處理部105從視點(diǎn)圖像數(shù)據(jù)Iml、Im2、---,ImS分別抽取與像素列Co2對(duì)應(yīng)的圖像數(shù)據(jù)，作成一個(gè)顯示用圖像數(shù)據(jù)Id2。以下同樣地圖像處理部105作成一個(gè)顯示用圖像數(shù)據(jù)Id3 Id5。當(dāng)作成了各顯示用圖像數(shù)據(jù)Idl Id5時(shí)，圖像處理部105對(duì)IXD驅(qū)動(dòng)控制部110輸出顯示用圖像數(shù)據(jù)Idl，使顯示器109的Col顯示與顯示用圖像數(shù)據(jù)Idl對(duì)應(yīng)的圖像。同樣，圖像處理部105對(duì)IXD驅(qū)動(dòng)控制部110輸出顯示用圖像數(shù)據(jù)Id2 Id5，使顯示器109的Co2飛o5分別顯示與顯示用圖像數(shù)據(jù)Id2 Id5對(duì)應(yīng)的圖像。如上所述，來自像素列Col_l、Co2_l、Co3_l、 的光在點(diǎn)Wl成像，因此在點(diǎn)Wl觀察到與視點(diǎn)圖像數(shù)據(jù)Iml對(duì)應(yīng)的圖像。同樣，在點(diǎn)W2觀察到與視點(diǎn)圖像數(shù)據(jù)Im2對(duì)應(yīng)的圖像，在點(diǎn)W3觀察到與視點(diǎn)圖像數(shù)據(jù)Id3對(duì)應(yīng)的圖像，在點(diǎn)W4觀察到與視點(diǎn)圖像數(shù)據(jù)Im4對(duì)應(yīng)的圖像，在點(diǎn)W5觀察到與視點(diǎn)圖像數(shù)據(jù)Im5對(duì)應(yīng)的圖像。如上所述，位于Hl的用戶用右眼觀察點(diǎn)W1，用左眼觀察點(diǎn)W2。BP,Hl的用戶用右眼觀察與視點(diǎn)圖像數(shù)據(jù)Iml對(duì)應(yīng)的圖像，用左眼觀察與視點(diǎn)圖像數(shù)據(jù)Im2對(duì)應(yīng)的圖像。在視點(diǎn)圖像數(shù)據(jù)Iml與Im2之間有視差，用戶用不同的眼睛觀察與視點(diǎn)圖像數(shù)據(jù)Iml和Im2分別對(duì)應(yīng)的圖像。結(jié)果，對(duì)同一視場(chǎng)拍攝而得的圖像作為立體圖像被用戶觀察到。另外，在用戶位于Hl時(shí)，用戶用右眼觀察與視點(diǎn)圖像數(shù)據(jù)Im4對(duì)應(yīng)的圖像，用左眼觀察與視點(diǎn)圖像 數(shù)據(jù)Im5對(duì)應(yīng)的圖像，由此將對(duì)同一視場(chǎng)拍攝而得的圖像作為立體圖像而觀察。根據(jù)以上說明的第一實(shí)施方式，可得到以下的作用效果。(I)微透鏡120在攝影透鏡LI的焦面附近呈二維狀配置多個(gè)。攝像元件13對(duì)于多個(gè)微透鏡120分別具有多個(gè)像素陣列130，像素陣列130具有多個(gè)光電轉(zhuǎn)換元件(攝像像素)131，配置成二維狀。該攝像像素131經(jīng)由微透鏡120接受通過了攝影透鏡LI的來自被攝體的光束，而輸出圖像信號(hào)。圖像處理部105從由多個(gè)像素陣列130各自所含的多個(gè)攝像像素131輸出的圖像信號(hào)，抽取與攝影透鏡LI的多個(gè)不同的部分區(qū)域P分別對(duì)應(yīng)的多個(gè)區(qū)塊信號(hào)Ib，基于抽取的區(qū)塊信號(hào)Ib生成與部分區(qū)域P分別對(duì)應(yīng)的多個(gè)圖像數(shù)據(jù)Im，作為視點(diǎn)位置各不相同的視點(diǎn)圖像數(shù)據(jù)Im。S卩，圖像處理部105將從多個(gè)像素陣列130各自抽取的多個(gè)區(qū)塊信號(hào)Ib中的、從不同像素陣列130抽取的、與同一部分區(qū)域P對(duì)應(yīng)的區(qū)塊信號(hào)Ib合成，生成一個(gè)視點(diǎn)圖像數(shù)據(jù)Im。操作部108接受用戶選擇視點(diǎn)數(shù)的操作。并且，圖像處理部105抽取由用戶的操作所選擇的視點(diǎn)數(shù)的區(qū)塊信號(hào)Ib，生成視點(diǎn)圖像數(shù)據(jù)Im。要顯示立體圖像，相對(duì)于若視點(diǎn)移動(dòng)則產(chǎn)生逆視、或因方向不同而容易產(chǎn)生模糊、莫爾條紋的、即難以觀察且眼睛容易疲勞的雙鏡頭式立體顯示器，優(yōu)選使用難以引起逆視的具有許多視點(diǎn)的顯示器(多鏡頭式裸眼顯示器)。以往，為了取得顯示于該多鏡頭式裸眼顯示器的圖像，需要一邊改變位置一邊進(jìn)行多次拍攝，或排列許多相機(jī)進(jìn)行拍攝等繁雜的步驟。此外，在立體圖像顯示中，輻輳(兩眼視點(diǎn)的交叉)與焦點(diǎn)的一致是為了不引起疲勞、觀察異常的重要因素。但是，通常，在以立體方式拍攝的圖像中，將2臺(tái)相機(jī)平行配置而無限遠(yuǎn)地對(duì)焦(所謂的平行立體)的構(gòu)成居多，難以滿足上述條件。本實(shí)施方式的數(shù)字相機(jī)1，具有上述構(gòu)成，由此能夠根據(jù)顯示器的特性，使用I臺(tái)相機(jī)取得用戶所希望的視點(diǎn)數(shù)的視點(diǎn)圖像數(shù)據(jù)，因此便利性提高。而且，與通常的單鏡頭反射拍攝相同，能夠自由更換鏡頭，使用焦點(diǎn)調(diào)節(jié)功能使焦點(diǎn)對(duì)焦于被攝體的任意位置地進(jìn)行拍攝。該情況下，即使鏡頭更換、變焦鏡頭等的焦距變化，另外即使被攝體的焦點(diǎn)位置變化，擁塞與焦點(diǎn)位置也總是相同，因此能夠拍攝到不會(huì)使眼睛疲勞的自然的立體顯示用圖像。即，能夠由與通常的相機(jī)相同地進(jìn)行焦點(diǎn)調(diào)節(jié)而拍攝到的圖像，制作使被攝體的對(duì)焦位置在前后有立體感的影像，因此用戶能夠不覺察到與使用通常的相機(jī)進(jìn)行的拍攝有不協(xié)調(diào)感地，拍攝立體圖像。(2)運(yùn)算部106算出與由用戶選擇的視點(diǎn)數(shù)相同數(shù)量的區(qū)塊Blo作為用于抽取區(qū)塊信號(hào)Ib的抽取區(qū)域，并設(shè)定于像素陣列130的各自上。并且，圖像處理部105按每個(gè)設(shè)定的區(qū)塊Blo將從區(qū)塊Blo所含的攝像像素131輸出的圖像信號(hào)I相加，作為區(qū)塊信號(hào)Ib而抽取。因此，能夠生成用戶所希望的視點(diǎn)數(shù)的視點(diǎn)圖像數(shù)據(jù)Im，因此能夠用一臺(tái)相機(jī)進(jìn)行與顯示立體圖像的監(jiān)視器等的特性相應(yīng)的立體圖像攝影。(3)操作部108接受用于選擇表示多個(gè)視點(diǎn)圖像數(shù)據(jù)Im之間的視點(diǎn)的變化量的視差的用戶的操作。運(yùn)算部106以與由用戶選擇的視差相應(yīng)的位置間隔，在像素陣列130上設(shè)定區(qū)塊Blo。即，運(yùn)算部106算出區(qū)塊Blo的移動(dòng)量。并且，圖像處理部105按多個(gè)位置的區(qū)塊Blo抽取區(qū)塊信號(hào)Ib，生成視點(diǎn)圖像數(shù)據(jù)Im。因此，能夠用一臺(tái)相機(jī)進(jìn)行具有用戶所希望的視差的立體圖像，所以便利性提高。(4)操作部108接受用于選擇圖像的景深的用戶操作。運(yùn)算部106根據(jù)由用戶選擇的景深算出并設(shè)定區(qū)塊Blo的大小。圖像處理部105根據(jù)算出的區(qū)塊Blo的大小，將來自區(qū)塊Blo內(nèi)所含的攝像像素131的多個(gè)圖像信號(hào)I合成而作為一個(gè)區(qū)塊信號(hào)Ib抽取，生成視點(diǎn)圖像數(shù)據(jù)Im。因此，能夠用簡(jiǎn)單的操作以立體圖像獲得用戶所希望的景深。
(5)操作部108接受用于使視點(diǎn)位置在二維方向不同的用戶操作。運(yùn)算部106根據(jù)用戶操作算出并設(shè)定用于抽取視點(diǎn)數(shù)的量的區(qū)塊Blo的方向。并且，圖像處理部105沿著算出的方向從區(qū)塊Blo抽取區(qū)塊信號(hào)Ib而生成視點(diǎn)圖像數(shù)據(jù)Im。因此，能夠生成在用戶所希望的方向上視點(diǎn)不同的視點(diǎn)圖像數(shù)據(jù)Im，因此能夠用一臺(tái)相機(jī)進(jìn)行與顯示立體圖像的監(jiān)視器等的特性相應(yīng)的立體圖像攝影。(6)圖像處理部105基于生成的多個(gè)視點(diǎn)圖像數(shù)據(jù)Im而生成顯示用圖像數(shù)據(jù)Id，將與顯示用圖像數(shù)據(jù)Id對(duì)應(yīng)的圖像作為立體圖像而顯示于顯示器109。因此，用戶能夠?qū)⑴c拍攝到的視點(diǎn)圖像數(shù)據(jù)對(duì)應(yīng)的圖像立刻作為立體圖像觀察。第二實(shí)施方式參照

本發(fā)明的第二實(shí)施方式的數(shù)字相機(jī)。在以下的說明中，對(duì)與第一實(shí)施方式相同的構(gòu)成要素標(biāo)注相同附圖標(biāo)記，主要說明不同點(diǎn)。對(duì)于未特別說明的部分，與第一實(shí)施方式相同。在本實(shí)施方式中，一個(gè)微透鏡120的大小不是攝像像素131的大小的整數(shù)倍，在這一點(diǎn)與第一實(shí)施方式不同。該情況下，運(yùn)算部106的運(yùn)算處理和圖像處理部105的區(qū)塊信號(hào)Ib的算出處理與第一實(shí)施方式的情況不同。圖13表示xy平面上的攝像元件13的坐標(biāo)系(i，j)上的微透鏡120與攝像像素131的大小關(guān)系。如圖13 (a)、圖13 (b)所示，第二實(shí)施方式的微透鏡120的與X軸或y軸方向平行的方向的直徑不是攝像像素131的大小的整數(shù)倍。即，在X軸方向上，微透鏡120的X軸方向包括攝像像素131u和131v的一部分的區(qū)域。另外，圖13中的十字形狀的標(biāo)記表示微透鏡120的中心位置。圖13 (a)表示作為區(qū)塊Blo的大小而設(shè)定了 IX I、即u=v=l的情況。區(qū)塊Blo具有其區(qū)域包括4個(gè)攝像像素131a d的各一部分的大小。該情況下，運(yùn)算部106計(jì)算攝像像素131a與區(qū)塊Blo重復(fù)的區(qū)域相對(duì)于攝像像素131a的整個(gè)區(qū)域所占的比例(以下稱為占有率)。圖像處理部105將由運(yùn)算部106算出的占有率與從攝像像素131a輸出的圖像信號(hào)相乘。對(duì)區(qū)塊Blo所含的攝像像素131lTl31d進(jìn)行以上的處理，圖像處理部105將算出的各個(gè)圖像信號(hào)相加，作為區(qū)塊Blo的區(qū)塊信號(hào)Ib而算出。圖13 (b)表示將區(qū)塊Blo的大小一般化為uXv的情況。區(qū)塊Blo包括14個(gè)攝像像素131a 131n的各一部分、和6個(gè)攝像像素131cTl31t的整個(gè)區(qū)域。此時(shí)，與圖13Ca)的情況相同，圖像處理部105將由運(yùn)算部106算出的占有率與來自對(duì)應(yīng)的攝像像素131a 131n各自的圖像信號(hào)相乘，作為插補(bǔ)信號(hào)而算出。并且，圖像處理部105將算出的攝像像素131a 131n各自的插補(bǔ)信號(hào)與從攝像像素131cTl31t分別輸出的圖像信號(hào)相加，算出區(qū)塊信號(hào)Ib。S卩，圖像處理部105對(duì)圖像信號(hào)施加與占有率相應(yīng)的權(quán)重來算出區(qū)塊信號(hào)Ib。以下進(jìn)行詳細(xì)說明。首先，運(yùn)算部106使用下式(5)算出設(shè)于(m，n)= (0，0)的微透鏡120的中心位置(X0,Y0)o另外，如上所述，系數(shù)p是表示微透鏡120的X軸方向的排列間距的固定參數(shù)，系數(shù)q是表示微透鏡120的y軸方向的排列間距的固定參數(shù)。X0=mp+p/ 2
Y0=nq+q/2 (5)接著，運(yùn)算部106使用下式(6)算出微透鏡120中的區(qū)塊Blo的初始位置(左下端)(X，Y)。如上所述，系數(shù)s是表示攝像像素131的X軸方向的排列間距的固定參數(shù)，系數(shù)t是表示攝像像素131的y軸方向的排列間距的固定參數(shù)。系數(shù)Nx是表示在X軸方向生成的視點(diǎn)圖像數(shù)據(jù)Im的個(gè)數(shù)的參數(shù)，0 < Nx〈Kx。系數(shù)Ny是表示在y軸方向生成的視點(diǎn)圖像數(shù)據(jù)Im的個(gè)數(shù)的參數(shù)，0 ( Ny〈Ky。X=X0+U0_u/2+s Nx SxY=Y0+V0-v/2+t Ny Sy (6)運(yùn)算部106將使用式(6)算出的區(qū)塊Blo的初始位置(X，Y)換算為攝像元件13的坐標(biāo)系(i，j)。即，使用攝像元件13的坐標(biāo)系(i，j)中的整數(shù)部分和在端部產(chǎn)生的小數(shù)部分表示區(qū)塊Blo的初始位置。此時(shí)，運(yùn)算部106使用下式(7)。i+a=X/sj+b=Y/t (7)式(7)所示的a、b的值表示圖13(b)所示的區(qū)塊Blo的左下端部從攝像像素131s的左下端部分別沿X軸方向和y軸方向偏移的量。換言之，該a、b的值表示上述的占有率。圖像處理部105使用在上述式(7)算出的區(qū)塊Blo的初始位置，抽取圖像信號(hào)I。即，圖像處理部105以與用式(7)算出的初始位置(i，j)對(duì)應(yīng)的圖像信號(hào)為基準(zhǔn)，算出區(qū)塊Blo內(nèi)所含的圖像信號(hào)之和(區(qū)塊信號(hào)Ib (i，j))。此時(shí)，圖像處理部105使用下式(8)算出區(qū)塊信號(hào)Ib (i，j)。I b ( i ， j )=(I — a)*(l—b)* I(i,j) + (1 — a)* b I ( i + u ,j ) + a b I ( i + u , j + v )+ (I — a) { I ( i，j + I) +…+ I ( i，j + V — I)}+ a { I ( i + u , j +1)H— I ( i + u , j + v — I)}+ (I — b) { I ( i + 1，j ) +…+ I ( i +u- I, j )}+ b { I ( i + I, j ) +…+ I ( i + u — 1，j )}+ I ( i + 1，j + I) +…+ I (i +u- I, j + I)+ I ( i + I, j + v — 1)H-----hi ( i + u — I, j + v —I) (8)
圖13 (a)所示的區(qū)塊Blo的區(qū)塊信號(hào)Ib (i，j)為下式(8)’所示的值。Ib (i, j)=(I-a) (l~b) I (i, j) + (l-a) b I (i, j+1)+a (l~b) I (i+1, j) +a b I (i+1, j+1) (8)， 當(dāng)如上所述算出區(qū)塊信號(hào)Ib時(shí)，與第一實(shí)施方式的情況相同，圖像處理部105在使區(qū)塊Blo移動(dòng)了所設(shè)定的移動(dòng)量Sx、Sy的位置，算出區(qū)塊信號(hào)Ib。圖13 (C)表示根據(jù)運(yùn)算部106的運(yùn)算結(jié)果而區(qū)塊Blo移動(dòng)的樣子。另外，在第二實(shí)施方式中，即使在微透鏡120的直徑不是攝像像素131的大小的整數(shù)倍的情況下，圖像處理部105也能算出區(qū)塊信號(hào)Ib。因此，即使區(qū)塊Blo的移動(dòng)量Sx、Sy不是整數(shù)倍的情況下，圖像處理部105也能在移動(dòng)后的區(qū)塊Blo的位置算出區(qū)塊信號(hào)Ib。換言之，可以將區(qū)塊Blo的移動(dòng)量設(shè)定為用戶希望的任意實(shí)數(shù)值。使用圖14的流程圖說明以上所述的第二實(shí)施方式的數(shù)字相機(jī)I的多視點(diǎn)圖像生成處理。圖14所示的各處理記錄于控制電路101內(nèi)的未圖示的存儲(chǔ)器，當(dāng)在設(shè)定了多視點(diǎn)圖像生成模式的狀態(tài)下通過攝影處理取得的圖像信號(hào)被存儲(chǔ)于存儲(chǔ)器103內(nèi)時(shí)，通過控制電路101啟動(dòng)而執(zhí)行。在步驟S201中，將生成視點(diǎn)圖像的個(gè)數(shù)(Nx，Ny)的值設(shè)定為初始值即0，進(jìn)入步驟S202。在步驟S202中，作為微透鏡120的初始位置，將m、n的值設(shè)定為0，進(jìn)入步驟S203。在步驟S203中，使用式(5)算出成為對(duì)象的微透鏡120的中心位置，進(jìn)入步驟S204。在步驟S204中，使用式(6)，算出微透鏡120的坐標(biāo)系中的區(qū)塊Blo的初始位置、即左下端部的坐標(biāo)，進(jìn)入步驟S205。在步驟S205中，使用式(7)將在步驟S204中算出的坐標(biāo)值換算為攝像元件13的坐標(biāo)系(i，j)，進(jìn)入步驟S206。在步驟S206，使用式(8)，將從區(qū)塊Blo所含的攝像像素131輸出的圖像信號(hào)相力口，生成區(qū)塊信號(hào)Ib，進(jìn)入步驟S207。從步驟S207 (向下一微透鏡移動(dòng))到步驟S212 (多視點(diǎn)圖像文件的生成、記錄)的各處理與從圖14所示的步驟S107 (向下一微透鏡移動(dòng))到步驟S112 (多視點(diǎn)圖像文件的生成、記錄)的各處理相同。根據(jù)以上說明的第二實(shí)施方式，除了由第一實(shí)施方式獲得的作用效果之外，還可得到以下的作用效果。圖像處理部105在由運(yùn)算部106算出的區(qū)塊Blo與一個(gè)攝像像素131中的一部分重復(fù)的情況下，對(duì)從重復(fù)的攝像像素131輸出的圖像信號(hào)進(jìn)行根據(jù)重復(fù)程度決定的加權(quán)，抽取區(qū)塊信號(hào)Ib。因此，即使在攝像像素131與微透鏡120的安裝精度低的情況下也能生成用戶所希望的立體圖像。并且，區(qū)塊Blo的大小、移動(dòng)量等不會(huì)受攝像像素131限制，因此能夠?qū)崿F(xiàn)用戶所希望的視點(diǎn)條件。第三實(shí)施方式參照

本發(fā)明的第三實(shí)施方式的數(shù)字相機(jī)。在以下的說明中，對(duì)與第一和第二實(shí)施方式相同的構(gòu)成要素標(biāo)注相同附圖標(biāo)記，主要說明不同點(diǎn)。關(guān)于未特別說明的部分，與第一或第二實(shí)施方式相同。在本實(shí)施方式中，即使在用戶將數(shù)字相機(jī)縱向設(shè)置進(jìn)行圖像攝影的情況下，也能生成多視點(diǎn)(多視差)圖像，在這一點(diǎn)與第一和第二實(shí)施方式不同。
圖15表不第三實(shí)施方式的數(shù)字相機(jī)I的控制系統(tǒng)的框圖。姿勢(shì)傳感器300例如由傾斜傳感器、陀螺傳感器等構(gòu)成，檢測(cè)數(shù)字相機(jī)I的重力方向，將檢測(cè)信號(hào)向控制電路101輸出?？刂齐娐?01基于所輸入的檢測(cè)信號(hào)，判斷數(shù)字相機(jī)I的姿勢(shì)、即數(shù)字相機(jī)I的橫位置姿勢(shì)或縱位置姿勢(shì)。在圖像數(shù)據(jù)取得時(shí)根據(jù)來自姿勢(shì)傳感器300的檢測(cè)信號(hào)而判斷的數(shù)字相機(jī)I的姿勢(shì)作為姿勢(shì)信息，與圖像數(shù)據(jù)施加關(guān)聯(lián)地存儲(chǔ)于存儲(chǔ)器103。在設(shè)定了多視點(diǎn)圖像生成模式的情況下，控制電路101參照與成為對(duì)象的圖像數(shù)據(jù)施加了關(guān)聯(lián)而存儲(chǔ)于存儲(chǔ)器103中的姿勢(shì) 信息。在姿勢(shì)信息表示縱位置姿勢(shì)時(shí)，運(yùn)算部106將X軸方向的固定參數(shù)(M，Cx, p，s)和可變參數(shù)(U0，Kx, Sx, u)視為y軸方向的設(shè)定值，將7軸方向的固定參數(shù)(107^4)和可變參數(shù)(￥0，辦，57^)視為1軸方向的設(shè)定值，進(jìn)行第一和第二實(shí)施方式中說明的運(yùn)算處理。并且，圖像處理部105生成在y軸方向視點(diǎn)數(shù)不同的視點(diǎn)圖像數(shù)據(jù)Im。根據(jù)以上說明的第三實(shí)施方式，除了由第一實(shí)施方式或第二實(shí)施方式獲得的作用效果之外，還可得到以下的作用效果。姿勢(shì)傳感器300檢測(cè)數(shù)字相機(jī)I的姿勢(shì)。運(yùn)算部106在由姿勢(shì)傳感器300檢測(cè)到的姿勢(shì)為縱位置攝影時(shí)，設(shè)定區(qū)塊Blo的移動(dòng)方向，以使視點(diǎn)的位置在攝像元件13上為y軸方向，即與橫位置攝影不同。并且，圖像處理部105沿著所設(shè)定的方向、即y軸方向抽取區(qū)塊信號(hào)Ib而生成視點(diǎn)圖像數(shù)據(jù)Im。因此，在用一臺(tái)相機(jī)進(jìn)行縱位置攝影和橫位置攝影的任一方的情況下，都能生成立體圖像，便利性提高。以上說明的第一 第三實(shí)施方式的數(shù)字相機(jī)I可以如下變形。( I)可以取代將與使用多視點(diǎn)圖像數(shù)據(jù)由圖像處理部105生成的顯示用圖像數(shù)據(jù)Id對(duì)應(yīng)的圖像立體顯示于顯示器109，顯示于與數(shù)字相機(jī)I不同的外部的顯示裝置(例如個(gè)人計(jì)算機(jī)、電視機(jī)等)所具有的監(jiān)視器。此時(shí)，外部的顯示裝置讀取在數(shù)字相機(jī)I生成的、記錄于存儲(chǔ)卡107a的多視點(diǎn)圖像文件。并且，顯示裝置使用讀取的多視點(diǎn)圖像文件中的視點(diǎn)圖像數(shù)據(jù)Im，進(jìn)行與圖像處理部105同樣的處理，生成顯示用圖像數(shù)據(jù)Id，輸出到監(jiān)視器。另外，顯示裝置所具有的監(jiān)視器與實(shí)施方式的顯示器109同樣地，也需要構(gòu)成為可利用雙凸透鏡方式、視差屏障方式等顯示立體圖像。此外，在顯示裝置從數(shù)字相機(jī)I讀取多視點(diǎn)圖像文件時(shí)，可以使用例如LAN纜線、無線電通信等的接口。并且，也可以是外部的顯示裝置讀取在數(shù)字相機(jī)I生成的圖像數(shù)據(jù)、顯示裝置進(jìn)行與圖像處理部105相同的處理，生成視點(diǎn)圖像數(shù)據(jù)Im。(2)可以取代使用固定參數(shù)和可變參數(shù)從存儲(chǔ)于存儲(chǔ)器103的圖像信號(hào)生成多個(gè)視點(diǎn)圖像數(shù)據(jù)Im，而預(yù)先生成預(yù)定視點(diǎn)數(shù)的視點(diǎn)圖像數(shù)據(jù)Im。該情況下，圖像處理部105使用存儲(chǔ)于存儲(chǔ)器103的圖像信號(hào)，例如生成100個(gè)視點(diǎn)圖像數(shù)據(jù)Im以獲得100視點(diǎn)的視點(diǎn)圖像，并存儲(chǔ)于存儲(chǔ)器103。并且，圖像處理部105按照所設(shè)定的可變參數(shù)從存儲(chǔ)于存儲(chǔ)器103的100個(gè)視點(diǎn)圖像數(shù)據(jù)Im中選擇與由用戶選擇的視點(diǎn)數(shù)相同數(shù)量的視點(diǎn)圖像數(shù)據(jù)Im,生成多視點(diǎn)圖像文件并記錄于存儲(chǔ)卡107a。此外，只要不有損本發(fā)明的特征，本發(fā)明就不限于上述實(shí)施方式，在本發(fā)明的技術(shù)思想的范圍內(nèi)能想到的其他實(shí)施方式也包含于本發(fā)明的范圍內(nèi)。用于說明的實(shí)施方式及變形例可以各自適當(dāng)組合來構(gòu)成。以下的優(yōu)先權(quán)基礎(chǔ)申請(qǐng)的公開內(nèi)容作為引用文而編入于此。
日本專利申請(qǐng)2010年第046733號(hào)(2010年3月3日申請(qǐng))。
權(quán)利要求
1.一種攝像裝置，包括 多個(gè)微透鏡，呈二維狀地配置在攝影光學(xué)系統(tǒng)的焦面附近； 攝像元件，與所述微透鏡分別對(duì)應(yīng)地呈二維狀配置有包括多個(gè)光電轉(zhuǎn)換元件的多個(gè)元件組，所述多個(gè)光電轉(zhuǎn)換元件經(jīng)由所述微透鏡接受通過了所述攝影光學(xué)系統(tǒng)的來自被攝體的光束、輸出圖像信號(hào)； 生成部，從由所述多個(gè)元件組各自所含的所述多個(gè)光電轉(zhuǎn)換元件輸出的所述圖像信號(hào)，抽取與所述攝影光學(xué)系統(tǒng)的光瞳面上的多個(gè)不同的部分區(qū)域各自對(duì)應(yīng)的多個(gè)區(qū)域圖像信號(hào)，基于所述區(qū)域圖像信號(hào)，生成與所述部分區(qū)域各自對(duì)應(yīng)的多個(gè)圖像數(shù)據(jù)來作為視點(diǎn)位置各不相同的多個(gè)視點(diǎn)圖像數(shù)據(jù)；和 接受部，接受選擇視點(diǎn)數(shù)的視點(diǎn)數(shù)選擇操作， 所述生成部抽取與由所述視點(diǎn)數(shù)選擇操作所選擇的所述視點(diǎn)數(shù)相同數(shù)量的所述區(qū)域圖像信號(hào)，生成所述視點(diǎn)圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的攝像裝置， 所述生成部，將從所述多個(gè)元件組各自抽取的多個(gè)所述區(qū)域圖像信號(hào)中的、從不同的所述元件組抽取的、且與同一所述部分區(qū)域?qū)?yīng)的所述區(qū)域圖像信號(hào)合成，生成一個(gè)所述視點(diǎn)圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求I或2所述的攝像裝置， 包括設(shè)定部，所述設(shè)定部設(shè)定用于抽取所述區(qū)域圖像信號(hào)的抽取區(qū)域， 所述設(shè)定部在所述元件組的不同位置設(shè)定與所述所選擇的所述視點(diǎn)數(shù)相同數(shù)量的所述抽取區(qū)域， 所述生成部針對(duì)由所述設(shè)定部設(shè)定的每個(gè)所述抽取區(qū)域抽取所述區(qū)域圖像信號(hào)。
4.根據(jù)權(quán)利要求3所述的攝像裝置， 所述接受部接受選擇視差的視差選擇操作，所述視差表示在所述多個(gè)視點(diǎn)圖像數(shù)據(jù)之間的視點(diǎn)的變化量； 所述設(shè)定部以與由所述視差選擇操作所選擇的所述視差對(duì)應(yīng)的位置間隔，設(shè)定所述抽取區(qū)域， 所述生成部每隔所述位置間隔從所述抽取區(qū)域抽取所述區(qū)域圖像信號(hào)，生成所述視點(diǎn)圖像數(shù)據(jù)。
5.根據(jù)權(quán)利要求3或4所述的攝像裝置， 所述接受部接受選擇圖像的景深的景深選擇操作， 所述設(shè)定部根據(jù)由所述景深選擇操作所選擇的所述景深，設(shè)定所述抽取區(qū)域的大小， 所述生成部根據(jù)所述設(shè)定的所述抽取區(qū)域的大小，將多個(gè)所述圖像信號(hào)合成、作為一個(gè)區(qū)域圖像信號(hào)抽取，生成所述視點(diǎn)圖像數(shù)據(jù)。
6.根據(jù)權(quán)利要求3飛中的任一項(xiàng)所述的攝像裝置， 所述接受部還接受使所述視點(diǎn)的位置在二維方向上不同的視點(diǎn)位置選擇操作， 所述設(shè)定部根據(jù)所述視點(diǎn)位置選擇操作，設(shè)定抽取與所述視點(diǎn)數(shù)相同數(shù)量的所述抽取區(qū)域的方向， 所述生成部沿著由所述設(shè)定部設(shè)定的方向抽取所述區(qū)域圖像信號(hào)，生成所述視點(diǎn)圖像數(shù)據(jù)。
7.根據(jù)
權(quán)利要求
Γ6中的任一項(xiàng)所述的攝像裝置， 所述生成部，在由所述設(shè)定部設(shè)定的所述抽取區(qū)域與一個(gè)所述光電轉(zhuǎn)換元件中的一部分重復(fù)的情況下，對(duì)從所述重復(fù)的光電轉(zhuǎn)換元件輸出的圖像信號(hào)進(jìn)行根據(jù)重復(fù)比例決定的加權(quán)、作為所述區(qū)域圖像信號(hào)抽取。
8.根據(jù)權(quán)利要求3 7中的任一項(xiàng)所述的攝像裝置， 包括檢測(cè)所述攝像裝置的姿勢(shì)的姿勢(shì)檢測(cè)部， 所述設(shè)定部根據(jù)由所述姿勢(shì)檢測(cè)部檢測(cè)出的姿勢(shì)，設(shè)定抽取與所述視點(diǎn)數(shù)相同數(shù)量的所述抽取區(qū)域的方向，以使所述視點(diǎn)的位置不同， 所述生成部沿著由所述設(shè)定部設(shè)定的方向抽取所述區(qū)域圖像信號(hào)、生成所述視點(diǎn)圖像數(shù)據(jù)。
9.根據(jù)權(quán)利要求廣8中的任一項(xiàng)所述的攝像裝置， 還包括顯示控制部，所述顯示控制部基于由所述生成部生成的多個(gè)所述視點(diǎn)圖像數(shù)據(jù)而生成顯示用圖像數(shù)據(jù)，使與所述顯示用圖像數(shù)據(jù)對(duì)應(yīng)的圖像作為立體圖像顯示于顯示器。
全文摘要
一種攝像裝置，包括多個(gè)微透鏡，呈二維狀地配置在攝影光學(xué)系統(tǒng)的焦面附近；攝像元件，與微透鏡分別對(duì)應(yīng)地呈二維狀配置有包括多個(gè)光電轉(zhuǎn)換元件的多個(gè)元件組，多個(gè)光電轉(zhuǎn)換元件經(jīng)由微透鏡接受通過了攝影光學(xué)系統(tǒng)的來自被攝體的光束、輸出圖像信號(hào)；生成部，從由多個(gè)光電轉(zhuǎn)換元件輸出的圖像信號(hào)，抽取與攝影光學(xué)系統(tǒng)的光瞳面上的多個(gè)不同的部分區(qū)域各自對(duì)應(yīng)的多個(gè)區(qū)域圖像信號(hào)，生成與部分區(qū)域各自對(duì)應(yīng)的多個(gè)圖像數(shù)據(jù)來作為視點(diǎn)位置各不相同的多個(gè)視點(diǎn)圖像數(shù)據(jù)；和接受部，接受選擇視點(diǎn)數(shù)的視點(diǎn)數(shù)選擇操作，生成部抽取與所選擇的視點(diǎn)數(shù)相同數(shù)量的區(qū)域圖像信號(hào)，生成視點(diǎn)圖像數(shù)據(jù)。
文檔編號(hào)G03B35/08GK102783162SQ20118001210
公開日2012年11月14日 申請(qǐng)日期2011年3月2日 優(yōu)先權(quán)日2010年3月3日
發(fā)明者浜島宗樹 申請(qǐng)人:株式會(huì)社尼康