專利名稱：攝像裝置及圖像顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及重構(gòu)圖像的技術(shù)。
背景技術(shù)：
近幾年，公知獲取關(guān)于入射光線的方向分布(directiondistribution)的信息的攝像裝置、即被稱為“全光相機(jī)(plenoptic camera) ”的攝像裝置(日本特表2008-515110號(hào)公報(bào)、日本特表2009-532993號(hào)公報(bào))。在全光相機(jī)的光學(xué)系統(tǒng)中，在現(xiàn)有的攝像鏡頭(以下，稱為“主鏡頭”)與攝像元件之間插入反復(fù)配置了極小的透鏡(以下，稱為“微鏡頭”)的復(fù)眼透鏡(以下，稱為“微鏡頭陣列”)。構(gòu)成微鏡頭陣列的每一個(gè)微鏡頭，將由主鏡頭匯聚的光根據(jù)其到達(dá)的角度分配給攝像元件內(nèi)的多個(gè)像素群。S卩，若以下將由各微鏡頭匯聚到攝像元件上的像稱為“子圖像(sub-1mage) ”，則從攝像元件輸出由多個(gè)子圖像的集合體構(gòu)成的圖像數(shù)據(jù)，作為攝像圖像的數(shù)據(jù)。另外，以下將這種全光相機(jī)的攝像圖像稱為“光場(chǎng)像(light fieldimage) ”。光場(chǎng)像不僅通過(guò)現(xiàn)有的主鏡頭生成，還通過(guò)經(jīng)由微鏡頭陣列入射的光而生成。因此，光場(chǎng)像具有:在現(xiàn)有的攝像圖像中也包含著的、表示從哪個(gè)部位到達(dá)的光線的二維空間信息，并且作為在現(xiàn)有的攝像圖像中未包含的信息，還具有表示從攝像元件看是從哪個(gè)方向到達(dá)的光線的二維方向信息。全光相機(jī)拍攝完光場(chǎng)像之后，利用光場(chǎng)像的數(shù)據(jù)，能夠重構(gòu)在拍攝時(shí)在前方相隔了任意距離的面的像。換言之，全光相機(jī)即使在沒(méi)有以規(guī)定距離對(duì)焦而拍攝了光場(chǎng)像的情況左，在拍攝完之后，也可通過(guò)利用該光場(chǎng)像的數(shù)據(jù)，自由地生成是以該規(guī)定距離對(duì)焦而拍攝的圖像(以下，稱為“重構(gòu)圖像”)的數(shù)據(jù)。

發(fā)明內(nèi)容
本申請(qǐng)發(fā)明的第I觀點(diǎn)所涉及的圖像處理裝置，其具備:圖像獲取部，其獲取對(duì)從多個(gè)視點(diǎn)得到的多個(gè)子圖像進(jìn)行了排列的多視點(diǎn)圖像；切出部，其從所述子圖像中切出部分圖像；和生成部，其基于與該部分圖像對(duì)應(yīng)的子圖像的排列位置配置所述部分圖像，從而生成重構(gòu)圖像。本申請(qǐng)發(fā)明的第2觀點(diǎn)所涉及的圖像處理裝置，其具備:圖像獲取部，其獲取對(duì)從多個(gè)視點(diǎn)得到的多個(gè)子圖像進(jìn)行了排列的多視點(diǎn)圖像；第I選擇部，其從所述多個(gè)子圖像中選擇第I圖像；像素選擇部，其選擇包含在所述第I圖像中的第I像素；第2選擇部，其從所述多個(gè)子圖像中選擇第2圖像；搜索部，其從包含在所述第2圖像中的像素之中，搜索與所述第I像素對(duì)應(yīng)的第2像素；像素加工部，其基于所述第I像素與所述第2像素的位置關(guān)系，加工所述第I像素和所述第2像素；和重構(gòu)部，其從由所述像素加工部加工出的所述多個(gè)子圖像中，重構(gòu)圖像。本申請(qǐng)發(fā)明的第3觀點(diǎn)所涉及的圖像生成方法，包括以下步驟:獲取對(duì)從多個(gè)視點(diǎn)得到的多個(gè)子圖像進(jìn)行了排列的多視點(diǎn)圖像；從所述子圖像中切出部分圖像；以及按照與所述部分圖像對(duì)應(yīng)的子圖像的排列順序配置所述部分圖像，從而生成重構(gòu)圖像。本申請(qǐng)發(fā)明的第4觀點(diǎn)所涉及的計(jì)算機(jī)可讀取的非易失性記錄介質(zhì)，其保存通過(guò)計(jì)算機(jī)可執(zhí)行的程序，所述程序使所述計(jì)算機(jī)實(shí)現(xiàn)如下功能:獲取對(duì)從多個(gè)視點(diǎn)得到的多個(gè)子圖像進(jìn)行了排列的多視點(diǎn)圖像；從所述子圖像中切出部分圖像；以及按照與所述部分圖像對(duì)應(yīng)的子圖像的排列順序配置所述部分圖像，從而生成重構(gòu)圖像。


結(jié)合以下的附圖考慮以下的詳細(xì)記載的話，能夠得到本申請(qǐng)的更深層次的理解。圖1A是本發(fā)明的實(shí)施方式I的數(shù)碼相機(jī)的正面圖。圖1B是實(shí)施方式I的數(shù)碼相機(jī)的背面圖。圖2是表示實(shí)施方式I的數(shù)碼相機(jī)的硬件構(gòu)成的框圖。圖3是表示實(shí)施方式I的數(shù)碼相機(jī)中的光學(xué)系統(tǒng)的構(gòu)成例的示意圖。圖4是實(shí)施方式I的光場(chǎng)像的概念圖。圖5是表示實(shí)施方式I的數(shù)碼相機(jī)的功能結(jié)構(gòu)的框圖。圖6是表示實(shí)施方式I的圖像輸出處理的流程圖。圖7是表示實(shí)施方式I的取景圖像生成部的功能結(jié)構(gòu)的框圖。圖8是說(shuō)明實(shí)施方式I的數(shù)碼相機(jī)所執(zhí)行的圖像生成處理I的流程圖。圖9是表示根據(jù)實(shí)施方式I的光場(chǎng)像生成第I重構(gòu)圖像的處理的概要的圖。圖1OA是表示實(shí)施方式I的確認(rèn)圖像生成部的功能結(jié)構(gòu)的框圖。圖1OB是表示實(shí)施方式I的區(qū)域定義表的例的圖。圖11是說(shuō)明實(shí)施方式I的數(shù)碼相機(jī)所執(zhí)行的圖像生成處理2的流程圖。圖12是表示根據(jù)實(shí)施方式I的光場(chǎng)像生成第2重構(gòu)圖像的處理的概要的圖。圖13A是表示實(shí)施方式I的正式圖像生成部的功能結(jié)構(gòu)的框圖。圖13B是表示實(shí)施方式I的像素偏離系數(shù)計(jì)算部的功能結(jié)構(gòu)的框圖。圖13C是表示實(shí)施方式I的配置間隔表的例的圖。圖13D是表示實(shí)施方式I的切出尺寸修正表的例的圖。圖14是說(shuō)明實(shí)施方式I的數(shù)碼相機(jī)所執(zhí)行的圖像生成處理3的流程圖。圖15是表示根據(jù)實(shí)施方式I的光場(chǎng)像生成第3重構(gòu)圖像的處理的概要的圖。圖16A、圖16B是表示在生成實(shí)施方式I的生成第3重構(gòu)圖像的處理中配置部分圖像的處理的概要的圖。圖17是表示本發(fā)明的實(shí)施方式2的圖像輸出處理的流程圖。
圖18是表示本發(fā)明的實(shí)施方式3的取景圖像生成部的功能結(jié)構(gòu)的框圖。圖19是表示實(shí)施方式3的圖像輸出處理的流程圖。圖20是說(shuō)明實(shí)施方式3的數(shù)碼相機(jī)所執(zhí)行的圖像生成處理的流程圖。圖21是表示本發(fā)明的實(shí)施方式4的取景圖像生成部的功能結(jié)構(gòu)的框圖。圖22是表示實(shí)施方式4的圖像輸出處理的流程圖。圖23是表示實(shí)施方式4的偏離系數(shù)推測(cè)處理的流程圖。圖24是表示實(shí)施方式4的對(duì)推測(cè)圖像與計(jì)算圖像進(jìn)行分組的例的圖。圖25是表示實(shí)施方式4的對(duì)推測(cè)圖像與計(jì)算圖像進(jìn)行分組的例的圖。圖26是表示實(shí)施方式4的圖像偏離系數(shù)的推測(cè)處理例的概要的圖。圖27A是表示本發(fā)明的實(shí)施方式5的正式圖像生成部的功能結(jié)構(gòu)的框圖。圖27B是表示實(shí)施方式5的再對(duì)焦距離、重構(gòu)距離、切出尺寸之間的對(duì)應(yīng)表的例的圖。圖28是表不實(shí)施方式5的圖像生成處理的流程圖。圖29 圖31是表示實(shí)施方式5的將部分圖像配置在中間圖像中的處理的概要的圖。圖32A 圖32C是表示實(shí)施方式5的中間圖像中的部分圖像的配置例的圖。圖33是表示實(shí)施方式5的變形例的圖像生成處理的流程圖。圖34是表示實(shí)施方式5的變形例的將部分圖像配置在中間圖像中的處理的概要的圖。圖35是表示實(shí)施方式5的變形例的將部分圖像配置在中間圖像中的處理的概要的圖。
具體實(shí)施例方式以下，參照

用于實(shí)施本發(fā)明的具體實(shí)施方式
的攝像裝置。另外，對(duì)圖中相同或相應(yīng)部分附加同一符號(hào)。(實(shí)施方式I)說(shuō)明作為本發(fā)明的攝像裝置的一實(shí)施例的數(shù)碼相機(jī)I的外觀。圖1A表示正面外觀。圖1B表示背面外觀。數(shù)碼相機(jī)I在正面?zhèn)染哂袛z像鏡頭(透鏡組)12。此外，在數(shù)碼相機(jī)I的背面設(shè)置作為顯示裝置的液晶監(jiān)視器畫(huà)面13、和由模式調(diào)節(jié)盤、光標(biāo)鍵、SET鍵、變焦按鈕(W按鈕、T按鈕)、菜單鍵等構(gòu)成的操作部14。此外，在上表面設(shè)有快門按鈕10、電源按鈕11。另外，雖然未圖示，但是在側(cè)部設(shè)有與個(gè)人計(jì)算機(jī)(personalcomputer)或調(diào)制解調(diào)器等外部裝置形成USB電纜連接時(shí)使用的USB端子連接部。接著，參照?qǐng)D2，說(shuō)明數(shù)碼相機(jī)I的硬件結(jié)構(gòu)。數(shù)碼相機(jī)I 包括 CPU (Central Processing Unit) 21、ROM (Read OnlyMemory) 22>RAM (Random Access Memory) 23、和內(nèi)部總線20。此外，數(shù)碼相機(jī)I具備輸入輸出接口 30、攝像部31、輸入部32、輸出部33、存儲(chǔ)部34、顯示部35、通信部36、和介質(zhì)驅(qū)動(dòng)器37。CPU21將RAM23用作作業(yè)區(qū)域，通過(guò)保存在R0M22或存儲(chǔ)部34中的程序執(zhí)行用于輸出圖像的后述的處理。R0M22和/或存儲(chǔ)部34在CPU21執(zhí)行后述的各種處理的基礎(chǔ)上存儲(chǔ)所需數(shù)據(jù)。所存儲(chǔ)的數(shù)據(jù)適當(dāng)被加載到RAM23中。此外，RAM23適時(shí)存儲(chǔ)后述處理的中間數(shù)據(jù)。CPU21、R0M22、RAM23、及輸入輸出接口 30經(jīng)由內(nèi)部總線20而相互被連接。此外，在輸入輸出接口 30上連接了攝像部31、輸入部32、輸出部33、存儲(chǔ)部34、顯示部35、通信部36及介質(zhì)驅(qū)動(dòng)器37。攝像部31具備主鏡頭311、微鏡頭陣列312、和攝像元件313。另外，將在后面參照?qǐng)D3更詳細(xì)地說(shuō)明攝像部31。輸入部32由快門按鈕10、操作部14的各種按鈕及在顯示部35中設(shè)定的觸摸面板等輸入裝置、和向輸入輸出接口 30傳遞用戶利用這些輸入裝置執(zhí)行的操作信息的傳遞部構(gòu)成。用戶可利用輸入部32向數(shù)碼相機(jī)I輸入指令或各種信息。輸出部33由監(jiān)視器或揚(yáng)聲器等構(gòu)成，輸出通過(guò)CPU21的處理生成的各種圖像或各
種聲音。存儲(chǔ)部34 由硬盤或 DRAM (Dynamic Random Access Memory)等構(gòu)成,存儲(chǔ)從 CPU21傳遞或從其他設(shè)備輸入的后述的光場(chǎng)像或重構(gòu)圖像等各種圖像的數(shù)據(jù)、各種設(shè)定信息。通信部36經(jīng)由包括因特網(wǎng)在內(nèi)的網(wǎng)絡(luò)，控制在與其他裝置(未圖示)之間進(jìn)行的通信。在介質(zhì)驅(qū)動(dòng)器37中適當(dāng)安裝可移動(dòng)介質(zhì)38 (磁盤、光盤、光磁盤、或半導(dǎo)體存儲(chǔ)器等)。通過(guò)介質(zhì)驅(qū)動(dòng)器37從可移動(dòng)介質(zhì)38讀出的程序根據(jù)需要被安裝在存儲(chǔ)部34。此外，與存儲(chǔ)部34相同，可移動(dòng)介質(zhì)38能夠存儲(chǔ)在存儲(chǔ)部34中存儲(chǔ)的圖像的數(shù)據(jù)等各種數(shù)據(jù)。顯示部35由液晶顯示器、有機(jī)EL(Electro-Luminescence)顯示器等構(gòu)成。顯示部35顯示通過(guò)后述的處理生成、且從CPU21傳遞的拍攝準(zhǔn)備狀態(tài)下的取景圖像或攝影后的確認(rèn)用圖像。以下，以顯示部35具有320X240像素的分辨率為例進(jìn)行說(shuō)明。在具有這種構(gòu)成的數(shù)碼相機(jī)I中，參照?qǐng)D3來(lái)說(shuō)明光學(xué)系統(tǒng)的構(gòu)成例。在數(shù)碼相機(jī)I的光學(xué)系統(tǒng)中，從被攝體OB看時(shí)，以主鏡頭311、微鏡頭陣列312、攝像元件313的順序進(jìn)行了配置。在微鏡頭陣列312中，分別配置了 NXM個(gè)(N、M是2以上的任意的整數(shù)值)微鏡頭312-1至微鏡頭312-NXM。圖3表不了橫向一列(N個(gè))的微鏡頭。以下說(shuō)明各微鏡頭312-1(i是I至NXM的范圍內(nèi)的整數(shù)值)具有相同大小的直徑，在微鏡頭陣列312中以相同的間隔被排列成格子狀。主鏡頭311匯聚從被攝體OB上的點(diǎn)射出的光束，并在規(guī)定的面MA上使其成像，入射至微鏡頭陣列312。另外，以下，將由主鏡頭311成像的面稱為“主鏡頭成像面MA”。在本實(shí)施方式中，王鏡頭成像面MA位于王鏡頭311與攝像兀件313之間。微鏡頭312-1按每個(gè)入射方向匯聚從被攝體OB經(jīng)由主鏡頭311入射的光束，并在攝像元件313上使其成像為子圖像。S卩，在攝像元件313中，通過(guò)多個(gè)微鏡頭312-1至微鏡頭312-NXM的每一個(gè)對(duì)多個(gè)子圖像進(jìn)行成像，生成作為這些多個(gè)子圖像的集合體的光場(chǎng)像。這樣，相對(duì)于同一被攝體從不同的角度看到的像被記錄在對(duì)應(yīng)的多個(gè)子圖像。換言之，得到將同時(shí)從多個(gè)視點(diǎn)看被攝體的多個(gè)子圖像排列而成的圖像。這樣得到的子圖像包括相對(duì)于同一被攝體從不同的角度看到的像。因此，通過(guò)從多個(gè)子圖像中選擇適當(dāng)?shù)南袼剡M(jìn)行合成，從而能夠重構(gòu)拍攝時(shí)在前方遠(yuǎn)離了任意距離的面上對(duì)焦的圖像、或任意變更了景深的圖像。圖4表示拍攝到塊狀的被攝體OB的光場(chǎng)像LFI的一例。該光場(chǎng)像LFI，由分別與配置成格子狀的NXM個(gè)微鏡頭312_i對(duì)應(yīng)的圖像(子圖像S11 Smn)構(gòu)成。例如，左上方的子圖像S11相當(dāng)于從左上方拍攝了被攝體OB的圖像，右下方子圖像Smn相當(dāng)于從右下方拍攝了被攝體OB的圖像。第i行的子圖像(橫向一列的子圖像)Sn Sffl，相當(dāng)于將主鏡頭311成像的像在微鏡頭陣列312的第i行的橫向上排列的由微鏡頭312-1成像的立體圖像。同樣，第j列的子圖像(縱向一列的子圖像)Su Sw相當(dāng)于將主鏡頭311成像的像在微鏡頭陣列312的第j列的縱向上排列的由微鏡頭312-1拍攝的立體圖像。另外，在本實(shí)施方式中，各子圖像S是亮度色標(biāo)圖像，構(gòu)成子圖像的各像素具有像素值(標(biāo)量值)。在本實(shí)施方式中，在微鏡頭陣列312中，在橫向(X軸)上排列了 80個(gè)微鏡頭，在縱向(y軸)上排列的60個(gè)微鏡頭。與各微鏡頭對(duì)應(yīng)的子圖像被容納在60X60像素的區(qū)域內(nèi)，形成具有4800X3600像素的分辨率的光場(chǎng)像LFI。在通過(guò)主鏡頭的焦點(diǎn)位于比攝像元件更靠主鏡頭的一側(cè)、微鏡頭的焦點(diǎn)比攝像元件靠后的如圖3所示的光學(xué)系統(tǒng)拍攝的光場(chǎng)像LFI中，被攝體作為以各子圖像為單位翻轉(zhuǎn)到點(diǎn)對(duì)象的翻轉(zhuǎn)像呈現(xiàn)。另一方面，若是主鏡頭的焦點(diǎn)位于攝像元件的后方側(cè)的光學(xué)系統(tǒng)，則被攝體被呈現(xiàn)成沒(méi)有翻轉(zhuǎn)到子圖像的像。在主鏡頭的焦點(diǎn)比攝像元件更靠主鏡頭的一側(cè)、微鏡頭的焦點(diǎn)比攝像元件更靠前時(shí)也是同樣的。數(shù)碼相機(jī)I根據(jù)這種光場(chǎng)像LFI生成并輸出重構(gòu)圖像RI。數(shù)碼相機(jī)I通過(guò)上述物理結(jié)構(gòu),如圖5所示,起到圖像攝影部40、輸入部50、包括LFI生成部610、取景圖像生成部620、確認(rèn)圖像生成部630和正式圖像生成部640在內(nèi)的圖像生成處理部60、顯示部70、以及存儲(chǔ)部80的作用。圖像攝影部40通過(guò)主鏡頭311和微鏡頭陣列312拍攝被攝體，將其信息傳遞給LFI生成部610。輸入部50獲取在R0M22及RAM23中存儲(chǔ)的攝影設(shè)定、輸入部32受理的用戶操作、在R0M22或RAM23中存儲(chǔ)的重構(gòu)設(shè)定，并傳遞給圖像生成處理部60的各部。LFI生成部610根據(jù)從圖像攝影部40傳遞的信息，生成如圖4所例示的光場(chǎng)像LF10 LFI生成部610向取景圖像生成部620、確認(rèn)圖像生成部630、和正式圖像生成部640傳遞所生成的光場(chǎng)像LFI。取景圖像生成部620、確認(rèn)圖像生成部630及正式圖像生成部640從光場(chǎng)像LFI中，基于各微鏡頭的位置，根據(jù)子圖像生成重構(gòu)圖像。將從光場(chǎng)像中基于各微鏡頭的位置生成重構(gòu)圖像的處理以下稱為“重構(gòu)處理”。在重構(gòu)處理中，將被重構(gòu)的被攝體假設(shè)存在的面稱為“重構(gòu)面”。取景圖像生成部620生成重構(gòu)圖像中的取景用的圖像(取景圖像)。將生成取景圖像的處理稱為“取景圖像生成處理”。在取景顯示中為了向用戶顯示拍攝時(shí)的準(zhǔn)備、拍攝狀況，期望高速切換被攝體的圖像來(lái)進(jìn)行顯示。因此，在本實(shí)施方式中，取景圖像生成處理的計(jì)算量被設(shè)定得較少。取景圖像生成部620向顯示部70輸出所生成的取景圖像。取景圖像生成部620生成在取景(拍攝準(zhǔn)備)顯示中所使用的圖像，因此也可以稱為準(zhǔn)備生成部或第I生成部。
此外，確認(rèn)圖像生成部630生成重構(gòu)圖像中的用于圖像拍攝后的確認(rèn)的圖像(確認(rèn)圖像)。將生成確認(rèn)圖像的處理稱為“確認(rèn)圖像生成處理”。在拍攝后的確認(rèn)中，雖然不要求鑒賞用圖像程度的畫(huà)質(zhì)，但是為了能確認(rèn)得到了什么圖像程度希望較高的畫(huà)質(zhì)。此外，需要拍攝后迅速顯示，但是不需要如取景圖像那樣迅速生成。因此，確認(rèn)圖像生成處理的計(jì)算量被設(shè)定得比取景圖像生成處理多，以便能夠生成更高畫(huà)質(zhì)的圖像。確認(rèn)圖像生成部630向顯示部70輸出所生成的確認(rèn)圖像。另外，在此所說(shuō)的畫(huà)質(zhì)高，不僅是分辨率大的圖像，更是重構(gòu)精度高、噪聲少、附加適當(dāng)?shù)奶摶鼫?zhǔn)確地反映正式確認(rèn)的特征等，對(duì)于用戶而言便利性高的圖像整體。確認(rèn)圖像生成部630，生成為了確認(rèn)攝影圖像而用于顯示的圖像，因此也可以稱為顯示生成部。正式圖像生成部640在重構(gòu)圖像中生成觀賞用圖像(正式圖像)。將生成正式圖像的處理稱為“正式圖像生成處理”。正式圖像由于是用于鑒賞，因此希望是與用戶所期望的重構(gòu)設(shè)定一致且高畫(huà)質(zhì)的圖像。因此，正式圖像生成處理的計(jì)算量被設(shè)定得較大。正式圖像生成部640在存儲(chǔ)部80中存儲(chǔ)所生成的正式圖像。另外，有時(shí)不區(qū)分取景圖像生成部620、確認(rèn)圖像生成部630和正式圖像生成部640，僅簡(jiǎn)單稱為生成部。此外，在確認(rèn)圖像生成部630生成的重構(gòu)圖像滿足用戶的畫(huà)質(zhì)需求的情況下，確認(rèn)圖像生成部630也可以兼作正式圖像生成部640。顯示部70顯示被傳遞的重構(gòu)圖像。另外，顯示部70具有320X240像素的分辨率。此外，存儲(chǔ)部80存儲(chǔ)被傳遞的正式圖像。另外，存儲(chǔ)部80也可以與對(duì)應(yīng)的確認(rèn)圖像一起存儲(chǔ)正式圖像。參照?qǐng)D6說(shuō)明用于獲取數(shù)碼相機(jī)I所執(zhí)行的光場(chǎng)像LFI后輸出重構(gòu)圖像的處理(圖像輸出處理I)。若接通電源，輸入部50接受準(zhǔn)備拍攝的操作后，數(shù)碼相機(jī)I開(kāi)始圖6所示的圖像輸出處理I。在圖像輸出處理I中，首先，利用圖像攝影部40和LFI生成部610，數(shù)碼相機(jī)I獲取光場(chǎng)像LFI (步驟S101)。接著，輸入部50獲取在RAM23及R0M22中存儲(chǔ)的當(dāng)前攝像設(shè)定信息(步驟S102)。攝像設(shè)定信息包含當(dāng)前的主鏡頭311的焦點(diǎn)距離fa、光圈(F值)、微鏡頭陣列312中的各微鏡頭的位置信息、以及微鏡頭陣列312與攝像元件313的位置信息等。若獲取攝像設(shè)定信息，則取景圖像生成部620執(zhí)行取景圖像生成處理(步驟
S103)。在本實(shí)施方式中，取景圖像生成處理是后述的圖像生成處理I。參照?qǐng)D7說(shuō)明執(zhí)行取景圖像生成處理的取景圖像生成部620的功能結(jié)構(gòu)。在本實(shí)施方式中，取景圖像生成部620是圖7所示的第I重構(gòu)圖像生成部710。第I重構(gòu)圖像生成部710由子圖像提取部711、部分區(qū)域定義部712、像素提取部713、像素配置部714、和輸出部715構(gòu)成。第I重構(gòu)圖像生成部710通過(guò)這些各部，從光場(chǎng)像LFI中生成第I重構(gòu)圖像(本申請(qǐng)的取景圖像)，作為輸出圖像。以下，以第I重構(gòu)圖像為320X240像素的圖像的情況為例進(jìn)行說(shuō)明。子圖像提取部711，從構(gòu)成光場(chǎng)像LFI的子圖像中依次提取一個(gè)作為關(guān)注子圖像，傳遞給部分區(qū)域定義部712。部分區(qū)域定義部712將從子圖像提取部711傳遞的關(guān)注子圖像的規(guī)定區(qū)域定義為部分區(qū)域。將在后面詳細(xì)敘述部分區(qū)域。部分區(qū)域定義部712向像素提取部713傳遞表示部分區(qū)域的信息。像素提取部713，從由部分區(qū)域定義部712傳遞的信息所表示的關(guān)注子圖像上的部分區(qū)域中以規(guī)定條件提取像素。將在后面詳細(xì)敘述提取像素的處理的具體內(nèi)容。像素提取部713將提取的像素傳遞給像素配置部714。像素配置部714在第I重構(gòu)圖像上配置像素提取部713所提取的像素。將在后面詳細(xì)敘述配置像素的處理的具體內(nèi)容。像素配置部714從子圖像提取部711將所有子圖像作為關(guān)注圖像來(lái)依次提取像素后配置在第I重構(gòu)圖像上，從而生成第I重構(gòu)圖像。輸出部715向外部(顯示部70)輸出這樣生成的第I重構(gòu)圖像。接著，參照?qǐng)D8及圖9，說(shuō)明第I重構(gòu)圖像生成部710所執(zhí)行的重構(gòu)圖像生成處理(圖像生成處理I)。若到了圖像輸出處理1(圖6)的步驟S103，則取景圖像生成部620(第I重構(gòu)圖像生成部710)開(kāi)始圖8所示的圖像生成處理I。在圖像生成處理I中，首先，將kl設(shè)為計(jì)數(shù)變量，子圖像提取部711提取光場(chǎng)像LFI的第kl個(gè)子圖像，作為關(guān)注子圖像(步驟S201)。接著，部分區(qū)域定義部712將關(guān)注子圖像的規(guī)定區(qū)域(在此是位于子圖像的中心的8X8像素的正方形區(qū)域)定義為部分區(qū)域(步驟S202)。該規(guī)定區(qū)域的大小，是基于針對(duì)在數(shù)碼相機(jī)I的設(shè)計(jì)上可拍攝的被攝體產(chǎn)生的像素的偏離(視差)的大小設(shè)定的。例如，在照相機(jī)可拍攝的最近的距離和最遠(yuǎn)的距離下產(chǎn)生的像素偏離是4像素至12像素時(shí)，采用中間附近的8像素。定義部分區(qū)域后，像素提取部713將部分區(qū)域的像素提取出與后述的第I重構(gòu)圖像中的關(guān)注子圖像對(duì)應(yīng)的區(qū)域(對(duì)應(yīng)區(qū)域)的像素?cái)?shù)量(步驟S203)。然后，像素配置部714將提取出的像素配置在第I重構(gòu)圖像(生成圖像)的對(duì)應(yīng)區(qū)域的對(duì)應(yīng)部位上(步驟S204)。采用具體例用并參照?qǐng)D9說(shuō)明步驟S201至步驟S204的處理。如圖9的上段所示，在光場(chǎng)像LFI中，大致圓狀的子圖像S11 Smn被排列成格子狀。從子圖像S11開(kāi)始依次提取為關(guān)注子圖像(步驟S201)，將中心部的8X8像素的正方形的部分提取為部分區(qū)域(步驟S202)。圖9的中段表示從子圖像S11提取出的部分區(qū)域(部分圖像PI11)及從子圖像S23提取出的部分區(qū)域(部分圖像PI23)的放大圖。以格子表示各部分區(qū)域的像素，并用坐標(biāo)(1,1) (8,8)表不。圖9的下段表示第I重構(gòu)圖像RI的例。在該例中，第I重構(gòu)圖像是320 X 240像素的圖像，針對(duì)80X60個(gè)子圖像的每一個(gè)，分割為與其坐標(biāo)相應(yīng)的4X4像素的對(duì)應(yīng)區(qū)域(由粗線表示的區(qū)域)。S11的對(duì)應(yīng)區(qū)域是第I重構(gòu)圖像RI的坐標(biāo)(1，I) (4，4)的正方形部分，S23的對(duì)應(yīng)區(qū)域是坐標(biāo)(9，5) (12，8)的正方形部分。在步驟S203中，從部分區(qū)域隔一個(gè)提取4X4個(gè)像素。然后，在步驟S204中，按每個(gè)子圖像在在上下左右(點(diǎn)對(duì)稱)翻轉(zhuǎn)提取出的像素來(lái)配置在對(duì)應(yīng)區(qū)域上。這是因?yàn)椋捎谥麋R頭成像面MA存在于攝像元件313的前方，因此被攝體OB的像按每個(gè)子圖像翻轉(zhuǎn)。在圖9的例中，S11的部分區(qū)域的像素(1，1)被配置在第I重構(gòu)圖像RI的坐標(biāo)(4，4)上。此外，S11的部分區(qū)域的像素(1，3)被配置在第I重構(gòu)圖像RI的坐標(biāo)(3，4)上。以下，同樣地從部分區(qū)域隔一個(gè)提取像素來(lái)進(jìn)行配置，部分區(qū)域的像素(7，7)被配置在第I重構(gòu)圖像RI的坐標(biāo)(1，1)上。返回圖8，若在步驟S204中針對(duì)當(dāng)前的關(guān)注子圖像在對(duì)應(yīng)區(qū)域的全部像素上配置提取出的像素，則接著針對(duì)所有子圖像判斷是否執(zhí)行了上述處理(步驟S205)。若存在未處理的子圖像(步驟S205:否)，則使計(jì)數(shù)變量kl遞增(步驟S206)，針對(duì)下一個(gè)關(guān)注子圖像從步驟S201反復(fù)進(jìn)行處理。另一方面，若針對(duì)所有子圖像完成了上述處理(步驟S205:是)，則將完成后的第I重構(gòu)圖像作為取景圖像，圖像生成處理I結(jié)束。另外，在部分區(qū)域與對(duì)應(yīng)區(qū)域的像素?cái)?shù)相同的情況下，省略上述提取處理，點(diǎn)對(duì)稱地翻轉(zhuǎn)部分區(qū)域的所有像素來(lái)配置在對(duì)應(yīng)區(qū)域上即可。此外，在部分區(qū)域?yàn)?1X11像素、對(duì)應(yīng)區(qū)域?yàn)?X4像素的情況等、不能以等間隔提取的情況下，以提取第I號(hào)像素、第4號(hào)像素、第7號(hào)像素、第11號(hào)像素這樣接近等間隔的提取方法提取像素?；蛘撸部梢圆逖a(bǔ)部分區(qū)域(11X11像素)的同時(shí)調(diào)整為對(duì)應(yīng)區(qū)域(4X4像素)。返回圖6，若取景圖像的生成結(jié)束，則顯示部70顯示所生成的取景圖像(步驟
5104)。然后，判斷輸入部50是否檢測(cè)到攝像操作(按入快門按鈕10的操作)(步驟
5105)。若判斷為沒(méi)有檢測(cè)出攝像操作(步驟S105:否)，則數(shù)碼相機(jī)I返回步驟S101，反復(fù)進(jìn)行用于顯示取景圖像的處理。另一方面，若判斷為檢測(cè)出攝像操作(步驟S105:是)，則接著確認(rèn)圖像生成部630執(zhí)行確認(rèn)圖像生成處理(步驟S106)。在本實(shí)施方式中，確認(rèn)圖像生成處理是后述的圖像生成處理2。參照?qǐng)D10A，說(shuō)明執(zhí)行確認(rèn)圖像生成處理的確認(rèn)圖像生成部630的功能結(jié)構(gòu)。在本實(shí)施方式中，確認(rèn)圖像生成部630是圖1OA所示的第2重構(gòu)圖像生成部720。第2重構(gòu)圖像生成部720由子圖像提取部721、偏離值計(jì)算部722、部分區(qū)域定義部723、配置圖像生成部724、圖像配置部725、和輸出部726構(gòu)成。第2重構(gòu)圖像生成部720通過(guò)這些各部，根據(jù)光場(chǎng)像LFI生成第2重構(gòu)圖像(本實(shí)施方式的確認(rèn)圖像)，作為輸出圖像。第2重構(gòu)圖像是320X240像素的圖像。子圖像提取部721，從構(gòu)成光場(chǎng)像LFI的子圖像中依次提取一個(gè)作為關(guān)注子圖像，并傳遞給偏離值計(jì)算部722。偏離值計(jì)算部722計(jì)算出表示關(guān)注子圖像相對(duì)于以關(guān)注子圖像為中心的規(guī)定范圍的周圍的子圖像(周邊子圖像)偏離到什么程度的系數(shù)(圖像偏離系數(shù))。圖像偏離系數(shù)是例如通過(guò)以下的方法計(jì)算出的。將以設(shè)計(jì)上確定的關(guān)注子圖像的中心的規(guī)定區(qū)域(例如中心的10X10區(qū)域)作為中心區(qū)域，求出與中心子圖像對(duì)應(yīng)的部分位于右鄰(沒(méi)有時(shí)是左鄰、此時(shí)，以下說(shuō)明中左右相反)的子圖像的哪個(gè)位置。這可以使用決定某一圖像部位位于其他圖像的哪個(gè)位置的任意的公知方法，但是在本實(shí)施方式中使用如下方法。首先，將右鄰中心的10X10的區(qū)域設(shè)為計(jì)算對(duì)象部位。然后，取中心部位和計(jì)算對(duì)象部位的各像素值之間的的差分絕對(duì)值和。接著，對(duì)向右偏離I像素的區(qū)域同樣取差分絕對(duì)值和。針對(duì)可引起它的視差的范圍反復(fù)進(jìn)行該計(jì)算。將得到的絕對(duì)差分值和最小的位置偏離設(shè)為圖像偏離系數(shù)。另外，在從右鄰的2個(gè)子圖像中獲得圖像偏離系數(shù)的情況下，只要對(duì)僅旁邊的右鄰子圖像在偏離了 d像素的位置處求出差分絕對(duì)值和，對(duì)其旁邊的子圖像在偏離了 2d像素的位置處求出差分絕對(duì)值和的總合，將兩個(gè)值的和作為評(píng)價(jià)函數(shù)來(lái)求出評(píng)價(jià)函數(shù)最小的d即可。若子圖像的數(shù)量增加，則以下同樣可以進(jìn)行處理。部分區(qū)域定義部723，參照在R0M22中存儲(chǔ)的區(qū)域表，來(lái)獲取偏離值計(jì)算部722計(jì)算出的與圖像偏離系數(shù)對(duì)應(yīng)的部分區(qū)域的大小。如圖1OB所示，區(qū)域定義表使圖像偏離系數(shù)的范圍、和表示區(qū)域的大小的值建立對(duì)應(yīng)關(guān)系之后記錄。例如，在圖像偏離系數(shù)為8的情況下，部分區(qū)域是關(guān)注子圖像的中心6X6像素的區(qū)域。部分區(qū)域定義部723向配置圖像生成部724傳遞表示已定義的部分區(qū)域的信息。另外，區(qū)域定義表，是圖像偏離系數(shù)變大時(shí)，以規(guī)定的偏移值為前提大致成比例地使部分區(qū)域的大小變大的表。求出區(qū)域大小的方法并不限于此，也可以利用圖像偏離系數(shù)變大時(shí)部分區(qū)域的大小(自然數(shù))在規(guī)定范圍內(nèi)變大的任意的表或計(jì)算式。若受理定義部分區(qū)域的信息，則配置圖像生成部724通過(guò)插補(bǔ)來(lái)調(diào)整該區(qū)域內(nèi)包含的圖像的尺寸，從而生成用于配置在為生成圖像(第2重構(gòu)圖像)的配置圖像。具體而言，調(diào)整為與生成圖像(第2重構(gòu)圖像)的對(duì)應(yīng)區(qū)域的大小一致的大小(在此是4X4像素)。圖像配置部725在第2重構(gòu)圖像上配置由配置圖像生成部724生成的配置圖像。圖像配置部725從子圖像提取部721中針對(duì)所有子圖像生成配置圖像，且由圖像配置部725將其配置在第2重構(gòu)圖像上來(lái)生成第2重構(gòu)圖像。輸出部726向外部(顯示部70)輸出這樣生成的第2重構(gòu)圖像。接著，參照?qǐng)D11及圖12，說(shuō)明第2重構(gòu)圖像生成部720所執(zhí)行的處理(圖像生成處理2)。若到達(dá)圖像輸出處理1(圖6)的步驟S106，則確認(rèn)圖像生成部630(第2重構(gòu)圖像生成部720)開(kāi)始圖11所示的圖像生成處理2。在圖像生成處理2中，首先，將k2設(shè)為計(jì)數(shù)變量，子圖像提取部721提取光場(chǎng)像LFI的第k2個(gè)子圖像，作為關(guān)注子圖像(步驟S301)。接著，偏離值計(jì)算部722利用上述的方法，計(jì)算出表示呈現(xiàn)在關(guān)注子圖像的規(guī)定區(qū)域(中央部10X10像素)的被攝體被推測(cè)在右鄰的子圖像從中央偏離了多少像素的圖像偏離系數(shù)(步驟S302)。接著，部分區(qū)域定義部723定義關(guān)注子圖像的部分區(qū)域(步驟S303)。在步驟S303中，參照區(qū)域定義表，獲取與在步驟S302中得到的圖像偏離系數(shù)對(duì)應(yīng)的區(qū)域的大小L。然后，在關(guān)注子圖像的中央部將該大小的區(qū)域(LXL像素的正方形區(qū)域)定義為部分區(qū)域。
然后，配置圖像生成部724，將LXL像素的部分區(qū)域的圖像調(diào)整尺寸成與和第2重構(gòu)圖像中的關(guān)注子圖像對(duì)應(yīng)的區(qū)域(對(duì)應(yīng)區(qū)域)一致，作為配置圖像(步驟S304)。對(duì)應(yīng)區(qū)域的大小是向各子圖像分配了基于設(shè)定確定的第2重構(gòu)圖像(在此是320X240像素)的大小，遵循預(yù)先存儲(chǔ)的設(shè)定值。然后，將配置圖像配置在與第2重構(gòu)圖像(生成圖像)的關(guān)注子圖像對(duì)應(yīng)的部位上(步驟S305)。在此，在左右上下翻轉(zhuǎn)后進(jìn)行配置。參照?qǐng)D12，說(shuō)明步驟S301至步驟S305的處理的具體例。如圖12上段所示，在光場(chǎng)像LFI中，大致圓狀的子圖像S11 Smn排列成格子狀。從S11開(kāi)始依次作為關(guān)注子圖像來(lái)提取(步驟S301)，獲取與右鄰的子圖像之間的位置偏離系數(shù)(步驟S302)。在圖12中，假設(shè)用粗的箭頭表示的S11與S12的圖像偏離系數(shù)大，S23與S24的圖像偏離系數(shù)小。接著，部分區(qū)域定義部723按照?qǐng)D像偏離系數(shù)越大部分區(qū)域就越大的方式定義提取部分區(qū)域的大小(切出尺寸)(步驟S303)。在本例中，如圖12的中段所示，將S11的中心部的IOX 10像素的正方形部分定義為S11的部分區(qū)域，將S23的中心部的3X3像素的正方形部分定義為S23的部分區(qū)域。圖12的下段表示第2重構(gòu)圖像RI的例。在該例中，第2重構(gòu)圖像是320X240像素的圖像，針對(duì)80X60個(gè)子圖像的每一個(gè)，定義與其坐標(biāo)相應(yīng)的4X4像素的對(duì)應(yīng)區(qū)域(由粗線表示的區(qū)域)。在步驟S304中，調(diào)整部分區(qū)域的圖像尺寸來(lái)設(shè)為4X4的配置圖像，在后續(xù)的步驟S305中，在上下左右(點(diǎn)對(duì)象)翻轉(zhuǎn)配置圖像來(lái)配置在對(duì)應(yīng)區(qū)域上。這是因?yàn)?，由于主鏡頭成像面MA存在于攝像元件313的前方，因此被攝體OB的圖像按每個(gè)子圖像翻轉(zhuǎn)。尺寸調(diào)整僅在與液晶監(jiān)視器畫(huà)面13的像素?cái)?shù)對(duì)應(yīng)的第2重構(gòu)圖像小時(shí)進(jìn)行縮小，根據(jù)圖像偏離系數(shù)改變縮小率。另一方面，若液晶監(jiān)視器畫(huà)面13的像素?cái)?shù)大，且對(duì)應(yīng)區(qū)域大，則根據(jù)圖像偏離系數(shù)進(jìn)行放大或縮小。返回圖11，在步驟S305，若對(duì)當(dāng)前的關(guān)注子圖像在對(duì)應(yīng)區(qū)域上配置圖像，則接著，判斷是否對(duì)所有子圖像執(zhí)行了上述處理(步驟S306)。在存在未處理的子圖像的情況下(步驟S306:否)，使計(jì)數(shù)變量k2遞增(步驟S307)，針對(duì)下一個(gè)關(guān)注子圖像從步驟S301開(kāi)始反復(fù)進(jìn)行處理。另一方面，在針對(duì)所有子圖像完成了上述處理的情況下(步驟S306:是)，將已完成的第2重構(gòu)圖像作為確認(rèn)圖像，圖像生成處理2結(jié)束。另外，在此，將確認(rèn)圖像與液晶監(jiān)視器畫(huà)面13的像素?cái)?shù)對(duì)應(yīng)設(shè)為與取景圖像相同的像素?cái)?shù)(320 X 240像素)。但是，確認(rèn)圖像也可以大于取景圖像。此外，調(diào)整部分區(qū)域的尺寸來(lái)生成了配置圖像，但是也可以根據(jù)對(duì)應(yīng)區(qū)域的大小來(lái)提取部分區(qū)域的像素，由此生成配置圖像。返回圖6，若確認(rèn)圖像的生成結(jié)束，則顯示部70顯示所生成的確認(rèn)圖像(步驟S107)。然后，輸入部50從存儲(chǔ)部34、輸入部32等中獲取用于生成正式圖像的重構(gòu)設(shè)定(步驟S108)。重構(gòu)設(shè)定包含主鏡頭311與重構(gòu)面之間的距離及重構(gòu)圖像所占的部位、有無(wú)使用過(guò)濾器以及過(guò)濾器設(shè)定、重構(gòu)圖像的像素?cái)?shù)等信息?；趤?lái)自輸入部32或存儲(chǔ)部34的信息，輸入部50設(shè)定到重構(gòu)面為止的距離(也可以稱為重構(gòu)距離或再對(duì)焦距離)，也可以將在設(shè)定于RAM23中的緩沖器內(nèi)所存儲(chǔ)的部分稱作距離設(shè)定部。此外，重構(gòu)距離是重構(gòu)圖像時(shí)對(duì)焦的距離，因此也可以稱作再對(duì)焦距離。獲取重構(gòu)設(shè)定后，利用該重構(gòu)設(shè)定，由正式圖像生成部640執(zhí)行正式圖像生成處理(步驟S109)。在本實(shí)施方式中，正式圖像生成處理是后述的圖像生成處理3。參照?qǐng)D13A 圖13D，說(shuō)明執(zhí)行正式圖像生成處理的正式圖像生成部640的功能結(jié)構(gòu)。在本實(shí)施方式中，正式圖像生成部640是圖13A所示的第3重構(gòu)圖像生成部730。第3重構(gòu)圖像生成部730，由子圖像提取部731、像素偏離系數(shù)計(jì)算部732、濾波處理部733、圖像偏離系數(shù)計(jì)算部734、配置間隔決定部734A、部分區(qū)域定義部735、部分圖像提取部735A、圖像配置部736、和輸出部737構(gòu)成。第3重構(gòu)圖像生成部730通過(guò)這些各部，根據(jù)光場(chǎng)像LFI生成第3重構(gòu)圖像(正式圖像)，作為輸出圖像。子圖像提取部731依次將構(gòu)成光場(chǎng)像LFI的子圖像作為關(guān)注子圖像來(lái)提取，并傳遞給像素偏離系數(shù)計(jì)算部732。像素偏離系數(shù)計(jì)算部732，將關(guān)注子圖像的各像素依次作為關(guān)注像素，計(jì)算出表示與關(guān)注像素對(duì)應(yīng)的像素在周邊子圖像偏離到什么程度的系數(shù)(關(guān)注像素的像素偏離系數(shù))。像素偏離系數(shù)對(duì)應(yīng)于關(guān)注像素與被攝體之間的距離。像素偏離系數(shù)可以利用推測(cè)光場(chǎng)像LFI的像素與被攝體的距離的任意的方法來(lái)計(jì)算，但是在此使用圖13B的功能結(jié)構(gòu)，利用以下的方法來(lái)計(jì)算。首先，關(guān)注像素選擇部7321，選擇成為子圖像提取部731提取出的關(guān)注子圖像上的處理對(duì)象的關(guān)注子像素。然后，周邊圖像選擇部7322從關(guān)注子圖像中選擇位于規(guī)定范圍的、成為比較對(duì)象的子圖像(周邊圖像)。在此，將關(guān)注子圖像的右側(cè)(沒(méi)有時(shí)是左側(cè)，此時(shí)在以下說(shuō)明中左右相反)的子圖像按位置順序選擇為SR1、SR2、一SRl K是基于設(shè)定確定的自然數(shù)。周邊圖像選擇 部7322，在將子圖像提取部731稱為第I選擇部時(shí)，也可以被稱為第2選擇部。然后，比較像素選擇部7323選擇成為周邊圖像上的比較對(duì)象的像素(比較像素)。在此，將關(guān)注子圖像上的關(guān)注像素的坐標(biāo)設(shè)為(X、y)，將當(dāng)前的像素偏離設(shè)為d，將位于周邊圖像SRl上的(x+d、y)的像素、位于周邊圖像SR2的(x+2d、y)的像素、…、位于周邊圖像SRk的(x+kd、y)的像素分別選擇為比較像素。接著，差分計(jì)算部7324，求出關(guān)注像素與比較像素的像素值(向右偏離了 d個(gè)的像素的像素值)的差分絕對(duì)值和。針對(duì)可引起它的視差范圍(d的值)反復(fù)進(jìn)行該計(jì)算。之后，對(duì)應(yīng)像素決定部7325，決定得到的絕對(duì)差分值和最小的d的值。針對(duì)得到的山可以將位于周邊圖像SRl上的(x+d、y)的像素、位于周邊圖像SR2的(x+2d、y)的像素、…、位于周邊圖像SRk的(x+kd、y)的像素，推測(cè)為分別反映與關(guān)注像素相同的被攝體的像素(對(duì)應(yīng)像素)。將該d的值所表示的位置偏離設(shè)為像素偏離系數(shù)。差分計(jì)算部7324和對(duì)應(yīng)像素決定部7325，協(xié)同起到搜索與關(guān)注像素(第I像素)對(duì)應(yīng)的第2像素的搜索部的作用。像素偏離系數(shù)計(jì)算部732，計(jì)算出包含在關(guān)注子圖像中的所有像素的像素偏離系數(shù)，并傳遞給濾波處理部733。濾波處理部733，比較到像素偏離系數(shù)所表示的與各像素對(duì)應(yīng)的被攝體的距離、和到從輸入部50獲取的重構(gòu)設(shè)定所包含的重構(gòu)面的距離。然后，執(zhí)行與其差值相應(yīng)的濾波處理，針對(duì)光場(chǎng)像的各像素進(jìn)行虛化附加。若再對(duì)焦距離與到被攝體的距離之差在規(guī)定值以上，則根據(jù)所設(shè)定的虛化強(qiáng)度，進(jìn)行虛化附加處理。在虛化附加處理中，例如使用高斯過(guò)濾器。像素偏離系數(shù)計(jì)算部732也可以起到基于關(guān)注像素和對(duì)應(yīng)像素的位置關(guān)系對(duì)關(guān)注像素及對(duì)應(yīng)像素進(jìn)行加工的像素加工部的作用。當(dāng)某一像素是拍攝了非常遠(yuǎn)處的被攝體的點(diǎn)時(shí)，像素偏離系數(shù)(對(duì)應(yīng)于位置偏離的量)較小，當(dāng)某一像素是拍攝了近處的被攝體的點(diǎn)時(shí)，像素偏離系數(shù)較大。該位置偏離、實(shí)際的被攝體、以及照相機(jī)的距離之間的關(guān)系，是由主鏡頭311、微鏡頭陣列312內(nèi)的微鏡頭312-1的焦點(diǎn)距離、攝像元件313被放置的位置以及大小決定的。位置偏離與被攝體距離的對(duì)應(yīng)關(guān)系是預(yù)先通過(guò)實(shí)驗(yàn)求出的，并作為偏離距離表保存在R0M22中。在本實(shí)施方式中，利用偏離距離表執(zhí)行濾波處理。偏離距離表是預(yù)先通過(guò)實(shí)驗(yàn)求出的，被存儲(chǔ)在R0M22中。偏離距離表使表示規(guī)定范圍的距離的等級(jí)(LV)、該等級(jí)所屬的偏離系數(shù)(圖像偏離系數(shù)及像素偏離系數(shù))、以及到該等級(jí)所屬的重構(gòu)面的距離建立對(duì)應(yīng)關(guān)系后進(jìn)行存儲(chǔ)。濾波處理部733，利用偏離距離表來(lái)計(jì)算出像素偏離系數(shù)所屬的等級(jí)、與到重構(gòu)面的距離所屬的等級(jí)之差。由于差為O的像素被推測(cè)為與位置十分接近重構(gòu)面的被攝體對(duì)應(yīng)，因此不執(zhí)行濾波處理。即，不附加虛化。另一方面，若該差在I以上，則該像素的被攝體偏離了重構(gòu)面，因此附加虛化。差越大，按照附加越強(qiáng)的虛化的方式執(zhí)行濾波處理。與圖1OA的偏離值計(jì)算部722同樣地，圖像偏離系數(shù)計(jì)算部734計(jì)算出關(guān)注子圖像的圖像偏離系數(shù)。但是，圖像偏離系數(shù)計(jì)算部734在橫向和縱向這兩個(gè)方向上計(jì)算出圖像偏離系數(shù)之后，對(duì)兩者進(jìn)行平均作為關(guān)注圖像的圖像偏離系數(shù)。然后，配置間隔決定部734A根據(jù)圖像偏離系數(shù)，決定在重構(gòu)圖像中配置部分區(qū)域的圖像時(shí)的間隔。配置間隔是根據(jù)圖像偏離系數(shù)、包含在攝像設(shè)定信息中的主鏡頭311的焦點(diǎn)距離、微鏡頭陣列312內(nèi)的微鏡頭312-1的焦點(diǎn)距離、放置攝像元件313的位置、和到包含在重構(gòu)設(shè)定中的重構(gòu)面為止的距離(重構(gòu)距離)確定的。越是遠(yuǎn)處的被攝體，每個(gè)微鏡頭的估計(jì)角度之差就越小，因此子圖像內(nèi)的移動(dòng)也小。由此，可減小從圖像偏離系數(shù)小的子圖像中提取出的部分區(qū)域的配置間隔。相反，越是近處的被攝體，每個(gè)微鏡頭的估計(jì)角度之差就越大，因此子圖像內(nèi)的移動(dòng)也大。由此，可增大從圖像偏離系數(shù)大的子圖像中提取出的部分區(qū)域的配置間隔。在本實(shí)施方式中，利用將主鏡頭311的焦點(diǎn)距離、到重構(gòu)面的距離、圖像偏離系數(shù)作為指標(biāo)來(lái)確定配置間隔的存儲(chǔ)在R0M22中的表格(配置間隔表)，決定配置間隔。配置間隔表，根據(jù)作為固定參數(shù)的微鏡頭陣列312內(nèi)的微鏡頭312-1的焦點(diǎn)距離、和放置攝像元件313的位置，針對(duì)圖像偏離系數(shù)、到重構(gòu)面的距離(重構(gòu)距離)、和主鏡頭311的焦點(diǎn)距離的每一個(gè)值定義通過(guò)實(shí)驗(yàn)求出的最佳的配置間隔的值(例如，圖13C)。在圖13C的例中，設(shè)定成前述的偏離距離表確定的圖像偏離系數(shù)的等級(jí)、與到重構(gòu)面的距離的等級(jí)之差越大配置間隔就越大。另外，配置間隔也可以根據(jù)以上述參數(shù)為變量的存儲(chǔ)在R0M22中的通過(guò)預(yù)先實(shí)驗(yàn)確定的方程式求出。部分區(qū)域定義部735，從圖1OB的區(qū)域定義表獲取與圖像偏離系數(shù)一致的部分區(qū)域的大小，并基于關(guān)注子圖像的虛化強(qiáng)度的大小來(lái)修正大小。
關(guān)注圖像的虛化強(qiáng)度，是確定包含在關(guān)注子圖像中的被攝體從重構(gòu)面偏離到什么程度、且是否應(yīng)虛化該部分進(jìn)行顯示的系數(shù)。在此，將前述的偏離距離表所確定的圖像偏離系數(shù)的等級(jí)、與到重構(gòu)面的距離的等級(jí)之差設(shè)為虛化強(qiáng)度。修正后的部分區(qū)域的一邊大于配置間隔。因此，部分區(qū)域的圖像被配置于第3重構(gòu)圖像中時(shí)，產(chǎn)生配置圖像彼此的重疊。針對(duì)重疊的部分進(jìn)行像素值的加法平均，因此重疊的配置圖像的幅數(shù)越多，虛化就越強(qiáng)。因此，若虛化強(qiáng)度較強(qiáng)，則按照部分區(qū)域的大小變大的方式執(zhí)行修正。部分區(qū)域定義部735決定部分區(qū)域的尺寸，因此也可以稱為尺寸設(shè)定部。部分圖像提取部735A，直接將部分區(qū)域的像素作為部分圖像來(lái)提取。將部分圖像提取部735A以部分區(qū)域定義部735定義的尺寸提取部分圖像的處理，還表述為切出處理。部分圖像提取部735A也可以被稱為從子圖像切出部分圖像的切出部。圖像配置部736，在生成圖像(第3重構(gòu)圖像)中配置部分圖像提取部735A提取出的圖像。其結(jié)果，部分區(qū)域的圖像不會(huì)被調(diào)整尺寸，而是直接被配置于重構(gòu)圖像中。此時(shí)，與之前配置的部分區(qū)域的圖像之間的間隔，遵循上述圖像偏離系數(shù)計(jì)算部734求出的配置間隔。此時(shí)，按照配置后的圖像重疊的方式確定配置間隔和部分區(qū)域的大小。針對(duì)重疊的部分，對(duì)重復(fù)配置的像素的像素值進(jìn)行加法平均作為生成圖像的像素值。其結(jié)果，重疊的部分越大，附加的虛化越強(qiáng)。子圖像提取部731 圖像配置部736，對(duì)包含在光場(chǎng)像LFI中的所有子圖像執(zhí)行上述處理，生成第3重構(gòu)圖像。然后，通過(guò)輸出部737向外部(顯示部35及存儲(chǔ)部34、可移動(dòng)介質(zhì)38等)輸出所生成的第3重構(gòu)圖像，從而將第3重構(gòu)圖像保存為觀賞用圖像。接著，參照?qǐng)D14及圖15，說(shuō)明第3重構(gòu)圖像生成部730所執(zhí)行的處理(圖像生成處理3)。正式圖像生成部640 (第3重構(gòu)圖像生成部730)，在到達(dá)圖像輸出處理1(圖6)的步驟S109時(shí)，開(kāi)始圖14所示的圖像生成處理3。在圖像生成處理3中，首先，將k3設(shè)為計(jì)數(shù)變量，子圖像提取部731將光場(chǎng)像LFI的第k3個(gè)子圖像提取為關(guān)注子圖像(步驟S401)。接著，針對(duì)關(guān)注子圖像的各像素，像素偏離系數(shù)計(jì)算部732如上述那樣計(jì)算出像素偏離系數(shù)(步驟S402)。然后，針對(duì)關(guān)注子圖像的各像素，濾波處理部733利用偏離距離表計(jì)算出像素偏離系數(shù)與重構(gòu)距離之差(等級(jí)差)(步驟S403)。接著，濾波處理部733針對(duì)與重構(gòu)距離之間的差值處于規(guī)定以上(等級(jí)差不是O)的像素，在存儲(chǔ)于R0M22中的條件下執(zhí)行與等級(jí)差相應(yīng)的濾波處理(步驟S404)。濾波處理部733例如對(duì)等級(jí)差為I的像素利用3X3的核(kernel)、對(duì)等級(jí)差為2像素利用9X9的核等，按照等級(jí)差越大S的值越大的方式執(zhí)行高斯濾波。接著，圖像偏離系數(shù)計(jì)算部734，獲取關(guān)注子圖像的圖像偏離系數(shù)(步驟S405)。在步驟S405中，與圖11的步驟S302同樣地，針對(duì)右鄰獲取圖像偏離系數(shù)的基礎(chǔ)上，在下鄰(沒(méi)有時(shí)是上鄰)獲取圖像偏離系數(shù)，并將兩者的平均設(shè)為關(guān)注子圖像的圖像偏離系數(shù)。代替計(jì)算量的增加，基于縱向和橫向這兩個(gè)方向的位置偏離來(lái)計(jì)算出圖像偏離系數(shù)，因此成為比圖11的步驟S302更準(zhǔn)確地反映了子圖像的被攝體距離的圖像偏離系數(shù)，提高生成圖像的畫(huà)質(zhì)。另外，作為提高圖像偏離系數(shù)的精度的方法，可以考慮在I個(gè)方向上針對(duì)更多的子圖像計(jì)算圖像偏離系數(shù)的方法。另外，圖像偏離系數(shù)可以是對(duì)在步驟S402中求出的、包含在關(guān)注子圖像中的各像素的像素偏離系數(shù)進(jìn)行平均而求出的值。接著，在步驟S406中，配置間隔決定部734A從存儲(chǔ)在R0M22中的配置間隔表(例如，圖13C)中讀取與圖像偏離系數(shù)、主鏡頭311的焦點(diǎn)距離、以及到重構(gòu)面的距離相應(yīng)的配置間隔的數(shù)值，設(shè)定為配置間隔。接著，部分區(qū)域定義部735從區(qū)域定義表(圖10B)中獲取與圖像偏離系數(shù)一致的部分區(qū)域的大小(L2XL2)。另外，按照虛化強(qiáng)度越大部分區(qū)域越大的方式進(jìn)行修正(例如，如圖13D)，決定部分區(qū)域的大小(L2XL2)。并且，將關(guān)注子圖像的中央部的L2XL2的正方形區(qū)域定義為部分區(qū)域(步驟S407)。另外，L2大于配置間隔。在圖15的例中，S11和S12的圖像偏離系數(shù)大，因此部分區(qū)域較大。另一方面，S23的圖像偏離系數(shù)小，因此部分區(qū)域小。然后，將部分區(qū)域的圖像以在步驟S406中確定的配置間隔配置在作為生成圖像的第3重構(gòu)圖像中(圖15下段、步驟S408)。由于圖像重疊，因此針對(duì)重疊的部分進(jìn)行與重疊的量相應(yīng)的加法平均，由此確定像素值。在圖15的下段，S11的部分區(qū)域的圖像(橫線區(qū)域)和S12的部分區(qū)域的圖像(縱線區(qū)域)重疊。若在步驟S408中針對(duì)當(dāng)前的關(guān)注子圖像在對(duì)應(yīng)區(qū)域配置圖像，則接著，判斷是否對(duì)所有子圖像執(zhí)行了上述處理(步驟S409)。當(dāng)存在未處理的子圖像時(shí)(步驟S409:否)，使計(jì)數(shù)變量k3遞增(步驟S410)，針對(duì)下一關(guān)注子圖像從步驟S401反復(fù)進(jìn)行處理。另一方面，當(dāng)針對(duì)所有子圖像完成了上述處理時(shí)(步驟S409:是)，將已完成的第3重構(gòu)圖像作為正式圖像，圖像生成處理3結(jié)束。返回圖6，若正式圖像的生成結(jié)束，則在存儲(chǔ)部80中存儲(chǔ)所生成的正式圖像(步驟S110)，圖像輸出處理I結(jié)束。利用圖16A及16B，說(shuō)明在將部分圖像配置在重構(gòu)圖像RI中的處理中部分圖像的一邊被設(shè)定為配置間隔的2倍的設(shè)定例。除了圖像的端部外，每4張部分圖像重疊。一開(kāi)始，選擇光場(chǎng)像LF的左上方的子圖像S11 (步驟S401)。從選出的子圖像S11中切出部分區(qū)域(部分圖像PI11)(步驟S407)，該部分圖像PI11被配置在重構(gòu)圖像RI的左上方(S408)。返回步驟S401，接著，選擇右鄰的子圖像S12 (步驟S401)。從選出的子圖像S12中切出部分圖像PI12(S407)，該部分圖像PI12被配置在剛剛配置于重構(gòu)圖像RI內(nèi)的部分圖像的右鄰(S408)。被切出的部分圖像PI12的一邊是配置間隔的2倍，因此在水平方向上重疊配置。在緩沖器上對(duì)重疊部分的像素值進(jìn)行加法運(yùn)算。同樣地，從子圖像S12的右鄰的子圖像S13中切出部分圖像PI13，在水平方向上重疊配置(圖16A)。直到光場(chǎng)像LF的右端為止反復(fù)進(jìn)行該作業(yè)。右端的子圖像Sin的處理結(jié)束后，返回光場(chǎng)像LF的左端，選擇從上開(kāi)始第2段的子圖像S21 (步驟S401)。從選出的子圖像S21中切出的部分圖像PI21被配置在最初配置于重構(gòu)圖像RI內(nèi)的部分圖像P11的下側(cè)(步驟S408)。由于被切出的部分圖像PI21的一邊是配置間隔的2倍，因此如圖16B所示，在垂直方向上重疊配置。在緩沖器上對(duì)重疊部分的像素值進(jìn)行加法運(yùn)算。與第一段相同地，直到光場(chǎng)像LFI的右端為止反復(fù)進(jìn)行該作業(yè)。第2段的所有子圖像S21 S2n的處理結(jié)束后，處理光場(chǎng)像LF的下一段的子圖像S。反復(fù)進(jìn)行這些作業(yè)。若判斷為處理到了光場(chǎng)像LF的右下方的子圖像Sw(步驟S409:是)，則所生成的重構(gòu)圖像RI被從輸出部33或顯示部35顯示輸出，并進(jìn)一步被保存到存儲(chǔ)部80 (可移動(dòng)介質(zhì)38等)中(SllO)。在圖像生成處理3中，分別執(zhí)行按每個(gè)子圖像的虛化加工、和按每個(gè)像素的虛化加工。因此，即使每個(gè)像素的被攝體距離推測(cè)中包含錯(cuò)誤，由于通過(guò)每個(gè)子圖像的虛化加工(重疊寫入)被平均化，因此錯(cuò)誤的影響得到緩解。因此，能夠生成畫(huà)質(zhì)高的正式圖像。如以上說(shuō)明，本實(shí)施方式的數(shù)碼相機(jī)1，具有在用途方面符合可確保的計(jì)算時(shí)間的多個(gè)重構(gòu)圖像生成單元。因此，能夠以優(yōu)選的速度生成并顯示符合取景、拍攝后的確認(rèn)、觀賞用這樣的各種用途的最佳的重構(gòu)圖像。即，能夠通過(guò)與圖像的使用目的相應(yīng)的最佳生成方法生成重構(gòu)圖像。由此，本實(shí)施方式的數(shù)碼相機(jī)I可根據(jù)狀況，能夠以足夠快的速度顯示足以滿足所需畫(huà)質(zhì)的重構(gòu)圖像，因此對(duì)于用戶而言便利性高。具體而言，通過(guò)第I重構(gòu)圖像生成處理，能夠以較少的計(jì)算量生成包括光場(chǎng)像LFI所包含的所有子圖像內(nèi)容在內(nèi)的重構(gòu)圖像(第I重構(gòu)圖像)。因此，在取景使用等不能確保足夠的計(jì)算量的情況下，也能夠極其高速地生成并顯示為攝影準(zhǔn)備可使用的重構(gòu)圖像。此外，與使用從子圖像一個(gè)一個(gè)地提取像素后進(jìn)行排列的圖像時(shí)相比，能夠生成畫(huà)質(zhì)高的圖像。此外，通過(guò)第2重構(gòu)圖像生成處理，能夠以各子圖像單位生成與對(duì)應(yīng)于被攝體距離的系數(shù)相應(yīng)的、比第I重構(gòu)圖像的畫(huà)質(zhì)還高的重構(gòu)圖像(第2重構(gòu)圖像)。因此，為了拍攝后的確認(rèn)，能夠高速地顯示比第I重構(gòu)圖像的畫(huà)質(zhì)還高的重構(gòu)圖像。另外，通過(guò)第3重構(gòu)圖像生成處理，能夠生成執(zhí)行了子圖像單位的虛化加法運(yùn)算處理、和像素單位的虛化加法運(yùn)算處理的畫(huà)質(zhì)高的重構(gòu)圖像(第3重構(gòu)圖像)。因此，在數(shù)碼相機(jī)等、CPU的處理速度受限的終端，能夠生成畫(huà)質(zhì)高的重構(gòu)圖像。此外，通過(guò)按每個(gè)子圖像在上下左右翻轉(zhuǎn)后配置圖像，從而能夠基于較少的計(jì)算量，從根據(jù)光學(xué)系統(tǒng)的構(gòu)成按每個(gè)子圖像翻轉(zhuǎn)后拍攝的像中生成正確配置的重構(gòu)圖像。此外，本實(shí)施方式的數(shù)碼相機(jī)I針對(duì)圖像偏離系數(shù)大的子圖像定義更大的部分區(qū)域，從而設(shè)定成該部分區(qū)域整體信息表現(xiàn)在重構(gòu)圖像上。圖像偏離系數(shù)大，表示關(guān)注子圖像的被攝體位于離主鏡頭較近的位置上，且在相鄰的子圖像中，因?qū)?yīng)的微鏡頭的視差看到的位置較大程度地偏離。在此，將中央部的被攝體設(shè)為代表子圖像的被攝體。對(duì)應(yīng)的被攝體的位置在子圖像間較大程度偏離意味著，連接相鄰的子圖像的部分區(qū)域而構(gòu)成整體圖像時(shí)，為了不遺漏信息而所需的部分區(qū)域的大小較大。因此，在本實(shí)施方式中，圖像偏離系數(shù)越大將部分區(qū)域取得越大配置到生成圖像的對(duì)應(yīng)區(qū)域中，在生成圖像中不會(huì)產(chǎn)生信息的遺漏。此外，針對(duì)圖像偏離系數(shù)小的圖像將部分區(qū)域設(shè)置得較小，在彼此相鄰的子圖像間出現(xiàn)的信息的重復(fù)不會(huì)過(guò)度出現(xiàn)在重構(gòu)圖像上。在本實(shí)施方式的數(shù)碼相機(jī)I中，即使是通過(guò)這種構(gòu)成高速生成的重構(gòu)圖像，也考慮因視差引起的位置偏離，能夠減輕信息的遺漏或信息的重復(fù)程度。此外，在正式圖像生成處理中，并用基于重疊寫入的虛化附加、和被攝體距離推測(cè)后的基于濾波處理的虛化附加，因此，通過(guò)調(diào)整這兩者的強(qiáng)度，能夠改變虛化程度。另外，在各圖像生成處理中，重構(gòu)距離的設(shè)定可以手動(dòng)操作(用戶操作)來(lái)設(shè)定，也可以利用相位差傳感器等來(lái)測(cè)量到想要對(duì)焦的被攝體(例如基于中央部的被攝體或用戶操作指定的被攝體)為止的距離，設(shè)定成與該被攝體對(duì)焦。另外，也可以設(shè)定成在顯示重構(gòu)圖像之后通過(guò)觸摸面板等重新選擇想要對(duì)焦的被攝體，從而再次設(shè)定再對(duì)焦距離。(實(shí)施方式2)說(shuō)明本發(fā)明的實(shí)施方式2。本實(shí)施方式的數(shù)碼相機(jī)I具有圖2所示的物理結(jié)構(gòu)。本實(shí)施方式的數(shù)碼相機(jī)I與實(shí)施方式I的對(duì)應(yīng)部位相比，CPU21更高速，顯示部35具有更大的分辨率，例如具有VGA(640X480像素)。其他圖2的各部分與實(shí)施方式I的數(shù)碼相機(jī)I相同。在本實(shí)施方式的數(shù)碼相機(jī)I中，由于顯示部35大，因此圖像的粗糙度更顯著。因此，利用CPU21高速的這一點(diǎn)，生成更高精度且畫(huà)質(zhì)高的用于在數(shù)碼相機(jī)I的顯示部35上顯示的重構(gòu)圖像。本實(shí)施方式的數(shù)碼相機(jī)I具備圖5所示的功能結(jié)構(gòu)。在本實(shí)施方式中，取景圖像生成部620是第2重構(gòu)圖像生成部720，確認(rèn)圖像生成部630是第3重構(gòu)圖像生成部730，正式圖像生成部640是第4重構(gòu)圖像生成部。其他圖5的各部分，與實(shí)施方式I的數(shù)碼相機(jī)I的對(duì)應(yīng)構(gòu)成相同。第2重構(gòu)圖像生成部720和第3重構(gòu)圖像生成部730，具有與實(shí)施方式I的相同名稱的部位相同的結(jié)構(gòu)。第4重構(gòu)圖像生成部，執(zhí)行后述的重構(gòu)圖像生成處理，根據(jù)光場(chǎng)像LFI生成重構(gòu)圖像，并向存儲(chǔ)部80傳遞所生成的圖像。參照流程圖說(shuō)明本實(shí)施方式的數(shù)碼相機(jī)I所執(zhí)行的處理。若數(shù)碼相機(jī)I被接通電源，輸入部50受理準(zhǔn)備拍攝的操作，則開(kāi)始圖17所示的圖像輸出處理2。在圖像輸出處理2中，與圖6的圖像輸出處理的步驟SlOl至步驟S102同樣地執(zhí)行步驟S501至步驟S502。在本實(shí)施方式中，在步驟S503中與實(shí)施方式I同樣地執(zhí)行圖像生成處理2 (圖11)，從而生成取景圖像。在步驟S503中，取景圖像的生成結(jié)束后，數(shù)碼相機(jī)I與圖6的圖像輸出處理I的步驟S104至步驟S105同樣地執(zhí)行步驟S504至步驟S505。在步驟S506中，圖13A的作為第3重構(gòu)圖像生成部730的確認(rèn)圖像生成部630，與實(shí)施方式I同樣地執(zhí)行圖14所示的圖像生成處理3，從而生成確認(rèn)圖像。在步驟S506中，確認(rèn)圖像的生成結(jié)束后，數(shù)碼相機(jī)I與圖6的圖像輸出處理的步驟S107同樣地執(zhí)行步驟S507。在步驟S508中，作為第4重構(gòu)圖像生成部的正式圖像生成部640執(zhí)行圖像生成處理4來(lái)生成正式圖像。圖像生成處理4，按光線所通過(guò)的每個(gè)微鏡頭，對(duì)光場(chǎng)像的像素值進(jìn)行加權(quán)加法運(yùn)算，從而進(jìn)行圖像重構(gòu)。圖像生成處理4按如下的順序生成重構(gòu)圖像。(I)確定來(lái)自想要重構(gòu)的像素的光線通過(guò)主鏡頭的主點(diǎn)后到達(dá)微鏡頭陣列的位置。
(2)以所確定的位置為中心，計(jì)算基于與重構(gòu)面對(duì)應(yīng)的再對(duì)焦距離的半徑的主鏡頭虛化(main lens blur)區(qū)域(來(lái)自想要重構(gòu)的像素的光線所到達(dá)的微鏡頭陣列上的區(qū)域)。(3)確定在包含于微鏡頭陣列中的微鏡頭內(nèi)、其一部分或全部被包含在主鏡頭虛化區(qū)域中的微鏡頭。(4)選擇所確定的微鏡頭內(nèi)的一個(gè)。(5)計(jì)算所選擇的微鏡頭與主鏡頭虛化區(qū)域重疊的面積，并將該面積除以微鏡頭的面積，作為加權(quán)系數(shù)。(6)在來(lái)自想要重構(gòu)的像素的光線被選出的微鏡頭成像的位置上的子圖像上，獲取像素值。(7)對(duì)該獲取到的像素值乘以之前的加權(quán)系數(shù)，作為修正像素值。(8)針對(duì)一部分或全部被包含在主鏡頭虛化區(qū)域中的微鏡頭的全部，計(jì)算修正像素值，取其總合。(9)將該修正像素值的總合除以重疊面積的總合，作為想要重構(gòu)的圖像的像素值。在步驟S508中正式圖像的生成結(jié)束后，數(shù)碼相機(jī)I與圖6的圖像輸出處理的步驟SllO同樣地執(zhí)行步驟S509，結(jié)束圖像輸出處理2。如以上說(shuō)明，在本實(shí)施方式的數(shù)碼相機(jī)I中，能夠以與實(shí)施方式I的確認(rèn)圖像等同的畫(huà)質(zhì)顯示取景圖像。此外，能夠以與實(shí)施方式I的正式圖像等同的畫(huà)質(zhì)顯示確認(rèn)圖像。此外，作為本實(shí)施方式的變形例，考慮了代替圖像生成處理2，利用圖像生成處理I來(lái)生成取景圖像的構(gòu)成。根據(jù)該構(gòu)成，針對(duì)期望生成速度最快的取景圖像，能夠與實(shí)施方式I相同，以較少的計(jì)算量生成，而針對(duì)確認(rèn)圖像和正式圖像，能夠設(shè)置成比實(shí)施方式I還高畫(huà)質(zhì)的圖像。另外，本實(shí)施方式的第4重構(gòu)圖像生成部也可以利用根據(jù)光場(chǎng)像LFI生成重構(gòu)圖像的已知的任意處理生成重構(gòu)圖像。(第3實(shí)施方式)說(shuō)明本發(fā)明的實(shí)施方式3。本實(shí)施方式的數(shù)碼相機(jī)I具有圖2所示的物理結(jié)構(gòu)。本實(shí)施方式的數(shù)碼相機(jī)I與實(shí)施方式2的對(duì)應(yīng)部位相比，CPU21更高速。其他的圖2的各部分與實(shí)施方式2的數(shù)碼相機(jī)I相同。在實(shí)施方式I及實(shí)施方式2中，作為取景圖像顯示了不包括虛化的圖像。在實(shí)施方式3中，利用CPU21更高速這一點(diǎn)，特征在于從取景圖像階段就開(kāi)始顯示附加了虛化的圖像。本實(shí)施方式的數(shù)碼相機(jī)I具備圖5所示的功能結(jié)構(gòu)。在本實(shí)施方式中，取景圖像生成部620是圖18所示的第5重構(gòu)圖像生成部740。其他圖5的各部分與實(shí)施方式2的數(shù)碼相機(jī)I的對(duì)應(yīng)結(jié)構(gòu)相同。第5重構(gòu)圖像生成部740與圖13A所示的第3重構(gòu)圖像生成部730相比，具有以下不同點(diǎn):(I)沒(méi)有像素偏離系數(shù)計(jì)算部732和與濾波處理部733對(duì)應(yīng)的部位；(2)圖像偏離系數(shù)計(jì)算部734a獲取規(guī)定部位的子圖像的像素偏離系數(shù)，將其平均值作為所有子圖像的偏離系數(shù)來(lái)決定配置區(qū)域的大小、配置間隔。其他部位與實(shí)施方式I的第3重構(gòu)圖像生成部730的相同名稱的部位相同。參照流程圖說(shuō)明本實(shí)施方式的數(shù)碼相機(jī)I所執(zhí)行的處理。數(shù)碼相機(jī)I被接通電源，輸入部50受理準(zhǔn)備拍攝的操作后，開(kāi)始圖19所示的圖像輸出處理3。在圖像輸出處理3中，與實(shí)施方式I的圖6的圖像輸出處理的步驟SlOl至步驟S102同樣地執(zhí)行步驟S601至步驟S602。在本實(shí)施方式中，在步驟S603中執(zhí)行圖像生成處理5(圖20)來(lái)生成取景圖像。參照?qǐng)D20，說(shuō)明圖像生成處理5。在圖像生成處理5中，首先，圖像偏離系數(shù)計(jì)算部734a在包含于光場(chǎng)像LFI中的子圖像之中，針對(duì)通過(guò)設(shè)定確定的一部分子圖像獲取圖像偏離系數(shù)(步驟S701)。在此，從“一部分子圖像”得到的圖像偏離系數(shù)按照反映光場(chǎng)像LFI整體的偏離程度的方式設(shè)定“一部分”。具體而言，考慮中央部的規(guī)定部位、角上的4個(gè)子圖像等。針對(duì)各子圖像獲取圖像偏離系數(shù)的方法與實(shí)施方式I的圖像生成處理2(圖11)的步驟S302相同。接著，基于在步驟S701中計(jì)算出的一部分子圖像的圖像偏離系數(shù)，設(shè)為光場(chǎng)像LFI整體的圖像偏離系數(shù)。在此，對(duì)計(jì)算出的多個(gè)圖像偏離系數(shù)進(jìn)行加法平均，設(shè)定為包含在光場(chǎng)像LFI中的子圖像整體的偏離系數(shù)(步驟S702)。然后，基于子圖像整體的偏離系數(shù)，根據(jù)預(yù)先在R0M22或存儲(chǔ)部34中保存的條件計(jì)算出應(yīng)用于所有子圖像的配置間隔和部分區(qū)域的大小(步驟S703)。若偏離系數(shù)變大，則部分區(qū)域及配置間隔也變大。此外，部分區(qū)域的大小大于配置間隔。在此，在例如子圖像整體的偏離系數(shù)為10的情況下，將配置間隔設(shè)為10像素，將部分區(qū)域的大小設(shè)為20像素X20像素。接著，將k4設(shè)為計(jì)數(shù)變量，子圖像提取部731將光場(chǎng)像LFI的第k4個(gè)子圖像提取為關(guān)注子圖像(步驟S704)。然后，與圖14的步驟S407同樣地，部分區(qū)域定義部735在關(guān)注子圖像的中央部定義在步驟S703中求出的大小的部分區(qū)域(步驟S705)。進(jìn)而，與圖14的步驟S408同樣地，圖像配置部736以在步驟S703中求出的配置間隔配置部分區(qū)域的圖像(步驟S706)。此時(shí)，將圖像在上下左右翻轉(zhuǎn)后進(jìn)行配置。在步驟S703中，由于部分區(qū)域的大小大于配置間隔，因此如圖15所示，配置成部分圖像重疊。對(duì)重疊部分的像素值進(jìn)行加法平均，從而對(duì)所生成的取景圖像附加與在步驟S702中計(jì)算出的位置偏離系數(shù)(與被攝體整體的被攝體距離對(duì)應(yīng))相應(yīng)的虛化。然后，在步驟S707中，判斷是否針對(duì)所有子圖像執(zhí)行了配置圖像的處理。當(dāng)還存在未處理的子圖像時(shí)(步驟S707:否)，使k4遞增(步驟S705)，從步驟S704開(kāi)始反復(fù)進(jìn)行處理。另一方面，當(dāng)針對(duì)所有子圖像結(jié)束了處理時(shí)(步驟S707:是)，將所生成的圖像作為取景圖像來(lái)輸出，圖像生成處理5結(jié)束。返回圖19，與實(shí)施方式2中的圖17的步驟S504至步驟S509同樣地執(zhí)行步驟S604至步驟S609，結(jié)束處理。如以上說(shuō)明，根據(jù)本實(shí)施方式的數(shù)碼相機(jī)1，能夠顯示從取景圖像的生成階段開(kāi)始就附加了虛化的圖像。由此，用戶容易預(yù)想到完成圖像。此外，在取景圖像的生成階段，不需要計(jì)算每個(gè)像素的偏離系數(shù)，因此用于附加虛化的必要計(jì)算量的增大較少。因此，能夠高速地生成附加了虛化的圖像。(第4實(shí)施方式)說(shuō)明本發(fā)明的實(shí)施方式4。本實(shí)施方式的數(shù)碼相機(jī)I具有圖2所示的物理結(jié)構(gòu)。數(shù)碼相機(jī)I的各部分功能與實(shí)施方式I的數(shù)碼相機(jī)I相同。在實(shí)施方式I中，在圖像生成處理2及圖像生成處理3中，針對(duì)所有子圖像計(jì)算出圖像偏離系數(shù)。此外，在實(shí)施方式3中，在圖像生成處理5中計(jì)算出一部分子圖像(中央部的規(guī)定部位或角上的4個(gè)子圖像等)的圖像偏離系數(shù)，將其加法平均作為整體的圖像偏離系數(shù)。相對(duì)于此，在本實(shí)施方式中，生成取景圖像時(shí)針對(duì)一部分子圖像計(jì)算出圖像偏離系數(shù)，并從計(jì)算結(jié)果中推測(cè)其他子圖像(圖像偏離系數(shù)的計(jì)算對(duì)象外)的圖像偏離系數(shù)。此夕卜，本實(shí)施方式的特征在于循環(huán)選擇成為計(jì)算對(duì)象的子圖像。本實(shí)施方式的數(shù)碼相機(jī)I具備圖5所示的功能結(jié)構(gòu)。在本實(shí)施方式中，取景圖像生成部620是第6重構(gòu)圖像生成部750 (圖21)，確認(rèn)圖像生成部630是圖13A所示的第3重構(gòu)圖像生成部730。此外，正式圖像生成部640是在實(shí)施方式2中說(shuō)明過(guò)的第4重構(gòu)圖像生成部。其他的圖5的各部分與實(shí)施方式I的數(shù)碼相機(jī)I的對(duì)應(yīng)構(gòu)成相同。如圖21所示，第6重構(gòu)圖像生成部750由圖像偏離系數(shù)計(jì)算部751、圖像偏離系數(shù)推測(cè)部752、子圖像提取部721、部分區(qū)域定義部723、配置圖像生成部724、圖像配置部725、和輸出部726構(gòu)成。與圖1OA的第2重構(gòu)圖像生成部720相比，第6重構(gòu)圖像生成部750代替偏離值計(jì)算部722而包括圖像偏離系數(shù)計(jì)算部751、圖像偏離系數(shù)推測(cè)部752。其他構(gòu)成與第2重構(gòu)圖像生成部720相同。圖像偏離系數(shù)計(jì)算部751在每次生成取景圖像時(shí)，循環(huán)地選擇成為偏離系數(shù)的計(jì)算對(duì)象的子圖像(計(jì)算圖像)。并且，針對(duì)選出的計(jì)算圖像計(jì)算出圖像偏離系數(shù)。具體而言，將子圖像分割為η個(gè)組(例如η = 2)。然后，在依次生成取景圖像時(shí)，在一個(gè)循環(huán)中按順序選擇組，作為關(guān)注組(包括計(jì)算圖像的組)。將屬于關(guān)注組的子圖像設(shè)為計(jì)算圖像。η的值預(yù)先被設(shè)定且被存儲(chǔ)在存儲(chǔ)部34中。圖像偏離系數(shù)的計(jì)算方法與實(shí)施方式I的偏離值計(jì)算部722相同。圖像偏離系數(shù)推測(cè)部752利用圖像偏離系數(shù)計(jì)算部751計(jì)算出的計(jì)算圖像的圖像偏離系數(shù)，推測(cè)計(jì)算圖像以外的子圖像(推測(cè)圖像)的圖像偏離系數(shù)。將在后面敘述推測(cè)的具體方法。參照?qǐng)D22說(shuō)明本實(shí)施方式的數(shù)碼相機(jī)I所實(shí)施的處理。本實(shí)施方式的數(shù)碼相機(jī)I被接通電源，輸入部50受理準(zhǔn)備攝影的操作后，開(kāi)始圖22所示的圖像輸出處理4。在圖像輸出處理4中，與在實(shí)施方式I中執(zhí)行的圖像輸出處理I (圖6)的步驟SlOl及步驟S102同樣地執(zhí)行步驟S801及步驟S802。然后，取景圖像生成部620 (第6重構(gòu)圖像生成部750)的圖像偏離系數(shù)計(jì)算部751更新巾貞標(biāo)記(步驟S803)。巾貞標(biāo)記是用于選擇計(jì)算出計(jì)算圖像的組的標(biāo)記。巾貞標(biāo)記最初被設(shè)定為1，每當(dāng)生成取景圖像的循環(huán)(步驟S801 步驟S807)巡回了一次時(shí)，逐次加I。然后，若超過(guò)所設(shè)定的組數(shù)n，則返回I。其結(jié)果，例如η = 4時(shí)，如1、2、3，4、1、2、3，4，1...，幀標(biāo)記被循環(huán)地設(shè)定為I 4的數(shù)值。在步驟S803中更新幀標(biāo)記后，圖像偏離系數(shù)計(jì)算部751計(jì)算出計(jì)算圖像的圖像偏離系數(shù)，開(kāi)始用于對(duì)推測(cè)圖像的圖像偏離系數(shù)進(jìn)行推測(cè)的處理(偏離系數(shù)推測(cè)處理)。參照?qǐng)D23，說(shuō)明在步驟S804中執(zhí)行的偏離系數(shù)推測(cè)處理。在偏離系數(shù)推測(cè)處理中，首先，圖像偏離系數(shù)計(jì)算部751選擇與當(dāng)前的幀標(biāo)記相應(yīng)的計(jì)算圖像(步驟S901)。參照?qǐng)D24及圖25，說(shuō)明在此被選擇的計(jì)算圖像的選擇方法。在圖24及圖25中，以正方形表示各子圖像。例如，當(dāng)子圖像被分為2個(gè)組時(shí)(η = 2)，圖24的以黑色表示的的子圖像和以白色表示的子圖像中的任一個(gè)被選擇為計(jì)算圖像。例如，當(dāng)幀標(biāo)記為I時(shí)，選擇黑色的子圖像，當(dāng)幀標(biāo)記為2時(shí)選擇白色的子圖像?；蛘撸部梢詫⒐鈭?chǎng)像LFI分割為包含η個(gè)子圖像的區(qū)域，在分割后的區(qū)域內(nèi)循環(huán)地選擇計(jì)算圖像。例如，當(dāng)η = 9時(shí)，如圖25所示，分割為包含縱3個(gè)、橫3個(gè)子圖像的區(qū)域(粗線)。并且，將區(qū)域內(nèi)的子圖像編號(hào)為I 9。例如，圖25的子圖像al a9分別意味著第一個(gè)區(qū)域(a區(qū)域)的序號(hào)為I 9的子圖像。并且，從各區(qū)域(在圖25的例中是a區(qū)域 I區(qū)域)中選擇一個(gè)與當(dāng)前的幀標(biāo)記一致的序號(hào)的子圖像，作為計(jì)算圖像。在步驟S901中選擇計(jì)算圖像后，接下來(lái)圖像偏離系數(shù)計(jì)算部751從計(jì)算圖像中選擇一個(gè)關(guān)注子圖像(步驟S902)。然后，圖像偏離系數(shù)計(jì)算部751針對(duì)關(guān)注子圖像計(jì)算出圖像偏離系數(shù)(步驟S903)。圖像偏離系數(shù)的計(jì)算方法與實(shí)施方式I相同。然后，圖像偏離系數(shù)計(jì)算部751判定關(guān)注子圖像的圖像偏離系數(shù)的變化量是否在閾值以上(步驟S904)。在此，圖像偏離系數(shù)計(jì)算部751針對(duì)關(guān)注子圖像，對(duì)在上一次偏離系數(shù)推測(cè)處理中推測(cè)出的圖像偏離系數(shù)與在本次處理中計(jì)算出的圖像偏離系數(shù)之差分、和規(guī)定的閾值進(jìn)行比較。該閾值是預(yù)先通過(guò)實(shí)驗(yàn)求出的，并且被存儲(chǔ)在存儲(chǔ)部34中。另外，在η的數(shù)值比較少、且與上次計(jì)算出的時(shí)刻之間的時(shí)間差較少時(shí)(例如η = 2時(shí))等，也可以對(duì)最后計(jì)算出的圖像偏離系數(shù)與在本次處理中計(jì)算出的圖像偏離系數(shù)之間的差分、和規(guī)定的閾值進(jìn)行比較。并且，當(dāng)比較的結(jié)果為變化量小于閾值時(shí)(步驟S904:否)，圖像偏離系數(shù)計(jì)算部751使關(guān)注子圖像的變化標(biāo)記無(wú)效(OFF)(步驟S905)。另一方面，在變化量為閾值以上的情況下(步驟S904:是)，圖像偏離系數(shù)計(jì)算部751使關(guān)注子圖像的變化標(biāo)記有效(ON)(步驟S906)。變化標(biāo)記是與各子圖像建立了對(duì)應(yīng)關(guān)系的二值變量。結(jié)束變化標(biāo)記的設(shè)定后，接下來(lái)圖像偏離系數(shù)計(jì)算部751在步驟S901中判定針對(duì)選出的所有計(jì)算圖像是否計(jì)算完圖像偏離系數(shù)(步驟S907)。當(dāng)存在未處理的計(jì)算圖像時(shí)(步驟S907:否)，針對(duì)下一計(jì)算圖像從步驟S902開(kāi)始反復(fù)進(jìn)行處理。另一方面，當(dāng)針對(duì)所有計(jì)算圖像完成了處理時(shí)(步驟S907:是)，轉(zhuǎn)移到步驟S908。在步驟S908中，在計(jì)算圖像以外的圖像(推測(cè)圖像)中，選擇一個(gè)沒(méi)有完成推測(cè)處理的子圖像，作為關(guān)注圖像(步驟S908)。然后，檢查周邊的計(jì)算圖像(周邊圖像)的變化標(biāo)記，判定圖像偏離系數(shù)是否已變化(步驟S909)。例如，當(dāng)n = 2時(shí)，在與關(guān)注圖像的上下左右相鄰的計(jì)算圖像中，變化標(biāo)記有效的圖像存在規(guī)定數(shù)量(例如2個(gè)以上)時(shí)，決定為周邊圖像中有變化(步驟S909:是)。此時(shí)，也可以是當(dāng)變化標(biāo)記有效的圖像全部是在相同方向(例如，偏離系數(shù)增加的方向)上變化時(shí)，判定為該變化可信，從而決定為有變化，當(dāng)在不同的方向上變化時(shí)，判定為不可信，從而決定為無(wú)變化。當(dāng)η大于2時(shí)，從關(guān)注圖像中按由近到遠(yuǎn)的順序選擇m個(gè)(例如m =4)計(jì)算圖像，并同樣地參照變化標(biāo)記。當(dāng)決定為有變化時(shí)(步驟S909:是)，將最近的計(jì)算圖像的圖像偏離系數(shù)推測(cè)為關(guān)注圖像的圖像偏離系數(shù)(步驟S910)。另外，此時(shí)，也可以將對(duì)在步驟S909中參照過(guò)的計(jì)算圖像的圖像偏離系數(shù)進(jìn)行了加法平均的數(shù)值設(shè)為推測(cè)值。另一方面，若決定為周邊圖像中沒(méi)有變化(步驟S909:否)，則跳過(guò)步驟S910。然后，針對(duì)所有推測(cè)圖像判斷是否結(jié)束了上述處理(步驟S911)，當(dāng)存在未處理的推測(cè)圖像時(shí)(步驟S911:否)，針對(duì)下一推測(cè)圖像，從步驟S908開(kāi)始反復(fù)進(jìn)行處理。另一方面，若所有推測(cè)圖像完成處理(步驟S911:是)，則偏離系數(shù)推測(cè)處理結(jié)束。另外，在此，說(shuō)明以下情況，即當(dāng)判定為周邊圖像有變化時(shí)，將周邊的計(jì)算圖像的圖像偏離系數(shù)推測(cè)為推測(cè)圖像的圖像偏離系數(shù)。作為其他推測(cè)方法，也可以應(yīng)用根據(jù)距計(jì)算圖像的距離分配周邊計(jì)算圖像的變化量的方法。分配的具體例如圖26所示。圖26表示針對(duì)由粗線表示的計(jì)算圖像，相對(duì)于上一次計(jì)算值(或上一次推測(cè)值)最新的計(jì)算值不同(左側(cè)的計(jì)算圖像中是+3，右側(cè)的計(jì)算圖像中是+1)的例。對(duì)圖像偏離系數(shù)之差乘以離計(jì)算圖像越遠(yuǎn)就越小的權(quán)重之后，加到在推測(cè)圖像(虛線的正方形)的前一次循環(huán)處理中設(shè)定的圖像偏離系數(shù)，將加法運(yùn)算結(jié)果設(shè)為推測(cè)結(jié)果。另外，在圖26中，箭頭表示分配(加法運(yùn)算)的方向，箭頭上的數(shù)值表示分配的數(shù)。在此，向與計(jì)算圖像的上下左右及斜向相鄰的推測(cè)圖像分配計(jì)算圖像的差的2/3，向其旁邊的推測(cè)圖像分配3/1。作為其他推測(cè)方法，也可以通過(guò)使用了計(jì)算圖像的圖像偏離系數(shù)的3維插補(bǔ)處理來(lái)設(shè)定推測(cè)圖像的圖像偏離系數(shù)。返回圖22，在步驟S804中對(duì)所有子圖像設(shè)定圖像偏離系數(shù)后，子圖像提取部721利用已設(shè)定的圖像偏離系數(shù)開(kāi)始圖11所示的圖像生成處理2(步驟S805)。在圖像生成處理2中，獲取在步驟S302中通過(guò)圖像偏離系數(shù)推測(cè)處理設(shè)定的圖像系數(shù)之外，還與實(shí)施方式I同樣地執(zhí)行各步驟。通過(guò)圖像生成處理2生成取景圖像后，顯示部70顯示所生成的圖像(步驟S806)。然后，判斷輸入部50是否檢測(cè)到攝像操作(步驟S807)。當(dāng)判斷的結(jié)果為沒(méi)有檢測(cè)到攝像操作時(shí)(步驟S807:否)，返回步驟S801，繼續(xù)進(jìn)行取景圖像的生成。另一方面，當(dāng)檢測(cè)到攝像操作時(shí)(步驟S807:是)，確認(rèn)圖像生成部630(第3重構(gòu)圖像生成部730)通過(guò)圖14的圖像生成處理3生成確認(rèn)圖像(步驟S808)。此時(shí)，在圖像生成處理3中，也可以針對(duì)所有子圖像計(jì)算出圖像偏離系數(shù)，利用在最后的偏離系數(shù)推測(cè)處理(步驟S804)中設(shè)定的圖像偏離系數(shù)?；蛘?，也可以與生成取景圖像的處理同樣地，將子圖像分為計(jì)算圖像和推測(cè)圖像后執(zhí)行推測(cè)處理。此時(shí)，通過(guò)使計(jì)算圖像占子圖像整體的比例比取景圖像還大，從而提高推測(cè)精度。以下，顯示所生成的確認(rèn)圖像(步驟S809)，與實(shí)施方式3同樣地，通過(guò)圖像生成處理4生成正式圖像(步驟S810)。然后，記錄所生成的正式圖像(步驟S811)，結(jié)束圖像輸出處理4。如以上說(shuō)明，根據(jù)本實(shí)施方式的數(shù)碼相機(jī)I，在需要圖像生成處理2那樣的各子圖像的圖像偏離系數(shù)的處理中，不需要針對(duì)所有圖像執(zhí)行圖像偏離系數(shù)的計(jì)算。由于能夠限制所需計(jì)算量大的圖像偏離系數(shù)的計(jì)算，因此在生成高畫(huà)質(zhì)的圖像時(shí)，能夠減輕所需的計(jì)
禪且昇里。其結(jié)果，夠降低計(jì)算處理所需電力。因此，能夠增大數(shù)碼相機(jī)I的驅(qū)動(dòng)時(shí)間及拍攝張數(shù)。此外，在生成取景圖像時(shí)，循環(huán)地選擇計(jì)算圖像。在固定了計(jì)算圖像的情況下，當(dāng)計(jì)算圖像的被攝體不同于其他被攝體、或者計(jì)算圖像中產(chǎn)生了噪聲時(shí)，該不良情況始終會(huì)出現(xiàn)在圖像上。在本實(shí)施方式中，計(jì)算圖像在每一次的生成處理中都會(huì)被變更，因此即使在一部分子圖像中產(chǎn)生了不良情況，也能夠緩和其影響。此外，長(zhǎng)遠(yuǎn)來(lái)看，由于針對(duì)所有子圖像計(jì)算出圖像偏離系數(shù)，因此取景圖像成為還附加了被攝體整體的傾向的圖像。另外，在本實(shí)施方式中，取景圖像生成部620利用通過(guò)圖23的偏離系數(shù)推測(cè)處理計(jì)算或推測(cè)出的圖像偏離系數(shù)，通過(guò)圖像生成處理2生成取景圖像。但并不限于此，偏離系數(shù)推測(cè)處理可以應(yīng)用于利用圖像偏離系數(shù)來(lái)生成重構(gòu)圖像的任意處理(圖像生成處理3、圖像生成處理5等)中。例如，取景圖像生成部620也可以通過(guò)偏離系數(shù)推測(cè)處理和圖像生成處理3，執(zhí)行圖像生成。此外，并不限于取景圖像生成部620，對(duì)于確認(rèn)圖像生成部630或正式圖像生成部640而言，也可以在采用了利用圖像偏離系數(shù)生成重構(gòu)圖像的構(gòu)成時(shí)，使用本實(shí)施方式的偏離系數(shù)推測(cè)處理。(實(shí)施方式5)以下，基于

本發(fā)明的實(shí)施方式5。實(shí)施方式5的數(shù)碼相機(jī)的特征在于，實(shí)施方式I的數(shù)碼相機(jī)I的正式圖像生成部630所執(zhí)行的處理是后述的圖像生成處理6。其他功能結(jié)構(gòu)、處理與實(shí)施方式I的數(shù)碼相機(jī)I相同。本實(shí)施方式的數(shù)碼相機(jī)I具備圖5所示的功能結(jié)構(gòu)。在本實(shí)施方式中，取景圖像生成部620是第2重構(gòu)圖像生成部720，確認(rèn)圖像生成部630是第3重構(gòu)圖像生成部730，正式圖像生成部640是第7重構(gòu)圖像生成部760。其他的圖5的各部分與實(shí)施方式I的數(shù)碼相機(jī)I的對(duì)應(yīng)構(gòu)成相同。參照?qǐng)D27，說(shuō)明第7重構(gòu)圖像生成部760的構(gòu)成。如27A所示，第7重構(gòu)圖像生成部760由切出位置設(shè)定部761、子圖像提取部762、部分區(qū)域定義部763、部分圖像提取部764、圖像配置部765、合成部766、和輸出部767構(gòu)成。第7重構(gòu)圖像生成部760根據(jù)這種結(jié)構(gòu)，變更從子圖像提取(切出)部分區(qū)域(部分圖像)的位置的同時(shí)生成規(guī)定數(shù)量的中間圖像(例如，中間圖像然后，合成所生成的各中間圖像，生成重構(gòu)圖像(正式圖像)。切出位置設(shè)定部761，設(shè)定從子圖像(子圖像提取部762所提取的關(guān)注圖像)提取部分區(qū)域(部分圖像)的位置。在本實(shí)施方式中，在每個(gè)各中間圖像的生成處理中設(shè)定不同的位置(例如，在生成中間圖像ImI1時(shí)設(shè)定關(guān)注圖像的中央部，在生成中間圖像ImI2時(shí)設(shè)定關(guān)注圖像的右上方的規(guī)定區(qū)域等)。子圖像提取部762，與實(shí)施方式2的子圖像提取部731為了生成重構(gòu)圖像而執(zhí)行的處理同樣地，為了生成中間圖像而從子圖像中提取一個(gè)，作為關(guān)注圖像。部分區(qū)域定義部763，在切出位置設(shè)定部761所設(shè)定的關(guān)注圖像上的位置上，定義主鏡頭及微鏡頭陣列的微鏡頭的焦點(diǎn)距離、放置攝像元件313的位置、和根據(jù)重構(gòu)距離確定的尺寸(切出尺寸)的部分區(qū)域。微鏡頭的焦點(diǎn)距離通常是恒定的，因此利用使在R0M22中存儲(chǔ)的主鏡頭311的焦點(diǎn)距離、重構(gòu)距離和切出尺寸建立了對(duì)應(yīng)關(guān)系的表(例如圖27B)決定。部分圖像提取部764，將部分區(qū)域的圖像調(diào)整為規(guī)定的圖像尺寸(例如4X4像素)，并提取為部分圖像。圖像配置部765根據(jù)作為提取源的子圖像的位置來(lái)配置部分圖像提取部764提取出的圖像，由此生成中間圖像。因此，也能夠?qū)D像配置部765稱為中間圖像生成部。將在后面敘述具體的處理例。然后，合成部766合成各中間圖像來(lái)生成重構(gòu)圖像。合成部766可以利用將多個(gè)圖像統(tǒng)一為一張圖像的任意的已知方法生成重構(gòu)圖像，但是，在此，對(duì)所有中間圖像進(jìn)行加法平均來(lái)生成重構(gòu)圖像。輸出部767向外部(顯示部35及存儲(chǔ)部80、可移動(dòng)介質(zhì)38等)輸出所生成的重構(gòu)圖像，并保存為觀賞用圖像。參照流程圖，說(shuō)明本實(shí)施方式的數(shù)碼相機(jī)I所執(zhí)行的處理。數(shù)碼相機(jī)I被接通電源，輸入部50受理準(zhǔn)備拍攝的操作后，與實(shí)施方式I的數(shù)碼相機(jī)I同樣地開(kāi)始圖像輸出處理。本實(shí)施方式所執(zhí)行的圖像輸出處理除了在步驟S109中執(zhí)行的正式圖像生成處理是圖28所示的圖像生成處理6這一點(diǎn)之外，與實(shí)施方式I同樣地執(zhí)行圖6的圖像輸出處理I。參照?qǐng)D28，說(shuō)明在步驟S109中執(zhí)行的圖像生成處理6。在圖像生成處理6之前，數(shù)碼相機(jī)I拍攝被攝體，將得到的光場(chǎng)像的數(shù)據(jù)存儲(chǔ)在RAM23或存儲(chǔ)部34等中。在步驟S1001中，第7重構(gòu)圖像生成部760從R0M22讀出從子圖像切出的部分圖像的大小，并設(shè)定為切出尺寸。在R0M22中存儲(chǔ)了再對(duì)焦距離和切出尺寸的對(duì)應(yīng)表。切出尺寸是根據(jù)主鏡頭及微鏡頭陣列內(nèi)的微鏡頭的焦點(diǎn)距離、放置攝像元件33的位置、和再對(duì)焦距離確定的。越是遠(yuǎn)處的被攝體，每個(gè)微鏡頭的估計(jì)角度之差越小，因此子圖像內(nèi)的移動(dòng)也小。伴隨與此，減小切出尺寸。相反，越是近處的被攝體，每個(gè)微鏡頭的估計(jì)角度之差就越大，因此子圖像內(nèi)的移動(dòng)也大。伴隨與此，增大切出尺寸。具體而言，假設(shè)主鏡頭和微鏡頭的焦點(diǎn)距離恒定，將重構(gòu)距離和切出尺寸的對(duì)應(yīng)表設(shè)定成重構(gòu)距離越大切出尺寸就越小(參照?qǐng)D27B)。在步驟S1002中，切出位置設(shè)定部761設(shè)定從子圖像切出的部分圖像的位置。在本實(shí)施方式中，設(shè)初始值(最初循環(huán)中的設(shè)定位置)是子圖像的中央。接著，在S1003中，子圖像提取部762選擇要處理的子圖像。具體而言，將k4設(shè)為計(jì)數(shù)變量，將光場(chǎng)像LFI的第k4個(gè)子圖像提取為關(guān)注子圖像(步驟S1003)。接著，在步驟S1004中，部分區(qū)域定義部763和部分圖像提取部764從選出的子圖像中切出部分圖像。具體而言，部分區(qū)域定義部763，對(duì)關(guān)注子圖像上的與通過(guò)步驟S1002設(shè)定的切出位置對(duì)應(yīng)的部分，將在步驟S1001中確定的尺寸的區(qū)域定義為部分區(qū)域。然后，部分圖像提取部764切出部分區(qū)域的圖像(步驟S1004)。在步驟S1004中，部分圖像提取部764進(jìn)一步將切出的圖像調(diào)整為規(guī)定像素?cái)?shù)(例如4X4像素)的部分圖像。接著，在步驟S1005中，圖像配置部765基于切出尺寸、子圖像中的切出位置、和子圖像在光場(chǎng)像中的排列位置，在中間圖像配置通過(guò)步驟S1004切出的部分圖像。將在后面利用具體例敘述具體的處理。此時(shí)，在主鏡頭的焦點(diǎn)位于比攝像元件更靠主鏡頭側(cè)的位置上的、通過(guò)如圖3的光學(xué)系統(tǒng)拍攝到的光場(chǎng)像中，翻轉(zhuǎn)各部分圖像的上下左右來(lái)配置到中間圖像上。如果是主鏡頭的焦點(diǎn)位于攝像元件后方側(cè)的光學(xué)系統(tǒng)，則不進(jìn)行部分圖像的上下左右的翻轉(zhuǎn)。在步驟S1006中，第7重構(gòu)圖像生成部760判定是否處理了所有子圖像。若判定結(jié)果為“否”，則第7重構(gòu)圖像生成部760使計(jì)數(shù)變量k4遞增(步驟S1007)，返回步驟S1003反復(fù)進(jìn)行處理。若判定結(jié)果為“是”(步驟S1006:是)，則在步驟S1008中，第7重構(gòu)圖像生成部760在RAM23或存儲(chǔ)部34中保存中間圖像(步驟S1008)。接著，在步驟S1008中，第7重構(gòu)圖像生成部760判定是否生成了規(guī)定數(shù)量的中間圖像(例如8個(gè))。若判定結(jié)果為“否”(步驟S1009:否)，則第7重構(gòu)圖像生成部760返回步驟S1002，針對(duì)在前一次切出位置上附加了偏移的下一切出位置反復(fù)進(jìn)行處理。偏移可任意設(shè)定，但是優(yōu)選按照不從子圖像露出、配合光圈的形狀(在圖29中是圓狀)、并能不讓部分區(qū)域偏離子圖像設(shè)定的方式，設(shè)定偏移值。并且，第7重構(gòu)圖像生成部760，反復(fù)進(jìn)行步驟S1002 步驟S1009的處理。此時(shí)，第7重構(gòu)圖像生成部760，加上切出位置的偏移量后，在中間圖像上配置部分圖像。將在后面具體敘述。這樣，在各中間圖像間使被攝體的位置一致。若步驟S1009的判定結(jié)果為“是”(步驟S1009:是)，則在步驟S1010中，對(duì)合成部766得到的多個(gè)中間圖像進(jìn)行加法平均，生成重構(gòu)圖像。之后，數(shù)碼相機(jī)I記錄并顯示所生成的重構(gòu)圖像，圖像輸出處理I結(jié)束。利用圖29 圖31，說(shuō)明步驟S1002 步驟S1009的處理。首先，圖29表示生成最初的中間圖像的處理(步驟S1003 步驟S1006)。開(kāi)始時(shí)，選擇光場(chǎng)像LFI的左上方的子圖像Sn(S1003)。從所選擇的子圖像S11的中央部(切出位置的初始值)切出部分圖像PI11 (S1004)，該部分圖像PI11配置到中間圖像ImI1的左上角(S1005)。在圖29 圖32中，以虛線和點(diǎn)來(lái)表示要配置中間圖像ImI1的基準(zhǔn)位置。在下一循環(huán)中，選擇右鄰的子圖像S12(S1003)。從所選擇的子圖像S12的中央部切出部分圖像PI12(S1004)，該部分圖像PI12配置在剛剛配置到中間圖像ImI1內(nèi)的部分圖像PI11的右鄰位置上(S1005)。直到光場(chǎng)像LFI的右端為止，反復(fù)進(jìn)行該作業(yè)。若右端的子圖像Sin的處理結(jié)束，則返回光場(chǎng)像LFI的左端，選擇從上開(kāi)始第2段的子圖像S21 (S1003)。然后，從所選擇的子圖像S12的中央部切出部分圖像PI12 (S1004)，該部分圖像PI12配置在最初配置到中間圖像I內(nèi)的部分圖像PI11的下側(cè)(S1005)。與第一段相同，直到光場(chǎng)像LF的右端為止，反復(fù)進(jìn)行該作業(yè)。若右端的子圖像S的處理結(jié)束，則處理光場(chǎng)像LF的下一段的子圖像S。反復(fù)進(jìn)行這些作業(yè)。若判定為已處理到了光場(chǎng)像LF的右下方的子圖像Sm(S1006:是)，則在存儲(chǔ)部34等中保存中間圖像ImI1(SlOOS)。由此，中間圖像ImI1的生成結(jié)束。在該階段中，中間圖像ImI1單純排列了部分圖像，因此在部分圖像與部分圖像之間每個(gè)子圖像的接縫會(huì)比較顯著。圖30是在第2次的循環(huán)中，將切出位置設(shè)置成靠近圖像的左上角來(lái)生成中間圖像ImI2的處理的例。此時(shí)，第I次循環(huán)和第2次循環(huán)之間的偏移值為從子圖像的中央向靠近左上方向移動(dòng)的值(例如，向左移動(dòng)10像素、向上移動(dòng)10像素)。與切出位置為圖29的情況相比，由于向左上移動(dòng)，因此在步驟S1005中圖像配置部765在中間圖像ImI2上配置部分圖像的位置向左上移動(dòng)(圖30下段)。對(duì)切出位置附加偏移的同時(shí)反復(fù)進(jìn)行生成中間圖像的處理(步驟S1002 步驟S1009)。圖31是在第η次循環(huán)中在右下設(shè)定切出位置來(lái)生成中間圖像ImIn的處理的例。在第2次循環(huán)到第η次循環(huán)中，按照切出位置從左上向右下依次移動(dòng)的方式改變偏移值(例如，在不改變段時(shí)向右移動(dòng)3像素，在改變段時(shí)向下移動(dòng)3像素、向左移動(dòng)21像素等)。切出位置與圖29的情況相比更向右下方移動(dòng)，由此在步驟S1005中圖像配置部765在中間圖像ImIn上配置部分圖像的位置向右下移動(dòng)(圖31下段)。與僅僅排列了部分圖像的中間圖像相比，在對(duì)這樣得到的多個(gè)中間圖像進(jìn)行加法平均后獲得的重構(gòu)圖像中，跟前的人物或相機(jī)帶(camra strap)部分的每個(gè)子圖像的接縫會(huì)更顯著。也就是說(shuō)，從光場(chǎng)像的子圖像切出圖像來(lái)進(jìn)行圖像重構(gòu)時(shí)，在每個(gè)中間圖像中使切出位置不同，并對(duì)這些中間圖像進(jìn)行加法平均，從而能夠得到?jīng)]有不協(xié)調(diào)感的(畫(huà)質(zhì)良好的)良好的重構(gòu)圖像。在本實(shí)施方式中，根據(jù)重構(gòu)距離決定切出尺寸，在每個(gè)中間圖像中使切出位置不同，并對(duì)這些中間圖像進(jìn)行加法平均后得到重構(gòu)圖像。圖32A 圖32C是比較了切出位置不同的圖29 圖31的中間圖像ImIp Iml2、ImIn的圖?？串?huà)了 X圖標(biāo)的像素可知,在中間圖像ImIp ImI2, ImIn中采用了分別不同的子圖像的不同位置的像素。也就是說(shuō)，本實(shí)施方式根據(jù)再對(duì)焦距離，對(duì)不同子圖像的不同位置的像素進(jìn)行加法平均，從而構(gòu)成了要重構(gòu)的被攝體的像素。此外，在ImIl ImIn中，由于部分圖像和部分圖像的接縫的位置分別不同，因此通過(guò)對(duì)這些圖像進(jìn)行合成(加法平均)，從而能夠通過(guò)排列部分圖像后進(jìn)行加法平均這樣計(jì)算量少的處理，來(lái)生成部分圖像與部分圖像之間并不明顯的畫(huà)質(zhì)高的重構(gòu)圖像。另外，在本實(shí)施方式中，也可以在各個(gè)中間圖像上配置部分圖像時(shí)進(jìn)行了考慮部分圖像的偏移的位置對(duì)準(zhǔn)，對(duì)中間圖像進(jìn)行加法平均時(shí)進(jìn)行考慮了切出位置的偏移的位置對(duì)準(zhǔn)。即，在生成中間圖像的時(shí)刻，在一張圖像上與切出位置無(wú)關(guān)地配置部分圖像。并且，在合成部766合成中間圖像的時(shí)刻，使中間圖像偏離與偏移值相應(yīng)的量之后進(jìn)行加法平均，也能夠得到同樣的效果。此外，重構(gòu)距離的設(shè)定可以通過(guò)手動(dòng)操作來(lái)設(shè)定，也可以測(cè)量到想要對(duì)焦的被攝體為止的距離來(lái)進(jìn)行設(shè)定。另外，也可以顯示重構(gòu)圖像之后通過(guò)觸摸面板等重新選擇想要對(duì)焦的被攝體，由此再次設(shè)定重構(gòu)距離。另外，在本實(shí)施方式中，在生成了規(guī)定數(shù)量的中間圖像的基礎(chǔ)上，結(jié)束了變更切出位置的同時(shí)進(jìn)行的反復(fù)處理，但是也可以通過(guò)用戶操作來(lái)結(jié)束反復(fù)處理。例如，也可以是當(dāng)?shù)?重構(gòu)圖像生成部760每次生成一個(gè)中間圖像時(shí)，在顯示部向用戶顯示對(duì)到此為止所生成的中間圖像進(jìn)行合成后的重構(gòu)圖像，在用戶滿意畫(huà)質(zhì)的情況下，促使操作規(guī)定的操作元件(例如快門按鈕)，在進(jìn)行了該操作元件的操作的基礎(chǔ)上，結(jié)束反復(fù)處理。由此，即使是處理能力較低的CPU，也能夠以最短的時(shí)間得到用戶滿意的畫(huà)質(zhì)。接著，說(shuō)明本實(shí)施方式的變形例。本變形例是改變圖像生成處理6的處理順序，也能夠得到同樣的效果的例。本變形例的正式圖像生成部(第8重構(gòu)圖像生成部)，具備與圖27A所示的第7重構(gòu)圖像生成部760相同的功能部。圖33是變形例的正式圖像生成部(第8重構(gòu)圖像生成部)所執(zhí)行的處理(圖像生成處理7)的流程圖。到執(zhí)行圖像生成處理7為止、以及到圖像生成處理7的步驟SllOl為止，變形例的數(shù)碼相機(jī)與圖28的步驟S1001同樣地執(zhí)行處理。在步驟S1102中，第8重構(gòu)圖像生成部的子圖像提取部，選擇要進(jìn)行處理的子圖像。具體而言，將k5設(shè)為計(jì)數(shù)變量，將光場(chǎng)像LFI的第k5個(gè)子圖像提取為關(guān)注子圖像(步驟S1102)。在步驟S1103中，與圖像生成處理6(圖28)的步驟S1002同樣地，切出位置設(shè)定部設(shè)定從子圖像中切出的部分圖像的位置。設(shè)初始值是子圖像的中央。在步驟S1104中，與圖像生成處理6(圖28)的步驟S1004同樣地，部分區(qū)域定義部和部分圖像提取部從所選擇的子圖像中切出部分圖像。在步驟S1105中，圖像配置部基于切出尺寸、子圖像中的切出位置、和子圖像在光場(chǎng)像中的排列位置，對(duì)重構(gòu)圖像加上該部分圖像。將在后面敘述具體的處理。在步驟S1106中，第8重構(gòu)圖像生成部判定是否對(duì)規(guī)定數(shù)量(例如8)的切出位置進(jìn)行了處理。若判定結(jié)果為“否”(步驟S1106:否)，則CPUll返回步驟S1103，與圖像生成處理6同樣地變更切出位置后反復(fù)進(jìn)行處理。該反復(fù)處理的結(jié)果，作為整體處理設(shè)定了多個(gè)切出位置。子圖像的邊界(圖34上段的圓)依賴于放置于光學(xué)系統(tǒng)中的光圈的形狀。因此，根據(jù)光圈的形狀限制部分圖像的切出位置的變更范圍。例如，若光圈為大致圓形狀且被切出的部分圖像的形狀為四邊形，則在步驟S1103的切出位置設(shè)定處理中，按照部分圖像的對(duì)角線方向的切出位置的變動(dòng)范圍，比子圖像的上下方向的更小的方式，設(shè)定偏移值。在步驟S1106中，若判定結(jié)果為“是”(步驟S1106:是)，則在步驟S1107中，第8重構(gòu)圖像生成部判定是否對(duì)所有子圖像進(jìn)行了處理。若判定結(jié)果為“否”(步驟S1107:否)，則第8重構(gòu)圖像生成部使計(jì)數(shù)變量k5遞增(步驟S1108)之后，返回步驟S1102，選擇下一子圖像反復(fù)進(jìn)行處理。若判定結(jié)果為“是”(步驟S1107:是)，則在步驟S1109中，第8重構(gòu)圖像生成部的合成部調(diào)整重構(gòu)圖像的明亮度。即，因反復(fù)進(jìn)行加法運(yùn)算而增加的像素值除以切出位置的設(shè)定次數(shù)，從而調(diào)整(歸一化)明亮度。之后，數(shù)碼相機(jī)I記錄并顯示重構(gòu)圖像，本變形例的圖像輸出處理結(jié)束。利用圖34 圖35，說(shuō)明圖像生成處理7的步驟S1103 步驟1106的處理概要。以針對(duì)光場(chǎng)像LFI的左上的子圖像S11的處理為例進(jìn)行說(shuō)明。在最初循環(huán)的步驟S1103中，設(shè)定被選擇的子圖像S11中的切出位置(中央部)。從選出的子圖像S11切出部分圖像PI11 (S1104)。被切出的部分圖像PI11,基于切出尺寸、子圖像S11中的切出位置、和子圖像S11的在光場(chǎng)像LF中的排列位置，被加到重構(gòu)圖像RI (SI 105)。圖34的下段的正方形表示該加法運(yùn)算位置。在下一循環(huán)(圖35)中，設(shè)定附加了偏移的新的切出位置(從中央部向左上)(S1103)。在該循環(huán)中，切出尺寸和子圖像S11的在光場(chǎng)像LFI中的排列位置與圖34相同，但是子圖像S11中的切出位置不同。光場(chǎng)像LF是包含了多個(gè)子圖像S11 Snm的一連串的圖像。因此，根據(jù)偏移的設(shè)定，不僅作為子圖像S而切出有效區(qū)域，而且作為部分圖像無(wú)效區(qū)域也會(huì)被切出。由于包含了無(wú)效區(qū)域的部分圖像會(huì)成為噪聲源，因此需要切出范圍(部分區(qū)域)收斂于子圖像S的邊界內(nèi)。因此，需要根據(jù)光圈的形狀限制部分圖像的切出位置的偏移量。例如，當(dāng)光圈為大致圓形狀且被切出的部分圖像的形狀為四邊形時(shí)，設(shè)成部分圖像的對(duì)角線方向的切出位置的變動(dòng)范圍小于子圖像的上下方向的變動(dòng)范圍。作為具體例，當(dāng)以中央部為起點(diǎn)改變切出位置時(shí)，只要設(shè)定成在上下方向上增大可取的偏移值、在對(duì)角線方向上減小可取的偏移值即可。
部分圖像被往重構(gòu)圖像RI相加的位置,也偏移了與切出位置的偏移相應(yīng)的量。圖35為了表示偏移的加法運(yùn)算位置，以虛線表示了最初的加法運(yùn)算位置，以實(shí)線表示了第2個(gè)加法運(yùn)算位置。在重構(gòu)圖像RI中，按照部分圖像的邊界不重疊的方式進(jìn)行加法運(yùn)算，從而多個(gè)部分圖像的接縫不明顯，能夠得到良好的(畫(huà)質(zhì)高的)重構(gòu)圖像RI。以上，說(shuō)明了本發(fā)明的實(shí)施方式I至5，但是本發(fā)明的實(shí)施方式并不限于此，可進(jìn)行各種變形。例如，在上述實(shí)施例中，說(shuō)明了將圖像設(shè)為亮度色標(biāo)圖像的情況，但是成為本發(fā)明的處理對(duì)象的圖像并不限于亮度色標(biāo)圖像。例如，圖像可以是在各像素中定義了 R(紅)、G(綠)、B(藍(lán))這三個(gè)像素值的RGB圖像。此時(shí)，將像素值作為RGB向量值，同樣地進(jìn)行處理。此外，也可以將R、G、B各值設(shè)為分別獨(dú)立的亮度色標(biāo)圖像，分別進(jìn)行上述處理。根據(jù)該構(gòu)成，能夠根據(jù)作為彩色圖像的光場(chǎng)像生成作為彩色圖像的重構(gòu)圖像。此外，再對(duì)焦距離(對(duì)應(yīng)于到重構(gòu)面的距離)的設(shè)定，可通過(guò)手動(dòng)操作來(lái)設(shè)定，也可以測(cè)量到想要對(duì)焦的被攝體為止的距離來(lái)進(jìn)行設(shè)定。另外，也可以顯示重構(gòu)圖像之后通過(guò)觸摸面板等重新選擇想要對(duì)焦的被攝體，再次設(shè)定再對(duì)焦距離。此外，說(shuō)明了主鏡頭成像面MA存在于比微鏡頭陣列更靠近主鏡頭側(cè)的位置上的情況，但是本發(fā)明的光學(xué)系統(tǒng)的構(gòu)成并不限于此。例如，可以是其他設(shè)計(jì)相同，而主鏡頭成像面MA比微鏡頭陣列更靠后。此時(shí)，在將配置用圖像配置到生成圖像上時(shí)，無(wú)須在上下左右翻轉(zhuǎn)，而是直接進(jìn)行配置。此外，也可以考慮微鏡頭的成像面比攝像元件更靠近微鏡頭側(cè)的情況。此時(shí)，以不是該情況的情形為基礎(chǔ)，進(jìn)一步在上下左右翻轉(zhuǎn)后將配置圖像配置到生成圖像上。此外，取景圖像生成處理、確認(rèn)圖像生成處理和正式圖像生成處理并不限于上述組合。在本發(fā)明中，能夠以取景圖像生成處理所需的計(jì)算量在確認(rèn)圖像生成處理以下、正式圖像生成處理的所需計(jì)算量大于確認(rèn)圖像生成處理的條件，任意地選擇上述處理的組合。例如，可以是取景圖像生成處理和確認(rèn)圖像生成處理為上述圖像生成處理1，正式圖像生成處理為圖像生成處理3或4。另外，也可以是取景圖像生成處理和確認(rèn)圖像生成處理為圖像生成處理2，正式圖像生成處理為圖像生成處理3或4的組合。此外，也可以在取景圖像生成處理和確認(rèn)圖像生成處理，采用相同種類的圖像生成處理，在其處理中調(diào)節(jié)計(jì)算量。例如，也可以是如下構(gòu)成，即，當(dāng)取景圖像生成處理和確認(rèn)圖像生成處理為圖像生成處理2時(shí)，在取景圖像生成處理中，僅在一個(gè)方向上計(jì)算圖像偏離系數(shù)，在確認(rèn)圖像生成處理中在縱向和橫向這兩個(gè)方向上計(jì)算圖像偏離系數(shù)，從而針對(duì)確認(rèn)圖像提高圖像偏離系數(shù)的精度。或者，也可以是如下構(gòu)成，S卩，將用于計(jì)算圖像偏離系數(shù)的區(qū)域，在確認(rèn)圖像生成處理中取得比取景生成處理大，從而提高圖像偏離系數(shù)的精度。通過(guò)這種構(gòu)成，根據(jù)CPU的速度，能夠利用所需計(jì)算量最少的處理，高速顯示應(yīng)以最高速顯示的取景圖像。此外，對(duì)于確認(rèn)圖像而言，能夠至少以與取景圖像相等的畫(huà)質(zhì)充分快地進(jìn)行顯示，而若是通過(guò)設(shè)定的話就能夠以更高的畫(huà)質(zhì)充分快地進(jìn)行顯示。此外，針對(duì)正式圖像能夠設(shè)成更高畫(huà)質(zhì)的圖像。由此，根據(jù)所需的顯示速度劃分圖像生成處理，從而對(duì)于用戶而言，能夠提供便利性高的數(shù)碼相機(jī)。另外，所述的硬件結(jié)構(gòu)或流程圖是一例，對(duì)它們可任意地變更以及修正。
例如，在本實(shí)施方式及其變形例中，由數(shù)碼相機(jī)I所具備的重構(gòu)圖像生成部進(jìn)行了圖像生成處理。但是，圖像生成處理(特別是正式圖像生成部所執(zhí)行的處理)也可以由獨(dú)立于數(shù)碼相機(jī)I的其他圖像處理裝置(例如安裝了執(zhí)行圖像生成處理的程序的PC)執(zhí)行。此時(shí)，也可以向圖像處理裝置讀入由其他攝像裝置生成的光場(chǎng)像，并由該圖像處理裝置進(jìn)行重構(gòu)處理(圖像生成處理6或7)。此時(shí)，其他攝像裝置也可以在可移動(dòng)介質(zhì)等中存儲(chǔ)通過(guò)觸摸面板選出的被攝體的位置和光場(chǎng)像。由此，圖像處理裝置中的重構(gòu)變得容易。此外，也可以在可移動(dòng)介質(zhì)等中存儲(chǔ)在拍攝時(shí)測(cè)量到的被攝體距離和光場(chǎng)像，并在重構(gòu)時(shí)加以利用。由CPU21、R0M22、RAM23等構(gòu)成的、成為進(jìn)行圖像生成用處理的中心的部分也可以不依賴于專用系統(tǒng)，而是利用通常的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。例如，也可以構(gòu)成如下部分:將用于執(zhí)行所述動(dòng)作的計(jì)算機(jī)程序存放在計(jì)算機(jī)可讀取的記錄介質(zhì)(軟盤、CD-ROM、DVD-ROM等)中來(lái)分發(fā)，使計(jì)算機(jī)安裝所述計(jì)算機(jī)程序，并執(zhí)行上述圖像生成處理。此外，也可以構(gòu)成如下部分:在因特網(wǎng)等通信網(wǎng)絡(luò)上的服務(wù)器裝置所具備的存儲(chǔ)裝置上保存所述計(jì)算機(jī)程序，通過(guò)使通常的計(jì)算機(jī)系統(tǒng)下載程序等，從而執(zhí)行上述圖像生成處理。在使OS (操作系統(tǒng))和應(yīng)用程序分擔(dān)執(zhí)行上述圖像生成處理的部分的功能、或者通過(guò)OS和應(yīng)用程序的協(xié)作來(lái)實(shí)現(xiàn)執(zhí)行上述圖像生成處理的部分的功能的情況下等，也可以在記錄介質(zhì)或存儲(chǔ)裝置中僅保存應(yīng)用程序部分。此外，也可以經(jīng)由通信網(wǎng)絡(luò)分發(fā)計(jì)算機(jī)程序。例如，也可以在通信網(wǎng)絡(luò)上的布告板(BBS:Bulletin Board System)中揭載所述計(jì)算機(jī)程序,經(jīng)由網(wǎng)絡(luò)分發(fā)所述計(jì)算機(jī)程序。然后，啟動(dòng)該計(jì)算機(jī)程序，在OS的控制下，與其他應(yīng)用程序同樣地執(zhí)行該程序，由此能夠執(zhí)行所述的處理。以上，說(shuō)明了本發(fā)明的實(shí)施方式，該實(shí)施方式僅僅是例示，并不限定本發(fā)明的技術(shù)范圍。本發(fā)明可取其他各種實(shí)施方式，而且在不超出本發(fā)明的宗旨的范圍內(nèi)，能夠進(jìn)行省略或置換等各種變更。這些實(shí)施方式或其變形包含在本說(shuō)明書(shū)等記載的發(fā)明的范圍或要旨內(nèi)，并且包含在權(quán)利要求書(shū)所記載發(fā)明和其均等的范圍內(nèi)。(產(chǎn)業(yè)上的可利用性)本發(fā)明能夠應(yīng)用于可拍攝多視點(diǎn)圖像的攝像裝置及處理多視點(diǎn)圖像的圖像處理裝置中。
權(quán)利要求
1.一種圖像處理裝置，其具備: 圖像獲取部，其獲取對(duì)從多個(gè)視點(diǎn)得到的多個(gè)子圖像進(jìn)行了排列的多視點(diǎn)圖像； 切出部，其從所述子圖像中切出部分圖像；和 生成部，其基于與該部分圖像對(duì)應(yīng)的子圖像的排列位置配置所述部分圖像，從而生成重構(gòu)圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述生成部分別將所述部分圖像翻轉(zhuǎn)為點(diǎn)對(duì)象后進(jìn)行配置。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，還具備: 距離設(shè)定部，其設(shè)定所述重構(gòu)圖像的再對(duì)焦距離； 間隔設(shè)定部，其根據(jù)所述再對(duì)焦距離，設(shè)定在重構(gòu)圖像上配置所述部分圖像的間隔；和第I尺寸設(shè)定部，其按照在所述重構(gòu)圖像上所述部分圖像彼此重復(fù)的方式，設(shè)定所述部分圖像的切出尺寸。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 所述圖像處理裝置還具備:虛化設(shè)定部，其設(shè)定虛化程度， 若所述虛化程度變大，則所述第I尺寸設(shè)定部增大所述切出尺寸。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述圖像處理裝置還具備: 第2尺寸設(shè)定部，其設(shè)定所述部分圖像的切出尺寸；和 位置設(shè)定部，其設(shè)定所述部分圖像的切出位置， 所述生成部基于所述切出尺寸和所述子圖像的排列位置，對(duì)與所述切出位置對(duì)應(yīng)的多個(gè)部分圖像進(jìn)行合成，從而生成所述重構(gòu)圖像。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中， 所述圖像處理裝置還具備:距離設(shè)定部，其設(shè)定所述重構(gòu)圖像的再對(duì)焦距離， 所述第2尺寸設(shè)定部根據(jù)所述再對(duì)焦距離設(shè)定所述切出尺寸。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中， 所述再對(duì)焦距離越大，所述第2尺寸設(shè)定部將所述切出尺寸設(shè)定得越小。
8.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中， 所述位置設(shè)定部根據(jù)拍攝所述多視點(diǎn)圖像的光圈形狀，設(shè)定切出位置。
9.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中， 所述生成部包括: 中間圖像生成部，其在所述位置設(shè)定部每次重新設(shè)定切出位置時(shí)，基于所述子圖像的排列位置和該重新設(shè)定的切出位置來(lái)配置所述部分圖像，從而生成中間圖像；和合成部，其根據(jù)所述生成的中間圖像的每一個(gè)合成重構(gòu)圖像， 所述圖像處理裝置還具備:顯示部，其在每次重新設(shè)定所述切出位置時(shí)，顯示所述合成后的重構(gòu)圖像。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述圖像處理裝置還具備:攝像部，其由光學(xué)系統(tǒng)構(gòu)成，該光學(xué)系統(tǒng)包括主鏡頭、攝像元件、和各個(gè)微鏡頭覆蓋各攝像元件的多個(gè)像素的微透鏡陣列， 所述圖像獲取部獲取由所述攝像部拍攝的圖像。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置，還具備: 圖像偏離獲取部，其對(duì)所述多個(gè)子圖像中的每一個(gè)，獲取表示該子圖像中的規(guī)定部位的位置、與出現(xiàn)在該規(guī)定部位上的被攝體在其他子圖像上出現(xiàn)的位置之間的位置偏離的圖像偏離系數(shù)；和 第3尺寸設(shè)定部，所述圖像偏離系數(shù)越大，該第3尺寸設(shè)定部就將所述部分圖像的切出尺寸設(shè)定得越大。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中， 所述圖像偏離獲取部，針對(duì)從所述多個(gè)子圖像中選出的作為計(jì)算對(duì)象的子圖像計(jì)算出所述圖像偏離系數(shù)，并基于該計(jì)算出的圖像偏離系數(shù)針對(duì)該計(jì)算對(duì)象以外的子圖像推測(cè)所述圖像偏離系數(shù)。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其中， 所述圖像獲取部依次獲取所述多視點(diǎn)圖像， 所述圖像偏離獲取部，對(duì)依次獲取到的所述多視點(diǎn)圖像中的每個(gè)圖像，循環(huán)地選擇作為所述計(jì)算對(duì)象的子圖像，從而依次獲取所述多個(gè)子圖像的圖像偏離系數(shù)， 所述生成部從所述依次獲取到的多視點(diǎn)圖像中，利用所述依次獲取到的圖像偏離系數(shù)來(lái)依次生成所述重構(gòu)圖像。
14.根據(jù)權(quán)利要求1所述的圖像處理裝置，還具備: 第4尺寸設(shè)定部，其將所述部分圖像的切出尺寸設(shè)定成，與對(duì)應(yīng)所述子圖像分割了所述重構(gòu)圖像的多個(gè)配置區(qū)域一致。
15.根據(jù)權(quán)利要求1所述的圖像處理裝置，還具備: 所述圖像處理裝置還具備:第5尺寸設(shè)定部，其設(shè)定所述部分圖像的切出尺寸， 所述生成部，將所述重構(gòu)圖像分割成與所述子圖像對(duì)應(yīng)的多個(gè)配置區(qū)域， 所述生成部按照與對(duì)應(yīng)的所述配置區(qū)域的大小一致的方式縮小或放大所述部分圖像來(lái)進(jìn)行配置。
16.一種圖像處理裝置，其具備: 圖像獲取部，其獲取對(duì)從多個(gè)視點(diǎn)得到的多個(gè)子圖像進(jìn)行了排列的多視點(diǎn)圖像； 第I選擇部，其從所述多個(gè)子圖像中選擇第I圖像； 像素選擇部，其選擇包含在所述第I圖像中的第I像素； 第2選擇部，其從所述多個(gè)子圖像中選擇第2圖像； 搜索部，其從包含在所述第2圖像中的像素之中，搜索與所述第I像素對(duì)應(yīng)的第2像素； 像素加工部，其基于所述第I像素與所述第2像素的位置關(guān)系，加工所述第I像素和所述第2像素；和 重構(gòu)部，其從由所述像素加工部加工出的所述多個(gè)子圖像中，重構(gòu)圖像。
17.根據(jù)權(quán)利要求16所述的圖像處理裝置，其中， 所述重構(gòu)部包括: 切出部，其從所述子圖像中切出部分圖像；和 生成部，其基于與該部分圖像對(duì)應(yīng)的子圖像的排列位置配置所述部分圖像，從而生成重構(gòu)圖像。
18.一種圖像生成方法，包括以下步驟: 獲取對(duì)從多個(gè)視點(diǎn)得到的多個(gè)子圖像進(jìn)行了排列的多視點(diǎn)圖像； 從所述子圖像中切出部分圖像；以及 按照與所述部分圖像對(duì)應(yīng)的子圖像的排列順序配置所述部分圖像，從而生成重構(gòu)圖像。
19.一種計(jì)算機(jī)可讀取的非易失性記錄介質(zhì)，其保存通過(guò)計(jì)算機(jī)可執(zhí)行的程序，所述程序使所述計(jì)算機(jī)實(shí)現(xiàn)如下功能: 獲取對(duì)從多個(gè)視點(diǎn)得到的多個(gè)子圖像進(jìn)行了排列的多視點(diǎn)圖像； 從所述子圖像中切出部分圖像；以及 按照與所述部分圖像對(duì)應(yīng)的子圖像的排列順序配置所述部分圖像，從而生成重構(gòu)圖像 。
全文摘要
本發(fā)明提供一種攝像裝置及圖像顯示方法。子圖像提取部從光場(chǎng)像中提取關(guān)注子圖像。部分區(qū)域定義部將關(guān)注子圖像上的規(guī)定區(qū)域定義為部分區(qū)域。并且，像素提取部從部分區(qū)域中提取與生成圖像的對(duì)應(yīng)區(qū)域一致的相應(yīng)數(shù)量的像素。像素配置部以與拍攝光場(chǎng)像的光學(xué)系統(tǒng)的光路經(jīng)相應(yīng)的配置，在生成圖像的對(duì)應(yīng)區(qū)域中配置提取出的像素。針對(duì)光場(chǎng)像的所有子圖像提取像素后配置到生成圖像上，由此生成重構(gòu)圖像。
文檔編號(hào)H04N5/232GK103188441SQ20121057982
公開(kāi)日2013年7月3日 申請(qǐng)日期2012年12月27日 優(yōu)先權(quán)日2011年12月27日
發(fā)明者山本量平 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社