專利名稱：圖像拾取裝置和圖像拾取設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像拾取裝置和圖像拾取設(shè)備，具體地涉及能夠成像二維圖像(2D圖像)和三維圖像(3D圖像)的圖像拾取裝置和圖像拾取設(shè)備。
背景技術(shù)：
傳統(tǒng)上，已經(jīng)提出了一種能夠使用具有分配給多個像素的一個微透鏡的圖像拾取元件來將任何給定深度方向上的任何給定二維圖像嵌入到立體圖像中的圖像處理設(shè)備(專利文獻I)。該專利文獻I描述了從分配有一個微透鏡的多個像素中產(chǎn)生具有不同視差的多個視差圖像。而且，還已經(jīng)提出了這樣一種立體視頻成像設(shè)備:其配置成使得具有陣列形式的多個透鏡的透鏡陣列相機和普通相機布置為在水平方向上對齊，并且一個透鏡眼(lenseye)相機用于根據(jù)低分辨率的多個圖像來成像多個視差圖像，而另一相機用于成像高分辨率的視頻，使得各相機之間的視差矢量與透鏡陣列相機的視差矢量彼此一致(專利文獻2)。由該立體視頻成像設(shè)備成像的視頻包括具有精細視差間隔的多個視頻和具有其矢量與該視頻的矢量相等的大視差間隔的一個視頻。關(guān)于分辨率，包括了具有精細分辨率的視頻和具有粗糙分辨率的視頻。通過內(nèi)插視差和分辨率，可以成像具有大視差和高分辨率的圖像。引用列表專利文獻PTLl:日本專利申請公開第2010-68018PTL2:日本專利申請公開第2010-78768

發(fā)明內(nèi)容
技術(shù)問題專利文獻I中描述的二維布置的多個微透鏡(微透鏡陣列)設(shè)置在一個成像透鏡的成像表面上，并且在該微透鏡陣列的成像位置處布置有多個圖像拾取元件。一束光經(jīng)由該微透鏡陣列進入各圖像拾取元件的每個像素。因此，盡管專利文獻I中描述的圖像拾取設(shè)備可以從分配有一個微透鏡的多個像素獲得具有不同視差的多個視差圖像，但該圖像拾取設(shè)備不能獲得高分辨率的2D圖像。而且，盡管專利文獻I描述了各濾色器可以二維布置于每個圖像拾取元件上(專利文獻I中段落
)，但專利文獻I沒有描述對分配有一個微透鏡的多個像素的每一個上布置相同的濾色器。另一方面，在專利文獻2中描述的立體視頻成像設(shè)備中，需要兩個相機(B卩，一個透鏡陣列相機和一個普通相機)，從而不利地使該設(shè)備變重并且增加成本。鑒于上述情況做出了本發(fā)明，本發(fā)明的目的是提供一種以低成本縮小了尺寸的成像拾取裝置和圖像拾取設(shè)備，其能夠成像高分辨率的二維圖像而且能夠成像三維圖像。問題的解決方案
為了實現(xiàn)上述目的，根據(jù)本發(fā)明的圖像拾取裝置包括:多個光電轉(zhuǎn)換元件，其沿行方向和列方向布置在半導(dǎo)體襯底上；第一微透鏡，其是設(shè)置在多個光電轉(zhuǎn)換元件中的一個光電轉(zhuǎn)換元件之上的一個微透鏡，第一微透鏡將進入微透鏡的光引導(dǎo)至該一個光電轉(zhuǎn)換元件的光接收表面；以及第二微透鏡，其是設(shè)置在所述多個光電轉(zhuǎn)換元件中沿橫向和縱向彼此相鄰的nXn(n:大于等于2的整數(shù))個光電轉(zhuǎn)換元件之上的一個微透鏡，第二微透鏡對進入微透鏡的光進行光瞳分割以將其引導(dǎo)至nXn光電轉(zhuǎn)換元件中的每一個的光接收表面，第一微透鏡和第二微透鏡以混合方式設(shè)置，使得可以至少基于來自與第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件的第一輸出信號來產(chǎn)生二維圖像、以及基于來自與第二微透鏡相對應(yīng)的任何光電轉(zhuǎn)換元件的第二輸出信號來產(chǎn)生三維圖像。根據(jù)本發(fā)明的圖像拾取裝置配置成包括以混合方式設(shè)置的其中針對一個光電轉(zhuǎn)換元件(一個像素)設(shè)置一個微透鏡的1-像素1-微透鏡部件、以及其中針對橫向和縱向上彼此相鄰的nXn個光電轉(zhuǎn)換元件(nXn像素)設(shè)置一個微透鏡的ηXη-像素1-微透鏡部件。高分辨率的二維圖像可以根據(jù)從具有小像素間距的1-像素1-微透鏡部件輸出的第一輸出信號來產(chǎn)生。另一方面，三維圖像可以根據(jù)從可以獲得nXn個視點處的視差圖像的nXn-像素1-微透鏡部件輸出的第二輸出信號來產(chǎn)生。在本圖像拾取裝置中，對于多種顏色的濾色器，在多個光電轉(zhuǎn)換元件之上設(shè)置任何顏色的濾色器，并且對與第二微透鏡相對應(yīng)的nXn個光電轉(zhuǎn)換元件設(shè)置相同顏色的濾色器。即，通過每一 nXn-像素1-微透鏡部件的相同顏色的各濾色器，可以按需執(zhí)行像素相加。在本圖像拾取裝置中，其處設(shè)置有第一微透鏡的光電轉(zhuǎn)換元件的數(shù)量與其處設(shè)置有第二微透鏡的光電轉(zhuǎn)換元件的數(shù)量彼此相等。在本圖像拾取裝置中，將4X4個光電轉(zhuǎn)換元件取作為一個塊，并且其中對一個塊提供16個第一微透鏡的第一區(qū)域以及其中對一個塊提供4個第二微透鏡的第二區(qū)域以棋盤格方式布置。借助于此，濾色器的布置可以做成Bayer布置。在本圖像拾取裝置中，將2X2個光電轉(zhuǎn)換元件取作為一個塊，并且其中對一個塊提供4個第一微透鏡的第一區(qū)域以及其中對一個塊提供I個第二微透鏡的第二區(qū)域以棋盤格方式布置。根據(jù)本發(fā)明的圖像拾取設(shè)備包括:單個成像光學(xué)系統(tǒng)；圖像拾取裝置，其中經(jīng)由成像光學(xué)系統(tǒng)來形成被攝體圖像；成像模式選擇單元，其在用于成像二維圖像的2D成像模式與用于成像三維圖像的3D成像模式之間進行切換；第一圖像產(chǎn)生單元，其在通過成像模式選擇單元選擇了 2D成像模式時基于從與圖像拾取裝置的第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第一輸出信號來產(chǎn)生二維圖像；第二圖像產(chǎn)生單元，其在通過成像模式選擇單元選擇了 3D成像模式時基于從與圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生三維圖像；以及記錄單元，其記錄由第一圖像產(chǎn)生單元或第二圖像產(chǎn)生單元產(chǎn)生的二維圖像、或者由第二圖像產(chǎn)生單元產(chǎn)生的三維圖像。根據(jù)本發(fā)明，取決于模式是2D成像模式還是3D成像模式，在從1-像素1_微透鏡部件輸出的第一輸出信號與從4-像素1-微透鏡部件輸出的第二輸出信號之間進行切換。當(dāng)選擇2D成像模式時，可以基于第一輸出信號來產(chǎn)生高分辨率的二維圖像。當(dāng)選擇3D成像模式時，可以基于第二輸出信號來產(chǎn)生三維圖像(多個視差圖像)。
根據(jù)本發(fā)明的圖像拾取設(shè)備包括:單個成像光學(xué)系統(tǒng)；圖像拾取裝置，其中經(jīng)由成像光學(xué)系統(tǒng)來形成被攝體圖像；成像模式選擇單元，其在用于成像二維圖像的2D成像模式與用于成像三維圖像的3D成像模式之間進行切換；確定單元，其確定經(jīng)由成像光學(xué)系統(tǒng)和圖像拾取裝置成像的圖像是否包括許多高頻成分；第一圖像產(chǎn)生單元，其在成像模式選擇單元選擇了 2D成像模式并且確定單元確定圖像包括許多高頻成分時，基于從與圖像拾取裝置的第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第一輸出信號來產(chǎn)生二維圖像，以及在確定單元確定圖像不包括許多高頻成分時，基于從與圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生二維圖像；第二圖像產(chǎn)生單元，其在成像模式選擇單元選擇了 3D成像模式時基于從與圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生三維圖像；以及記錄單元，其記錄由第一圖像產(chǎn)生單元產(chǎn)生的二維圖像、或者由第二圖像產(chǎn)生單元產(chǎn)生的三維圖像。根據(jù)本發(fā)明，當(dāng)尤其在選擇了 2D成像模式的情況下需要以高分辨率成像時(當(dāng)圖像包括許多高頻成分時)，基于第一輸出信號來產(chǎn)生高分辨率的二維圖像。當(dāng)不需要以高分辨率成像時(當(dāng)圖像不包括許多高頻成分時)，基于第二輸出信號來產(chǎn)生二維圖像。需要注意的是，當(dāng)基于第二輸出信號來產(chǎn)生二維圖像時，執(zhí)行與一個微透鏡相對應(yīng)的4個像素的相加以作為一個像素。本圖像拾取設(shè)備還包括亮度檢測單元，其檢測被攝體的亮度，第一圖像產(chǎn)生單元在成像模式選擇單元選擇了 2D成像模式、確定單元確定圖像包括許多高頻成分、并且檢測到的被攝體的亮度超過預(yù)定閾值時，基于從與圖像拾取裝置的第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第一輸出信號來產(chǎn)生二維圖像，以及在由確定單元確定了圖像不包括許多高頻成分時或者當(dāng)檢測到的被攝體的亮度小于或等于預(yù)定閾值時，基于從與圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生二維圖像。根據(jù)本發(fā)明，當(dāng)尤其在選擇了 2D成像模式的情況下需要以高分辨率成像時(當(dāng)圖像包括許多高頻成分時)并且當(dāng)被攝體的亮度超過預(yù)定亮度時，基于第一輸出信號來產(chǎn)生高分辨率的二維圖像。在除了上述的成像條件下，基于第二輸出信號來產(chǎn)生二維圖像。在不能獲得足夠亮度的成像環(huán)境的情況下，即使圖像的分辨率比高分辨率圖像的分辨率低，也常需要低噪聲的圖像。根據(jù)本發(fā)明，如果被攝體的亮度小于或等于預(yù)定亮度，則即使圖像包括許多高頻成分也基于第二輸出信號來產(chǎn)生二維圖像。本發(fā)明的圖像拾取設(shè)備包括:單個成像光學(xué)系統(tǒng)；圖像拾取裝置，其中經(jīng)由成像光學(xué)系統(tǒng)來形成被攝體圖像；成像模式選擇單元，其在用于成像二維圖像的2D成像模式與用于成像三維圖像的3D成像模式之間進行切換；亮度檢測單元，其檢測被攝體的亮度；第一圖像產(chǎn)生單元，其在成像模式選擇單元選擇了 2D成像模式并且檢測到的被攝體的亮度超過預(yù)定閾值時，基于從與圖像拾取裝置的第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第一輸出信號來產(chǎn)生二維圖像，以及在檢測到的被攝體的亮度小于或等于預(yù)定閾值時，基于從與圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生二維圖像；第二圖像產(chǎn)生單元，其在成像模式選擇單元選擇了 3D成像模式時基于從與圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生三維圖像；以及記錄單元，其記錄由第一圖像產(chǎn)生單元產(chǎn)生的二維圖像、或者由第二圖像產(chǎn)生單元產(chǎn)生的三維圖像。
根據(jù)本發(fā)明，當(dāng)尤其是在選擇了 2D成像模式的情況下被攝體的亮度超過預(yù)定亮度時時，基于第一輸出信號來產(chǎn)生高分辨率的二維圖像。當(dāng)被攝體的亮度小于或等于預(yù)定亮度時，基于第二輸出信號來產(chǎn)生二維圖像。當(dāng)基于第二輸出信號來產(chǎn)生二維圖像時，執(zhí)行nXn個像素的像素相加。因此，即使被攝體較暗也可以獲得期望的輸出信號。根據(jù)本發(fā)明的圖像拾取設(shè)備包括:單個成像光學(xué)系統(tǒng)；圖像拾取裝置，其中經(jīng)由成像光學(xué)系統(tǒng)來形成被攝體圖像；成像模式選擇單元，其在用于成像二維圖像的2D成像模式與用于成像三維圖像的3D成像模式之間進行切換；確定單元，其確定經(jīng)由成像光學(xué)系統(tǒng)和圖像拾取裝置成像的圖像是否包括許多高頻成分，其中針對通過對一個屏幕進行NXM劃分獲得的每個劃分區(qū)域來確定圖像是否包括許多高頻成分；第一圖像產(chǎn)生單元，其在成像模式選擇單元選擇了 2D成像模式并且確定出圖像是在包括許多高頻成分的劃分區(qū)域中時，針對每個劃分區(qū)域獲得從與圖像拾取裝置的第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第一輸出信號，以及在確定出圖像是在不包括許多高頻成分的劃分區(qū)域中時，獲得從與圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號，并且基于獲得的第一輸出信號和第二輸出信號來產(chǎn)生二維圖像；第二圖像產(chǎn)生單元，其在成像模式選擇單元選擇了 3D成像模式時基于從與圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生三維圖像；以及記錄單元，其記錄由第一圖像產(chǎn)生單元產(chǎn)生的二維圖像、或者由第二圖像產(chǎn)生單元產(chǎn)生的三維圖像。根據(jù)本發(fā)明，針對通過將一個屏幕劃分為NXM個劃分而獲得的每個劃分區(qū)域，取決于劃分區(qū)域尤其在選擇了 2D成像模式的情況下是否包括許多高頻成分，來從每個劃分區(qū)域選擇并獲得第一輸出信號和第二輸出信號之中的適當(dāng)?shù)妮敵鲂盘?。在本圖像拾取設(shè)備中，第二圖像產(chǎn)生單元基于從與圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號，來產(chǎn)生上、下、左、右四個視點的視差圖像，或者產(chǎn)生上和下、或左和右兩個視點的視差圖像。發(fā)明的有益效果根據(jù)本發(fā)明，利用其中混合有1-像素1-微透鏡部件和4-像素1-微透鏡部件的新穎的圖像拾取裝置，能夠成像高分辨率的2D圖像并且能夠成像3D圖像，而且能夠?qū)崿F(xiàn)設(shè)備的成本和尺寸的減小。


圖1是根據(jù)本發(fā)明的圖像拾取裝置的第一實施例的主要部分的平面圖。圖2Α是圖像拾取裝置中的1-像素1-微透鏡部件的示意圖。圖2Β是圖像拾取裝置中的4-像素1-微透鏡部件的示意圖。圖3是根據(jù)本發(fā)明的圖像拾取裝置的第二實施例的主要部分的平面圖。圖4是根據(jù)本發(fā)明的圖像拾取設(shè)備的實施例的框圖。圖5Α是4-像素1-微透鏡部件的示意圖。圖5Β是用于描述將4-像素1-微透鏡部件中的像素進行相加的方法的示意圖。圖6是根據(jù)本發(fā)明的圖像拾取設(shè)備的數(shù)字信號處理單元的內(nèi)部結(jié)構(gòu)的框圖。圖7是描述本發(fā)明的第一實施例的圖像拾取設(shè)備的操作的流程圖。圖8是描述本發(fā)明的第二實施例的圖像拾取設(shè)備的操作的流程圖。
圖9是描述本發(fā)明的第三實施例的圖像拾取設(shè)備的操作的流程圖。圖10是描述本發(fā)明的第四實施例的圖像拾取設(shè)備的操作的流程圖。圖11是描述本發(fā)明的第五實施例的圖像拾取設(shè)備的操作的流程圖。
具體實施例方式根據(jù)附圖來描述根據(jù)本發(fā)明的圖像拾取裝置和圖像拾取設(shè)備的實施例。[圖像拾取裝置]圖1是根據(jù)本發(fā)明的圖像拾取裝置的第一實施例的主要部分的平面圖。如圖1所示，該圖像拾取裝置I是CXD或CMOS彩色圖像傳感器，并且配置成主要包括在半導(dǎo)體襯底上以行方向和列方向布置的多個光電轉(zhuǎn)換元件(光電二極管)PD (參見圖2A和圖2B)、兩種類型的微透鏡LI和L2 (即，分別為小和大)、以及紅(R)、綠(G)、藍(B)多種顏色(三原色)的濾色器。針對一個光電二極管ro設(shè)置一個小的微透鏡LI，并且針對橫向和縱向上彼此接近的四個光電二極管ro設(shè)置一個大的微透鏡L2。下面，其中針對一個光電二極管ro (—個像素)設(shè)置一個微透鏡LI的部分被稱為1-像素1-微透鏡部件1A，其中針對四個光電二極管ro (四個像素)設(shè)置一個微透鏡L2的部分被稱為4-像素1-微透鏡部件1B。如圖1所示，圖像拾取裝置I具有以混合方式設(shè)置的1-像素1-微透鏡部件IA和4-像素1-微透鏡部件IB。而且，對1-像素1-微透鏡部件IA設(shè)置R、G、B中任意一種顏色的濾色器。類似地，對4-像素1-微透鏡部件IB設(shè)置R、G、B中任意一種顏色的濾色器。即，在4-像素1-微透鏡部件IB的四個光電二極管H)上設(shè)置相同顏色的濾色器。在圖1，按照RGRG...順序?qū)ζ鏀?shù)行11、13、15、17...上的1_像素1-微透鏡部件IA設(shè)置濾色器，按照GBGB...順序?qū)ε紨?shù)行12、14、16、18...上的1-像素1_微透鏡部件IA設(shè)置濾色器。另一方面，按照RGRG...順序?qū)π?1、12、15、16...上的4_像素1-微透鏡部件IB設(shè)置濾色器，按照GBGB...順序?qū)π?3、14、17、18...上的4-像素1_微透鏡部件IB設(shè)置濾色器。即，在該圖像拾取裝置I中，4X4像素被取作為一個塊，其中對一個塊提供16個1-像素1-微透鏡部件IA的第一區(qū)域以及其中對一個塊提供4個4-像素1-微透鏡部件IB的第二區(qū)域以棋盤格方式布置，并且1-像素1-微透鏡部件IA的R、G和B的濾色器布置以及4-像素1-微透鏡部件IB的R、G和B的濾色器布置均為Bayer布置。此外，如圖2A所示，1-像素1-微透鏡部件IA的每個微透鏡LI將一束光聚集到一個光電二極管ro的光接收表面上。另一方面，4-像素1-微透鏡部件IB的每個微透鏡L2將一束光聚集到四個光電二極管ro (圖2B中只描繪了兩個)的光接收表面上，并且使針對四個方向(即，向上、向下、向左、向右)中的每一個而限制的光束(光瞳分割的光)分別進入四個光電二極管H)。根據(jù)該圖像拾取裝置1，可以基于來自1-像素1-微透鏡部件IA的輸出信號來產(chǎn)生高分辨率的2D圖像，并且可以基于來自4-像素1-微透鏡部件IB的輸出信號來產(chǎn)生3D圖像。需要注意的是2D圖像和3D圖像的產(chǎn)生方法將在下面進一步描述。圖3是描述根據(jù)本發(fā)明的圖像拾取裝置的第二實施例的主要部分的平面圖。該圖像拾取裝置I’與圖1所示的圖像拾取裝置I的不同之處僅在于1-像素1-微透鏡部件IA和4-像素1-微透鏡部件IB的布置。S卩，圖像拾取裝置I’的各4-像素1-微透鏡部件IB以棋盤格方式布置，并且各1-像素1-微透鏡部件IA布置在其間。而且，每個1-像素1-微透鏡部件IA的濾色器以Bayer布置方式布置，并且每個4-像素1-微透鏡部件IB的濾色器以G行和RB行交替布置的方式來布置。需要注意的是1-像素1-微透鏡部件IA和4-像素1-微透鏡部件IB的布置不限于圖1和圖3所示的實施例，并且這些部件例如可以帶狀布置。而且，盡管在圖1和圖3所示的實施例中1-像素1-微透鏡部件IA的光電二極管ro的數(shù)量和4-像素1-微透鏡部件IB的光電二極管ro的數(shù)量相同，但這不是限制性的，而是任意數(shù)量都可以勝任，只要能夠獲得高分辨率的2D圖像并且能夠獲得3D圖像即可。而且，濾色器也不限于R、G和B的濾色器，可以是黃(Y)、品紅(M)、青(C)、以及其它顏色的濾色器。[圖像拾取設(shè)備]圖4是根據(jù)本發(fā)明的圖像拾取設(shè)備的實施例的框圖。該圖像拾取設(shè)備10配備有圖1所示的圖像拾取裝置1，可以成像2D圖像和3D圖像，并且整個設(shè)備的操作由中央處理單元(CPU)以集中方式進行控制。圖像拾取設(shè)備10配備有操作單元38，其包括快門按鈕、模式撥盤、回放按鈕、菜單/確認鍵、十字鍵、后退鍵等。來自該操作單元38的信號輸入至CPU40。CPU40控制圖像拾取設(shè)備10的每個電路，從而執(zhí)行例如透鏡驅(qū)動控制、光圈驅(qū)動控制、成像操作控制、圖像處理控制、圖像數(shù)據(jù)記錄/回放控制、以及用于立體顯示的顯示監(jiān)視器30的顯示控制。快門按鈕是用于輸入開始成像的指令的操作按鈕，并且配置成包括SI開關(guān)和S2開關(guān)，在半按時SI開關(guān)接通，在全按時S2開關(guān)接通。模式撥盤是選擇單元，根據(jù)本發(fā)明，其在2D成像模式、3D成像模式、自動成像模式、手動成像模式、場景位置(諸如人、風(fēng)景、夜晚等)、微距模式、視頻模式、以及視差優(yōu)先成像模式中進行選擇。回放按鈕是用于將已成像和已記錄的多個視差圖像(3D圖像)以及平面圖像(2D圖像)的靜止圖像或視頻切換至用于在液晶監(jiān)視器30上進行顯示的回放模式的按鈕。菜單/確認鍵是操作鍵，其具有做出用于在液晶監(jiān)視器30的屏幕上顯示菜單的指令的菜單按鈕的功能、以及做出用于建立和執(zhí)行所選擇的操作的指令的確認按鈕的功能。十字鍵是操作單元，其用于在四個方向(即，向上、向下、向左和向右)上輸入指令，并且用作用于從菜單屏幕選擇一個項目以及做出用于從每個菜單中選擇各種設(shè)置項中的任何一個的指令的按鈕(光標(biāo)移動操作構(gòu)件)。十字鍵包括上/下鍵和左/右鍵，上/下鍵用作在成像時的變焦開關(guān)或在回放模式時的回放縮放開關(guān)，左/右鍵用作幀前進(向前方向/倒退方向前進)按鈕。后退鍵用于期望目標(biāo)(諸如選項)的刪除、指令的取消、返回至前一操作狀態(tài)等。在成像模式時，表示被攝體的圖像光的圖像經(jīng)由單個成像光學(xué)系統(tǒng)(變焦透鏡)12和光圈14形成在圖像拾取裝置I的光接收表面上。成像光學(xué)系統(tǒng)12由受CPU40控制的透鏡驅(qū)動單元36來驅(qū)動，從而執(zhí)行聚焦控制、變焦控制等。光圈14例如由5個光圈葉片形成，并且由受CPU40控制的光圈驅(qū)動單元34來驅(qū)動，并且例如以每級I個AV步長從Fl.4光圈值到Fll光圈值的6個級的方式來進行光圈控制。而且，CPU40在圖像拾取裝置I中的電荷存儲時間(快門速度)內(nèi)經(jīng)由光圈驅(qū)動單元34來控制光圈14并且經(jīng)由裝置控制單元32執(zhí)行控制，然后從圖像拾取裝置I讀取圖像
坐坐I R V，寸寸ο基于從裝置控制單元32累加的讀取信號，讀取存儲在圖像拾取裝置I中的信號電荷作為根據(jù)信號電荷的電壓信號。從圖像拾取裝置I讀取的電壓信號被累加至模擬信號處理單元18，其中針對每個像素的R、G、B信號被采樣和保持，并且利用由CPU40指定的增益(對應(yīng)于ISO速度)被放大，然后被累加至A/D轉(zhuǎn)換器20。A/D轉(zhuǎn)換器20將順序輸入的R、G和B信號轉(zhuǎn)換成數(shù)字R、G和B信號以用于輸出至圖像輸入控制器32。數(shù)字信號處理單元24對經(jīng)由圖像輸入控制器22輸入的數(shù)字圖像信號執(zhí)行預(yù)定處理，例如補償處理、白平衡校正、包括感光度校正的增益控制處理、伽馬校正處理、同步處理、YC處理、以及銳度校正。注意，在圖4中，46表示ROM (EEPR0M)，其中存儲了相機控制程序、關(guān)于圖像拾取裝置I的缺陷信息、用于圖像處理等的各種參數(shù)和表格、程序圖(普通程序圖)(諸如光圈優(yōu)先程序圖、快門速度優(yōu)先程序圖、或者根據(jù)被攝體的亮度交替或同時改變光圈和快門速度的程序圖)、以及用于視差優(yōu)先等的程序圖。用于視差優(yōu)先的程序圖按以下方式設(shè)計，例如，F(xiàn)值取定值5.6 (AV=5)，且在成像EV值為從11至16時只有快門速度根據(jù)成像EV值而從1/60秒(TV=6)改變?yōu)?/2000秒(TV=Il)0其還設(shè)計成，當(dāng)成像EV值小于11時(當(dāng)較暗時)，將F值=5.6以及快門速度=1/60秒固定，則成像EV值每次減小IEV時ISO速度為從100變?yōu)?00、400、800、1600和3200。需要注意的是，不僅用于視差優(yōu)先的程序圖，而且根據(jù)來自圖像拾取裝置I的每個4-像素1-微透鏡部件IB的輸出信號獲得的四個視點處的各視差圖像，都根據(jù)光圈開口的大小來改變其視差，因此光圈開口可以被控制為不小于3D成像模式時的預(yù)定光圈開口。數(shù)字信號處理單元24根據(jù)在2D成像模式和3D成像模式之間確定的成像模式來執(zhí)行圖像處理，以及根據(jù)2D成像模式時的被攝體和成像條件來執(zhí)行圖像處理。需要注意的是，該數(shù)字信號處理單元24的圖像處理細節(jié)將在下面進一步進行描述。當(dāng)選擇了 2D成像模式時，數(shù)字信號處理單元24處理的2D圖像數(shù)據(jù)被輸出至VRAM50。另一方面，當(dāng)選擇了 3D成像模式時，數(shù)字信號處理單元24處理的3D圖像數(shù)據(jù)被輸出至VRAM50。VRAM50包括A區(qū)域和B區(qū)域，其每個存儲表示一幀圖像的圖像數(shù)據(jù)。在VRAM50中，在A區(qū)域和B區(qū)域之間交替地重寫表示一幀圖像的圖像數(shù)據(jù)。在VRAM50的A區(qū)域和B區(qū)域中，寫入的圖像數(shù)據(jù)從與其中圖像數(shù)據(jù)被重寫的區(qū)域不同的區(qū)域中被讀出。從VRAM50讀出的圖像數(shù)據(jù)在視頻編碼器28處進行編碼，然后輸出至設(shè)置在相機背面的用于進行立體顯示的液晶監(jiān)視器30。這樣，2D/3D被攝體圖像(實時取景圖像)顯示在液晶監(jiān)視器30的顯示屏幕上。盡管液晶監(jiān)視器30是能夠通過利用視差屏障來顯示各立體圖像(左視點圖像和右視點圖像)作為各自具有預(yù)定指向性的指向性圖像，但其不旨在進行限制，而且可以使用柱面透鏡，或者可以配戴諸如偏振眼鏡或液晶快門眼鏡之類的專用眼鏡來分別觀看左視點圖像和右視點圖像。
而且，當(dāng)操作單元38的快門按鈕被按至第一級(被半按)時，圖像拾取裝置I開始AF操作或AE操作，以經(jīng)由透鏡驅(qū)動單元36來控制成像光學(xué)系統(tǒng)12中的聚焦透鏡進行聚焦。而且，從A/D轉(zhuǎn)換器20輸出的圖像數(shù)據(jù)被輸入至AE檢測單元44。在AE檢測單元44中，累加整個屏幕上的G信號，或者累加對在屏幕中央部分和在外圍部分進行了不同加權(quán)的G信號，然后通過相加獲得的結(jié)果值被輸出至CPU40。CPU40根據(jù)從AE檢測單元44輸入的累加值來計算被攝體的亮度(成像EV值)，以及根據(jù)預(yù)定程序圖基于該成像EV值來確定圖像拾取裝置I的光圈值和電子快門(快門速度)。這里，在該程序圖中，與被攝體的亮度相對應(yīng)地來設(shè)計由光圈的光圈值和快門速度的組合或者光圈的光圈值和快門速度與成像感光度(ISO速度)的組合所形成的成像(曝光)條件。通過在根據(jù)程序圖確定的成像條件下進行成像，可以與被攝體的亮度無關(guān)地成像具有適當(dāng)亮度的圖像。CPU40基于根據(jù)程序圖確定的光圈值而經(jīng)由光圈驅(qū)動單兀34來控制光圈14,并且基于確定的快門速度經(jīng)由裝置控制單元32來控制圖像拾取裝置I中的電荷存儲時間。AF處理單元42是執(zhí)行對比度AF處理或相位差A(yù)F處理的部分。當(dāng)執(zhí)行對比度AF處理時，例如，對與1-像素1-微透鏡部件IA相對應(yīng)的多個圖像數(shù)據(jù)中的預(yù)定聚焦區(qū)域中的圖像數(shù)據(jù)的高頻成分進行提取，并且對這些高頻成分進行積分，從而計算表示聚焦?fàn)顟B(tài)的AF評估值。AF控制是通過控制成像光學(xué)系統(tǒng)12中的聚焦透鏡而使得該AF評估值為最大來執(zhí)行的。而且，為了執(zhí)行相位差A(yù)F處理，對與4-像素1-微透鏡部件IB相對應(yīng)的多個視差圖像數(shù)據(jù)中的預(yù)定聚焦區(qū)域中的圖像數(shù)據(jù)的相位差進行檢測，并且基于表示該相位差的信息來得出散焦量。AF控制是通過控制成像光學(xué)系統(tǒng)12中的聚焦透鏡以使得該散焦量為O來執(zhí)行的。當(dāng)AE操作或AF操作結(jié)束并且快門按鈕被按至第二級(被全按)時，響應(yīng)于該按下，從A/D轉(zhuǎn)換器20輸出的圖像數(shù)據(jù)從圖像輸入控制器22輸入至存儲器(SDRAM)48進行暫時存儲。暫時存儲在存儲器48中的圖像數(shù)據(jù)被數(shù)字信號處理單元24在適當(dāng)時讀取?，F(xiàn)在，為了在2D成像模式時根據(jù)與1-像素1-微透鏡部件IA相對應(yīng)的圖像數(shù)據(jù)來產(chǎn)生2D圖像，由于與4-像素1-微透鏡部件IB的各像素位置相對應(yīng)的圖像數(shù)據(jù)是不足的，因此對與1-像素1-微透鏡部件IA相對應(yīng)的圖像數(shù)據(jù)進行線性內(nèi)插，以產(chǎn)生足以補償該不足的圖像數(shù)據(jù)。然后，對包括與1-像素1-微透鏡部件IA相對應(yīng)的圖像數(shù)據(jù)和通過內(nèi)插產(chǎn)生的圖像數(shù)據(jù)在內(nèi)的所有圖像數(shù)據(jù)進行預(yù)定信號處理，包括同步處理(對由于原色濾色器的布置而導(dǎo)致的顏色信號的空間偏離進行內(nèi)插以將該顏色信號變換為同步方程的處理)、YC處理(產(chǎn)生圖像數(shù)據(jù)的亮度數(shù)據(jù)和色差數(shù)據(jù)的處理)。經(jīng)過YC處理的圖像數(shù)據(jù)(YC數(shù)據(jù))被再次存儲在存儲器48中。而且，為了根據(jù)與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)來產(chǎn)生2D圖像，針對每個4-像素1-微透鏡部件IB的四個圖像數(shù)據(jù)相加在一起以根據(jù)該四個圖像數(shù)據(jù)產(chǎn)生針對一個像素的圖像數(shù)據(jù)。此外，由于與1-像素1-微透鏡部件IA的像素位置相對應(yīng)的圖像數(shù)據(jù)是不足的，因此對產(chǎn)生的圖像數(shù)據(jù)進行線性內(nèi)插以產(chǎn)生用于補償不足的圖像數(shù)據(jù)。然后，對包括與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)和通過內(nèi)插產(chǎn)生的圖像數(shù)據(jù)在內(nèi)的所有圖像數(shù)據(jù)進行預(yù)定信號處理，包括同步處理和YC處理。經(jīng)過YC處理后的YC數(shù)據(jù)再次被存儲在存儲器48中。另一方面，為了在3D成像模式時根據(jù)與4-像素1-微透鏡部件IB相對應(yīng)的四個視點的圖像數(shù)據(jù)來產(chǎn)生3D圖像，首先，由于與1-像素1-微透鏡部件IA的像素位置相對應(yīng)的四個視點的圖像數(shù)據(jù)是不足的，因此對與4-像素1-微透鏡部件IB相對應(yīng)的四個視點的圖像數(shù)據(jù)進行線性內(nèi)插以產(chǎn)生用于補償不足的圖像數(shù)據(jù)。這樣，產(chǎn)生了四個視點(四個)的圖像數(shù)據(jù)。如圖5A所示，4-像素1-微透鏡部件IB的像素為A、B、C和D，針對A、B、C和D的每一個而產(chǎn)生了四個圖像數(shù)據(jù)。接著，當(dāng)利用水平放置的圖像拾取設(shè)備10進行成像時，將A和C的圖像數(shù)據(jù)相加在一起以產(chǎn)生左眼用顯示圖像(左視差圖像)，并且將B和D的圖像數(shù)據(jù)相加在一起以產(chǎn)生右眼用顯示圖像(右視差圖像)。需要注意的是，當(dāng)利用水平放置的圖像拾取設(shè)備10進行成像時，對圖1的每個4-像素1-微透鏡部件IB的四個像素設(shè)置的參考字符L和R分別表示左眼用顯示像素和右眼用顯示像素。另一方面，當(dāng)利用垂直放置的圖像拾取設(shè)備10來進行成像時，將A和B的圖像數(shù)據(jù)相加在一起以產(chǎn)生左眼用顯示圖像(左視差圖像)，并且將C和D的圖像數(shù)據(jù)相加在一起以產(chǎn)生右眼用顯示圖像(右視差圖像)。需要注意的是，圖像拾取設(shè)備10設(shè)置有檢測圖像拾取設(shè)備10的(水平)姿態(tài)的傳感器，在3D成像時基于圖像拾取設(shè)備10的姿態(tài)來選擇性地執(zhí)行上述的像素相加。而且，如下面進一步描述的，通過將A、B、C和D圖像數(shù)據(jù)的相加在一起，也可以產(chǎn)生2D圖像。以如上所述方式在2D成像模式時產(chǎn)生的且存儲在存儲器48中的一個YC數(shù)據(jù)被輸出至壓縮/擴展處理單元26，在其中進行諸如JPEG (聯(lián)合圖像專家組)的預(yù)定壓縮處理，然后經(jīng)由介質(zhì)控制器52記錄在存儲卡54上。而且，存儲在存儲器48中的兩個(左視點和右視點)YC數(shù)據(jù)各自被輸出至壓縮/擴展處理單元26，在其中進行諸如JPEG (聯(lián)合圖像專家組)的預(yù)定壓縮處理。進一步產(chǎn)生多圖片文件(MP文件:具有耦合在一起的多個圖像的形式的文件)，然后MP文件經(jīng)由介質(zhì)控制器52被記錄在存儲卡54上。需要注意的是，如圖5B所示盡管在3D成像模式時產(chǎn)生左和右兩個視差圖像，但其不旨在進行限制，而如圖5B所示，實際可以原樣記錄四個(B卩，上、下、左、右)視差圖像，然后在3D回放時執(zhí)行圖像相加以輸出視差圖像。圖6是數(shù)字信號處理單元24的內(nèi)部結(jié)構(gòu)的框圖。如該圖所示，數(shù)字信號處理單元24配置成包括輸入/輸出處理電路24、圖像確定單元242、圖像處理單元243、以及控制單元 244。輸入/輸出處理電路241輸入和輸出曾經(jīng)經(jīng)由圖像輸入控制器22存儲在存儲器48中的圖像數(shù)據(jù)。圖像確定單元242根據(jù)經(jīng)由輸入/輸出處理電路241獲得的圖像數(shù)據(jù)(具有混合在一起的與1-像素1-微透鏡部件IA相對應(yīng)的圖像數(shù)據(jù)、以及與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)的圖像數(shù)據(jù))來確定是要使用與1-像素1-微透鏡部件IA相對應(yīng)的圖像數(shù)據(jù)還是要使用與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)。圖像處理單元243根據(jù)圖像確定單元242的確定結(jié)果來執(zhí)行從獲得的圖像數(shù)據(jù)產(chǎn)生用于記錄的圖像數(shù)據(jù)的后處理?？刂茊卧?44是以集中方式控制輸入/輸出處理電路241、圖像確定單元242、以及圖像處理單元243的部分。[第一實施例]
圖7是描述本發(fā)明的第一實施例的圖像拾取設(shè)備10的操作的流程圖。攝影師首先操作操作單元38的模式撥盤來選擇2D成像模式或3D成像模式，然后在觀看輸出至液晶監(jiān)視器30的實時取景圖像(即時預(yù)覽圖像)時確定構(gòu)圖，通過半按或全按快門按鈕來執(zhí)行成像(步驟SlO)。接著，CPU40確定利用模式撥盤是選擇了 2D成像模式還是選擇了 3D成像模式(步驟S12)。如果已選擇2D成像模式，則轉(zhuǎn)移至步驟S14。如果已選擇3D成像模式，則轉(zhuǎn)移至步驟S18。在步驟S14，圖6所示的圖像確定單元242從經(jīng)由輸入/輸出處理電路241獲得的其中混合有與1-像素1-微透鏡部件IA相對應(yīng)的圖像數(shù)據(jù)和與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)的圖像數(shù)據(jù)中，確定要使用與1-像素1-微透鏡部件IA相對應(yīng)的圖像數(shù)據(jù)，并且選擇與1-像素1-微透鏡部件IA相對應(yīng)的圖像數(shù)據(jù)以輸出至圖像處理單元243。圖像處理單元243通過對與1-像素1-微透鏡部件IA相對應(yīng)的圖像數(shù)據(jù)執(zhí)行線性內(nèi)插來產(chǎn)生與4-像素1-微透鏡部件IB的各像素位置相對應(yīng)的圖像數(shù)據(jù)，以產(chǎn)生針對一個屏幕的高分辨率的圖像數(shù)據(jù)，并且還執(zhí)行諸如白平衡校正、伽馬校正、同步處理、以及YC處理之類的預(yù)定信號處理。通過由圖像處理單元243進行的YC處理獲得的圖像數(shù)據(jù)(YC數(shù)據(jù))經(jīng)由輸入/輸出處理電路241被存儲在存儲器48中、由壓縮/擴展處理單元26進行壓縮處理、然后經(jīng)由介質(zhì)控制器52在存儲卡54上被記錄為2D圖像(步驟S16)。另一方面，當(dāng)以3D成像模式進行成像而轉(zhuǎn)移至步驟S18時，圖6所示的圖像確定單元242從經(jīng)由輸入/輸出處理電路241獲得的其中混合有與1-像素1-微透鏡部件IA相對應(yīng)的圖像數(shù)據(jù)和與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)的圖像數(shù)據(jù)中，確定要使用與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)，并且選擇與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)以輸出至圖像處理單元243。圖像處理單元243通過對與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)進行線性內(nèi)插來產(chǎn)生與各1-像素1-微透鏡部件IA的像素位置相對應(yīng)的圖像數(shù)據(jù)，以產(chǎn)生圖5B所示的針對四個視點的(四個)圖像數(shù)據(jù)，此外，在成像時根據(jù)圖像拾取設(shè)備10的姿態(tài)對兩個圖像進行相加以產(chǎn)生左眼用顯示圖像(左視差圖像)以及右眼用顯示圖像(右視差圖像)。然后，執(zhí)行諸如白平衡校正、伽馬校正、同步處理、以及YC處理之類的預(yù)定信號處理。通過由圖像處理單元243進行的YC處理獲得的圖像數(shù)據(jù)(YC數(shù)據(jù))經(jīng)由輸入/輸出處理電路241被存儲在存儲器48中、由壓縮/擴展處理單元26進行壓縮處理、然后經(jīng)由介質(zhì)控制器52在存儲卡54上被記錄為3D圖像(步驟S20)。[第二實施例]圖8是描述本發(fā)明的第二實施例的圖像拾取設(shè)備10的操作的流程圖。需要注意的是，與圖7所示的第一實施例相同的部分設(shè)置有相同的步驟編號，并且省略其詳細描述。圖8所示的第二實施例與第一實施例的不同點在于增加了由單點劃線包圍的步驟S30、S32、S34、以及S36的處理。在步驟S30，計算在步驟SlO成像的圖像的典型空間頻率。在本實施例中，從各1-像素I微透鏡部件IA獲得的圖像被轉(zhuǎn)換成空間頻域，并且計算諸如整個屏幕在空間頻域中的平均空間頻率(下文中稱為“典型空間頻率”)(第一典型空間頻率)、來自各4-像素1-微透鏡部件IB的圖像的典型空間頻率(第二典型空間頻率)之類的空間頻率。需要注意的是，對于在計算典型空間頻率時使用的像素，可以使用接近亮度信號的G像素信號。接著，確定第一典型空間頻率是否超過預(yù)定閾值(步驟S32)。該判定是通過計算第一典型空間頻率與第二典型空間頻率之差并且確定該差是否超過預(yù)定值(例如，用于確定兩個典型空間頻率之間是否存在明顯差異的值)來執(zhí)行的。需要注意的是，關(guān)于第一典型空間頻率是否超過預(yù)定閾值的確定不限于上述示例，而且可以通過與預(yù)設(shè)閾值(例如，可以取第二典型空間頻率的最大值)進行比較來執(zhí)行。然后，當(dāng)確定第一典型空間頻率超過預(yù)定閾值時，轉(zhuǎn)移至步驟S14。當(dāng)確定第一典型空間頻率小于或等于預(yù)定閾值時，轉(zhuǎn)移至步驟S34。即，當(dāng)?shù)谝坏湫涂臻g頻率超過預(yù)定閾值時，被攝體圖像包括許多高頻成分，并且優(yōu)選地被記錄為高分辨率的2D圖像，因此轉(zhuǎn)移至步驟S14。當(dāng)?shù)谝坏湫涂臻g頻率小于或等于預(yù)定閾值時，由于被攝體圖像具有較少的高頻成分，因此感光度優(yōu)先于分辨率，從而轉(zhuǎn)移至步驟S34。在步驟S34，圖像確定單元242 (圖6)從經(jīng)由輸入/輸出處理電路241獲得的其中混合有與1-像素1-微透鏡部件IA相對應(yīng)的圖像數(shù)據(jù)和與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)的圖像數(shù)據(jù)中，確定要使用與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)，并且選擇與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)以輸出至圖像處理單元243。需要注意的是，在2D成像模式時，針對從4-像素1-微透鏡部件IB輸出的圖像信號(模擬信號)，考慮到四個像素的像素相加而減小模擬增益(降低感光度)。圖像處理單元243根據(jù)與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)來產(chǎn)生2D圖像數(shù)據(jù)。即，針對每個4-像素1-微透鏡部件IB將四個圖像數(shù)據(jù)相加在一起，以根據(jù)該四個圖像數(shù)據(jù)產(chǎn)生針對一個像素的圖像數(shù)據(jù)。而且，利用所述產(chǎn)生的圖像數(shù)據(jù)的線性內(nèi)插，產(chǎn)生了各1-像素1-微透鏡部件IA的像素位置處的圖像數(shù)據(jù)。然后，基于包括與4-像素1-微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)和通過內(nèi)插產(chǎn)生的圖像數(shù)據(jù)在內(nèi)的所有圖像數(shù)據(jù)，來執(zhí)行諸如白平衡校正、伽馬校正、同步處理、以及YC處理之類的預(yù)定信號處理。通過由圖像處理單元243進行的YC處理獲得的圖像數(shù)據(jù)(YC數(shù)據(jù))經(jīng)由輸入/輸出處理電路241被存儲在存儲器48中、由壓縮/擴展處理單元26進行壓縮處理、然后經(jīng)由介質(zhì)控制器52在存儲卡54上被記錄為2D圖像(步驟S36)。[第三實施例]圖9是描述本發(fā)明的第三實施例的圖像拾取設(shè)備10的操作的流程圖。需要注意的是，與圖7所示的第一實施例、圖8所示的第二實施例相同的部分設(shè)置有相同的步驟編號，并且省略其詳細描述。圖9所示的第三實施例與第一實施例的不同點在于增加了由單點劃線包圍的步驟S40、S42、S34、以及S36的處理。在步驟S40，獲得在步驟SlO成像時的平均亮度?？梢允褂糜葾E檢測單元44 (圖4)測量到的被攝體的亮度(成像EV值)作為該平均亮度。接著，確定平均亮度是否超過預(yù)定閾值(步驟S42)。例如，假設(shè)當(dāng)平均亮度(成像EV值)較小并且需要增加成像感光度時的值來作為該閾值。當(dāng)平均亮度超過預(yù)定閾值時(當(dāng)不需要增加成像感光度時)，轉(zhuǎn)移至步驟S14。當(dāng)平均亮度小于或等于預(yù)定閾值時(當(dāng)需要增加成像感光度時)，轉(zhuǎn)移至步驟S34。
在步驟S34和S36，如與圖8所示的第二實施例一樣，選擇與4_像素1_微透鏡部件IB相對應(yīng)的圖像數(shù)據(jù)，以及基于所選擇的圖像數(shù)據(jù)來產(chǎn)生并記錄2D圖像。需要注意的是，如上所述，由于考慮了 2D成像模式時的四個像素的像素相加而將模擬增益設(shè)置得較低(將感光度設(shè)置得較低)，因此可以獲得與來自1-像素1-微透鏡部件IA的圖像信號相比具有較少噪聲的2D圖像數(shù)據(jù)。[第四實施例]圖10是描述本發(fā)明的第四實施例的圖像拾取設(shè)備10的操作的流程圖。需要注意的是，與圖7所示的第一實施例、圖8所示的第二實施例、圖9所示第三實施例相同的部分設(shè)置有相同的步驟編號，并且省略其詳細描述。圖10所示的第四實施例與第一實施例的不同點在于增加了由單點劃線包圍的步驟 S30、S32、S34、S36、S40、以及 S42 的處理。S卩，只當(dāng)在步驟S32確定了第一典型空間頻率超過預(yù)定閾值并且在步驟S42確定了平均亮度超過預(yù)定閾值時，才基于從各1-像素I微透鏡部件IA輸出的圖像數(shù)據(jù)來產(chǎn)生并記錄2D圖像。否則，基于從各4-像素I微透鏡部件IB輸出的圖像數(shù)據(jù)來產(chǎn)生并記錄2D圖像。在其中不能獲得足夠亮度的成像環(huán)境的情況下，即使圖像的分辨率比高分辨率圖像的分辨率低，也經(jīng)常需要具有低噪聲的圖像。根據(jù)第四實施例，如果平均亮度小于或等于預(yù)定亮度，則即使第一典型空間頻率超過預(yù)定閾值(圖像包括許多高頻成分)也基于從各4-像素1-微透鏡部件IB輸出的第二輸出信號來產(chǎn)生二維圖像。[第五實施例]圖11是描述本發(fā)明的第五實施例的圖像拾取設(shè)備10的操作的流程圖。需要注意的是，與圖7所示的第一實施例相同的部分設(shè)置有相同的步驟編號，并且省略其詳細描述。圖11所示的第五實施例與第一實施例的不同點在于增加了由單點劃線包圍的步驟S50至S64的處理。在第五實施例中，一個成像屏幕被劃分成NXM個劃分區(qū)域，并且針對通過NXM劃分獲得的每個劃分區(qū)域計算典型空間頻率。劃分區(qū)域的大小優(yōu)選地為在能夠計算出典型空間頻率的范圍內(nèi)盡可能小。然后確定針對每個劃分區(qū)域是選擇1-像素1-微透鏡部件IA的圖像數(shù)據(jù)還是選擇4-像素1-微透鏡部件IB的圖像數(shù)據(jù)。步驟S50是通過將變量X的初始值設(shè)為1、變量X的最終值設(shè)為N、以及改變變量X時的增量設(shè)為I來使步驟S64重復(fù)地處理的預(yù)確定步驟，步驟S52是通過將變量Y的初始值設(shè)為1、變量Y的最終值設(shè)為M、以及改變變量Y時的增量設(shè)為I來使步驟S62重復(fù)地處理的預(yù)確定步驟。借助于此，執(zhí)行雙循環(huán)重復(fù)處理。在步驟S54，計算成像圖像的劃分區(qū)域ZONE (X，Y)的典型空間頻率。在步驟S56，確定計算出的劃分區(qū)域ZONE (X，Y)的典型空間頻率是否超過閾值。該確定以與第二實施例的確定(圖8的步驟S32)類似的方式執(zhí)行。然后，當(dāng)確定劃分區(qū)域Ζ0ΝΕ(Χ，Υ)的典型空間頻率超過閾值時，該劃分區(qū)域Ζ0ΝΕ(Χ, Y)中的1-像素1-微透鏡部件IA的圖像數(shù)據(jù)被選擇并且被暫時存儲(步驟S58)。另一方面，當(dāng)確定劃分區(qū)域Ζ0ΝΕ(Χ，Υ)的典型空間頻率小于或等于閾值時，該劃分區(qū)域ZONE(X, Y)中的4-像素1-微透鏡部件IB的圖像數(shù)據(jù)被選擇并且被暫時存儲(步驟S60)。通過執(zhí)行雙循環(huán)中的重復(fù)處理，針對所有NXM個劃分區(qū)域Ζ0ΝΕ(Χ，Y)選擇1-像素1-微透鏡部件IA的圖像數(shù)據(jù)或者4-像素1-微透鏡部件IB的圖像數(shù)據(jù)。在步驟S16’，基于針對一個屏幕的其中混合有1-像素1-微透鏡部件IA的圖像數(shù)據(jù)和4-像素1-微透鏡部件IB的圖像數(shù)據(jù)的圖像數(shù)據(jù)來產(chǎn)生2D圖像。在此情況下，基于4-像素1-微透鏡部件IB的圖像數(shù)據(jù)所產(chǎn)生的劃分區(qū)域的2D圖像的像素數(shù)量不同于基于1-像素1-微透鏡部件IA的圖像數(shù)據(jù)所產(chǎn)生的劃分區(qū)域的2D圖像的像素數(shù)量。因此，基于4-像素1-微透鏡部件IB產(chǎn)生的劃分區(qū)域的2D圖像的一個像素通過內(nèi)插等來變成四個像素，從而使每個劃分區(qū)域的像素數(shù)量相等。即，盡管步驟S16’與第一實施例的圖7的步驟S16的不同點在于使每個劃分區(qū)域的像素數(shù)量相等這一處理，但其他要執(zhí)行的處理與步驟S16的那些類似，從而產(chǎn)生并存儲2D圖像。根據(jù)第五實施例，能夠使用根據(jù)要成像的目標(biāo)(被攝體是否包括高頻成分)的最優(yōu)圖像數(shù)據(jù)來產(chǎn)生2D圖像。[其他]在2D成像模式時使用的選擇1-像素1-微透鏡部件IA的圖像數(shù)據(jù)或4_像素1-微透鏡部件IB的圖像數(shù)據(jù)的方法不限于這些實施例。例如，當(dāng)要記錄的圖像的尺寸被設(shè)為最大圖像尺寸的四分之一時，可以使用4-像素1-微透鏡部件IB的圖像數(shù)據(jù)。而且，盡管在實施例中根據(jù)典型空間頻率是否超過閾值來選擇1-像素1-微透鏡部件IA的圖像數(shù)據(jù)或4-像素1-微透鏡部件IB的圖像數(shù)據(jù)，但其不旨在進行限制。例如，可以通過高通濾波器提取圖像中包括的高頻成分，并且基于提取的高頻成分的積分值的大小來選擇使用1-像素1-微透鏡部件IA的圖像數(shù)據(jù)或4-像素1-微透鏡部件IB的圖像數(shù)據(jù)。簡而言之，確定圖像是否包括許多高頻成分、并且基于確定結(jié)果選擇使用1-像素1-微透鏡部件IA的圖像數(shù)據(jù)或4-像素1-微透鏡部件IB的圖像數(shù)據(jù)就足夠了。此外，本發(fā)明不限于上述實施例，并且無需說在不背離本發(fā)明的精神的范圍內(nèi)的各種改變是可能的。例如，分配給一個微透鏡部件IB的像素數(shù)量可以是2X2=4個也可以是3X3=9個、4X4=16個、或nXn個(η:大于等于2的整數(shù))像素。因此，1-像素1-微透鏡部件IA的像素單位可以是2X2=4個像素、3X3=9個像素、4X4=16個像素、或ηΧη (η:大于等于2的整數(shù))個像素。參考符號列表1、I’...圖像拾取裝置、1A...1-像素1-微透鏡部件、1B...4-像素1-微透鏡部件、
10...圖像拾取設(shè)備、12...成像光學(xué)系統(tǒng)、14...光圈、24...數(shù)字信號處理單元、30...液晶監(jiān)視器、38...操作單元、40...中央處理單元(CPU)、42...AF處理單元、44...AE檢測單元、
46...ROM,48...存儲器、54...存儲卡、241...輸入/輸出處理電路、242...圖像確定單元、
243...圖像處理單元、244...控制單元、L1、L2...微透鏡、PD...光電二極管。
權(quán)利要求
1.一種圖像拾取裝置，包括: 多個光電轉(zhuǎn)換元件，其沿行方向和列方向布置在半導(dǎo)體襯底上； 第一微透鏡，其是設(shè)置在所述多個光電轉(zhuǎn)換元件中的一個光電轉(zhuǎn)換元件上的一個微透鏡，所述第一微透鏡將進入微透鏡的光引導(dǎo)至所述一個光電轉(zhuǎn)換元件的光接收表面；以及 第二微透鏡，其是設(shè)置在所述多個光電轉(zhuǎn)換元件中沿橫向和縱向彼此相鄰的nXn個光電轉(zhuǎn)換元件之上的一個微透鏡，所述第二微透鏡對進入微透鏡的光進行光瞳分割以將其引導(dǎo)至所述nXn個光電轉(zhuǎn)換元件中的每一個光電轉(zhuǎn)換元件的光接收表面，其中η為大于等于2的整數(shù)， 所述第一微透鏡和所述第二微透鏡以混合方式設(shè)置，使得至少基于來自與所述第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件的第一輸出信號和來自與所述第二微透鏡相對應(yīng)的任何光電轉(zhuǎn)換元件的第二輸出信號來分別產(chǎn)生二維圖像和三維圖像。
2.根據(jù)權(quán)利要求1所述的圖像拾取裝置，其中 對于多種顏色的濾色器，在所述多個光電轉(zhuǎn)換元件之上提供任何顏色的濾色器，并且 為與所述第二微透鏡相對應(yīng)的所述nXn個光電轉(zhuǎn)換元件提供相同顏色的濾色器。
3.根據(jù)權(quán)利要求1或2所述的圖像拾取裝置，其中 其處設(shè)置有所述第一微透鏡的光電轉(zhuǎn)換元件的數(shù)量與其處設(shè)置有所述第二微透鏡的光電轉(zhuǎn)換元件的數(shù)量彼此相等。
4.根據(jù)權(quán)利要求1至3中任一項所述的圖像拾取裝置，其中 將4X4個光電轉(zhuǎn)換元件取作一個塊，并且其中對一個塊提供16個第一微透鏡的第一區(qū)域以及其中對一個塊提供4個第二微透鏡的第二區(qū)域以棋盤格方式布置。
5.根據(jù)權(quán)利要求1至3中任一項所述的圖像拾取裝置，其中 將2 X 2個光電轉(zhuǎn)換元件取作一個塊，并且其中對一個塊提供4個第一微透鏡的第一區(qū)域以及其中對一個塊提供I個第二微透鏡的第二區(qū)域以棋盤格方式布置。
6.一種圖像拾取設(shè)備，包括: 單個成像光學(xué)系統(tǒng)； 根據(jù)權(quán)利要求1至5中任一項所述的圖像拾取裝置，其中經(jīng)由所述成像光學(xué)系統(tǒng)形成被攝體圖像； 成像模式選擇單元，其在用于成像二維圖像的2D成像模式與用于成像三維圖像的3D成像模式之間進行切換； 第一圖像產(chǎn)生單元，其在所述成像模式選擇單元選擇了 2D成像模式時基于從與所述圖像拾取裝置的第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第一輸出信號來產(chǎn)生二維圖像； 第二圖像產(chǎn)生單元，其在所述成像模式選擇單元選擇了 3D成像模式時基于從與所述圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生三維圖像；以及 記錄單元，其記錄由所述第一圖像產(chǎn)生單元產(chǎn)生的二維圖像、或者由所述第二圖像產(chǎn)生單元產(chǎn)生的三維圖像。
7.一種圖像拾取設(shè)備，包括: 單個成像光學(xué)系統(tǒng)；根據(jù)權(quán)利要求1至5中任一項所述的圖像拾取裝置，其中經(jīng)由所述成像光學(xué)系統(tǒng)形成被攝體圖像； 成像模式選擇單元，其在用于成像二維圖像的2D成像模式與用于成像三維圖像的3D成像模式之間進行切換； 確定單元，其確定經(jīng)由所述成像光學(xué)系統(tǒng)和所述圖像拾取裝置成像的圖像是否包括許多高頻成分； 第一圖像產(chǎn)生單元，其在所述成像模式選擇單元選擇了 2D成像模式并且所述確定單元確定了圖像包括許多高頻成分時，基于從與所述圖像拾取裝置的第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第一輸出信號來產(chǎn)生二維圖像，以及在所述確定單元確定圖像不包括許多高頻成分時，基于從與所述圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生二維圖像； 第二圖像產(chǎn)生單元，其在所述成像模式選擇單元選擇了 3D成像模式時基于從與所述圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生三維圖像；以及 記錄單元，其記錄由所述第一圖像產(chǎn)生單元產(chǎn)生的二維圖像、或者由所述第二圖像產(chǎn)生單元產(chǎn)生的三維圖像。
8.根據(jù)權(quán)利要求7所述的圖像拾取設(shè)備，還包括: 亮度檢測單元，其檢測被攝體的亮度，其中 所述第一圖像產(chǎn)生單元在所述成像模式選擇單元選擇了 2D成像模式、所述確定單元確定了圖像包括許多高頻成分、并且檢測到的被攝體的亮度超過預(yù)定閾值時，基于從與所述圖像拾取裝置的第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第一輸出信號來產(chǎn)生二維圖像，以及在所述確定單元 確定了圖像不包括許多高頻成分時或者在檢測到的被攝體的亮度小于或等于預(yù)定閾值時，基于從與所述圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生二維圖像。
9.一種圖像拾取設(shè)備，包括: 單個成像光學(xué)系統(tǒng)； 根據(jù)權(quán)利要求1至5中任一項所述的圖像拾取裝置，其中經(jīng)由所述成像光學(xué)系統(tǒng)形成被攝體圖像； 成像模式選擇單元，其在用于成像二維圖像的2D成像模式與用于成像三維圖像的3D成像模式之間進行切換； 亮度檢測單元，其檢測被攝體的亮度； 第一圖像產(chǎn)生單元，其在所述成像模式選擇單元選擇了 2D成像模式并且檢測到的被攝體的亮度超過預(yù)定閾值時，基于從與所述圖像拾取裝置的第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第一輸出信號來產(chǎn)生二維圖像，以及在檢測到的被攝體的亮度小于或等于預(yù)定閾值時，基于從與所述圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生二維圖像； 第二圖像產(chǎn)生單元，其在所述成像模式選擇單元選擇了 3D成像模式時基于從與所述圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生三維圖像；以及記錄單元，其記錄由所述第一圖像產(chǎn)生單元產(chǎn)生的二維圖像、或者由所述第二圖像產(chǎn)生單元產(chǎn)生的三維圖像。
10.一種圖像拾取設(shè)備，包括: 單個成像光學(xué)系統(tǒng)； 根據(jù)權(quán)利要求1至 5中任一項所述的圖像拾取裝置，其中經(jīng)由所述成像光學(xué)系統(tǒng)形成被攝體圖像； 成像模式選擇單元，其在用于成像二維圖像的2D成像模式與用于成像三維圖像的3D成像模式之間進行切換； 確定單元，其確定經(jīng)由所述成像光學(xué)系統(tǒng)和所述圖像拾取裝置成像的圖像是否包括許多高頻成分，針對通過對一個屏幕進行NXM劃分獲得的每個劃分區(qū)域來確定圖像是否包括許多高頻成分； 第一圖像產(chǎn)生單元，其在所述成像模式選擇單元選擇了 2D成像模式并且確定了圖像是在包括許多高頻成分的劃分區(qū)域中時，針對每個劃分區(qū)域獲得從與所述圖像拾取裝置的第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第一輸出信號，以及在確定了所述圖像是在不包括許多高頻成分的劃分區(qū)域中時，獲得從與所述圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號，并且基于獲得的第一輸出信號和第二輸出信號來產(chǎn)生二維圖像； 第二圖像產(chǎn)生單元，其在所述成像模式選擇單元選擇了 3D成像模式時基于從與所述圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來產(chǎn)生三維圖像；以及 記錄單元，其記錄由所述第一圖像產(chǎn)生單元產(chǎn)生的二維圖像、或者由所述第二圖像產(chǎn)生單元產(chǎn)生的三維圖像。
11.根據(jù)權(quán)利要求6至10中任一項所述的圖像拾取設(shè)備，其中 所述第二圖像產(chǎn)生單元基于從與所述圖像拾取裝置的第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號，來產(chǎn)生上、下、左、右四個視點的視差圖像，或者產(chǎn)生上和下、或左和右兩個視點的視差圖像。
全文摘要
提供了一種圖像拾取裝置，包括多個光電轉(zhuǎn)換元件，其沿行方向和列方向布置在半導(dǎo)體襯底上；第一微透鏡，其是設(shè)置在一個光電轉(zhuǎn)換元件之上的一個微透鏡，第一微透鏡將進入微透鏡的光引導(dǎo)至該一個光電轉(zhuǎn)換元件的光接收表面；以及第二微透鏡，其是設(shè)置在沿橫向和縱向彼此相鄰的四個光電轉(zhuǎn)換元件之上的一個微透鏡，第二微透鏡對進入微透鏡的光進行光瞳分割以將光引導(dǎo)至該四個光電轉(zhuǎn)換元件的光接收表面。第一微透鏡和第二微透鏡以混合方式設(shè)置，使得可以至少基于從與第一微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第一輸出信號和基于從與第二微透鏡相對應(yīng)的光電轉(zhuǎn)換元件輸出的第二輸出信號來分別產(chǎn)生二維圖像和三維圖像。
文檔編號H01L27/14GK103155542SQ20118004587
公開日2013年6月12日 申請日期2011年7月5日 優(yōu)先權(quán)日2010年9月24日
發(fā)明者土田朗義 申請人:富士膠片株式會社