專利名稱：三維成像裝置和視點(diǎn)圖像恢復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及單眼成像裝置，特別地涉及用于在圖像傳感器上分別對(duì)通過(guò)了圖像拍攝透鏡的不同方向上的兩個(gè)區(qū)域的對(duì)象圖像進(jìn)行成像從而獲得不同視點(diǎn)圖像的技術(shù)。
背景技術(shù)：
通常，在這種單眼三維成像裝置中，具有圖9所示的光學(xué)系統(tǒng)的單眼三維成像裝置是已知的(專利文獻(xiàn)I)。該光學(xué)系統(tǒng)中，通過(guò)主透鏡I和中繼透鏡2的在右方和左方不同的區(qū)域的對(duì)象圖像使用反射鏡4經(jīng)歷光瞳分割，并經(jīng)由成像透鏡5和6而在圖像傳感器7和8上形成圖像。
圖10中(A)至(C)部分是分別示出取決于前聚焦、聚焦(最佳聚焦)、后聚焦的差別而成像在圖像傳感器上的圖像的分離的示意圖。圖10中，為了進(jìn)行取決于聚焦的分離的差別的比較，省略了圖9所示的反射鏡4。如圖10中⑶部分所示，已經(jīng)歷光瞳分割的圖像中的聚焦圖像形成于圖像傳感器上的同一位置上(一致)，然而，如圖10中(A)和(C)部分所示，在前聚焦和后聚焦圖像形成于圖像傳感器上的不同位置處(分離)。因此，通過(guò)經(jīng)由圖像傳感器7和8獲取在右和左方向上經(jīng)歷了光瞳分割的對(duì)象圖像，可以獲取根據(jù)對(duì)象距離的在視點(diǎn)上不同的左視點(diǎn)圖像和右視點(diǎn)圖像(3D圖像)。提出了這樣的一種成像裝置，其能夠通過(guò)使用相位板規(guī)則地分散光通量且利用數(shù)字處理進(jìn)行恢復(fù)而能夠進(jìn)行深景深等的圖像拍攝(非專利文獻(xiàn)I)。在傳統(tǒng)的成像光學(xué)系統(tǒng)中，光線最密集地集中于最佳聚焦位置，且模糊直徑隨著最佳聚焦位置的分離而與散焦量近似成比例地變寬。模糊的形狀由點(diǎn)擴(kuò)散函數(shù)(PSF)表示(專利文獻(xiàn)2)。已知地，當(dāng)經(jīng)由如變焦透鏡等的光學(xué)系統(tǒng)將目標(biāo)物體作為對(duì)象成像在圖像傳感器的成像平面上時(shí)，由于光學(xué)系統(tǒng)的象差影響造成模糊，由該圖像傳感器拍攝的圖像的圖像質(zhì)量相比于原始的目標(biāo)物體而降低了。該階段的圖像的圖像強(qiáng)度分布g由下面的等式表示g=f*h+n. · · (A)其中*表示卷積積分，且原始目標(biāo)的亮度分布f與代表光學(xué)系統(tǒng)的成像性能的點(diǎn)圖像強(qiáng)度分布h的卷積與噪聲η相加。當(dāng)假設(shè)g、h和η已知時(shí)，原始目標(biāo)物體的亮度分布f可以通過(guò)等式(A)計(jì)算。用于通過(guò)信號(hào)處理通過(guò)消除光學(xué)系統(tǒng)的模糊來(lái)獲得理想圖像的技術(shù)稱為圖像的“恢復(fù)”、“逆卷積”或“去卷積”?？紤]到關(guān)于圖像拍攝中的圖像劣化的信息(例如圖像拍攝條件(如曝光時(shí)間、曝光量、離對(duì)象的距離、焦距))和成像裝置的特征信息(如透鏡的光學(xué)特征、成像裝置的識(shí)別信息)，而產(chǎn)生了基于點(diǎn)圖像強(qiáng)度分布(PSF)的恢復(fù)濾波器(專利文獻(xiàn)3)。由模糊引起的劣化模型可由一個(gè)函數(shù)表示。例如，以離中心像素的距離(圖像高度)為參數(shù)的正太分布可以表示模糊現(xiàn)象(專利文獻(xiàn)4)。
另外，光學(xué)傳遞函數(shù)(OTF)是到頻域的PSF的二維傅里葉變換。由于PSF到OTF的變換及其反向變換都很容易，因此可以認(rèn)為OTF與PSF是相同的(專利文獻(xiàn)5)。將下面的一種特殊的光學(xué)系統(tǒng)稱為EDoF (擴(kuò)展景深)，在該系統(tǒng)中，散焦量未知且PSF在聚焦或散焦時(shí)都進(jìn)行類似地?cái)U(kuò)散(專利文獻(xiàn)6至8)。圖11示出了與EDoF的PSF相應(yīng)的去卷積濾波器的一個(gè)示例。該去卷積濾波器是與圖像的每個(gè)位置處的圖像高度(離圖像中心的距離)相應(yīng)的濾波器。圖11中，示出了 O至rl的圖像高度、rl至r2的圖像高度、以及r2以上的圖像高度分別對(duì)應(yīng)于濾波器a、濾波器b以及濾波器C。專利文獻(xiàn)9描述了視點(diǎn)圖像輸入裝置的一個(gè)示例。專利文獻(xiàn)10描述了用于通過(guò)劃分成像屏幕并針對(duì)每個(gè)劃分區(qū)域進(jìn)行對(duì)象聚焦檢測(cè)來(lái)檢測(cè)圖像位移量(散焦量)的技術(shù)的一個(gè)示例。另外，由于圖像位移量取決于距對(duì)象的距離，因此技術(shù)上可以認(rèn)為圖像位移量與對(duì)象距離是相同的。{引用列表} {專利文獻(xiàn)}{PTL 1}國(guó)際專利申請(qǐng)國(guó)家公開(kāi)第2009-527007號(hào){PTL 2}日本專利申請(qǐng)公開(kāi)第2008-211679號(hào){PTL 3}日本專利申請(qǐng)公開(kāi)第2008-172321號(hào){PTL 4}日本專利申請(qǐng)公開(kāi)第2000-020691號(hào){PTL 5}國(guó)際專利申請(qǐng)國(guó)家公開(kāi)第2009-534722號(hào){PTL 6}日本專利申請(qǐng)公開(kāi)第2009-010944號(hào){PTL 7}日本專利申請(qǐng)公開(kāi)第2009-187092號(hào){PTL 8}日本專利申請(qǐng)公開(kāi)第2009-188676號(hào){PTL 9}日本專利申請(qǐng)公開(kāi)第10-042314號(hào){PTL 10}日本專利申請(qǐng)公開(kāi)第04-073731號(hào){非專利文獻(xiàn)}{NPL I} Edward R. Dowski, Jr, Robert H. Cormack, Scott D. Sarama, ^WavefrontCoding;j ointly optimized optical and digital imaging systems"

發(fā)明內(nèi)容
{技術(shù)問(wèn)題}如圖12A至圖12C所示，通過(guò)單眼三維成像裝置的圖像拍攝透鏡12的光通量通過(guò)微透鏡Lm、Lc等發(fā)射到光電二極管PDma和PDmb或者TOca和TOcb上。通過(guò)使用遮光部件遮住部分發(fā)射到光電二極管上的光通量，可以得到視點(diǎn)圖像。如圖12C所示，在圖像拍攝透鏡12的光學(xué)軸中心10周圍的中間部分Rl (其為CXD 16的光接收平面中的相鄰像素組)中，光通量針對(duì)相對(duì)于顯微透鏡的光學(xué)軸中心的視差方向(X方向)均勻地入射，從而光電二極管roca和光電二極管rocb可以基于來(lái)自微透鏡Lc的發(fā)射光來(lái)輸出左右對(duì)稱的點(diǎn)圖像。另一方面，如圖12B所示，在CCD 16的光接收平面中的外圍部分R2和R3中，光通量?jī)A斜入射，從而光電二極管PDma和光電二極管PDmb輸出非對(duì)稱的點(diǎn)圖像。也就是說(shuō)，在外圍部分中出現(xiàn)了右視點(diǎn)像素和左視點(diǎn)像素之間的入射光通量的不平衡。因此，根據(jù)CCD 16的光接收平面中的位置，這些視點(diǎn)圖像之間的圖像質(zhì)量不一致，從而立體圖像的質(zhì)量變差?；谏鲜銮闆r做出了本發(fā)明，且本發(fā)明的目的是提供一種能夠在不使用諸如EDof的特殊光學(xué)系統(tǒng)的情況下不管像素的位置如何都通過(guò)使各視點(diǎn)圖像之間的圖像質(zhì)量一致來(lái)提高立體圖像質(zhì)量的技術(shù)。{問(wèn)題的解決方案}
根據(jù)本發(fā)明的第一方面，提供了一種三維成像裝置，其輸出通過(guò)對(duì)來(lái)自單成像光學(xué)系統(tǒng)的光通量進(jìn)行光瞳分割得到的第一視點(diǎn)圖像和第二視點(diǎn)圖像，該三維成像裝置包括散焦圖(map)計(jì)算單元，其計(jì)算代表所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中每個(gè)位置處的散焦量的散焦圖；恢復(fù)濾波器存儲(chǔ)器，其存儲(chǔ)恢復(fù)濾波器，所述恢復(fù)濾波器對(duì)應(yīng)于各視點(diǎn)圖像中每個(gè)位置處的所述散焦量和圖像高度，且所述恢復(fù)濾波器是基于代表所述成像光學(xué)系統(tǒng)的成像性能的點(diǎn)圖像強(qiáng)度分布的去卷積濾波器；以及恢復(fù)單元，其針對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中的每個(gè)位置選擇與各視點(diǎn)圖像中每個(gè)位置處的所述散焦量和所述圖像高度對(duì)應(yīng)的恢復(fù)濾波器，并通過(guò)基于所選擇的恢復(fù)濾波器對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中的每個(gè)位置執(zhí)行去卷積來(lái)恢復(fù)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像。根據(jù)本發(fā)明的第二方面，提供了如第一方面所述的三維成像裝置，其中所述恢復(fù)濾波器存儲(chǔ)器針對(duì)關(guān)于所述成像光學(xué)系統(tǒng)的每個(gè)光學(xué)特性存儲(chǔ)恢復(fù)濾波器。根據(jù)本發(fā)明的第三方面，提供了如第二方面所述的第三方面三維成像裝置，其中所述光學(xué)特性包括焦距和/或光圈值。根據(jù)本發(fā)明的第四方面，提供了如第一至第三方面所述的三維成像裝置，其中所述恢復(fù)濾波器存儲(chǔ)器針對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中沿視差方向的每個(gè)位置和所述圖像高度存儲(chǔ)恢復(fù)濾波器。根據(jù)本發(fā)明的第五方面，提供了如第四方面所述的三維成像裝置，其中所述恢復(fù)濾波器存儲(chǔ)器存儲(chǔ)與各小區(qū)域的圖像高度的每一個(gè)相對(duì)應(yīng)的恢復(fù)濾波器，所述各小區(qū)域是通過(guò)沿所述視差方向?qū)⑺龅谝灰朁c(diǎn)圖像和第二視點(diǎn)圖像中的一個(gè)區(qū)域分成NI個(gè)區(qū)域以及沿與所述視差方向垂直的方向?qū)⑺龅谝灰朁c(diǎn)圖像和第二視點(diǎn)圖像中的所述區(qū)域分成N2個(gè)區(qū)域而獲得的，其中N2小于NI。根據(jù)本發(fā)明的第六方面，提供了如第四和第五方面所述的三維成像裝置，其中所述恢復(fù)濾波器存儲(chǔ)器存儲(chǔ)與所述第一視點(diǎn)圖像和第二視點(diǎn)圖像共用的恢復(fù)濾波器。根據(jù)本發(fā)明的第七方面，提供了如第六方面所述的三維成像裝置，其中所述恢復(fù)單元基于作為存儲(chǔ)在所述恢復(fù)濾波器存儲(chǔ)器中且與所述第一視點(diǎn)圖像和所述第二視點(diǎn)圖像中的一個(gè)視點(diǎn)圖像相對(duì)應(yīng)的恢復(fù)濾波器的參考恢復(fù)濾波器，來(lái)恢復(fù)所述一個(gè)視點(diǎn)圖像，并且在通過(guò)對(duì)所述參考恢復(fù)濾波器執(zhí)行鏡像反轉(zhuǎn)而獲得作為與所述第一視點(diǎn)圖像和所述第二視點(diǎn)圖像中的另一個(gè)視點(diǎn)圖像相對(duì)應(yīng)的恢復(fù)濾波器的鏡像反轉(zhuǎn)恢復(fù)濾波器之后，基于所述鏡像反轉(zhuǎn)恢復(fù)濾波器恢復(fù)所述另一個(gè)視點(diǎn)圖像。根據(jù)本發(fā)明的第八方面，提供了如第四至第七方面所述的三維成像裝置，其中所述恢復(fù)濾波器存儲(chǔ)器存儲(chǔ)與圖像的每個(gè)小區(qū)域沿所述視差方向中正向和負(fù)向之一的圖像高度和所述散焦量相對(duì)應(yīng)的恢復(fù)濾波器。根據(jù)本發(fā)明的第九方面，提供了如第一至第八方面所述的三維成像裝置，其包括輸出單元，所述輸出單元基于通過(guò)所述恢復(fù)單元進(jìn)行恢復(fù)而獲得的所述第一視點(diǎn)圖像和第二視點(diǎn)圖像輸出立體圖像。根據(jù)本發(fā)明的第十方面，提供了一種視點(diǎn)圖像恢復(fù)方法，其包括計(jì)算散焦圖的步驟，所述散焦圖代表通過(guò)對(duì)來(lái)自單個(gè)成像光學(xué)系統(tǒng)的光通量進(jìn)行光瞳分割而獲得的第一視點(diǎn)圖像和第二視點(diǎn)圖像中每個(gè)位置處的散焦量；存儲(chǔ)恢復(fù)濾波器的步驟，所述恢復(fù)濾波器對(duì)應(yīng)于各視點(diǎn)圖像中每個(gè)位置處的所述散焦量和圖像高度，并且所述恢復(fù)濾波器是基于代表所述成像光學(xué)系統(tǒng)的成像性能的點(diǎn)圖像強(qiáng)度分布的去卷積濾波器；以及針對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中的每個(gè)位置選擇恢復(fù)濾波器的步驟，且通過(guò)基于所選擇的恢復(fù)濾波器針對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中的每個(gè)位置執(zhí)行去卷積來(lái)恢復(fù)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像，其中所述恢復(fù)濾波器對(duì)應(yīng)于各視點(diǎn)圖像中每個(gè)位置處的所述散焦量和所述圖像高度。根據(jù)本發(fā)明的第十一方面，提供了如第十方面所述的視點(diǎn)圖像恢復(fù)方法，包括針對(duì)關(guān)于所述成像光學(xué)系統(tǒng)的每個(gè)光學(xué)特性存儲(chǔ)恢復(fù)濾波器的步驟。
根據(jù)本發(fā)明的第十二方面，提供了如第十一方面中所述的視點(diǎn)圖像恢復(fù)方法，其中所述光學(xué)特性包括焦距和/或光圈值。根據(jù)本發(fā)明的第十三方面，提供了如第十至第十二方面所述的視點(diǎn)圖像恢復(fù)方法，包括針對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中沿視差方向的每個(gè)位置和所述圖像高度存儲(chǔ)恢復(fù)濾波器的步驟。根據(jù)本發(fā)明的第十四方面，提供了如第十三方面所述的視點(diǎn)圖像恢復(fù)方法，包括存儲(chǔ)與各小區(qū)域的每個(gè)圖像高度相對(duì)應(yīng)的恢復(fù)濾波器的步驟，所述各小區(qū)域是通過(guò)沿所述視差方向?qū)⑺龅谝灰朁c(diǎn)圖像和第二視點(diǎn)圖像中的一個(gè)區(qū)域分成NI個(gè)區(qū)域以及沿與所述視差方向垂直的方向?qū)⑺龅谝灰朁c(diǎn)圖像和第二視點(diǎn)圖像中的所述區(qū)域分成N2個(gè)區(qū)域而獲得的，其中N2小于NI。根據(jù)本發(fā)明的第十五方面，提供了如第十三或第十四方面所述的視點(diǎn)圖像恢復(fù)方法，包括存儲(chǔ)為所述第一視點(diǎn)圖像和第二視點(diǎn)圖像共用的恢復(fù)濾波器的步驟。根據(jù)本發(fā)明的第十六方面，提供了如第十五方面所述的視點(diǎn)圖像恢復(fù)方法，包括步驟基于作為被存儲(chǔ)且與存儲(chǔ)的所述第一視點(diǎn)圖像和所述第二視點(diǎn)圖像中的一個(gè)視點(diǎn)圖像相對(duì)應(yīng)的恢復(fù)濾波器的參考恢復(fù)濾波器，來(lái)恢復(fù)所述一個(gè)視點(diǎn)圖像；以及在通過(guò)對(duì)所述參考恢復(fù)濾波器執(zhí)行鏡像反轉(zhuǎn)而獲得作為與所述第一視點(diǎn)圖像和所述第二視點(diǎn)圖像中的另一個(gè)視點(diǎn)圖像相對(duì)應(yīng)的恢復(fù)濾波器的鏡像反轉(zhuǎn)恢復(fù)濾波器之后，基于所述鏡像反轉(zhuǎn)恢復(fù)濾波器恢復(fù)所述另一個(gè)視點(diǎn)圖像。根據(jù)本發(fā)明的第十七方面，提供了如第十三至第十六方面所述視點(diǎn)圖像恢復(fù)方法，包括存儲(chǔ)與圖像的每個(gè)小區(qū)域沿所述視差方向中正向和負(fù)向之一的圖像高度和所述散焦量相對(duì)應(yīng)的恢復(fù)濾波器的步驟。根據(jù)本發(fā)明的第十八方面，提供了如第十至第十七方面所述的視點(diǎn)圖像恢復(fù)方法，包括基于恢復(fù)的所述第一視點(diǎn)圖像和第二視點(diǎn)圖像輸出立體圖像的步驟。{發(fā)明的有益效果}根據(jù)本發(fā)明，由于使用了根據(jù)圖像高度和散焦量的恢復(fù)濾波器恢復(fù)了各視點(diǎn)圖像對(duì)應(yīng)位置處的圖像質(zhì)量，因而執(zhí)行恢復(fù)操作使得即使在遠(yuǎn)離圖像中心的外圍部分中也可以使各視點(diǎn)圖像的圖像質(zhì)量一致。


圖I是單眼三維成像裝置的框圖。圖2A是示出光瞳分割視點(diǎn)圖像獲取圖像傳感器CCD的示例性結(jié)構(gòu)的示意圖。圖2B是示出光瞳分割視點(diǎn)圖像獲取圖像傳感器CXD (主像素)的示例性結(jié)構(gòu)的示意圖。圖2A是示出光瞳分割視點(diǎn)圖像獲取圖像傳感器CCD (副像素)的示例性結(jié)構(gòu)的示意圖。圖3是示出每一個(gè)主像素和每一個(gè)副像素的示意圖。圖4A是圖3中主要部分的放大視圖。
圖4B是圖3中主要部分的放大視圖。圖5A是示出廣角端處縮放位置的情況下每個(gè)視點(diǎn)圖像(右)的點(diǎn)圖像的擴(kuò)散的一個(gè)示例的示意圖。圖5B是示出廣角端處縮放位置的情況下每個(gè)視點(diǎn)圖像(左)的點(diǎn)圖像的擴(kuò)散的一個(gè)示例的示意圖。圖6A是示出遠(yuǎn)端處縮放位置的情況下每個(gè)視點(diǎn)圖像(右)的點(diǎn)圖像的擴(kuò)散的一個(gè)示例的示意圖。圖6B是示出遠(yuǎn)端處縮放位置的情況下每個(gè)視點(diǎn)圖像(左)的點(diǎn)圖像的擴(kuò)散的一個(gè)示例的示意圖。圖7A是示例性示出對(duì)應(yīng)于圖像高度和視差方向的恢復(fù)濾波器的示意圖。圖7B是示例性示出對(duì)應(yīng)于圖像高度和視差方向的恢復(fù)濾波器的示意圖。圖8是恢復(fù)處理的流程圖。圖9是示出傳統(tǒng)的單眼三維成像裝置的一個(gè)示例的示意圖。圖10是示出成像傳感器上成像的圖像的分離狀態(tài)的示意圖。圖11是示例性示出與EDof的PSF對(duì)應(yīng)的去卷積濾波器的示意圖。圖12A是示出主像素和副像素之間光接收的不平衡的一個(gè)示例的示意圖。圖12B是示出主像素和副像素之間光接收的不平衡的一個(gè)示例的放大圖。圖12C是示出主像素和副像素之間光接收的不平衡的一個(gè)示例的放大圖。
具體實(shí)施例方式在下文中，將參照附圖描述根據(jù)本發(fā)明的單眼三維成像裝置的實(shí)施例。(成像裝置的總體結(jié)構(gòu))圖I是示出根據(jù)本發(fā)明的單眼三維成像裝置10的實(shí)施例的框圖。該單眼三維成像裝置10將拍攝的圖像記錄在存儲(chǔ)卡54中，且中央處理單元(CPU)40控制該裝置的總體操作。單眼三維成像裝置10包括操作單元38，例如，快門按鈕、模式撥盤、回放按鈕、菜單/確認(rèn)鍵、十字鍵和后退鍵。來(lái)自操作單元38的信號(hào)輸出到CPU 40, CPU 40控制基于所述輸入信號(hào)控制單眼成像裝置10中的各電路以執(zhí)行例如透鏡驅(qū)動(dòng)控制、光圈驅(qū)動(dòng)控制、圖像拍攝操作控制、圖像處理控制、圖像數(shù)據(jù)的記錄/回放控制、用于進(jìn)行三維顯示的液晶監(jiān)視器30的顯示控制等。所述快門按鈕是用于輸入一個(gè)指令以開(kāi)始圖像拍攝的操作按鈕，而且跨門按鈕是具有半按時(shí)打開(kāi)的開(kāi)關(guān)SI和全按時(shí)打開(kāi)的開(kāi)關(guān)S2的兩行程開(kāi)關(guān)。所述模式撥盤是選擇操作部件，其用于從以下各項(xiàng)中選擇任一項(xiàng)用于拍攝靜止圖片的自動(dòng)圖像拍攝模式；手動(dòng)圖像拍攝模式；人像、風(fēng)景、夜景等的場(chǎng)景位置；以及用于拍攝運(yùn)動(dòng)圖片的運(yùn)動(dòng)圖片模式。所述回放按鈕是用于切換到回放模式以在液晶監(jiān)視器30上顯示已拍攝的或已記錄的立體圖像(3D圖像)和平面圖像(2D圖像)的靜止圖片或運(yùn)動(dòng)圖片的按鈕。所述菜單/確認(rèn)鍵是這樣的操作鍵其用作用于發(fā)布命令以在液晶監(jiān)視器30的屏幕上顯示菜單的菜單按鈕，而且還用作用于發(fā)布命令以確認(rèn)和執(zhí)行選擇的內(nèi)容的確認(rèn)按鈕。所述十字鍵是這樣的操作單元其輸入關(guān)于上、下、左和右四個(gè)方向的指令，并且用作用于從所述菜單屏幕選擇項(xiàng)目以及命令從每個(gè)菜單選擇各種設(shè)置項(xiàng)的按鈕(光標(biāo)移動(dòng)操作部件)。此外，所述十字鍵的上/下鍵用作圖像拍攝中的縮放開(kāi)關(guān)或回放模式中的回放縮放開(kāi)關(guān)，左/右鍵在回放模式中用作頁(yè)面滾動(dòng)(向前/向后滾動(dòng))按鈕。所述后退鍵用于刪除期望項(xiàng)(如所選項(xiàng))、取消指令或返回前一操作狀態(tài)。 在所述圖像拍攝模式中，固態(tài)圖像傳感器16 (在下文中稱作CCD (電荷耦合器件))的光接收平面上成像表示對(duì)象的圖像光，CXD 16是能夠通過(guò)圖像拍攝透鏡12和光圈14獲取光瞳分割視點(diǎn)圖像的相位差圖像傳感器。由CPU 40控制的透鏡驅(qū)動(dòng)器36驅(qū)動(dòng)圖像拍攝透鏡12，執(zhí)行聚焦控制、縮放(焦距)控制等。光圈14，例如，由五個(gè)光圈葉片組成，且由CPU40控制的光圈驅(qū)動(dòng)器33來(lái)控制，并且基于AV來(lái)按照從F2. 8至Fll的光圈值(F值)的5個(gè)步驟控制光圈14。此外，CPU 40使用光圈驅(qū)動(dòng)器34控制光圈14并且使用CXD控制器32控制CXD16中的電荷積累時(shí)間(快門速度)、從CCD 16讀取信號(hào)等。((XD的示例性結(jié)構(gòu))圖2A至圖2C是示出CXD 16的示例性結(jié)構(gòu)的示意圖。CCD 16具有各自按矩陣形狀布置的奇數(shù)行像素(主像素)和偶數(shù)行像素(副像素)，從而可以獨(dú)立讀出已經(jīng)分別在這些主像素和副像素中進(jìn)行了光電轉(zhuǎn)換的兩幀圖像信號(hào)。對(duì)應(yīng)于各像素組的多個(gè)光接收元件形成用于獲得有效成像信號(hào)的有效像素區(qū)域和用于獲得黑位的參考信號(hào)的光學(xué)黑區(qū)(在下文中稱作“0B”)。所述OB區(qū)域?qū)嶋H上形成為包圍所述有效像素區(qū)域的外周。如圖2A至圖2C所示，對(duì)于CXD 16的奇數(shù)行(1，3，5，·…)，具有R (紅色)、G (綠色)和B (藍(lán)色)濾色器的像素中，交替布置具有G、R、G、R,...像素排列的行和具有B、G、B、G，...像素排列的行。另外，對(duì)于CXD 16的偶數(shù)行(2，4，6，...)，類似于奇數(shù)行，具有6、R、G、R,...像素排列的行和具有B、G、B、G,...像素排列的行交替布置,并且這兩行布置為使得在布置方向上相對(duì)于所述偶數(shù)行中的像素平移半間距的量。圖3是示出圖像拍攝透鏡12、光圈14以及CXD 16的每個(gè)主像素和每個(gè)副像素的示意圖，圖4A和圖4B是圖3中主要部分的放大圖。如圖4A所示，在典型CXD (光電二極管H))的一個(gè)像素上，通過(guò)出瞳的光通量通過(guò)微透鏡L沒(méi)有遮擋地入射。相比之下，如圖4B所示，遮光部件16A形成在CXD 16的主像素和副像素上。在單眼三維成像裝置10的風(fēng)景位置處進(jìn)行圖像拍攝的情況下，主像素和副像素(光電二極管PD)的光接收平面的右半部或左半部被遮光部件16A遮擋。或者，在單眼三維成像裝置10的人像位置處進(jìn)行圖像拍攝的情況下，則所述主像素和副像素(光電二極管PD)的光接收平面的上半部或下半部由遮光部件16A遮擋。遮光部件16A的開(kāi)口 16B布置于在右、左、上或下方向上(例如，圖4B中在光軸的左邊方向)從微透鏡L的光軸Z移位預(yù)定量Λ的位置處。光通量通過(guò)開(kāi)口 16Β并到達(dá)所述光電二極管H)的光接收平面。也就是說(shuō)，遮光部件16A用作光瞳分割部件。另外，主像素和副像素在光通量被遮光部件16A遮擋的區(qū)域(左半部/右半部或者上半部/下半部)方面不同。例如，當(dāng)對(duì)于主像素遮擋光通量的左半部分而對(duì)于副像素遮擋光通量的右半部分時(shí)，從所述主像素獲得右視點(diǎn)圖像而從所述副像素獲得左視點(diǎn)圖像。或者，當(dāng)對(duì)于主像素遮擋光通量的上半部分而對(duì)于副像素遮擋光通量的下半部分時(shí)，從所述主像素獲得下視點(diǎn)圖像而從所述副像素獲得上視點(diǎn)圖像。具有上述結(jié)構(gòu)的CCD 16配置成使得主像素和副像素在光通量被遮光部件16A遮擋的區(qū)域(左半部或右半部)方面不同，然而CXD 16的結(jié)構(gòu)并不局限于此。在沒(méi)有遮光部件16A的情況下，可以通過(guò)使微透鏡L和光電二極管ro相對(duì)地向右或向左移動(dòng)而實(shí)現(xiàn)的定向移動(dòng)來(lái)遮擋入射到所述光電二極管ro的 光通量。或者，可以通過(guò)針對(duì)兩個(gè)像素(主像素和副像素)提供一個(gè)微透鏡(例如，見(jiàn)圖12A至圖12C)，或者通過(guò)使用反射鏡進(jìn)行光瞳分割(例如，見(jiàn)圖9)來(lái)遮擋入射到每個(gè)像素上的光通量。返回至圖1，基于由CXD控制器32提供的讀出信號(hào)，讀出在CXD 16中積累的信號(hào)電荷以作為與所述信號(hào)電荷相對(duì)應(yīng)的電壓信號(hào)。從CCD 16讀出的電壓信號(hào)被提供給模擬信號(hào)處理單元18，在模擬信號(hào)處理單元18中，對(duì)于每個(gè)像素的R、G和B信號(hào)進(jìn)行采樣保持、放大，然后提供至A/D轉(zhuǎn)換器20。A/D轉(zhuǎn)換器20將被提供的R、G和B信號(hào)轉(zhuǎn)換成數(shù)字R、G和B信號(hào)并且將其輸出至圖像輸入控制器22。數(shù)字信號(hào)處理單元24對(duì)通過(guò)圖像輸入控制器22輸入的所述數(shù)字圖像信號(hào)執(zhí)行預(yù)定的信號(hào)處理，該處理包括偏移處理、包含白平衡校正和靈敏度校正的增益控制處理、伽馬校正處理、YC處理等。本文中，如圖2B和圖2C所示，從(XD 16的奇數(shù)行中的主像素讀出的主像素圖像數(shù)據(jù)作為左視點(diǎn)圖像進(jìn)行處理，從偶數(shù)行中的副像素讀出的副像素圖像數(shù)據(jù)作為右視點(diǎn)圖像進(jìn)行處理。由數(shù)字信號(hào)處理單元24處理后的左視點(diǎn)圖像和右視點(diǎn)圖像(3D圖像數(shù)據(jù))輸入至VRAM (視頻隨機(jī)存取存儲(chǔ)器)50。VRAM 50包括A區(qū)域和B區(qū)域，其中的每個(gè)區(qū)域都存儲(chǔ)代表一幀的3D圖像的3D圖像數(shù)據(jù)。在VRAM 50中，代表一幀的3D圖像的3D圖像數(shù)據(jù)交替重寫至A區(qū)域和B區(qū)域。在VRAM 50的A區(qū)域和B區(qū)域中，從與正在重寫3D圖像數(shù)據(jù)的區(qū)域以外的區(qū)域中讀出已重寫的3D圖像數(shù)據(jù)。由視頻編碼器28對(duì)從VRAM 50讀出的所述3D圖像數(shù)據(jù)進(jìn)行編碼，然后輸出至設(shè)置在相機(jī)后面的立體液晶監(jiān)視器(IXD :液晶顯示器)30，由此在液晶監(jiān)視器30的顯示屏上顯示3D對(duì)象圖像。液晶監(jiān)視器30是立體顯示設(shè)備，其能夠顯示立體圖像(左視點(diǎn)圖像和右視點(diǎn)圖像)作為由于視差屏障造成的各自具有預(yù)定指向性的的定向圖像，但并不局限于此，而是其可以包括使用雙凸透鏡、或者使用諸如便于各自觀看左視點(diǎn)圖像和右視點(diǎn)圖像的偏光眼鏡和液晶快門眼鏡等專用眼鏡。此外，當(dāng)操作單元38的快門按鈕處于第一按下階段(半按)時(shí)，CPU 40開(kāi)始AF (自動(dòng)對(duì)焦)操作和AE (自動(dòng)曝光)操作，從而由透鏡驅(qū)動(dòng)器36將圖像拍攝透鏡12中的聚焦透鏡控制在聚焦位置。此外，當(dāng)快門按鈕處于半按狀態(tài)時(shí)，從A/D轉(zhuǎn)換器20輸出的圖像數(shù)據(jù)被AE檢測(cè)單元44接收。AE檢測(cè)單元44對(duì)整個(gè)屏幕的G信號(hào)進(jìn)行積分、或者通過(guò)對(duì)屏幕的中央部分和外圍部分施加不同的加權(quán)因子來(lái)對(duì)G信號(hào)進(jìn)行積分，并將積分值輸出至CPU 40。CPU 40根據(jù)從AE檢測(cè)單元44輸入的積分值計(jì)算對(duì)象的亮度(攝影Ev值)，CPU 40基于該攝影Ev值而根據(jù)預(yù)定的程序圖確定光圈14的光圈值和CCD 16的電子快門(快門速度)，且CPU 40基于所確定的光圈值來(lái)使用光圈驅(qū)動(dòng)器34來(lái)控制光圈14，并基于所確定的快門速度來(lái)使用CCD控制器32控制CCD 16中的電荷積累時(shí)間。AF處理單元42是執(zhí)行對(duì)比度AF處理或相差A(yù)F處理的部分。當(dāng)執(zhí)行對(duì)比度AF處理時(shí)，提取左視點(diǎn)圖像數(shù)據(jù)和右視點(diǎn)圖像數(shù)據(jù)中的至少一個(gè)中的預(yù)定聚焦區(qū)域中的圖像數(shù) 據(jù)的高頻成分，并通過(guò)對(duì)該高頻成分進(jìn)行積分來(lái)計(jì)算代表聚焦?fàn)顟B(tài)的AF估計(jì)值。通過(guò)控制圖像拍攝透鏡12中的聚焦透鏡執(zhí)行AF控制，以使所述AF估計(jì)值最大化。此外，當(dāng)執(zhí)行相差A(yù)F處理時(shí)，檢測(cè)與左視點(diǎn)圖像數(shù)據(jù)和右視點(diǎn)圖像數(shù)據(jù)中與預(yù)定聚焦區(qū)域的主像素和副像素相對(duì)應(yīng)的圖像數(shù)據(jù)之間的相差，基于代表該相差的信息計(jì)算散焦量。通過(guò)控制圖像拍攝透鏡12中的聚焦透鏡使得該散焦量變?yōu)镺來(lái)執(zhí)行AF控制。當(dāng)完成AE操作和AF操作且快門按鈕處在第二按下階段(全按)時(shí)，響應(yīng)于該按下，與從A/D轉(zhuǎn)換器20輸出的主像素和副像素相對(duì)應(yīng)的左視點(diǎn)圖像(主像素圖像)和右視點(diǎn)圖像(副像素圖像)的兩個(gè)圖像數(shù)據(jù)從圖像輸入控制器22輸入至存儲(chǔ)器(SDRAM :同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)48，且暫時(shí)存儲(chǔ)在其中。暫時(shí)存儲(chǔ)在存儲(chǔ)器48中的所述兩個(gè)圖像數(shù)據(jù)適當(dāng)?shù)赜蓴?shù)字信號(hào)處理單元24讀出，在數(shù)字信號(hào)處理單元24中對(duì)所述圖像數(shù)據(jù)執(zhí)行預(yù)定的信號(hào)處理，該處理包括亮度數(shù)據(jù)和色度數(shù)據(jù)的產(chǎn)生處理(YC處理)。已經(jīng)歷YC處理的圖像數(shù)據(jù)(YC數(shù)據(jù))再次存儲(chǔ)在存儲(chǔ)器48中。接著，兩個(gè)YC數(shù)據(jù)輸出至壓縮/解壓處理單元26并進(jìn)行如JPEG(聯(lián)合圖像專家組)的預(yù)定壓縮處理，然后存儲(chǔ)在存儲(chǔ)器48中。根據(jù)存儲(chǔ)在存儲(chǔ)器48的所述兩個(gè)YC數(shù)據(jù)(壓縮數(shù)據(jù))產(chǎn)生多圖像文件(MP文件其中連接了多個(gè)圖像的格式的文件)，并且所述MP文件被媒體控制器52讀出并被記錄在存儲(chǔ)卡54中。散焦圖創(chuàng)建單元61不僅針對(duì)預(yù)定聚焦區(qū)域包含的每個(gè)小區(qū)域而且針對(duì)基本覆蓋整個(gè)有效像素區(qū)域的多個(gè)小區(qū)域中的每一個(gè)來(lái)計(jì)算主像素和副像素的相差?；靖采w整個(gè)有效像素區(qū)域的所述多個(gè)小區(qū)域，不必要完全覆蓋整個(gè)有效像素區(qū)域，而是可以密集地布置或大致覆蓋整個(gè)有效區(qū)域。例如，針對(duì)通過(guò)將有效像素區(qū)域分割成預(yù)定的矩陣狀單位(例如，8X8像素)、或更小單位(例如，IX I像素)、或更大單位(例如，10X10像素)而獲得的每個(gè)分割區(qū)域計(jì)算相差?；蛘撸槍?duì)從有效像素區(qū)域的外沿上的原點(diǎn)開(kāi)始的具有預(yù)定分割間隔的預(yù)定單位(例如，對(duì)應(yīng)于一個(gè)分割區(qū)域、或更大區(qū)域、或更小區(qū)域)中的每個(gè)分割區(qū)域計(jì)算相差。簡(jiǎn)言之，在整個(gè)有效像素區(qū)域上計(jì)算相差，然而不必要對(duì)構(gòu)成有效像素區(qū)域的所有小區(qū)域進(jìn)行計(jì)算。
散焦圖創(chuàng)建單元61基于對(duì)上述各小區(qū)域計(jì)算的相差獲得與每個(gè)上述小區(qū)域相對(duì)應(yīng)的散焦量。在整個(gè)有效像素區(qū)域上計(jì)算出、且與各小區(qū)域相對(duì)應(yīng)的這些散焦量的集合被稱為散焦圖。散焦圖創(chuàng)建單元61包括如RAM (隨機(jī)存取存儲(chǔ)器)等易失性記錄介質(zhì)且暫時(shí)存儲(chǔ)所述獲得的散焦圖。另外，類似于專利文獻(xiàn)10，由于散焦量相當(dāng)于對(duì)象距離信息，因此散焦圖相當(dāng)于與各小區(qū)域相對(duì)應(yīng)的對(duì)象距離信息。散焦圖創(chuàng)建單元61可以檢測(cè)各視點(diǎn)圖像之間的特征點(diǎn)和對(duì)應(yīng)點(diǎn)，并且基于這些特征點(diǎn)和對(duì)應(yīng)點(diǎn)之間的位置信息的不同創(chuàng)建所述散焦圖?；謴?fù)濾波器存儲(chǔ)器62由如ROM (只讀存儲(chǔ)器)的非易失性記錄介質(zhì)構(gòu)成，且其存儲(chǔ)恢復(fù)濾波器(第一濾波器)，該恢復(fù)濾波器對(duì)應(yīng)于每個(gè)視點(diǎn)圖像中的每個(gè)小區(qū)域的圖像高度(距圖像中心的距離，通常是距圖像拍攝透鏡12的光軸中心L的距離)以及散焦量(或?qū)ο缶嚯x)。優(yōu)選地，類似于專利文獻(xiàn)2和3，針對(duì)如焦距、F值和PSF的光學(xué)特性之間的每個(gè)關(guān)系，預(yù)先生成了該恢復(fù)濾波器。也就是說(shuō)，分別針對(duì)各光學(xué)特性存儲(chǔ)了根據(jù)圖像高度和散焦量的恢復(fù)濾波器(第二濾波器)。 這是因?yàn)槊總€(gè)視點(diǎn)圖像的點(diǎn)圖像的擴(kuò)散是根據(jù)焦距、圖像高度、散焦量而不同的，且也與PSF相關(guān)聯(lián)。圖5A和圖5B示出了廣角端處圖像拍攝透鏡12的變焦透鏡的縮放位置情況下每個(gè)視點(diǎn)圖像的點(diǎn)圖像的擴(kuò)散的一個(gè)示例，圖6A和圖6B示出了遠(yuǎn)端處圖像拍攝透鏡12的變焦透鏡的縮放位置情況下每個(gè)視點(diǎn)圖像的點(diǎn)圖像的擴(kuò)散的一個(gè)示例。優(yōu)選地，恢復(fù)濾波器存儲(chǔ)器62存儲(chǔ)對(duì)應(yīng)于視點(diǎn)圖像的每個(gè)小區(qū)域沿視差方向的圖像高度和散焦量、并且為右視點(diǎn)圖像和左視點(diǎn)圖像共用的恢復(fù)濾波器(第三濾波器)。這是因?yàn)椋捎谝暡罘较蛞酝獾姆较蛏系膱D像高度差造成的圖像質(zhì)量的差異對(duì)立體圖像幾乎沒(méi)有影響，因此不太必要使用該與所述圖像高度相對(duì)應(yīng)的濾波器來(lái)進(jìn)行恢復(fù)。此外，通過(guò)存儲(chǔ)在視差方向上為右視點(diǎn)圖像和左視點(diǎn)圖像共用的恢復(fù)濾波器實(shí)現(xiàn)了內(nèi)存消耗的減小。圖7A和圖7B示出了所述第三濾波器的一個(gè)示例。在這些當(dāng)中，圖7A示出了與一個(gè)視點(diǎn)圖像(例如，右視點(diǎn)圖像)相對(duì)應(yīng)的恢復(fù)濾波器，圖7B示出了與另一個(gè)視點(diǎn)圖像(例如，左視點(diǎn)圖像)相對(duì)應(yīng)的恢復(fù)濾波器。圖7A中的恢復(fù)濾波器和圖7B中的恢復(fù)濾波器關(guān)于它們的圖像中心(圖像高度為O的位置)具有鏡像反轉(zhuǎn)關(guān)系?；謴?fù)濾波器存儲(chǔ)器62存儲(chǔ)與任何一個(gè)視點(diǎn)圖像相對(duì)應(yīng)的恢復(fù)濾波器，恢復(fù)單元63相對(duì)于該視點(diǎn)圖像的中心對(duì)所存儲(chǔ)的一個(gè)恢復(fù)濾波器執(zhí)行鏡像反轉(zhuǎn)，從而獲得了與另一個(gè)視點(diǎn)圖像相對(duì)應(yīng)的恢復(fù)濾波器。恢復(fù)濾波器與通過(guò)根據(jù)在視差方向(X)上距離±X1至±X3、在與視差方向垂直的方向(Y)上的距離YO至土Y1、自圖像中心的圖像高度Rl至R3的集合來(lái)分割視點(diǎn)圖像而獲得的每個(gè)區(qū)域相關(guān)聯(lián)。沿視差方向(X)以及垂直于視差方向的方向(Y)執(zhí)行上述區(qū)域分割預(yù)定次數(shù)。在圖7A和圖B中，作為一個(gè)示例，沿視差方向(X)執(zhí)行區(qū)域分割的次數(shù)NI等于6，沿與視差方向垂直的方向(Y)執(zhí)行區(qū)域分割的次數(shù)N2等于2。更為典型地，出于增強(qiáng)視差方向的恢復(fù)質(zhì)量的目的，N1>N2，并且沿視差方向進(jìn)行更精細(xì)的區(qū)域分割以及將恢復(fù)濾波器與相關(guān)區(qū)域關(guān)聯(lián)起來(lái)。更為優(yōu)選地，恢復(fù)濾波器存儲(chǔ)器62存儲(chǔ)對(duì)應(yīng)于視點(diǎn)圖像的沿視差方向的正(右)或負(fù)(左)的一個(gè)方向上的每個(gè)小區(qū)域的圖像高度和散焦量的恢復(fù)濾波器(第四濾波器)。與沿視差方向的小區(qū)域的圖像高度相同的距屏幕中心的距離提供相同的對(duì)應(yīng)于圖像高度的光學(xué)特性。期望不管所述小區(qū)域相對(duì)中心位于正側(cè)(右側(cè))還是負(fù)側(cè)(左側(cè))，都可以使用相同的恢復(fù)濾波器來(lái)恢復(fù)相關(guān)的小區(qū)域。因此，通過(guò)不管圖像高度的方向如何都針對(duì)相同距離利用相同的恢復(fù)濾波器可以實(shí)現(xiàn)內(nèi)存消耗的減小?；謴?fù)單元63由諸如CPU 40的信息處理裝置構(gòu)成且執(zhí)行下面的處理。圖8是單眼三維成像裝置10執(zhí)行的恢復(fù)處理的流程圖。另外，可以利用除單眼三維成像裝置10以外的信息處理裝置(如個(gè)人計(jì)算機(jī))執(zhí)行散焦圖的創(chuàng)建、恢復(fù)濾波器的存儲(chǔ)、使用所述恢復(fù)濾波器對(duì)視點(diǎn)圖像進(jìn)行的恢復(fù)處理、恢復(fù)后的視點(diǎn)圖像的輸出處理等。使單眼三維成像裝置10或其他信息處理裝置執(zhí)行下面處理的程序記錄在計(jì)算機(jī)可讀記錄介質(zhì)(例如ROM、⑶-ROM)中。在步驟SI，恢復(fù)單元63配置基本覆蓋實(shí)際上從CXD 16獲取的每個(gè)視點(diǎn)圖像的多個(gè)小區(qū)域。這些小區(qū)域的單位(位置和分割尺寸)與恢復(fù)濾波器存儲(chǔ)器62中的小區(qū)域的單 位相同。在步驟S2，散焦圖創(chuàng)建單元61創(chuàng)建上述的散焦圖。在步驟S3，恢復(fù)單元63識(shí)別在每個(gè)視點(diǎn)圖像中配置的每個(gè)小區(qū)域的圖像高度和散焦量?？梢酝ㄟ^(guò)計(jì)算從圖像中心至每個(gè)小區(qū)域的最小距離來(lái)執(zhí)行每個(gè)小區(qū)域的圖像高度的識(shí)別。此外，基于散焦圖創(chuàng)建單元61創(chuàng)建的散焦圖，針對(duì)每個(gè)視點(diǎn)圖像執(zhí)行每個(gè)小區(qū)域的所述散焦量的識(shí)別。恢復(fù)單元63從恢復(fù)濾波器存儲(chǔ)器62中選擇與所述小區(qū)域的所述圖像高度和散焦量相對(duì)應(yīng)的恢復(fù)濾波器，其中針對(duì)每個(gè)視點(diǎn)圖像識(shí)別了所述圖像高度和散焦量。在步驟S4，恢復(fù)單元63通過(guò)使用針對(duì)每個(gè)視點(diǎn)圖像的每個(gè)小區(qū)域所選的恢復(fù)濾波器來(lái)執(zhí)行相關(guān)小區(qū)域的去卷積，從而恢復(fù)視點(diǎn)圖像中相應(yīng)的小區(qū)域。當(dāng)恢復(fù)濾波器存儲(chǔ)器62的恢復(fù)濾波器為第一濾波器時(shí)，恢復(fù)單元63從恢復(fù)濾波器存儲(chǔ)器62中選擇與所述小區(qū)域的已針對(duì)每個(gè)視點(diǎn)圖像識(shí)別的圖像高度和散焦量相對(duì)應(yīng)的恢復(fù)濾波器，并使用針對(duì)每個(gè)視點(diǎn)圖像的每個(gè)小區(qū)域所選擇的恢復(fù)濾波器來(lái)執(zhí)行相關(guān)小區(qū)域的去卷積，從而恢復(fù)了視點(diǎn)圖像中相應(yīng)的小區(qū)域。當(dāng)恢復(fù)濾波器存儲(chǔ)器62的恢復(fù)濾波器為第二濾波器時(shí)，恢復(fù)單元63從CPU 40、透鏡驅(qū)動(dòng)器36、光圈驅(qū)動(dòng)器34等獲得諸如焦距、F值等光學(xué)特性，從恢復(fù)濾波器存儲(chǔ)器62選擇與小區(qū)域的對(duì)應(yīng)于所獲取的光學(xué)特性且針對(duì)每個(gè)視點(diǎn)圖像識(shí)別的圖像高度和散焦量相對(duì)應(yīng)的恢復(fù)濾波器，使用針對(duì)每個(gè)視點(diǎn)圖像的每個(gè)小區(qū)域所選擇的恢復(fù)濾波器來(lái)執(zhí)行相關(guān)小區(qū)域的去卷積，以及恢復(fù)視點(diǎn)圖像中相應(yīng)的小區(qū)域。當(dāng)恢復(fù)濾波器存儲(chǔ)器62的恢復(fù)濾波器為第三濾波器時(shí)，恢復(fù)單元63從恢復(fù)濾波器存儲(chǔ)器62選擇與小區(qū)域的沿視差方向的圖像高度和散焦量相對(duì)應(yīng)的共用恢復(fù)濾波器，其中所述圖像高度和散焦量共同配置用于各視點(diǎn)圖像，以及使用針對(duì)每個(gè)視點(diǎn)圖像的每個(gè)小區(qū)域所選擇的且被各視點(diǎn)圖像共用的恢復(fù)濾波器來(lái)執(zhí)行相關(guān)小區(qū)域的去卷積，并且恢復(fù)視點(diǎn)圖像中相應(yīng)的小區(qū)域。當(dāng)恢復(fù)濾波器存儲(chǔ)器62的恢復(fù)濾波器為第四濾波器時(shí)，恢復(fù)單元63從恢復(fù)濾波器存儲(chǔ)器62選擇與小區(qū)域的沿視差方向的、被各視點(diǎn)圖像共用的圖像高度和散焦量相對(duì)應(yīng)的恢復(fù)濾波器，使用針對(duì)每個(gè)視點(diǎn)圖像的每個(gè)小區(qū)域所選擇的共用恢復(fù)濾波器來(lái)執(zhí)行相關(guān)小區(qū)域的去卷積，以及恢復(fù)視點(diǎn)圖像中相應(yīng)的小區(qū)域。在此階段，如果距屏幕中心的距離與所述小區(qū)域沿視差方向的圖像高度相等時(shí)，不管所述小區(qū)域在中心的正側(cè)(右側(cè))還是負(fù)側(cè)(左側(cè))，恢復(fù)單元63都使用相同的恢復(fù)濾波器來(lái)恢復(fù)相關(guān)的小區(qū)域?；謴?fù)單元63根據(jù)通過(guò)恢復(fù)涉及退化的各小區(qū)域而獲得的視點(diǎn)圖像生成立體圖像，并將其作為恢復(fù)后的立體圖像再次存儲(chǔ)在VRAM50中。VRAM 50中的所述恢復(fù)后的立體圖像被輸出至液晶監(jiān)視器30，卓越的3D對(duì)象圖像顯示在液晶監(jiān)視器30的顯示屏上。也就是說(shuō)，執(zhí)行恢復(fù)的較佳時(shí)刻是在將立體圖像輸出至液晶監(jiān)視30之前。然而，VRAM 50中的恢復(fù)后的立體圖像不必需輸出至液晶監(jiān)視器30，而是可以輸出至存儲(chǔ)卡54，即，不輸出至液晶監(jiān)視器30而以壓縮方式被記錄。在其他立體圖像顯示器上回放記錄在存儲(chǔ)卡54中的該恢復(fù)后的立體圖像，也可以實(shí)現(xiàn)卓越的3D對(duì)象圖像的顯示。在如上使用第一至第四濾波器在恢復(fù)單元63中執(zhí)行去卷積的過(guò)程中，針對(duì)各視點(diǎn)圖像之間的相應(yīng)位置處的小區(qū)域的圖像質(zhì)量執(zhí)行利用根據(jù)圖像高度和散焦量的恢復(fù)濾波器的恢復(fù)操作。因此，即使在圖像中心的相鄰部分或者遠(yuǎn)離圖像中心的外圍部分中，也可以執(zhí)行恢復(fù)以使視點(diǎn)圖像之間的圖像質(zhì)量一致。 此外，當(dāng)恢復(fù)濾波器為第二濾波器時(shí)，即使在諸如變焦位置和F值的光學(xué)特性改變的情況下，視點(diǎn)圖像之間的圖像質(zhì)量也是一致的。此外，當(dāng)恢復(fù)濾波器為第三或第四濾波器時(shí)，使用共用的恢復(fù)濾波器恢復(fù)了相應(yīng)的視點(diǎn)圖像，并且可以減少恢復(fù)濾波器存儲(chǔ)器62中的內(nèi)存消耗。{參考符號(hào)列表}12:圖像拍攝透鏡14 :光圈16 :CCD61 :散焦圖創(chuàng)建單元62:恢復(fù)濾波器存儲(chǔ)器63 :恢復(fù)單元
權(quán)利要求
1.一種三維成像裝置，其配置成輸出通過(guò)對(duì)來(lái)自單成像光學(xué)系統(tǒng)的光通量進(jìn)行光瞳分割得到的第一視點(diǎn)圖像和第二視點(diǎn)圖像，該三維成像裝置包括 散焦圖計(jì)算單元，其配置成計(jì)算代表所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中每個(gè)位置處的散焦量的散焦圖； 恢復(fù)濾波器存儲(chǔ)器，其配置成存儲(chǔ)與各視點(diǎn)圖像中每個(gè)位置處的所述散焦量和圖像高度相對(duì)應(yīng)的恢復(fù)濾波器，所述恢復(fù)濾波器是基于代表所述成像光學(xué)系統(tǒng)的成像性能的點(diǎn)圖像強(qiáng)度分布的去卷積濾波器；以及 恢復(fù)單元，其配置成針對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中的每個(gè)位置選擇與各視點(diǎn)圖像中每個(gè)位置處的散焦量和圖像高度相對(duì)應(yīng)的恢復(fù)濾波器，以及基于所選擇的恢復(fù)濾波器通過(guò)針對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中的每個(gè)位置執(zhí)行去卷積來(lái)恢復(fù)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像。
2.根據(jù)權(quán)利要求I所述的三維成像裝置，其中 所述恢復(fù)濾波器存儲(chǔ)器針對(duì)關(guān)于所述成像光學(xué)系統(tǒng)的每個(gè)光學(xué)特性存儲(chǔ)恢復(fù)濾波器。
3.根據(jù)權(quán)利要求2所述的三維成像裝置，其中 所述光學(xué)特性包括焦距和/或光圈值。
4.根據(jù)權(quán)利要求I至3中任一項(xiàng)所述的三維成像裝置，其中 所述恢復(fù)濾波器存儲(chǔ)器針對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中沿視差方向的每個(gè)位置和所述圖像高度存儲(chǔ)恢復(fù)濾波器。
5.根據(jù)權(quán)利要求4所述的三維成像裝置，其中 所述恢復(fù)濾波器存儲(chǔ)器存儲(chǔ)與各小區(qū)域的圖像高度中的每一個(gè)相對(duì)應(yīng)的恢復(fù)濾波器，所述各小區(qū)域是通過(guò)沿所述視差方向?qū)⑺龅谝灰朁c(diǎn)圖像和第二視點(diǎn)圖像中的一個(gè)區(qū)域分成NI個(gè)區(qū)域、以及沿與所述視差方向垂直的方向?qū)⑺龅谝灰朁c(diǎn)圖像和第二視點(diǎn)圖像中的所述區(qū)域分成N2個(gè)的區(qū)域而獲得的，其中N2小于NI。
6.根據(jù)權(quán)利要求4或5所述的三維成像裝置，其中 所述恢復(fù)濾波器存儲(chǔ)器存儲(chǔ)與所述第一視點(diǎn)圖像和第二視點(diǎn)圖像共用的恢復(fù)濾波器。
7.根據(jù)權(quán)利要求6所述的三維成像裝置，其中 所述恢復(fù)單元基于作為存儲(chǔ)在所述恢復(fù)濾波器存儲(chǔ)器中且與所述第一視點(diǎn)圖像和所述第二視點(diǎn)圖像中的一個(gè)視點(diǎn)圖像相對(duì)應(yīng)的恢復(fù)濾波器的參考恢復(fù)濾波器，來(lái)恢復(fù)所述一個(gè)視點(diǎn)圖像，并且在通過(guò)對(duì)所述參考恢復(fù)濾波器執(zhí)行鏡像反轉(zhuǎn)而獲得作為與所述第一視點(diǎn)圖像和所述第二視點(diǎn)圖像中的另一個(gè)視點(diǎn)圖像相對(duì)應(yīng)的恢復(fù)濾波器的鏡像反轉(zhuǎn)恢復(fù)濾波器 之后，基于所述鏡像反轉(zhuǎn)恢復(fù)濾波器恢復(fù)所述另一個(gè)視點(diǎn)圖像。
8.根據(jù)權(quán)利要求4至7中任一項(xiàng)所述的三維成像裝置，其中 所述恢復(fù)濾波器存儲(chǔ)器存儲(chǔ)與圖像的每個(gè)小區(qū)域沿所述視差方向中正向和負(fù)向之一的圖像高度和所述散焦量相對(duì)應(yīng)的恢復(fù)濾波器。
9.根據(jù)權(quán)利要求I至8中任一項(xiàng)所述的三維成像裝置，包括 輸出單元，其配置成基于由所述恢復(fù)單元恢復(fù)的所述第一視點(diǎn)圖像和第二視點(diǎn)圖像輸出立體圖像。
10.一種視點(diǎn)圖像恢復(fù)方法，包括 計(jì)算散焦圖的步驟，所述散焦圖代表通過(guò)對(duì)來(lái)自單個(gè)成像光學(xué)系統(tǒng)的光通量進(jìn)行光瞳分割而獲得的第一視點(diǎn)圖像和第二視點(diǎn)圖像中每個(gè)位置處的散焦量； 存儲(chǔ)恢復(fù)濾波器的步驟，所述恢復(fù)濾波器對(duì)應(yīng)于各視點(diǎn)圖像中每個(gè)位置處的所述散焦量和圖像高度，并且所述恢復(fù)濾波器是基于代表所述成像光學(xué)系統(tǒng)的成像性能的點(diǎn)圖像強(qiáng)度分布的去卷積濾波器；以及 針對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中的每個(gè)位置選擇恢復(fù)濾波器的步驟，且通過(guò)基于所選擇的恢復(fù)濾波器針對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中的每個(gè)位置執(zhí)行去卷積來(lái)恢復(fù)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像，其中所述恢復(fù)濾波器對(duì)應(yīng)于各視點(diǎn)圖像中每個(gè)位置處的所述散焦量和所述圖像高度。
11.根據(jù)權(quán)利要求10所述的視點(diǎn)圖像恢復(fù)方法，包括 針對(duì)關(guān)于所述成像光學(xué)系統(tǒng)的每個(gè)光學(xué)特性存儲(chǔ)恢復(fù)濾波器的步驟。
12.根據(jù)權(quán)利要求11所述的視點(diǎn)圖像恢復(fù)方法，其中 所述光學(xué)特性包括焦距和/或光圈值。
13.根據(jù)權(quán)利要求10至12中任一項(xiàng)所述的視點(diǎn)圖像恢復(fù)方法，包括 針對(duì)所述第一視點(diǎn)圖像和第二視點(diǎn)圖像中沿視差方向的每個(gè)位置和所述圖像高度存儲(chǔ)恢復(fù)濾波器的步驟。
14.根據(jù)權(quán)利要求13所述的視點(diǎn)圖像恢復(fù)方法，包括 存儲(chǔ)與各小區(qū)域的每個(gè)圖像高度相對(duì)應(yīng)的恢復(fù)濾波器的步驟，所述各小區(qū)域是通過(guò)沿所述視差方向?qū)⑺龅谝灰朁c(diǎn)圖像和第二視點(diǎn)圖像中的一個(gè)區(qū)域分成NI個(gè)區(qū)域以及沿與所述視差方向垂直的方向?qū)⑺龅谝灰朁c(diǎn)圖像和第二視點(diǎn)圖像中的所述區(qū)域分成N2個(gè)區(qū)域而獲得的，其中N2小于NI。
15.根據(jù)權(quán)利要求13或14所述的視點(diǎn)圖像恢復(fù)方法，包括 存儲(chǔ)為所述第一視點(diǎn)圖像和第二視點(diǎn)圖像共用的恢復(fù)濾波器的步驟。
16.根據(jù)權(quán)利要求15所述的視點(diǎn)圖像恢復(fù)方法，包括步驟 基于作為被存儲(chǔ)且與存儲(chǔ)的所述第一視點(diǎn)圖像和所述第二視點(diǎn)圖像中的一個(gè)視點(diǎn)圖像相對(duì)應(yīng)的恢復(fù)濾波器的參考恢復(fù)濾波器，來(lái)恢復(fù)所述一個(gè)視點(diǎn)圖像；以及 在通過(guò)對(duì)所述參考恢復(fù)濾波器執(zhí)行鏡像反轉(zhuǎn)而獲得作為與所述第一視點(diǎn)圖像和所述第二視點(diǎn)圖像中的另一個(gè)視點(diǎn)圖像相對(duì)應(yīng)的恢復(fù)濾波器的鏡像反轉(zhuǎn)恢復(fù)濾波器之后，基于所述鏡像反轉(zhuǎn)恢復(fù)濾波器恢復(fù)所述另一個(gè)視點(diǎn)圖像
17.根據(jù)權(quán)利要求13至16中任一項(xiàng)所述的視點(diǎn)圖像恢復(fù)方法，包括 存儲(chǔ)與圖像的每個(gè)小區(qū)域沿所述視差方向中正向和負(fù)向之一的圖像高度和所述散焦量相對(duì)應(yīng)的恢復(fù)濾波器的步驟。
18.根據(jù)權(quán)利要求10至17中任一項(xiàng)所述的視點(diǎn)圖像恢復(fù)方法，包括 基于恢復(fù)的所述第一視點(diǎn)圖像和第二視點(diǎn)圖像輸出立體圖像的步驟。
全文摘要
本發(fā)明公開(kāi)了一種三維成像裝置(10)，其輸出通過(guò)對(duì)源自單成像光學(xué)系統(tǒng)(12、14)的光通量進(jìn)行光瞳分割而得到的第一和第二視點(diǎn)圖像，所述三維成像裝置(10)包括散焦圖計(jì)算單元(61)，其計(jì)算指示第一和第二視點(diǎn)圖像中每個(gè)位置處的散焦量的散焦圖；恢復(fù)濾波器存儲(chǔ)單元(62)，其存儲(chǔ)與視點(diǎn)圖像中每個(gè)位置處的散焦量和圖像高度相對(duì)應(yīng)的恢復(fù)濾波器，并且起去卷積濾波器的作用，該去卷積濾波器來(lái)源于指示所述成像光學(xué)系統(tǒng)的圖像形成性能的點(diǎn)圖像強(qiáng)度分布；以及恢復(fù)單元(63)，其針對(duì)所述第一和第二視點(diǎn)圖像中每個(gè)位置通過(guò)選擇與視點(diǎn)圖像中每個(gè)位置處的所述散焦量和所述圖像高度相對(duì)應(yīng)的恢復(fù)濾波器，并基于所選擇的恢復(fù)濾波器通過(guò)對(duì)所述第一和第二視點(diǎn)圖像中的每個(gè)位置執(zhí)行去卷積，來(lái)恢復(fù)所述第一和第二視點(diǎn)圖像。
文檔編號(hào)G03B35/08GK102884802SQ201080065698
公開(kāi)日2013年1月16日 申請(qǐng)日期2010年11月9日 優(yōu)先權(quán)日2010年3月24日
發(fā)明者巖崎洋一 申請(qǐng)人:富士膠片株式會(huì)社