圖像處理裝置、方法及攝像裝置制造方法
【專利摘要】將單眼3D圖像的左眼圖像(100L)和右眼圖像(100R)轉(zhuǎn)換為頻率成分?jǐn)?shù)據(jù)，并將這些頻率成分?jǐn)?shù)據(jù)和頻率濾光片(GL、GR)相乘，在頻率空間上生成視差量和模糊量聯(lián)動地進(jìn)行調(diào)整所得的期望的單眼3D圖像的左眼圖像(120L)和右眼圖像(120R)的頻率成分?jǐn)?shù)據(jù)。將這些頻率成分?jǐn)?shù)據(jù)轉(zhuǎn)換為實際空間上的數(shù)據(jù)，生成期望的單眼3D圖像的左眼圖像(120L)和右眼圖像(120R)。
【專利說明】圖像處理裝置、方法及攝像裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置、方法及攝像裝置，特別涉及對經(jīng)由單一的攝影透鏡而被拍攝的具有視差的立體視用的圖像的視差進(jìn)行調(diào)整的技術(shù)。

【背景技術(shù)】
[0002]以往，已知有如下那樣的單眼3D攝像裝置:利用對通過了單一的攝影透鏡的左右方向的不同區(qū)域的被攝體像進(jìn)行光瞳分割而分別成像的相位差CCD，對通過了各區(qū)域的被攝體像分別進(jìn)行光電轉(zhuǎn)換，獲取根據(jù)焦點偏移量而彼此具有相位差的左眼圖像和右眼圖像(單眼3D圖像)(專利文獻(xiàn)1)。專利文獻(xiàn)1記載的立體攝像裝置利用光圈的F值進(jìn)行單眼3D的左眼圖像和右眼圖像的視差的調(diào)整。
[0003]專利文獻(xiàn)2記載的圖像處理裝置算出在左右的視點圖像間彼此對應(yīng)的像素間的視差量，生成表示視差量的分布的初始的視差映射，從表示預(yù)先規(guī)定的外形形狀和視差量分布的多個視差模板中，對視差映射內(nèi)的部分區(qū)域和視差模板進(jìn)行比較。由此，專利文獻(xiàn)2記載的圖像處理裝置對與所述部分區(qū)域?qū)?yīng)的視差模板進(jìn)行選擇，基于由所選擇的視差模板置換所得的視差映射，生成視點數(shù)比左右的視點圖像多的多視點圖像。另外，在專利文獻(xiàn)2的第0048段，存在也能夠?qū)＠墨I(xiàn)2所記載的技術(shù)適用于單眼3D圖像的記載。
[0004]在專利文獻(xiàn)3中，記載了通過使由復(fù)眼攝像裝置拍攝到的具有視差的左眼圖像和右眼圖像彼此移位而對左眼圖像和右眼圖像的視差進(jìn)行調(diào)整的技術(shù)。
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本特開2011-199502號公報
[0007]專利文獻(xiàn)2:日本特開2011-211551號公報
[0008]專利文獻(xiàn)3:日本特開2011-29700號公報


【發(fā)明內(nèi)容】

[0009]發(fā)明要解決的課題
[0010]專利文獻(xiàn)1記載的單眼3D攝像裝置通過對光圈的F值進(jìn)行調(diào)整而進(jìn)行單眼3D圖像的視差的調(diào)整。然而，該視差的調(diào)整僅能夠在由單眼3D攝像裝置進(jìn)行攝像時進(jìn)行。SP，專利文獻(xiàn)1記載的單眼3D攝像裝置無法通過對單眼3D圖像進(jìn)行圖像處理而生成視差(F值)不同的單眼3D圖像。
[0011]專利文獻(xiàn)2所記載的發(fā)明通過對單眼3D圖像進(jìn)行圖像處理而能夠生成視差不同的左眼圖像和右眼圖像。然而，生成后的左眼圖像和右眼圖像無法成為單眼3D圖像。
[0012]在此，單眼3D圖像是當(dāng)視差變大時模糊也變大的圖像。作為其優(yōu)點之一，可以列舉出利用3D電視即使摘下3D專用眼鏡進(jìn)行欣賞也幾乎不會發(fā)生重影的優(yōu)點(能夠作為2D圖像欣賞的優(yōu)點)。
[0013]專利文獻(xiàn)3記載的左眼圖像和右眼圖像是由復(fù)眼攝像裝置拍攝到的圖像，并非單眼3D圖像。另外，通過使左眼圖像和右眼圖像彼此移位而對視差進(jìn)行調(diào)整所得的圖像也并非單眼3D圖像。
[0014]本發(fā)明鑒于這種情形而提出，其目的在于提供能夠根據(jù)由單眼3D圖像裝置拍攝到的單眼3D圖像來生成使視差量和模糊量聯(lián)動而進(jìn)行調(diào)整所得的期望的立體視用的圖像的圖像處理裝置、方法及攝像裝置。
[0015]用于解決課題的手段
[0016]為了達(dá)到上述目的，本發(fā)明的一方式所涉及的圖像處理裝置具備:圖像獲取單元，獲取經(jīng)由單一的攝影光學(xué)系統(tǒng)而被攝像并由光瞳分割單元進(jìn)行了光瞳分割的彼此具有視差的第一圖像和第二圖像；視差獲取單元，獲取所取得的第一圖像和第二圖像的對應(yīng)的像素間的視差；第一數(shù)據(jù)轉(zhuǎn)換單元，對應(yīng)所取得的第一圖像的圖像數(shù)據(jù)和第二圖像的圖像數(shù)據(jù)的處理的每個對象像素，將以該對象像素為基準(zhǔn)的預(yù)定區(qū)域分別轉(zhuǎn)換為第一頻率成分?jǐn)?shù)據(jù)和第二頻率成分?jǐn)?shù)據(jù)；運算處理單元，對應(yīng)所取得的第一圖像和第二圖像的每個頻率成分?jǐn)?shù)據(jù)，使用與由視差獲取單元取得的對象像素的視差對應(yīng)的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理，所述第一頻率濾光片和第二頻率濾光片是用于對轉(zhuǎn)換后的第一頻率成分?jǐn)?shù)據(jù)和第二頻率成分?jǐn)?shù)據(jù)分別在頻率空間進(jìn)行轉(zhuǎn)換而分別轉(zhuǎn)換為將所取得的第一圖像和第二圖像具有的視差量和模糊量進(jìn)行了變更的第三圖像和第四圖像的第一頻率濾光片組和第二頻率濾光片組；及第二數(shù)據(jù)轉(zhuǎn)換單元，將由運算處理單元算出的第三圖像和第四圖像分別所對應(yīng)的第三頻率成分?jǐn)?shù)據(jù)和第四頻率成分?jǐn)?shù)據(jù)轉(zhuǎn)換為實際空間上的數(shù)據(jù)，選擇與對象像素對應(yīng)的位置的像素分別作為第三圖像和第四圖像的一個像素。
[0017]根據(jù)本發(fā)明的一個方式，對應(yīng)第一圖像的圖像數(shù)據(jù)和第二圖像的圖像數(shù)據(jù)的處理的每個對象像素，將以對象像素為基準(zhǔn)的預(yù)定區(qū)域分別轉(zhuǎn)換為第一頻率成分?jǐn)?shù)據(jù)和第二頻率成分?jǐn)?shù)據(jù)。將這些第一頻率成分?jǐn)?shù)據(jù)和第二頻率成分?jǐn)?shù)據(jù)與對象像素的視差所對應(yīng)的第一頻率濾光片和第二頻率濾光片相乘，并將相乘結(jié)果轉(zhuǎn)換為實際空間上的數(shù)據(jù)。并且，通過選擇與對象像素對應(yīng)的位置的像素分別作為第三圖像和第四圖像的一個像素，能夠從第一、第二圖像得到使視差量和模糊量兩方聯(lián)動地進(jìn)行了調(diào)整的第三、第四圖像。
[0018]在本發(fā)明的其他方式所涉及的圖像處理裝置中，優(yōu)選為，運算處理單元使用由視差獲取單元取得的對象像素的視差越大則使模糊量越大的第一頻率濾光片和第二頻率濾光片。由此，第三、第四圖像能夠利用3D顯示器進(jìn)行立體視。另外，即使摘下3D專用眼鏡進(jìn)行欣賞也幾乎不產(chǎn)生重影。
[0019]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，具備:數(shù)字濾光片存儲單元，對與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第一圖像和第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組和第二數(shù)字濾光片組進(jìn)行存儲；及頻率濾光片計算單元，基于所存儲的第一數(shù)字濾光片組和第二數(shù)字濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組，算出第一頻率濾光片組和第二頻率濾光片組，運算處理單元對應(yīng)所取得的第一圖像和第二圖像的每個像素，基于由視差獲取單元取得的該像素的視差，從所算出的第一頻率濾光片組和第二頻率濾光片組分別選擇與視差對應(yīng)的第一頻率濾光片和第二頻率濾光片，使用所選擇的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理。
[0020]在數(shù)字濾光片存儲單元存儲有與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第一圖像和第二圖像的轉(zhuǎn)換特性對應(yīng)的、每個視差的第一數(shù)字濾光片組和第二數(shù)字濾光片組。能夠根據(jù)攝影光學(xué)系統(tǒng)、光瞳分割單元和攝像元件等的特性，預(yù)先通過模擬或通過點像的實測而獲取這些第一數(shù)字濾光片組和第二數(shù)字濾光片組。頻率濾光片計算單元基于第一、第二數(shù)字濾光片組及第三、第四數(shù)字濾光片組算出用于在頻率空間上將第一、第二圖像轉(zhuǎn)換為第三、第四圖像的第一、第二頻率濾光片組。
[0021]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，優(yōu)選為，當(dāng)將存儲于數(shù)字濾光片存儲單元的第一數(shù)字濾光片組和第二數(shù)字濾光片組中的任一數(shù)字濾光片設(shè)為T(x，y)，將對該數(shù)字濾光片T(x，y)進(jìn)行傅里葉變換所得的數(shù)字濾光片設(shè)為Tf(?x，coy)，將第三數(shù)字濾光片組和第四數(shù)字濾光片組中的與數(shù)字濾光片T(x，y)對應(yīng)的數(shù)字濾光片設(shè)為Tw(x，y)，將對該數(shù)字濾光片Tw(x，y)進(jìn)行傅里葉變換所得的數(shù)字濾光片設(shè)為Twf(?x，Wy)時，頻率濾光片計算單元利用下式:6(ωχ，coy) = Twf (ωχ, ω y).Tf (ωχ, ω y)-1算出第一頻率濾光片和第二頻率濾光片G ( ω χ，ω y)。
[0022]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，優(yōu)選為，具備:指定單元，指定向應(yīng)轉(zhuǎn)換的第三圖像和第四圖像的轉(zhuǎn)換特性；及數(shù)字濾光片計算單元，算出與所指定的轉(zhuǎn)換特性對應(yīng)的第三數(shù)字濾光片組和第四數(shù)字濾光片組，頻率濾光片計算單元使用存儲于數(shù)字濾光片存儲單元的第一數(shù)字濾光片組和第二數(shù)字濾光片組及由數(shù)字濾光片計算單元算出的第三數(shù)字濾光片組和第四數(shù)字濾光片組而算出第一頻率濾光片組和第二頻率濾光片組。
[0023]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，具備:頻率濾光片存儲單元，對基于與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第一圖像和第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組和第二數(shù)字濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組而算出的每個視差的第一頻率濾光片組和第二頻率濾光片組進(jìn)行存儲，運算處理單元對應(yīng)所取得的第一圖像和第二圖像的每個像素，基于由視差獲取單元取得的該像素的視差，從所存儲的第一頻率濾光片組和第二頻率濾光片組讀出與視差對應(yīng)的第一頻率濾光片和第二頻率濾光片，使用所讀出的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理。
[0024]由此，由于沒有必要算出第一、第二頻率濾光片組，因此能夠?qū)崿F(xiàn)用于從第一、第二圖像生成第三、第四圖像的運算處理的高速化。另一方面，需要預(yù)先對應(yīng)第三、第四圖像的每個圖像存儲第一、第二頻率濾光片組。
[0025]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，當(dāng)將第一數(shù)字濾光片組和第二數(shù)字濾光片組中的任一數(shù)字濾光片設(shè)為T(x，y)，將對該數(shù)字濾光片T(x，y)進(jìn)行傅里葉變換所得的數(shù)字濾光片設(shè)為Tf(cox，coy)，將第三數(shù)字濾光片組和第四數(shù)字濾光片組中的與所述數(shù)字濾光片T(x，y)對應(yīng)的數(shù)字濾光片設(shè)為Tw(x，y)，將對該數(shù)字濾光片Tw(x，y)進(jìn)行傅里葉變換所得的數(shù)字濾光片設(shè)為Twf(?x，Wy)時，頻率濾光片存儲單元對由下式G(?x，Wy) = Τ￥?(ωχ, Wy).ΤΓ(ωχ, ο^Γ1算出的第一頻率濾光片和第二頻率濾光片G(cox，coy)進(jìn)行存儲。
[0026]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，具備指定單元，指定向應(yīng)轉(zhuǎn)換的第三圖像和第四圖像的轉(zhuǎn)換特性，頻率濾光片存儲單元對基于與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第一圖像和第二圖像的轉(zhuǎn)換特性對應(yīng)的、每個視差的第一數(shù)字濾光片組和第二數(shù)字濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第三圖像和第四圖像的轉(zhuǎn)換特性對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組即與能夠由指定單元指定的多個轉(zhuǎn)換特性對應(yīng)的第三數(shù)字濾光片組和第四數(shù)字濾光片組而算出的每個轉(zhuǎn)換特性的第一頻率濾光片組和第二頻率濾光片組進(jìn)行存儲，運算處理單元從頻率濾光片存儲單元讀出并使用與由指定單元指定的轉(zhuǎn)換特性對應(yīng)的第一頻率濾光片組和第二頻率濾光片組。
[0027]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，具備逆濾光片存儲單元，對與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第一圖像或第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組或第二數(shù)字濾光片組的頻率成分?jǐn)?shù)據(jù)的逆濾光片即第一逆濾光片組和第二逆濾光片組進(jìn)行存儲，運算處理單元使用所存儲的第一逆濾光片組和第二逆濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組的頻率成分?jǐn)?shù)據(jù)即第三頻率濾光片組和第四頻率濾光片組作為第一頻率濾光片組和第二頻率濾光片組。
[0028]通過對第一圖像或第二圖像的每個像素乘以像素的每個視差的逆濾光片，能夠生成在頻率空間上消除了視差量和模糊量的圖像。并且，對該圖像乘以每個視差的第三數(shù)字濾光片和第四數(shù)字濾光片的頻率成分?jǐn)?shù)據(jù)。由此，能夠得到在頻率空間上強調(diào)了視差量和模糊的第三圖像和第四圖像。
[0029]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，具備:指定單元，指定向應(yīng)轉(zhuǎn)換的第三圖像和第四圖像的轉(zhuǎn)換特性；及數(shù)字濾光片計算單元，算出與所指定的轉(zhuǎn)換特性對應(yīng)的第三數(shù)字濾光片組和第四數(shù)字濾光片組，運算處理單元使用由數(shù)字濾光片計算單元算出的第三數(shù)字濾光片組和第四數(shù)字濾光片組。
[0030]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，由指定單元指定的向第三圖像和第四圖像的轉(zhuǎn)換特性是與第一圖像和第二圖像不同的攝影光學(xué)系統(tǒng)的焦距、光圈值、攝像元件的尺寸和靈敏度特性中的至少一個。
[0031]由此，雖然實際上沒有拍攝第三、第四圖像，但是能夠生成在對拍攝第一、第二圖像時的焦距、光圈值、攝像元件的尺寸和靈敏度特性中的至少一個進(jìn)行了變更的情況下得到的第三、第四圖像。
[0032]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，優(yōu)選為，第三數(shù)字濾光片組和第四數(shù)字濾光片組是將第一數(shù)字濾光片組和第二數(shù)字濾光片組相似形地進(jìn)行縮放而得到的數(shù)字濾光片組?；谶@些第三數(shù)字濾光片組和第四數(shù)字濾光片組而分別轉(zhuǎn)換的第三、第四圖像能夠利用3D顯示器進(jìn)行立體視，另外，即使將3D專用眼鏡摘下進(jìn)行欣賞也幾乎不會產(chǎn)生重影(由單眼3D圖像裝置拍攝的單眼3D圖像)。
[0033]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，也可以是，第三數(shù)字濾光片組和第四數(shù)字濾光片組分別是圓形且具有點對稱的濾光系數(shù)的數(shù)字濾光片組。在該情況下，當(dāng)摘下3D專用眼鏡進(jìn)行欣賞時成為重影，但是即使在模糊較大的情況下等在人眼中難以獲取像素彼此的對應(yīng)的情況下(難以進(jìn)行立體視的情況下)也能夠生成立體視容易的第三、第四圖像。
[0034]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，優(yōu)選為，運算處理單元在獲取多個轉(zhuǎn)換特性的第三圖像和第四圖像時，對應(yīng)所取得的第一圖像或第二圖像的每個像素，進(jìn)行乘以與該每個像素的視差對應(yīng)的第一數(shù)字濾光片或第二數(shù)字濾光片的頻率成分?jǐn)?shù)據(jù)的逆濾光片的第一運算，并對該第一運算的結(jié)果乘以分別與多個轉(zhuǎn)換特性的第三圖像和第四圖像對應(yīng)的第三數(shù)字濾光片和第四數(shù)字濾光片的頻率成分?jǐn)?shù)據(jù)。
[0035]利用第一運算生成在頻率空間上消除了視差和模糊的圖像。并且，對該圖像的各像素乘以分別與多個轉(zhuǎn)換特性的第三圖像和第四圖像對應(yīng)的第三數(shù)字濾光片和第四數(shù)字濾光片的頻率成分?jǐn)?shù)據(jù)而生成第三圖像和第四圖像。由此，第一運算進(jìn)行一次即可，能夠?qū)崿F(xiàn)計算時間的縮短。
[0036]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，優(yōu)選為，第一數(shù)字濾光片組和第二數(shù)字濾光片組使用關(guān)于圖像的中心而彼此左右對稱且左右對稱性根據(jù)光瞳分割方向的像高而變化的數(shù)字濾光片組。
[0037]在此，第一、第二數(shù)字濾光片組是與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第一、第二圖像的轉(zhuǎn)換特性對應(yīng)的每個視差的濾光片。為了得到適當(dāng)?shù)牡谝?、第二頻率濾光片(期望的第三、第四圖像)，準(zhǔn)確地把握向第一、第二圖像施加怎樣的濾光片較為重要。并且，被光瞳分割而獲取的第一、第二圖像中的靈敏度因入射角而不同。因此，第一、第二數(shù)字濾光片關(guān)于圖像的中心而彼此具有左右對稱，但左右對稱性根據(jù)光瞳分割方向的像聞而變化。因此，優(yōu)選為，第一、第二數(shù)字濾光片使用根據(jù)像高而不同的數(shù)字濾光片。
[0038]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，優(yōu)選為，第一數(shù)字濾光片組和第二數(shù)字濾光片組使用具有將獲取第一圖像和第二圖像時的、攝影光學(xué)系統(tǒng)中所包含的光圈的開口形狀進(jìn)行了分割的形狀的數(shù)字濾光片組。
[0039]第一、第二數(shù)字濾光片組相當(dāng)于分別對點像的模糊像(根據(jù)視差而不同的模糊像)進(jìn)行光瞳分割所得的數(shù)字濾光片組，具有將透鏡的光圈的開口形狀進(jìn)行了分割的形狀。第一、第二數(shù)字濾光片組例如在光圈開口是圓形的情況下具有將其分割成兩部分的形狀，在光圈開口為多邊形的情況下，具有將其分割成兩部分的形狀。因此，優(yōu)選為，第一、第二數(shù)字濾光片組與單眼3D圖像攝像時的光圈的開口形狀一致。
[0040]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，優(yōu)選為，第一圖像和第二圖像是從彩色攝像元件輸出的三原色的彩色圖像，第一數(shù)字濾光片組和第二數(shù)字濾光片組使用與彩色攝像元件的每色的靈敏度特性對應(yīng)而每色不同的數(shù)字濾光片組。
[0041]與入射到彩色攝像元件的光的入射角相對的第一、第二靈敏度按照三原色的每色而不同。因此，基于這些靈敏度而設(shè)計的第一、第二數(shù)字濾光片對應(yīng)每色進(jìn)行設(shè)計為優(yōu)選。
[0042]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，優(yōu)選為，第三數(shù)字濾光片組和第四數(shù)字濾光片組使用與三原色的彩色圖像中的特定的顏色對應(yīng)的數(shù)字濾光片組。由此，能夠消除每色的圖像的形狀差異的影響，并能夠?qū)崿F(xiàn)畫質(zhì)的改善。
[0043]在本發(fā)明的又一其他方式所涉及的圖像處理裝置中，第一圖像和第二圖像是從彩色攝像元件輸出的三原色的彩色圖像，視差獲取單元對應(yīng)每色算出所取得的第一圖像和第二圖像的對應(yīng)的像素間的視差，運算處理單元對應(yīng)每色進(jìn)行對所取得的第一圖像和第二圖像的運算處理。
[0044]由于透鏡具有色像差，因此對應(yīng)每色模糊(視差)是不同的。因此，優(yōu)選為，對應(yīng)每色而獲取第一、第二圖像的對應(yīng)的像素間的視差，并基于按照每色而不同的視差來進(jìn)行從第一、第二圖像向第三、第四的圖像的轉(zhuǎn)換。由此，能夠消除三原色的色像差的影響，實現(xiàn)畫質(zhì)的改善。
[0045]本發(fā)明的又一其他方式所涉及的攝像裝置具備:單一的攝影光學(xué)系統(tǒng)；攝像元件，是對通過了攝影光學(xué)系統(tǒng)的不同的第一、第二區(qū)域的被攝體像進(jìn)行光瞳分割而分別成像的攝像元件，分別對通過了第一、第二區(qū)域的被攝體像進(jìn)行光電轉(zhuǎn)換而輸出第一圖像和第二圖像；圖像獲取單元，獲取從攝像元件輸出的第一圖像和第二圖像；及上述的任一圖像處理裝置。
[0046]本發(fā)明的又一其他方式所涉及的圖像處理方法包括:圖像獲取工序，獲取經(jīng)由單一的攝影光學(xué)系統(tǒng)而被攝像并由光瞳分割單元進(jìn)行了光瞳分割的彼此具有視差的第一圖像和第二圖像；視差獲取工序，獲取所取得的第一圖像和第二圖像的對應(yīng)的像素間的視差；第一數(shù)據(jù)轉(zhuǎn)換工序，對應(yīng)所取得的第一圖像的圖像數(shù)據(jù)和第二圖像的圖像數(shù)據(jù)的處理的每個對象像素，將以該對象像素為基準(zhǔn)的預(yù)定區(qū)域分別轉(zhuǎn)換為第一頻率成分?jǐn)?shù)據(jù)和第二頻率成分?jǐn)?shù)據(jù)；運算處理工序，對應(yīng)所取得的第一圖像和第二圖像的每個頻率成分?jǐn)?shù)據(jù)，使用與由視差獲取工序取得的對象像素的視差對應(yīng)的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理，第一頻率濾光片和第二頻率濾光片是用于對轉(zhuǎn)換后的第一頻率成分?jǐn)?shù)據(jù)和第二頻率成分?jǐn)?shù)據(jù)分別在頻率空間進(jìn)行轉(zhuǎn)換而分別轉(zhuǎn)換為將所取得的第一圖像和第二圖像具有的視差量和模糊量進(jìn)行了變更的第三圖像和第四圖像的第一頻率濾光片組和第二頻率濾光片組；及第二數(shù)據(jù)轉(zhuǎn)換工序，將通過運算處理工序算出的第三圖像和第四圖像分別所對應(yīng)的第三頻率成分?jǐn)?shù)據(jù)和第四頻率成分?jǐn)?shù)據(jù)轉(zhuǎn)換為實際空間上的數(shù)據(jù)，并選擇與對象像素對應(yīng)的位置的像素分別作為第三圖像和第四圖像的一個像素，將對象像素的位置錯開并一個像素一個像素地重復(fù)執(zhí)行第一數(shù)據(jù)轉(zhuǎn)換工序、運算處理工序和第二數(shù)據(jù)轉(zhuǎn)換工序。
[0047]在本發(fā)明的又一其他方式所涉及的圖像處理方法中，還包括:準(zhǔn)備數(shù)字濾光片存儲單元的工序，數(shù)字濾光片存儲單元對與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第一圖像和第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組和第二數(shù)字濾光片組進(jìn)行存儲；及頻率濾光片計算工序，基于所存儲的第一數(shù)字濾光片組和第二數(shù)字濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組，算出第一頻率濾光片組和第二頻率濾光片組，運算處理工序?qū)?yīng)所取得的第一圖像和第二圖像的每個像素，基于由視差獲取工序取得的該像素的視差，從所算出的第一頻率濾光片組和第二頻率濾光片組分別選擇與視差對應(yīng)的第一頻率濾光片和第二頻率濾光片，并使用所選擇的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理。
[0048]在本發(fā)明的又一其他方式所涉及的圖像處理方法中，還包括:準(zhǔn)備頻率濾光片存儲單元的工序，頻率濾光片存儲單元對基于與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第一圖像和第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組和第二數(shù)字濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組而算出的每個視差的第一頻率濾光片組和第二頻率濾光片組進(jìn)行存儲，運算處理工序?qū)?yīng)所取得的第一圖像和第二圖像的每個像素，基于由視差獲取工序取得的該像素的視差，從所存儲的第一頻率濾光片組和第二頻率濾光片組讀出與視差對應(yīng)的第一頻率濾光片和第二頻率濾光片，并使用所讀出的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理。
[0049]在本發(fā)明的又一其他方式所涉及的圖像處理方法中，還包括:準(zhǔn)備逆濾光片存儲單元的工序，逆濾光片存儲單元對與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第一圖像或第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組或第二數(shù)字濾光片組的頻率成分?jǐn)?shù)據(jù)的逆濾光片組即第一逆濾光片組和第二逆濾光片組進(jìn)行存儲，運算處理工序使用所存儲的逆濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組的頻率成分?jǐn)?shù)據(jù)即第三頻率濾光片組和第四頻率濾光片組作為第一頻率濾光片組和第二頻率濾光片組。
[0050]發(fā)明效果
[0051]根據(jù)本發(fā)明，能夠根據(jù)經(jīng)由單一的攝影光學(xué)系統(tǒng)而被攝像并由光瞳分割單元進(jìn)行了光瞳分割的彼此具有視差的第一圖像和第二圖像(單眼3D圖像)，生成使視差量和模糊量聯(lián)動地進(jìn)行了調(diào)整的期望的立體視用的第三、第四圖像。另外，能夠通過對與第一、第二圖像不同的攝影光學(xué)系統(tǒng)的焦距、光圈值、攝像元件的尺寸或靈敏度特性中的至少一個進(jìn)行指定，雖然實際上沒有拍攝第三、第四圖像，但是能夠生成在對拍攝第一、第二圖像時的焦距、光圈值、攝像元件的尺寸和靈敏度特性中的至少一個進(jìn)行了變更的情況下得到的第三、第四圖像作為期望的第三、第四圖像。

【專利附圖】

【附圖說明】
[0052]圖1是表示本發(fā)明所涉及的攝像裝置的實施方式的立體圖。
[0053]圖2是圖1所示的攝像裝置的后視圖。
[0054]圖3是表示圖1所示的攝像裝置的內(nèi)部結(jié)構(gòu)的實施方式的框圖。
[0055]圖4A是為了說明由通常的攝像元件拍攝的圖像和由單眼3D用的攝像元件拍攝的左眼圖像和右眼圖像而使用的圖。
[0056]圖4B是為了說明由通常的攝像元件拍攝的圖像及由單眼3D用的攝像元件拍攝的左眼圖像和右眼圖像而使用的圖。
[0057]圖4C是為了說明由通常的攝像元件拍攝的圖像及由單眼3D用的攝像元件拍攝的左眼圖像和右眼圖像而使用的圖。
[0058]圖5A是表示單眼3D用的攝像元件的靈敏度特性和對應(yīng)于該靈敏度特性而生成的半月濾光片的圖。
[0059]圖5B是表示單眼3D用的攝像元件的靈敏度特性和對應(yīng)于該靈敏度特性而生成的半月濾光片的圖。
[0060]圖5C是表示單眼3D用的攝像元件的靈敏度特性和對應(yīng)于該靈敏度特性而生成的半月濾光片的圖。
[0061]圖?是表示單眼3D用的攝像元件的靈敏度特性和對應(yīng)于該靈敏度特性而生成的半月濾光片的圖。
[0062]圖6是為了說明半月濾光片的生成方法而使用的圖。
[0063]圖7是表示圖6的主要部分放大圖和半月濾光片的圖。
[0064]圖8是圖6的主要部分放大圖，是表示攝像元件上的坐標(biāo)和入射角的關(guān)系的圖。
[0065]圖9A是表示在原始的單眼3D圖像的左眼圖像施加的第一半月濾光片的一例的圖。
[0066]圖9B是表示在原始的單眼3D圖像的右眼圖像施加的第二半月濾光片的一例的圖。
[0067]圖10是為了說明生成期望的單眼3D圖像時應(yīng)在實際空間卷積的濾光片而使用的圖。
[0068]圖11A是為了說明應(yīng)在期望的單眼3D圖像施加的半月濾光片的一例而使用的圖。
[0069]圖11B是為了說明應(yīng)在期望的單眼3D圖像施加的半月濾光片的一例而使用的圖。
[0070]圖12A是為了說明應(yīng)在期望的單眼3D圖像施加的半月濾光片的其他例而使用的圖。
[0071]圖12B是為了說明應(yīng)在期望的單眼3D圖像施加的半月濾光片的其他例而使用的圖。
[0072]圖13A是為了說明應(yīng)向期望的單眼3D圖像施加的半月濾光片的又一其他例而使用的圖。
[0073]圖13B是為了說明應(yīng)在期望的單眼3D圖像施加的半月濾光片的又一其他例而使用的圖。
[0074]圖14A是為了說明用于指定期望的單眼3D圖像的用戶接口而使用的圖。
[0075]圖14B是為了說明用于指定期望的單眼3D圖像的用戶接口而使用的圖。
[0076]圖15是表示本發(fā)明所涉及的圖像處理裝置的第一實施方式的主要部分框圖。
[0077]圖16是表示本發(fā)明所涉及的圖像處理裝置的第二實施方式的主要部分框圖。
[0078]圖17是表示本發(fā)明所涉及的圖像處理裝置的第三實施方式的主要部分框圖。
[0079]圖18A是為了說明應(yīng)在期望的單眼3D圖像施加的半月濾光片的又一其他例而使用的圖。
[0080]圖18B是為了說明應(yīng)在期望的單眼3D圖像施加的半月濾光片的又一其他例而使用的圖。
[0081]圖19是為了說明應(yīng)在期望的3D圖像施加的濾光片的又一其他例而使用的圖。
[0082]圖20A是表示根據(jù)第一單眼3D圖像生成多個第二單眼3D圖像的情況下的通常過程和計算時間縮短版過程的概念圖。
[0083]圖20B是表示根據(jù)第一單眼3D圖像生成多個第二單眼3D圖像的情況下的通常過程和計算時間縮短版過程的概念圖。
[0084]圖21是為了說明生成期望的單眼3D圖像時應(yīng)在頻率空間相乘的頻率濾光片而使用的圖。
[0085]圖22是表示本發(fā)明所涉及的圖像處理裝置的第四實施方式的主要部分框圖。
[0086]圖23是表示本發(fā)明所涉及的圖像處理裝置的第五實施方式的主要部分框圖。
[0087]圖24是表示本發(fā)明所涉及的圖像處理裝置的第六實施方式的主要部分框圖。
[0088]圖25是為了說明與像高對應(yīng)的第一、第二半月濾光片而使用的圖。
[0089]圖26A是為了說明與畫面內(nèi)的位置對應(yīng)的入射角特性的差異而使用的圖。
[0090]圖26B是為了說明與畫面內(nèi)的位置對應(yīng)的入射角特性的差異而使用的圖。
[0091]圖27是表示由圖26A和圖26B所示的入射角特性的差異產(chǎn)生的半月濾光片的差異的圖。
[0092]圖28A是表示透鏡的光圈的開口形狀的一例的圖。
[0093]圖28B是表示透鏡的光圈的開口形狀的一例的圖。
[0094]圖28C是表示透鏡的光圈的開口形狀的一例的圖。
[0095]圖28D是表示透鏡的光圈的開口形狀的一例的圖。
[0096]圖29A是表示左眼圖像和右眼圖像相對于入射到單眼3D用的攝像元件的光的χ方向的角度[° ]的靈敏度的一例的坐標(biāo)圖。
[0097]圖29Β是表示左眼圖像和右眼圖像相對于入射到單眼3D用的攝像元件的光的y方向的角度[° ]的靈敏度的一例的坐標(biāo)圖。
[0098]圖30是表示RGB的每種顏色的色像差的一例的圖。
[0099]圖31是作為攝像裝置的其他實施方式的智能電話的外觀圖。
[0100]圖32是表示智能電話的主要部分結(jié)構(gòu)的框圖。

【具體實施方式】
[0101]以下，按照附圖，對本發(fā)明所涉及的圖像處理裝置、方法及攝像裝置的實施方式進(jìn)行說明。
[0102][攝像裝置]
[0103]圖1和圖2分別是表示本發(fā)明所涉及的攝像裝置的實施方式的立體圖和后視圖。該攝像裝置10是由攝像元件接受通過了透鏡的光并轉(zhuǎn)換為數(shù)字信號而記錄于記錄介質(zhì)的數(shù)碼相機，是能夠?qū)窝?D圖像和2D圖像進(jìn)行攝像的單眼3D圖像裝置。
[0104]如圖1所示，攝像裝置10在其正面配置有攝影透鏡(攝影光學(xué)系統(tǒng))12、閃光燈發(fā)光部1等，在上表面配置有快門按鈕2、電源/模式開關(guān)3、模式轉(zhuǎn)盤4等。另一方面，如圖2所示，在攝像裝置10的背面配置有3D顯示用的3D液晶監(jiān)視器30、變焦按鈕5、十字按鈕6、菜單/確定按鈕7、重放按鈕8、返回按鈕9等。
[0105]攝影透鏡12由伸縮式變焦透鏡構(gòu)成，利用電源/模式開關(guān)3將相機的模式設(shè)定為攝影模式，從而從相機主體伸出。閃光燈發(fā)光部1主要向被攝體照射光。
[0106]快門按鈕2由所謂“半按”和“全按”所構(gòu)成的兩段行程式的開關(guān)構(gòu)成。攝像裝置10在以攝影模式進(jìn)行驅(qū)動時，對該快門按鈕2進(jìn)行“半按”，從而執(zhí)行攝影準(zhǔn)備處理(AE (Automatic Exposure:自動曝光)>AF (Automatic Focus:自動對焦)等)，通過進(jìn)行“全按”而執(zhí)行攝影。另外，攝像裝置10在以攝影模式進(jìn)行驅(qū)動時，通過“全按”該快門按鈕2而執(zhí)行攝影。
[0107]電源/模式開關(guān)3兼具作為將攝像裝置10的電源置于通/斷的電源開關(guān)的功能和作為對攝像裝置10的模式進(jìn)行設(shè)定的模式開關(guān)的功能，并配置成在“斷開位置”、“重放位置”和“攝影位置”之間滑動自如。攝像裝置10使電源/模式開關(guān)3滑動而與“重放位置”或“攝影位置” 一致，從而使電源接通，通過與“斷開位置” 一致，而使電源斷開。并且，通過使電源/模式開關(guān)3滑動而與“重放位置” 一致，而設(shè)定為“重放模式”，通過與“攝影位置”一致而設(shè)定為“攝影模式”。
[0108]模式轉(zhuǎn)盤4作為對攝像裝置10的攝影模式進(jìn)行設(shè)定的攝影模式設(shè)定單元而發(fā)揮功能，利用該模式轉(zhuǎn)盤的設(shè)定位置，將攝像裝置10的攝影模式設(shè)定為各種各樣的模式。例如，進(jìn)行平面圖像(2D圖像)的攝影的“平面圖像攝影模式”、進(jìn)行立體圖像(3D圖像)的攝影的“立體圖像攝影模式”、進(jìn)行動態(tài)畫面攝影的“動態(tài)畫面攝影模式”等。
[0109]3D液晶監(jiān)視器(LCD:Liquid Crystal Display) 30是能夠通過視差柵欄將立體視圖像(左眼圖像和右眼圖像)作為分別具有預(yù)定的指向性的指向性圖像而顯示的立體顯示單元。在將立體視圖像輸入到3D液晶監(jiān)視器30的情況下，使3D液晶監(jiān)視器30的視差柵欄顯示層產(chǎn)生由光透過部和光遮蔽部交替地以預(yù)定的間距排列而成的圖案構(gòu)成的視差柵欄，并且表示左右圖像的長條狀的圖像斷片交替地排列而顯示于視差柵欄顯示層的下層的圖像顯示面。在作為平面圖像、用戶接口顯示面板而利用的情況下，在視差柵欄顯示層什么也不顯示，在其下層的圖像顯示面原樣顯示一張圖像。另外，3D液晶監(jiān)視器30的形態(tài)不限于此，如果使左眼圖像和右眼圖像以能夠作為立體圖像而識別的方式進(jìn)行顯示，則也可以通過佩戴使用了柱面透鏡的器件或偏光眼鏡、液晶快門眼鏡等專用眼鏡而對左眼圖像和右眼圖像單獨地進(jìn)行觀察。
[0110]變焦按鈕5作為對變焦進(jìn)行指示的變焦指示單元而發(fā)揮功能。變焦按鈕5由對向長焦側(cè)的變焦進(jìn)行指示的長焦按鈕5T和對向廣角側(cè)的變焦進(jìn)行指示的廣角按鈕5W構(gòu)成。攝像裝置10在攝影模式時，通過對該長焦按鈕5T和廣角按鈕5W進(jìn)行操作，而使攝影透鏡12的焦距發(fā)生變化。另外，在重放模式時，通過對該長焦按鈕5T和廣角按鈕5W進(jìn)行操作，而使重放中的圖像放大、縮小。
[0111]十字按鈕6是輸入上下左右四個方向的指示的操作部，作為從菜單畫面選擇項目或根據(jù)各菜單指示各種設(shè)定項目的選擇的按鈕(光標(biāo)移動操作單元)而發(fā)揮功能。左/右鍵作為重放模式時的逐幀播放(正方向/反方向播放)按鈕而發(fā)揮功能。
[0112]菜單/確定按鈕7是兼具作為用于進(jìn)行在3D液晶監(jiān)視器30的畫面上顯示菜單的指令的菜單按鈕的功能和作為對選擇內(nèi)容的確定和執(zhí)行等進(jìn)行指示的確定按鈕的功能的操作鍵。
[0113]重放按鈕8是用于切換為將所攝影記錄的立體圖像(3D圖像)、平面圖像(2D圖像)的靜止畫面或動態(tài)畫面在3D液晶監(jiān)視器30上顯示的重放模式的按鈕。
[0114]返回按鈕9作為對輸入操作的消除、返回到前一個操作狀態(tài)進(jìn)行指示的按鈕而發(fā)揮功能。
[0115][攝像裝置的內(nèi)部結(jié)構(gòu)]
[0116]圖3是表示上述攝像裝置10的內(nèi)部結(jié)構(gòu)的實施方式的框圖。該攝像裝置10將拍攝到的圖像記錄于存儲卡54，裝置整體的動作由中央處理裝置(CPU)40集中控制。
[0117]在攝像裝置10，設(shè)置有包含快門按鈕2、電源/模式開關(guān)3、模式轉(zhuǎn)盤4、重放按鈕8、菜單/確定按鈕7、十字按鈕6、變焦按鈕5、返回按鈕9的操作部38。來自該操作部38的信號被輸入到CPU40。CPU40基于輸入信號對攝像裝置10的各電路進(jìn)行控制，例如，進(jìn)行透鏡驅(qū)動控制、光圈驅(qū)動控制、攝影動作控制、圖像處理控制、圖像數(shù)據(jù)的記錄/重放控制及3D液晶監(jiān)視器30的顯示控制等。
[0118]當(dāng)利用電源/模式開關(guān)3將攝像裝置10的電源接通時，從未圖示的電源部向各模塊供電，開始攝像裝置10的驅(qū)動。
[0119]通過了攝影透鏡12、光圈14等的光束在作為相位差圖像傳感器的攝像元件16(攝像單元、圖像獲取單元)上成像，在攝像元件16蓄積信號電荷。
[0120]在此，攝像元件16能夠根據(jù)離焦量而獲取視差不同的左眼圖像和右眼圖像(單眼3D圖像)。攝像元件16也能夠通過將左眼圖像和右眼圖像相加來獲取2D圖像。另外，針對攝像元件16的詳細(xì)情況留作后述。另外，該實施方式的攝像元件16是(XD (Charge CoupledDevice:電荷f禹合裝置)圖像傳感器，但是不限于此，也可以是CMOS (Complementary MetalOxide Semiconductor:互補性金屬氧化物半導(dǎo)體)型的圖像傳感器。
[0121]蓄積于攝像元件16的左眼圖像和右眼圖像的信號電荷基于從定時發(fā)生器(未圖示)施加的讀出信號而作為與信號電荷對應(yīng)的電壓信號被讀出。從攝像元件16讀出的電壓信號被施加到模擬信號處理部18。CCD控制部32進(jìn)行來自攝像元件16的圖像信號的讀出控制。
[0122]模擬信號處理部18針對從攝像元件16輸出的電壓信號，利用相關(guān)雙采樣處理(以減輕攝像元件的輸出信號中所包含的噪聲(特別是熱噪聲)等為目的，通過取得攝像元件的每個像素的輸出信號中所包含的饋通成分電平與像素信號成分電平之差而得到準(zhǔn)確的像素數(shù)據(jù)的處理)，在對各像素的R(紅)、G(綠)、B (藍(lán))信號進(jìn)行采樣保持并放大后施加到A/D轉(zhuǎn)換器20。A/D轉(zhuǎn)換器20將依次輸入的R、G、B信號轉(zhuǎn)換為數(shù)字的R、G、B信號而輸出到圖像輸入控制器22。
[0123]數(shù)字信號處理部24對經(jīng)由圖像輸入控制器22而輸入的數(shù)字的圖像信號進(jìn)行偏置處理、包含白平衡校正、靈敏度校正的增益/控制處理、伽瑪校正處理、去馬賽克算法處理、YC處理、邊緣強調(diào)處理等預(yù)定的信號處理。
[0124]另外，數(shù)字信號處理部24具備:獲取左眼圖像和右眼圖像的對應(yīng)的像素間的視差的視差獲取單元；根據(jù)所獲取的視差生成視差映射的視差映射獲取單元；及根據(jù)所獲取的左眼圖像、右眼圖像(第一單眼3D圖像)和視差映射，使單眼3D圖像的視差量和模糊量兩方聯(lián)動而進(jìn)行變更從而生成期望的左眼圖像和右眼圖像(第二單眼3D圖像)的濾光處理單元等。另外，針對根據(jù)在攝像時獲取的第一單眼3D圖像生成期望的第二單眼3D圖像的圖像處理方法的詳細(xì)情況留作后述。
[0125]由數(shù)字信號處理部24處理后的2D或3D的圖像數(shù)據(jù)被輸入到VRAM (Video RandomAccess Memory) 50。在VRAM50包含分別對表示1幀量的2D或3D的圖像的圖像數(shù)據(jù)進(jìn)行記錄的A區(qū)域和B區(qū)域。在VRAM50中，將表示1幀量的2D或3D的圖像的圖像數(shù)據(jù)在A區(qū)域和B區(qū)域交替地進(jìn)行重寫。從VRAM50的A區(qū)域和B區(qū)域中的圖像數(shù)據(jù)被重寫的一方的區(qū)域以外的區(qū)域讀出所寫入的圖像數(shù)據(jù)。
[0126]從VRAM50讀出的2D或3D的圖像數(shù)據(jù)在視頻編碼器28中被編碼，而被輸出到設(shè)于相機背面的3D液晶監(jiān)視器30。由此，2D或3D的被攝體像連續(xù)地在3D液晶監(jiān)視器30的顯示畫面上顯示。
[0127]當(dāng)存在操作部38的快門按鈕2的第一階段的按下(半按)時，CPU40開始AF動作和AE動作，經(jīng)由透鏡驅(qū)動部36使攝影透鏡12的聚焦透鏡沿光軸方向移動，以聚焦透鏡到達(dá)對焦位置的方式進(jìn)行控制。
[0128]AF處理部42是進(jìn)行對比度AF處理或相位差A(yù)F處理的部分。在進(jìn)行對比度AF處理的情況下，對左眼圖像和右眼圖像的至少一方的圖像中的預(yù)定的聚焦區(qū)域內(nèi)的圖像的高頻成分進(jìn)行提取，通過對該高頻成分進(jìn)行積分而算出表示對焦?fàn)顟B(tài)的AF評價值。使攝影透鏡12內(nèi)的聚焦透鏡移動到該AF評價值為極大的透鏡位置，從而進(jìn)行AF控制(對比度AF)。
[0129]CPU40根據(jù)來自變焦按鈕5的變焦指令而經(jīng)由透鏡驅(qū)動部36使變焦透鏡沿光軸方向進(jìn)退動作，使焦距發(fā)生變化。
[0130]另外，在對快門按鈕2進(jìn)行半按時從A/D轉(zhuǎn)換器20輸出的圖像數(shù)據(jù)被取入到AE檢測部44。
[0131]在AE檢測部44中，對畫面整體的G信號進(jìn)行累計，或?qū)υ诋嬅嬷醒氩亢椭苓叢扛郊恿瞬煌臋?quán)重的G信號進(jìn)行累計，并將其累計值輸出到CPU40。CPU40利用從AE檢測部44輸入的累計值，算出被攝體的明亮度(攝影Εν值)。CPU40對光圈驅(qū)動部34進(jìn)行控制，并基于該攝影Εν值按照預(yù)定的程序線圖決定光圈14的F值和攝像元件16的電子快門(快門速度)。
[0132]另外，在圖3中，46是用于對攝影視場角內(nèi)的人物的臉部進(jìn)行檢測并將包含該臉部的區(qū)域作為AF區(qū)域、ΑΕ區(qū)域而設(shè)定的公知的臉部檢測電路(例如，日本特開平9-101579號公報)。
[0133]另外，47是除了存儲相機控制程序、攝像元件16的缺陷信息、使用于圖像處理等的各種參數(shù)、表外，還存儲有用于生成本發(fā)明所涉及的第二單眼3D圖像的圖像處理程序、為了生成第二單眼3D圖像而使用的第一和第二半月濾光片組(第一、第二數(shù)字濾光片組)、用于將第一單眼3D圖像轉(zhuǎn)換為第二單眼3D圖像的第一、第二轉(zhuǎn)換濾光片組、作為第一和第二半月濾光片組的逆濾光片的第一、第二逆濾光片組等的R0M(EEPR0M ElectronicallyErasable and Programmable Read Only Memory)(數(shù)字濾光片存儲單元、轉(zhuǎn)換濾光片存儲單元、逆濾光片存儲單元)。另外，針對本發(fā)明所涉及的圖像處理程序、濾光片組等的詳細(xì)情況留作后述。
[0134]當(dāng)通過快門按鈕2的半按而使AE動作和AF動作結(jié)束，且存在快門按鈕的第二階段的按下(全按)時，將對該按下進(jìn)行響應(yīng)而從A/D轉(zhuǎn)換器20輸出的圖像數(shù)據(jù)從圖像輸入控制器 22 輸入到存儲器(SDRAM:Synchronous Dynamic Random Access Memory) 48,并暫時性地進(jìn)行存儲。
[0135]暫時性地存儲于存儲器48的圖像數(shù)據(jù)由數(shù)字信號處理部24適當(dāng)讀出。并且，從存儲器48讀出的圖像數(shù)據(jù)在數(shù)字信號處理部24中進(jìn)行包括去馬賽克算法處理(根據(jù)與單板式的彩色攝像元件中的濾色器排列對應(yīng)的馬賽克圖像算出每個像素全部的顏色信息的處理。在本實施方式中是對應(yīng)每個像素算出RGB全部的顏色信息的處理)、邊緣強調(diào)的圖像處理和YC處理(圖像數(shù)據(jù)的亮度數(shù)據(jù)和色差數(shù)據(jù)的生成處理)的預(yù)定的信號處理，被YC處理后的圖像數(shù)據(jù)(YC數(shù)據(jù))再次被存儲于存儲器48。
[0136]存儲于存儲器48的YC數(shù)據(jù)被輸出到壓縮擴(kuò)展處理部26，在被執(zhí)行了 JPEG(JointPhotographic Experts Group:聯(lián)合圖像專家小組)等預(yù)定的壓縮處理后，再次被存儲于存儲器48。根據(jù)存儲于存儲器48的YC數(shù)據(jù)(壓縮數(shù)據(jù))生成圖像文件。該圖像文件由介質(zhì)/控制器52讀出，記錄于存儲卡54。
[0137]上述結(jié)構(gòu)的攝像裝置10具備在3D圖像的攝像或重放時根據(jù)拍攝到的3D圖像(第一單眼3D圖像)生成期望的3D圖像(第二單眼3D圖像)的圖像處理功能，但是其他部分與以往的攝像裝置相同。
[0138][第一、第二數(shù)字濾光片組(第一、第二半月濾光片組)]
[0139]接下來，參照圖4A至圖4C和圖5，對適用本發(fā)明所涉及的圖像處理方法的單眼3D圖像和第一、第二數(shù)字濾光片組(第一、第二半月濾光片組)進(jìn)行說明。
[0140]圖4A至圖4C是表示在透鏡被焦點調(diào)整到物體a的前面的狀態(tài)下如何對比焦點位置靠近前的物體(點光源)進(jìn)行攝影的圖。圖4B表示由通常的攝像元件200拍攝的圖像。圖4C表示由特殊的攝像元件(單眼3D用的攝像元件)16拍攝的左眼圖像和右眼圖像。另夕卜，圖4B和圖4C的攝像元件200和16分別表示從被攝體側(cè)觀察到的受光面。
[0141]圖4B所示的攝像元件200中，分別以矩陣狀排列的奇數(shù)列的像素(也稱作主像素、A面像素)和偶數(shù)列的像素(也稱作副像素、B面像素)分別沿水平垂直方向以每半個間距錯開而配置。由A面像素構(gòu)成的圖像(A面圖像)和由B面像素構(gòu)成的圖像(B面圖像)分別具有拜耳排列的濾色器。能夠從這些A面圖像和B面圖像生成一張高分辨率的圖像。另外，與攝像元件200的A面像素、B面像素對應(yīng)而設(shè)置的、光所入射的開口形成于各像素的中央。另外，在各像素上設(shè)置有未圖示的微透鏡。
[0142]從攝像元件200得到的比焦點位置靠近前的點光源的圖像成為后焦點，成為與其模糊量相當(dāng)?shù)闹睆降膱A。
[0143]另一方面，圖4C所示的攝像元件16中，形成于A面像素的開口和形成于B面像素的開口分別沿左右方向偏移。在A面像素入射通過透鏡的左側(cè)的區(qū)域的光，在B面像素入射通過透鏡的右側(cè)的區(qū)域的光。
[0144]由上述結(jié)構(gòu)的單眼3D用的攝像元件16的A面像素構(gòu)成的圖像(A面圖像)成為左眼圖像，由B面像素構(gòu)成的圖像(B面圖像)成為右眼圖像。
[0145]從攝像元件16得到的比焦點位置靠近前的點光源的圖像成為后焦點，左眼圖像和右眼圖像分別成為具有與其模糊量相當(dāng)?shù)闹睆降陌朐聽睢２⑶?，半月狀的左眼圖像的重心和右眼圖像的重心的偏移量成為點光源的圖像的視差量。即，如果攝像元件16的特性(每個角度的靈敏度)等已知，則可知比焦點位置靠近前的點光源的圖像相對于點光源卷積了何種左眼用和右眼用的濾光片(前述的第一數(shù)字濾光片和第二數(shù)字濾光片)。另外，上述第一數(shù)字濾光片和第二數(shù)字濾光片成為半月狀，因此以后稱作“第一半月濾光片和第二半月濾光片”。
[0146]另外，圖5A示出了左眼圖像和右眼圖像相對于經(jīng)由圖4C所示的透鏡而入射到單眼3D用的攝像元件16的光的χ方向的角度[° ]的靈敏度的一例，圖5B示出了左眼圖像和右眼圖像相對于y方向的角度[° ]的靈敏度的一例。
[0147]如圖5A所示，左眼圖像和右眼圖像相對于χ方向的角度[° ]的靈敏度以角度零為中心而大致對稱，并且靈敏度的峰值位置偏移。另外，如圖5B所示，左眼圖像和右眼圖像相對于y方向的角度[° ]的靈敏度一致，靈敏度的峰值位置到達(dá)角度零。
[0148]當(dāng)將圖5A和圖5B所示的χ方向和y方向的靈敏度特性相乘時，如圖5C所示，得到入射到攝像元件16的光的χ方向和y方向的每個角度的靈敏度特性。另外，圖5C表示攝像元件16的與左眼圖像對應(yīng)的靈敏度特性。
[0149]接下來，如圖所示，假定僅與點像的模糊量對應(yīng)的某直徑R的范圍的光射到攝像元件16，而將角度換算為攝像元件16的χ軸(橫向)、y軸(縱向)的坐標(biāo)。在該情況下，左右的半月濾光片的重心間距離(即視差A(yù)D)和半月濾光片的直徑R分別能夠由下式表達(dá)。
[0150][數(shù)學(xué)式1]
[0151]/ID =---

(U-f>L
[0152][數(shù)學(xué)式2]
[0153]R=
[0154]在此，在[數(shù)學(xué)式1]和[數(shù)學(xué)式2]中，如圖6所示，設(shè)實際焦距為f[mm]，設(shè)光圈值為F，設(shè)到達(dá)對焦位置的對焦距離為Lo[mm]，設(shè)到達(dá)被攝體的距離為L[mm]。另外，AD能夠使用F的函數(shù)P (F)，由相對于R的預(yù)定的比表達(dá)。由此，如果ΛΣ)已知，則可知R的值、當(dāng)前施加了何種半徑/分布的半月濾光片。
[0155]圖7的(a)部和(b)部分別是半月濾光片和圖6的攝像面附近的放大圖。另外，圖6和圖7中所示的數(shù)學(xué)式能夠由透鏡的公式和幾何性的關(guān)系導(dǎo)出。
[0156]另外，在算出半月濾光片的濾光系數(shù)的情況下，如圖8所示，當(dāng)將某坐標(biāo)設(shè)為(Px，Py)，將光向該坐標(biāo)(px，py)的入射角設(shè)為(θχ，0y)時，關(guān)于以下的[數(shù)學(xué)式3]所示的(X，y)，求出[數(shù)學(xué)式4]所示的(θχ，0y)。
[0157][數(shù)學(xué)式3]
[0158]χ1 *ψ}ill...................1
■ 12(4.../EFJ
[0159][數(shù)學(xué)式4]
[嶋]卿丨
[0161]基于由[數(shù)學(xué)式4]所求得的入射角(θχ，0y)，通過代入圖5C所示的每個角度的靈敏度特性，算出半月濾光片的濾光系數(shù)。此時，優(yōu)選為，通過將各濾光系數(shù)除以濾光系數(shù)的總和，而對濾光系數(shù)進(jìn)行標(biāo)準(zhǔn)化。
[0162]如上述那樣，對應(yīng)每個視差Λ D而生成左右的半月濾光片，與視差Λ D建立關(guān)聯(lián)而存儲于R0M(EEPR0M)47。雖然優(yōu)選為，預(yù)先在外部進(jìn)行半月濾光片的生成，將所生成的半月濾光片存儲于R0M47，但是也可以在數(shù)字信號處理部24內(nèi)生成并存儲于R0M47。
[0163]另外，在[數(shù)學(xué)式1]中視差A(yù)D由絕對值表達(dá)，但是比對焦距離Lo靠近前的物體的視差和比對焦距離Lo靠里側(cè)的物體的視差的視差方向(符號)相反。因此，對應(yīng)每個視差的大小和視差方向而生成左右的半月濾光片，存儲于R0M47。
[0164]圖9A和圖9B表示分別存儲于R0M47的、左眼圖像和右眼圖像所施加的每個視差A(yù)D的半月濾光片(第一、第二半月濾光片組)的一例。
[0165][轉(zhuǎn)換濾光片]
[0166]接下來，對用于將由攝像裝置10拍攝到的具有視差的左眼圖像和右眼圖像(第一單眼3D圖像)轉(zhuǎn)換為期望的左眼圖像和右眼圖像(第二單眼3D圖像)的轉(zhuǎn)換濾光片進(jìn)行說明。
[0167]如圖10所示，在拍攝第一單眼3D圖像時的焦距是f的情況下，作為第二單眼3D圖像，設(shè)為由焦距f的η倍的焦距(nXf)的攝影透鏡進(jìn)行攝像的情況下而得到的圖像。
[0168]基于預(yù)先存儲于R0M47的半月濾光片(與焦距f對應(yīng)的第一、第二半月濾光片)和焦距(nXf)，算出所述[數(shù)學(xué)式1]和[數(shù)學(xué)式2]所示的視差A(yù)D和直徑R分別為η的平方倍的、與第二單眼3D圖像對應(yīng)的半月濾光片(第三、第四半月濾光片)。即，算出第一、第二半月濾光片的η的平方倍的相似形的第三、第四半月濾光片。
[0169]在此，如圖10所示，將第一單眼3D圖像的左眼圖像所施加的第一半月濾光片設(shè)為1\0^，7)，將對第一半月濾光片1\(1，7)進(jìn)行傅里葉變換所得的濾光片設(shè)為IYf(?x，coy)。另一方面，當(dāng)將第二單眼3D圖像的左眼圖像應(yīng)施加的第三半月濾光片設(shè)為I?(X，y)，將對第三半月濾光片ΤΜ(χ，y)進(jìn)行傅里葉變換所得的濾光片設(shè)為ΤΜ?(ωχ，Wy)時，對應(yīng)視差A(yù)D的左眼圖像的每個像素，由下式算出應(yīng)在實際空間卷積的濾光片(以下，稱作“轉(zhuǎn)換濾光片”)。
[0170][數(shù)學(xué)式5]
[0171 ] F—1 (TLf ( ω χ，ω y) -1.TLWf ( ω χ，ω y))的振幅成分
[0172]其中，F(xiàn)—1:傅里葉逆變換
[0173]對應(yīng)于按照每個視差所存儲的第一半月濾光片而算出該轉(zhuǎn)換濾光片(第一轉(zhuǎn)換濾光片)。也同樣地算出使用于第二單眼3D圖像的右眼圖像的轉(zhuǎn)換的第二轉(zhuǎn)換濾光片。
[0174]另外，優(yōu)選為，當(dāng)決定期望的第二單眼3D圖像時，預(yù)先根據(jù)視差而算出與第一、第二半月濾光片組對應(yīng)的第一、第二轉(zhuǎn)換濾光片組。
[0175]使用如此算出的第一、第二轉(zhuǎn)換濾光片組，將第一單眼3D圖像轉(zhuǎn)換為第二單眼3D圖像。即，對應(yīng)第一單眼3D圖像的左眼圖像、右眼圖像的每個像素，使用與該像素的視差Δ D對應(yīng)的第一轉(zhuǎn)換濾光片和第二轉(zhuǎn)換濾光片而進(jìn)行濾光處理。由此,對應(yīng)第一單眼3D圖像的像素間的每個視差，生成其視差量和模糊量兩方聯(lián)動地進(jìn)行轉(zhuǎn)換所得的第二單眼3D圖像。
[0176]<由本發(fā)明所設(shè)計的半月濾光片的實施方式>
[0177]關(guān)于第一單眼3D圖像施加何種半月濾光片時，如何設(shè)計期望的第二單眼3D圖像應(yīng)施加的半月濾光片，存在各種各樣的方針。在以下所示的實施方式中，設(shè)計與將焦距設(shè)為2倍的情況下、將光圈的F值設(shè)為一半的情況下、將攝像元件尺寸設(shè)為1.5倍的情況下的視差量和模糊量相當(dāng)那樣的半月濾光片。
[0178][將焦距設(shè)為2倍時的半月濾光片]
[0179]圖11A表示某視差A(yù)D的第一單眼3D圖像的左眼像素所施加的第一半月濾光片。圖11B表示將攝影透鏡的焦距f設(shè)為2倍的情況下得到的第二單眼3D圖像的、與所述第一半月濾光片對應(yīng)的第三半月濾光片。
[0180]如圖11B所示，將第三半月濾光片設(shè)計為視差A(yù)D和直徑R分別為4倍的與第一半月濾光片為相似形的濾光片。這是因為，通過將2f代入[數(shù)學(xué)式1]和[數(shù)學(xué)式2]中的f,而使視差Λ D和直徑R分別為4 ( = 2 X 2)倍。
[0181]由此，期望的第二單眼3D圖像的視差A(yù)D被放大為4倍，同時與視差對應(yīng)的模糊量(直徑R)也被放大為4倍。
[0182][將光圈的F值設(shè)為一半(1/2)時的半月濾光片]
[0183]圖12Α表示某視差A(yù)D的第一單眼3D圖像的左眼像素所施加的第一半月濾光片，圖12Β表示將光圈14的F值設(shè)為一半的情況下而得到的第二單眼3D圖像的與所述第一半月濾光片對應(yīng)的第三半月濾光片。
[0184]如圖12B所示，第三半月濾光片中由F值的函數(shù)P (F)表達(dá)的視差A(yù)D為P (0.5F)/p (F)倍，直徑 R 為 2 倍。
[0185]由此，期望的第二單眼3D圖像的視差Λ D被放大為Ρ (0.5F)/p (F)倍，同時與視差對應(yīng)的模糊量(直徑R)被放大為2倍。
[0186][將攝像元件尺寸設(shè)為1.5倍時的半月濾光片]
[0187]圖13A表示某視差A(yù)D的第一單眼3D圖像的左眼像素所施加的第一半月濾光片，圖13B表示將攝像元件尺寸設(shè)為1.5倍的情況下得到的第二單眼3D圖像的與所述第一半月濾光片對應(yīng)的第三半月濾光片。
[0188]如圖13B所示，將第三半月濾光片設(shè)計為視差A(yù)D和直徑R分別為2.25倍的、與第一半月濾光片為相似形的濾光片。當(dāng)攝像元件尺寸為1.5倍時，實質(zhì)上與焦距f為1.5倍的情況相當(dāng)。因此，在[數(shù)學(xué)式1]和[數(shù)學(xué)式2]中的f中代入1.5f，從而使視差A(yù)D和直徑R分別為2.25 ( = 1.5X1.5)倍。
[0189]由此，期望的第二單眼3D圖像的視差Λ D被放大為2.25倍，同時與視差對應(yīng)的模糊量(直徑R)也被放大為2.25倍。
[0190][期望的單眼邪圖像(第二單眼邪圖像)的指定單元]
[0191]接下來，對根據(jù)實際拍攝到的第一單眼3D圖像生成期望的第二單眼3D圖像的情況下的、指示期望的第二單眼3D圖像的指示單元(用戶接口)進(jìn)行說明。
[0192]在單眼3D圖像的攝像或重放時，在根據(jù)實際拍攝到的第一單眼3D圖像生成期望的第二單眼3D圖像時，對攝像裝置10的菜單/確定按鈕7等進(jìn)行操作，在3D液晶監(jiān)視器30的菜單設(shè)定畫面上，選擇本發(fā)明的從第一單眼3D圖像生成第二單眼3D圖像的功能。
[0193]通過該功能的選擇，3D液晶監(jiān)視器30的畫面如圖14A所示轉(zhuǎn)移到對焦距、F值或攝像元件尺寸進(jìn)行選擇的畫面。在此，通過對十字按鈕6的上下鍵進(jìn)行操作，能夠?qū)咕?、F值或攝像元件尺寸的任一個進(jìn)行選擇。
[0194]當(dāng)在對焦距、F值或攝像元件尺寸的任一個進(jìn)行選擇后操作菜單/確定按鈕7時，3D液晶監(jiān)視器30的畫面如圖14B所示轉(zhuǎn)移到對所選擇的項目的倍率進(jìn)行設(shè)定的畫面。另夕卜，圖14B示出了對將該焦距f相對于拍攝第一單眼3D圖像時的焦距f設(shè)為幾倍進(jìn)行設(shè)定的畫面。
[0195]在該畫面顯示時，通過對十字按鈕6的上下鍵進(jìn)行操作，使數(shù)字上下，而能夠選擇任意的倍率。在選擇倍率后，當(dāng)對菜單/確定按鈕7進(jìn)行操作時，所選擇的倍率確定，并且轉(zhuǎn)移到圖14A所示的畫面。
[0196]如此，通過對焦距、F值或攝像元件尺寸的任一個或多個進(jìn)行倍率的設(shè)定，能夠?qū)Ω鶕?jù)第一單眼3D圖像生成的期望的第二單眼3D圖像進(jìn)行指定。
[0197]另外，作為對期望的第二單眼3D圖像進(jìn)行指定的用戶接口，不限于該實施方式，能夠考慮各種實施方式。例如，在3D液晶監(jiān)視器30具有接受基于觸摸操作的指示輸入的觸摸面板的情況下，也可以通過觸摸面板上的操作而對期望的單眼3D圖像進(jìn)行指定。
[0198]<圖像處理裝置>
[0199]接下來，對根據(jù)由攝像裝置10拍攝到的原始的第一單眼3D圖像或從存儲卡54讀出的原始的第一單眼3D圖像生成期望的第二單眼3D圖像的圖像處理裝置(主要相當(dāng)于數(shù)字信號處理部24、CPU40、R0M47)進(jìn)行說明。
[0200]以下所示的第一實施方式至第三實施方式中，根據(jù)第一單眼3D圖像生成的第二單眼3D圖像分別相同，但是預(yù)先存儲的濾光片的種類和運算內(nèi)容不同。
[0201][第一實施方式]
[0202]圖15是表示本發(fā)明所涉及的圖像處理裝置的第一實施方式的主要部分框圖。
[0203]在圖15中，攝像裝置10的數(shù)字信號處理部24具有濾光處理部240_1。濾光處理部240-1具備卷積運算部242、244、轉(zhuǎn)換濾光片計算部246和半月濾光片計算部248。
[0204]原始的第一單眼3D圖像的左眼圖像100L、右眼圖像100R分別被加入到卷積運算部242、244。在卷積運算部242、244的其他輸入中分別加入由轉(zhuǎn)換濾光片計算部246算出的第一轉(zhuǎn)換濾光片F(xiàn)p第二轉(zhuǎn)換濾光片F(xiàn)K。卷積運算部242、244通過分別進(jìn)行兩輸入的卷積運算，而生成使左眼圖像100L、右眼圖像100R的對應(yīng)的兩個像素的視差量和模糊量聯(lián)動而進(jìn)行變更所得的、期望的第二單眼3D圖像的左眼圖像120L、右眼圖像120R的對應(yīng)的兩個像素。
[0205]在此，轉(zhuǎn)換濾光片計算部246如以下所示基于與左眼圖像100L、右眼圖像100R的對應(yīng)的兩個像素的視差量對應(yīng)的第一單眼3D圖像所施加的半月濾光片和第二單眼3D圖像所施加并設(shè)計出的半月濾光片，而算出第一轉(zhuǎn)換濾光片F(xiàn)p第二轉(zhuǎn)換濾光片F(xiàn)K，并將它們輸出到卷積運算部242、244。
[0206]CPU40遍及畫面整體算出與原始的第一單眼3D圖像的左眼圖像100L和右眼圖像100R的對應(yīng)點彼此的像素的偏移(視差)，并生成表示與畫面位置對應(yīng)的視差的視差映射130。
[0207]優(yōu)選為，左眼圖像100L和右眼圖像100R的對應(yīng)點(特征點)采用在左眼圖像100L和右眼圖像100R的圖像間其特征能夠唯一地確定的所有點。
[0208]在左眼圖像100L和右眼圖像100R的圖像間特征一致的特征點的檢測中，例如能夠適用區(qū)塊匹配法。在區(qū)塊匹配法中，對從左眼圖像100L和右眼圖像100R中的一方的圖像(左眼圖像100L)切出任意像素作為基準(zhǔn)所得的預(yù)定的區(qū)塊尺寸的區(qū)塊和另一方的圖像(右眼圖像100R)的區(qū)塊的一致度進(jìn)行評價。并且，將區(qū)塊間的一致度成為最大時的右眼圖像100R的區(qū)塊的基準(zhǔn)的像素設(shè)為與左眼圖像100L的任意的像素對應(yīng)的右眼圖像100R的像素。
[0209]作為對區(qū)塊匹配法中的區(qū)塊間的一致度進(jìn)行評價的函數(shù)，存在使用例如各區(qū)塊內(nèi)的像素的亮度差的平方和(SSD)的函數(shù)(SSD區(qū)塊匹配法)。
[0210]并且，能夠通過求出表示右眼圖像100R的像素的位置和右眼圖像100R上的對應(yīng)的像素的像素間的偏移量和偏移方向的視差(偏移方向能夠由正負(fù)表示)，而生成視差映射130。另外，視差映射130的生成也可以由數(shù)字信號處理部24進(jìn)行。
[0211]半月濾光片存儲部470是對在原始的左眼圖像100L、右眼圖像100R施加的與視差對應(yīng)的第一半月濾光片、第二半月濾光片(圖9等所示的第一、第二半月濾光片組)進(jìn)行存儲的部分。半月濾光片存儲部470與R0M47的一部分的存儲部對應(yīng)。
[0212]半月濾光片計算部248算出用于在期望的第二單眼3D圖像的左眼圖像120L、右眼圖像120R施加的第三、第四半月濾光片組。半月濾光片計算部248從半月濾光片存儲部470輸入第一、第二半月濾光片組，并且輸入與由包含操作部38的用戶接口指示的向期望的第二單眼3D圖像的轉(zhuǎn)換特性對應(yīng)的信息(第二單眼3D圖像的焦距f、F值或攝像元件尺寸相對于拍攝第一單眼3D圖像時的焦距f、F值或攝像元件尺寸的倍率)。半月濾光片計算部248基于這些輸入的第一、第二半月濾光片組和與向第二單眼3D圖像的轉(zhuǎn)換特性相關(guān)的信息，算出第三、第四半月濾光片組(參照圖11A?圖13B)。
[0213]轉(zhuǎn)換濾光片計算部246基于從半月濾光片存儲部470輸入的第一、第二半月濾光片組及由半月濾光片計算部248算出的第三、第四半月濾光片組，利用前述的[數(shù)學(xué)式5]對應(yīng)每個視差A(yù)D算出第一、第二轉(zhuǎn)換濾光片。在此，優(yōu)選為，將所算出的每個視差A(yù)D的第一、第二轉(zhuǎn)換濾光片(第一、第二轉(zhuǎn)換濾光片組)暫時存儲于未圖不的內(nèi)部存儲器。
[0214]轉(zhuǎn)換濾光片計算部246從視差映射130獲取左眼圖像100L的任意的像素和與該像素對應(yīng)的右眼圖像100R的像素的視差。轉(zhuǎn)換濾光片計算部246從預(yù)先算出并存儲的第一、第二轉(zhuǎn)換濾光片組獲取與該獲取的視差對應(yīng)的第一、第二轉(zhuǎn)換濾光片。轉(zhuǎn)換濾光片計算部246將第一、第二轉(zhuǎn)換濾光片分別輸出到卷積運算部242、244。
[0215]卷積運算部242通過進(jìn)行以左眼圖像100L的任意像素為基準(zhǔn)的、和第一轉(zhuǎn)換濾光片相同的內(nèi)核尺寸的多個像素與第一轉(zhuǎn)換濾光片的卷積運算，而算出與任意像素對應(yīng)的左眼圖像120L上的像素。同樣地，卷積運算部244通過進(jìn)行以與左眼圖像100L的任意像素對應(yīng)的右眼圖像100R的對應(yīng)像素為基準(zhǔn)的、和第二轉(zhuǎn)換濾光片相同的內(nèi)核尺寸的多個像素與第二轉(zhuǎn)換濾光片的卷積運算，而算出右眼圖像100R的對應(yīng)像素的左眼圖像120L上的像素。
[0216]通過對原始的第一單眼3D圖像的左眼圖像100L、右眼圖像100R的所有對應(yīng)像素進(jìn)行上述濾光處理，能夠生成第二單眼3D圖像的左眼圖像120L、右眼圖像120R。
[0217][第二實施方式]
[0218]圖16是表示本發(fā)明所涉及的圖像處理裝置的第二實施方式的主要部分框圖。
[0219]另外，在圖16中，對與圖15共通的部分附加相同的附圖標(biāo)記而省略其詳細(xì)的說明。
[0220]在圖16中，攝像裝置10的數(shù)字信號處理部24具有濾光處理部240_2。濾光處理部240-2具備卷積運算部242、244和轉(zhuǎn)換濾光片讀出部250。
[0221]轉(zhuǎn)換濾光片存儲部472是對與由第一實施方式的轉(zhuǎn)換濾光片計算部246算出的第一、第二轉(zhuǎn)換濾光片組相同的第一、第二轉(zhuǎn)換濾光片組進(jìn)行存儲的部分。轉(zhuǎn)換濾光片存儲部472與R0M47的一部分的存儲部對應(yīng)。優(yōu)選為，該轉(zhuǎn)換濾光片存儲部472預(yù)先對多個種類(按照與能夠由用戶接口指定的向期望的第二單眼3D圖像的轉(zhuǎn)換特性對應(yīng)的信息分類的多個種類)的第一、第二轉(zhuǎn)換濾光片組進(jìn)行存儲。另外，能夠利用與第一實施方式的轉(zhuǎn)換濾光片計算部246相當(dāng)?shù)耐獠吭O(shè)備等算出這些第一、第二轉(zhuǎn)換濾光片組，并將該算出結(jié)果存儲于轉(zhuǎn)換濾光片存儲部472。
[0222]轉(zhuǎn)換濾光片讀出部250從轉(zhuǎn)換濾光片存儲部472讀出適當(dāng)?shù)牡谝?、第二轉(zhuǎn)換濾光片F(xiàn)pFK，分別輸出到卷積運算部242、244。轉(zhuǎn)換濾光片讀出部250輸入與由包含操作部38的用戶接口所指示的向期望的第二單眼3D圖像的轉(zhuǎn)換特性對應(yīng)的信息，并且從視差映射130輸入視差。
[0223]轉(zhuǎn)換濾光片讀出部250基于與向期望的第二單眼3D圖像的轉(zhuǎn)換特性對應(yīng)的信息而從存儲于轉(zhuǎn)換濾光片存儲部472的多個種類的第一、第二轉(zhuǎn)換濾光片組決定所使用的第一、第二濾光片組。另一方面，轉(zhuǎn)換濾光片讀出部250從視差映射130獲取左眼圖像100L的任意的像素和與該像素對應(yīng)的右眼圖像100R的像素的視差。轉(zhuǎn)換濾光片讀出部250從所述決定的第一、第二濾光片組讀出與該獲取的視差對應(yīng)的第一、第二轉(zhuǎn)換濾光片。轉(zhuǎn)換濾光片讀出部250將所讀出的第一、第二轉(zhuǎn)換濾光片分別輸出到卷積運算部242、244。
[0224]根據(jù)第二實施方式，預(yù)先在轉(zhuǎn)換濾光片存儲部472存儲多個種類的第一、第二轉(zhuǎn)換濾光片組。因此，能夠省略用于算出第一、第二轉(zhuǎn)換濾光片組的運算處理，但是作為轉(zhuǎn)換濾光片存儲部472需要存儲容量大的存儲器。
[0225][第三實施方式]
[0226]圖17是表示本發(fā)明所涉及的圖像處理裝置的第三實施方式的主要部分框圖。
[0227]另外，在圖17中，對與圖15共通的部分附加相同的附圖標(biāo)記而省略其詳細(xì)的說明。
[0228]在圖17中，攝像裝置10的數(shù)字信號處理部24具有濾光處理部240_3。濾光處理部240-3具備進(jìn)行卷積運算的第一運算部260、262、第二運算部264、266、逆濾光片讀出部268和半月濾光片計算部248。
[0229]轉(zhuǎn)換濾光片如[數(shù)學(xué)式5]所示，具有Γ1 (TLf ( ω χ，ω y) -1.TLfff ( ω χ，ω y))的振幅成分的濾光系數(shù)。基于該轉(zhuǎn)換濾光片的濾光處理能夠分為基于ω^-1)的卷積運算和基于？—1^^^^，coy))的卷積運算。
[0230]前者的ω)-1)是第一半月濾光片的逆濾光片。后者的ω^)是第三半月濾光片。
[0231]在第三實施方式中，對應(yīng)左眼圖像100L、右眼圖像100R的對應(yīng)的每個像素，進(jìn)行乘以與視差對應(yīng)的第一、第二逆濾光片的第一運算，對該運算結(jié)果進(jìn)行乘以第三、第四半月濾光片的第二運算。第一運算生成將原始的第一單眼3D圖像的視差和模糊消除所得的模糊消除圖像。第二運算是指通過對模糊消除圖像乘以與從入射到攝影透鏡12的光轉(zhuǎn)換為期望的第二單眼3D圖像的轉(zhuǎn)換特性對應(yīng)的、每個視差的第三、第四半月濾光片而生成左眼圖像120L、右眼圖像120R。
[0232]逆濾光片存儲部474是對根據(jù)存儲于半月濾光片存儲部470的第一、第二半月濾光片組算出的第一、第二逆濾光片組進(jìn)行存儲的部分。逆濾光片存儲部474與R0M47的一部分的存儲部對應(yīng)。能夠從第一、第二半月濾光片組利用外部設(shè)備等算出第一、第二逆濾光片組，并將該算出結(jié)果存儲于逆濾光片存儲部474。
[0233]逆濾光片讀出部268從視差映射130獲取左眼圖像100L的任意的像素和與該像素對應(yīng)的右眼圖像100R的像素的視差。逆濾光片讀出部268從逆濾光片存儲部474讀出與該獲取的視差對應(yīng)的第一、第二半月濾光片的逆濾光片即第一、第二逆濾光片，并分別輸出到第一運算部260、262。
[0234]第一運算部260進(jìn)行以左眼圖像100L的任意像素為基準(zhǔn)的、和第一逆濾光片相同的內(nèi)核尺寸的多個像素與第一逆濾光片的卷積運算。同樣地，第一運算部262進(jìn)行以與左眼圖像100L的任意的像素對應(yīng)的右眼圖像100R的對應(yīng)像素為基準(zhǔn)的、和第二逆濾光片相同的內(nèi)核尺寸的多個像素與第二逆濾光片的卷積運算。第一運算部260、262分別將這些運算結(jié)果(消除了模糊等所得的模糊消除圖像)分別輸出到第二運算部264、266。
[0235]在第二運算部264、266的其他輸入中加入由半月濾光片計算部248算出的第三、第四半月濾光片組中的與從視差映射130得到的當(dāng)前的視差對應(yīng)的第三、第四半月濾光片。第二運算部264、266通過分別進(jìn)行由第一運算部260、262算出的模糊消除圖像和第三、第四半月濾光片的卷積運算，而生成左眼圖像120L、右眼圖像120R上的各像素。
[0236]根據(jù)第三實施方式，與第一實施方式相比不需要算出第一、第二轉(zhuǎn)換濾光片組，因此能夠?qū)崿F(xiàn)運算處理的高速化。另外，雖然需要對第一、第二逆濾光片組進(jìn)行存儲，但是與需要存儲多個種類的第一、第二轉(zhuǎn)換濾光片組的第二實施方式相比，能夠減小逆濾光片存儲部474的存儲容量。
[0237]另外，由第一運算部260、262算出的模糊消除圖像相同。因此，優(yōu)選為，僅使用左眼圖像100L、右眼圖像100R中的任一方生成模糊消除圖像，將所生成的模糊消除圖像分別輸出到第二運算部264、266。
[0238][第三、第四半月濾光片的其他實施方式]
[0239]在從圖11A到圖13B所示的實施方式中，將在第一單眼3D圖像施加的第一、第二半月濾光片縮放為相似形，而設(shè)計與期望的第二單眼3D圖像對應(yīng)的第三、第四半月濾光片，但是也能夠與第一、第二半月濾光片無關(guān)地設(shè)計第三、第四半月濾光片。
[0240]圖18A表示某視差A(yù)D的第一單眼3D圖像的左眼像素所施加的第一半月濾光片。圖18B表示單眼3D用的攝像元件的靈敏度特性變化時得到的第二單眼3D圖像的與所述第一半月濾光片對應(yīng)的第三半月濾光片。
[0241]如圖18B所示，第三半月濾光片與第一半月濾光片比較，模糊量(直徑R)沒有變化。第三半月濾光片與靈敏度特性不同的攝像元件對應(yīng)，因此F的函數(shù)P (F)變化為函數(shù)P’(F)。其結(jié)果為，即使第三半月濾光片和第一半月濾光片的模糊量(直徑R)相同，也能夠賦予不同的視差A(yù)D。
[0242]另外，作為靈敏度特性不同的攝像元件，能夠假定理想性的攝像元件。例如，根據(jù)圖5A所示的左眼圖像和右眼圖像的靈敏度特性，產(chǎn)生了與入射角對應(yīng)的串?dāng)_，但是能夠設(shè)計與具備沒有串?dāng)_的靈敏度特性的攝像元件對應(yīng)的第三、第四半月濾光片。
[0243]圖19的(a)部表示某視差Λ D的第一單眼3D圖像的左眼像素所施加的第一、第二半月濾光片。圖19的(b)部表示與第一、第二半月濾光片對應(yīng)的第三、第四濾光片。
[0244]在圖11A、圖11B、圖12A、圖12B、圖13A、圖13B及圖18A、圖18B所示的實施方式中，為了避免重影發(fā)生而將作為目標(biāo)的濾光片設(shè)為半月濾光片。然而，在模糊較大的情況下等在人眼中難以進(jìn)行像素彼此的對應(yīng)的情況下(難以進(jìn)行立體視的情況下)，優(yōu)選為使由人眼自然地觀察優(yōu)先于避免重影發(fā)生。
[0245]圖19的(b)部所示的第三、第四濾光片分別為圓形且具有其中心的濾光系數(shù)最高的點對稱的濾光系數(shù)。
[0246]如圖19的(b)部所示，通過設(shè)為以圓形的第三、第四濾光片為目標(biāo)的濾光片，能夠使模糊為圓形，即使在模糊的口徑較大的情況下等也能夠生成自然的能夠立體視的圖像。另外，計算方法等與作為目標(biāo)的濾光片為半月濾光片時同樣。
[0247][根據(jù)一個第一單眼3D圖像生成多個第二單眼3D圖像的方法]
[0248]接下來，對根據(jù)一個原始的第一單眼3D圖像生成多個第二單眼3D圖像的情況下的實施方式進(jìn)行說明。
[0249]圖20A和圖20B是分別表示根據(jù)原始的第一單眼3D圖像生成多個第二單眼3D圖像的情況下的兩組的過程(通常過程和計算時間縮短版過程)的概念圖。
[0250]圖20A所示的通常過程與圖15所示的第一實施方式相當(dāng)。在通常過程中，每次在生成視差強調(diào)等的程度不同的第二單眼3D圖像時，對第一單眼3D圖像進(jìn)行在實際空間中卷積的轉(zhuǎn)換濾光片的計算處理([數(shù)學(xué)式5]所示的運算)。在該通常的過程中，與多個期望的第二單眼3D圖像對應(yīng)而分別算出轉(zhuǎn)換濾光片。因此，在通常過程中，需要多次進(jìn)行轉(zhuǎn)換濾光片的計算處理，計算量變多。
[0251]圖20B所示的計算時間縮短版過程與圖17所示的第三實施方式相當(dāng)。在計算時間縮短版過程中，首先，生成從原始的第一單眼3D圖像消除了視差和模糊所得的模糊消除圖像。能夠通過將第一單眼3D圖像的左眼圖像或右眼圖像乘以作為第一半月濾光片或第二半月濾光片的逆濾光片的第一逆濾光片或第二逆濾光片而生成該模糊消除圖像。
[0252]第一逆濾光片是將[數(shù)學(xué)式5]中的前級的F—1 (TLf ( ω χ，ω y) -1)的振幅成分設(shè)為濾光系數(shù)的濾光片。該逆濾光片的算出運算也可以僅為一次。另外，由于逆濾光片是第一單眼3D圖像中固有的濾光片，因此能夠通過預(yù)先運算并存儲而省略逆濾光片的算出運算。
[0253]接下來，對一個模糊消除圖像乘以分別與多個第二單眼3D圖像對應(yīng)的第三、第四半月濾光片。第三半月濾光片是將[數(shù)學(xué)式5]中的后項的^(1^(0^，Wy))的振幅成分設(shè)為濾光系數(shù)的濾光片，能夠通過將第一半月濾光片放大為相似形而得到。
[0254]根據(jù)圖20B所示的計算時間縮短版過程，與圖20A所示的通常過程相比，不需要算出轉(zhuǎn)換濾光片，能夠縮短計算時間。特別是在生成視差連續(xù)地變化的大量第二單眼3D圖像而作為視差連續(xù)地變化的3D動態(tài)畫面顯示的情況下較為有效。
[0255]<頻率濾光>
[0256]在從上述第一實施方式到第三實施方式中，通過進(jìn)行實際空間中的空間濾光，而根據(jù)原始的第一單眼3D圖像的左眼圖像100L、右眼圖像100R生成期望的第二單眼3D圖像的左眼圖像120L、右眼圖像120R，但是本發(fā)明不限于此。例如，也可以通過進(jìn)行頻率空間中的頻率濾光，而根據(jù)原始的第一單眼3D圖像的左眼圖像100L、右眼圖像100R生成期望的第二單眼3D圖像的左眼圖像120L、右眼圖像120R。
[0257]如圖21所示，將在第一單眼3D圖像的左眼圖像施加的第一半月濾光片設(shè)為?Υ(χ，y)，將對第一半月濾光片IY(x，y)進(jìn)行傅里葉變換所得的濾光片設(shè)為IYf(?x，coy)。另一方面，將在第二單眼3D圖像的左眼圖像應(yīng)施加的第三半月濾光片設(shè)為ΤΜ(χ，y)，將對第三半月濾光片--(Χ，y)進(jìn)行傅里葉變換所得的濾光片設(shè)為?Υ?(ωχ，coy)。此時，對應(yīng)視差A(yù)D的左眼圖像的每個像素，利用下式算出與以濾光處理對象的像素(對象像素)為基準(zhǔn)的預(yù)定區(qū)域的頻率成分?jǐn)?shù)Wy)在頻率空間相乘的濾光片即轉(zhuǎn)換為與第二單眼3D圖像的左眼圖像的所述預(yù)定區(qū)域?qū)?yīng)的區(qū)域的頻率成分?jǐn)?shù)據(jù)的濾光片(以下，稱作“頻率濾光片’’)G ( ω χ，ω y)。
[0258][數(shù)學(xué)式6]
[0259]6(ωχ, ω y) = TLwf (ωχ, ω y).TLf (ωχ, ω y)
[0260]其中，TLf(cox，coy)的逆濾光片
[0261]對應(yīng)于按照每個視差而存儲的第一半月濾光片算出該頻率濾光片(第一頻率濾光片)。也同樣地算出在第二單眼3D圖像的右眼圖像的頻率空間中的轉(zhuǎn)換中所使用的第二頻率濾光片。
[0262]另外，當(dāng)決定期望的第二單眼3D圖像時，優(yōu)選為預(yù)先根據(jù)視差算出與第一、第二半月濾光片組對應(yīng)的第一、第二頻率濾光片組。
[0263]使用如此算出的第一、第二頻率濾光片組，在頻率空間中將第一單眼3D圖像的頻率成分?jǐn)?shù)據(jù)轉(zhuǎn)換為第二單眼3D圖像的頻率成分?jǐn)?shù)據(jù)。并且，將第二單眼3D圖像的頻率成分?jǐn)?shù)據(jù)轉(zhuǎn)換為實際空間上的數(shù)據(jù)。由此，對應(yīng)第一單眼3D圖像的像素間的每個視差生成使其視差量和模糊量兩方聯(lián)動地進(jìn)行轉(zhuǎn)換所得的第二單眼3D圖像。
[0264]〈圖像處理裝置〉
[0265]接下來，對根據(jù)由攝像裝置10拍攝到的原始的第一單眼3D圖像或從存儲卡54讀出的原始的第一單眼3D圖像生成期望的第二單眼3D圖像的圖像處理裝置(主要相當(dāng)于數(shù)字信號處理部24、CPU40、R0M47)進(jìn)行說明。
[0266]以下所示的第四?第六實施方式是分別與前述的第一?第三實施方式對應(yīng)的實施方式。相對于第一?第三實施方式主要進(jìn)行實際空間中的空間濾光，第四?第六實施方式在進(jìn)行頻率空間中的頻率濾光方面有所不同。
[0267][第四實施方式]
[0268]圖22是表示本發(fā)明所涉及的圖像處理裝置的第四實施方式的主要部分框圖。另夕卜，對與圖15所示的第一實施方式共通的部分附加相同的附圖標(biāo)記而省略其詳細(xì)的說明。
[0269]在圖22中，攝像裝置10的數(shù)字信號處理部24具有濾光處理部240_4。濾光處理部240 — 4具備傅里葉變換部271、272、相乘部273、274、逆傅里葉變換部275、276、頻率濾光片計算部277及半月濾光片計算部248。
[0270]原始的第一單眼3D圖像的左眼圖像100L、右眼圖像100R分別被加入到傅里葉變換部271、272。傅里葉變換部271、272分別對以左眼圖像100L、右眼圖像100R的對應(yīng)的兩個像素(濾光處理的兩個對象像素)為基準(zhǔn)的預(yù)定區(qū)域(例如，16X16像素的區(qū)域)進(jìn)行提取。傅里葉變換部271、272對這些預(yù)定區(qū)域(Ujx，y),UE(x, y))進(jìn)行傅里葉變換，分別轉(zhuǎn)換為第一和第二頻率成分?jǐn)?shù)據(jù)(16X16的傅里葉系數(shù))。這些第一和第二頻率成分?jǐn)?shù)據(jù)(Uw(cox，coy)、UKf(cox，Wy))分別被加入到相乘部 273、274。
[0271]在相乘部273、274的其他輸入中加入由頻率濾光片計算部277算出的第一頻率濾光片&(ωχ，0^)、第二頻率濾光片61；(03!￡，coy)。相乘部273、274分別對兩輸入進(jìn)行相乘，從而算出第三和第四頻率成分?jǐn)?shù)據(jù)(Κωχ，coy)、VKf(?x，coy))。
[0272]S卩，相乘部273、274利用下式算出第三和第四頻率成分?jǐn)?shù)據(jù)(υωχ，coy)、
^Ef ( ω X，ω y))。
[0273][數(shù)學(xué)式7]
[0274]VLf (ωχ, ωγ) = ULf (ωχ, ω y).GL(cox，ω y)
[0275]VEj ( w χ, (x>( ^ x? ^ y).Gr(wx，(x>
[0276]上述那樣算出的第三和第四頻率成分?jǐn)?shù)據(jù)是對使左眼圖像100L、右眼圖像100R的對應(yīng)的兩個像素的視差量和模糊量聯(lián)動地進(jìn)行變更所得的、包含期望的第二單眼3D圖像的左眼圖像120L、右眼圖像120R的對應(yīng)的兩個像素的預(yù)定區(qū)域進(jìn)行傅里葉變換所得的頻率成分?jǐn)?shù)據(jù)。
[0277]在此，頻率濾光片計算部277從半月濾光片存儲部270獲取在與左眼圖像100L、右眼圖像100R的對應(yīng)的兩個像素的視差量對應(yīng)的第一單眼3D圖像施加的半月濾光片。頻率濾光片計算部277從半月濾光片計算部248獲取在第二單眼3D圖像施加的設(shè)計出的半月濾光片。頻率濾光片計算部277分別對如圖21中說明那樣獲取的半月濾光片進(jìn)行傅里葉變換。頻率濾光片計算部277使用傅里葉變換所得的結(jié)果利用前述的[數(shù)學(xué)式6]，算出應(yīng)在頻率空間中相乘的頻率濾光片GpGK。
[0278]另外，頻率濾光片&、Ge由與第一和第二頻率成分?jǐn)?shù)據(jù)相同個數(shù)的傅里葉系數(shù)(16X16)構(gòu)成。另外，優(yōu)選為，頻率濾光片計算部277對應(yīng)每個視差A(yù)D算出第一、第二頻率濾光片。優(yōu)選為，所算出的每個視差A(yù)D的第一、第二頻率濾光片(第一、第二轉(zhuǎn)換濾光片組)暫時存儲于未圖示的內(nèi)部存儲器。
[0279]頻率濾光片計算部277從視差映射130獲取左眼圖像100L的任意的對象像素和與該對象像素對應(yīng)的右眼圖像100R的對象像素的視差。頻率濾光片計算部277從預(yù)先算出并存儲的第一、第二頻率濾光片組獲取與該獲取的視差對應(yīng)的第一、第二頻率濾光片，并將第一、第二頻率濾光片分別輸出到相乘部273、274。
[0280]逆傅里葉變換部275、276分別如下式所示對由相乘部273、274算出的第三和第四頻率成分?jǐn)?shù)據(jù)(\f(?x，?y), νΕ?(ωχ, coy))進(jìn)行逆傅里葉變換，算出實際空間上的數(shù)據(jù)(VL(x, y), VE(x, y))。
[0281][數(shù)學(xué)式8]
[0282]VL(x, y) = F_1 (VLf (ωχ, ωγ))
[0283]VE(x, y) = F_1 (VEf (ωχ, coy))
[0284]由逆傅里葉變換部275、276在實際空間上轉(zhuǎn)換所得的數(shù)據(jù)(Vjx，y) >VE(x, y))成為與由傅里葉變換部271、272進(jìn)行傅里葉變換所得的預(yù)定區(qū)域(16X16像素)相同尺寸的圖像。僅選擇在實際空間上轉(zhuǎn)換所得的數(shù)據(jù)('(X，y)，VK(X，y))中的與對象像素相同位置的像素，并將所選擇的像素作為左眼圖像120L、右眼圖像120R的像素而輸出。
[0285]并且，關(guān)于從上述的左眼圖像100L、右眼圖像100R向左眼圖像120L、右眼圖像120R的轉(zhuǎn)換處理，以最初從圖像上的位置(0，0)切下預(yù)定區(qū)域(16X16區(qū)域)而進(jìn)行處理，接下來從位置(0，1)切下16X16區(qū)域而進(jìn)行處理，接下來從(0，2)……的方式一個像素一個像素地對16X16區(qū)域進(jìn)行掃描并且反復(fù)進(jìn)行處理。由此，生成第二單眼3D圖像的左眼圖像120L、右眼圖像120R。
[0286][第五實施方式]
[0287]圖23是表示本發(fā)明所涉及的圖像處理裝置的第五實施方式的主要部分框圖。
[0288]另外，在圖23中，對與圖22共通的部分附加相同的附圖標(biāo)記而省略其詳細(xì)的說明。
[0289]在圖23中，攝像裝置10的數(shù)字信號處理部24具有濾光處理部240_5。濾光處理部240 — 5具備傅里葉變換部271、272、相乘部273、274、逆傅里葉變換部275、276及頻率濾光片讀出部280。
[0290]頻率濾光片存儲部476是對與由第四實施方式的頻率濾光片計算部277算出的第一、第二頻率濾光片組相同的第一、第二頻率濾光片組進(jìn)行存儲的部分。頻率濾光片存儲部476與R0M47的一部分的存儲部對應(yīng)。優(yōu)選為，該頻率濾光片存儲部476預(yù)先對多個種類(按照與能夠由用戶接口指定的向期望的第二單眼3D圖像的轉(zhuǎn)換特性對應(yīng)的信息分類的多個種類)的第一、第二頻率濾光片組進(jìn)行存儲。另外，能夠利用與第四實施方式的頻率濾光片計算部277相當(dāng)?shù)耐獠吭O(shè)備等算出這些第一、第二頻率濾光片組，并將其算出結(jié)果存儲于頻率濾光片存儲部476。
[0291]頻率濾光片讀出部280從頻率濾光片存儲部476讀出適當(dāng)?shù)牡谝弧⒌诙l率濾光片GpGK，并分別輸出到相乘部273、274。頻率濾光片讀出部280輸入與由包含操作部38的用戶接口所指示的向期望的第二單眼3D圖像的轉(zhuǎn)換特性對應(yīng)的信息，并且從視差映射130輸入視差。
[0292]頻率濾光片讀出部280基于與向期望的第二單眼3D圖像的轉(zhuǎn)換特性對應(yīng)的信息，而從存儲于頻率濾光片存儲部476的多個種類的第一、第二頻率濾光片組決定所使用的第一、第二頻率濾光片組。另一方面，頻率濾光片讀出部280從視差映射130獲取左眼圖像100L的任意的對象像素和與該對象像素對應(yīng)的右眼圖像100R的對象像素的視差。頻率濾光片讀出部280從所述決定的第一、第二頻率濾光片組讀出與該獲取的視差對應(yīng)的第一、第二頻率濾光片。頻率濾光片讀出部280將所讀出的第一、第二頻率濾光片分別輸出到相乘部 273、274。
[0293]根據(jù)第二實施方式，預(yù)先在頻率濾光片存儲部476存儲多個種類的第一、第二頻率濾光片組。因此，能夠省略用于算出第一、第二頻率濾光片組的運算處理，但是作為頻率濾光片存儲部476需要存儲容量較大的存儲器。
[0294][第六實施方式]
[0295]圖24是表示本發(fā)明所涉及的圖像處理裝置的第六實施方式的主要部分框圖。
[0296]另外，在圖24中，對與圖22共通的部分附加相同的附圖標(biāo)記而省略其詳細(xì)的說明。
[0297]在圖24中，攝像裝置10的數(shù)字信號處理部24具有濾光處理部240_6。濾光處理部240 — 6具備傅里葉變換部271、272、第一相乘部291、292、第二相乘部293、294、逆傅里葉變換部275、276、逆濾光片讀出部295、半月濾光片計算部248及傅里葉變換部296。
[0298]頻率濾光片G如[數(shù)學(xué)式6]所示，具有IYf ( ω χ，ω y) -1.TLfff ( ω x，ω y)的頻率空間的傅里葉系數(shù)。基于該頻率濾光片的濾光處理可以分為基于IYf(cox，的相乘和基于ΤΜ?(ωχ, Qy)的相乘。
[0299]前者的IYf(?x，是第一半月濾光片的頻率成分?jǐn)?shù)據(jù)的逆濾光片。后者的T?f(cox，Wy)是第三半月濾光片的頻率成分?jǐn)?shù)據(jù)。
[0300]在第六實施方式中，對應(yīng)左眼圖像100L、右眼圖像100R的對應(yīng)的每個像素，進(jìn)行乘以與視差對應(yīng)的第一、第二半月濾光片的頻率成分?jǐn)?shù)據(jù)的第一、第二逆濾光片的第一運算。并且，對該運算結(jié)果進(jìn)行乘以第三、第四半月濾光片的頻率成分?jǐn)?shù)據(jù)的第二運算。在第一運算中，生成在頻率空間上消除了原始的第一單眼3D圖像的視差和模糊所得的模糊消除圖像。在第二運算中，對模糊消除圖像乘以與從入射到攝影透鏡12的光轉(zhuǎn)換為期望的第二單眼3D圖像的轉(zhuǎn)換特性對應(yīng)的、每個視差的第三、第四半月濾光片的頻率成分?jǐn)?shù)據(jù)，從而生成頻率空間上的左眼圖像120L、右眼圖像120R。
[0301]逆濾光片存儲部478是對能夠從存儲于半月濾光片存儲部470的第一、第二半月濾光片組算出的頻率成分?jǐn)?shù)據(jù)的逆濾光片即第一、第二逆濾光片組進(jìn)行存儲的部分。逆濾光片存儲部478與R0M47的一部分的存儲部對應(yīng)。能夠根據(jù)第一、第二半月濾光片組利用外部設(shè)備等算出第一、第二逆濾光片組，并將其算出結(jié)果存儲于逆濾光片存儲部478。
[0302]逆濾光片讀出部295從視差映射130獲取左眼圖像100L的任意的對象像素和與該對象像素對應(yīng)的右眼圖像100R的對象像素的視差。逆濾光片讀出部295從逆濾光片存儲部478讀出作為與該獲取的視差對應(yīng)的第一、第二半月濾光片的頻率成分?jǐn)?shù)據(jù)的逆濾光片的第一、第二逆濾光片，分別輸出到第一相乘部291、292。
[0303]第一相乘部291將以左眼圖像100L的對象像素為基準(zhǔn)的預(yù)定區(qū)域(例如16X 16像素)的頻率成分?jǐn)?shù)Wy)和第一逆濾光片IYf(?x，相乘。同樣地，第一相乘部292將以與左眼圖像100L的任意的像素對應(yīng)的右眼圖像100R的對應(yīng)像素為基準(zhǔn)的預(yù)定區(qū)域(例如16X16像素)的頻率成分?jǐn)?shù)據(jù)UKf(cox，Wy)和第二逆濾光片ΤΚ?(ωχ，ω》-1相乘。第一相乘部291、292分別將這些運算結(jié)果(在頻率空間上消除了模糊等所得的模糊消除圖像)輸出到第二相乘部293、294。
[0304]傅里葉變換部296將由半月濾光片計算部248算出的第三、第四半月濾光片組中的與從視差映射130得到的當(dāng)前的視差對應(yīng)的實際空間域的第三、第四半月濾光片轉(zhuǎn)換為頻率空間的頻率成分?jǐn)?shù)據(jù)(TMf (ω χ，ω y)，TKWf (ω χ，ω y))。傅里葉變換部296分別將這些頻率成分?jǐn)?shù)據(jù)輸出到第二相乘部293、294的其他輸入。
[0305]第二相乘部293、294將兩輸入相乘，并將相乘結(jié)果分別輸出到逆傅里葉變換部275、276。從第二相乘部293、294輸出的相乘結(jié)果與第四實施方式的相乘部273、274同樣成為第三和第四頻率成分?jǐn)?shù)據(jù)(Κωχ，ω^, νΕ?(ωχ, coy))。
[0306]根據(jù)第六實施方式，與第四實施方式相比不需要算出第一、第二頻率濾光片組，因此能夠?qū)崿F(xiàn)運算處理的高速化。另外，雖然需要對第一、第二逆濾光片組進(jìn)行存儲，但是與需要對多個種類的第一、第二頻率濾光片組進(jìn)行存儲的第五實施方式相比，能夠減小逆濾光片存儲部478的存儲容量。
[0307]另外，由第一相乘部291、292算出的頻率空間上的模糊消除圖像相同。因此，優(yōu)選為，僅使用左眼圖像100L、右眼圖像100R的任一方生成模糊消除圖像，并將所生成的模糊消除圖像分別輸出到第二相乘部293、294。
[0308]<第一、第二半月濾光片的準(zhǔn)確的把握>
[0309]在原始的單眼3D圖像施加的第一、第二半月濾光片如圖9A和圖9B所示濾光片尺寸根據(jù)視差而不同，但除視差以外還依賴于各種參數(shù)。
[0310]在以下所示的實施方式中，對第一、第二半月濾光片準(zhǔn)確地進(jìn)行把握，并實現(xiàn)以此為基礎(chǔ)而生成的期望的圖像的畫質(zhì)的改善。
[0311][與像高對應(yīng)的第一、第二半月濾光片]
[0312]如圖25所示，半月濾光片的形狀根據(jù)像高而不同。即，原始的單眼3D圖像所施加的第一、第二半月濾光片關(guān)于像高零(圖像中心)如果攝像元件的靈敏度特性左右對稱，則如圖9A和圖9B所示成為左右對稱。在光瞳分割方向上的像高較高的位置，第一、第二半月濾光片的左右對稱性發(fā)生變化，第一、第二半月濾光片的形狀例如成為由通過從圓的中心沿左右方向偏移的位置的直線將圓分割為兩個所得的形狀。
[0313]以下，對第一、第二半月濾光片因像高而發(fā)生變化的理由進(jìn)行說明。
[0314]如圖26A和圖26B所示，畫面中央的物體中的入射角和畫面端部的物體中的入射角不同。例如，畫面中央的物體中的入射角是一 15°?15°，與此相對畫面端部的物體中的入射角為一 7°?23°。
[0315]由此，如圖27所示，畫面中央的物體中的左眼圖像和右眼圖像的入射角特性為左右對稱，而畫面端部的物體中的左眼圖像和右眼圖像的入射角特性不為左右對稱。其結(jié)果為，畫面中央(像高零)的物體中的第一、第二半月濾光片為左右對稱，而畫面端部(像高較高的位置)的物體中的第一、第二半月濾光片在形狀上產(chǎn)生差異。
[0316]因此，優(yōu)選為，預(yù)先求出與像高對應(yīng)的第一、第二半月濾光片。并且，在從原始的第一單眼3D圖像向期望的第二單眼3D圖像轉(zhuǎn)換時，使用與濾光處理的對象的像素的像高對應(yīng)的第一、第二半月濾光片。
[0317]由此，能夠消除由像高引起的圖像的形狀差異的影響，實現(xiàn)畫質(zhì)的改善。
[0318][與光圈的開口形狀對應(yīng)的第一、第二半月濾光片]
[0319]圖28A和圖28B表示由四片光圈葉片構(gòu)成的透鏡的光圈，圖28C和圖28D表示由六片光圈葉片構(gòu)成的透鏡的光圈。
[0320]圖28A和圖28C分別表不將透鏡的光圈設(shè)為全開的開放光圈的狀態(tài)，該光圈開口的形狀為圓形。并且，當(dāng)使圖28A所示的透鏡的光圈從開放光圈收縮時，如圖28B所示光圈開口為四邊形。當(dāng)使圖28C所示的透鏡的光圈從開放光圈收縮時，如圖28D所示光圈開口為六邊形。
[0321]模糊的形狀依賴于光圈的形狀。在如開放光圈那樣光圈開口是圓形的情況下，點像以圓形模糊，點像在左右被光瞳分割的單眼3D圖像上以半月狀模糊(參照圖4)。
[0322]因此，優(yōu)選為，第一、第二半月濾光片與拍攝單眼3D圖像時的光圈的開口形狀一致。即，在如圖28A和圖28C所示光圈開口的形狀是圓形的情況下，第一、第二半月濾光片設(shè)為半月狀。在如圖28B所示光圈開口的形狀為四邊形的情況下，第一、第二半月濾光片設(shè)為三角形。在如圖28D所示光圈開口的形狀為六邊形的情況下，成為將六邊形左右分割成兩部分所得的形狀。
[0323]S卩，對應(yīng)每個光圈級數(shù)來把握光圈的形狀，第一、第二半月濾光片適用與拍攝單眼3D圖像時的光圈的開口形狀一致的濾光片。另外，透鏡的光圈的開口形狀不限于該實施方式，存在各種形狀，有時也成為星型的光圈。
[0324]如此，通過使用與光圈的開口形狀一致的第一、第二半月濾光片，能夠消除由光圈的開口形狀引起的圖像的形狀差異的影響，并實現(xiàn)畫質(zhì)的改善。
[0325][與三原色的顏色對應(yīng)的第一、第二半月濾光片]
[0326]圖29A是表示左眼圖像和右眼圖像相對于入射到單眼3D用的攝像元件的光的χ方向的角度[° ]的靈敏度的一例的坐標(biāo)圖。圖29Β是表示左眼圖像和右眼圖像相對于入射到單眼3D用的攝像元件的光的y方向的角度[° ]的靈敏度的一例的坐標(biāo)圖。
[0327]左眼圖像和右眼圖像相對于χ方向的角度[° ]的靈敏度對應(yīng)紅(R)、綠(G)、藍(lán)(B)這三原色的每種顏色而不同。
[0328]如圖5A至圖?中所說明的那樣，根據(jù)左眼圖像和右眼圖像相對于入射到單眼3D用的攝像元件的光的角度的靈敏度而求算第一、第二半月濾光片。由于對應(yīng)RGB的每種顏色而靈敏度不同，因此優(yōu)選為對應(yīng)RGB的每種顏色求出第一、第二半月濾光片。
[0329]在數(shù)字信號處理部24(濾光處理部)中，對于原始的單眼3D圖像，分別使用對應(yīng)RGB的每種顏色而求出的第一、第二半月濾光片，對應(yīng)RGB的每種顏色生成期望的單眼3D圖像。上述RGB的每種顏色的濾光處理可以在與攝像元件16的濾色器排列對應(yīng)的RGB數(shù)據(jù)(RAW數(shù)據(jù))的階段進(jìn)行，也可以對去馬賽克算法處理后的RGB數(shù)據(jù)進(jìn)行。
[0330]由此，能夠消除RGB的每種顏色的圖像的形狀差異的影響，實現(xiàn)畫質(zhì)的改善。
[0331]另外，在如上述那樣對應(yīng)RGB的每種顏色求出在原始的單眼3D圖像施加的第一、第二半月濾光片的情況下，應(yīng)在期望的單眼3D圖像施加的第三、第四半月濾光片并非是將RGB的每種顏色的第一、第二半月濾光片放大為相似形所得的濾光片，優(yōu)選設(shè)為RGB共用(例如G像素用)的第三、第四半月濾光片。
[0332]由此，能夠?qū)Ω魃闹匦钠?視差)進(jìn)行校正。此外，能夠消除RGB的每種顏色的圖像的形狀差異的影響，實現(xiàn)畫質(zhì)的改善。
[0333][與色像差對應(yīng)的圖像處理]
[0334]透鏡通常具有稱作軸上色像差的像差。圖30表示RGB的每種顏色的色像差的一例。
[0335]在是該色像差較大的透鏡的情況下，當(dāng)由RGB的特定的一種顏色或從RGB信號生成的亮度信號算出原始的單眼3D圖像的視差A(yù)D時，同一距離上的被攝體的偏離對應(yīng)每種顏色成為視差A(yù)D不同的結(jié)果。
[0336]因此，對應(yīng)RGB的每種顏色把握視差Λ D，生成RGB的每種顏色的視差映射。在數(shù)字信號處理部24 (濾光處理部)中，對于原始的單眼3D圖像，分別對應(yīng)RGB的每種顏色信號進(jìn)行處理。作為生成對視差進(jìn)行放大的期望的單眼3D圖像時使用的視差映射，使用對應(yīng)每種顏色而生成的視差映射。并且，使用與RGB的每種顏色對應(yīng)的視差映射而生成期望的單眼3D圖像。
[0337]由此，能夠在生成期望的單眼3D圖像時消除RGB的每種顏色的色像差的影響，并實現(xiàn)畫質(zhì)的改善。
[0338]另外，優(yōu)選為，在對于原始的單眼3D圖像分別對應(yīng)RGB的每種顏色信號進(jìn)行處理時，如前述那樣使用RGB的每種顏色的第一、第二半月濾光片。優(yōu)選為，應(yīng)在期望的單眼3D圖像施加的第三、第四半月濾光片設(shè)為RGB共用(例如G像素用)的第三、第四半月濾光片。
[0339]作為攝像裝置10的其他實施方式，例如能夠列舉出具有相機功能的手機、智能電話、PDA (Personal Digital Assistants:個人數(shù)字助理)、便攜式游戲機。以下，以智能電話為例進(jìn)行列舉，并參照附圖詳細(xì)地進(jìn)行說明。
[0340]<智能電話的結(jié)構(gòu)>
[0341]圖31是表示作為攝像裝置10的其他實施方式的智能電話500的外觀的圖。圖31所不的智能電話500具有平板狀的殼體502,在殼體502的一面具備作為顯不部的顯不面板521和作為輸入部的操作面板522成為一體的顯不輸入部520。另外，殼體502具備揚聲器531、麥克風(fēng)532、操作部540和相機部541。另外，殼體502的結(jié)構(gòu)不限于此，例如，也能夠采用顯示部和輸入部獨立的結(jié)構(gòu)，或采用具有折疊構(gòu)造、滑動機構(gòu)的結(jié)構(gòu)。
[0342]圖32是表示圖31所示的智能電話500的結(jié)構(gòu)的框圖。如圖32所示，智能電話500具備無線通信部510、顯示輸入部520、通話部530、操作部540、相機部541、存儲部550、外部輸入輸出部560、GPS (Global Posit1ning System:全球定位系統(tǒng))接收部570、移動傳感器部580、電源部590及主控制部501。另外，作為智能電話500的主要的功能，具備進(jìn)行經(jīng)由基地站裝置BS和移動通信網(wǎng)NW的移動無線通信的無線通信功能。
[0343]無線通信部510按照主控制部501的指示，對收納于移動通信網(wǎng)NW的基地站裝置BS進(jìn)行無線通信。使用該無線通信，進(jìn)行聲音數(shù)據(jù)、圖像數(shù)據(jù)等各種文件數(shù)據(jù)、電子郵件數(shù)據(jù)等的收發(fā)、Web數(shù)據(jù)、流數(shù)據(jù)等的接收。
[0344]顯示輸入部520是通過主控制部501的控制對圖像(靜止圖像和動態(tài)圖像)、文字信息等進(jìn)行顯示而視覺地向用戶傳遞信息并且對與所顯示的信息對應(yīng)的用戶操作進(jìn)行檢測的所謂的觸摸面板，具備顯示面板521和操作面板522。優(yōu)選為，在欣賞所生成的3D圖像的情況下，顯示面板521是3D顯示面板。
[0345]顯不面板521 是將 LCD (Liquid Crystal Display:液晶顯不器)、OELD (OrganicElectro-Luminescence Display:有機發(fā)光顯示器)等作為顯示裝置而使用的器件。操作面板522對顯示面板521的顯示面上所顯示的圖像以能夠視覺確認(rèn)的方式進(jìn)行載置。操作面板522是對由用戶的手指、尖筆所操作的一個或多個坐標(biāo)進(jìn)行檢測的裝置。當(dāng)利用用戶的手指、尖筆操作該裝置時，操作面板522將因操作而產(chǎn)生的檢測信號輸出到主控制部501。接下來，主控制部501基于接收到的檢測信號，對顯示面板521上的操作位置(坐標(biāo))進(jìn)行檢測。
[0346]如圖31所示，智能電話500的顯示面板521和操作面板522成為一體而構(gòu)成顯示輸入部520，操作面板522成為對顯示面板521完全地進(jìn)行覆蓋那樣的配置。在采用該配置的情況下，操作面板522也可以具備對于顯示面板521以外的區(qū)域也對用戶操作進(jìn)行檢測的功能。換言之，操作面板522也可以具備與顯示面板521重合的重疊部分有關(guān)的檢測區(qū)域(以下，稱作顯示區(qū)域)和除此以外的不與顯示面板521重合的外邊緣部分有關(guān)的檢測區(qū)域(以下，稱作非顯示區(qū)域)。
[0347]另外，雖然也可以使顯示區(qū)域的大小和顯示面板521的大小完全一致，但是沒有必要必須使兩者一致。另外，操作面板522也可以具備外邊緣部分和除此以外的內(nèi)側(cè)部分這兩個感應(yīng)區(qū)域。此外，根據(jù)殼體502的大小等而適當(dāng)設(shè)計外邊緣部分的寬度。此外，另外，作為由操作面板522所采用的位置檢測方式，能夠列舉出矩陣開關(guān)方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應(yīng)方式和靜電電容方式等，也能夠采用其中任一方式。
[0348]通話部530具備揚聲器531和麥克風(fēng)532。通話部530將通過麥克風(fēng)532而輸入的用戶的聲音轉(zhuǎn)換為能夠由主控制部501處理的聲音數(shù)據(jù)而輸出到主控制部501，或?qū)τ蔁o線通信部510或外部輸入輸出部560接收到的聲音數(shù)據(jù)進(jìn)行解碼而從揚聲器531輸出。另外，如圖31所示，例如，能夠?qū)P聲器531搭載在與設(shè)有顯示輸入部520的面相同的面，并將麥克風(fēng)532搭載在殼體502的側(cè)面。
[0349]操作部540是使用鍵開關(guān)等的硬件鍵，接受來自用戶的指示。例如，如圖32所示，操作部540搭載在智能電話500的殼體502的顯示部的下部、下側(cè)面。操作部540是當(dāng)利用手指等按下時成為接通且當(dāng)手指離開時通過彈簧等的恢復(fù)力而成為斷開狀態(tài)那樣的按壓按鈕式的開關(guān)。
[0350]存儲部550對如下內(nèi)容進(jìn)行存儲:主控制部501的控制程序、控制數(shù)據(jù)；包含用于生成本發(fā)明所涉及的將視差縮放所得的期望的單眼3D圖像的圖像處理程序的應(yīng)用軟件；第一、第二半月濾光片組；第一、第二轉(zhuǎn)換濾光片組；第一、第二頻率濾光片組;第一、第二逆濾光片組(實際空間和頻率空間上的逆濾光片組)；與通信對方的名稱、電話號碼等建立了對應(yīng)的地址數(shù)據(jù)；所收發(fā)的電子郵件的數(shù)據(jù)；利用Web瀏覽下載的Web數(shù)據(jù)；及所下載的內(nèi)容數(shù)據(jù)，并且對流數(shù)據(jù)等暫時性地進(jìn)行存儲。另外，存儲部550由智能電話500的內(nèi)置的內(nèi)部存儲部551和具有裝卸自如的外部存儲器插槽的外部存儲部552構(gòu)成。另外，構(gòu)成存儲部550的各個內(nèi)部存儲部551和外部存儲部552能夠使用閃存型(flash memory type)、硬盤型(hard disk type)、縮微多媒體卡型(multimedia card micro type)、卡型的存儲器(例如 Micro SD (注冊商標(biāo))存儲器等)、RAM (Random Access Memory)、ROM (Read onlyMemory)等存儲介質(zhì)而實現(xiàn)。
[0351]外部輸入輸出部560起到與連接于智能電話500的所有外部設(shè)備的接口的作用，用于通過通信等(例如，通用串行總線(USB)，IEEE1394等)或網(wǎng)絡(luò)(例如互聯(lián)網(wǎng)、無線LAN、藍(lán)牙(Bluetooth (注冊商標(biāo)))、RFID (Rad1 Frequency Identificat1n:無線射頻識別)、紅外線通信(Infrared Data Associat1n:IrDA)(注冊商標(biāo))，UWB (Ultra Wideband:超寬帶)(注冊商標(biāo))，紫蜂(ZigBee)(注冊商標(biāo))等)與其他外部設(shè)備直接或間接地連接。
[0352]作為與智能電話500連接的外部設(shè)備，例如能夠列舉出:有/無線頭戴式耳機、有/無線外部充電器、有/無線數(shù)據(jù)端口、經(jīng)由卡插座而連接的存儲卡(Memory card)、SIM (Subscriber Identity Module Card)/UIM (User Identity Module Card)卡、經(jīng)由音頻/視頻l/0(lnput/0utput)端子而連接的外部音頻/視頻設(shè)備、無線連接的外部音頻/視頻設(shè)備、有/無線連接的智能電話、有/無線連接的個人計算機、有/無線連接的roA、有/無線連接的個人計算機、耳機等。外部輸入輸出部560能夠?qū)倪@種外部設(shè)備接受了傳送后的數(shù)據(jù)傳遞到智能電話500的內(nèi)部的各結(jié)構(gòu)要素，并能夠?qū)⒅悄茈娫?00的內(nèi)部的數(shù)據(jù)傳送到外部設(shè)備。
[0353]GPS接收部570按照主控制部501的指示，接收從GPS衛(wèi)星ST1?STn發(fā)送的GPS信號，執(zhí)行基于接收到的多個GPS信號的測位運算處理，對該智能電話500的由緯度、經(jīng)度、高度構(gòu)成的位置進(jìn)行檢測。GPS接收部570在能夠從無線通信部510、外部輸入輸出部560 (例如無線LAN)獲取位置信息時，也能夠使用該位置信息對位置進(jìn)行檢測。
[0354]移動傳感器部580例如具備三軸加速度傳感器等。移動傳感器部580按照主控制部501的指示，對智能電話500的物理性的移動進(jìn)行檢測。通過對智能電話500的物理性的移動進(jìn)行檢測來檢測智能電話500的移動方向、加速度。將該檢測結(jié)果輸出到主控制部501。
[0355]電源部590按照主控制部501的指示向智能電話500的各部供給蓄積于蓄電池(未圖示的)的電力。
[0356]主控制部501具備微處理器，按照存儲部550所存儲的控制程序、控制數(shù)據(jù)而動作，對智能電話500的各部集中地進(jìn)行控制。另外，主控制部501為了通過無線通信部510進(jìn)行聲音通信、數(shù)據(jù)通信而具備對通信系統(tǒng)的各部進(jìn)行控制的移動通信控制功能和應(yīng)用處理功能。
[0357]按照存儲部550所存儲的應(yīng)用軟件使主控制部501動作，從而實現(xiàn)應(yīng)用處理功能。作為應(yīng)用處理功能，例如具有對外部輸入輸出部560進(jìn)行控制而與相向設(shè)備進(jìn)行數(shù)據(jù)通信的紅外線通信功能、進(jìn)行電子郵件的收發(fā)的電子郵件功能、閱覽Web網(wǎng)頁的Web瀏覽功能和本發(fā)明所涉及的根據(jù)2D圖像生成3D圖像的功能等。
[0358]另外，主控制部501具備基于接收數(shù)據(jù)、所下載的流數(shù)據(jù)等圖像數(shù)據(jù)(靜止圖像、動態(tài)圖像的數(shù)據(jù))而將影像在顯示輸入部520顯示等的圖像處理功能。所謂圖像處理功能是指主控制部501對上述圖像數(shù)據(jù)進(jìn)行解碼，對該解碼結(jié)果實施圖像處理而將圖像在顯示輸入部520上顯示的功能。
[0359]此外，主控制部501執(zhí)行對顯示面板521的顯示控制和對通過了操作部540、操作面板522的用戶操作進(jìn)行檢測的操作檢測控制。
[0360]通過顯示控制的執(zhí)行，主控制部501顯示用于起動應(yīng)用軟件的圖標(biāo)、滾動條等軟件鍵，或顯示用于生成電子郵件的窗口。另外，所謂滾動條，是指對于沒有完全收納到顯示面板521的顯示區(qū)域的較大的圖像等用于接受使圖像的顯示部分移動的指示的軟件鍵。
[0361]另外，通過操作檢測控制的執(zhí)行，主控制部501對經(jīng)由操作部540的用戶操作進(jìn)行檢測，或者經(jīng)由操作面板522接受對上述圖標(biāo)的操作、對上述窗口的輸入欄的字符串的輸入，或者接受經(jīng)由滾動條的顯示圖像的滾動要求。
[0362]此外，通過操作檢測控制的執(zhí)行，主控制部501具備判定對操作面板522的操作位置是與顯示面板521重疊的重疊部分(顯示區(qū)域)還是除此以外的不與顯示面板521重疊的外邊緣部分(非顯示區(qū)域)，并對操作面板522的感應(yīng)區(qū)域、軟件鍵的顯示位置進(jìn)行控制的觸摸面板控制功能。
[0363]另外，主控制部501檢測對操作面板522的手勢操作，根據(jù)檢測出的手勢操作，也能夠執(zhí)行預(yù)先設(shè)定的功能。所謂手勢操作并非以往的單純的觸摸操作，而是指利用手指等描繪軌跡、或?qū)Χ鄠€位置同時進(jìn)行指定、或?qū)⑺鼈兘M合而從多個位置對至少一個位置描繪軌跡的操作。
[0364]相機部541 是使用 CMOS (Complementary Metal Oxide Semiconductor:互補性金屬氧化物半導(dǎo)體)、CCD (Charge-Coupled Device:電荷稱合器件)等攝像元件進(jìn)行電子攝影的數(shù)碼相機，具備與圖3的框圖所示的功能同等的功能。另外，相機部541能夠通過主控制部501的控制,將通過攝像所得到的圖像數(shù)據(jù)轉(zhuǎn)換為例如JPEG(Joint Photographiccoding Experts Group:聯(lián)合圖像專家小組)等壓縮后的圖像數(shù)據(jù)并記錄于存儲部550,或經(jīng)由外部輸入輸出部560、無線通信部510而輸出。在圖31所示的智能電話500中，將相機部541搭載于與顯示輸入部520相同的面，但是相機部541的安裝位置不限于此。也可以將相機部541搭載于顯不輸入部520的背面,或者搭載多個相機部541。另外，在搭載多個相機部541的情況下，也能夠通過對提供攝影的相機部541進(jìn)行切換而單獨地進(jìn)行攝影，或同時使用多個相機部541進(jìn)行攝影。
[0365]另外，相機部541能夠利用于智能電話500的各種功能。例如，能夠在顯示面板521上顯示由相機部541獲取的圖像或作為操作面板522的操作輸入之一而利用相機部541的圖像。另外，在GPS接收部570對位置進(jìn)行檢測時，也能夠?qū)碜韵鄼C部541的圖像進(jìn)行參照而對位置進(jìn)行檢測。此外，也能夠?qū)碜韵鄼C部541的圖像進(jìn)行參照，不使用三軸加速度傳感器，或者與三軸加速度傳感器并用，而判斷智能電話500的相機部541的光軸方向、判斷當(dāng)前的使用環(huán)境。不言而喻，也能夠在應(yīng)用軟件內(nèi)利用來自相機部541的圖像。
[0366]除此之外，也能夠在靜止畫面或動態(tài)畫面的圖像數(shù)據(jù)上附加由GPS接收部570獲取的位置信息、由麥克風(fēng)532獲取的聲音信息(也可以利用主控制部501等進(jìn)行聲音文本轉(zhuǎn)換而成為文本信息)、由移動傳感器部580獲取的姿勢信息等而記錄于存儲部550，或者也能夠通過外部輸入輸出部560、無線通信部510而輸出。
[0367][其他]
[0368]本發(fā)明不限于根據(jù)原始的單眼3D圖像的靜止畫面生成期望的3D的靜止畫面的情況，也能夠適用于根據(jù)單眼3D圖像的動態(tài)畫面生成期望的3D的動態(tài)畫面的情況。
[0369]另外，攝像裝置10、智能電話500包含對2D圖像、單眼3D圖像進(jìn)行攝像并且根據(jù)實際拍攝到的原始的單眼3D圖像生成期望的3D圖像的本發(fā)明所涉及的圖像處理裝置，但是本發(fā)明不限于此。本發(fā)明也能夠適用于通過外部設(shè)備、通信而獲取原始的單眼3D圖像并根據(jù)所獲取的單眼3D圖像生成期望的3D圖像的圖像處理裝置(例如個人計算機、平板個人計算機等)。在該情況下，需要另行獲取在原始的單眼3D圖像上施加的第一、第二半月濾光片組的信息等。
[0370]此外，本發(fā)明不限于上述的實施方式，在不脫離本發(fā)明的精神的范圍內(nèi)能夠進(jìn)行各種變形，這是不言自明的。
[0371]附圖標(biāo)記說明
[0372]10…攝像裝置，12…攝影透鏡，14…光圈，16…攝像元件，24…數(shù)字信號處理部，30...3D 液晶監(jiān)視器，40...中央處理裝置(CPU)，47...ROM (EEPROM)，48...存儲器，100L、120L…左眼圖像，100R、120R…右眼圖像，130…視差映射，240 — 4?240 — 6…濾光處理部，248…半月濾光片計算部，271、272、296…傅里葉變換部，273、274…相乘部，275、276…逆傅里葉變換部，277…頻率濾光片計算部，280…頻率濾光片讀出部，291、292…第一運算部，293、294…第二運算部，295…逆濾光片讀出部，470…半月濾光片存儲部，476…頻率濾光片存儲部，478…逆濾光片存儲部，500…智能電話
【權(quán)利要求】
1.一種圖像處理裝置，具備: 圖像獲取單元，獲取經(jīng)由單一的攝影光學(xué)系統(tǒng)而被攝像并由光瞳分割單元進(jìn)行了光瞳分割的彼此具有視差的第一圖像和第二圖像； 視差獲取單元，獲取所取得的所述第一圖像和第二圖像的對應(yīng)的像素間的視差； 第一數(shù)據(jù)轉(zhuǎn)換單元，對應(yīng)所取得的所述第一圖像的圖像數(shù)據(jù)和第二圖像的圖像數(shù)據(jù)的處理的每個對象像素，將以該對象像素為基準(zhǔn)的預(yù)定區(qū)域分別轉(zhuǎn)換為第一頻率成分?jǐn)?shù)據(jù)和第二頻率成分?jǐn)?shù)據(jù)； 運算處理單元，對應(yīng)所取得的所述第一圖像和第二圖像的每個頻率成分?jǐn)?shù)據(jù)，使用與由所述視差獲取單元取得的所述對象像素的視差對應(yīng)的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理，所述第一頻率濾光片和第二頻率濾光片是用于對轉(zhuǎn)換后的所述第一頻率成分?jǐn)?shù)據(jù)和第二頻率成分?jǐn)?shù)據(jù)分別在頻率空間進(jìn)行轉(zhuǎn)換而分別轉(zhuǎn)換為將所取得的所述第一圖像和第二圖像具有的視差量和模糊量進(jìn)行了變更的第三圖像和第四圖像的第一頻率濾光片組和第二頻率濾光片組；及 第二數(shù)據(jù)轉(zhuǎn)換單元，將由所述運算處理單元算出的所述第三圖像和第四圖像分別所對應(yīng)的第三頻率成分?jǐn)?shù)據(jù)和第四頻率成分?jǐn)?shù)據(jù)轉(zhuǎn)換為實際空間上的數(shù)據(jù)，選擇與所述對象像素對應(yīng)的位置的像素分別作為所述第三圖像和第四圖像的一個像素。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述運算處理單元使用由所述視差獲取單元取得的所述對象像素的視差越大則使模糊量越大的第一頻率濾光片和第二頻率濾光片。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中，具備: 數(shù)字濾光片存儲單元，對與從入射到所述單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第一圖像和第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組和第二數(shù)字濾光片組進(jìn)行存儲；及 頻率濾光片計算單元，基于所存儲的所述第一數(shù)字濾光片組和第二數(shù)字濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組，算出所述第一頻率濾光片組和第二頻率濾光片組， 所述運算處理單元對應(yīng)所取得的所述第一圖像和第二圖像的每個像素，基于由所述視差獲取單元取得的該像素的視差，從所算出的所述第一頻率濾光片組和第二頻率濾光片組分別選擇與視差對應(yīng)的第一頻率濾光片和第二頻率濾光片，使用所選擇的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 當(dāng)將存儲于所述數(shù)字濾光片存儲單元的第一數(shù)字濾光片組和第二數(shù)字濾光片組中的任一數(shù)字濾光片設(shè)為T(x，y)，將對該數(shù)字濾光片T(x，y)進(jìn)行傅里葉變換所得的數(shù)字濾光片設(shè)為Tf(?x，coy)，將所述第三數(shù)字濾光片組和第四數(shù)字濾光片組中的與所述數(shù)字濾光片T(x，y)對應(yīng)的數(shù)字濾光片設(shè)為Tw (X，y)，將對該數(shù)字濾光片Tw (X，y)進(jìn)行傅里葉變換所得的數(shù)字濾光片設(shè)為Twf(?x，COy)時，所述頻率濾光片計算單元利用下式:G(?x，coy)=Twf (ωχ，coy).Tf(cox，GJyK1來算出所述第一頻率濾光片和第二頻率濾光片G(cox，《y)。
5.根據(jù)權(quán)利要求3或4所述的圖像處理裝置，其中，具備: 指定單元，指定向應(yīng)轉(zhuǎn)換的所述第三圖像和第四圖像的轉(zhuǎn)換特性；及 數(shù)字濾光片計算單元，算出與所指定的所述轉(zhuǎn)換特性對應(yīng)的第三數(shù)字濾光片組和第四數(shù)字濾光片組， 所述頻率濾光片計算單元使用存儲于所述數(shù)字濾光片存儲單元的第一數(shù)字濾光片組和第二數(shù)字濾光片組及由所述數(shù)字濾光片計算單元算出的第三數(shù)字濾光片組和第四數(shù)字濾光片組而算出所述第一頻率濾光片組和第二頻率濾光片組。
6.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 具備頻率濾光片存儲單元，對基于與從入射到所述單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第一圖像和第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組和第二數(shù)字濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組而算出的每個視差的所述第一頻率濾光片組和第二頻率濾光片組進(jìn)行存儲， 所述運算處理單元對應(yīng)所取得的所述第一圖像和第二圖像的每個像素，基于由所述視差獲取單元取得的該像素的視差，從所存儲的所述第一頻率濾光片組和第二頻率濾光片組讀出與視差對應(yīng)的第一頻率濾光片和第二頻率濾光片，使用所讀出的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中， 當(dāng)將所述第一數(shù)字濾光片組和第二數(shù)字濾光片組中的任一數(shù)字濾光片設(shè)為T (X，y)，將對該數(shù)字濾光片T(x，y)進(jìn)行傅里葉變換所得的數(shù)字濾光片設(shè)為Tf(ωχ，coy)，將所述第三數(shù)字濾光片組和第四數(shù)字濾光片組中的與所述數(shù)字濾光片T(x，y)對應(yīng)的數(shù)字濾光片設(shè)為Tw(X，y)，將對該數(shù)字濾光片Tw(X，y)進(jìn)行傅里葉變換所得的數(shù)字濾光片設(shè)為Twf(?x，coy)時，所述頻率濾光片存儲單元對由下式:G(cox，(Oy) = Twf(ωχ, (Oy).Tf(ωχ, ω)-1算出的第一頻率濾光片和第二頻率濾光片G(cox，(Oy)進(jìn)行存儲。
8.根據(jù)權(quán)利要求6或7所述的圖像處理裝置，其中， 具備指定單元，指定向應(yīng)轉(zhuǎn)換的所述第三圖像和第四圖像的轉(zhuǎn)換特性， 所述頻率濾光片存儲單元對基于與從入射到所述單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第一圖像和第二圖像的轉(zhuǎn)換特性對應(yīng)的、每個視差的第一數(shù)字濾光片組和第二數(shù)字濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第三圖像和第四圖像的轉(zhuǎn)換特性對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組即與能夠由所述指定單元指定的多個轉(zhuǎn)換特性對應(yīng)的述第三數(shù)字濾光片組和第四數(shù)字濾光片組而算出的每個轉(zhuǎn)換特性的第一頻率濾光片組和第二頻率濾光片組進(jìn)行存儲， 所述運算處理單元從所述頻率濾光片存儲單元讀出并使用與由所述指定單元指定的轉(zhuǎn)換特性對應(yīng)的第一頻率濾光片組和第二頻率濾光片組。
9.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 具備逆濾光片存儲單元，對與從入射到所述單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第一圖像或第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組或第二數(shù)字濾光片組的頻率成分?jǐn)?shù)據(jù)的逆濾光片即第一逆濾光片組和第二逆濾光片組進(jìn)行存儲， 所述運算處理單元使用所存儲的所述第一逆濾光片組和第二逆濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組的頻率成分?jǐn)?shù)據(jù)即第三頻率濾光片組和第四頻率濾光片組作為所述第一頻率濾光片組和第二頻率濾光片組。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中，具備: 指定單元，指定向應(yīng)轉(zhuǎn)換的所述第三圖像和第四圖像的轉(zhuǎn)換特性；及 數(shù)字濾光片計算單元，算出與所指定的所述轉(zhuǎn)換特性對應(yīng)的第三數(shù)字濾光片組和第四數(shù)字濾光片組， 所述運算處理單元使用由所述數(shù)字濾光片計算單元算出的第三數(shù)字濾光片組和第四數(shù)字濾光片組。
11.根據(jù)權(quán)利要求5、8、10中任一項所述的圖像處理裝置，其中， 由所述指定單元指定的向第三圖像和第四圖像的轉(zhuǎn)換特性是與所述第一圖像和第二圖像不同的攝影光學(xué)系統(tǒng)的焦距、光圈值、攝像元件的尺寸和靈敏度特性中的至少一個。
12.根據(jù)權(quán)利要求5、8、10、11中任一項所述的圖像處理裝置，其中， 所述第三數(shù)字濾光片組和第四數(shù)字濾光片組是對所述第一數(shù)字濾光片組和第二數(shù)字濾光片組相似形地進(jìn)行縮放而得到的。
13.根據(jù)權(quán)利要求3?12中任一項所述的圖像處理裝置，其中， 所述第三數(shù)字濾光片組和第四數(shù)字濾光片組分別是圓形且具有點對稱的濾光系數(shù)的數(shù)字濾光片組。
14.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中， 所述運算處理單元在獲取多個轉(zhuǎn)換特性的第三圖像和第四圖像時，對應(yīng)所取得的所述第一圖像或第二圖像的每個像素，進(jìn)行乘以與該每個像素的視差對應(yīng)的第一數(shù)字濾光片或第二數(shù)字濾光片的頻率成分?jǐn)?shù)據(jù)的逆濾光片的第一運算，并對該第一運算的結(jié)果乘以分別與多個轉(zhuǎn)換特性的第三圖像和第四圖像對應(yīng)的第三數(shù)字濾光片和第四數(shù)字濾光片的頻率成分?jǐn)?shù)據(jù)。
15.根據(jù)權(quán)利要求3?14中任一項所述的圖像處理裝置，其中， 所述第一數(shù)字濾光片組和第二數(shù)字濾光片組使用關(guān)于圖像的中心而彼此左右對稱且左右對稱性根據(jù)光瞳分割方向的像高而變化的數(shù)字濾光片組。
16.根據(jù)權(quán)利要求3?15中任一項所述的圖像處理裝置，其中， 所述第一數(shù)字濾光片組和第二數(shù)字濾光片組使用具有將獲取所述第一圖像和第二圖像時的、所述攝影光學(xué)系統(tǒng)所含的光圈的開口形狀進(jìn)行了分割的形狀的數(shù)字濾光片組。
17.根據(jù)權(quán)利要求3?16中任一項所述的圖像處理裝置，其中， 所述第一圖像和第二圖像是從彩色攝像元件輸出的三原色的彩色圖像， 所述第一數(shù)字濾光片組和第二數(shù)字濾光片組使用與所述彩色攝像元件的每色的靈敏度特性對應(yīng)而每色不同的數(shù)字濾光片組。
18.根據(jù)權(quán)利要求17所述的圖像處理裝置，其中， 所述第三數(shù)字濾光片組和第四數(shù)字濾光片組使用與三原色的彩色圖像中的特定的顏色對應(yīng)的數(shù)字濾光片組。
19.根據(jù)權(quán)利要求1?18中任一項所述的圖像處理裝置，其中， 所述第一圖像和第二圖像是從彩色攝像元件輸出的三原色的彩色圖像， 所述視差獲取單元對應(yīng)每色算出所取得的所述第一圖像和第二圖像的對應(yīng)的像素間的視差， 所述運算處理單元對應(yīng)每色進(jìn)行對所取得的所述第一圖像和第二圖像的運算處理。
20.一種攝像裝置，具備: 單一的攝影光學(xué)系統(tǒng)； 攝像元件，是對通過了所述攝影光學(xué)系統(tǒng)的不同的第一、第二區(qū)域的被攝體像進(jìn)行光瞳分割而分別成像的攝像元件，對通過了所述第一、第二區(qū)域的被攝體像分別進(jìn)行光電轉(zhuǎn)換而輸出第一圖像和第二圖像； 所述圖像獲取單元，獲取從所述攝像元件輸出的第一圖像和第二圖像；及 權(quán)利要求1?19中任一項所述的圖像處理裝置。
21.—種圖像處理方法，包括: 圖像獲取工序，獲取經(jīng)由單一的攝影光學(xué)系統(tǒng)而被攝像并由光瞳分割單元進(jìn)行了光瞳分割的彼此具有視差的第一圖像和第二圖像； 視差獲取工序，獲取所取得的所述第一圖像和第二圖像的對應(yīng)的像素間的視差； 第一數(shù)據(jù)轉(zhuǎn)換工序，對應(yīng)所取得的所述第一圖像的圖像數(shù)據(jù)和第二圖像的圖像數(shù)據(jù)的處理的每個對象像素，將以該對象像素為基準(zhǔn)的預(yù)定區(qū)域分別轉(zhuǎn)換為第一頻率成分?jǐn)?shù)據(jù)和第二頻率成分?jǐn)?shù)據(jù)； 運算處理工序，對應(yīng)所取得的所述第一圖像和第二圖像的每個頻率成分?jǐn)?shù)據(jù)，使用與由所述視差獲取工序取得的所述對象像素的視差對應(yīng)的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理，所述第一頻率濾光片和第二頻率濾光片是用于對轉(zhuǎn)換后的所述第一頻率成分?jǐn)?shù)據(jù)和第二頻率成分?jǐn)?shù)據(jù)分別在頻率空間進(jìn)行轉(zhuǎn)換而分別轉(zhuǎn)換為將所取得的所述第一圖像和第二圖像具有的視差量和模糊量進(jìn)行了變更所得的第三圖像和第四圖像的第一頻率濾光片組和第二頻率濾光片組；及 第二數(shù)據(jù)轉(zhuǎn)換工序，將與由所述運算處理工序算出的所述第三圖像和第四圖像分別對應(yīng)的第三頻率成分?jǐn)?shù)據(jù)和第四頻率成分?jǐn)?shù)據(jù)轉(zhuǎn)換為實際空間上的數(shù)據(jù)，并選擇與所述對象像素對應(yīng)的位置的像素分別作為所述第三圖像和第四圖像的一個像素， 將所述對象像素的位置錯開并一個像素一個像素地重復(fù)執(zhí)行所述第一數(shù)據(jù)轉(zhuǎn)換工序、所述運算處理工序和所述第二數(shù)據(jù)轉(zhuǎn)換工序。
22.根據(jù)權(quán)利要求21所述的圖像處理方法，其中，還包括: 準(zhǔn)備數(shù)字濾光片存儲單元的工序，所述數(shù)字濾光片存儲單元對與從入射到所述單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第一圖像和第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組和第二數(shù)字濾光片組進(jìn)行存儲；及 頻率濾光片計算工序，基于所存儲的所述第一數(shù)字濾光片組和第二數(shù)字濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組，算出所述第一頻率濾光片組和第二頻率濾光片組， 所述運算處理工序?qū)?yīng)所取得的所述第一圖像和第二圖像的每個像素，基于由所述視差獲取工序取得的該像素的視差，從所算出的所述第一頻率濾光片組和第二頻率濾光片組分別選擇與視差對應(yīng)的第一頻率濾光片和第二頻率濾光片，并使用所選擇的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理。
23.根據(jù)權(quán)利要求21所述的圖像處理方法，其中， 還包括準(zhǔn)備頻率濾光片存儲單元的工序，所述頻率濾光片存儲單元對基于與從入射到所述單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第一圖像和第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組和第二數(shù)字濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組而算出的每個視差的所述第一頻率濾光片組和第二頻率濾光片組進(jìn)行存儲， 所述運算處理工序?qū)?yīng)所取得的所述第一圖像和第二圖像的每個像素，基于由所述視差獲取工序取得的該像素的視差，從所存儲的所述第一頻率濾光片組和第二頻率濾光片組讀出與視差對應(yīng)的第一頻率濾光片和第二頻率濾光片，并使用所讀出的第一頻率濾光片和第二頻率濾光片進(jìn)行相乘處理。
24.根據(jù)權(quán)利要求21所述的圖像處理方法，其中， 還包括準(zhǔn)備逆濾光片存儲單元的工序，所述逆濾光片存儲單元對與從入射到所述單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第一圖像或第二圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第一數(shù)字濾光片組或第二數(shù)字濾光片組的頻率成分?jǐn)?shù)據(jù)的逆濾光片組即第一逆濾光片組和第二逆濾光片組進(jìn)行存儲， 所述運算處理工序使用所存儲的所述逆濾光片組及與從入射到單一的攝影光學(xué)系統(tǒng)的光到轉(zhuǎn)換為所述第三圖像和第四圖像的轉(zhuǎn)換特性分別對應(yīng)的、每個視差的第三數(shù)字濾光片組和第四數(shù)字濾光片組的頻率成分?jǐn)?shù)據(jù)即第三頻率濾光片組和第四頻率濾光片組作為所述第一頻率濾光片組和第二頻率濾光片組。
【文檔編號】H04N5/225GK104272732SQ201380024513
【公開日】2015年1月7日 申請日期:2013年5月2日 優(yōu)先權(quán)日:2012年5月9日
【發(fā)明者】青木貴嗣, 井澤克俊 申請人:富士膠片株式會社