少的、縱線看上去比橫線清晰的被攝體影像。即，由于視差像素的 開口掩膜的開口在水平方向和垂直方向上的不對稱性，所以被攝體像在水平方向和垂直方 向上的模糊不對稱。這也能夠稱為模糊的各向異性。
[0073] 當將圖7的（b)的左眼用的被攝體像和右眼用的被攝體像重疊顯示，而從3D圖像 得到2D圖像時，在2D圖像中產生因水平方向的清晰的模糊導致的二線性模糊那樣的不期 望的模糊（圖7的（c))。
[0074] 圖8是示出視差圖像以及無視差圖像與景深的關系的圖。具體地，圖8是示 出縱線條紋花樣圖和在將該縱線條紋花樣圖旋轉90°再拍攝時的橫線條紋花樣圖的 MTF(Modulation Transfer Function:調制傳遞函數(shù)）特性的被攝體距離依賴性的圖，其 中，縱線條紋花樣圖是當將攝像元件100的像素節(jié)距設置為a[mm]來對頻率為f [支/mm] 的被攝體像的條紋花樣圖進行拍攝時的縱線條紋花樣圖。縱軸表示MTF，橫軸表示與數(shù)碼相 機10相距的距離d。MTF分布呈現(xiàn)出在將對焦位置的光軸附近的MTF設為1的情況下，當 使條紋花樣圖在對焦位置的前后時會怎樣衰減。
[0075] 圖8的（a)示出無視差圖像（N圖像）中的具有固定頻率的被攝體像的與被攝體 距離相關的縱線條紋花樣圖和橫線條紋花樣圖的MTF分布。如圖8的（a)所示，在無視差 圖像中，縱線條紋花樣圖與橫線條紋花樣圖的MTF分布相一致。圖8的（b)示出視差圖像 (視差Lt圖像以及視差Rt圖像）中的具有固定頻率的被攝體像的與被攝體距離相關的縱 線條紋花樣圖和橫線條紋花樣圖的MTF分布。圖8的（b)所示的橫線條紋花樣圖的MTF分 布與圖8的（a)所示的橫線條紋花樣圖的MTF分布相一致。另一方面，得知圖8的（b)所 示的縱線條紋花樣圖的MTF分布與圖8的（a)所示的縱線條紋花樣圖的MTF分布相比，對 比度高的區(qū)間分布較廣，景深較深。換言之，當使條紋花樣圖在對焦位置的前后時，在視差 圖像中，橫線條紋花樣圖與橫線條紋花樣圖中對比度不同。這產生此前在圖7中示出的模 糊的不對稱性。
[0076] 〈模糊的左右不對稱性〉
[0077] 由于視差像素接收投射至假想光瞳的入射光束，所以假想光瞳的形狀表現(xiàn)出模糊 特性。視差像素基本上起到使通過透鏡的光的單側即一半光束通過的作用。此時，由于透 鏡的光瞳直徑是圓形的，所以假想光瞳是半圓形的。
[0078] 圖9是用于說明半開口的視差像素的模糊的不對稱性的圖。是說明模糊的不對稱 性的圖。如圖9所示，在左視差像素中，與半圓形的弧側相對應的模糊適當?shù)爻尸F(xiàn)出，與之 相對，與半圓形的割斷側相對應的模糊沒有適當?shù)爻尸F(xiàn)出。即，容易變成清晰的邊緣而模糊 較少。就右視差像素而言也是同樣地，與半圓形的弧側相對應的模糊適當?shù)爻尸F(xiàn)出來，與之 相對，與半圓形的割斷側相對應的模糊容易變成清晰的邊緣而模糊較少。但是，在左視差像 素與右視差像素中弧的位置相反。由于以上的原因，上述的二線性模糊現(xiàn)象表現(xiàn)得更明顯。 最好是盡量避免這種左右不對稱的模糊。
[0079] 在單眼光瞳分割攝像方式的數(shù)碼相機中，除了模糊的不對稱性以外，還存在在左 右視差圖像之間產生不同的陰影的問題。如W02012/036019以及JP特開2011-223562中 記載的那樣，單眼光瞳分割光學系統(tǒng)中固有的左右視差圖像的陰影根據光學系統(tǒng)的焦點距 離、光圈值等會產生很大的變化。與以往的2D圖像攝像系統(tǒng)相比，期望構建使本來這種根 據光學系統(tǒng)而變動的主要因素盡量小的3D圖像攝像系統(tǒng)。另外，優(yōu)選陰影本身難以出現(xiàn)的 結構。在本實施方式中，鑒于上述的狀況，針對與陰影少、抑制了基于光學條件的變動且抑 制了模糊的不對稱性的看起來自然的立體圖像攝像系統(tǒng)相關的技術進行說明。
[0080] 對設于視差像素的開口掩膜的開口部比上述的半開口更大的情況進行說明。
[0081] 〈比半開口更大的視差像素與全開口的無視差像素的組合排列〉
[0082] 此處，為了簡化說明的目的，舉出具有水平方向的寬度為全開口的2/3倍的2/3開 口的視差像素作為例子進行說明。具有這種開口的視差像素的接收被攝體光束的受光區(qū)域 包含像素區(qū)域的中心，且，設定在相對于該像素區(qū)域的中心偏移的位置。另外，假設利用如 后述的實施方式1所示的單色且N像素、Lt像素、Rt像素3種像素混合的排列結構的攝像 元件來進行拍攝的情況。另外，通過將N像素、Lt像素、Rt像素分別內插于各像素中，生成 N圖像、Lt圖像、Rt圖像。針對它們所具有的特性按順序進行說明。
[0083] (1)視差量
[0084] 圖10是針對開口掩膜的開口部和點擴散進行說明的圖。能夠根據2/3開口的左視 差圖像Lt2/3、2/3開口的右視差圖像Rt2/3以及全開口的無視差圖像N，通過運算分別等效地 生成1/3開口的左視差圖像Lt1/3、1/3開口的右視差圖像Rt1/3、1/3開口的無視差圖像C 1/3。 具體地，如圖10的（a)、（b)所示，通過將無視差圖像N和右視差圖像Rt2/3相減，能夠在右 視差圖像Rt2/3的遮光部分等效地生成具有開口的左視差圖像Lt1/3。如圖10的（c)、（d)所 不，通過將左視差圖像Lt2/3和右視差圖像Rt 2/3相加，從相加結果減去無視差圖像N，能夠等 效地生成無視差圖像C1/3。如圖10的（e)、（f)所示，通過將全開口的無視差圖像N和2/3 開口的左視差圖像Lt2/3相減，能夠在2/3開口的左視差圖像Lt 2/3的遮光部分等效地生成具 有開口的1/3開口的右視差圖像Rt1/3。當用算式表達上述的運算時，如下所示。此外，下標 表示開口寬度或者模糊幅度的信息。
[0088] 通常，由于沒有拍攝中央部的1/3開口的左視差圖像Lt1/3以及1/3開口的右視 差圖像Rt1/3獲取端部的視點的部分光束，所以得到視差的分離度比2/3開口的左視差圖 像Lt2/3以及2/3開口的右視差圖像Rt 2/3更大的視差信息。即，能夠得到外側的視點信息。 通過運算生成的左視差圖像Lt2/3與右視差圖像Rt 2/3之差以及比例等信號成分可具有導出 1/3開口的視差分離的作用。（式4)、（式5)中示出上述的差以及比例。
[0091] 圖11是說明左視差圖像Lt2/3與右視差圖像Rt2/3之差的概念的圖。在圖11中，比 較半開口的視差像素來進行說明。圖11的（a)示出半開口的視差像素。圖11的（b)示出 像素位置與光強度的關系，與圖6的（b)相同。圖11的（c)概念性示出左視差圖像Lt1/2與 右視差圖像Rt1/2之差。圖11的⑷示出2/3開口的視差像素。圖11的（e)示出像素位 置與光強度的關系。圖11的（f)概念性地示出左視差圖像Lt2/3與右視差圖像Rt2/3之差。
[0092] 如圖11的（c)、（f)所示，2/3開口的視差像素的左右之間的信號差分小于半開口 的視差像素的左右之間的信號差分。這是因為，如圖11的（b)、（e)所示，由于2/3開口的 左右的視差像素的攝像信號的重疊部分比半開口的視差像素的攝像信號的重疊部分大，所 以作為差分信號輸出的信號變小。如2/3開口這樣的比半開口大的視差像素的基本觀點 是，盡量沿襲2D攝像元件的全開口的像素結構，一邊通過僅遮擋一小部分的光來得到視差 信息，并通過運算能夠等效地獲取遮蔽部的開口的視差信息，一邊保持攝像信號本身的光 學特性與2D攝像元件接近的狀態(tài)。
[0093] 作為通過運算生成的視點位置和模糊幅度不同的視差信息也能夠通過除了（式 1)~（式3)以外的算式推導出。圖12是說明其他的衍生例的無視差圖像Ni和無視差圖 像C2/3的點擴散的圖。如圖12的（a)所示，無視差圖像L是通過左視差圖像Lt2/3與右視 差圖像Rt2/3的算術平均得到的。算術平均生成兩個攝像信號中的某一方具有有限的值的 區(qū)間即進行0R(或運算）得到的區(qū)域范圍的模糊幅度。因此，無視差圖像K能夠近似地視 為具有全開口的模糊幅度的基準視點方向的無視差圖像。另一方面，無視差圖像C2/3是通過 左視差圖像Lt2/3與右視差圖像Rt 2/3的幾何平均得到的。幾何平均生成兩個攝像信號中的 兩者具有有限的值的區(qū)間即進行AND(與運算）得到的區(qū)域范圍的模糊幅度。因此，無視差 圖像C2/3能夠視為具有2/3開口的模糊幅度的基準視點方向的無視差圖像。此外，用N表 示無視差圖像的全開口的模糊幅度，用C表示比這小的開口的模糊幅度。當用算式表示時， 如以下的（式6)、（式7)。
[0096] (2)陰影特性
[0097] 圖13是說明視差像素的陰影的圖。在圖13中，縱軸表示信號值，橫軸表示像素位 置。圖13的（a)關于半開口的視差像素示出信號值與像素位置的關系，圖13的（b)關于 2/3開口的視差像素示出信號值與像素位置的關系。通常，在單眼光瞳分割攝像方式中，通 過光學系統(tǒng)的光瞳與攝像元件的微透鏡的組合來產生陰影。而且，光圈值越大，右視差圖像 和左視差圖像的不平衡就變得越大。但是，在2D攝像元件中不會發(fā)生這種現(xiàn)象。因此，在 相同的光學條件下，如圖13的（a)、（b)所示，2/3開口的視差像素，即比半開口大的視差像 素的陰影比半開口的視差像素小，基于光學條件的變動也更小。
[0098] (3)模糊的不對稱性
[0099] 圖14是用于說明比半開口大的視差像素的模糊的形狀的圖。圖14的（a)示出半 開口的視差像素的模糊，圖14的（b)示出比半開口大的視差像素的模糊。由于若視差像素 的開口寬度變大，則與無視差像素（N像素）的景深之差變小，所以模糊的縱橫不對稱性被 緩和。而且，如圖14的（a)、（b)所示，若視差像素的開口寬度變大，則圓形的光瞳直徑僅削 減一小部分的光束，因此，相比于半開口的情況，模糊的左右不對稱性也變緩和。因此，能夠 降低一方邊緣的清晰度，關于二線性模糊也顯示出降低的傾向。如以上所述，比半開口大的 視差像素具有模糊的形狀變得整齊且縱橫、左右均趨于對稱的傾向。
[0100] (4)視差調制與S/N比
[0101] 后述的實施方式1以及實施方式2中所示的攝像元件采用視差像素以比無視差像 素更稀疏的密度來配置的排列結構。該排列結構是利用只有模糊的區(qū)域才產生視差這一單 眼立體攝像的固有的性質，將最多的信息優(yōu)化配置在需要之處的結果。純粹僅內插視差像 素得到的視差圖像面成為空間析像度較低的圖像。左右視差圖像用于使空間析像度高的無 視差圖像位移。像這樣進行視差調制來生成高分辨率的視差圖像。該原理在與本申請相同 的發(fā)明人提出的JP特愿2012-100472和JP特愿2012-100476中進行了詳細表述。以半開 口作為前提，來描述其中記載的3個運算式。以左視差圖像為例子，有下算式。
[0105] 若在對數(shù)空間進行（式9)的運算，則變?yōu)榕c（式8)相同。（式8)通常在伽瑪轉 換后的灰度空間中使用。在線性灰度空間中使用（式9)~（式10)。在無視差像素是全開 口的情況下，即在為N像素的情況下使用（式10)，在無視差像素與視差像素具有相同形狀 的面積的開口的情況下，即在為C像素的情況下使用（式9)。
[0106] 針對不是對由半開口的視差像素捕捉到的攝像信號，而是對由比半開口大的視差 像素捕捉到的攝像信號進行上述的運算的情況進行說明。為了簡化說明的目的，考慮（式 8)的差分運算的情況。如上所述，比半開口大的視差像素的左右之間的信號差分小于半開 口的視差像素的左右之間的信號差分。這是因為，如圖11所示，在比半開口大的左右的視 差像素中攝像信號的重疊部分較大，因此作為差分信號輸出的信號較小。
[0107] 但是，若視差像素的開口接近于半開口的寬度，例如在1/2開口~2/3開口程度的 范圍之間，則認為基于（式8)的運算的調制N圖像的效果也會隨之體現(xiàn)。由于若視差像素 的開口進一步變大，則差分信號的強度振幅會變得過小，所以視差調制效果變弱。在這樣的 情況下，進行如下式的視差放大調制。由于攝像視差本身具