攝像元件、攝像裝置以及圖像處理裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及攝像元件、攝像裝置以及圖像處理裝置。
【背景技術(shù)】
[0002] 已知使用單一的攝影光學(xué)系統(tǒng)通過一次攝影而生成相互具有視差的左右視差圖 像的攝像裝置。
[0003] 現(xiàn)有技術(shù)文獻(xiàn)
[0004] 專利文獻(xiàn)
[0005] 專利文獻(xiàn)1 :JP特開2003-7994號公報(bào)

【發(fā)明內(nèi)容】

[0006] 在由這種攝像裝置生成的左視差圖像和右視差圖像中，模糊的形狀不對稱。模糊 的形狀的不對稱產(chǎn)生二線性模糊，其結(jié)果為變成不自然的模糊。
[0007] 本發(fā)明的第一方面的攝像元件，其為通過一個(gè)光學(xué)系統(tǒng)，對全部光束中通過相互 不同區(qū)域的部分光束的被攝體像進(jìn)行拍攝的攝像元件，其由無視差像素、第一視差像素及 第二視差像素的至少3種像素分別配置有多個(gè)的像素排列構(gòu)成，其中，無視差像素具有產(chǎn) 生基準(zhǔn)方向的視點(diǎn)的開口掩膜，第一視差像素具有產(chǎn)生與基準(zhǔn)方向不同的第一方向的視點(diǎn) 的開口掩膜，第二視差像素具有產(chǎn)生與基準(zhǔn)方向不同的第二方向的視點(diǎn)的開口掩膜，第一 視差像素的開口掩膜和第二視差像素的開口掩膜分別在視點(diǎn)變化的方向上具有比半開口 大的開口面積的寬度。
[0008] 本發(fā)明的第二方面的圖像處理裝置，針對上述的攝像元件的輸出還基于無視差像 素的像素信息，對各像素生成基準(zhǔn)視點(diǎn)圖像，基于第一視差像素的像素信息，對各像素生成 臨時(shí)的第一視點(diǎn)圖像，基于第二視差像素的像素信息，對各像素生成臨時(shí)的第二視點(diǎn)圖像， 對于基準(zhǔn)視點(diǎn)圖像，使用臨時(shí)的第一視點(diǎn)圖像和臨時(shí)的第二視點(diǎn)圖像使視點(diǎn)位置變化，來 生成新的第一視點(diǎn)圖像和新的第二視點(diǎn)圖像。
[0009] 本發(fā)明的第三方面的攝像元件具有偏移像素，該偏移像素的接收被攝體光束的第 一受光區(qū)域包含像素區(qū)域的中心，并且設(shè)定在相對于像素區(qū)域的中心偏移的位置。
[0010] 本發(fā)明的第四方面的圖像處理裝置具有：獲取部，其獲取上述攝像元件的輸出； 和圖像生成部，其使用第一偏移像素的輸出和第二偏移像素的輸出，根據(jù)不偏移像素的輸 出，生成向第一方向賦予視差的第一視差圖像數(shù)據(jù)和向第二方向賦予視差的第二視差圖像 數(shù)據(jù)。
[0011] 本發(fā)明的第五方面的攝像裝置具有上述攝像元件和上述圖像處理裝置。
[0012] 此外，上述的發(fā)明的概要并沒有列舉出本發(fā)明全部的所需特征。另外，這些特征組 的組合也可以另外構(gòu)成發(fā)明。
【附圖說明】
[0013] 圖1是說明本發(fā)明的實(shí)施方式的數(shù)碼相機(jī)的結(jié)構(gòu)的圖。
[0014] 圖2是說明攝像元件的截面的結(jié)構(gòu)的圖。
[0015] 圖3是說明無視差像素的散焦的概念的圖。
[0016] 圖4是說明視差像素的散焦的概念的圖。
[0017] 圖5是示出無視差像素與視差像素的光強(qiáng)度分布的圖。
[0018] 圖6是說明在視差像素的種類為兩個(gè)的情況下的開口部104的開口形狀的圖。
[0019] 圖7是用于說明模糊的不對稱性的圖。
[0020] 圖8是示出視差圖像以及無視差圖像與景深的關(guān)系的圖。
[0021] 圖9是用于說明半開口的視差像素的模糊的不對稱性的圖。
[0022] 圖10是針對開口掩膜的開口部和點(diǎn)擴(kuò)散進(jìn)行說明的圖。
[0023] 圖11是說明左視差圖像Lt2/3與右視差圖像Rt 2/3之差的概念的圖。
[0024] 圖12是說明作為其他的衍生例的無視差圖像&和無視差圖像C2/3的點(diǎn)擴(kuò)散的圖。
[0025] 圖13是說明視差像素的陰影的圖。
[0026] 圖14是用于說明比半開口大的視差像素的模糊的形狀的圖。
[0027] 圖15是示出作為像素排列的一個(gè)例子的實(shí)際空間的排列和k空間的圖。
[0028] 圖16是示出作為像素排列的一個(gè)例子的實(shí)際空間的排列和k空間的圖。
【具體實(shí)施方式】
[0029] 以下，通過發(fā)明的實(shí)施方式來說明本發(fā)明，但是以下的實(shí)施方式并不限定權(quán)利要 求的范圍內(nèi)的發(fā)明。另外，發(fā)明的解決手段不一定需要在實(shí)施方式中說明的特征組合的全 部。
[0030] 作為攝像裝置的一種形式的本實(shí)施方式的數(shù)碼相機(jī)構(gòu)成為，能夠通過一次攝影針 對一個(gè)場景生成多個(gè)視點(diǎn)的圖像。將彼此視點(diǎn)不同的各個(gè)圖像稱為視差圖像。在本實(shí)施方 式中，尤其針對生成基于與右眼和左眼相對應(yīng)的兩個(gè)視點(diǎn)的右視差圖像和左視差圖像的情 況進(jìn)行說明。在后面說明詳細(xì)內(nèi)容，本實(shí)施方式的數(shù)碼相機(jī)能夠?qū)⒒谧鳛榛鶞?zhǔn)方向的視 點(diǎn)的中央視點(diǎn)的沒有視差的無視差圖像與視差圖像一起生成。
[0031] 圖1是說明本發(fā)明的實(shí)施方式的數(shù)碼相機(jī)10的結(jié)構(gòu)的圖。數(shù)碼相機(jī)10具有作為 攝像光學(xué)系統(tǒng)的攝影透鏡20,將沿著光軸21入射的被攝體光束引導(dǎo)至攝像元件100。攝影 透鏡20可以是相對于數(shù)碼相機(jī)10可拆裝的可更換透鏡。數(shù)碼相機(jī)10除了攝影透鏡20以 及攝像元件100以外，還具有：控制部201、A/D轉(zhuǎn)換電路202、存儲(chǔ)器203、驅(qū)動(dòng)部204、圖像 處理部205、存儲(chǔ)卡IF(接口）207、操作部208、顯示部209以及LCD驅(qū)動(dòng)電路210。
[0032] 此外，如圖示那樣，將與朝向攝像元件100的光軸21平行的方向設(shè)定為+Z軸方 向，將在與Z軸正交的平面中朝向紙面里面的方向設(shè)定為+X軸方向，將朝向紙面上方的方 向設(shè)定為+Y軸方向。與攝像中的構(gòu)圖的關(guān)系是：X軸是水平方向，Y軸是垂直方向。在以下 的若干幅圖中，將圖1的坐標(biāo)軸作為基準(zhǔn)，以可知各幅圖的朝向的方式來顯示坐標(biāo)軸。
[0033] 攝影透鏡20由多個(gè)光學(xué)透鏡組構(gòu)成，使來自場景的被攝體光束在該攝影透鏡20 的焦平面附近成像。此外，在圖1中為了便于說明攝影透鏡20,用配置于光瞳附近的假想的 一個(gè)透鏡代表來表不。
[0034] 攝像元件100配置在攝影透鏡20的焦平面附近。攝像元件100是以二維方式排 列多個(gè)像素的(XD、CMOS傳感器等圖像傳感器。攝像元件100由驅(qū)動(dòng)部204定時(shí)控制，將成 像于受光面上的被攝體像轉(zhuǎn)換為圖像信號并向A/D轉(zhuǎn)換電路202輸出。輸出至A/D轉(zhuǎn)換電 路202的圖像信號包含左視點(diǎn)以及右視點(diǎn)的圖像信號。
[0035] A/D轉(zhuǎn)換電路202將由攝像元件100輸出的圖像信號轉(zhuǎn)換為數(shù)字圖像信號并向存 儲(chǔ)器203輸出。圖像處理部205以存儲(chǔ)器203作為工作空間來實(shí)施各種各樣的圖像處理， 生成圖像數(shù)據(jù)。除此以外，圖像處理部205還擔(dān)當(dāng)按照所選擇的圖像格式來調(diào)整圖像數(shù)據(jù) 等圖像處理的通常功能。生成的圖像數(shù)據(jù)通過IXD驅(qū)動(dòng)電路210轉(zhuǎn)換為顯示信號，顯示在 顯示部209上。另外，記錄在安裝于存儲(chǔ)卡IF207上的存儲(chǔ)卡220中。
[0036] -系列攝像過程是通過操作部208接收用戶的操作并向控制部201輸出操作信號 而開始的。伴隨攝像過程的AF(自動(dòng)對焦）、AE(自動(dòng)曝光）等各種動(dòng)作是由控制部201控 制來進(jìn)行的。
[0037] 以下，針對攝像元件100的結(jié)構(gòu)的一個(gè)例子進(jìn)行說明。圖2是示出攝像元件100 的截面的概略圖。
[0038] 攝像元件100從被攝體側(cè)依次排列有微透鏡101、彩色濾光片102、開口掩膜103、 布線層105以及光電轉(zhuǎn)換元件108。光電轉(zhuǎn)換元件108由將入射的光轉(zhuǎn)換為電信號的光電 二極管構(gòu)成。光電轉(zhuǎn)換元件108在基板109的表面以二維方式排列有多個(gè)。
[0039] 由光電轉(zhuǎn)換元件108轉(zhuǎn)換的圖像信號、控制光電轉(zhuǎn)換元件108的控制信號等是經(jīng) 由設(shè)于布線層105的布線106進(jìn)行發(fā)送接收的。另外，具有與各光電轉(zhuǎn)換元件108 -一對應(yīng) 設(shè)置且以二維方式重復(fù)排列的開口部104的開口掩膜103與布線層105相接觸地設(shè)置。如 后所述，開口部104相對于各個(gè)對應(yīng)的光電轉(zhuǎn)換元件108偏移，嚴(yán)格地設(shè)定了相對的位置。 因具有該開口部104的開口掩膜103的作用，使得在光電轉(zhuǎn)換元件108接收的被攝體光束 中產(chǎn)生視差，在后面詳細(xì)說明。
[0040] 另一方面，在不產(chǎn)生視差的光電轉(zhuǎn)換元件108上不存在開口掩膜103。換言之，也 可以說是設(shè)有如下的開口掩膜103,該開口掩膜103所具有的開口部104不限制入射至相 應(yīng)的光電轉(zhuǎn)換元件108的被攝體光束，即使入射光束整體通過。雖然沒有產(chǎn)生視差，但由于 實(shí)質(zhì)上由布線106形成的開口 107規(guī)定了入射的被攝體光束，所以也能夠?qū)⒉季€106視為 使不產(chǎn)生視差的入射光束整體通過的開口掩膜。開口掩膜103可以分別對應(yīng)于各光電轉(zhuǎn)換 元件108獨(dú)立排列，也可以與彩色濾光片102的制造工藝同樣地相對于多個(gè)光電轉(zhuǎn)換元件 108統(tǒng)一形成。
[0041] 彩色濾光片102設(shè)于開口掩膜103上方。彩色濾光片102是與被著色為使特定波 段相對于各光電轉(zhuǎn)換元件108透過的、與光電轉(zhuǎn)換元件108的每一個(gè)一一對應(yīng)設(shè)置的濾光 片。為了輸出彩色圖像，只要排列至少兩種彼此不同的彩色濾光片即可，但為了獲取更高畫 質(zhì)的彩色圖像，最好排列3種以上的彩色濾光片。例如，可以呈網(wǎng)格狀地排列使紅色波段透 過的紅濾光片（R濾光片）、使綠色波段透過的綠濾光片（G濾光片）以及使藍(lán)色波段透過的 藍(lán)濾光片（B濾光片）。彩色濾光片不僅可以是原色RGB的組合，也可以是YCM的互補(bǔ)色濾 光片的組合。
[0042] 微透鏡101設(shè)于彩色濾光片102上方。微透鏡101是用于將入射的被攝體光束更 多地引導(dǎo)至光電轉(zhuǎn)換元件108的聚光透鏡。微透鏡101分別與各個(gè)光電轉(zhuǎn)換元件108-- 對應(yīng)地設(shè)置。優(yōu)選地，微透鏡101考慮攝影透鏡20的光瞳中心與光電轉(zhuǎn)換元件108的相對 的位置關(guān)系來偏移其光軸，以將更多的被攝體光束引導(dǎo)至光電轉(zhuǎn)換元件108。進(jìn)一步地，也 可以與開口掩膜103的開口部104的位置一起調(diào)整配置位置，以使得后述的特定的被攝體 光束更多地入射。
[0043] 如此，將與各個(gè)光電轉(zhuǎn)換元件108--對應(yīng)地設(shè)置的開口掩膜103、彩色濾光片 102以及微透鏡101的一個(gè)單位稱為像素。特別地，將設(shè)有產(chǎn)生視差的開口掩膜103的像素 稱為視差像素，將未設(shè)有產(chǎn)生視差的開口掩膜103的像素稱為無視差像素。有時(shí)也將左視 點(diǎn)的視差像素記為視差Lt像素，將右視點(diǎn)的視差像素記為視差Rt像素，將無視差像素記為 N像素。另外，有時(shí)也將左視點(diǎn)的視差圖像記為視差Lt圖像，將右視點(diǎn)的視差圖像記為視差 Rt圖像，將無視差圖像記為N圖像。例如，在攝像元件100的有效像素區(qū)域?yàn)?4mmX 16mm 左右的情況下，像素?cái)?shù)達(dá)到1200萬左右。
[0044] 此外，在集光效率、光電轉(zhuǎn)換效率較高的圖像傳感器的情況下，也可以不設(shè)置微透 鏡101。另外，在為背面照射型圖像傳感器的情況下，布線層105設(shè)于光電轉(zhuǎn)換元件108的 相反側(cè)。另外，若使開口掩膜103的開口部104帶有顏色成分，則也能夠一體地形成彩色濾 光片102和開口掩膜103。此外，在只要輸出黑白圖像信號即可的情況下，不設(shè)置彩色濾光 片 102〇
[0045] 另外，在本實(shí)施方式中，開口掩膜103和布線106分開設(shè)置，但是視差像素的開口 掩膜103的功能也可以由布線106來擔(dān)當(dāng)。即，由布線106形成規(guī)定的開口形狀，利用該開 口形狀限制入射光束，僅將特定的部分光束引導(dǎo)至光電轉(zhuǎn)換元件108。在這種情況下，優(yōu)選 使形成開口形狀的布線106位于布線層105中最靠近光電轉(zhuǎn)換元件108偵k
[0046] 另外，開口掩膜103可以由與光電轉(zhuǎn)換元件108重疊設(shè)置的防透光膜形成。在這 種情況下，開口掩膜103是例如依次層疊SiN膜和SiOj莫來作為防透光膜，再通過蝕刻去 除與開口部104相當(dāng)?shù)膮^(qū)域而形成。而且，也可以以與開口掩膜103的開口部104相當(dāng)?shù)?方式來形成光電轉(zhuǎn)換元件108本身的區(qū)域。
[0047] 接下來，針對單眼立體攝像中的模糊與視差的關(guān)系進(jìn)行說明。出于簡化說明的目 的，對后述的半