圖像處理裝置和圖像處理方法
【專利摘要】本發(fā)明提供一種圖像處理裝置和圖像處理方法，能夠減輕配置有通常像素的區(qū)域和配置有相位差像素的區(qū)域的顏色差異。圖像處理裝置具有在攝像像素的一部分位置上配置有用于進(jìn)行焦點(diǎn)檢測(cè)的相位差檢測(cè)像素的攝像元件(21)，圖像處理方法根據(jù)受到來(lái)自相位差檢測(cè)像素的串?dāng)_影響的像素(Rsum、Bsum)的像素值、和在其附近的未受到來(lái)自相位差檢測(cè)像素的串?dāng)_影響的同色像素(Rsum1～Rsum6、Bsum1～Bsum6)的像素值，估計(jì)各自的像素值的串?dāng)_差分量，根據(jù)估計(jì)出的串?dāng)_差分量來(lái)校正受到來(lái)自相位差檢測(cè)像素的串?dāng)_影響的像素(Rsum、Bsum)的像素值。
【專利說(shuō)明】圖像處理裝置和圖像處理方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種能夠減輕配置有通常像素的區(qū)域和配置有相位差像素的區(qū)域的顏色差異的圖像處理裝置和圖像處理方法。

【背景技術(shù)】
[0002]以下技術(shù)已經(jīng)實(shí)用化:在攝像元件的一部分上配置用于檢測(cè)相位差的相位差像素，從這些相位差像素中取得相位差信息，計(jì)算攝影光學(xué)系統(tǒng)的散焦量，并將其用于自動(dòng)對(duì)焦。另一方面，作為攝像元件的一般特性，公知有向相鄰像素泄漏電荷(稱為串?dāng)_(crosstalk))現(xiàn)象。攝像元件的串?dāng)_的電荷量與向像素的入射光量大致成正比，然而相位差像素與通常像素相比入射光量較少，因而相對(duì)于通常像素，串?dāng)_量減少。
[0003]因此，在拍攝了相同顏色的被攝體的情況下，在配置有通常像素的區(qū)域和配置有相位差像素的區(qū)域，顏色會(huì)不同。為了解決該問(wèn)題，提出了根據(jù)關(guān)注像素(通常像素)的周邊的相位差像素來(lái)估計(jì)串?dāng)_量并對(duì)關(guān)注像素值進(jìn)行校正的攝像裝置(例如，參照US8094232)。
[0004]在實(shí)時(shí)取景顯示時(shí)和動(dòng)態(tài)圖像記錄時(shí)等，為了高速地從攝像元件讀出圖像數(shù)據(jù)，一般對(duì)攝像元件的同色多個(gè)像素進(jìn)行加法合成。由于該加法合成，串?dāng)_的影響傳播到受到串?dāng)_影響的像素的周圍，根據(jù)周邊的像素值估計(jì)串?dāng)_量變得困難。


【發(fā)明內(nèi)容】

[0005]本發(fā)明是鑒于上述情況而作成的，本發(fā)明的目的是提供一種能夠減輕配置有通常像素的區(qū)域和配置有相位差像素的區(qū)域的顏色差異的圖像處理裝置、圖像處理方法以及圖像處理用程序。
[0006]本發(fā)明的圖像處理裝置具有:攝像元件，其在攝像像素的一部分位置上配置有用于進(jìn)行焦點(diǎn)檢測(cè)的相位差檢測(cè)像素；串?dāng)_影響量估計(jì)部，其根據(jù)受到來(lái)自上述相位差檢測(cè)像素的串?dāng)_影響的像素的像素值、和位于其附近的未受到來(lái)自上述相位差檢測(cè)像素的串?dāng)_影響的像素的像素值，來(lái)估計(jì)各自的像素值的串?dāng)_影響量；以及校正處理部，其根據(jù)由上述串?dāng)_影響量估計(jì)部估計(jì)出的串?dāng)_影響量，來(lái)校正受到來(lái)自上述相位差檢測(cè)像素的串?dāng)_影響的像素的像素值。
[0007]本發(fā)明的圖像處理裝置具有:攝像元件，其在攝像像素的一部分位置上配置有用于進(jìn)行焦點(diǎn)檢測(cè)的相位差檢測(cè)像素；第I混合部，其對(duì)配置在上述攝像元件的第I區(qū)域內(nèi)的、包含受到來(lái)自上述相位差檢測(cè)像素的串?dāng)_影響的像素在內(nèi)的多個(gè)同色像素的像素值進(jìn)行混合；第2混合部，其僅對(duì)配置在上述攝像元件的第2區(qū)域內(nèi)的、未受到來(lái)自上述相位差檢測(cè)像素的串?dāng)_影響的多個(gè)同色像素的像素值進(jìn)行混合；串?dāng)_影響量估計(jì)部，其根據(jù)各自的混合像素值，估計(jì)上述第I區(qū)域內(nèi)的混合像素值和上述第2區(qū)域內(nèi)的混合像素值的串?dāng)_影響量；以及校正處理部，其根據(jù)由上述串?dāng)_影響量估計(jì)部估計(jì)出的串?dāng)_影響量，來(lái)校正上述第I區(qū)域內(nèi)的受到來(lái)自上述相位差檢測(cè)像素的串?dāng)_影響的像素的像素值。
[0008]本發(fā)明涉及的圖像處理方法是圖像處理裝置中的圖像處理方法，所述圖像處理裝置具有攝像元件，所述攝像元件在攝像像素的一部分位置上配置有用于進(jìn)行焦點(diǎn)檢測(cè)的相位差檢測(cè)像素，所述圖像處理方法包括:估計(jì)步驟，根據(jù)受到來(lái)自上述相位差檢測(cè)像素的串?dāng)_影響的像素的像素值、和位于其附近的未受到來(lái)自上述相位差檢測(cè)像素的串?dāng)_影響的同色像素的像素值，估計(jì)各自的像素值的串?dāng)_影響量；以及校正步驟，根據(jù)上述估計(jì)出的串?dāng)_影響量，來(lái)校正受到來(lái)自上述相位差檢測(cè)像素的串?dāng)_影響的像素的像素值。
[0009]本發(fā)明提供一種能夠減輕配置有通常像素的區(qū)域和配置有相位差像素的區(qū)域的顏色差異的圖像處理裝置和圖像處理方法。

【專利附圖】

【附圖說(shuō)明】
[0010]圖1是示出本發(fā)明的一個(gè)實(shí)施方式的照相機(jī)的主要電氣結(jié)構(gòu)的框圖。
[0011]圖2A —圖2C是說(shuō)明本發(fā)明的一個(gè)實(shí)施方式的照相機(jī)中的串?dāng)_發(fā)生的曲線圖。
[0012]圖3是示出在本發(fā)明的一個(gè)實(shí)施方式的照相機(jī)的攝像元件中的相位差像素的配置區(qū)域的圖。
[0013]圖4是示出在本發(fā)明的一個(gè)實(shí)施方式的照相機(jī)的攝像元件中的、對(duì)相位差像素的配置圖案和對(duì)周邊像素的串?dāng)_影響的圖。
[0014]圖5A、圖5B是示出在本發(fā)明的一個(gè)實(shí)施方式的照相機(jī)的攝像元件中的、像素加法時(shí)的串?dāng)_傳播的圖。
[0015]圖6是示出在本發(fā)明的一個(gè)實(shí)施方式的照相機(jī)的攝像元件中的、像素加法數(shù)據(jù)和串?dāng)_估計(jì)用像素累加區(qū)域的圖。
[0016]圖7是示出在本發(fā)明的一個(gè)實(shí)施方式的照相機(jī)的攝像元件中的串?dāng)_估計(jì)用像素累加數(shù)據(jù)的圖。
[0017]圖8是示出本發(fā)明的一個(gè)實(shí)施方式的照相機(jī)的串?dāng)_校正的動(dòng)作的流程圖。

【具體實(shí)施方式】
[0018]以下，依照附圖，使用應(yīng)用了本發(fā)明的照相機(jī)來(lái)說(shuō)明優(yōu)選實(shí)施方式。本發(fā)明的優(yōu)選的一個(gè)實(shí)施方式的照相機(jī)是數(shù)字照相機(jī)，設(shè)置有攝像部，該攝像部具有攝像元件，該攝像元件在攝像像素的一部分上具有基于相位差檢測(cè)方式的焦點(diǎn)檢測(cè)用的相位差像素，通過(guò)該攝像部將被攝體像轉(zhuǎn)換成攝像數(shù)據(jù)，并且，根據(jù)來(lái)自相位差像素的輸出并通過(guò)公知的相位差檢測(cè)方式來(lái)計(jì)算散焦方向和散焦量，進(jìn)行攝影鏡頭的對(duì)焦。
[0019]并且，根據(jù)由攝像部生成的攝像數(shù)據(jù)進(jìn)行實(shí)時(shí)取景顯示，并且進(jìn)行靜態(tài)圖像拍攝或動(dòng)態(tài)圖像拍攝。此時(shí)，根據(jù)受到來(lái)自相位差像素的串?dāng)_影響的像素的像素值、和位于其附近的未受到來(lái)自相位差像素的串?dāng)_影響的同色像素的像素值，來(lái)估計(jì)各自的像素值的串?dāng)_差分量，根據(jù)該估計(jì)出的串?dāng)_差分量校正受到來(lái)自相位差像素的串?dāng)_影響的像素的像素值。使用該校正后的像素值，進(jìn)行實(shí)時(shí)取景顯示或動(dòng)態(tài)圖像拍攝等。
[0020]圖1是示出本發(fā)明的一個(gè)實(shí)施方式的照相機(jī)的主要電氣結(jié)構(gòu)的框圖。在圖1中，帶箭頭的實(shí)線表示數(shù)據(jù)流，帶箭頭的虛線表示控制信號(hào)流。在照相機(jī)內(nèi)具有:攝影鏡頭
11、光圈13、機(jī)械快門15、驅(qū)動(dòng)部17、操作部19、攝像元件21、A 一 AMP23、模擬數(shù)字轉(zhuǎn)換器(ADC) 25、攝像控制電路26、CPU (Central Processing Unit,中央處理單元)27、圖像處理部29、焦點(diǎn)檢測(cè)電路31、視頻編碼器33、總線35、DRAM(Dynamic Random Access Memory:動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)37、ROM (Read Only Memory:只讀存儲(chǔ)器)39、閃存41。
[0021]攝影鏡頭11由用于形成被攝體像的多個(gè)光學(xué)透鏡構(gòu)成，是單焦點(diǎn)鏡頭或者變焦鏡頭。在該攝影鏡頭11的光軸的后方配置有光圈13，該光圈13的開口徑是可變的，限制通過(guò)攝影鏡頭11的被攝體光束的光量。在光圈13的后方配置有機(jī)械快門15，對(duì)通過(guò)攝影鏡頭的被攝體光束的通過(guò)時(shí)間進(jìn)行控制。作為機(jī)械快門15，采用公知的焦平面快門、中心式快門等。
[0022]驅(qū)動(dòng)部17根據(jù)從CPU27輸出的控制信號(hào)，進(jìn)行攝影鏡頭11的焦點(diǎn)調(diào)節(jié)、光圈13的開口徑控制、以及機(jī)械快門15的開閉控制(快門控制)。
[0023]操作部19包括電源按鈕、釋放按鈕、再現(xiàn)按鈕、菜單按鈕等各種輸入按鈕和各種輸入鍵等操作部件，檢測(cè)這些操作部件的操作狀態(tài)，將檢測(cè)結(jié)果輸出到CPU27?？梢栽谂臄z模式撥盤或菜單畫面等中選擇靜態(tài)圖像拍攝模式和動(dòng)態(tài)圖像拍攝模式。當(dāng)選擇了動(dòng)態(tài)圖像拍攝模式時(shí)，操作釋放按鈕，則動(dòng)態(tài)圖像拍攝開始，再次操作釋放按鈕，則動(dòng)態(tài)圖像拍攝結(jié)束。另外，在操作部19上設(shè)置動(dòng)態(tài)圖像按鈕，當(dāng)操作了動(dòng)態(tài)圖像按鈕時(shí)，開始動(dòng)態(tài)圖像拍攝等，作為拍攝選擇部，當(dāng)然可以置換為其它方法。
[0024]在攝影鏡頭11的光軸上，且在機(jī)械快門15的后方，而且在通過(guò)攝影鏡頭11使被攝體像成像的位置附近配置有攝像元件21。在攝像元件21內(nèi)，在像素的一部分內(nèi)設(shè)置有用于進(jìn)行焦點(diǎn)檢測(cè)的相位差像素。并且，在攝像元件21中，構(gòu)成各像素的光電二極管以二維形式配置成矩陣狀，各光電二極管產(chǎn)生與受光量對(duì)應(yīng)的光電轉(zhuǎn)換電流，該光電轉(zhuǎn)換電流由與各光電二極管連接的電容器蓄積電荷。
[0025]在各像素的入射面?zhèn)扰渲糜邪荻帕械臑V色器。拜耳排列具有在水平方向上交替配置有R像素和G像素的行、和交替配置有G像素和B像素的行。G像素的一部分被置換為焦點(diǎn)檢測(cè)用的相位差像素。在本實(shí)施方式中，以拜耳排列作為前提，然而本發(fā)明不限定于此。也可以是蜂窩狀排列的攝像裝置或?yàn)V色器的配置周期是不規(guī)則。并且，相位差像素也不限于是G像素的一部分，配置周期和配置部位、濾色器的類別和濾色器的有無(wú)也不限定于此。
[0026]并且，攝像元件21還實(shí)現(xiàn)作為混合部的功能，該混合部在從通常像素和相位差像素中讀出信號(hào)時(shí)混合(加法處理)規(guī)定區(qū)域內(nèi)的同色像素的像素值并將其輸出。在本實(shí)施方式中，混合部的功能由攝像元件實(shí)現(xiàn)，然而也可以在后述的ADC25中對(duì)像素值進(jìn)行混合。后面使用圖3和圖4對(duì)攝像元件21的詳細(xì)結(jié)構(gòu)進(jìn)行說(shuō)明。另外，在本說(shuō)明書中，如果是基于從攝像元件21的像素輸出的模擬圖像信號(hào)的信號(hào)，則不僅包含由后述的ADC25進(jìn)行A/D轉(zhuǎn)換后的信號(hào)，而且還包含圖像信號(hào)而稱為攝像數(shù)據(jù)(圖像數(shù)據(jù))。
[0027]攝像元件21的輸出與A — AMP23連接。A — AMP23進(jìn)行從攝像元件21輸出的圖像信號(hào)的模擬增益調(diào)整。A - AMP23的輸出與ADC25連接。
[0028]ADC25是模擬數(shù)字轉(zhuǎn)換器，將由A — AMP23進(jìn)行了模擬增益調(diào)整后的圖像信號(hào)轉(zhuǎn)換成數(shù)字形式的攝像數(shù)據(jù)(圖像數(shù)據(jù))。該攝像數(shù)據(jù)包含有來(lái)自非焦點(diǎn)檢測(cè)用的通常像素的數(shù)據(jù)、和來(lái)自焦點(diǎn)檢測(cè)用的相位差像素的數(shù)據(jù)這雙方的數(shù)據(jù)。另外，如上所述，ADC25也可以實(shí)現(xiàn)作為將規(guī)定區(qū)域內(nèi)的同色像素的像素值進(jìn)行混合并輸出的混合部的功能。ADC25的輸出被輸出到總線35，攝像數(shù)據(jù)被臨時(shí)存儲(chǔ)在后述的DRAM37內(nèi)。
[0029]攝像控制電路26依照CPU27的控制命令，進(jìn)行攝像元件21的曝光開始和讀出等的控制。攝像控制電路26根據(jù)在靜態(tài)圖像拍攝時(shí)、實(shí)時(shí)取景顯示時(shí)、動(dòng)態(tài)圖像拍攝時(shí)等的驅(qū)動(dòng)模式，變更其讀出控制。例如，進(jìn)行所述的像素值的混合。即，控制成，在實(shí)時(shí)取景顯示或者動(dòng)態(tài)圖像拍攝時(shí)，由于與靜態(tài)圖像相比不需要那么多像素?cái)?shù)而在I秒鐘取得多幀圖像，因此，通過(guò)像素加法進(jìn)行像素值的混合。
[0030]與總線35連接的CPU27依照存儲(chǔ)在后述的R0M39內(nèi)的程序，控制各部和各電路等，進(jìn)行照相機(jī)的整體控制。CPU27執(zhí)行作為串?dāng)_影響量估計(jì)部的功能，該串?dāng)_影響量估計(jì)部根據(jù)受到來(lái)自相位差像素的串?dāng)_影響的像素的像素值、和位于其附近的、未受到來(lái)自相位差像素的串?dāng)_影響的同色像素的像素值，估計(jì)各自的像素值的串?dāng)_差分量。在本實(shí)施方式中，使用串?dāng)_差分量作為串?dāng)_影響量，但是，串?dāng)_影響量不限于串?dāng)_差分量，只要是與串?dāng)_的影響對(duì)應(yīng)的值就能夠進(jìn)行利用。后面使用圖2A —圖2C對(duì)串?dāng)_影響量的估計(jì)進(jìn)行說(shuō)明。
[0031]圖像處理部29經(jīng)由總線35從DRAM37輸入攝像數(shù)據(jù)，進(jìn)行各種圖像處理，生成靜態(tài)圖像或動(dòng)態(tài)圖像的記錄用圖像數(shù)據(jù)，該生成的記錄用圖像數(shù)據(jù)暫且臨時(shí)存儲(chǔ)在DRAM37內(nèi)。并且，使用從DRAM37讀出的動(dòng)態(tài)圖像的圖像數(shù)據(jù)，生成顯示用圖像數(shù)據(jù)，暫且臨時(shí)存儲(chǔ)在 DRAM37 內(nèi)。
[0032]并且，圖像處理部29針對(duì)攝像元件21內(nèi)的焦點(diǎn)檢測(cè)用像素位置處的相位差像素的數(shù)據(jù)，使用其周圍的像素?cái)?shù)據(jù)進(jìn)行插值處理等，去除串?dāng)_產(chǎn)生的影響。即，圖像處理部29實(shí)現(xiàn)作為校正處理部的功能，該校正處理部根據(jù)由串?dāng)_影響量估計(jì)部估計(jì)出的串?dāng)_影響量來(lái)校正受到來(lái)自上述相位差像素的串?dāng)_影響的像素的像素值。另外，在本實(shí)施方式中，使用串?dāng)_差分量作為串?dāng)_影響量來(lái)進(jìn)行像素值的校正。后面使用(3)式和圖8的S5、Sll來(lái)對(duì)該串?dāng)_校正進(jìn)行說(shuō)明。
[0033]焦點(diǎn)檢測(cè)電路31取得臨時(shí)存儲(chǔ)在DRAM37內(nèi)的來(lái)自相位差像素的數(shù)據(jù)，根據(jù)該數(shù)據(jù)，計(jì)算基于公知的相位差A(yù)F的散焦方向和散焦量。CPU27根據(jù)由焦點(diǎn)檢測(cè)電路31計(jì)算出的散焦方向和散焦量，通過(guò)驅(qū)動(dòng)部17進(jìn)行攝影鏡頭11的對(duì)焦。
[0034]視頻編碼器33讀出由圖像處理部29生成并臨時(shí)存儲(chǔ)在DRAM37內(nèi)的顯示用圖像數(shù)據(jù)，并將其輸出到LCD/TV43。LCD是液晶顯示部，在照相機(jī)的背面等用于實(shí)時(shí)取景顯示和已記錄圖像的再現(xiàn)顯示等。并且，TV是外部的電視裝置，用于已記錄圖像的再現(xiàn)顯示等。
[0035]DRAM37是可電改寫的存儲(chǔ)器，如上所述，進(jìn)行圖像數(shù)據(jù)、記錄用圖像數(shù)據(jù)、顯示用圖像數(shù)據(jù)等的臨時(shí)存儲(chǔ)。并且，CPU27還進(jìn)行在進(jìn)行照相機(jī)的控制時(shí)的各種數(shù)據(jù)的臨時(shí)存儲(chǔ)。作為圖像數(shù)據(jù)的臨時(shí)存儲(chǔ)用，可以使用SDRAM (Synchronous Dynamic Random AccessMemory,同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)。后述的串?dāng)_校正是使用臨時(shí)存儲(chǔ)的圖像數(shù)據(jù)進(jìn)行的。
[0036]R0M39是掩模ROM或閃存等的非易失性存儲(chǔ)器。在R0M39內(nèi)，除了在前述的CPU27中使用的程序以外，還存儲(chǔ)有照相機(jī)的調(diào)整值等各種數(shù)據(jù)。閃存41可內(nèi)置或裝填在照相機(jī)內(nèi)，是圖像數(shù)據(jù)記錄用的存儲(chǔ)介質(zhì)。
[0037]下面，使用圖2A —圖2C對(duì)本實(shí)施方式的照相機(jī)的攝像元件21中的串?dāng)_進(jìn)行說(shuō)明。圖2A中，根據(jù)入射光量，示出通常像素內(nèi)的G像素(Gnor)和與G像素相鄰的R像素或B像素(稱為R/B)的像素值的變化。在到達(dá)入射光量Il之前，無(wú)論G像素還是R/B像素都輸出與入射光量成正比的像素值。不過(guò)，由于G像素與R/B像素相比感光度高，因而在入射光量Il達(dá)到飽和狀態(tài)。
[0038]在圖2A中，當(dāng)與入射光量Il相比光量增加時(shí)，由于G像素(Gnor)達(dá)到飽和狀態(tài)，因而在G像素(Gnor)中產(chǎn)生的電荷向周圍的R/B像素移動(dòng)。因此，以C點(diǎn)為界，R/B像素的像素值為R/Bcr。S卩，由虛線表示的R/B線和R/Bcr線夾住的區(qū)域(圖中，陰影區(qū)域)相當(dāng)于由串?dāng)_引起的像素值的變化量。
[0039]圖2B表示在除了通常像素的G像素和R/B像素以外、還在通常像素的周圍配置了相位差像素(Gph)(圖中由斜字體表示)的情況下的入射光量和像素值的變化。相位差像素(Gph)(圖中由斜字體表示)配置有覆蓋像素的一部分的遮光板，用于取得相位差檢測(cè)。因此，與通常像素的G像素相比較，感光度變低，即使通常像素的入射光量達(dá)到入射光量Il并達(dá)到飽和水平，相位差像素(Gph)(圖中由斜字體表示)的像素值也達(dá)不到飽和水平，而是在達(dá)到入射光量12后，達(dá)到飽和水平。
[0040]并且，在圖2B中，線R/Bnor表示在僅通常像素與R/B像素的周圍相鄰的情況下的由串?dāng)_引起的變化量，線R/Bph表示在相位差像素也與R/B像素的周圍相鄰的情況下的由串?dāng)_引起的變化量。由線R/Bnor和線R/Bph夾住的區(qū)域(圖中，陰影區(qū)域)表示串?dāng)_的差分量。另外，線R/B的延長(zhǎng)線上的虛線表示在沒(méi)有串?dāng)_影響的情況下的R/B像素的像素值。
[0041]圖2C是僅取出了圖2B中的串?dāng)_差分量的部分的圖。在僅通常像素與R/B像素的周圍相鄰的情況下，如上所述，是R/Bnor,串?dāng)_量大。另一方面，在R/B像素的周圍有相位差像素的情況下，是R/Bph，串?dāng)_量小。在入射光量12中，R/Bnor的像素值是D’，R/Bph的像素值是D。
[0042]下面，使用圖3對(duì)相位差像素Gph(或者Gb)的配置區(qū)域進(jìn)行說(shuō)明。如上所述，在攝像元件21的攝像面上排列有由G像素、R像素、B像素構(gòu)成的通常像素和被置換到G像素的位置上的相位差像素Gph(或者Gb)。其中，通常像素被配置在攝像元件21的有效像素區(qū)域21a的整個(gè)面上，而相位差像素Gph (或者Gb)如圖3所示僅被配置在區(qū)域21b?21d內(nèi)。另外，關(guān)于相位差像素Gph (或者Gb)的配置，除了圖3所示的橫長(zhǎng)地配置區(qū)域以外，還可以呈矩陣狀地配置矩形或圓形的小區(qū)域等，根據(jù)測(cè)距區(qū)域的配置適當(dāng)決定即可。
[0043]下面，使用圖4來(lái)說(shuō)明區(qū)域21b?21d內(nèi)的相位差像素的配置圖案和對(duì)周邊像素的串?dāng)_影響。在圖4中，Gr、Gb分別表示與R像素和B像素相同行狀的G像素。這些R、Gr、Gb、B像素是攝像用像素。
[0044]并且，在圖4中，由斜字體表示的Gb是相位差像素，被配置在Gb像素的位置上，左右的任意一方開口，左側(cè)、右側(cè)中的任一方的光束入射到G像素。在圖4所示的例子中，相位差像素被配置在(x3, y3)、(x7, y3)、(xll, y3)、(x3, y7)、(x7, y7)、(xll, y7)、..?的位置。另外，假定左右任意一方開口而對(duì)相位差像素的配置進(jìn)行了說(shuō)明，然而，當(dāng)然也可以是上下任意一方開口，或在斜方向上開口等，除了圖4所示的配置以外，還可以適當(dāng)變更。
[0045]并且，在圖4中，實(shí)施了下線的S像素和E像素表示受到來(lái)自相位差像素Gb (圖中由斜字體表示)的串?dāng)_影響的像素。在圖4所示的例子中，是在相位差像素(Gb) (x3，y3)(圖中Gb由斜字體表示)的周圍的(x3, y2) (x3, y4)的E像素以及(x2, y3) (x4, y3)的B像素等。
[0046]下面，使用圖5A和圖5B來(lái)說(shuō)明動(dòng)態(tài)圖像用的像素加法和由像素加法引起的串?dāng)_傳播。在動(dòng)態(tài)圖像拍攝時(shí)或?qū)崟r(shí)取景顯示時(shí)，使用向同色像素相加后得到的數(shù)據(jù)，進(jìn)行顯示和圖像數(shù)據(jù)的記錄。該加法處理是將圖5A所示的Rl?R4像素(相當(dāng)于圖4的(x3，y2)(x5, y2) (x3, y4) (x5, y4))相加，作為圖5B所示的R’像素。同樣，將Grl?Gr4像素(相當(dāng)于圖4的(x4, y2) (x6, y2) (x4, y4) (x6, y4))相加,作為圖5B所示的Gr’像素。
[0047]并且，將Gbl ?Gb4 像素(相當(dāng)于圖 4 的(x3,y3) (x5,y3) (x3,y5) (x5,y5))相加，作為圖5B所示的Gb’像素。同樣，將BI?B4像素(相當(dāng)于圖4的(x4，y3) (x6, y3) (x4,y5) (x6，y5))相加，作為圖5B所示的B’像素。
[0048]另外，如上所述，同色像素的加法處理可以在攝像元件21內(nèi)通過(guò)模擬處理進(jìn)行，也可以在從攝像元件21讀出之后以模擬形式進(jìn)行加法處理，或者以數(shù)字形式進(jìn)行加法處理。并且，在本實(shí)施方式中，對(duì)同色4個(gè)像素進(jìn)行加法處理并作為I個(gè)像素(2 X 2像素)，然而不限于此，進(jìn)行加法的像素?cái)?shù)可以適當(dāng)變更。
[0049]這樣，當(dāng)進(jìn)行了動(dòng)態(tài)圖像用的像素加法處理時(shí)，串?dāng)_的影響傳播。例如，在Rl?R4像素內(nèi)，Rl像素和S3像素受到串?dāng)_影響，因此，對(duì)Rl?R4像素進(jìn)行加法處理得到的加法R’像素受到串?dāng)_影響。同樣，對(duì)BI?B4像素進(jìn)行加法處理得到的加法B’像素也受到串?dāng)_影響。
[0050]圖6示出圖5A和圖5B所示的加法處理后的加法R’像素、加法B’像素、加法Gr’像素、加法Gb’像素的有效像素區(qū)域21a內(nèi)的配置。粗線表示的區(qū)域21b被分為多個(gè)累加區(qū)域21bL...。并且，在區(qū)域21b內(nèi)存在相位差像素，在其外側(cè)不存在相位差像素。如使用圖5A和圖5B所說(shuō)明那樣，在存在相位差像素的區(qū)域21b?21d中，由相位差像素引起的串?dāng)_由于進(jìn)行加法處理而傳播。另一方面，如在圖2A —圖2C中所說(shuō)明那樣，由于在相位差像素周圍和其以外，串?dāng)_影響程度不同，因而區(qū)域21b?21d內(nèi)的串?dāng)_影響與外側(cè)區(qū)域相比較小。因此，在相位差像素的區(qū)域21b?21d和其外側(cè)的區(qū)域中，顏色會(huì)不同。
[0051]因此，在本實(shí)施方式中，使用不存在相位差像素的區(qū)域內(nèi)的加法像素值(加法R’值、加法B’值)對(duì)存在相位差像素的區(qū)域內(nèi)的加法像素值(加法s’值、加法S’值)進(jìn)行校正運(yùn)算處理。在校正運(yùn)算處理時(shí)，以累加區(qū)域?yàn)閱挝贿M(jìn)行校正系數(shù)的計(jì)算，按照加法像素進(jìn)行校正處理。累加區(qū)域在圖6所示的例子中以6X8加法像素為單位(圖中的粗線框的范圍)，然而不限于此，加法像素的數(shù)量可以合適變更。
[0052]如圖7所示，在校正運(yùn)算處理中，使用受到來(lái)自相位差像素的串?dāng)_影響的加法S’值的累加值Ssum、和未受到來(lái)自相位差像素的串?dāng)_影響的加法R’值的累加值Rsuml?Rsum6來(lái)計(jì)算校正系數(shù)，使用計(jì)算出的校正系數(shù)來(lái)校正累加區(qū)域內(nèi)的加法E’值。并且，同樣，使用受到來(lái)自相位差像素的串?dāng)_影響的加法S’值的累加值S.、和未受到來(lái)自相位差像素的串?dāng)_影響的加法B’值的累加值Bsuml?Bsum6來(lái)計(jì)算校正系數(shù)，使用計(jì)算出的校正系數(shù)來(lái)校正累加區(qū)域內(nèi)的加法S’值。另外，累加值Ssum是累加區(qū)域內(nèi)的加法R’值的總和，累加值Ssum是累加區(qū)域內(nèi)的加法B’值的總和。
[0053]使用圖8所示的流程圖對(duì)該串?dāng)_校正處理進(jìn)行說(shuō)明。另外，該流程圖是CPU27依據(jù)存儲(chǔ)在R0M39內(nèi)的程序控制圖像處理部29、DRAM37等來(lái)執(zhí)行的。
[0054]在進(jìn)入串?dāng)_校正處理流程后，首先，計(jì)算要關(guān)注的Ssum的期待值(SI)。這里，使用在成為校正對(duì)象的Ssim的附近的6個(gè)Rsum,計(jì)算Ssim的期待值。具體地說(shuō)，計(jì)算與累加值Esum相鄰且關(guān)于Rsum位于對(duì)稱位置的累加值的組合，即，計(jì)算Rsuml與RSUffl6、Rsim2與R_5、Rsim3與Rsum4 之差的絕對(duì)值(I RsuilI — Rsum61、I Rsum2 — Rsum51、I Rsum3 — RSUm41)，檢測(cè)成為最小的 Rsum 的組合，將成為該最小的組合的平均值設(shè)定為Ssim的期待值。例如，在成為最小的組合是Rsiml和Rsun6的情況下，根據(jù)下述(I)式計(jì)算Rsum的期待值。
[0055]Esum 期待值=Average (Rsuml+Rsum6)...(I)
[0056]在計(jì)算出Rsum的期待值后，接下來(lái)，計(jì)算串?dāng)_校正系數(shù)Λ Vc (S3)。根據(jù)在步驟SI中計(jì)算出的Esum的期待值與作為校正對(duì)象的Esum之比來(lái)計(jì)算串?dāng)_校正系數(shù)。即，根據(jù)下述
(2)式計(jì)算串?dāng)_校正系數(shù)AVc。該串?dāng)_校正系數(shù)AVc相當(dāng)于串?dāng)_差分量，由CPU27計(jì)算。
[0057]AVc = Rsum 期待值 /Esum...⑵
[0058]在計(jì)算出串?dāng)_校正系數(shù)后,接下來(lái),使用串?dāng)_校正系數(shù)校正R像素(S5)。這里,使用同一串?dāng)_校正系數(shù)AVc校正同一累加區(qū)域(區(qū)域21b?21d)內(nèi)的R像素(加法R’值)。即，根據(jù)下述(3)式計(jì)算校正后的R像素值。通過(guò)將該串?dāng)_校正系數(shù)AVc乘以R像素值，可以進(jìn)行受到串?dāng)_影響的像素值的校正。另外，通過(guò)圖像處理部29對(duì)各個(gè)像素進(jìn)行該乘法處理。
[0059]R’(校正后)=R’(校正前)XAVc...(3)
[0060]在使用串?dāng)_校正系數(shù)校正了 R’像素后，接下來(lái)，對(duì)B’像素進(jìn)行上述的步驟SI?S5的處理(S7?Sll)。這里，在步驟SI?S5中，僅是將Rsum置換為Bsum并實(shí)施相同的處理，因而省略詳細(xì)說(shuō)明。
[0061]在步驟Sll中，使用串?dāng)_校正系數(shù)校正了 B像素后，接下來(lái)，判定是否全部累加區(qū)域的校正處理已經(jīng)結(jié)束(S13)。在串?dāng)_校正中，以累加區(qū)域(圖6的粗線框的范圍)為單位計(jì)算串?dāng)_校正系數(shù)，使用該串?dāng)_校正系數(shù)對(duì)加法R’值和加法值B’值進(jìn)行校正。在該步驟中，判定是否針對(duì)全部累加區(qū)域校正處理結(jié)束。
[0062]步驟S13中的判定結(jié)果為針對(duì)全部累加區(qū)域校正處理未結(jié)束的情況下，設(shè)定下一累加區(qū)域，回到步驟SI，重復(fù)上述的校正處理。另一方面，在針對(duì)全部累加區(qū)域校正處理結(jié)束的情況下，結(jié)束串?dāng)_校正處理。
[0063]如以上說(shuō)明那樣，在本發(fā)明的一個(gè)實(shí)施方式中，攝像元件21在攝像像素的一部分位置上配置有用于進(jìn)行焦點(diǎn)檢測(cè)的相位差像素(例如，圖5A的Gb (圖中由斜字體表示))，根據(jù)受到來(lái)自相位差像素的串?dāng)_影響的像素(例如，圖5A的E、S，圖7的Esum、SsJ的像素值、和位于其附近的未受到來(lái)自相位差像素的串?dāng)_影響的同色像素(例如，圖7的RSUffl、BsJ的像素值，來(lái)估計(jì)各自的像素值的串?dāng)_影響量(例如，圖2B的D與D’的差分(或者R/Bnor與R/Bph的差分量)、在圖像處理部29中執(zhí)行的圖8的S3、S9)，根據(jù)估計(jì)出的串?dāng)_影響量來(lái)校正受到來(lái)自相位差像素的串?dāng)_影響的像素的像素值(例如，圖8的S5、Sll)。由于能夠校正相位差像素的串?dāng)_，因而可以減輕配置有通常像素的區(qū)域和配置有相位差像素的區(qū)域的顏色差異。
[0064]并且，在本發(fā)明的一個(gè)實(shí)施方式中，具有混合部(例如，攝像元件21或者ADC25)，在受到來(lái)自相位差像素的串?dāng)_影響的像素存在于附近的情況下，該混合部對(duì)配置在規(guī)定區(qū)域內(nèi)的、包含受到來(lái)自相位差像素的串?dāng)_影響的像素在內(nèi)的多個(gè)同色像素的像素值進(jìn)行混合(參照?qǐng)D5A、圖5B)。關(guān)于串?dāng)_影響量的估計(jì)，根據(jù)混合部的輸出像素值和位于其附近的未受到串?dāng)_影響的同色像素的像素值，來(lái)估計(jì)串?dāng)_影響量(參照?qǐng)D7、圖8)。因此，即使在具有密集配置有相位差像素的區(qū)域、和稀疏配置或完全未配置相位差像素的區(qū)域的情況下，也可以減少由串?dāng)_引起的畫質(zhì)劣化。
[0065]并且，在本發(fā)明的一個(gè)實(shí)施方式中，向混合部輸入的輸入像素值是在攝像元件21內(nèi)將多個(gè)同色像素的像素值進(jìn)行混合而得到的像素值。因此，在動(dòng)態(tài)圖像或?qū)崟r(shí)取景用的像素混合模式下取得的圖像中，可以防止由串?dāng)_引起的畫質(zhì)劣化。
[0066]并且，在本發(fā)明的一個(gè)實(shí)施方式中，具有--第I混合部(例如，對(duì)圖7的區(qū)域21b的像素進(jìn)行混合的ADC25或者圖像處理部29)，其對(duì)配置在攝像元件21的第I區(qū)域內(nèi)的、包含受到來(lái)自相位差像素的串?dāng)_影響的像素在內(nèi)的多個(gè)同色像素的像素值進(jìn)行混合；第2混合部(例如，對(duì)圖?的區(qū)域21b的外側(cè)的像素進(jìn)行混合的ADC25或者圖像處理部29)，其僅對(duì)配置在攝像元件21的第2區(qū)域內(nèi)的、未受到來(lái)自相位差像素的串?dāng)_影響的多個(gè)同色像素的像素值進(jìn)行混合；串?dāng)_影響量估計(jì)部(例如，圖2B的D與D’的差分(或者R/Bnor與R/Bph的差分量)，在圖像處理部29中執(zhí)行的圖8的S3、S9))，其根據(jù)各自的混合像素值，估計(jì)第I區(qū)域內(nèi)的混合像素值和第2區(qū)域內(nèi)的混合像素值的串?dāng)_影響量；以及校正處理部(例如，由CPU27執(zhí)行的圖8的S5、S11)，其根據(jù)由串?dāng)_影響量估計(jì)部估計(jì)出的串?dāng)_影響量來(lái)校正第I區(qū)域內(nèi)的受到來(lái)自相位差像素的串?dāng)_影響的像素的像素值。因此，即使在具有密集配置有相位差像素的第I區(qū)域、和稀疏配置或完全未配置相位差像素的第2區(qū)域的情況下，也可以減少由串?dāng)_引起的畫質(zhì)劣化。
[0067]并且，在本發(fā)明的一個(gè)實(shí)施方式中，第I區(qū)域(例如，圖7的區(qū)域21b的內(nèi)側(cè))被設(shè)定為，與至少I個(gè)以上的第2區(qū)域(例如，圖7的區(qū)域21b的外側(cè))相鄰。因此，可以高精度地估計(jì)串?dāng)_量，可以減少畫質(zhì)劣化。
[0068]并且，在本發(fā)明的一個(gè)實(shí)施方式中，校正處理部(例如，由CPU27執(zhí)行的圖8的S5、SiD根據(jù)估計(jì)出的串?dāng)_影響量，對(duì)成為校正對(duì)象的全部像素的像素值應(yīng)用同一校正(例如，在同一累加區(qū)域內(nèi)，使用同一串?dāng)_校正系數(shù)AVc)。由于對(duì)成為校正對(duì)象的全部像素進(jìn)行校正，因而可以減少畫面整體的畫質(zhì)的劣化。
[0069]另外，在本發(fā)明的一個(gè)實(shí)施方式中，如使用圖7所說(shuō)明那樣，對(duì)來(lái)自攝像元件的像素值進(jìn)行混合，對(duì)該混合后的像素值進(jìn)行串?dāng)_校正。然而，不限于此，當(dāng)然也可以不進(jìn)行混合而按各像素進(jìn)行串?dāng)_校正。通過(guò)對(duì)像素值進(jìn)行混合，如實(shí)時(shí)取景或動(dòng)態(tài)圖像記錄那樣在圖像高速更新的情況下，可以迅速地進(jìn)行串?dāng)_校正。另一方面，通過(guò)不進(jìn)行混合而按各像素進(jìn)行串?dāng)_校正，即使如靜態(tài)圖像那樣像素量較多，也可以得到高畫質(zhì)的圖像。
[0070]并且，在本發(fā)明的一個(gè)實(shí)施方式中，在進(jìn)行串?dāng)_校正運(yùn)算時(shí)，如式(2)所示，根據(jù)Rsum期待值與Rsim之比求出串?dāng)_校正系數(shù)。然而，不限于比，也可以根據(jù)圖2B的D與D’的差分值，即根據(jù)受到通常像素的串?dāng)_影響的R/B像素值、和受到相位差像素的串?dāng)_影響的R/B像素值的差分值等來(lái)進(jìn)行串?dāng)_校正運(yùn)算。
[0071]并且，在本發(fā)明的一個(gè)實(shí)施方式中，作為進(jìn)行圖像處理的設(shè)備，使用數(shù)字照相機(jī)作了說(shuō)明，然而作為照相機(jī)，可以是數(shù)字單反照相機(jī)、無(wú)反射鏡照相機(jī)、小型數(shù)字照相機(jī)，也可以是攝像機(jī)、攝影機(jī)那樣的動(dòng)態(tài)圖像用的照相機(jī)，而且可以是內(nèi)置于便攜電話、智能電話或便攜信息終端(PDA:Personal Digital Assist,個(gè)人數(shù)字助理)、游戲設(shè)備等中的照相機(jī)。無(wú)論哪種，只要是使用了在攝像像素的一部分位置上配置有用于進(jìn)行焦點(diǎn)檢測(cè)的相位差像素的攝像元件的設(shè)備，就可以應(yīng)用本發(fā)明。
[0072]并且，關(guān)于權(quán)利要求、說(shuō)明書和附圖中的動(dòng)作流程，為了方便起見，使用“首先”、“接下來(lái)”等表現(xiàn)順序的語(yǔ)言作了說(shuō)明，但在沒(méi)有特別進(jìn)行說(shuō)明的場(chǎng)所，不是指必須按該順序進(jìn)行實(shí)施。
[0073]本發(fā)明并不限定為上述實(shí)施方式，在實(shí)施階段能夠在不脫離其宗旨的范圍內(nèi)對(duì)結(jié)構(gòu)要素進(jìn)行變形并具體化。此外，能夠通過(guò)上述實(shí)施方式公開的多個(gè)結(jié)構(gòu)要素的適當(dāng)組合形成各種發(fā)明。例如，也可以刪除實(shí)施方式所示的全部結(jié)構(gòu)要素中的若干結(jié)構(gòu)要素。并且，也可適當(dāng)組合不同實(shí)施方式的結(jié)構(gòu)要素。
【權(quán)利要求】
1.一種圖像處理裝置，所述圖像處理裝置具有: 攝像元件，其在攝像像素的一部分位置上配置有用于進(jìn)行焦點(diǎn)檢測(cè)的相位差檢測(cè)像素； 串?dāng)_影響量估計(jì)部，其根據(jù)受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_的影響的像素的像素值、和位于受到所述影響的像素附近的未受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的像素的像素值，來(lái)估計(jì)各自的像素值的串?dāng)_影響量；以及 校正處理部，其根據(jù)由所述串?dāng)_影響量估計(jì)部估計(jì)出的串?dāng)_影響量，來(lái)校正受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的像素的像素值。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述圖像處理裝置還具有混合部，在受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的像素存在于未受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的像素附近的情況下，所述混合部對(duì)配置在規(guī)定的區(qū)域內(nèi)的、包含受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的像素在內(nèi)的多個(gè)同色像素的像素值進(jìn)行混合， 所述串?dāng)_影響量估計(jì)部根據(jù)所述混合部的輸出像素值和位于受到所述影響的像素附近的未受到串?dāng)_影響的同色像素的像素值，估計(jì)所述串?dāng)_影響量。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中， 向所述混合部輸入的輸入像素值是在所述攝像元件內(nèi)將多個(gè)同色像素的像素值進(jìn)行混合而得到的像素值。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述校正處理部根據(jù)由所述串?dāng)_影響量估計(jì)部估計(jì)出的串?dāng)_影響量，對(duì)成為校正對(duì)象的全部像素的像素值應(yīng)用同一校正。
5.一種圖像處理裝置，所述圖像處理裝置具有: 攝像元件，其在攝像像素的一部分位置上配置有用于進(jìn)行焦點(diǎn)檢測(cè)的相位差檢測(cè)像素； 第I混合部，其對(duì)配置在所述攝像元件的第I區(qū)域內(nèi)的、包含受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的像素在內(nèi)的多個(gè)同色像素的像素值進(jìn)行混合； 第2混合部，其僅對(duì)配置在所述攝像元件的第2區(qū)域內(nèi)的、未受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的多個(gè)同色像素的像素值進(jìn)行混合； 串?dāng)_影響量估計(jì)部，其根據(jù)各自的混合像素值，估計(jì)所述第I區(qū)域內(nèi)的混合像素值和所述第2區(qū)域內(nèi)的混合像素值的串?dāng)_影響量；以及 校正處理部，其根據(jù)由所述串?dāng)_影響量估計(jì)部估計(jì)出的串?dāng)_影響量，校正所述第I區(qū)域內(nèi)的受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的像素的像素值。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中， 所述第I區(qū)域被設(shè)定為與至少I個(gè)以上的第2區(qū)域相鄰。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中， 向所述第I混合部和第2混合部輸入的輸入像素值是在所述攝像元件內(nèi)將多個(gè)同色像素的像素值進(jìn)行混合而得到的像素值。
8.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中， 所述校正處理部根據(jù)由所述串?dāng)_影響量估計(jì)部估計(jì)出的串?dāng)_影響量，對(duì)成為校正對(duì)象的全部像素的像素值應(yīng)用同一校正。
9.一種圖像處理裝置中的圖像處理方法，所述圖像處理裝置具有攝像元件，所述攝像元件在攝像像素的一部分位置上配置有用于進(jìn)行焦點(diǎn)檢測(cè)的相位差檢測(cè)像素，所述圖像處理方法包括: 估計(jì)步驟，根據(jù)受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_的影響的像素的像素值、和位于受到所述影響的像素附近的未受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的同色像素的像素值，來(lái)估計(jì)各自的像素值的串?dāng)_影響量；以及 校正步驟，根據(jù)所估計(jì)出的串?dāng)_影響量校正受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的像素的像素值。
10.根據(jù)權(quán)利要求9所述的圖像處理方法，其中， 所述圖像處理方法還具有混合步驟，在該混合步驟中，在受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的像素存在于未受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的像素附近的情況下，對(duì)配置在規(guī)定的區(qū)域內(nèi)的、包含受到來(lái)自所述相位差檢測(cè)像素的串?dāng)_影響的像素在內(nèi)的多個(gè)同色像素的像素值進(jìn)行混合， 在所述估計(jì)步驟中，根據(jù)所述混合步驟中的輸出像素值和位于受到所述影響的像素附近的未受到串?dāng)_影響的同色像素的像素值，估計(jì)所述串?dāng)_影響量。
【文檔編號(hào)】H04N9/04GK104184937SQ201410207068
【公開日】2014年12月3日 申請(qǐng)日期:2014年5月16日 優(yōu)先權(quán)日:2013年5月21日
【發(fā)明者】豐田哲也 申請(qǐng)人:奧林巴斯株式會(huì)社