攝像裝置及信號校正方法
【專利摘要】具有包括攝像用像素單元(30)和焦點檢測用像素單元(31R、31L)的對的攝像元件5的數(shù)碼相機(jī)的數(shù)字信號處理部(17)判定在由攝像元件5拍攝而獲得的攝像圖像信號中有無受光斑或者重影的至少一方的影響的區(qū)域，在判定為存在該區(qū)域時，對攝像圖像信號所含的全部焦點檢測用像素單元的輸出信號進(jìn)行以下處理：通過使用了攝像圖像信號所含的位于焦點檢測用像素單元周圍的攝像用前像素單元的輸出信號的信號插值對該輸出信號進(jìn)行校正。
【專利說明】攝像裝置及信號校正方法

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及攝像裝置及信號校正方法。

【背景技術(shù)】
[0002]近年來，伴隨著CCD (Charge Coupled Device)圖像傳感器、CMOS (ComplementaryMetal Oxide Semiconductor)圖像傳感器等固體攝像元件的高分辨率化,數(shù)碼相機(jī)、數(shù)字?jǐn)z像機(jī)、便攜電話機(jī)、PDA(Personal Digital Assistant,便攜信息終端)等具有攝影功能的信息設(shè)備的需要劇增。另外，將具有以上那樣的攝像功能的信息設(shè)備稱為攝像裝置。
[0003]另外，在對至主要的被攝體的距離進(jìn)行檢測而將焦點對準(zhǔn)該被攝體的對焦控制方法中，有對比度AF (Auto Focus,自動對焦)方式和相位差A(yù)F方式。與對比度AF方式相比，由于相位差A(yù)F方式能夠高速、高精度地進(jìn)行對焦位置的檢測，所以在各種攝像裝置中廣泛米用。
[0004]在通過相位差A(yù)F方式進(jìn)行對焦控制的攝像裝置中搭載的固體攝像元件中，例如，使用在攝像區(qū)域的整個面上離散地設(shè)置了遮光膜開口彼此向相反方向偏心的焦點檢測用的像素單元的對的元件(參照專利文獻(xiàn)I)。
[0005]該焦點檢測用的像素單元由于遮光膜開口的面積小于其他的通常的像素單元，所以將其輸出信號用作攝像圖像信號還不夠。因此，需要校正焦點檢測用的像素單元的輸出信號。
[0006]專利文獻(xiàn)I公開了如下方法:根據(jù)焦點檢測用的像素單元周圍的通常的像素單元的輸出信號的偏差，選擇并執(zhí)行插值校正處理和增益校正處理，該插值校正處理對焦點檢測用的像素單元的輸出信號使用其周圍的通常的像素單元的輸出信號進(jìn)行插值生成，該增益校正處理將焦點檢測用的像素單元的輸出信號進(jìn)行增益放大而校正。
[0007]在專利文獻(xiàn)I中記載的攝像裝置中，在攝像范圍內(nèi)或其附近有強(qiáng)的光源的情況下，由于構(gòu)成光學(xué)系統(tǒng)的透鏡的表面或固體攝像元件的芯片表面等的反射而產(chǎn)生重影或光斑。并且，若產(chǎn)生重影或光斑的光入射到焦點檢測用的像素單元，則不能進(jìn)行高精度的散焦量的計算，即不能進(jìn)行聚焦控制。
[0008]作為防止由產(chǎn)生這種重影或光斑的光導(dǎo)致相位差A(yù)F精度降低的技術(shù)，已知有專利文獻(xiàn)2、3中記載的技術(shù)。
[0009]專利文獻(xiàn)2公開了如下方法:判定有無產(chǎn)生重影或光斑，在判定為產(chǎn)生了重影或光斑時，校正焦點檢測用的像素單元的輸出信號，提高相位差A(yù)F精度。
[0010]專利文獻(xiàn)3公開了如下方法:從固體攝像元件的輸出檢測攝影光源的位置以及光量，根據(jù)該攝影光源的位置以及光量的信息和存儲部中預(yù)先存儲的與攝影光源的位置對應(yīng)的產(chǎn)生重影或光斑的光的信息，算出校正值，并使用該校正值對與從固體攝像元件輸出的被攝體像有關(guān)的光量分布進(jìn)行校正，從而提聞相位差A(yù)F精度。
[0011]專利文獻(xiàn)1:日本特開2010-62640號公報
[0012]專利文獻(xiàn)2:日本特開2008-242333號公報
[0013]專利文獻(xiàn)3:日本特開2006-184321號公報


【發(fā)明內(nèi)容】

[0014]發(fā)明要解決的課題
[0015]上述的增益校正處理是，將焦點檢測用的像素單元的輸出信號乘以用于縮小焦點檢測用的像素單元的靈敏度和位于其周圍的通常的像素單元的靈敏度之差的增益來進(jìn)行校正。
[0016]因此，若焦點檢測用的像素單元的靈敏度和位于其周圍的通常的像素單元的靈敏度之差大，則相應(yīng)地需要將焦點檢測用的像素單元的輸出信號乘以大的增益。對焦點檢測用的像素單元的輸出信號乘以大的增益時，由于該輸出信號所含的噪聲也增加，所以校正誤差變大。
[0017]在產(chǎn)生了重影或光斑的情況下，在產(chǎn)生了重影或光斑的區(qū)域中，與沒有產(chǎn)生重影或光斑的區(qū)域相比，焦點檢測用的像素單元的靈敏度和通常的像素單元的靈敏度之差變大。因此，例如，若對全部焦點檢測用的像素單元進(jìn)行增益校正處理，則在圖像整體中校正誤差大的區(qū)域和少的區(qū)域混合存在，存在畫質(zhì)降低的可能性。
[0018]S卩，在產(chǎn)生了重影或光斑的情況下，如何減小產(chǎn)生了重影或光斑的區(qū)域中的校正誤差和沒有產(chǎn)生重影或光斑的區(qū)域中的校正誤差之差在畫質(zhì)提高方面變得重要。
[0019]專利文獻(xiàn)I是根據(jù)焦點檢測用的像素單元周圍的通常的像素單元的輸出信號的偏差而決定校正方法的技術(shù)，并沒有考慮在產(chǎn)生了重影或光斑的情況下的畫質(zhì)降低的改盡口 ο
[0020]專利文獻(xiàn)2、3是根據(jù)有無重影或光斑而校正焦點檢測用的像素單元的輸出信號本身的技術(shù)，但僅僅是為了相位差A(yù)F而進(jìn)行輸出信號的校正，并沒有公開在將焦點檢測用的像素單元的輸出信號用作攝像圖像信號的情況下如何進(jìn)行處理。
[0021]本發(fā)明是鑒于上述情況而作出的，目的在于提供即使是在產(chǎn)生重影或光斑的情況下也不會降低由包括焦點檢測用的像素單元和攝像用的像素單元的攝像元件拍攝而獲得的攝像圖像的質(zhì)量的攝像裝置及信號校正方法。
[0022]用于解決課題的手段
[0023]本發(fā)明的攝像裝置，具有攝像元件，該攝像元件包括攝像用的多個第一像素單元和由對通過了攝影透鏡的不同的光瞳區(qū)域的光進(jìn)行受光的多種焦點檢測用的第二像素單元構(gòu)成的多個對，上述攝像裝置包括:判定部，使用由上述攝像元件拍攝而獲得的攝像圖像信號，判定上述攝像圖像信號是否受光斑或者重影的至少一方的影響；校正處理部，對上述攝像圖像信號所含的上述第二像素單元的輸出信號，進(jìn)行插值校正處理和增益校正處理的任一個，所述插值校正處理通過使用了上述攝像圖像信號所含的位于上述第二像素單元周圍的多個上述第一像素單元的輸出信號的信號插值來校正該第二像素單元的輸出信號，所述增益校正處理將該第二像素單元的輸出信號乘以增益值來校正該第二像素單元的輸出信號；及圖像數(shù)據(jù)生成部，對由上述校正處理部校正處理后的攝像圖像信號進(jìn)行處理而生成攝像圖像數(shù)據(jù)，上述校正處理部基于上述判定部的判定結(jié)果，決定對上述第二像素單元的輸出信號執(zhí)行上述插值校正處理和上述增益校正處理中的哪一個。
[0024]本發(fā)明的信號校正方法，對從攝像元件輸出的攝像圖像信號進(jìn)行校正，該攝像元件包括二維狀配置的、攝像用的多個第一像素單元以及由對通過了攝像透鏡的不同的光瞳區(qū)域的光進(jìn)行受光的多種焦點檢測用的第二像素單元構(gòu)成的多個對，所述信號校正方法包括:判定步驟，使用由所述攝像元件拍攝而獲得的攝像圖像信號，判定所述攝像圖像信號是否受光斑或者重影的至少一方的影響；校正處理步驟，對所述攝像圖像信號所含的所述第二像素單元的輸出信號，進(jìn)行插值校正處理和增益校正處理的任一個，所述插值校正處理通過使用了所述攝像圖像信號所含的位于所述第二像素單元周圍的多個所述第一像素單元的輸出信號的信號插值來校正該第二像素單元的輸出信號，所述增益校正處理將該第二像素單元的輸出信號乘以增益值而放大來進(jìn)行校正；及圖像數(shù)據(jù)生成步驟，對由所述校正處理步驟校正處理后的所述攝像圖像信號進(jìn)行處理而生成攝像圖像數(shù)據(jù)，在所述校正處理步驟中，基于所述判定步驟的判定結(jié)果，決定對所述第二像素單元的輸出信號執(zhí)行所述插值校正處理和所述增益校正處理中的哪一個。
[0025]發(fā)明效果
[0026]根據(jù)本發(fā)明，能夠提供即使是在產(chǎn)生重影或光斑的情況下也不會降低由包括焦點檢測用的像素單元和攝像用的像素單元的攝像元件拍攝而獲得的攝像圖像的質(zhì)量的攝像裝置及信號校正方法。

【專利附圖】

【附圖說明】
[0027]圖1是表示用于說明本發(fā)明的一實施方式的作為攝像裝置的一例的數(shù)碼相機(jī)的概略結(jié)構(gòu)的圖。
[0028]圖2是表示圖1所示的數(shù)碼相機(jī)所搭載的固體攝像元件5的概略結(jié)構(gòu)的平面示意圖。
[0029]圖3是圖2所示的固體攝像元件5中提取了以焦點檢測用像素單元31L為中心的5X5個像素單元的圖。
[0030]圖4是圖1所示的數(shù)碼相機(jī)中的固體攝像元件5的平面示意圖。
[0031]圖5是將由圖1所示的數(shù)字信號處理部17生成的增益表的一例作為曲線圖的圖。
[0032]圖6是將由圖1所示的數(shù)字信號處理部17生成的增益表的一例作為曲線圖的圖。
[0033]圖7是用于說明由相位差檢測用像素的位置引起的靈敏度的差異的圖。
[0034]圖8是表示由圖1所示的數(shù)字信號處理部17生成的增益表的一例的圖。
[0035]圖9是表示由圖1所示的數(shù)字信號處理部17生成的增益表的一例的圖。
[0036]圖10是用于說明對從圖1所示的數(shù)碼相機(jī)中的固體攝像元件5輸出的攝像圖像信號所含的全部焦點檢測用像素單元的輸出信號進(jìn)行校正時的動作的流程圖。
[0037]圖11是用于說明圖1所示的數(shù)字信號處理部17的處理內(nèi)容的變形例的圖。
[0038]圖12是用于說明圖1所示的數(shù)字信號處理部17的處理內(nèi)容的變形例的圖。
[0039]圖13是用于說明圖1所示的數(shù)字信號處理部17的處理內(nèi)容的變形例的圖。
[0040]圖14是用于說明圖1所示的數(shù)字信號處理部17的處理內(nèi)容的變形例的圖。
[0041]圖15是作為攝像裝置而說明智能電話的圖。
[0042]圖16是圖15的智能電話的內(nèi)部框圖。

【具體實施方式】
[0043]以下，參照【專利附圖】

【附圖說明】本發(fā)明的實施方式。
[0044]圖1是表示用于說明本發(fā)明的一實施方式的作為攝像裝置的一例的數(shù)碼相機(jī)的概略結(jié)構(gòu)的圖。
[0045]圖1所示的數(shù)碼相機(jī)的攝像系統(tǒng)具備:具有包括聚焦透鏡、變焦透鏡等透鏡的攝影透鏡I以及光圈2的攝影光學(xué)系統(tǒng)；CCD圖像傳感器或CMOS圖像傳感器等固體攝像元件5 ;設(shè)置在這兩者之間的紅外截止濾波器(IRCUT) 3 ;光學(xué)低通濾波器(OLPF) 4。
[0046]固體攝像元件5成為將多個攝像用像素單元和對通過了攝影光學(xué)系統(tǒng)的不同的光瞳區(qū)域的一對光束分別進(jìn)行受光的兩種焦點檢測用像素單元二維狀配置的結(jié)構(gòu)，對由攝影透鏡I成像的像進(jìn)行受光而輸出攝像圖像信號并且輸出與上述一對光束對應(yīng)的一對焦點檢測信號。
[0047]統(tǒng)一控制數(shù)碼相機(jī)的電氣控制系統(tǒng)整體的系統(tǒng)控制部11控制閃光燈發(fā)光部12以及受光部13。此外，系統(tǒng)控制部11控制透鏡驅(qū)動部8而調(diào)整攝影透鏡I所含的聚焦透鏡的位置，或者進(jìn)行攝影透鏡I所含的變焦透鏡的位置的調(diào)整。進(jìn)一步，系統(tǒng)控制部11通過經(jīng)由光圈驅(qū)動部9控制光圈2的開口量來進(jìn)行曝光量的調(diào)整。
[0048]此外，系統(tǒng)控制部11經(jīng)由攝像元件驅(qū)動部10而驅(qū)動固體攝像元件5，并使通過攝影透鏡I而拍攝到的被攝體像作為攝像圖像信號而輸出。在系統(tǒng)控制部11通過操作部14而輸入來自用戶的指示信號。
[0049]數(shù)碼相機(jī)的電氣控制系統(tǒng)還具備:與固體攝像元件5的輸出連接的進(jìn)行相關(guān)雙采樣處理等模擬信號處理的模擬信號處理部6 ;將從該模擬信號處理部6輸出的RGB的顏色信號轉(zhuǎn)換為數(shù)字信號的A/D轉(zhuǎn)換電路7。模擬信號處理部6以及A/D轉(zhuǎn)換電路7由系統(tǒng)控制部11控制。
[0050]而且，該數(shù)碼相機(jī)的電氣控制系統(tǒng)具備:主存儲器16 ;與主存儲器16連接的存儲器控制部15 ;對由固體攝像元件5拍攝而獲得的攝像圖像信號進(jìn)行各種圖像處理而生成攝影圖像數(shù)據(jù)的數(shù)字信號處理部17 ;將數(shù)字信號處理部17中生成的攝影圖像數(shù)據(jù)壓縮為JPEG格式或者將壓縮圖像數(shù)據(jù)進(jìn)行擴(kuò)展的壓縮擴(kuò)展處理部18 ;基于從固體攝像元件5的焦點檢測用像素單元輸出的成對的焦點檢測信號的相位差算出攝影透鏡I的散焦量的焦點檢測部19 ;連接了裝卸自如的記錄介質(zhì)21的外部存儲器控制部20 ;連接了搭載于相機(jī)背面等的顯示部23的顯示控制部22。存儲器控制部15、數(shù)字信號處理部17、壓縮擴(kuò)展處理部18、焦點檢測部19、外部存儲器控制部20以及顯示控制部22通過控制總線24以及數(shù)據(jù)總線25而相互連接，通過來自系統(tǒng)控制部11的指令而被控制。
[0051]圖2是表示圖1所示的數(shù)碼相機(jī)所搭載的固體攝像元件5的概略結(jié)構(gòu)的平面示意圖。圖2是從被攝體側(cè)觀察固體攝像元件5時的圖。固體攝像元件5在二維狀配置像素單元的攝像區(qū)域的整個面或者一部分中，焦點檢測用像素單元分散而設(shè)置。在圖2中，表示將攝像區(qū)域中的、設(shè)置了焦點檢測用像素單元的部分進(jìn)行了放大的圖。
[0052]固體攝像元件5具備在行方向X及與其正交的列方向Y上以二維狀(在圖2的例中為正方格子狀)排列的多個像素單元(圖中的各正方形)。多個像素單元成為將由行方向X上以一定間距排列的多個像素單元構(gòu)成的像素單元行在列方向Y上以一定的間距排列而得到的配置。多個像素單元包括攝像用像素單元30和焦點檢測用像素單元31L和焦點檢測用像素單元31R。各像素單元包括接受光而轉(zhuǎn)換為電荷的光電轉(zhuǎn)換部。
[0053]攝像用像素單元30是對通過了圖1所示的攝影透鏡I的不同的光瞳區(qū)域的一對光(例如，相對于攝影透鏡I的主軸通過了左側(cè)的光和通過了右側(cè)的光)這兩者進(jìn)行受光的像素單元。
[0054]焦點檢測用像素單元31L是對上述一對光的一方進(jìn)行受光的像素單元，若與攝像用像素單元30相比，則成為光電轉(zhuǎn)換部的開口(沒有附加影線的區(qū)域)向左側(cè)偏心的結(jié)構(gòu)。
[0055]焦點檢測用像素單元31R是對上述一對光的另一方進(jìn)行受光的像素單元，若與攝像用像素單元30相比，則成為光電轉(zhuǎn)換部的開口(沒有附加影線的區(qū)域)向右側(cè)偏心的結(jié)構(gòu)。
[0056]另外，焦點檢測用像素單元的結(jié)構(gòu)并不限定于上述的結(jié)構(gòu)，能夠采用廣泛已知的結(jié)構(gòu)。此外，這里，設(shè)為由焦點檢測用像素單元31R以及焦點檢測用像素單元31L檢測在行方向X上具有相位差的一對像信號，但也可以將遮光膜開口的偏心方向設(shè)為列方向Y，檢測在列方向Y上具有相位差的一對像信號。
[0057]各像素單元所含的光電轉(zhuǎn)換部的上方搭載了濾色器，該濾色器的排列在構(gòu)成固體攝像元件5的多個像素單元整體中成為拜耳排列。
[0058]在圖2中，對搭載了透過紅色(R)光的濾色器的像素單元記上“R”。此外，對搭載了透過綠色(G)光的濾色器的像素單元記上“G”。而且，對搭載了透過藍(lán)色(B)光的濾色器的像素單元記上“B”。在圖2的例中，固體攝像元件5搭載濾色器，但也可以不搭載濾色器。
[0059]在各像素單元所含的光電轉(zhuǎn)換部的上方(在設(shè)置濾色器的情況下，比該濾波器還上方)，設(shè)置有用于將光聚集于該光電轉(zhuǎn)換部的微透鏡。
[0060]該微透鏡為了使在固體攝像元件5整體中攝像用像素單元彼此或者焦點檢測用像素單元彼此的靈敏度一致，進(jìn)行配置位置的比例換算。
[0061]配置位置的比例換算是指，為了使從斜向入射的光有效地聚集，各像素單元所含的微透鏡的中心位置從固體攝像元件5的中心越朝向端部，則相對于像素單元的中心位置越偏離固體攝像元件5的中心側(cè),從固體攝像元件5的中心越朝向端部則該偏離量越大。
[0062]焦點檢測用像素單元31L在從圖2的上方起第3個和第9個像素單元行中每隔3個像素單元而配置于搭載了透過綠色(G)光的濾色器的像素單元的位置。
[0063]焦點差檢測用像素單元31R在從圖2的上方起第4個和第10個像素單元行中每隔3個像素單元而配置于搭載了透過綠色(G)光的濾色器的像素單元的位置。
[0064]斜向相鄰的焦點檢測用像素單元31L和焦點檢測用像素單元31R構(gòu)成對，成為在固體攝像元件5中設(shè)置了多個該對的結(jié)構(gòu)。
[0065]圖1所示的焦點檢測部19使用從焦點檢測用像素單元31L以及焦點檢測用像素單元31R讀出的信號組，算出攝影透鏡I的焦點調(diào)節(jié)狀態(tài)，這里算出從對焦?fàn)顟B(tài)偏離的量及其方向即散焦量。
[0066]圖1所示的系統(tǒng)控制部11基于由焦點檢測部19算出的散焦量，控制攝像透鏡I所含的聚焦透鏡的位置而進(jìn)行焦點調(diào)節(jié)。
[0067]在進(jìn)行了焦點調(diào)節(jié)的狀態(tài)下作出攝影指示時，系統(tǒng)控制部11使固體攝像元件5進(jìn)行攝像，通過該攝像而從固體攝像元件5輸出的攝像圖像信號(從各像素單元輸出的輸出信號的集合)被取入數(shù)字信號處理部17。而且，數(shù)字信號處理部17對該攝像圖像信號所含的焦點檢測用像素單元的輸出信號進(jìn)行校正，對校正后的攝像圖像信號進(jìn)行處理，生成攝像圖像數(shù)據(jù)。
[0068]數(shù)字信號處理部17對焦點檢測用像素單元進(jìn)行插值校正處理和增益校正處理的任一個，該插值校正處理通過使用了位于該焦點檢測用像素單元周圍的攝像用像素單元的輸出信號的信號插值來校正該焦點檢測用像素單元的輸出信號，該增益校正處理通過將焦點檢測用像素單元的輸出信號乘以增益而將其放大來校正該焦點檢測用像素單元的輸出信號。
[0069]圖3是圖2所示的固體攝像元件5中提取了以焦點檢測用像素單元31L為中心的5X5個像素單元的圖。
[0070]數(shù)字信號處理部17在通過插值校正處理對圖3所示的焦點檢測用像素單元31L進(jìn)行校正的情況下，例如，將位于該焦點檢測用像素單元31L周圍的檢測與焦點檢測用像素單元31L同色光的由〇包圍的攝像用像素單元30的輸出信號進(jìn)行平均而獲得的輸出信號置換為該焦點檢測用像素單元31L的輸出信號。
[0071]此外，數(shù)字信號處理部17在通過增益校正處理對圖3所示的焦點檢測用像素單元31L進(jìn)行校正的情況下，例如，求出增益并對該焦點檢測用像素單元31L的輸出信號乘以該增益，所述增益用于使該焦點檢測用像素單元31L的輸出信號接近位于該焦點檢測用像素單元31L周圍的檢測與焦點檢測用像素單元31L同色光的由〇包圍的攝像用像素單元30的輸出信號的平均值。
[0072]數(shù)字信號處理部17使用攝像圖像信號判定在該攝像圖像信號中是否有受重影或光斑等對于圖像而言無用(噪聲)的光的影響的區(qū)域。而且，數(shù)字信號處理部17基于該判定結(jié)果，將對焦點檢測用像素單元進(jìn)行的校正處理決定為插值校正處理和增益校正處理的任一個。
[0073]圖4是表示圖1所示的固體攝像元件5的整體結(jié)構(gòu)的平面示意圖。圖2所示的焦點檢測用像素單元離散地設(shè)置在位于固體攝像元件5的中央的區(qū)域A。在區(qū)域A以外的區(qū)域中，只配置有攝像用像素單元30。
[0074]在圖4的例中，將區(qū)域A分割為6X6的塊。在圖4中，將區(qū)域A分為6個列(從左起依次31^、21^、11^、11?、21?、310和6個行(從上起依次3U、2U、1U、1B、2B、3B)，在各行和各列交叉的位置上存在I個塊。
[0075]數(shù)字信號處理部17使用攝像圖像信號算出在通過增益校正處理對其所含的焦點檢測用像素單元的輸出信號進(jìn)行校正時使用的增益值。
[0076]例如，數(shù)字信號處理部17算出位于圖4的任意的塊的攝像用像素單元30的輸出信號的平均值A(chǔ)vS和位于該塊的焦點檢測用像素單元31L的輸出信號的平均值A(chǔ)vL，并算出AvS/AvL作為與位于該塊的焦點檢測用像素單元31L對應(yīng)的增益值。
[0077]同樣地，數(shù)字信號處理部17算出位于圖4的任意的塊的攝像用像素單元30的輸出信號的平均值A(chǔ)vS和位于該塊的焦點檢測用像素單元31R的輸出信號的平均值A(chǔ)vR，并算出AvS/AvR作為與位于該塊的焦點檢測用像素單元31R對應(yīng)的增益值。
[0078]通過該運算，生成增益值(AvS/AvL)及增益值(AvS/AvR)與各塊建立了對應(yīng)的增益表。
[0079]圖5以及圖6是表示與位于圖4所示的36個塊的焦點檢測用像素單元31R對應(yīng)的增益值的一例的圖。
[0080]圖5是攝像圖像信號沒有受重影或者光斑的至少一方的影響時的增益表的例。圖6是攝像圖像信號受重影的影響時的增益表的例。在圖6中，表示在圖4的列3L和列2L和列3R中從入射了重影的原因光的情況下的攝像圖像信號求出的增益表。
[0081]如圖5所示，在攝像時沒有產(chǎn)生重影或者光斑的至少一方的情況下，連接與位于同一行的6個塊對應(yīng)的增益值的線成為右肩上升的大致直線形狀。此外，與位于同一列的6個塊對應(yīng)的增益值的幅度(最小值和最大值之差)減小。另外，這樣，連接增益值的線成為右肩上升的形狀是因為如下理由。
[0082]相位差檢測用像素31R的開口在圖2中向右側(cè)偏心。因此，如圖7所示，在位于固體攝像元件5的左側(cè)端部的相位差檢測用像素31R的開口，通過攝影透鏡I的左側(cè)而來的光進(jìn)入一半，通過攝影透鏡I的右側(cè)而來的光未進(jìn)入。另一方面，在位于固體攝像元件5的右側(cè)端部的相位差檢測用像素31R的開口，通過攝影透鏡I的右側(cè)而來的光進(jìn)入一半，通過攝影透鏡I的左側(cè)而來的光全部進(jìn)入。此外，在位于固體攝像元件5的中心部的相位差檢測用像素31R的開口，只有通過攝影透鏡I的左側(cè)而來的光進(jìn)入，通過攝影透鏡I的右側(cè)而來的光未進(jìn)入。
[0083]這樣，從固體攝像元件5的左端部越朝向右端部則相位差檢測用像素31R的靈敏度越高。因此，關(guān)于增益值，也隨著從列3L朝向列3R而變大。
[0084]如圖6所示，在攝像時產(chǎn)生重影的情況下，連接與位于同一行的6個塊對應(yīng)的增益值的線成為大致下凸形狀的曲線，在區(qū)域A中的端部的列(3L、3R)中，與位于同一列的6個塊對應(yīng)的增益值的幅度變大。
[0085]這樣，根據(jù)有無重影或者光斑的至少一方，生成的增益表發(fā)生變化。利用這個情況，數(shù)字信號處理部17使用生成的增益表，判定有無重影或者光斑的至少一方。
[0086]以下，說明使用了增益表的有無重影或者光斑的至少一方的判定方法的具體例。
[0087]圖8是表不從圖5所不的增益表生成的相鄰增益值差表的圖。圖9是表不從圖6所示的增益表生成的相鄰增益值差表的圖。
[0088]相鄰增益值差表是算出與任意的塊對應(yīng)的增益值和與相鄰的塊對應(yīng)的增益值之差而獲得的，該相鄰的塊是相對于該任意的塊在由焦點檢測用像素單元31R、31L檢測的一對像信號的錯開方向(固體攝像元件5的情況下在行方向X上為右方向)上相鄰的塊。
[0089]在圖8、9中，* _##”的標(biāo)記表示列*和相對于該列在右方向上相鄰的列##各自的位于同一行的塊的增益值之差(從列##的塊的增益值減去列* *的塊的增益值所得的值)。
[0090]圖8、9所示的相鄰增益值差表中的各數(shù)值表示區(qū)域A中的增益值的變動的程度。在沒有產(chǎn)生重影或者光斑的至少一方的情況下，如圖5所示，該變動的程度小，在產(chǎn)生重影的情況下，如圖6所示，該變動的程度大。利用這個情況，數(shù)字信號處理部17首先算出相鄰增益值差表中的各數(shù)值中的最大值和最小值之差。
[0091]圖8所示的相鄰增益值差表中的各數(shù)值中的最大值為22，最小值為7，所以雙方的差為15。
[0092]圖9所示的相鄰增益值差表中的各數(shù)值中的最大值為245，最小值為一 67，所以雙方的差為312。
[0093]若將相鄰增益值差表中的各數(shù)值中的最大值和最小值之差的閾值設(shè)定為例如20，則成為圖5所示的增益表的生成源的攝像圖像信號被判定為不存在受重影或者光斑的至少一方的影響的區(qū)域，成為圖6所示的增益表的生成源的攝像圖像信號被判定為存在受重影或者光斑的至少一方的影響的區(qū)域。
[0094]由于在沒有產(chǎn)生重影或者光斑的至少一方時的、相鄰增益值差表中的各數(shù)值中的最大值和最小值之差和在產(chǎn)生重影或者光斑的至少一方時的、相鄰增益值差表中的各數(shù)值中的最大值和最小值之差能夠預(yù)先通過實驗求出，所以根據(jù)該實驗結(jié)果能夠?qū)⑸鲜鲩撝祵γ總€數(shù)碼相機(jī)決定為適當(dāng)?shù)闹怠?br> [0095]另外，利用產(chǎn)生重影或者光斑的至少一方時與沒有產(chǎn)生重影或者光斑的至少一方時相比同一列中的6個塊的增益值的最大值和最小值之差大的特性，數(shù)字信號處理部17也可以如下判定有無產(chǎn)生重影或者光斑的至少一方。
[0096]S卩，數(shù)字信號處理部17在圖5或者圖6所示的增益表中，存在同一列中的數(shù)值中的最大值和最小值之差超過預(yù)先確定的值的列的情況下，判定為作為該增益表的生成源的攝像圖像信號中存在受重影或者光斑的至少一方的影響的區(qū)域。此外，數(shù)字信號處理部17在不存在同一列中的數(shù)值中的最大值和最小值之差超過預(yù)先確定的值的列的情況下，判定為在作為該增益表的生成源的攝像圖像信號中不存在受重影或者光斑的至少一方的影響的區(qū)域。
[0097]根據(jù)該判定方法，由于能夠減少運算量，所以能夠低耗電化、校正處理的高速化。
[0098]此外，也可以分別進(jìn)行基于相鄰增益值差表中的各數(shù)值中的最大值和最小值之差判定有無重影或者光斑的至少一方的判定方法和基于增益表中的同一列的最大值和最小值之差判定有無重影或者光斑的至少一方的判定方法，根據(jù)在兩個判定的雙方中判定為存在受重影或者光斑的至少一方的影響的區(qū)域，最終判定為在攝像圖像信號中存在受重影或者光斑的至少一方的影響的區(qū)域。這樣，通過將兩個判定方法進(jìn)行組合，能夠提高有無重影或者光斑的至少一方的判定精度。
[0099]圖10是用于說明對從圖1所示的數(shù)碼相機(jī)中的固體攝像元件5輸出的攝像圖像信號所含的全部焦點檢測用像素單元的輸出信號進(jìn)行校正時的動作的流程圖。
[0100]若由固體攝像元件5進(jìn)行拍攝，攝像圖像信號存儲在主存儲器16中，則數(shù)字信號處理部17使用該攝像圖像信號而算出上述的增益表，使用該增益表，判定在攝像圖像信號中有無受重影或者光斑的至少一方的影響的區(qū)域(步驟SI)。
[0101]在判定為在攝像圖像信號中存在受重影或者光斑的至少一方的影響的區(qū)域的情況下(步驟S1:是)，數(shù)字信號處理部17通過插值校正處理對從固體攝像元件5輸出的攝像圖像信號所含的全部焦點檢測用像素單元的輸出信號進(jìn)行校正(步驟S7)，結(jié)束校正處理。
[0102]在判定為在攝像圖像信號中不存在受重影或者光斑的至少一方的影響的區(qū)域的情況下(步驟S1:否)，數(shù)字信號處理部17將進(jìn)行校正的對象的焦點檢測用像素單元的序號η (初始值為O)更新為η+1 (步驟S2)。
[0103]接著，數(shù)字信號處理部17對于進(jìn)行校正的對象的焦點檢測用像素單元的輸出信號判定進(jìn)行了插值校正處理時的校正精度和進(jìn)行了增益校正處理時的校正精度中的哪一個高(步驟S3)。
[0104]例如，數(shù)字信號處理部17使用位于進(jìn)行校正的對象的焦點檢測用像素單元周邊的攝像用像素單元的輸出信號，判定在焦點檢測用像素單元的周圍有沒有被攝體的邊緣或高頻圖案。
[0105]而且，數(shù)字信號處理部17在判定為有邊緣或高頻圖案的情況下，判定為增益校正處理一方校正精度高，在判定為沒有邊緣或高頻圖案的情況下，判定為插值校正處理一方校正精度高。
[0106]或者，數(shù)字信號處理部17在與進(jìn)行校正的對象的焦點檢測用像素單元對應(yīng)的增益表上的增益值大于預(yù)先確定的值的情況下，由于若進(jìn)行增益校正處理則噪聲變大，所以判定為插值校正處理一方校正精度高。另外，校正精度的判定能夠使用廣泛已知的方法。
[0107]數(shù)字信號處理部17在判定為進(jìn)行了增益校正處理時的校正精度高的情況下(步驟S3:否)，基于在步驟SI的判定時生成的增益表，通過增益校正處理對進(jìn)行校正的對象的焦點檢測用像素單元的輸出信號進(jìn)行校正(步驟S4)。
[0108]另一方面，數(shù)字信號處理部17在判定為進(jìn)行了插值校正處理時的校正精度高的情況下(步驟S3:是)，通過插值校正處理對進(jìn)行校正的對象的焦點檢測用像素單元的輸出信號進(jìn)行校正(步驟S5)。
[0109]在步驟S4、步驟S5之后，若進(jìn)行校正的對象的焦點檢測用像素單元的序號η達(dá)到攝像圖像信號所含的焦點檢測用像素單元的輸出信號的總數(shù)k (步驟S6:是)，則數(shù)字信號處理部17結(jié)束處理，若沒有達(dá)到(步驟S6:否)，則將處理返回到步驟S2。
[0110]如以上所述，圖1所示的數(shù)碼相機(jī)判定攝像圖像信號中有無受重影或者光斑的至少一方的影響的區(qū)域，在判定為存在受重影或者光斑的至少一方的影響的區(qū)域的情況下，通過插值校正處理對全部焦點檢測用像素單元的輸出信號進(jìn)行校正，在判定為不存在受重影或者光斑的至少一方的影響的區(qū)域的情況下，通過校正精度相對高的校正處理對各焦點檢測用像素單元的輸出信號進(jìn)行校正。
[0111]這樣，在產(chǎn)生重影或者光斑的至少一方時，由于通過插值校正處理對各焦點檢測用像素單元的輸出信號進(jìn)行校正，所以能夠防止在校正后的攝像圖像信號中，受重影或者光斑的至少一方的影響的區(qū)域和未受重影或者光斑的至少一方的影響的區(qū)域中畫質(zhì)大幅變化，能夠提聞攝像畫質(zhì)。
[0112]另外，在圖10的流程圖中，也可以省略步驟S2?步驟S6的處理，在步驟SI為否時，數(shù)字信號處理部17對全部焦點檢測用像素單元進(jìn)行插值校正處理或者增益校正處理。
[0113]例如，數(shù)字信號處理部17在增益表中，超過閾值的增益值的數(shù)目超過預(yù)先確定的數(shù)目的情況下，對全部焦點檢測用像素單元進(jìn)行插值校正處理，該閾值是若成為其以上則校正后的噪聲變多且畫質(zhì)惡化的值。在超過閾值的增益值的數(shù)目為預(yù)先確定的數(shù)目以下的情況下，數(shù)字信號處理部17對全部焦點檢測用像素單元進(jìn)行增益校正處理。g卩，數(shù)字信號處理部17選擇并執(zhí)行作為攝像圖像信號整體由校正引起的校正誤差少的校正處理。
[0114]這樣，在不產(chǎn)生重影或者光斑的至少一方時，由于能夠選擇并執(zhí)行插值校正處理和增益校正處理中的最適合畫質(zhì)提高的校正處理，所以還能夠?qū)崿F(xiàn)在不產(chǎn)生重影或者光斑的至少一方時的畫質(zhì)提高。
[0115]另外，受重影或者光斑的至少一方的影響的區(qū)域的有無的判定方法并不限定于上述的方法。例如，也可以采用在專利文獻(xiàn)2、3中記載的方法。此外，也可以通過以下記載的方法來判定。
[0116](受重影或者光斑的至少一方的影響的區(qū)域的有無的判定方法的變形例)
[0117]在該變形例中，在主存儲器16中預(yù)先存儲有基準(zhǔn)塊增益值，該基準(zhǔn)塊增益值是在不產(chǎn)生重影或者光斑的至少一方的條件下使用由固體攝像元件5拍攝基準(zhǔn)圖像而獲得的基準(zhǔn)攝像圖像信號算出的對上述各塊的增益值，
[0118]并且，數(shù)字信號處理部17算出基準(zhǔn)塊增益值和攝像塊增益值的差分即基準(zhǔn)一攝像增益值差，該攝像塊增益值是使用由固體攝像元件5拍攝被攝體而獲得的攝像圖像信號算出的對上述各塊的增益值。
[0119]而且，數(shù)字信號處理部17算出對于在由焦點檢測用像素單元的對檢測的像信號的錯開方向上相鄰的兩個塊而算出的基準(zhǔn)一攝像增益值差的差分，在該差分的最大值和最小值之差超過預(yù)先確定的值的情況下，判定為在攝像圖像信號中存在受重影或者光斑的至少一方的影響的區(qū)域。
[0120]圖11是表示對位于圖4所示的區(qū)域A的任意的行的6個塊算出增益值的結(jié)果的圖。在圖11中，表示使用由固體攝像元件5拍攝基準(zhǔn)圖像(例如，灰色一色的圖像、白一色的圖像、與相位差像素的檢測色相同的顏色一色的圖像等的單色的連續(xù)調(diào)圖像)而獲得的基準(zhǔn)攝像圖像信號算出的增益值(基準(zhǔn)圖像的增益)、和使用由固體攝像元件5拍攝被攝體而獲得的攝像圖像信號算出的增益值(攝像圖像的增益)。
[0121]圖12的圖12A是表示圖11所示的攝像圖像的增益的表格，圖12的圖12B是表示圖11所示的基準(zhǔn)圖像的增益的表格。此外，圖12的圖12C是表示從圖12A所示的各塊的增益值減去圖12B所示的該各塊的增益值所得的值(基準(zhǔn)一攝像增益值差)的圖。
[0122]在圖12中，圖12B所示的表格預(yù)先存儲在主存儲器16中。
[0123]數(shù)字信號處理部17從圖12A的數(shù)據(jù)和圖12B的數(shù)據(jù)算出圖12C的數(shù)據(jù)。而且，數(shù)字信號處理部17算出與任意的塊對應(yīng)的基準(zhǔn)一攝像增益值差和相鄰的塊的基準(zhǔn)一攝像增益值差的差分，并生成圖12D所示的表格，其中該相鄰的塊是相對于該任意的塊在由焦點檢測用像素單元31R、31L檢測的一對像信號的錯開方向(固體攝像元件5的情況下在行方向X上為右方向)上相鄰的塊。
[0124]在圖12的圖12D中，~k -##”的標(biāo)記表示列* *和相對于該列在右方向上相鄰的列##各自的位于同一行的塊的基準(zhǔn)一攝像增益值差之差(從列##的塊的基準(zhǔn)一攝像增益值差減去列* *的塊的基準(zhǔn)一攝像增益值差所得的值)。
[0125]數(shù)字信號處理部17對圖4所示的各行生成圖12D所示的數(shù)據(jù)，并算出所生成的數(shù)據(jù)中的最大值和最小值之差。并且，數(shù)字信號處理部17在該差超過預(yù)先確定的閾值的情況下，判定為存在受重影或者光斑的至少一方的影響的區(qū)域，在該差為預(yù)先確定的值以下的情況下，判定為不存在受重影或者光斑的至少一方的影響的區(qū)域。
[0126]這樣，根據(jù)對基準(zhǔn)圖像的增益表和對攝像圖像的增益表的各增益值之差的變動，判定有無受重影或者光斑的至少一方的影響的區(qū)域，所以能夠在全部固體攝像元件5中將受重影或者光斑的至少一方的影響的區(qū)域的判定中使用的閾值設(shè)定為一樣的值，能夠削減數(shù)碼相機(jī)的制造成本。
[0127]至此為止，設(shè)為判定在攝像圖像信號中有無受重影或者光斑的至少一方的影響的區(qū)域，在判定為存在受重影或者光斑的至少一方的影響的區(qū)域的情況下，對全部焦點檢測用像素單元執(zhí)行插值校正處理。
[0128]但是，在攝像圖像信號中，能夠判定受重影或者光斑的至少一方的影響的區(qū)域的位置的情況下，通過只對受重影或者光斑的至少一方的影響的區(qū)域進(jìn)行插值校正處理，對除此以外的區(qū)域進(jìn)行校正精度高的校正處理，能夠進(jìn)一步提高攝像畫質(zhì)。
[0129]在攝像圖像信號中，如下判定受重影或者光斑的至少一方的影響的區(qū)域的位置。
[0130](第一判定例)
[0131]數(shù)字信號處理部17在使用由固體攝像元件5拍攝被攝體而獲得的攝像圖像信號生成的增益表中，算出任意的塊的增益值和相鄰的塊的增益值之差的平均值，該相鄰的塊是在與由焦點檢測用像素單元的對檢測的兩個像信號的錯開方向正交的方向(圖4的列方向Y)上與該任意的塊相鄰的塊。而且，將位于該平均值超過預(yù)先確定的值的塊中的焦點檢測用像素單元的輸出信號判定為有重影或者光斑的至少一方的影響的區(qū)域。
[0132]例如，考慮使用由固體攝像元件5拍攝被攝體而獲得的攝像圖像信號生成的增益表如圖13的圖13A所示的情況。此時，數(shù)字信號處理部17算出各塊的增益值和與該塊的上下(就位于邊緣的行的塊而言是上或者下)相鄰的塊的增益值之差，并算出該差的平均值。
[0133]具體而言，位于行IU和列2L的交點處的塊的增益值是800，位于其上下的塊的增益值分別是450。因此，數(shù)字信號處理部17將通過{(800 - 450) + (800 一 450)}/2的運算而求出的值350設(shè)為該塊中的值。將對各塊進(jìn)行了這樣的運算所得的結(jié)果示于圖13的圖13B。
[0134]若比較圖5和圖6可知，若產(chǎn)生重影或者光斑的至少一方，則在列方向Y上相鄰的塊間的增益值之差變大。因此，數(shù)字信號處理部17能夠?qū)D13B所示的數(shù)據(jù)設(shè)定閾值，關(guān)于該閾值以上的塊，判定為受重影或者光斑的至少一方的影響，關(guān)于小于該閾值的塊，判定為未受重影或者光斑的至少一方的影響。
[0135]例如，在圖13B中將閾值設(shè)定為100時，附加了影線的塊被判定為是受重影或者光斑的至少一方的影響的塊。
[0136](第二判定例)
[0137]在不產(chǎn)生重影或者光斑的至少一方的條件下使用拍攝基準(zhǔn)圖像而獲得的基準(zhǔn)攝像圖像信號生成增益表，并將其存儲在主存儲器16中。數(shù)字信號處理部17從使用攝像圖像信號所生成的圖14A所示的增益表的各塊的增益值減去使用基準(zhǔn)攝像圖像信號所生成的圖14B所示的增益表的該各塊的增益值，生成圖14C所示的表格。
[0138]關(guān)于受重影或者光斑的至少一方的影響的塊，使用基準(zhǔn)攝像圖像信號所生成的增益值與使用攝像圖像信號所生成的增益值之差變大。因此，數(shù)字信號處理部17在圖14C所示的表格中，關(guān)于增益值成為預(yù)先確定的閾值以上的塊，判定為受重影或者光斑的至少一方的影響，關(guān)于小于該閾值的塊，判定為未受重影或者光斑的至少一方的影響。
[0139]例如，在圖14C中將閾值設(shè)定為100時，附加了影線的塊被判定為是受重影或者光斑的至少一方的影響的塊。
[0140]通過該第一判定例和第二判定例，能夠判定在攝像圖像信號中有無受重影或者光斑的至少一方的影響的區(qū)域和該區(qū)域的位置。
[0141]數(shù)字信號處理部17通過第一判定例或者第二判定例，判定在攝像圖像信號中有無受重影或者光斑的至少一方的影響的區(qū)域，在判定為存在受重影或者光斑的至少一方的影響的區(qū)域的情況下，通過插值校正處理對該區(qū)域所含的焦點檢測用像素單元的輸出信號進(jìn)行校正，對除此以外的區(qū)域所含的焦點檢測用像素單元的輸出信號進(jìn)行校正精度高的校正處理而校正。此外，數(shù)字信號處理部17在判定為不存在受重影或者光斑的至少一方的影響的區(qū)域的情況下，進(jìn)行圖10的步驟S2以后的處理。
[0142]通過如此進(jìn)行，在校正后的攝像圖像信號中，能夠防止在受重影或者光斑的至少一方的影響的區(qū)域和其他的區(qū)域中畫質(zhì)大幅變化，能夠提高攝像畫質(zhì)。
[0143]接著，作為攝像裝置而說明智能電話的結(jié)構(gòu)。
[0144]圖15是表示作為本發(fā)明的攝影裝置的一實施方式的智能電話200的外觀的圖。圖15所示的智能電話200具有平板狀的殼體201,在殼體201的一個面包括作為顯示部的顯示面板202和作為輸入部的操作面板203成為一體的顯示輸入部204。此外，這樣的殼體201具備揚聲器205、話筒206、操作部207、相機(jī)部208。另外，殼體201的結(jié)構(gòu)并不限定于此，例如也可以采用顯示部和輸入部獨立的結(jié)構(gòu)，或者采用具有折疊結(jié)構(gòu)或滑動機(jī)構(gòu)的結(jié)構(gòu)。
[0145]圖16是表示圖15所示的智能電話200的結(jié)構(gòu)的框圖。如圖15所示,作為智能電話的主要的結(jié)構(gòu)元素，包括無線通信部210、顯示輸入部204、通話部211、操作部207、相機(jī)部208、存儲部212、外部輸入輸出部213、GPS (全球定位系統(tǒng)(Global Posit1ning System))接收部214、移動傳感器部215、電源部216、主控制部220。此外，作為智能電話200的主要的功能，具備與省略圖示的基地站裝置BS進(jìn)行經(jīng)由省略圖示的移動通信網(wǎng)NW的移動無線通信的無線通信功能。
[0146]無線通信部210按照主控制部220的指示，對在移動通信網(wǎng)NW中收納的基地站裝置BS進(jìn)行無線通信。使用該無線通信，進(jìn)行聲音數(shù)據(jù)、圖像數(shù)據(jù)等的各種文件數(shù)據(jù)、電子郵件數(shù)據(jù)等的發(fā)送接收、Web數(shù)據(jù)或流數(shù)據(jù)等的接收。
[0147]顯示輸入部204是通過主控制部220的控制對圖像(靜止圖像以及動態(tài)圖像)、文字信息等進(jìn)行顯示而在視覺上向用戶傳遞信息并且對與所顯示的信息對應(yīng)的用戶操作進(jìn)行檢測的所謂的觸摸面板，具備顯示面板202和操作面板203。
[0148]顯示面板202將LCD(液晶顯示器(Liquid Crystal Display))、OELD(有機(jī)電致發(fā)光顯示器(Organic Electro-Luminescence Display))等用作顯示設(shè)備的器件。
[0149]操作面板203是對顯示面板202的顯示面上顯示的圖像以能夠視覺確認(rèn)的方式進(jìn)行載置并對由用戶的手指或尖筆操作的一個或者多個坐標(biāo)進(jìn)行檢測的設(shè)備。若通過用戶的手指或尖筆操作該設(shè)備，操作面板203將由操作而產(chǎn)生的檢測信號輸出到主控制部220。接著，主控制部220基于接收到的檢測信號，檢測顯示面板202上的操作位置(坐標(biāo))。
[0150]如圖15所示，作為本發(fā)明的攝影裝置的一實施方式而例示的智能電話200的顯示面板202和操作面板203成為一體而構(gòu)成顯示輸入部204，但也可以成為操作面板203完全覆蓋顯示面板202的配置。
[0151]在采用了該配置的情況下，操作面板203也可以具備對顯示面板202外的區(qū)域也檢測用戶操作的功能。換言之，操作面板203也可以具有關(guān)于與顯示面板202重疊的重疊部分的檢測區(qū)域(以下，稱為顯示區(qū)域)和關(guān)于除此以外的不與顯示面板202重疊的外緣部分的檢測區(qū)域(以下，稱為非顯示區(qū)域)。
[0152]另外，也可以使顯示區(qū)域的大小和顯示面板202的大小完全一致，但不需要使兩者必須一致。此外，操作面板203也可以具有外緣部分和除此以外的內(nèi)側(cè)部分這兩個感應(yīng)區(qū)域。而且，外緣部分的寬度根據(jù)殼體201的大小等而適當(dāng)設(shè)計。另外，作為操作面板203中采用的位置檢測方式，可列舉矩陣開關(guān)方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應(yīng)方式、靜電電容方式等，也能夠采用任一方式。
[0153]通話部211具備揚聲器205和話筒206，將通過話筒206輸入的用戶的聲音轉(zhuǎn)換為能夠由主控制部220處理的聲音數(shù)據(jù)而輸出到主控制部220，或者對從無線通信部210或者外部輸入輸出部213接收到的聲音數(shù)據(jù)進(jìn)行解碼而從揚聲器205輸出。此外，如圖15所示，例如，能夠?qū)P聲器205搭載在與設(shè)置了顯示輸入部204的面相同的面，話筒206搭載在殼體201的側(cè)面。
[0154]操作部207是使用了鍵開關(guān)等的硬件鍵，接受來自用戶的指示。例如，如圖15所示，操作部207搭載在智能電話200的殼體201的側(cè)面，是當(dāng)通過手指等被按下時接通、當(dāng)手指離開時通過彈簧等的恢復(fù)力而成為斷開狀態(tài)的按壓按鈕式的開關(guān)。
[0155]存儲部212存儲主控制部220的控制程序或控制數(shù)據(jù)、應(yīng)用軟件、與通信對方的名稱或電話號等建立了對應(yīng)的地址數(shù)據(jù)、發(fā)送接收的電子郵件的數(shù)據(jù)、通過Web瀏覽而下載的Web數(shù)據(jù)、下載的內(nèi)容數(shù)據(jù)，此外，暫時存儲流數(shù)據(jù)等。此外，存儲部212由智能電話內(nèi)置的內(nèi)部存儲部217和具有裝卸自如的外部存儲器槽的外部存儲部218構(gòu)成。另外，構(gòu)成存儲部212的各內(nèi)部存儲部217和外部存儲部218使用閃存型(flash memory type)、硬盤型(hard disk type)、縮微多媒體卡型(multimedia card micro type)、卡型的存儲器(例如、MicroSD (注冊商標(biāo))存儲器等)、RAM (Random Access Memory)、ROM (Read OnlyMemory)等存儲介質(zhì)而實現(xiàn)。
[0156]外部輸入輸出部213起到與連接到智能電話200的全部外部設(shè)備的接口的作用，用于通過通信等(例如，通用串行總線(USB)、IEEE1394等)或者網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng)、無線LAN、藍(lán)牙(Bluetooth)(注冊商標(biāo))、RFID (Rad1 Frequency Identificat1n)、紅外線通信(Infrared Data Associat1n:IrDA)(注冊商標(biāo))、UWB (Ultra Wideband)(注冊商標(biāo))、紫蜂(ZigBee)(注冊商標(biāo))等)直接或者間接連接到其他的外部設(shè)備。
[0157]作為連接到智能電話200的外部設(shè)備，例如有:有/無線頭戴耳機(jī)、有/無線外部充電器、有/無線數(shù)據(jù)端口、經(jīng)由卡插座而連接的存儲卡(Memory card)、SIM (SubscriberIdentity Module Card)/UIM(User Identity Module Card)卡、經(jīng)由音頻視頻 1/0(Input/Output)端子而連接的外部音頻視頻設(shè)備、無線連接的外部音頻視頻設(shè)備、有/無線連接的智能電話、有/無線連接的個人計算機(jī)、有/無線連接的PDA、有/無線連接的個人計算機(jī)、耳機(jī)等。外部輸入輸出部213能夠?qū)倪@樣的外部設(shè)備接受了傳送的數(shù)據(jù)傳遞到智能電話200的內(nèi)部的各結(jié)構(gòu)要素并將智能電話200的內(nèi)部的數(shù)據(jù)傳送到外部設(shè)備。
[0158]GPS接收部214按照主控制部220的指示，接收從GPS衛(wèi)星STl?STn發(fā)送的GPS信號，并執(zhí)行基于接收到的多個GPS信號的測位運算處理，檢測由該智能電話200的緯度、經(jīng)度、高度構(gòu)成的位置。GPS接收部214在能夠從無線通信部210、外部輸入輸出部213 (例如，無線LAN)取得位置信息時，還能夠使用該位置信息來檢測位置。
[0159]移動傳感器部215具有例如三軸加速度傳感器等，按照主控制部220的指示，檢測智能電話200的物理上的移動。通過檢測智能電話200的物理上的移動，來檢測智能電話200的移動方向和加速度。將該檢測結(jié)果輸出到主控制部220。
[0160]電源部216按照主控制部220的指示，向智能電話200的各部提供電池(未圖示)中蓄積的電力。
[0161]主控制部220具備微處理器，按照存儲部212存儲的控制程序、控制數(shù)據(jù)而動作，統(tǒng)一控制智能電話200的各部。此外，主控制部220為了通過無線通信部210進(jìn)行聲音通信或數(shù)據(jù)通信而具備控制通信系統(tǒng)的各部的移動通信控制功能和應(yīng)用處理功能。
[0162]應(yīng)用處理功能通過根據(jù)存儲部212存儲的應(yīng)用軟件使主控制部220動作而實現(xiàn)。作為應(yīng)用處理功能，例如有控制外部輸入輸出部213而與相向設(shè)備進(jìn)行數(shù)據(jù)通信的紅外線通信功能、進(jìn)行電子郵件的發(fā)送接收的電子郵件功能、閱覽Web網(wǎng)頁的Web瀏覽功能等。
[0163]此外，主控制部220具備基于接收數(shù)據(jù)、下載的流數(shù)據(jù)等圖像數(shù)據(jù)(靜止圖像、動態(tài)圖像的數(shù)據(jù))而將影像在顯示輸入部204中顯示等的圖像處理功能。圖像處理功能是指，主控制部220對上述圖像數(shù)據(jù)進(jìn)行解碼，對該解碼結(jié)果實施圖像處理，并將圖像在顯示輸入部204中顯示的功能。
[0164]此外，主控制部220執(zhí)行對顯示面板202的顯示控制和對通過了操作部207、操作面板203的用戶操作進(jìn)行檢測的操作檢測控制。通過顯示控制的執(zhí)行，主控制部220顯示用于啟動應(yīng)用軟件的圖標(biāo)、滾動條等軟件鍵，或者顯示用于制作電子郵件的窗口。另外，滾動條是指，對于沒有完全收納于顯示面板202的顯示區(qū)域的較大的圖像等用于接受使圖像的顯示部分移動的指示的軟件鍵。
[0165]此外，通過操作檢測控制的執(zhí)行，主控制部220對通過了操作部207的用戶操作進(jìn)行檢測，或者通過操作面板203接受對上述圖標(biāo)的操作、對上述窗的輸入欄的字符串的輸入，或者接受經(jīng)由滾動條的顯示圖像的滾動請求。
[0166]而且，通過操作檢測控制的執(zhí)行，主控制部220具備判定對操作面板203的操作位置是與顯示面板202重疊的重疊部分(顯示區(qū)域)還是除此以外的不與顯示面板202重疊的外緣部分(非顯示區(qū)域)，并對操作面板203的感應(yīng)區(qū)域或軟件鍵的顯示位置進(jìn)行控制的觸摸面板控制功能。
[0167]此外，主控制部220還能夠檢測對操作面板203的手勢操作，根據(jù)檢測出的手勢操作也能夠執(zhí)行預(yù)先設(shè)定的功能。手勢操作并非以往的單純的觸摸操作，而是指利用手指等描畫軌跡，或者同時指定多個位置，或者將它們組合而從多個位置對至少一個位置描畫軌跡的操作。
[0168]相機(jī)部208包括圖1所示的數(shù)碼相機(jī)中的外部存儲器控制部20、記錄介質(zhì)21、顯示控制部22、顯示部23以及操作部14以外的結(jié)構(gòu)。由相機(jī)部208生成的攝像圖像數(shù)據(jù)能夠記錄在存儲部212中，或者通過輸入輸出部213或無線通信部210而輸出。如圖15所示，在智能電話200中，相機(jī)部208搭載在與顯示輸入部204相同的面，但相機(jī)部208的搭載位置并不限定于此，也可以搭載在顯示輸入部204的背面。
[0169]此外，相機(jī)部208能夠用于智能電話200的各種功能。例如，能夠在顯示面板202中顯示由相機(jī)部208取得的圖像或作為操作面板203的操作輸入之一而利用相機(jī)部208的圖像。此外，在GPS接收部214檢測位置時，還能夠參照來自相機(jī)部208的圖像而檢測位置。而且，還能夠參照來自相機(jī)部208的圖像，不使用三軸加速度傳感器或者與三軸加速度傳感器并用，判斷智能電話200的相機(jī)部208的光軸方向或判斷當(dāng)前的使用環(huán)境。當(dāng)然，也能夠在應(yīng)用軟件內(nèi)利用來自相機(jī)部208的圖像。
[0170]除此之外，也能夠?qū)o止畫面或者動態(tài)畫面的圖像數(shù)據(jù)附加由GPS接收部214取得的位置信息、由話筒206取得的聲音信息(也可以由主控制部等進(jìn)行聲音文本轉(zhuǎn)換而成為文本信息)、由移動傳感器部215取得的姿勢信息等而記錄在記錄部212中，或者通過輸入輸出部213或無線通信部210而輸出。
[0171]在以上這種結(jié)構(gòu)的智能電話200中，通過數(shù)字信號處理部17進(jìn)行上述的信號校正處理，也能夠進(jìn)行高質(zhì)量的攝影。
[0172]如以上所說明，在本說明書中公開以下的事項。
[0173]公開的攝像裝置，具有攝像元件，該攝像元件包括攝像用的多個第一像素單元和由對通過了攝影透鏡的不同的光瞳區(qū)域的光進(jìn)行受光的多種焦點檢測用的第二像素單元構(gòu)成的多個對，上述攝像裝置包括:判定部，使用由上述攝像元件拍攝而獲得的攝像圖像信號，判定上述攝像圖像信號是否受光斑或者重影的至少一方的影響；校正處理部，對上述攝像圖像信號所含的上述第二像素單元的輸出信號，進(jìn)行插值校正處理和增益校正處理的任一個，所述插值校正處理通過使用了上述攝像圖像信號所含的位于上述第二像素單元周圍的多個上述第一像素單元的輸出信號的信號插值來校正該第二像素單元的輸出信號，所述增益校正處理將該第二像素單元的輸出信號乘以增益值來校正該第二像素單元的輸出信號；及圖像數(shù)據(jù)生成部，對由上述校正處理部校正處理后的攝像圖像信號進(jìn)行處理而生成攝像圖像數(shù)據(jù)，上述校正處理部基于上述判定部的判定結(jié)果，決定對上述第二像素單元的輸出信號執(zhí)行上述插值校正處理和上述增益校正處理中的哪一個。
[0174]公開的攝像裝置中，上述校正處理部在判定為未受上述光斑或者重影的至少一方的影響的情況下，對上述第二像素單元的輸出信號進(jìn)行上述插值校正處理和上述增益校正處理的任一個，在判定為受上述光斑或者重影的至少一方的影響的情況下，對上述第二像素單元的輸出信號進(jìn)行上述插值校正處理。
[0175]公開的攝像裝置中，上述判定部使用上述攝像圖像信號，判定上述攝像圖像信號中的受上述光斑或者重影的至少一方的影響的區(qū)域，上述校正處理部對于上述攝像圖像信號中受光斑或者重影的至少一方的影響的區(qū)域中所含的上述第二像素單元的輸出信號進(jìn)行上述插值校正處理，對于上述攝像圖像信號中未受光斑或者重影的至少一方的影響的區(qū)域中所含的上述第二像素單元的輸出信號進(jìn)行上述插值校正處理和上述增益校正處理的任一個。
[0176]公開的攝像裝置中，上述判定部將配置上述第二像素單元的區(qū)域分割為多個塊，使用上述攝像圖像信號算出用于在各塊中通過上述增益校正處理來校正位于該塊內(nèi)的上述第二像素單元的輸出信號所需的增益值即攝像塊增益值，使用上述攝像塊增益值，判定是否受上述光斑或者重影的至少一方的影響。
[0177]公開的攝像裝置中，上述判定部在對于在由上述第二像素單元檢測的兩個像信號的錯開方向上相鄰的兩個上述塊而算出的上述攝像塊增益值的差分即相鄰塊增益值差的最大值和最小值之差超過預(yù)先確定的值的情況下，判定為受光斑或者重影的至少一方的影響。
[0178]公開的攝像裝置具備:存儲部，預(yù)先存儲有基準(zhǔn)塊增益值，該基準(zhǔn)塊增益值是在不產(chǎn)生光斑或者重影的至少一方的條件下使用由上述攝像元件拍攝基準(zhǔn)圖像而獲得的基準(zhǔn)攝像圖像信號算出的對上述各塊的增益值，上述判定部算出上述基準(zhǔn)塊增益值和上述攝像塊增益值的差分即基準(zhǔn)塊增益值差，在對于在由上述第二像素單元檢測的兩個像信號的錯開方向上相鄰的兩個上述塊而算出的上述基準(zhǔn)塊增益值差的差分的最大值和最小值之差超過預(yù)先確定的值的情況下，判定為受光斑或者重影的至少一方的影響。
[0179]公開的攝像裝置中，上述判定部將配置上述第二像素單元的區(qū)域分割為多個塊，使用上述攝像圖像信號算出用于在各塊中通過上述增益校正處理來校正位于該塊內(nèi)的上述第二像素單元的輸出信號所需的增益值即攝像塊增益值，使用該攝像塊增益值，判定受光斑或者重影的至少一方的影響的區(qū)域。
[0180]公開的攝像裝置中，上述判定部對于各塊算出與相鄰的塊的上述攝像塊增益值的差的平均值，并將與該平均值超過預(yù)先確定的值的塊對應(yīng)的信號判定為受光斑或者重影的至少一方的影響的區(qū)域，所述相鄰的塊是在與由上述第二像素單元檢測的兩個像信號的錯開方向正交的方向上相鄰的塊。
[0181]公開的攝像裝置具備:存儲部，預(yù)先存儲有基準(zhǔn)塊增益值，該基準(zhǔn)塊增益值是在不產(chǎn)生光斑或者重影的至少一方的條件下使用由上述攝像元件拍攝基準(zhǔn)圖像而獲得的基準(zhǔn)攝像圖像信號算出的對上述各塊的增益值，上述判定部將與上述基準(zhǔn)塊增益值和上述攝像塊增益值之差超過預(yù)先確定的值的塊對應(yīng)的信號判定為受光斑或者重影的至少一方的影響的區(qū)域。
[0182]公開的信號校正方法，對從攝像元件輸出的攝像圖像信號進(jìn)行校正，該攝像元件包括二維狀配置的、攝像用的多個第一像素單元以及由對通過了攝像透鏡的不同的光瞳區(qū)域的光機(jī)械能受光的多種焦點檢測用的第二像素單元構(gòu)成的多個對，上述信號校正方法包括:判定步驟，使用由上述攝像元件拍攝而獲得的攝像圖像信號，判定上述攝像圖像信號是否受光斑或者重影的至少一方的影響；校正處理步驟，對上述攝像圖像信號所含的上述第二像素單元的輸出信號進(jìn)行插值校正處理和增益校正處理的任一個，所述插值校正處理通過使用了上述攝像圖像信號所含的位于上述第二像素單元周圍的多個上述第一像素單元的輸出信號的信號插值來校正該第二像素單元的輸出信號，所述增益校正處理將該第二像素單元的輸出信號乘以增益值而放大來進(jìn)行校正；及圖像數(shù)據(jù)生成步驟，對由上述校正處理步驟校正處理后的上述攝像圖像信號進(jìn)行處理而生成攝像圖像數(shù)據(jù)，在上述校正處理步驟中，基于上述判定步驟的判定結(jié)果，決定對上述第二像素單元的輸出信號執(zhí)行上述插值校正處理和上述增益校正處理中的哪一個。
[0183]工業(yè)實用性
[0184]根據(jù)本發(fā)明，能夠提供即使是在產(chǎn)生重影或光斑的情況下也不會降低由包括焦點檢測用的像素單元和攝像用的像素單元的攝像元件拍攝而獲得的攝像圖像的質(zhì)量的攝像裝置及信號校正方法。
[0185]對本發(fā)明詳細(xì)地且參照特定的實施方式作了說明，但對于本領(lǐng)域的技術(shù)人員而言顯然在不脫離本發(fā)明的精神和范圍的情況下能夠施加各種變形或修改。
[0186]本申請基于2012年5月10日提出的日本專利申請(特愿2012-108559)和2012年11月15日提出的日本專利申請(特愿2012-251565)，其內(nèi)容作為參照而并入本文中。
[0187]附圖標(biāo)記說明
[0188]5固體攝像元件
[0189]30攝像用像素單元
[0190]3IR、3IL焦點檢測用像素單元
[0191]17數(shù)字信號處理部
【權(quán)利要求】
1.一種攝像裝置，具有攝像元件，該攝像元件包括攝像用的多個第一像素單元和由對通過了攝影透鏡的不同的光瞳區(qū)域的光進(jìn)行受光的多種焦點檢測用的第二像素單元構(gòu)成的多個對，所述攝像裝置包括: 判定部，使用由所述攝像元件拍攝而獲得的攝像圖像信號，判定所述攝像圖像信號是否受光斑或者重影的至少一方的影響； 校正處理部，對所述攝像圖像信號所含的所述第二像素單元的輸出信號，進(jìn)行插值校正處理和增益校正處理的任一個，所述插值校正處理通過使用了所述攝像圖像信號所含的位于所述第二像素單元周圍的多個所述第一像素單元的輸出信號的信號插值來校正該第二像素單元的輸出信號，該增益校正處理將該第二像素單元的輸出信號乘以增益值來校正該第二像素單元的輸出信號；及 圖像數(shù)據(jù)生成部，對由所述校正處理部校正處理后的攝像圖像信號進(jìn)行處理而生成攝像圖像數(shù)據(jù)， 所述校正處理部基于所述判定部的判定結(jié)果，決定對所述第二像素單元的輸出信號執(zhí)行所述插值校正處理和所述增益校正處理中的哪一個。
2.如權(quán)利要求1所述的攝像裝置，其中， 在判定為未受所述光斑或者重影的至少一方的影響的情況下，所述校正處理部對所述第二像素單元的輸出信號進(jìn)行所述插值校正處理和所述增益校正處理中的任一個，在判定為受所述光斑或者重影的至少一方的影響的情況下，所述校正處理部對所述第二像素單元的輸出信號進(jìn)行所述插值校正處理。
3.如權(quán)利要求1所述的攝像裝置，其中， 所述判定部使用所述攝像圖像信號，判定所述攝像圖像信號中的受所述光斑或者重影的至少一方的影響的區(qū)域， 所述校正處理部對于所述攝像圖像信號中受光斑或者重影的至少一方的影響的區(qū)域所含的所述第二像素單元的輸出信號進(jìn)行所述插值校正處理，對于所述攝像圖像信號中未受光斑或者重影的至少一方的影響的區(qū)域所含的所述第二像素單元的輸出信號進(jìn)行所述插值校正處理和所述增益校正處理的任一個。
4.如權(quán)利要求1或2所述的攝像裝置，其中， 所述判定部將配置所述第二像素單元的區(qū)域分割為多個塊，使用所述攝像圖像信號算出用于在各塊中通過所述增益校正處理來校正位于該塊內(nèi)的所述第二像素單元的輸出信號所需的增益值即攝像塊增益值，使用所述攝像塊增益值，判定是否受所述光斑或者重影的至少一方的影響。
5.如權(quán)利要求4所述的攝像裝置，其中， 在對于在由所述第二像素單元檢測的兩個像信號的錯開方向上相鄰的兩個所述塊而算出的所述攝像塊增益值的差分即相鄰塊增益值差的最大值和最小值之差超過預(yù)先確定的值的情況下，所述判定部判定為受光斑或者重影的至少一方的影響。
6.如權(quán)利要求4所述的攝像裝置，其中， 具備存儲部，預(yù)先存儲基準(zhǔn)塊增益值，該基準(zhǔn)塊增益值是在不產(chǎn)生光斑或者重影的至少一方的條件下使用由所述攝像元件拍攝基準(zhǔn)圖像而獲得的基準(zhǔn)攝像圖像信號算出的對所述各塊的增益值， 所述判定部算出所述基準(zhǔn)塊增益值與所述攝像塊增益值的差分即基準(zhǔn)塊增益值差，在對于在由所述第二像素單元檢測的兩個像信號的錯開方向上相鄰的兩個所述塊而算出的所述基準(zhǔn)塊增益值差的差分的最大值和最小值之差超過預(yù)先確定的值的情況下，判定為受光斑或者重影的至少一方的影響。
7.如權(quán)利要求3所述的攝像裝置，其中， 所述判定部將配置所述第二像素單元的區(qū)域分割為多個塊，使用所述攝像圖像信號算出用于在各塊中通過所述增益校正處理校正位于該塊內(nèi)的所述第二像素單元的輸出信號所需的增益值即攝像塊增益值，使用該攝像塊增益值，判定受光斑或者重影的至少一方的影響的區(qū)域。
8.如權(quán)利要求7所述的攝像裝置，其中， 所述判定部對于各塊算出與相鄰的塊的所述攝像塊增益值的差的平均值，并將與該平均值超過預(yù)先確定的值的塊對應(yīng)的信號判定為受光斑或者重影的至少一方的影響的區(qū)域，所述相鄰的塊是在與由所述第二像素單元檢測的兩個像信號的錯開方向正交的方向上相鄰的塊。
9.如權(quán)利要求7所述的攝像裝置，其中， 具備存儲部，預(yù)先存儲基準(zhǔn)塊增益值，該基準(zhǔn)塊增益值是在不產(chǎn)生光斑或者重影的至少一方的條件下使用由所述攝像元件拍攝基準(zhǔn)圖像而獲得的基準(zhǔn)攝像圖像信號算出的對所述各塊的增益值， 所述判定部將與所述基準(zhǔn)塊增益值和所述攝像塊增益值之差超過預(yù)先確定的值的塊對應(yīng)的信號判定為受光斑或者重影的至少一方的影響的區(qū)域。
10.一種信號校正方法，對從攝像元件輸出的攝像圖像信號進(jìn)行校正，該攝像元件包括二維狀配置的、攝像用的多個第一像素單元以及由對通過了攝像透鏡的不同的光瞳區(qū)域的光進(jìn)行受光的多種焦點檢測用的第二像素單元構(gòu)成的多個對，所述信號校正方法包括: 判定步驟，使用由所述攝像元件拍攝而獲得的攝像圖像信號，判定所述攝像圖像信號是否受光斑或者重影的至少一方的影響； 校正處理步驟，對所述攝像圖像信號所含的所述第二像素單元的輸出信號，進(jìn)行插值校正處理和增益校正處理的任一個，所述插值校正處理通過使用了所述攝像圖像信號所含的位于所述第二像素單元周圍的多個所述第一像素單元的輸出信號的信號插值來校正該第二像素單元的輸出信號，所述增益校正處理通過將該第二像素單元的輸出信號乘以增益值而放大來進(jìn)行校正；及 圖像數(shù)據(jù)生成步驟，對由所述校正處理步驟校正處理后的所述攝像圖像信號進(jìn)行處理而生成攝像圖像數(shù)據(jù)， 在所述校正處理步驟中，基于所述判定步驟的判定結(jié)果，決定對所述第二像素單元的輸出信號執(zhí)行所述插值校正處理和所述增益校正處理中的哪一個。
【文檔編號】H04N5/232GK104285435SQ201380024517
【公開日】2015年1月14日 申請日期:2013年4月9日 優(yōu)先權(quán)日:2012年5月10日
【發(fā)明者】菅原一文 申請人:富士膠片株式會社