圖像處理設(shè)備及方法以及具有圖像處理設(shè)備的攝像設(shè)備的制作方法
【專利摘要】本發(fā)明涉及一種圖像處理設(shè)備及方法以及具有圖像處理設(shè)備的攝像設(shè)備。該圖像處理設(shè)備用于對(duì)從攝像元件輸出的拍攝圖像進(jìn)行處理，其中，在該攝像元件中，配置有用于獲取包含由攝像光學(xué)系統(tǒng)所形成的被攝體圖像的光線方向信息的所述拍攝圖像的微透鏡陣列，所述圖像處理設(shè)備具有：再聚焦處理部件，用于基于所述光線方向信息對(duì)獲取到的拍攝圖像執(zhí)行再聚焦處理，并產(chǎn)生重構(gòu)圖像；以及缺陷像素檢測(cè)部件，用于從獲取到的拍攝圖像中檢測(cè)缺陷像素。在獲取了所述拍攝圖像的情況下，進(jìn)行獲取到的拍攝圖像的缺陷像素的檢測(cè)。在指示了所述再聚焦處理的情況下，對(duì)進(jìn)行了缺陷像素檢測(cè)的拍攝圖像進(jìn)行再聚焦處理。
【專利說(shuō)明】圖像處理設(shè)備及方法以及具有圖像處理設(shè)備的攝像設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理設(shè)備，更特別地涉及一種用于對(duì)在前側(cè)具有微透鏡陣列的攝像元件所獲取的拍攝圖像進(jìn)行處理的圖像處理設(shè)備。
【背景技術(shù)】
[0002]在現(xiàn)有技術(shù)中，存在許多諸如電子照相機(jī)等攝像設(shè)備，用于將由諸如(XD、CMOS等的攝像元件所拍攝的靜止圖像或運(yùn)動(dòng)圖像記錄到作為具有存儲(chǔ)元件的存儲(chǔ)卡的記錄介質(zhì)中，或者從該記錄介質(zhì)中再現(xiàn)由諸如<XD、CMOS等的攝像元件拍攝所拍攝的靜止圖像或運(yùn)動(dòng)圖像。
[0003]日本特開(kāi)昭61-261974已經(jīng)提出了關(guān)于這種攝像設(shè)備的技術(shù)的例子。這種攝像設(shè)備以如下方式構(gòu)造:以一個(gè)微透鏡對(duì)應(yīng)預(yù)定數(shù)量的多個(gè)像素的比率來(lái)配置微透鏡的微透鏡陣列(以下簡(jiǎn)稱MLA)設(shè)置在攝像元件的前側(cè)，從而還能夠獲取入射到攝像元件的光線的入射方向信息(光線方向信息)。
[0004]盡管在Ren.Ng.和另外 7 人，“Light Field Photography with a Hand-HeldPlenoptic Camera”, Stanford Tech Report CTSR2005-02 中，這種攝像設(shè)備被稱為手持式全光照相機(jī)，通常還稱為“光場(chǎng)照相機(jī)”。
[0005]作為這種攝像設(shè)備的一個(gè)應(yīng)用，基于各個(gè)像素的輸出信號(hào)來(lái)生成普通的拍攝圖像。作為另一個(gè)應(yīng)用，對(duì)拍攝圖像執(zhí)行基于光線方向信息的預(yù)定圖像處理，以重構(gòu)聚焦于任意焦距的圖像(這種處理稱為再聚焦處理)，等等。
[0006]另一方面，在近年來(lái)的電子照相機(jī)中，存在很多配備有具有成百上千萬(wàn)像素的攝像元件的照相機(jī)。然而，實(shí)際上，全部像素都適當(dāng)?shù)剞D(zhuǎn)換為與入射光量相對(duì)應(yīng)的電信號(hào)的攝像元件的制造是非常困難的。因此，若干不能正常運(yùn)行的“缺陷像素”混合地存在于攝像元件的“像素”中。
[0007]在現(xiàn)有技術(shù)的攝像設(shè)備中，使用缺陷像素的周邊像素的圖像信號(hào)來(lái)進(jìn)行插值處理等，以校正最終生成的圖像。
[0008]存在若干檢測(cè)作為校正對(duì)象的缺陷像素的方法。例如，在日本特開(kāi)昭61-261974和日本特開(kāi)2005-026794中，已經(jīng)提出了如下方法:在攝像設(shè)備或攝像元件的制造步驟中，基于拍攝圖像將缺陷像素的地址記錄并存儲(chǔ)至攝像設(shè)備的存儲(chǔ)器中。
[0009]存在作為另一種檢測(cè)方法的如下實(shí)時(shí)缺陷像素檢測(cè)方法:每次在攝像設(shè)備進(jìn)行拍攝時(shí)，基于與拍攝圖像的周邊像素的圖像信號(hào)的電平差等，來(lái)識(shí)別缺陷像素。日本特開(kāi)2005-286825等提出了這一方法。
[0010]然而，在具有上述MLA的攝像設(shè)備的拍攝中，為了實(shí)現(xiàn)缺陷像素的實(shí)時(shí)檢測(cè)，出現(xiàn)了以下問(wèn)題。
[0011]即，在缺陷像素的實(shí)時(shí)檢測(cè)方法中，基于檢測(cè)對(duì)象像素與其周邊像素之間的電平差，來(lái)判斷出檢測(cè)對(duì)象像素是否是缺陷像素。然而，在具有上述MLA的攝像設(shè)備中，以用于執(zhí)行諸如再聚焦處理等的預(yù)定圖像處理的重構(gòu)為前提的攝像設(shè)備具有如下問(wèn)題。即，在從攝像元件進(jìn)行讀取時(shí)或者在存儲(chǔ)圖像數(shù)據(jù)時(shí)的像素信號(hào)并非總是與被攝體圖像的位置關(guān)系相對(duì)應(yīng)地進(jìn)行排列，因而，該圖像數(shù)據(jù)可能不適合于直接顯示以進(jìn)行觀察。因此，如果原樣使用這種排列方式，難以如日本特開(kāi)2005-286825所示根據(jù)缺陷像素的周邊像素的信號(hào)來(lái)判斷檢測(cè)對(duì)象像素是否是缺陷。
[0012]但是，為了檢測(cè)缺陷像素，如果為了獲取適合于直接顯示以對(duì)檢測(cè)用圖像進(jìn)行觀察的圖像數(shù)據(jù)而執(zhí)行某一重構(gòu)處理，在重構(gòu)后獲取到的圖像的一個(gè)像素信號(hào)成為通過(guò)對(duì)多個(gè)攝像元件的像素信號(hào)進(jìn)行相加所生成的信號(hào)。因此，根據(jù)重構(gòu)圖像的像素信號(hào)，很難檢測(cè)攝像元件的哪個(gè)像素是缺陷像素。

【發(fā)明內(nèi)容】

[0013]因此，本發(fā)明的一個(gè)方面提供了一種用于對(duì)由具有MLA的攝像元件獲取的拍攝圖像進(jìn)行適當(dāng)?shù)娜毕菹袼貦z測(cè)的圖像處理設(shè)備、圖像處理方法以及程序。
[0014]為解決上述問(wèn)題，根據(jù)本發(fā)明的第一方面，提供了一種圖像處理設(shè)備，其用于對(duì)從攝像元件輸出的拍攝圖像進(jìn)行處理，其中，在該攝像元件中，配置有用于獲取包含由攝像光學(xué)系統(tǒng)所形成的被攝體圖像的光線方向信息的拍攝圖像的微透鏡陣列，所述圖像處理設(shè)備包括:獲取部件，用于獲取從所述攝像元件輸出的拍攝圖像；再聚焦處理部件，用于基于所述光線方向信息對(duì)獲取到的拍攝圖像進(jìn)行再聚焦處理，并生成重構(gòu)圖像；缺陷像素檢測(cè)部件，用于從獲取到的拍攝圖像中檢測(cè)缺陷像素；以及控制部件，用于控制所述再聚焦處理部件和所述缺陷像素檢測(cè)部件，以使得在所述獲取部件獲取到所述拍攝圖像的情況下，進(jìn)行獲取到的拍攝圖像的缺陷像素的檢測(cè)，并在指示了所述再聚焦處理的情況下，對(duì)進(jìn)行了缺陷像素的檢測(cè)的拍攝圖像進(jìn)行再聚焦處理。
[0015]根據(jù)本發(fā)明的第二方面，提供了一種圖像處理方法，用于對(duì)從攝像元件輸出的拍攝圖像進(jìn)行處理，其中，在該攝像元件中，配置有用于獲取包含由攝像光學(xué)系統(tǒng)所形成的被攝體圖像的光線方向信息的拍攝圖像的微透鏡陣列，所述圖像處理方法包括:獲取步驟，用于獲取從所述攝像元件輸出的拍攝圖像；再聚焦處理步驟，用于利用再聚焦處理單元、基于所述光線方向信息對(duì)獲取到的拍攝圖像進(jìn)行再聚焦處理，并生成重構(gòu)圖像；缺陷像素檢測(cè)步驟，用于利用缺陷像素檢測(cè)單元從獲取到的拍攝圖像中檢測(cè)缺陷像素；以及控制步驟，用于控制所述再聚焦處理單元和所述缺陷像素檢測(cè)單元，以使得在所述獲取步驟獲取到所述拍攝圖像的情況下，進(jìn)行獲取到的拍攝圖像的缺陷像素的檢測(cè)，并在指示了所述再聚焦處理的情況下，對(duì)進(jìn)行了缺陷像素的檢測(cè)的拍攝圖像進(jìn)行再聚焦處理。
[0016]根據(jù)本發(fā)明的第三方面，提供了一種攝像設(shè)備，包括:攝像光學(xué)系統(tǒng)；攝像元件，其中，配置有用于獲取包含由所述攝像光學(xué)系統(tǒng)所形成的被攝體圖像的光線方向信息的拍攝圖像的微透鏡陣列；根據(jù)如上所述的圖像處理設(shè)備；以及輸出部件，用于輸出所述拍攝圖像和所述重構(gòu)圖像至少之一。
[0017]通過(guò)以下參考附圖對(duì)典型實(shí)施例的說(shuō)明，本發(fā)明的其它特征將變得明顯。
【專利附圖】

【附圖說(shuō)明】
[0018]包含在說(shuō)明書(shū)中并構(gòu)成說(shuō)明書(shū)的一部分的附圖示出本發(fā)明的典型實(shí)施例、特征和方面，并和說(shuō)明書(shū)一起用來(lái)解釋本發(fā)明的原理。[0019]圖1是根據(jù)本發(fā)明第一實(shí)施例的攝像設(shè)備的框圖。
[0020]圖2是根據(jù)圖1所示的攝像設(shè)備的攝像光學(xué)系統(tǒng)的構(gòu)造的框圖。
[0021]圖3是示意性地示出圖1中的攝像設(shè)備的攝像元件的像素陣列的圖。
[0022]圖4是構(gòu)成圖3中的像素陣列的單元像素的結(jié)構(gòu)圖。
[0023]圖5是從被攝體方向觀察圖2的攝像光學(xué)系統(tǒng)中的攝像鏡頭的孔徑的情況下的圖。
[0024]圖6是示出在圖2的攝像光學(xué)系統(tǒng)中來(lái)自被攝體的光線軌跡的圖。
[0025]圖7A和7B是描述由圖2的攝像光學(xué)系統(tǒng)所執(zhí)行的被攝體距離檢測(cè)操作的圖。
[0026]圖8是示出根據(jù)本發(fā)明第一實(shí)施例的攝像設(shè)備的拍攝操作的流程的圖。
[0027]圖9是示出根據(jù)本發(fā)明第一實(shí)施例的缺陷像素檢測(cè)操作的流程的圖。
[0028]圖1OA和IOB是描述根據(jù)本發(fā)明第一實(shí)施例的缺陷像素的檢測(cè)方法的圖。
[0029]圖11是示出根據(jù)本發(fā)明第二實(shí)施例的攝像設(shè)備的拍攝操作的流程的圖。
【具體實(shí)施方式】
[0030]下面將根據(jù)附圖詳細(xì)說(shuō)明本發(fā)明的各個(gè)典型實(shí)施例、特征和方面。
[0031]第一實(shí)施例
[0032]圖1是根據(jù)本發(fā)明第一實(shí)施例的攝像設(shè)備的框圖。
[0033]在圖1中，設(shè)置有諸如透鏡等用于進(jìn)行拍攝的光學(xué)系統(tǒng)101、機(jī)械快門102、以及用于將入射光轉(zhuǎn)換為電信號(hào)的攝像元件103。攝像元件103具有:用于將入射光轉(zhuǎn)換為電信號(hào)的光電轉(zhuǎn)換單元104和用于放大電信號(hào)的信號(hào)放大單元105。
[0034]模擬信號(hào)處理單元106獲取從攝像元件103輸出的圖像信號(hào)，并對(duì)該圖像信號(hào)進(jìn)行模擬信號(hào)處理。模擬信號(hào)處理單元106具有:用于放大模擬信號(hào)的信號(hào)放大器107、用于進(jìn)行水平OB箝位的箝位單元108和用于將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)的A/D轉(zhuǎn)換器109。
[0035]定時(shí)信號(hào)生成單元110生成用于使攝像元件103和模擬信號(hào)處理單元106運(yùn)行的信號(hào)。驅(qū)動(dòng)單元111驅(qū)動(dòng)光學(xué)系統(tǒng)101和機(jī)械快門102。數(shù)字信號(hào)處理單元112對(duì)拍攝圖像數(shù)據(jù)執(zhí)行必要的數(shù)字信號(hào)處理。數(shù)字信號(hào)處理單元112包括:圖像校正單元113、用于根據(jù)本實(shí)施例進(jìn)行缺陷像素檢測(cè)的缺陷像素檢測(cè)單元114、用于放大數(shù)字信號(hào)的信號(hào)放大單元115、以及用于對(duì)圖像數(shù)據(jù)執(zhí)行必要的圖像處理的圖像處理單元116。
[0036]圖像存儲(chǔ)器117存儲(chǔ)進(jìn)行了信號(hào)處理的圖像數(shù)據(jù)。圖像記錄介質(zhì)(作為記錄介質(zhì)示出)118可與攝像設(shè)備相分離。記錄單元119將進(jìn)行了信號(hào)處理的圖像數(shù)據(jù)記錄到圖像記錄介質(zhì)118。圖像顯示設(shè)備120顯示進(jìn)行了信號(hào)處理的圖像數(shù)據(jù)。顯示單元121將圖像顯示在圖像顯示設(shè)備120上。
[0037]系統(tǒng)控制單元122對(duì)攝像設(shè)備進(jìn)行總體控制。非易失性存儲(chǔ)器(ROM) 123存儲(chǔ):表示系統(tǒng)控制單元122所執(zhí)行的控制方法的程序、執(zhí)行程序時(shí)使用的諸如參數(shù)、表格等的控制數(shù)據(jù)、以及諸如缺陷地址等的校正數(shù)據(jù)。當(dāng)系統(tǒng)控制單元122控制攝像設(shè)備時(shí)，使用易失性存儲(chǔ)器(RAM) 124，存儲(chǔ)于非易失性存儲(chǔ)器123的程序、控制數(shù)據(jù)和校正數(shù)據(jù)被傳送并存儲(chǔ)至易失性存儲(chǔ)器(RAM) 124中。
[0038]拍攝模式設(shè)置單元125進(jìn)行諸如ISO感光度設(shè)置等的拍攝條件的設(shè)置以及靜止圖像拍攝和實(shí)時(shí)取景驅(qū)動(dòng)之間的切換等等。[0039]以下將說(shuō)明根據(jù)本實(shí)施例的上述構(gòu)成的攝像設(shè)備的拍攝操作。
[0040]假設(shè)在拍攝操作之前，在系統(tǒng)控制單元122開(kāi)始工作時(shí)，例如在攝像設(shè)備電源接通時(shí)等，必要的程序、控制數(shù)據(jù)以及校正數(shù)據(jù)從非易失性存儲(chǔ)器123傳送并存儲(chǔ)到易失性存儲(chǔ)器124中。在系統(tǒng)控制單元122控制攝像設(shè)備時(shí)使用這些程序和數(shù)據(jù)。盡管如此，系統(tǒng)控制單元122也可以以如下方式來(lái)構(gòu)成:在必要時(shí)附加的程序和數(shù)據(jù)能夠從非易失性存儲(chǔ)器123傳送到易失性存儲(chǔ)器124，或者存儲(chǔ)在非易失性存儲(chǔ)器123中的數(shù)據(jù)能夠被直接讀出并使用。
[0041]首先，利用來(lái)自系統(tǒng)控制單元122的控制信號(hào)來(lái)驅(qū)動(dòng)諸如透鏡等的光學(xué)系統(tǒng)101，并在攝像元件103上形成已設(shè)置了適當(dāng)亮度的被攝體圖像。接著，在靜止圖像拍攝模式下，利用來(lái)自系統(tǒng)控制單元122的控制信號(hào)來(lái)驅(qū)動(dòng)機(jī)械快門102，以根據(jù)攝像元件103的操作來(lái)對(duì)攝像元件103進(jìn)行遮光，從而獲取到必要的曝光時(shí)間。此時(shí)，如果攝像元件103具有電子快門功能，則可利用與機(jī)械快門102的協(xié)作來(lái)確保必要的曝光時(shí)間。在運(yùn)動(dòng)圖像拍攝模式以及實(shí)時(shí)取景驅(qū)動(dòng)模式下，利用來(lái)自系統(tǒng)控制單元122的控制信號(hào)，將機(jī)械快門102維持在完全打開(kāi)狀態(tài)，以在拍攝期間始終對(duì)攝像兀件103進(jìn)彳丁曝光。
[0042]攝像元件103由對(duì)應(yīng)于系統(tǒng)控制單元122所控制的定時(shí)信號(hào)生成電路110生成的操作脈沖的驅(qū)動(dòng)脈沖來(lái)驅(qū)動(dòng)。光電轉(zhuǎn)換單元104利用光電轉(zhuǎn)換將被攝體圖像轉(zhuǎn)換為電信號(hào)。信號(hào)放大單元105將電信號(hào)乘以根據(jù)入射光量而設(shè)置的放大系數(shù)，并輸出作為模擬圖像信號(hào)的結(jié)果信號(hào)。
[0043]利用系統(tǒng)控制單元122所控制的定時(shí)信號(hào)生成電路110生成的操作脈沖，模擬信號(hào)處理單元106對(duì)從攝像元件103輸出的模擬圖像信號(hào)進(jìn)行處理。首先，PGA單元107乘以根據(jù)入射光量而設(shè)置的放大系數(shù)的增益。箝位單元108對(duì)在水平OB區(qū)域中輸出的信號(hào)進(jìn)行箝位以作為基準(zhǔn)電壓。A/D轉(zhuǎn)換器109將已箝位的信號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)。
[0044]接著，系統(tǒng)控制單元122所控制的數(shù)字信號(hào)處理單元112，對(duì)從模擬信號(hào)處理單元106輸出的數(shù)字圖像信號(hào)進(jìn)行諸如顏色轉(zhuǎn)換、白平衡和伽馬校正等的圖像處理，分辨率轉(zhuǎn)換處理，以及圖像壓縮處理等。
[0045]首先，在圖像校正單元113中，校正缺陷像素，執(zhí)行諸如暗陰影校正(dark shadingcorrection)等的各種類型的圖像校正處理。缺陷像素檢測(cè)單元114從拍攝圖像中檢測(cè)缺陷像素。由圖像校正單元113校正的缺陷像素是在攝像元件103的制造步驟等中預(yù)先檢測(cè)出的像素，并在該步驟中記錄了諸如這種像素的位置等的信息。由缺陷像素檢測(cè)單元114檢測(cè)的缺陷像素是如下像素:在攝像元件103的制造步驟等中沒(méi)有被檢測(cè)出并且在后續(xù)步驟中新成為缺陷的像素，或者諸如在每次拍攝時(shí)變成缺陷或沒(méi)有變成缺陷的RTS噪聲等的像素。
[0046]在此之后，在信號(hào)放大單元115中，乘以根據(jù)入射光量而設(shè)置的放大系數(shù)的增益。在圖像處理單元116中，執(zhí)行諸如顏色轉(zhuǎn)換、白平衡和伽馬校正等的圖像處理，以及諸如分辨率轉(zhuǎn)換處理、圖像壓縮處理等的各種類型的圖像處理。在圖像處理單元116中，還執(zhí)行上述的基于光線方向信息的再聚焦處理。
[0047]圖像存儲(chǔ)器117用于暫存信號(hào)處理期間的數(shù)字圖像信號(hào)，或者存儲(chǔ)作為進(jìn)行了信號(hào)處理的數(shù)字圖像信號(hào)的圖像數(shù)據(jù)。在數(shù)字信號(hào)處理單元112中進(jìn)行了信號(hào)處理的圖像數(shù)據(jù)和存儲(chǔ)在圖像存儲(chǔ)器117中的圖像數(shù)據(jù)被輸入到記錄單元119并被轉(zhuǎn)換為適合于圖像記錄介質(zhì)118的數(shù)據(jù)(例如，具有層結(jié)構(gòu)的文件系統(tǒng)數(shù)據(jù))。將轉(zhuǎn)換了的圖像數(shù)據(jù)記錄到記錄介質(zhì)118中。還將圖像數(shù)據(jù)輸入至數(shù)字信號(hào)處理單元112中，并對(duì)其進(jìn)行分辨率轉(zhuǎn)換處理。之后，顯示單元121將圖像數(shù)據(jù)轉(zhuǎn)換成適合于圖像顯示設(shè)備120的信號(hào)(例如，NTSC系統(tǒng)的模擬信號(hào)等)，由此在圖像顯示設(shè)備120上顯示圖像數(shù)據(jù)。
[0048]這里，響應(yīng)于來(lái)自系統(tǒng)控制單元122的控制信號(hào)，數(shù)字信號(hào)處理單元112可以在不對(duì)數(shù)字圖像信號(hào)進(jìn)行任何信號(hào)處理的情況下，將該數(shù)字圖像信號(hào)輸出到圖像存儲(chǔ)器117或記錄單元119中。在存在來(lái)自系統(tǒng)控制單元122的請(qǐng)求時(shí)，數(shù)字信號(hào)處理單元112將在信號(hào)處理步驟中所生成的數(shù)字圖像信號(hào)或圖像數(shù)據(jù)的信息輸出給系統(tǒng)控制單元122。例如，圖像數(shù)據(jù)的信息為諸如圖像的空間頻率、指定區(qū)域的平均值、壓縮圖像的數(shù)據(jù)量等的信息，或者從中提取的信息。另外，當(dāng)存在來(lái)自系統(tǒng)控制單元122的請(qǐng)求時(shí)，記錄單元119將諸如圖像記錄介質(zhì)118的類型、可用空間等的信息輸出給系統(tǒng)控制單元122。
[0049]將說(shuō)明在將圖像數(shù)據(jù)記錄到圖像記錄介質(zhì)118的情況下所進(jìn)行的再現(xiàn)操作。
[0050]根據(jù)來(lái)自系統(tǒng)控制單元122的控制信號(hào)，記錄單元119從圖像記錄介質(zhì)118中讀出圖像數(shù)據(jù)。類似地，如果圖像數(shù)據(jù)為壓縮圖像，響應(yīng)于來(lái)自系統(tǒng)控制單元122的控制信號(hào)，數(shù)字信號(hào)處理單元112執(zhí)行圖像擴(kuò)展處理，并將擴(kuò)展后的數(shù)據(jù)存儲(chǔ)到圖像存儲(chǔ)器117。數(shù)字信號(hào)處理單元112對(duì)存儲(chǔ)在圖像存儲(chǔ)器117中的圖像數(shù)據(jù)進(jìn)行再聚焦處理和分辨率轉(zhuǎn)換處理。之后，顯示單元121將圖像數(shù)據(jù)轉(zhuǎn)換成適合于圖像顯示設(shè)備120的信號(hào)，由此在圖像顯示設(shè)備120上顯示圖像數(shù)據(jù)。
[0051]圖2是示出在根據(jù)本實(shí)施例的攝像設(shè)備的攝像光學(xué)系統(tǒng)的結(jié)構(gòu)的框圖。在該圖中，與圖1中基本相同的構(gòu)成要素由相同的附圖標(biāo)記表示，并省略其說(shuō)明。
[0052]在圖2中，設(shè)置了攝像鏡頭201和作為攝像元件103的構(gòu)成要素的MLA202。同樣作為攝像元件103的構(gòu)成要素的傳感器陣列203包括多個(gè)像素(光電轉(zhuǎn)換元件)的陣列。附圖標(biāo)記204表示被攝體。
[0053]將參照?qǐng)D2說(shuō)明根據(jù)本實(shí)施例的攝像設(shè)備的拍攝操作。
[0054]在驅(qū)動(dòng)單元111打開(kāi)機(jī)械快門102的狀態(tài)下，利用攝像鏡頭201將被攝體204的圖像形成在攝像元件103上。入射到攝像元件103上的光信號(hào)被MLA202中的各個(gè)微透鏡(以下簡(jiǎn)稱ML)進(jìn)一步會(huì)聚，并入射到傳感器陣列203的各個(gè)像素中。下文將參照?qǐng)D3說(shuō)明MLA202和傳感器陣列203的結(jié)構(gòu)。入射到傳感器陣列203的光信號(hào)在攝像元件103的各個(gè)像素中進(jìn)行光電轉(zhuǎn)換，并作為電信號(hào)輸出。以與參照?qǐng)D1所描述的方式相同的方式執(zhí)行后續(xù)的處理。
[0055]圖3是示意性地示出在從被攝體側(cè)觀察根據(jù)本實(shí)施例的攝像設(shè)備中使用的攝像元件的情況下的像素陣列的圖。
[0056]在圖3中，單元像素301與重構(gòu)后的圖像的一個(gè)像素相對(duì)應(yīng)。單元像素301由預(yù)定數(shù)量(6行X6列)的光電轉(zhuǎn)換元件(以下又稱為分割像素(division pixels))302構(gòu)成。
[0057]在本實(shí)施例中，如圖2、3及6所示，為便于說(shuō)明，將傳感器陣列的像素陣列設(shè)置為5行X5列的單元像素陣列，每一個(gè)單元像素由6行X6列的分割像素組成。然而，在實(shí)際的攝像設(shè)備中，認(rèn)為設(shè)置有成百上千萬(wàn)的單元像素。
[0058]圖4是示出單元像素301中的分割像素的陣列排列的圖。[0059]如圖3所示，通過(guò)排列36個(gè)(=6X6)分割像素302來(lái)構(gòu)成單元像素301。為了后續(xù)的說(shuō)明，在本實(shí)施例中，假設(shè)將36個(gè)分割像素302分別標(biāo)記為圖4所示的pn至p66。
[0060]圖5是示出在從被攝體方向觀察攝像鏡頭201的孔徑的情況下的光瞳分割圖。
[0061]如圖5所示，在將攝像鏡頭201的光瞳區(qū)域分割為數(shù)量與一個(gè)ML中存在的像素的數(shù)量相同的區(qū)域的情況下，來(lái)自攝像鏡頭201的一個(gè)光瞳分割區(qū)域的光線的圖像形成在一個(gè)分割像素中。現(xiàn)在假設(shè)攝像鏡頭和ML的F值幾乎相同。在將圖5示出的攝像鏡頭的光瞳分割區(qū)域分別標(biāo)記為an至a66的情況下，當(dāng)從光軸的方向觀察時(shí)，攝像鏡頭的光瞳分割區(qū)域an至a66與圖4所示的分割像素區(qū)域P11至P66之間是點(diǎn)對(duì)稱的對(duì)應(yīng)關(guān)系。因此，從攝像鏡頭的光瞳分割區(qū)域an出射的光圖像形成在位于ML后方的單元像素301的分割像素pn中。以與上述的方式相同的方式，從光瞳分割區(qū)域an出射并穿過(guò)另一個(gè)ML的光圖像也形成在位于該ML后方的單元像素301的分割像素P11中。
[0062]圖6是示出在根據(jù)本實(shí)施例的攝像光學(xué)系統(tǒng)中，從位于不同距離處的被攝體入射的光線軌跡的圖。
[0063]在圖6中，從攝像鏡頭201的光瞳區(qū)域B1至a6出射并穿過(guò)ML的光分別被后方對(duì)應(yīng)的單元像素的分割像素P1至P6接收。
[0064]被攝體601a是位于如下位置處的被攝體:攝像鏡頭201將該被攝體的圖像形成在包括MLA202的平面A上。在從被攝體601a出射的光線中，用實(shí)線表示穿過(guò)攝像鏡頭的最外周并經(jīng)由存在于光軸上的ML入射到傳感器陣列203上的光線。
[0065]被攝體601b是在從攝像鏡頭201進(jìn)行觀察的情況下，位于比被攝體601a更遠(yuǎn)的位置處的被攝體。攝像鏡頭201所形成的被攝體601b的圖像形成在比包括MLA202的平面A更靠近攝像鏡頭的平面B上。在從被攝體601b出射的光線中，用虛線表示穿過(guò)攝像鏡頭的最外周并經(jīng)由存在于光軸上的ML入射到傳感器陣列203上的光線。
[0066]被攝體601c是在從攝像鏡頭201進(jìn)行觀察的情況下、位于比被攝體601a更近的位置處的被攝體。攝像鏡頭201形成的被攝體601c的圖像形成在比包括MLA202的平面A更遠(yuǎn)離攝像鏡頭的平面C上。在從被攝體601c出射的光線中，用點(diǎn)劃線表示穿過(guò)攝像鏡頭的最外周并經(jīng)由存在于光軸上的ML入射到傳感器陣列203上的光線。
[0067]如圖6示出的各光線的光線軌跡所表示的那樣，來(lái)自被攝體的光線所入射的傳感器陣列203中的分割像素，根據(jù)攝像鏡頭201到被攝體601的距離而不同。這種距離與分割像素之間的位置關(guān)系給出了光線方向信息。通過(guò)使用這一原理，具有上述的結(jié)構(gòu)的攝像設(shè)備在拍攝之后重構(gòu)圖像信號(hào)，從而能夠生成聚焦到位于不同距離處的被攝體上的圖像(再聚焦處理)。
[0068]如參照?qǐng)D6說(shuō)明的那樣，由于圖4所示的分割像素P11至P66接收了穿過(guò)攝像鏡頭的不同光瞳區(qū)域的光，因此還能夠通過(guò)使用這些信息來(lái)執(zhí)行用于檢測(cè)到被攝體的距離的操作。
[0069]圖7A和7B是描述根據(jù)本實(shí)施例的攝像設(shè)備中被攝體距離的檢測(cè)操作的圖。
[0070]如圖7A所示，將與各個(gè)微透鏡相對(duì)應(yīng)的分割像素的輸出P11至P66相加，形成在水平方向上進(jìn)行光瞳分割而得到的兩個(gè)信號(hào)，如下面的等式(I)和(2)所示:
【權(quán)利要求】
1.一種圖像處理設(shè)備，用于對(duì)從攝像元件輸出的拍攝圖像進(jìn)行處理，其中，在該攝像元件中，配置有用于獲取包含由攝像光學(xué)系統(tǒng)所形成的被攝體圖像的光線方向信息的拍攝圖像的微透鏡陣列，所述圖像處理設(shè)備包括: 獲取部件，用于獲取從所述攝像元件輸出的拍攝圖像； 再聚焦處理部件，用于基于所述光線方向信息對(duì)獲取到的拍攝圖像進(jìn)行再聚焦處理，并生成重構(gòu)圖像； 缺陷像素檢測(cè)部件，用于從獲取到的拍攝圖像中檢測(cè)缺陷像素；以及控制部件，用于控制所述再聚焦處理部件和所述缺陷像素檢測(cè)部件，以使得在所述獲取部件獲取到所述拍攝圖像的情況下，進(jìn)行獲取到的拍攝圖像的缺陷像素的檢測(cè)，并在指示了所述再聚焦處理的情況下，對(duì)進(jìn)行了缺陷像素的檢測(cè)的拍攝圖像進(jìn)行再聚焦處理。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，構(gòu)成所述微透鏡陣列的各個(gè)微透鏡與構(gòu)成所述攝像元件的光電轉(zhuǎn)換元件中的預(yù)定數(shù)量的光電轉(zhuǎn)換元件相對(duì)應(yīng)，以及 所述缺陷像素檢測(cè)部件計(jì)算所述預(yù)定數(shù)量的光電轉(zhuǎn)換元件的輸出值的標(biāo)準(zhǔn)偏差，并基于計(jì)算出的標(biāo)準(zhǔn)偏差的值，決定是否根據(jù)所述預(yù)定數(shù)量的光電轉(zhuǎn)換元件的輸出進(jìn)行缺陷像素的檢測(cè)。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述缺陷像素檢測(cè)部件將與所述預(yù)定數(shù)量的光電轉(zhuǎn)換元件的輸出中的、相對(duì)于所述預(yù)定數(shù)量的光電轉(zhuǎn)換元件的輸出的平均值的差值不在預(yù)定范圍內(nèi)的輸出相對(duì)應(yīng)的光電轉(zhuǎn)換元件檢測(cè)為缺陷像素。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，如果與各個(gè)微透鏡相對(duì)應(yīng)的所述預(yù)定數(shù)量的光電轉(zhuǎn)換元件的各個(gè)光電轉(zhuǎn)換元件的輸出和多個(gè)周邊光電轉(zhuǎn)換元件各自的輸出之間的差值不等于預(yù)定范圍內(nèi)的值，則所述缺陷像素檢測(cè)部件將所述各個(gè)光電轉(zhuǎn)換元件檢測(cè)為缺陷像素。
5.根據(jù)權(quán)利要求3或4所述的圖像處理設(shè)備，其中，如果基于計(jì)算出的標(biāo)準(zhǔn)偏差的值決定進(jìn)行缺陷像素的檢測(cè)，則所述缺陷像素檢測(cè)部件根據(jù)計(jì)算出的標(biāo)準(zhǔn)偏差的值來(lái)改變所述預(yù)定范圍的大小。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，在所述預(yù)定數(shù)量的光電轉(zhuǎn)換元件的輸出的標(biāo)準(zhǔn)偏差的值小的情況下，所述缺陷像素檢測(cè)部件減小所述預(yù)定范圍的大小。
7.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，如果基于計(jì)算出的標(biāo)準(zhǔn)偏差的值決定進(jìn)行缺陷像素的檢測(cè)，則所述缺陷像素檢測(cè)部件根據(jù)所述預(yù)定數(shù)量的光電轉(zhuǎn)換元件的周邊拍攝圖像的離焦量來(lái)改變所述預(yù)定范圍的大小。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，還包括: 再聚焦距離設(shè)置部件，用于設(shè)置由所述再聚焦處理部件生成的重構(gòu)圖像的被攝體距離。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，還包括: 第一缺陷像素校正部件，用于對(duì)由所述缺陷像素檢測(cè)部件檢測(cè)到的缺陷像素進(jìn)行校正。
10.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中，還包括: 存儲(chǔ)器，用于記錄構(gòu)成所述攝像元件的光電轉(zhuǎn)換元件的缺陷像素的位置；以及 第二缺陷像素校正部件，用于基于所記錄的位置來(lái)校正缺陷像素的信號(hào)。
11.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中，還包括: 第三缺陷像素校正部件，用于檢測(cè)并校正由所述再聚焦處理部件生成的重構(gòu)圖像的缺陷像素。
12.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述控制部件根據(jù)所述缺陷像素檢測(cè)部件的缺陷像素的檢測(cè)結(jié)果，決定是否進(jìn)行利用所述第三缺陷像素校正部件的所述重構(gòu)圖像的缺陷像素的校正。
13.根據(jù)權(quán)利要求9或10所述的圖像處理設(shè)備，其中，所述控制部件保留所述缺陷像素檢測(cè)部件的缺陷像素的檢測(cè)結(jié)果，控制所述第一缺陷像素校正部件，并基于所保留的檢測(cè)結(jié)果進(jìn)行所述重構(gòu)圖像的缺陷像素的校正。
14.一種圖像處理方法，用于對(duì)從攝像元件輸出的拍攝圖像進(jìn)行處理，其中，在該攝像元件中，配置有用于獲取包含由攝像光學(xué)系統(tǒng)所形成的被攝體圖像的光線方向信息的拍攝圖像的微透鏡陣列，所述圖像處理方法包括: 獲取步驟，用于獲取從所述攝像元件輸出的拍攝圖像； 再聚焦處理步驟，用于利用再聚焦處理單元、基于所述光線方向信息對(duì)獲取到的拍攝圖像進(jìn)行再聚焦處理，并生成重構(gòu)圖像； 缺陷像素檢測(cè)步驟，用于利用缺陷像素檢測(cè)單元從獲取到的拍攝圖像中檢測(cè)缺陷像素；以及 控制步驟，用于控制所述再聚焦處理單元和所述缺陷像素檢測(cè)單元，以使得在所述獲取步驟獲取到所述拍攝圖像的情況下，進(jìn)行獲取到的拍攝圖像的缺陷像素的檢測(cè)，并在指示了所述再聚焦處理的情況下，對(duì)進(jìn)行了缺陷像素的檢測(cè)的拍攝圖像進(jìn)行再聚焦處理。
15.一種攝像設(shè)備，包括: 攝像光學(xué)系統(tǒng)； 攝像元件，其中，配置有用于獲取包含由所述攝像光學(xué)系統(tǒng)所形成的被攝體圖像的光線方向信息的拍攝圖像的微透鏡陣列； 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備；以及 輸出部件，用于輸出所述拍攝圖像和所述重構(gòu)圖像至少之一。
【文檔編號(hào)】H04N5/367GK103685920SQ201310412980
【公開(kāi)日】2014年3月26日 申請(qǐng)日期:2013年9月11日 優(yōu)先權(quán)日:2012年9月11日
【發(fā)明者】鈴木聰史, 小林寬和 申請(qǐng)人:佳能株式會(huì)社