專利名稱：圖像拍攝裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用圖像恢復(fù)來改善由圖像拍攝系統(tǒng)的光學(xué)特性引起的圖像質(zhì)量的 劣化的圖像拍攝裝置及圖像處理方法。
背景技術(shù)：
作為校正拍攝圖像中的模糊分量的劣化的方法，已知有一種使用物鏡(objective lens)的光學(xué)傳遞函數(shù)(OTF)信息的校正方法。該方法一般被稱作“圖像恢復(fù)(image recovery) ”或者“圖像復(fù)原(image restoration) ”，因此，通過該方法執(zhí)行的校正處理將被 描述為“圖像恢復(fù)”或者更簡單地稱作“恢復(fù)”。由于物鏡的OTF依據(jù)焦距改變，因此基于該OTF生成、并應(yīng)用于圖像恢復(fù)處理的恢 復(fù)濾波器也依據(jù)物鏡的焦距而不同。因此，存在針對恢復(fù)濾波器的最佳物距。如果不考慮 被攝體是物距與恢復(fù)濾波器不匹配的失焦(out-of-focus)被攝體這一事實(shí)、而針對該被 攝體執(zhí)行恢復(fù)處理，則產(chǎn)生圖像質(zhì)量的劣化，例如偽色(false color)的生成。下面將簡要說明偽色生成的原理。一般，圖像拍攝光學(xué)系統(tǒng)具有軸向色差特性 (axial chromatic aberration characteristic)，即針對各波長(即各顏色分量)，焦點(diǎn)沿 光軸偏移。假設(shè)被攝體的各個(gè)部分具有不同的物距，例如3D物體。在這種情況下，與各個(gè) 部分相對應(yīng)地，各個(gè)顏色的焦點(diǎn)相對于圖像傳感器改變。根據(jù)軸向色差特性，在被攝體的拍 攝圖像中，顏色模糊發(fā)生在邊緣部分。該模糊還在焦距之前和之后發(fā)生改變。當(dāng)通過使用 與給定焦距對應(yīng)的圖像恢復(fù)濾波器恢復(fù)這樣的圖像時(shí)，各顏色分量的恢復(fù)度不期望地發(fā)生 改變，并且顏色模糊的改變增加，導(dǎo)致在邊緣部分的偽色的生成。這種偽色的生成能夠通過不使用與物距不匹配的不適當(dāng)?shù)幕謴?fù)濾波器來避免。例 如，已知下面的技術(shù)。首先，公開了這樣一種技術(shù)通過測量物距來使恢復(fù)濾波器與至被 攝體的各部分的距離相匹配，并使用分別與所測量的物距相匹配的不同濾波器來執(zhí)行恢復(fù) (例如，參見日本專利特開2002-112099號)。另外，還公開了這樣一種技術(shù)如果被攝體 的形狀恒定，則根據(jù)該形狀，將框中的目標(biāo)被攝體的特定區(qū)域視為待聚焦的被攝體區(qū)域，然 后僅恢復(fù)該特定區(qū)域(例如，參見日本專利特開平10-165365號)。此外，還公開了以下技 術(shù)，其中為了提取被攝體上的對焦部分，針對被攝體利用微分處理來計(jì)算斜率(gradient)， 對斜率大的部分進(jìn)行恢復(fù)(例如，參見日本專利特開2002-300461號)。在上述技術(shù)中，通過控制避免使用與物距不匹配的不適當(dāng)?shù)臑V波器來防止圖像質(zhì) 量的劣化，更具體地說是防止偽色的生成。然而，這些技術(shù)具有下述問題。首先，根據(jù)測量物距的技術(shù)，測量框內(nèi)所有區(qū)域的精確物距會(huì)增加圖像拍攝單元 的物理尺寸和成本。確定對焦區(qū)域的技術(shù)以假設(shè)被攝體具有特定形狀為前提，不能應(yīng)用于 一般的拍攝圖像。根據(jù)恢復(fù)具有高斜率值的被攝體的區(qū)域的技術(shù)，具有低對比度和高空間 頻率分量的區(qū)域(作為待恢復(fù)部分)被從恢復(fù)目標(biāo)中排除。

發(fā)明內(nèi)容
本發(fā)明提供一種利用簡單結(jié)構(gòu)、僅對拍攝圖像中的適當(dāng)區(qū)域執(zhí)行恢復(fù)處理，以抑 制其他區(qū)域中圖像質(zhì)量劣化的圖像拍攝裝置及圖像處理方法。根據(jù)本發(fā)明的第一方面，提供一種圖像拍攝裝置，該圖像拍攝裝置包括攝像單 元，其被配置為通過拍攝被攝體的圖像來獲得拍攝圖像；劃分單元，其被配置為計(jì)算所述拍 攝圖像的各像素的頻率分量，并將所述像素劃分成恢復(fù)區(qū)域中的像素和非恢復(fù)區(qū)域中的其 他像素，所述恢復(fù)區(qū)域中的像素的頻率分量不小于預(yù)定閾值；恢復(fù)單元，其被配置為對所 述恢復(fù)區(qū)域中的像素執(zhí)行恢復(fù)處理，以校正由所述攝像單元的光學(xué)特性引起的圖像質(zhì)量劣 化；以及合成單元，其被配置為通過對執(zhí)行了所述恢復(fù)處理的所述恢復(fù)區(qū)域中的像素和所 述非恢復(fù)區(qū)域中的像素進(jìn)行合成，來重構(gòu)所述拍攝圖像。根據(jù)本發(fā)明的另一方面，提供一種圖像拍攝裝置中的圖像處理方法，所述圖像處 理方法包括以下步驟通過拍攝被攝體的圖像來獲得拍攝圖像；計(jì)算所述拍攝圖像的各像 素的頻率分量；通過將所述計(jì)算步驟中計(jì)算出的頻率分量不小于預(yù)定閾值的像素設(shè)置為屬 于恢復(fù)區(qū)域的像素、將其他像素設(shè)置為屬于非恢復(fù)區(qū)域的像素，來劃分所述拍攝圖像；對所 述恢復(fù)區(qū)域中的像素執(zhí)行恢復(fù)處理，以校正由所述圖像拍攝裝置的光學(xué)特性引起的圖像質(zhì) 量劣化；以及通過對執(zhí)行了所述恢復(fù)處理的所述恢復(fù)區(qū)域中的像素和所述非恢復(fù)區(qū)域中的 像素進(jìn)行合成，來重構(gòu)所述拍攝圖像。通過下面參照附圖的示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。


圖1是示出根據(jù)實(shí)施例的圖像拍攝裝置的結(jié)構(gòu)的框圖；圖2是示出根據(jù)實(shí)施例的圖像恢復(fù)單元及其相關(guān)部分的詳細(xì)結(jié)構(gòu)的框圖；圖3是示出實(shí)施例中的圖像恢復(fù)處理的流程圖；圖4A、圖4B是各自示出實(shí)施例中的高頻分量計(jì)算所用的高斯濾波器的示例的圖；圖5是用于說明通過實(shí)施例中的恢復(fù)處理而獲得的效果的圖；以及圖6是示出實(shí)施例中高頻分量確定時(shí)使用的閾值調(diào)節(jié)GUI的示例的圖。
具體實(shí)施例方式以下將參照

本發(fā)明的實(shí)施例。下面的實(shí)施例并不限制所附權(quán)利要求書的 本發(fā)明，實(shí)施例中描述的特性特征的全部組合并非都是本發(fā)明的解決手段所必需的。〈第一實(shí)施例〉(裝置結(jié)構(gòu))圖1是示出根據(jù)本實(shí)施例的圖像拍攝裝置的結(jié)構(gòu)的框圖。參照圖1，附圖標(biāo)記101 表示檢測被攝體上的光量的圖像拍攝單元，其包括以下單元。即，在圖像拍攝單元101中， 附圖標(biāo)記102表示物鏡；附圖標(biāo)記103表示光圈；附圖標(biāo)記104表示快門；以及附圖標(biāo)記 105表示諸如CMOS或CCD傳感器之類的圖像傳感器。假設(shè)根據(jù)本實(shí)施例的圖像傳感器105 的R、G、B像素按照一般拜耳排列(Bayer arrangement)來配置。附圖標(biāo)記106表示A/D轉(zhuǎn)換單元，用以將根據(jù)入射到圖像傳感器105的各像素的 光量而生成的模擬信號轉(zhuǎn)換為數(shù)字值。A/D轉(zhuǎn)換單元106還生成原(raw)圖像，該原圖像中R、G、B各像素的拜耳排列保持原樣。附圖標(biāo)記107表示作為本實(shí)施例的特征的圖像恢復(fù)單 元，其處理原圖像以恢復(fù)在圖像拍攝時(shí)由物鏡102的光學(xué)特性引起的圖像中的模糊。注意， 圖像恢復(fù)單元107中圖像恢復(fù)處理的細(xì)節(jié)將在后面描述。附圖標(biāo)記108表示信號處理單元，用以通過針對上述原圖像執(zhí)行諸如去馬賽克處 理、白平衡處理及伽馬處理的各種圖像處理來生成數(shù)字圖像。附圖標(biāo)記109表示連接到PC 和其他媒介(例如硬盤、存儲(chǔ)卡、CF卡、SD卡和USB存儲(chǔ)器)以將數(shù)字圖像發(fā)送到媒介上的 媒介接口。附圖標(biāo)記110表示CPU，該CPU與本實(shí)施例的圖像拍攝裝置的各結(jié)構(gòu)中的所有處理 相關(guān)聯(lián)，順序讀取并解釋存儲(chǔ)在ROM 111和RAM 112中的指令，并根據(jù)解釋結(jié)果執(zhí)行各個(gè)處 理。ROM 111和RAM 112向CPU 110提供處理所需要的程序、數(shù)據(jù)、工作區(qū)等。附圖標(biāo)記113 表示圖像拍攝系統(tǒng)控制單元，其基于來自CPU 110的指令控制包括焦點(diǎn)、快門以及光圈的圖 像拍攝系統(tǒng)；附圖標(biāo)記114表示包括用以接收用戶輸入指令的按鈕、模式盤等的操作單元。通過上述結(jié)構(gòu)，本實(shí)施例的圖像拍攝裝置獲取由R、G、B像素構(gòu)成的數(shù)字圖像。用 于數(shù)字圖像的圖像拍攝處理與使用一般數(shù)碼相機(jī)的圖像拍攝相同，因此將省略對該處理的 說明。根據(jù)本實(shí)施例的圖像拍攝裝置的特征，圖像恢復(fù)單元107對拍攝圖像執(zhí)行圖像恢 復(fù)處理。圖2示出從圖1所示的結(jié)構(gòu)中提取的、與圖像恢復(fù)特別相關(guān)的部分，以及其詳細(xì)結(jié) 構(gòu)。使用圖1中的附圖標(biāo)記來表示圖2中相同的部分，并省略其說明。參照圖2，當(dāng)用戶按壓作為操作單元114的一部分的快門釋放按鈕時(shí)，圖像拍攝系 統(tǒng)控制單元113通過使用自動(dòng)聚焦機(jī)制(未示出)驅(qū)動(dòng)物鏡102來執(zhí)行焦點(diǎn)調(diào)節(jié)。附圖標(biāo) 記115表示焦距獲取單元，用以獲取圖像拍攝系統(tǒng)控制單元113的自動(dòng)聚焦機(jī)制對焦點(diǎn)調(diào) 節(jié)設(shè)置的距離，并根據(jù)物鏡102的位置輸出焦距；附圖標(biāo)記116表示ROM 111中的恢復(fù)濾波 器存儲(chǔ)單元?；謴?fù)濾波器存儲(chǔ)單元116保持多個(gè)恢復(fù)濾波器，所述多個(gè)恢復(fù)濾波器基于根 據(jù)諸如焦距、光圈值和圖像高度的參數(shù)改變的光學(xué)傳遞函數(shù)(OTF)?；謴?fù)濾波器存儲(chǔ)單元 116分別從焦距獲取單元115、圖像拍攝系統(tǒng)控制單元113、以及圖像恢復(fù)單元107接收焦 距、光圈值和圖像高度，并將與其匹配的恢復(fù)濾波器輸出到圖像恢復(fù)單元107。注意，本實(shí)施 例中的恢復(fù)濾波器的細(xì)節(jié)將在后面描述。物鏡102的特性決定與恢復(fù)濾波器的改變相關(guān)聯(lián)的參數(shù)?；謴?fù)濾波器因此根據(jù)諸 如焦距、光圈值和圖像高度的多個(gè)參數(shù)(例如，所有參數(shù))而改變，或者能夠僅根據(jù)例如焦 距改變。也就是說，可以使用匹配焦距的濾波器或者用于所有條件的單個(gè)濾波器。注意，用 戶可以經(jīng)由⑶I等手動(dòng)設(shè)置這些參數(shù)。A/D轉(zhuǎn)換單元106將與上述距離確定和濾波器輸出操作并行拍攝的圖像信息，作 為原圖像傳送至圖像恢復(fù)單元107。圖像恢復(fù)單元107被粗略地分成兩個(gè)結(jié)構(gòu)。附圖標(biāo)記 117表示區(qū)域劃分單元，用以將圖像劃分成要經(jīng)歷恢復(fù)的區(qū)域和不經(jīng)歷恢復(fù)的區(qū)域；附圖 標(biāo)記118表示恢復(fù)處理單元，用以通過向要經(jīng)歷恢復(fù)的區(qū)域應(yīng)用恢復(fù)濾波器來對其執(zhí)行圖 像恢復(fù)?；謴?fù)處理單元118還將恢復(fù)后的圖像與沒有經(jīng)歷恢復(fù)的區(qū)域的原始圖像進(jìn)行合 成。該合成操作將再次生成被輸出到信號處理單元108的原圖像?；謴?fù)處理單元118中的 恢復(fù)處理的細(xì)節(jié)將在后面描述。RAM 112臨時(shí)存儲(chǔ)處理中需要的信息。附圖標(biāo)記119表示恢復(fù)區(qū)域存儲(chǔ)單元，用以保持由區(qū)域劃分單元117獲得的區(qū)域劃分結(jié)果；附圖標(biāo)記120表示恢復(fù)圖像存儲(chǔ)單元，用以 存儲(chǔ)從恢復(fù)處理單元118輸出的、恢復(fù)區(qū)域的恢復(fù)后的圖像；附圖標(biāo)記121表示原始圖像存 儲(chǔ)單元，用以存儲(chǔ)沒有經(jīng)歷恢復(fù)的區(qū)域的原始圖像?；謴?fù)圖像存儲(chǔ)單元120和原始圖像存 儲(chǔ)單元121在針對整個(gè)圖像的處理結(jié)束時(shí)，將全部圖像信息返回到恢復(fù)處理單元118。(圖像恢復(fù)處理)下面將描述本實(shí)施例中的恢復(fù)處理單元118中的圖像恢復(fù)處理。如上所述，圖像 恢復(fù)處理是針對拍攝圖像校正由圖像拍攝系統(tǒng)的光學(xué)特性引起的圖像質(zhì)量的劣化的處理。假設(shè)g(x，y)為劣化圖像，f(x, y)為原始圖像，h(x，y)為作為物鏡102的OTF的 傅里葉對的點(diǎn)擴(kuò)散函數(shù)(PSF)，則如下所給的等式(1)成立g (x, y) = h (X，y) *f (χ, y)... (1)其中，*表示卷積，(x, y)表示圖像上的坐標(biāo)。當(dāng)?shù)仁?1)經(jīng)傅里葉變換而變?yōu)轭l域的形式時(shí)，該等式由各個(gè)頻率的積形式(如 下述的等式O))表示。在等式O)中，H表示對等式(1)中的作為PSF的h進(jìn)行傅里葉變 換而獲得的值，即OTF，G、F分別表示對g和f進(jìn)行傅里葉變換而獲得的值。另外(u，ν)表 示二維頻域中的坐標(biāo)，即頻率。G(u, ν) = H(u, ν) ‘ F(u, ν). . . (2)在這種情況下，為了從拍攝的劣化圖像中獲得原始圖像，將等式O)的右側(cè)和左 側(cè)均除以H，如下面等式(3)所示。G(u, v)/H(u, ν) = F(u, ν). . . (3)對等式(3)中的F(u，ν)，即G(u，v)/H(u，ν)進(jìn)行逆傅里葉變換使之成為空間域中 的函數(shù)，將獲得原始圖像f(x，y)作為恢復(fù)圖像。假設(shè)r為對1/H(u，ν)進(jìn)行逆傅里葉變換 而獲得的值。這樣，將等式C3)變換成以下的等式G)。根據(jù)等式G)，空間域中的圖像的 卷積可以獲取原始圖像。等式中的函數(shù)r(x，y)表示上述恢復(fù)濾波器。 g(x, y)*r(x, y) = f(x, y). . . (4)根據(jù)本實(shí)施例的特征，并不針對圖像的全部區(qū)域、而僅針對被確定為適合于恢復(fù) 處理的區(qū)域，執(zhí)行使用這種恢復(fù)濾波器的恢復(fù)處理(即等式(4)的計(jì)算)。本實(shí)施例中針對 各區(qū)域的圖像恢復(fù)處理將在下面詳細(xì)描述。(針對各區(qū)域的圖像恢復(fù)處理)圖3是示出在圖像恢復(fù)單元107中執(zhí)行的、針對各區(qū)域的恢復(fù)處理的流程圖。區(qū) 域劃分單元117執(zhí)行步驟S301至S307中的處理，然后，恢復(fù)處理單元118執(zhí)行步驟S308 至S310中的處理。在步驟S301，區(qū)域劃分單元117從A/D轉(zhuǎn)換單元106中獲取原圖像。在步驟S302， 區(qū)域劃分單元117開始從圖像的角部計(jì)算頻率分量?？梢酝ㄟ^例如針對以關(guān)注像素為中心的預(yù)定周邊區(qū)域執(zhí)行二維傅里葉變換，來針 對各像素計(jì)算頻率分量。區(qū)域劃分單元117然后計(jì)算等于或者大于預(yù)定空間頻率的分量的 量。另一種方法是通過在卷積后計(jì)算與原始圖像的差分來計(jì)算高頻分量。也就是說，區(qū)域 劃分單元117通過使用諸如圖4A和圖4B所示的3X3或5X5高斯濾波器核之類的模糊濾 波器，對原始圖像執(zhí)行卷積。在這種情況下，須要預(yù)先針對各顏色分離原圖像的R、G、B像素 (構(gòu)成拜耳排列)。利用該卷積處理，區(qū)域劃分單元117執(zhí)行原始圖像的低通濾波處理，以移除高頻分量。區(qū)域劃分單元117通過計(jì)算結(jié)果圖像與原始圖像之間的差分，來計(jì)算高頻分量。在該原圖像中，由于對焦區(qū)域中的高頻分量增加，因此在步驟S303中區(qū)域劃分單 元117通過將步驟S302中計(jì)算的頻率分量和預(yù)定閾值進(jìn)行比較來確定高頻分量的存在/ 不存在。也就是說，如果頻率分量小于閾值，則區(qū)域劃分單元117確定不存在高頻分量，即 該區(qū)域沒有對焦。接著流程進(jìn)行到步驟S304。如果頻率分量等于或者大于閾值，則區(qū)域劃 分單元117確定獲得了對焦?fàn)顟B(tài)。則流程進(jìn)行到步驟S306。在這種情況下可以根據(jù)物鏡 102的特性適當(dāng)?shù)卦O(shè)置閾值。例如，當(dāng)該裝置使用具有大景深的廣角鏡頭、或者具有大的F 數(shù)值時(shí)優(yōu)選地設(shè)置高閾值，而當(dāng)裝置使用具有小景深的聚焦透鏡(focusing lens)或者具 有小的F數(shù)值時(shí)，優(yōu)選設(shè)置低閾值。另外，可以設(shè)置在方向上與軸向色差量成比例地改變的 閾值。在步驟S304，區(qū)域劃分單元117將卷積核的中央像素位置作為非恢復(fù)區(qū)域記錄在 恢復(fù)區(qū)域存儲(chǔ)單元119上。在步驟S305，區(qū)域劃分單元117確定針對所有像素的處理是否完 成。如果處理完成，則處理進(jìn)行到步驟S308。如果處理沒有完成，則處理返回到步驟S302。 在步驟S308，恢復(fù)處理單元118將非恢復(fù)區(qū)域的原始圖像的像素值存儲(chǔ)在原始圖像存儲(chǔ)單 元121中。然后處理進(jìn)行到步驟S310。在步驟S306中，區(qū)域劃分單元117將卷積核的中央像素位置作為恢復(fù)區(qū)域記錄在 恢復(fù)區(qū)域存儲(chǔ)單元119上。在步驟S307中，區(qū)域劃分單元117確定針對所有像素的處理 是否完成。如果處理完成，則處理進(jìn)行到步驟S309。如果處理未完成，則處理返回到步驟 S302。在步驟S309中，恢復(fù)處理單元118針對恢復(fù)區(qū)域的圖像執(zhí)行上述圖像恢復(fù)，并將結(jié) 果存儲(chǔ)在恢復(fù)圖像存儲(chǔ)單元120中。然后處理進(jìn)行到步驟S310。在步驟S310中，恢復(fù)處理單元118分別從原始圖像存儲(chǔ)單元121和恢復(fù)圖像存儲(chǔ) 單元120中讀出原始圖像和恢復(fù)圖像，并合成該兩種圖像以重構(gòu)原圖像。所重構(gòu)的原圖像 是僅對焦區(qū)域(即，對于使用中的恢復(fù)濾波器最佳距離處的被攝體部分)中經(jīng)歷了恢復(fù)處 理的、恢復(fù)后的原圖像。上述描述涉及原始圖像被劃分成恢復(fù)區(qū)域和非恢復(fù)區(qū)域的情況。然而，由于兩個(gè) 區(qū)域之間的邊界處沒有提供特定的過渡區(qū)域，因此存在以下的可能性在合成操作后，恢復(fù) 區(qū)域中的恢復(fù)圖像可能變得與非恢復(fù)區(qū)域中的原始圖像不連續(xù)。為了避免這種不連續(xù)的發(fā) 生，本實(shí)施例執(zhí)行下面的處理。首先，如上述等式(4)所示，執(zhí)行空間域中的恢復(fù)處理。上述等式C3)表示利用等 式(4)表示的傅里葉轉(zhuǎn)換所執(zhí)行的頻域中的恢復(fù)處理。在這種情況下，將因子α增加到等 式⑶中以獲得等式(5)G(u，v)/{H(u，ν)/α } = F(u，ν). . . (5)顯然，如果等式(5)中α =H(u，v)，則裝置不執(zhí)行實(shí)質(zhì)性的恢復(fù)處理，而當(dāng)α = 1，則裝置執(zhí)行與等式(4)等同的預(yù)定恢復(fù)。這樣，改變?chǔ)恋闹悼梢愿淖僅(u，v)。也就是， 控制OTF可以平穩(wěn)地改變區(qū)域之間的恢復(fù)的程度。因此，本實(shí)施例在等式(5)中，在從H(u， ν)(小于1)至1的范圍內(nèi)改變?chǔ)?。更具體地，裝置根據(jù)離恢復(fù)區(qū)域中的關(guān)注像素的邊界的距離執(zhí)行控制，例如，當(dāng)距 離是0時(shí)設(shè)置α =H(u，v)，當(dāng)距離越增加至使得有必要執(zhí)行邊界控制的預(yù)定值時(shí)，使得α
8越接近于1，當(dāng)距離變得等于或者大于預(yù)定值時(shí)，將α總是設(shè)置為1。換句話說，如果距離 小于預(yù)定值，則裝置執(zhí)行控制，以當(dāng)距離減少時(shí)降低恢復(fù)處理的程度?；蛘?，裝置根據(jù)計(jì)算 的頻率分量執(zhí)行控制，例如，如果頻率分量等于步驟S303中的閾值，則設(shè)置α =H (u, ν)。 當(dāng)恢復(fù)區(qū)域中的距離變?yōu)槭沟糜斜匾獔?zhí)行邊界控制的預(yù)定值時(shí)，裝置執(zhí)行控制以使得在根 據(jù)距離控制α的同時(shí)，隨著頻率分量的增大而使α越接近1，當(dāng)距離變得等于或者大于預(yù) 定值時(shí)，將α總是設(shè)置為1。換句話說，裝置執(zhí)行控制，以當(dāng)頻率分量小于預(yù)定值時(shí)，隨著頻 率分量在恢復(fù)區(qū)域內(nèi)的恢復(fù)量平穩(wěn)改變的區(qū)域中的降低，降低恢復(fù)處理的程度?；谂c上述不同的觀點(diǎn)，也可以考慮恢復(fù)區(qū)域中的像素值執(zhí)行控制，以將恢復(fù)的 程度抑制至預(yù)定恢復(fù)量或預(yù)定恢復(fù)量以下。在像素值的平均值小、即被攝體的亮度低的區(qū) 域中，當(dāng)高頻分量的幅度由于恢復(fù)處理增大時(shí)，幅度的下端可能變得小于各像素值能夠取 的下限。當(dāng)在恢復(fù)處理后所計(jì)算的像素值小于下限時(shí)，像素值被裁切(clip)到最小值。此 時(shí)，被裁切成黑色的部分以及沒有被裁切的部分之間生成明顯的疑似輪廓。為了防止這種 情況，當(dāng)像素值的平均值接近像素值的最小值時(shí)，必須要抑制由于恢復(fù)處理而引起的幅度 增加。也就是說，裝置根據(jù)局部像素值的平均值，控制使包括高頻的恢復(fù)區(qū)域和非恢復(fù)區(qū)域 之間的邊界處的恢復(fù)程度逐漸改變的機(jī)制。更具體地，裝置計(jì)算像素值(包括關(guān)注像素周圍的預(yù)定像素的像素值)的平均值， 并根據(jù)平均值和最小像素值之間的差將α =H(u, ν)改變?yōu)棣?= 1。關(guān)于它們的表達(dá)式 可以是線性的或者非線性的。另外，可以根據(jù)圖像拍攝裝置的特性，用α =1針對預(yù)定恢 復(fù)設(shè)置平均像素值。另外，對當(dāng)設(shè)置α = H(u,v)時(shí)沒有進(jìn)行恢復(fù)的區(qū)域給出α = H(u,v)和α = 1 之間的因子，也使得能夠針對除恢復(fù)區(qū)域之外的區(qū)域執(zhí)行弱恢復(fù)處理。注意在實(shí)際的恢復(fù)處理中，裝置根據(jù)等式( 中設(shè)置的α，計(jì)算由等式(4)表示的 恢復(fù)濾波器r(x，y)，并使用計(jì)算的濾波器。也就是說，恢復(fù)濾波器存儲(chǔ)單元116存儲(chǔ)預(yù)先 根據(jù)α計(jì)算的多個(gè)恢復(fù)濾波器。裝置選擇與諸如距恢復(fù)區(qū)域中關(guān)注像素的邊界的距離或 者頻率分量之類的參數(shù)匹配的恢復(fù)濾波器。以此方式，本實(shí)施例可以通過基于α控制等式(5)(即0TF)中的H(u，ν)來減少 恢復(fù)圖像和原始圖像之間的邊界處的不連續(xù)，并平穩(wěn)連接兩個(gè)區(qū)域。另外可以將抖動(dòng)方法、 誤差擴(kuò)散法等應(yīng)用到恢復(fù)圖像和原始圖像之間的邊界部分。下面將參照圖5描述本實(shí)施例中的圖像恢復(fù)處理的效果。圖5所示的圖像通過使 用大光圈(即小光圈值/F數(shù))在短距離拍攝人的圖像而得到，其中人眼被對焦。因此，圖 像中與人眼在相同距離的其他部分處于失焦?fàn)顟B(tài)。因此，這些部分的圖像被拍攝成模糊狀 態(tài)。在這種情況下，通過使用對應(yīng)于焦距的恢復(fù)濾波器針對所有區(qū)域執(zhí)行恢復(fù)處理將生成 下面的偽色。首先，在面部和身體(因?yàn)樗鼈冚p微偏離焦距所以輕微模糊)的輪廓部分生 成起因于色差的偽色Α。另外，由于背景中的汽車主體的鏡面反射部分上像素值飽和，因此 不能獲得恢復(fù)所需的校正像素信息。因此發(fā)生染色(偽色B)。另外，由于應(yīng)用對應(yīng)于不同 焦距的恢復(fù)濾波器的影響，因此在物距大大偏離焦距的樹木的邊緣部分生成明顯的偽色C。將該實(shí)施例應(yīng)用于同樣的拍攝圖像，將只恢復(fù)包括高頻分量的圖像區(qū)域而并不恢 復(fù)對應(yīng)于圖5中的偽色A至C的部分。因此，這防止了偽色A至C的生成。如上所述，本實(shí)施例被配置為通過簡單結(jié)構(gòu)，提取具有高頻分量的區(qū)域作為被攝體的拍攝圖像中的對焦部分，而不實(shí)際測量物距，并僅針對提取的區(qū)域執(zhí)行恢復(fù)處理。由 于該實(shí)施例針對與恢復(fù)濾波器在焦距上不同的區(qū)域不執(zhí)行恢復(fù)處理，因此能夠提高圖像質(zhì) 量，同時(shí)抑制區(qū)域中生成偽色的問題。上述實(shí)施例舉例說明了用于在恢復(fù)區(qū)域和非恢復(fù)區(qū)域之間進(jìn)行劃分的頻率分量 閾值固定的情況，以及根據(jù)物鏡102的光學(xué)特性設(shè)置閾值的情況。設(shè)置該閾值建立了通過 恢復(fù)提高清晰度和偽色生成量之間的折衷。因此，允許用戶選擇這種閾值是有用的。下面的實(shí)施例將舉例說明用戶經(jīng)由GUI (圖形用戶界面)設(shè)置用于步驟S303中的 確定的閾值的情況。圖6示出用于由用戶進(jìn)行閾值調(diào)節(jié)的GUI的示例。改變用于提取包含高頻分量的 區(qū)域的閾值將設(shè)置偽色降低水平。參照圖6，附圖標(biāo)記602表示用以設(shè)置閾值的滑動(dòng)條。將 滑動(dòng)條602設(shè)置在左端，將禁止染色降低。即，該設(shè)置會(huì)將閾值設(shè)置為頻率分量的最小值0， 以用常規(guī)方式針對所有區(qū)域執(zhí)行恢復(fù)處理，而不像本實(shí)施例中那樣針對各區(qū)域執(zhí)行恢復(fù)處 理。當(dāng)用戶將滑動(dòng)條602設(shè)置在右端時(shí)，閾值被設(shè)置為預(yù)定值，以執(zhí)行如本實(shí)施例中的自動(dòng) 設(shè)置恢復(fù)區(qū)域的處理。因此，用戶能夠通過在左端和右端之間滑動(dòng)滑動(dòng)條602，在0和預(yù)定 值之間任意設(shè)置閾值。假設(shè)默認(rèn)狀態(tài)下滑動(dòng)條602被設(shè)置在右端。附圖標(biāo)記603表示用于顯示對圖像的特定部分的處理結(jié)果的效果查看窗口。假設(shè) 效果查看窗口 603顯示在默認(rèn)狀態(tài)下滑動(dòng)條602被設(shè)置在右端的狀態(tài)，即通過執(zhí)行本實(shí)施 例中的恢復(fù)處理而獲得的結(jié)果。優(yōu)選地，選擇容易受到偽色生成的影響的部分作為圖像的 特定部分，該特定部分是效果查看窗口 603的顯示目標(biāo)。然而，顯示目標(biāo)并不限于圖像的部 分，窗口可以顯示對假定要顯示的特定抽樣圖像的處理結(jié)果。如上所述，本實(shí)施例允許用戶選擇對于目的最佳的恢復(fù)狀態(tài)。<其他實(shí)施例>注意，可以使用雙邊濾波器用于上述實(shí)施例中的頻率分量的計(jì)算。更具 體 地，F(xiàn).Durand and J.Dorsey, "Fast Bi lateral Filtering for Display of High-Dynamic-Range Images (用于顯示高動(dòng)態(tài)范圍圖像的快速雙邊濾波)”，SIGGRAPH2002 中描述了這種濾波器。也就是說，該濾波器是通過基于兩種分量形成濾波器核來保持邊緣 的模糊濾波器，其中所述兩種分量包括對應(yīng)于距關(guān)注像素的距離的分量(與單純的高斯濾 波器同義)和對應(yīng)于與關(guān)注像素的像素值的差的分量。使用這種雙邊濾波器能夠如實(shí)施例 中將圖像劃分成由邊緣包圍的小區(qū)域并計(jì)算各區(qū)域中的頻率分量。這使得能夠更加準(zhǔn)確地 獲得圖像中與焦距匹配的部分。本發(fā)明的各方面還可以通過讀出并執(zhí)行記錄在存儲(chǔ)設(shè)備上的用以執(zhí)行上述實(shí)施 例的功能的程序的系統(tǒng)或裝置的計(jì)算機(jī)(或諸如CPU或微處理單元(MPU)的設(shè)備)、以及由 系統(tǒng)或裝置的計(jì)算機(jī)例如讀出并執(zhí)行記錄在存儲(chǔ)設(shè)備上的用于執(zhí)行上述實(shí)施例的功能的 程序來執(zhí)行各步驟的方法來實(shí)現(xiàn)。鑒于此，例如可以經(jīng)由網(wǎng)絡(luò)或者從用作存儲(chǔ)設(shè)備的各種 類型的記錄介質(zhì)(例如計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))向計(jì)算機(jī)提供程序。雖然參照示例性實(shí)施例對本發(fā)明進(jìn)行了說明，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公 開的示例性實(shí)施例。應(yīng)當(dāng)對所附權(quán)利要求的范圍給予最寬的解釋，以使其涵蓋所有變型、等 同結(jié)構(gòu)及功能。
權(quán)利要求
1.一種圖像拍攝裝置，該圖像拍攝裝置包括攝像單元，其被配置為通過拍攝被攝體的圖像來獲得拍攝圖像；劃分單元，其被配置為計(jì)算所述拍攝圖像的各像素的頻率分量，并將所述像素劃分成 恢復(fù)區(qū)域中的像素和非恢復(fù)區(qū)域中的其他像素，所述恢復(fù)區(qū)域中的像素的頻率分量不小于 預(yù)定閾值；恢復(fù)單元，其被配置為對所述恢復(fù)區(qū)域中的像素執(zhí)行恢復(fù)處理，以校正由所述攝像單 元的光學(xué)特性引起的圖像質(zhì)量劣化；以及合成單元，其被配置為通過對執(zhí)行了所述恢復(fù)處理的所述恢復(fù)區(qū)域中的像素和所述非 恢復(fù)區(qū)域中的像素進(jìn)行合成，來重構(gòu)所述拍攝圖像。
2.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，其中，所述劃分單元通過對所述拍攝圖像執(zhí) 行卷積、并計(jì)算所述卷積后的圖像與所述拍攝圖像之間的差分，來計(jì)算各像素的頻率分量。
3.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，其中，所述劃分單元通過對所述拍攝圖像的 以關(guān)注像素為中心的區(qū)域執(zhí)行二維傅里葉變換，來計(jì)算各像素的頻率分量。
4.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，其中，所述劃分單元通過對所述拍攝圖像應(yīng) 用雙邊濾波器來將所述拍攝圖像劃分成由邊緣包圍的區(qū)域，并針對所述區(qū)域的各個(gè)計(jì)算頻 率分量。
5.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，其中，所述恢復(fù)單元通過使用所述攝像單元 的光學(xué)傳遞函數(shù)來執(zhí)行恢復(fù)處理。
6.根據(jù)權(quán)利要求5所述的圖像拍攝裝置，所述圖像拍攝裝置還包括被配置為獲取所述 攝像單元的焦距的獲取單元，其中，所述恢復(fù)單元使用對應(yīng)于所述獲取單元所獲取的所述焦距的恢復(fù)濾波器來執(zhí)行 恢復(fù)處理。
7.根據(jù)權(quán)利要求6所述的圖像拍攝裝置，所述圖像拍攝裝置還包括被配置為保持多個(gè) 所述恢復(fù)濾波器的保持單元，其中，所述恢復(fù)單元根據(jù)所述焦距選擇由所述保持單元保持的所述多個(gè)恢復(fù)濾波器中 的一個(gè)，并使用所選擇的恢復(fù)濾波器來執(zhí)行恢復(fù)處理。
8.根據(jù)權(quán)利要求5所述的圖像拍攝裝置，其中，所述恢復(fù)單元執(zhí)行控制，以在距所述非 恢復(fù)區(qū)域的距離小于預(yù)定值的情況下，隨著所述距離減小，來降低針對所述恢復(fù)區(qū)域中的 各像素的恢復(fù)處理的程度。
9.根據(jù)權(quán)利要求5所述的圖像拍攝裝置，其中，所述恢復(fù)單元執(zhí)行控制，以在所述頻率 分量小于預(yù)定值的情況下，隨著所述頻率分量降低，來降低針對所述恢復(fù)區(qū)域中的各像素 的恢復(fù)處理的程度。
10.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，所述圖像拍攝裝置還包括被配置為根據(jù)用 戶指令來設(shè)置所述劃分單元中的所述閾值的設(shè)置單元。
11.一種圖像拍攝裝置中的圖像處理方法，該圖像處理方法包括以下步驟通過拍攝被攝體的圖像來獲得拍攝圖像；計(jì)算所述拍攝圖像的各像素的頻率分量；通過將所述計(jì)算步驟中計(jì)算出的頻率分量不小于預(yù)定閾值的像素設(shè)置為屬于恢復(fù)區(qū) 域的像素、將其他像素設(shè)置為屬于非恢復(fù)區(qū)域的像素，來劃分所述拍攝圖像；對所述恢復(fù)區(qū)域中的像素執(zhí)行恢復(fù)處理，以校正由所述圖像拍攝裝置的光學(xué)特性引起 的圖像質(zhì)量劣化；以及通過對執(zhí)行了所述恢復(fù)處理的所述恢復(fù)區(qū)域中的像素和所述非恢復(fù)區(qū)域中的像素進(jìn) 行合成，來重構(gòu)所述拍攝圖像。
全文摘要
本發(fā)明提供一種圖像拍攝裝置及圖像處理方法。所述圖像拍攝裝置計(jì)算拍攝圖像的各像素的頻率分量，并將所述像素劃分成恢復(fù)區(qū)域中的像素和非恢復(fù)區(qū)域中的其他像素，所述恢復(fù)區(qū)域中的像素的頻率分量等于或大于預(yù)定閾值?；謴?fù)單元對所述恢復(fù)區(qū)域中的各像素執(zhí)行恢復(fù)處理，以校正由圖像拍攝單元的光學(xué)特性引起的圖像質(zhì)量劣化。恢復(fù)單元不對所述非恢復(fù)區(qū)域中的像素執(zhí)行恢復(fù)處理。所述圖像拍攝裝置通過對執(zhí)行了所述恢復(fù)處理的所述恢復(fù)區(qū)域中的像素和所述非恢復(fù)區(qū)域中的像素進(jìn)行合成，來重構(gòu)所述拍攝圖像。這使得能夠抑制在焦距上與恢復(fù)濾波器不匹配的區(qū)域中的圖像質(zhì)量劣化。
文檔編號H04N5/232GK102082912SQ20101057269
公開日2011年6月1日 申請日期2010年11月29日 優(yōu)先權(quán)日2009年11月30日
發(fā)明者永田徹 申請人:佳能株式會(huì)社