圖像處理設(shè)備和圖像處理設(shè)備的控制方法
【專利摘要】本發(fā)明提供一種圖像處理設(shè)備和圖像處理設(shè)備的控制方法。該圖像處理設(shè)備能夠在防止用于存儲不同頻帶的多個圖像數(shù)據(jù)的存儲器的容量增大的同時執(zhí)行適當(dāng)?shù)膱D像處理。該圖像處理設(shè)備將不同頻帶的多個圖像數(shù)據(jù)中具有最高頻率的第一圖像數(shù)據(jù)以該第一圖像數(shù)據(jù)的各像素包括多個顏色中的任意顏色的顏色成分信號的狀態(tài)存儲在存儲器上，并且進(jìn)一步將頻帶低于第一圖像數(shù)據(jù)的頻帶的第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)以該第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)各自的部分或者全部像素具有多個顏色的顏色成分信號的狀態(tài)存儲在存儲器上。
【專利說明】圖像處理設(shè)備和圖像處理設(shè)備的控制方法
[0001](本申請是申請日為2011年5月6日、申請?zhí)枮?01180023704.5、發(fā)明名稱為“圖像處理設(shè)備和圖像處理設(shè)備的控制方法”的申請的分案申請。)

【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及一種用于對基于一個圖像數(shù)據(jù)所生成的并且經(jīng)過圖像處理的不同頻帶的多個圖像數(shù)據(jù)進(jìn)行合成的技術(shù)。

【背景技術(shù)】
[0003]通常，諸如數(shù)字照相機或攝像機等的攝像設(shè)備從諸如電荷耦合裝置(CXD)或者互補金屬氧化物半導(dǎo)體(CMOS)傳感器等的圖像傳感器讀取圖像數(shù)據(jù)，并且執(zhí)行包括伽瑪校正、像素插值和矩陣變換等的各種圖像處理。由單板構(gòu)成的圖像傳感器包括用于多個顏色的顏色濾波器。在這樣的圖像傳感器中，對于每一像素設(shè)置多個顏色中的任意顏色用的一個顏色濾波器。如圖4所示，具有包括紅色(R)、綠色(G)和藍(lán)色(B)的原色(RGB)用的顏色濾波器的Bayer陣列的圖像傳感器，其通常具有下面的遞歸像素圖案。更具體地，在該遞歸像素圖案中，一個垂直2像素X水平2像素的像素塊的四個像素包括對角設(shè)置的一個R像素和一個B像素以及相反對角設(shè)置的其它兩個G像素。
[0004]從圖像傳感器所讀取的圖像數(shù)據(jù)可能通常包括圖像傳感器的構(gòu)成電路可能導(dǎo)致的噪聲成分。此外，在從圖像傳感器所讀取的圖像數(shù)據(jù)中，可能發(fā)生偽色現(xiàn)象。因此，對圖像數(shù)據(jù)進(jìn)行用于減少上述不必要的信號成分的圖像處理。
[0005]例如，有一種傳統(tǒng)方法，該方法通過將輸入圖像數(shù)據(jù)分成不同頻帶的多個圖像數(shù)據(jù)，并且隨后將這些不同頻帶的多個圖像數(shù)據(jù)合成在一起，來減少圖像數(shù)據(jù)中所包括的不必要的信號成分。
[0006]日本特開2008-015741號公報所述的方法首先對圖像數(shù)據(jù)分層執(zhí)行低通濾波(LPF)處理和縮小處理，以將輸入圖像數(shù)據(jù)分成不同頻帶的多個圖像數(shù)據(jù)。然后，根據(jù)基于各頻帶的圖像數(shù)據(jù)的低頻帶成分所計算出的邊緣信息，對與各頻帶相對應(yīng)的多個圖像數(shù)據(jù)的高頻帶成分進(jìn)行降噪。隨后，將低頻帶的圖像數(shù)據(jù)和各自經(jīng)過了降噪的高頻帶的圖像數(shù)據(jù)合成在一起。
[0007]下面將參考圖5詳細(xì)說明一般的圖像處理單元的結(jié)構(gòu)，其中，該圖像處理單元首先將輸入圖像數(shù)據(jù)分成不同頻帶的多個圖像數(shù)據(jù)，并且隨后將這些不同頻帶的多個圖像數(shù)據(jù)合成在一起。
[0008]參考圖5，圖像處理單元包括分割單元510、存儲器520、校正單元530和合成單元540。分割單元510將輸入圖像數(shù)據(jù)分割成不同頻帶的多個圖像數(shù)據(jù)。校正單元530對各頻帶的圖像數(shù)據(jù)執(zhí)行校正。合成單元540將圖像處理后的不同頻帶的多個圖像數(shù)據(jù)合成在一起。
[0009]分割單元510將輸入圖像數(shù)據(jù)Sin作為第一頻帶的圖像數(shù)據(jù)輸出至存儲器520。然后，分割單元510將輸入圖像數(shù)據(jù)Sin輸入至高通濾波器(HPF) 511。此外，分割單元510將通過提取高頻成分所生成的圖像數(shù)據(jù)作為第一頻帶的圖像數(shù)據(jù)輸出至存儲器520。然后，分割單元510將輸入圖像數(shù)據(jù)Sin輸入至低通濾波器512以對圖像數(shù)據(jù)Sin執(zhí)行平滑化。隨后，將平滑后的圖像數(shù)據(jù)輸入至縮小電路513。因此，生成了像素少于輸入圖像數(shù)據(jù)Sin的像素的圖像數(shù)據(jù)。此外，分割單元510將該圖像數(shù)據(jù)輸入至高通濾波器514。此外，分割單元510將通過提取高頻成分所生成的圖像數(shù)據(jù)作為第二頻帶的圖像數(shù)據(jù)輸出至存儲器520。
[0010]另外，低通濾波器515對縮小電路513所生成的圖像數(shù)據(jù)執(zhí)行平滑化。然后，將平滑后的圖像數(shù)據(jù)輸入至縮小電路516。因此，生成了像素少于縮小電路513所生成的圖像數(shù)據(jù)的像素的圖像數(shù)據(jù)。然后，將該圖像數(shù)據(jù)作為第三頻帶的圖像數(shù)據(jù)輸出至存儲器520。第一頻帶是最高頻帶，并且第二頻帶和第三頻帶依次逐漸降低。
[0011]在圖5所示的分割單元510中，高通濾波器、低通濾波器和縮小電路構(gòu)成一個帶分割電路。換句話說，分割單元510包括以樹狀結(jié)構(gòu)設(shè)置的兩個帶分割電路。
[0012]校正單元530包括分別與第一頻帶?第三頻帶的圖像數(shù)據(jù)相對應(yīng)的三個校正電路531?533。校正電路531?533對從存儲器520讀取的各頻帶的圖像數(shù)據(jù)執(zhí)行諸如像差校正或用于生成高清晰度圖像的降噪和邊緣信息存儲處理等的各種處理。
[0013]合成單元540將校正電路533進(jìn)行了處理的第三頻帶的圖像數(shù)據(jù)輸入至放大電路541，以生成像素數(shù)量與校正電路532進(jìn)行了處理的第二頻帶的圖像數(shù)據(jù)的像素數(shù)量相同的圖像數(shù)據(jù)。然后，通過低通濾波器542對所生成的圖像數(shù)據(jù)進(jìn)行平滑化。相加電路543將校正電路532處理后的第二頻帶的圖像數(shù)據(jù)與從低通濾波器542輸出的圖像數(shù)據(jù)進(jìn)行相力口。放大電路544基于從相加電路543輸出的圖像數(shù)據(jù)，生成像素數(shù)量與校正電路531進(jìn)行了處理后的第一頻帶的圖像數(shù)據(jù)的像素數(shù)量相同的圖像數(shù)據(jù)。然后，通過低通濾波器545對所生成的圖像數(shù)據(jù)進(jìn)行平滑化。相加電路546將校正電路531處理后的第一頻帶的圖像數(shù)據(jù)與從低通濾波器545輸出的圖像數(shù)據(jù)進(jìn)行相加，以生成輸出圖像數(shù)據(jù)Sout。
[0014]在圖5所示的合成單元540中，放大電路、低通濾波器和相加電路構(gòu)成一個頻帶合成電路。換句話說，合成單元540包括以樹狀結(jié)構(gòu)設(shè)置的兩個頻帶合成電路。
[0015]如上所述，在具有Bayer陣列的原色濾波器并且包括以馬賽克狀配置所排列的多個顏色用的顏色濾波器的圖像傳感器所獲取的圖像數(shù)據(jù)中，可以從一個像素獲取與多個顏色中的僅一個顏色相對應(yīng)的像素值。
[0016]然而，日本特開2008-015741號公報并沒有說明用于對各像素包括與顏色濾波器的多個顏色中的任意顏色相對應(yīng)的信號的圖像數(shù)據(jù)進(jìn)行處理的任何方法。
[0017]在具有原色Bayer陣列的單板圖像傳感器的情況下，通過執(zhí)行在將圖像數(shù)據(jù)分割成不同頻帶的多個圖像數(shù)據(jù)時所執(zhí)行的下采樣而實現(xiàn)的縮小處理，無需對針對各顏色具有零信號的像素進(jìn)行插值，圖像傳感器的各像素即可具有所有顏色成分的信號。如圖6所示，為了特別說明具有Bayer陣列的圖像傳感器的特定行，依次遞歸配置R信號顏色濾波器和G信號顏色濾波器。下面將說明用于在水平方向上將以該方式配置的像素的數(shù)量減小至原始數(shù)量的一半的傳統(tǒng)方法。為了特別說明特定行的R信號，將原本以兩個像素中存在一個R像素為周期所排列的R信號通過縮小處理縮小成針對每一像素的一個信號。類似地，為了特別說明同一行的G信號，將原本以兩個像素中存在一個G像素為周期所排列的G信號通過縮小處理縮小成針對每一像素的一個信號。然而，在用于縮小G信號的處理期間，為了將G信號的重心位置與R信號的重心位置對準(zhǔn)，通過對相鄰像素的像素值進(jìn)行平均來計算重心位置的值。通過以上述方式執(zhí)行縮小，無需對針對各顏色具有零信號的像素進(jìn)行插值，可以在一個像素位置處生成RGB原色的所有顏色成分的信號。通常，將針對同一像素生成多個顏色的信號通稱為同步化(synchronizat1n)。
[0018]由于通過縮小而對第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)進(jìn)行同步化，因而可以以同步化狀態(tài)將第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)存儲在存儲器520上。如果將同步化后的第二頻帶的圖像數(shù)據(jù)和同步化后的第三頻帶的圖像數(shù)據(jù)逆變換回Bayer陣列的圖像數(shù)據(jù)，則圖像數(shù)據(jù)的信息量可能由于逆變換而減小。因此，校正單元530的降噪或者像差校正的校正精度可能劣化。
[0019]假定:可以對第一頻帶的圖像數(shù)據(jù)進(jìn)行與第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)相關(guān)聯(lián)的同步化，然后將同步化后的圖像數(shù)據(jù)存儲在存儲器520上。然而，在這種情況下，信息量是最大數(shù)據(jù)的第一頻帶的圖像數(shù)據(jù)的信息量可能變成三倍的大小。因此，必須將存儲器520的容量增大至非常大的容量。
[0020]引f列表
[0021]專利文獻(xiàn)
[0022][專利文獻(xiàn)I]日本特開2008-015741號公報


【發(fā)明內(nèi)容】

[0023]本發(fā)明旨在對如下圖像處理設(shè)備的改進(jìn)，其中該圖像處理設(shè)備用于將通過包括多個顏色濾波器的單板圖像傳感器所拍攝的圖像數(shù)據(jù)分成不同頻帶的多個圖像數(shù)據(jù)，將該圖像數(shù)據(jù)存儲在存儲器中，并且校正從該存儲器所讀取的這些不同頻帶的多個圖像數(shù)據(jù)。
[0024]根據(jù)本發(fā)明的一個方面，一種圖像處理設(shè)備，其包括:帶分割單元，用于基于第一圖像數(shù)據(jù)而輸出頻帶低于所述第一圖像數(shù)據(jù)的頻帶的第二圖像數(shù)據(jù)以及頻帶還低于所述第二圖像數(shù)據(jù)的頻帶的第三圖像數(shù)據(jù)，其中，所述第一圖像數(shù)據(jù)包括多個顏色成分信號，并且所述第一圖像數(shù)據(jù)的各像素包括所述多個顏色成分信號中的任意顏色成分信號；存儲器，用于存儲所述第一圖像數(shù)據(jù)、所述第二圖像數(shù)據(jù)和所述第三圖像數(shù)據(jù)；校正單元，用于對存儲在所述存儲器上的所述第一圖像數(shù)據(jù)、所述第二圖像數(shù)據(jù)和所述第三圖像數(shù)據(jù)執(zhí)行校正處理；以及合成單元，用于將所述校正單元進(jìn)行了校正的所述第一圖像數(shù)據(jù)、所述第二圖像數(shù)據(jù)和所述第三圖像數(shù)據(jù)合成在一起，其中，從所述帶分割單元輸出的所述第二圖像數(shù)據(jù)和所述第三圖像數(shù)據(jù)各自的部分像素或者全部像素包括所述多個顏色成分信號，以及所述存儲器將所述第一圖像數(shù)據(jù)以各像素包括所述多個顏色成分信號中的任意顏色成分信號的狀態(tài)進(jìn)行存儲，并且將所述第二圖像數(shù)據(jù)和所述第三圖像數(shù)據(jù)以各自的部分像素或者全部像素包括所述多個顏色成分信號的狀態(tài)進(jìn)行存儲。
[0025]通過以下參考附圖對典型實施例的詳細(xì)說明，本發(fā)明的其它特征和方面將顯而易見。

【專利附圖】

【附圖說明】
[0026]包含在說明書中并構(gòu)成說明書一部分的附圖示出了本發(fā)明的典型實施例、特征和方面，并與說明書一起用來解釋本發(fā)明的原理。
[0027]圖1是根據(jù)本發(fā)明典型實施例的攝像設(shè)備的功能框圖。
[0028]圖2是示出根據(jù)本發(fā)明第一典型實施例的與圖像處理單元的降噪有關(guān)的結(jié)構(gòu)的框圖。
[0029]圖3是示出根據(jù)本發(fā)明第二典型實施例的與圖像處理單元的降噪有關(guān)的結(jié)構(gòu)的框圖。
[0030]圖4示出Bayer陣列的像素圖案。
[0031]圖5是示出執(zhí)行用于將不同頻帶的多個圖像數(shù)據(jù)合成在一起的處理的傳統(tǒng)圖像處理單元的一般結(jié)構(gòu)的框圖。
[0032]圖6示出通過利用下采樣進(jìn)行縮小所得到的圖像數(shù)據(jù)的同步化。

【具體實施方式】
[0033]下面將參考附圖詳細(xì)說明本發(fā)明的各種典型實施例、特征和方面。
[0034]圖1是根據(jù)本發(fā)明典型實施例的攝像設(shè)備的功能框圖。
[0035]參考圖1，圖像形成光學(xué)單元101包括鏡頭和光圈。圖像形成光學(xué)單元101可以控制調(diào)焦和曝光。圖像傳感器102具有用于將光學(xué)圖像轉(zhuǎn)換成電信號的光電轉(zhuǎn)換功能。圖像傳感器102由CXD或者CMOS傳感器構(gòu)成。模擬-數(shù)字(A/D)轉(zhuǎn)換電路103將來自圖像傳感器102的模擬圖像信號轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)。圖像處理單元104對從A/D轉(zhuǎn)換電路103輸出的圖像數(shù)據(jù)執(zhí)行諸如降噪、像差校正、偽色去除、伽瑪校正、插值和矩陣變換等的各種處理。
[0036]存儲器接口(I/F) 105作為與由動態(tài)隨機存取存儲器(DRAM)構(gòu)成的存儲器106的接口，具有用于寫入和讀取圖像處理單元104處理后的圖像數(shù)據(jù)和各種控制數(shù)據(jù)的功能。中央處理單元(CPU) 107執(zhí)行各種控制操作。顯示單元108包括液晶顯示器(IXD)監(jiān)視器。顯示單元108順次顯示圖像處理單元104處理后的圖像數(shù)據(jù)，以允許用戶實時查看所拍攝的被攝體圖像。
[0037]入射至圖像形成光學(xué)單元101的光在圖像傳感器102的光接收面上形成圖像，并且從圖像傳感器102輸出該圖像的信號作為模擬圖像信號。在圖像傳感器102中，對各像素設(shè)置各個R(紅色)、G(綠色)和B(藍(lán)色)顏色濾波器。從各像素輸出的信號水平對應(yīng)于R、G和B信號中的任意信號的水平。A/D轉(zhuǎn)換電路103將模擬圖像信號轉(zhuǎn)換成作為Bayer陣列的RAW圖像的數(shù)字圖像數(shù)據(jù)，然后將該數(shù)字圖像數(shù)據(jù)輸入至圖像處理單元104。
[0038]圖2是示出根據(jù)第一典型實施例的與圖像處理單元104的降噪有關(guān)的結(jié)構(gòu)的框圖。
[0039]參考圖2，圖像處理單元104包括分割單元210、存儲器220、校正單元230和合成單元240。分割單元210將輸入圖像數(shù)據(jù)分割成多個不同頻帶的圖像數(shù)據(jù)。校正單元230對各頻帶的圖像數(shù)據(jù)執(zhí)行降噪。合成單元240將不同頻帶的圖像數(shù)據(jù)合成在一起。
[0040]分割單元210將輸入圖像數(shù)據(jù)Sin原樣地作為第一頻帶的圖像數(shù)據(jù)輸出至存儲器220。
[0041]分割單元210還將輸入圖像數(shù)據(jù)Sin輸入至LPF 211。在通過LPF 211進(jìn)行平滑化之后，將輸入圖像數(shù)據(jù)Sin輸入至縮小電路212。因而，生成了所包括的像素少于輸入圖像數(shù)據(jù)Sin的像素的圖像數(shù)據(jù)。在本典型實施例中，縮小電路212通過執(zhí)行下采樣來縮小輸入圖像數(shù)據(jù)，從而使得在垂直和水平方向兩者上的像素的數(shù)量可以變成原始像素數(shù)量的一半。此外，縮小電路212將縮小后的圖像數(shù)據(jù)作為第二頻帶的圖像數(shù)據(jù)輸出至存儲器220。
[0042]此外，隨后通過低通濾波器213對縮小電路212所生成的圖像數(shù)據(jù)進(jìn)行平滑化。然后，將平滑化后的圖像數(shù)據(jù)輸入至縮小電路214。因此，縮小電路214生成所包括的像素少于縮小電路212所生成的圖像數(shù)據(jù)的像素的圖像數(shù)據(jù)。在本典型實施例中，縮小電路214還對輸入圖像數(shù)據(jù)執(zhí)行下采樣，以在垂直和水平方向上將圖像數(shù)據(jù)的大小減小至原始大小的一半。將縮小后的圖像數(shù)據(jù)作為第三頻帶的圖像數(shù)據(jù)輸出至存儲器220。
[0043]例如，可以通過下面的傳遞函數(shù)實現(xiàn)低通濾波器211和213。
[0044]H(Z) = 1/2* (1+Z-1)...(數(shù)學(xué)式 I)
[0045]分割單元210用作帶分割單元。第一頻帶為最高頻帶。第二頻帶和第三頻帶依次逐漸降低。
[0046]如上所述，通過低通濾波器來處理第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)，以對這些圖像數(shù)據(jù)進(jìn)行可在一個像素位置處生成RGB顏色的所有顏色成分的信號的同步化?？梢砸酝交癄顟B(tài)將第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)存儲在存儲器220上。
[0047]對于第一頻帶的圖像數(shù)據(jù)，作為下游單元的校正單元230使用同步化后的圖像數(shù)據(jù)。然而，將尚未同步化的具有Bayer陣列的RAW圖像數(shù)據(jù)存儲在存儲器220上。因而，本典型實施例可以減小存儲器220的用于存儲圖像數(shù)據(jù)的所需容量。
[0048]校正單元230從存儲器220讀取第一頻帶?第三頻帶的圖像數(shù)據(jù)，并且對所讀取的圖像數(shù)據(jù)執(zhí)行降噪。代替一次讀取全部圖像數(shù)據(jù)，每當(dāng)執(zhí)行處理時，校正單元230讀取與高通濾波器231和232以及降噪電路233?235通過一個操作要處理的區(qū)域相對應(yīng)的所需圖像數(shù)據(jù)。因而，校正單元230包括存儲器(未示出)，但是與存儲器220的容量相比，該存儲器的所需容量十分小。例如，可以通過下面的傳遞函數(shù)實現(xiàn)高通濾波器231和232。
[0049]H(Z) = Ι/^α-Ζ—1)...(數(shù)學(xué)式 2)
[0050]校正單元230讀取包括以目標(biāo)像素為中心的預(yù)定數(shù)量的像素的第一頻帶的圖像數(shù)據(jù)。然后，通過高通濾波器231來處理該第一頻帶的圖像數(shù)據(jù)。因而，校正單元230可以提取以目標(biāo)像素為中心的第一頻帶的圖像數(shù)據(jù)的區(qū)域的高頻帶成分。然后，將所讀取的具有預(yù)定數(shù)量的像素的第一頻帶的圖像數(shù)據(jù)輸入至高通濾波器231，以對其進(jìn)行用于在各像素的位置處生成所有RGB顏色的顏色成分的信號的同步化。
[0051]降噪(NR)電路233使用從高通濾波器231輸出的具有高頻帶成分的圖像數(shù)據(jù)，并且判斷圖像數(shù)據(jù)的邊緣的方向。更具體地，降噪電路233例如基于同步化后的G信號的顏色成分的信號水平來判斷所讀取圖像數(shù)據(jù)的區(qū)域的邊緣的方向。另外，降噪電路233執(zhí)行用于在所判斷出的邊緣方向上對信號進(jìn)行混合的處理，以對圖像數(shù)據(jù)進(jìn)行平滑化。以上述方式，本典型實施例減少圖像數(shù)據(jù)中所包含的噪聲。
[0052]同樣，校正單元230讀取包括以目標(biāo)像素為中心的預(yù)定數(shù)量的像素的第二頻帶的圖像數(shù)據(jù)，并且使高通濾波器232從所讀取的第二頻帶的圖像數(shù)據(jù)提取高頻帶成分。此外，校正單元230使降噪電路234對高通濾波器232已處理的圖像數(shù)據(jù)執(zhí)行降噪。
[0053]校正單元230讀取包括以目標(biāo)像素為中心的預(yù)定數(shù)量的像素的第三頻帶的圖像數(shù)據(jù)。隨后，在無需通過高通濾波器提取高頻帶成分的情況下，降噪電路235對所讀取的第三頻帶的圖像數(shù)據(jù)進(jìn)行降噪。
[0054]除通過使用第一頻帶?第三頻帶的圖像數(shù)據(jù)的降噪以外，校正單元230還可以執(zhí)行用于校正倍率的色像差的處理和用于去除偽色的處理。即使在校正處理中要執(zhí)行與降噪不同的處理來提高圖像質(zhì)量，也可以通過使用同步化后的第二頻帶的圖像數(shù)據(jù)和同步化后的第三頻帶的圖像數(shù)據(jù)來應(yīng)用本發(fā)明。
[0055]隨后，合成單元240將從降噪電路235輸出的圖像數(shù)據(jù)輸入至放大電路241。放大電路241放大圖像數(shù)據(jù)，以使得同一區(qū)域所包括的像素的數(shù)量變得等于從降噪電路234輸出的圖像數(shù)據(jù)的像素的數(shù)量。更具體地，放大電路241對從降噪電路235輸出的圖像數(shù)據(jù)執(zhí)行上采樣來增加垂直方向和水平方向兩個方向上的像素的數(shù)量，以變大至上采樣之前的數(shù)量的兩倍。隨后，將經(jīng)過了上采樣的圖像數(shù)據(jù)輸入至低通濾波器242。低通濾波器242對圖像數(shù)據(jù)執(zhí)行平滑化。
[0056]相加電路243通過使從低通濾波器242輸出的圖像數(shù)據(jù)和從降噪電路234輸出的圖像數(shù)據(jù)的空間相位一致，將這些圖像數(shù)據(jù)合成在一起。然后，將合成后的圖像數(shù)據(jù)輸出至放大電路244。放大電路244放大圖像數(shù)據(jù)，以使得同一區(qū)域中的像素的數(shù)量變得與從降噪電路233輸出的圖像數(shù)據(jù)的像素的數(shù)量相同。更具體地，放大電路244對從相加電路243輸出的圖像數(shù)據(jù)執(zhí)行上采樣來增加垂直方向和水平方向兩個方向上的像素的數(shù)量，以變大至上采樣之前的數(shù)量的兩倍。隨后，將上采樣后的圖像數(shù)據(jù)輸入至低通濾波器245。低通濾波器245對圖像數(shù)據(jù)執(zhí)行平滑化。
[0057]相加電路246通過使從低通濾波器245輸出的圖像數(shù)據(jù)和從降噪電路233輸出的圖像數(shù)據(jù)的空間相位一致，將這些圖像數(shù)據(jù)合成在一起，以生成與目標(biāo)像素相對應(yīng)的輸出圖像數(shù)據(jù)Sout。圖像處理單元104對圖像數(shù)據(jù)的所有區(qū)域執(zhí)行上述處理。因而，可以生成噪聲得以減少的圖像數(shù)據(jù)。
[0058]在相加電路243和246的圖像數(shù)據(jù)相加處理期間，使從降噪電路233和234輸出的圖像數(shù)據(jù)延遲，以使要相加在一起的圖像數(shù)據(jù)的空間相位一致。因而，校正單元230和合成單元240可以減少存儲器的所需容量。
[0059]為了使校正單元230在期望時刻讀取所需區(qū)域的全部圖像數(shù)據(jù)，需要使存儲器220存儲圖像數(shù)據(jù)的所有區(qū)域的第一頻帶?第三頻帶的圖像數(shù)據(jù)。如果要以與第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)同樣的同步化狀態(tài)將第一頻帶?第三頻帶的所有圖像數(shù)據(jù)中具有最大像素數(shù)量的第一頻帶的圖像數(shù)據(jù)存儲在存儲器220上，則需要存儲器220具有非常大的容量。
[0060]為了防止這種情況，在本典型實施例中，以同步化狀態(tài)將分別由分割單元210進(jìn)行了同步化的第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)存儲在存儲器220上。另一方面，將第一頻帶的圖像數(shù)據(jù)以沒有進(jìn)行同步化的狀態(tài)存儲在存儲器220上。
[0061]輸入至圖像處理單元104的圖像數(shù)據(jù)原本僅包括與各顏色用的顏色濾波器中的任一顏色相對應(yīng)的顏色成分的信號。因而，如果將第一頻帶的圖像數(shù)據(jù)原樣地存儲在存儲器上，則圖像數(shù)據(jù)的信息量不會減少。如果要對第一頻帶的圖像數(shù)據(jù)進(jìn)行可以維持Bayer陣列的校正(例如，缺陷像素的校正)，則可以在將第一頻帶的圖像數(shù)據(jù)存儲在存儲器220上之前，對其執(zhí)行該校正。
[0062]可以假定:類似于第一頻帶的圖像數(shù)據(jù)，對同步化后的第二頻帶和第三頻帶的圖像數(shù)據(jù)進(jìn)行使得各像素具有一個顏色成分信號的采樣從而維持Bayer陣列結(jié)構(gòu)，然后將這些圖像數(shù)據(jù)存儲在存儲器220上。然而，在這種情況下，如果校正單元230通過再次執(zhí)行同步化而生成圖像，則圖像數(shù)據(jù)的信息量少于以Bayer陣列進(jìn)行設(shè)置之前的圖像的信息量。換句話說，降噪的精度可能劣化。為了防止這種情況，本典型實施例以同步化狀態(tài)將第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)存儲在存儲器220上。
[0063]校正單元230的高通濾波器231和232不總是必需的。如果放大電路241和244所執(zhí)行的合成圖像數(shù)據(jù)的合成比率可以根據(jù)第一頻帶的圖像數(shù)據(jù)所包括的邊緣成分的強度而適當(dāng)?shù)剡M(jìn)行改變，則校正單元230可以不包括高通濾波器231和232。更具體地，隨著第一頻帶的邊緣成分所包括的圖像數(shù)據(jù)的強度的變大，頻帶的圖像數(shù)據(jù)的合成比率可以增大。
[0064]圖3是示出根據(jù)本發(fā)明第二典型實施例的圖像處理單元104所執(zhí)行的降噪的結(jié)構(gòu)的框圖。
[0065]參考圖3，圖像處理單元104包括分割單元310、存儲器320、校正單元330和合成單元340。分割單元310將輸入圖像數(shù)據(jù)分割成多個不同頻帶的圖像數(shù)據(jù)。校正單元330對各頻帶的圖像數(shù)據(jù)執(zhí)行降噪。合成單元340將不同頻帶的圖像數(shù)據(jù)合成在一起。
[0066]存儲器320和合成單元340分別具有與圖2所示的存儲器220和合成單元240相同的結(jié)構(gòu)。
[0067]在分割單元310中，低通濾波器311、縮小電路312、低通濾波器313和縮小電路314分別具有與圖2所示的低通濾波器211、縮小電路212、低通濾波器213和縮小電路214相同的結(jié)構(gòu)。與不圖2所示的分割單元210的不同之處在于:根據(jù)本典型實施例的分割單元310還包括紅色和藍(lán)色(RB)變換電路315和316。
[0068]在校正單元330中，高通濾波器331和332以及降噪電路333?335分別具有與圖2所示的校正單元230中的高通濾波器231和232以及降噪電路233?235相同的結(jié)構(gòu)。與圖2所示的校正單元230的不同之處在于:根據(jù)本典型實施例的校正單元330還包括RB逆變換電路336和337。
[0069]RB變換電路315和316執(zhí)行用于將包括從縮小電路312和314輸出的同步化后的圖像數(shù)據(jù)的紅色和藍(lán)色顏色成分的信號的圖像數(shù)據(jù)的水平分辨率減少至原始水平分辨率的一半的處理。更具體地，對圖像數(shù)據(jù)進(jìn)行處理，以使得所有像素具有綠色顏色成分的信號，而僅一部分(一半)像素具有紅色和藍(lán)色顏色成分的信號。例如，通過使用以下面的傳遞函數(shù)所實現(xiàn)的低通濾波而在水平方向上進(jìn)行下采樣，可以對圖像數(shù)據(jù)進(jìn)行間隔剔除。
[0070]H(z) = 1/4*(1+2*Z-1+Z-2)...(數(shù)學(xué)式 3)
[0071 ] RB逆變換電路336和337執(zhí)行用于使水平分辨率被RB變換電路315和316減小至原始水平的一半的、包括紅色和藍(lán)色顏色成分的信號的圖像數(shù)據(jù)的水平分辨率恢復(fù)為兩倍高的水平的處理。更具體地，可以通過在水平方向上對圖像數(shù)據(jù)進(jìn)行兩倍大的上采樣，來對該圖像數(shù)據(jù)進(jìn)行插值。
[0072]與綠色顏色成分的信號相比，紅色顏色成分信號和藍(lán)色顏色成分信號對包括紅色、綠色和藍(lán)色顏色成分信號的圖像數(shù)據(jù)的視覺特性的影響相對較低。因而，如果在綠色顏色成分的水平分辨率不變的情況下，將紅色顏色成分和藍(lán)色顏色成分各自的水平分辨率減小至原始水平的一半，則所拍攝圖像的質(zhì)量的劣化可能不會太大。
[0073]因而,在本典型實施例中，在將紅色和藍(lán)色顏色成分的水平分辨率減小至原始水平的一半之后，將第二頻帶的圖像數(shù)據(jù)和第三頻帶的圖像數(shù)據(jù)存儲在存儲器320上。因此，本典型實施例可以減少存儲器320的所需容量和帶寬。
[0074]可以根據(jù)攝像設(shè)備的工作模式來改變是否執(zhí)行RB變換電路315和316以及RB逆變換電路336和337所執(zhí)行的處理。除靜止圖像拍攝模式以外，近年來的數(shù)字照相機還包括諸如運動圖像記錄模式和高速連續(xù)拍攝模式等的多個工作模式(功能)。在運動圖像記錄模式和高速連續(xù)拍攝模式下，需要向數(shù)字照相機設(shè)置具有適當(dāng)帶寬的存儲器。
[0075]如果圖像傳感器102處于諸如運動圖像記錄模式或者高速連續(xù)拍攝模式等的存儲器的帶寬消耗大的工作模式，則可以使RB變換電路315和316以及RB逆變換電路336和337所進(jìn)行的處理有效。
[0076]另一方面，如果圖像傳感器102處于靜止圖像記錄模式，則可以使RB變換電路315和316以及RB逆變換電路336和337所進(jìn)行的處理無效。利用上述結(jié)構(gòu)，與使RB變換電路和RB逆變換電路所進(jìn)行的上述處理有效的情況相比，本典型實施例可以通過使用信息量較大的圖像數(shù)據(jù)來執(zhí)行降噪。因而，本典型實施例可以高精度地執(zhí)行降噪。
[0077]在以上參考相應(yīng)附圖所述的各典型實施例中，為了便于理解，對于不同內(nèi)容的處理設(shè)置不同電路。然而，可以利用集成電路來實現(xiàn)上述多個電路。另一方面，多個電路可以分擔(dān)實現(xiàn)上述的一個電路所進(jìn)行的處理。
[0078]如上所述，各典型實施例使用由具有Bayer陣列并且具有RGB原色用的顏色濾波器的圖像傳感器所生成的圖像數(shù)據(jù)。然而，本發(fā)明不局限于該結(jié)構(gòu)。換句話說，還可以對由具有諸如黃色(Y)、品紅色(M)和青色(C)等的補色用的顏色濾波器的圖像傳感器所生成的圖像數(shù)據(jù)執(zhí)行上述處理。
[0079]在各典型實施例中，將圖像數(shù)據(jù)分割成三個不同頻帶的圖像數(shù)據(jù)。然而，可以通過可選地將圖像數(shù)據(jù)僅分割成兩個不同頻帶的圖像數(shù)據(jù)來實現(xiàn)本發(fā)明。此外，可選地，在將圖像數(shù)據(jù)分割成四個以上不同頻帶的圖像數(shù)據(jù)的情況下，也可以實現(xiàn)本發(fā)明。
[0080]作為除上述方法以外的用于將圖像數(shù)據(jù)分割成不同頻帶的多個圖像數(shù)據(jù)的方法，可以可選地使用下面的方法。更具體地，可以通過小波變換而將圖像數(shù)據(jù)分割成相互不同的頻帶的多個圖像數(shù)據(jù)，以實現(xiàn)本發(fā)明。
[0081]此外，本發(fā)明不局限于攝像設(shè)備。如果安裝了圖像處理應(yīng)用程序的個人計算機(PC)可以用作如下的圖像處理設(shè)備，則可以通過該PC來實現(xiàn)本發(fā)明，其中該圖像處理設(shè)備能夠通過對根據(jù)各像素不同而不同的顏色成分信號執(zhí)行同步化，來對包括這些信號的圖像數(shù)據(jù)進(jìn)行處理。
[0082]還可以通過向系統(tǒng)或設(shè)備提供存儲用于實現(xiàn)這些實施例的功能的軟件的程序代碼的非易失性存儲介質(zhì)并且通過利用該系統(tǒng)或設(shè)備的計算機(CPU或者微處理單元(MPU))讀取并執(zhí)行存儲在該存儲介質(zhì)上的程序代碼來實現(xiàn)本發(fā)明。
[0083]盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有修改、等同結(jié)構(gòu)和功倉泛。
[0084]本申請要求2010年5月11日提交的日本專利申請2010-109548的優(yōu)先權(quán)，其全部內(nèi)容通過引用包含于此。
【權(quán)利要求】
1.一種圖像處理設(shè)備，其包括: 帶分割單元，用于基于第一圖像數(shù)據(jù)而輸出頻帶低于所述第一圖像數(shù)據(jù)的頻帶的第二圖像數(shù)據(jù)，其中，所述第一圖像數(shù)據(jù)與多個顏色成分信號相對應(yīng)，并且所述第一圖像數(shù)據(jù)的各像素與所述多個顏色成分信號中的一個顏色成分信號相對應(yīng)； 存儲器，用于存儲所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)；以及 合成單元，用于將所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)合成在一起， 其特征在于，所述存儲器將所述第一圖像數(shù)據(jù)以各像素與所述多個顏色成分信號中的一個顏色成分信號相對應(yīng)的狀態(tài)進(jìn)行存儲，并且將所述第二圖像數(shù)據(jù)以部分像素或者全部像素與所述多個顏色成分信號相對應(yīng)的狀態(tài)進(jìn)行存儲。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 所述多個顏色成分信號與紅色顏色成分信號、綠色顏色成分信號和藍(lán)色顏色成分信號相對應(yīng)， 所述帶分割單元基于所述第一圖像數(shù)據(jù)，來生成頻帶低于所述第一圖像數(shù)據(jù)的頻帶并且各像素與所述多個顏色成分信號相對應(yīng)的第三圖像數(shù)據(jù)，并且所述帶分割單元進(jìn)一步基于所述第三圖像數(shù)據(jù)，通過減少所述第三圖像數(shù)據(jù)的包括紅色顏色成分信號的像素的數(shù)量和包括藍(lán)色顏色成分信號的像素的數(shù)量，來生成所述第二圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，還包括校正單元，所述校正單元用于對存儲在所述存儲器上的所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)執(zhí)行校正處理， 所述合成單元將所述校正單元進(jìn)行了校正的所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)合成在一起。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中， 所述校正處理包括降噪處理、倍率色像差校正處理和偽色去除處理至少之一。
5.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中， 所述校正單元對所述第一圖像數(shù)據(jù)進(jìn)行轉(zhuǎn)換，以使得所述第一圖像數(shù)據(jù)的各像素與所述多個顏色成分信號相對應(yīng)，然后對所述第一圖像數(shù)據(jù)執(zhí)行所述校正處理。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 所述第二圖像數(shù)據(jù)的像素的數(shù)量少于所述第一圖像數(shù)據(jù)的像素的數(shù)量。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 所述第一圖像數(shù)據(jù)具有拜爾陣列。
8.一種圖像處理設(shè)備的控制方法，包括以下步驟: 基于第一圖像數(shù)據(jù)而輸出頻帶低于所述第一圖像數(shù)據(jù)的頻帶的第二圖像數(shù)據(jù)，其中，所述第一圖像數(shù)據(jù)與多個顏色成分信號相對應(yīng)，并且所述第一圖像數(shù)據(jù)的各像素與所述多個顏色成分信號中的一個顏色成分信號相對應(yīng)； 將所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)存儲在存儲器上；以及 將所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)合成在一起， 其特征在于，所述存儲器將所述第一圖像數(shù)據(jù)以各像素與所述多個顏色成分信號中的一個顏色成分信號相對應(yīng)的狀態(tài)進(jìn)行存儲，并且將所述第二圖像數(shù)據(jù)以部分像素或者全部像素與所述多個顏色成分信號相對應(yīng)的狀態(tài)進(jìn)行存儲。
【文檔編號】H04N5/232GK104410786SQ201410669965
【公開日】2015年3月11日 申請日期:2011年5月6日 優(yōu)先權(quán)日:2010年5月11日
【發(fā)明者】川口善也, 原貴幸, 國枝秀太郎 申請人:佳能株式會社