專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法，尤其涉及一種通過使用圖像恢復(fù)處理來校正劣化圖像的圖像處理設(shè)備和方法。
背景技術(shù)：
由于信息的數(shù)字化使得能夠?qū)D像作為信號(hào)值進(jìn)行處理，因而提出了針對(duì)所拍攝圖像的各種校正處理方法。當(dāng)利用數(shù)字照相機(jī)拍攝被攝體并使被攝體圖像化時(shí)，所獲得的圖像的質(zhì)量遭受一定程度的劣化。使被攝體圖像化所使用的光學(xué)攝像系統(tǒng)的像差尤其會(huì)造成圖像質(zhì)量的劣化。
圖像的模糊成分的成因包括光學(xué)系統(tǒng)的球面像差(spherical aberration)、彗星像差(comat i c aberration)、像場(chǎng)彎曲(field of curvature)和像散(astigmatism)。由這些像差所引起的圖像的模糊成分各自表示從被攝體的一個(gè)點(diǎn)出射的光束形成為擴(kuò)散的圖像，而在沒有任何像差或沒有任何衍射影響的情況下，該光束應(yīng)在攝像面上會(huì)聚到一個(gè)點(diǎn)。該狀態(tài)在光學(xué)領(lǐng)域稱之為PSF (點(diǎn)擴(kuò)散函數(shù))，而這里在圖像領(lǐng)域稱之為模糊成分。圖像中的模糊可以表示離焦圖像，但這里也使用圖像中的模糊來表示即使處于聚焦?fàn)顟B(tài)、由于光學(xué)系統(tǒng)的上述像差的影響而導(dǎo)致模糊的圖像。另外，可以將由光學(xué)系統(tǒng)的軸上色像差、顏色的球面像差和顏色的慧星像差所引起的彩色圖像的色邊紋(color fringing)當(dāng)作不同波長處發(fā)生模糊的不同方式。通過PSF的傅立葉變換所獲得的0TF(光學(xué)傳遞函數(shù))是以復(fù)數(shù)表示的像差的頻率成分信息。將OTF的絕對(duì)值、即振幅成分稱為MTF (調(diào)制傳遞函數(shù))，并且將相位成分稱為PTF(相位傳遞函數(shù))。也就是說，MTF和PTF分別是由像差導(dǎo)致的圖像劣化的振幅成分和相位成分的頻率特性。在這種情況下，按照如下將相位成分表示為相位角。PTFAarT1 (Im (OTF) /Re (OTF)). . . (I)其中，Re (OTF)和Im(OTF)分別表示OTF的實(shí)部和虛部。如上所述，光學(xué)攝像系統(tǒng)的OTF導(dǎo)致圖像的振幅成分和相位成分的劣化。由于該原因，如彗星像差一樣，劣化圖像在所拍攝的被攝體的各點(diǎn)處不對(duì)稱地處于模糊狀態(tài)。另外，當(dāng)圖像形成位置由于光的不同波長的圖像形成倍率的差異而產(chǎn)生移位并且攝像設(shè)備根據(jù)分光特性獲取上述移位作為R、G和B顏色成分時(shí)，發(fā)生倍率色像差。由于各顏色成分內(nèi)的不同波長的圖像形成位置移位(即，相位移位)以及R、G和B成分之間的圖像形成位置移位，因而導(dǎo)致發(fā)生圖像擴(kuò)散。確切地說，倍率色像差不單是由水平移位所引起的色邊紋。然而，這里將使用色邊紋作為倍率色像差的同義詞。作為用于校正振幅(MTF)和相位(PTF)的劣化的方法，已知用于通過使用光學(xué)攝像系統(tǒng)的OTF的信息來校正這些劣化的方法。該方法被稱為“圖像恢復(fù)”和“圖像復(fù)原”。將用于通過使用光學(xué)攝像系統(tǒng)的OTF的信息來校正圖像劣化的處理稱為圖像恢復(fù)處理。下面是圖像恢復(fù)處理的概要說明。設(shè)g(x，y)是劣化圖像，f(x，y)是原始圖像，并且h(x，y)是通過光學(xué)傳遞函數(shù)的逆傅立葉變換所獲得的PSF，則以下給出的等式(2)成立g(x, y) =h (x, y)*f(x, y)· · · (2)其中，*表示卷積，并且(x，y)表示圖像上的坐標(biāo)。當(dāng)通過傅立葉變換將該等式轉(zhuǎn)換成頻面上的顯示形式時(shí)，如等式(3)所示，變成各頻率的積的形式。G (U，V) =H (U，V) · F (U，V)…(3)
其中，H是通過PSF的傅立葉變換所獲得的函數(shù)，因此表示0TF，并且(u，v)表示二維頻面上的坐標(biāo)、即頻率。也就是說，為了根據(jù)所拍攝的劣化圖像獲得原始圖像，可以如以下給出的等式(4)所示，將等式(3)的兩邊除以H。G (U，V)/H (U，V) =F (U，V). . . (4)通過逆傅立葉變換使F(U，V)恢復(fù)成實(shí)面，這可以獲得原始圖像f(x，y)作為恢復(fù)圖像。在假定R是通過等式(4)的逆傅立葉變換所獲得的值的情況下，如等式(5)所示，還可以通過對(duì)實(shí)面上的圖像進(jìn)行卷積處理來獲得原始圖像。g(x，y)*R(x，y)=f(x，y)· · · (5)其中，將R(x，y)稱為圖像恢復(fù)濾波器。然而，實(shí)際圖像包括噪聲成分。由于該原因，使用通過以上述方式對(duì)OTF完全求倒數(shù)所生成的圖像恢復(fù)濾波器，這將放大噪聲成分以及劣化圖像。因此，通常，無法獲得適當(dāng)?shù)膱D像。對(duì)此，例如，已知諸如使用維納(Wiener)濾波器的方法等的用于根據(jù)圖像信號(hào)和噪聲信號(hào)之間的強(qiáng)度比來抑制圖像的高頻側(cè)的恢復(fù)率的方法。作為用于校正圖像的色邊紋成分的劣化的方法，例如，通過校正上述模糊成分來校正劣化，從而使得模糊量對(duì)于圖像的各個(gè)顏色成分而言是均勻的。在這種情況下，由于OTF根據(jù)諸如變焦位置和光圈直徑等的攝像狀態(tài)而改變，因此需要改變圖像恢復(fù)處理所使用的圖像恢復(fù)濾波器。例如，日本特開2006-238032公開了在圖像恢復(fù)后的PSF中設(shè)置微小擴(kuò)散時(shí)所進(jìn)行的圖像恢復(fù)處理。日本特許第03532368號(hào)公報(bào)公開一種技術(shù)，其中，該技術(shù)用于在觀察生物體內(nèi)部的內(nèi)窺鏡中，對(duì)于攝像部件的聚焦范圍以外的范圍，通過利用與要使用的熒光波長相對(duì)應(yīng)的PSF來消除圖像模糊。由于熒光較弱，因而需要f值較小的對(duì)物光學(xué)系統(tǒng)。這導(dǎo)致焦深減小。因此，將該技術(shù)設(shè)計(jì)成通過對(duì)于光學(xué)系統(tǒng)失焦的范圍進(jìn)行圖像恢復(fù)處理來獲得聚焦圖像。如上所述，對(duì)于所拍攝的輸入圖像進(jìn)行圖像恢復(fù)處理，這可以通過校正像差來改
善圖像質(zhì)量。圖像恢復(fù)處理方法包括用于對(duì)具有與一種顏色成分(即，R、G和B顏色成分其中之一)相對(duì)應(yīng)的信號(hào)的RAW圖像應(yīng)用圖像恢復(fù)處理的方法；以及用于在進(jìn)行插值以使得各像素具有與所有顏色成分(即，R、G和B顏色成分)相對(duì)應(yīng)的信號(hào)之后對(duì)各顏色平面應(yīng)用圖像恢復(fù)處理的方法。用于對(duì)各顏色平面應(yīng)用圖像恢復(fù)處理的方法與用于對(duì)RAW圖像應(yīng)用圖像恢復(fù)處理的方法相比，在應(yīng)用圖像恢復(fù)處理的像素的數(shù)量和恢復(fù)濾波器的抽頭數(shù)方面較多。這導(dǎo)致圖像恢復(fù)處理的處理負(fù)荷顯著增大。
通常，常以圖2所示那樣的拜爾(Bayer)排列來對(duì)構(gòu)成RAW圖像的各像素的顏色成分進(jìn)行排列。在這種情況下，G成分的像素?cái)?shù)大于R或B成分的像素?cái)?shù)。由于該原因，RAff圖像中的G成分的像素排列的頻率特性不同于R和B成分的像素排列的頻率特性。如上所述，由于圖像恢復(fù)處理相當(dāng)于頻率特性的校正，因而G成分的頻帶不同于R成分或B成分的頻帶。在這種情況下，可以在比R成分或B成分的頻帶更高的頻帶中恢復(fù)G成分。如果僅將R、G和B成分中的G成分恢復(fù)到高頻帶為止，則圖像恢復(fù)處理有時(shí)在包括圖像的高頻成分的區(qū)域中生成原始圖像中不存在的偽色。這是因?yàn)閳D像的高頻帶的R、G和B成分的頻率特性之間的關(guān)系在圖像恢復(fù)處理前后發(fā)生了改變。如上所述，對(duì)不同頻帶的信號(hào)成分進(jìn)行圖像恢復(fù)處理，這將生成偽色。與由于Bayer排列的圖像的像素插值所生成的偽色不同，由于通過圖像傳感器所獲取到的像素?cái)?shù)據(jù)自身的變化，生成了這種情況下的偽色。因此，使用為了抑制偽色的生成所設(shè)計(jì)的像素插值算法并不能抑制由于圖像恢復(fù)處理所生成的偽色
發(fā)明內(nèi)容
本發(fā)明是考慮到上述情況而做出的，并且本發(fā)明降低了 RAW圖像中由圖像恢復(fù)處理所生成的偽色，還降低了圖像恢復(fù)處理的負(fù)荷。根據(jù)本發(fā)明，提供一種圖像處理設(shè)備，用于對(duì)圖像數(shù)據(jù)進(jìn)行恢復(fù)處理，以校正由于光學(xué)攝像系統(tǒng)的像差所引起的圖像質(zhì)量的劣化，其中，所述圖像數(shù)據(jù)是通過使用具有多個(gè)像素的圖像傳感器拍攝經(jīng)由所述光學(xué)攝像系統(tǒng)入射的被攝體圖像而獲得的，所述圖像傳感器的各像素被多個(gè)顏色的顏色濾波器其中之一覆蓋，所述圖像處理設(shè)備包括分離部件，用于將所述多個(gè)顏色的圖像數(shù)據(jù)分離成各個(gè)顏色的圖像數(shù)據(jù)；多個(gè)圖像處理部件，用于對(duì)所述分離部件分離得到的各個(gè)顏色的圖像數(shù)據(jù)各自進(jìn)行基于濾波處理的恢復(fù)處理；以及插值處理部件，用于對(duì)經(jīng)過了所述恢復(fù)處理的圖像數(shù)據(jù)進(jìn)行各像素的顏色插值處理，其中，所述分離部件還用于將空間頻率特性由于所述多個(gè)顏色的顏色濾波器的排列而高于其它顏色的空間頻率特性的顏色的圖像數(shù)據(jù)分離成多個(gè)同一顏色的圖像數(shù)據(jù)，從而使得該多個(gè)同一顏色的圖像數(shù)據(jù)具有與所述其它顏色的圖像數(shù)據(jù)相同的空間頻率特性，以及所述插值處理部件還用于通過將所述多個(gè)顏色的圖像數(shù)據(jù)如同同一顏色的圖像數(shù)據(jù)一樣使用來進(jìn)行所述顏色插值處理。此外，根據(jù)本發(fā)明，提供一種圖像處理設(shè)備，用于對(duì)圖像數(shù)據(jù)進(jìn)行恢復(fù)處理，以校正由于光學(xué)攝像系統(tǒng)的像差所引起的圖像質(zhì)量的劣化，其中，所述圖像數(shù)據(jù)是通過使用具有多個(gè)像素的圖像傳感器拍攝經(jīng)由所述光學(xué)攝像系統(tǒng)入射的被攝體圖像而獲得的，所述圖像傳感器的各像素被多個(gè)顏色的顏色濾波器其中之一覆蓋，所述圖像處理設(shè)備包括多個(gè)圖像處理部件，其串聯(lián)配置，并且各自用于對(duì)所述多個(gè)顏色的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)進(jìn)行基于濾波處理的恢復(fù)處理；以及插值處理部件，用于對(duì)經(jīng)過了所述恢復(fù)處理的圖像數(shù)據(jù)進(jìn)行各像素的顏色插值處理，其中，所述多個(gè)圖像處理部件各自用于對(duì)沒有經(jīng)過所述恢復(fù)處理的各個(gè)顏色的圖像數(shù)據(jù)進(jìn)行所述恢復(fù)處理，并且將空間頻率特性由于所述多個(gè)顏色的顏色濾波器的排列而高于其它顏色的空間頻率特性的顏色的圖像數(shù)據(jù)作為多個(gè)同一顏色的圖像數(shù)據(jù)分別進(jìn)行處理，從而使得通過所述多個(gè)圖像處理部件作為所述多個(gè)同一顏色的圖像數(shù)據(jù)分別進(jìn)行處理的一部分圖像數(shù)據(jù)具有與所述其它顏色的圖像數(shù)據(jù)相同的頻率特性，以及所述插值處理部件還用于通過將所述多個(gè)顏色的圖像數(shù)據(jù)如同同一顏色的圖像數(shù)據(jù)一樣使用來進(jìn)行所述顏色插值處理。此外，根據(jù)本發(fā)明，提供一種圖像處理方法，用于對(duì)圖像數(shù)據(jù)進(jìn)行恢復(fù)處理，以校正由于光學(xué)攝像系統(tǒng)的像差所引起的圖像質(zhì)量的劣化，其中，所述圖像數(shù)據(jù)是通過使用具有多個(gè)像素的圖像傳感器拍攝經(jīng)由所述光學(xué)攝像系統(tǒng)入射的被攝體圖像而獲得的，所述圖像傳感器的各像素被多個(gè)顏色的顏色濾波器其中之一覆蓋，所述圖像處理方法包括以下步驟分離步驟，用于將所述多個(gè)顏色的圖像數(shù)據(jù)分離成各個(gè)顏色的圖像數(shù)據(jù)；圖像處理步驟，用于對(duì)所述分離步驟中分離得到的各個(gè)顏色的圖像數(shù)據(jù)各自進(jìn)行基于濾波處理的恢復(fù)處理；以及插值處理步驟，用于對(duì)經(jīng)過了所述恢復(fù)處理的圖像數(shù)據(jù)進(jìn)行各像素的顏色插值處理，其中，在所述分離步驟中，將空間頻率特性由于所述多個(gè)顏色的顏色濾波器的排列而高于其它顏色的空間頻率特性的顏色的圖像數(shù)據(jù)分離成多個(gè)同一顏色的圖像數(shù)據(jù)，從而使得該多個(gè)同一顏色的圖像數(shù)據(jù)具有與所述其它顏色的圖像數(shù)據(jù)相同的空間頻率特性，以及在所述插值處理步驟中，通過將所述多個(gè)顏色的圖像數(shù)據(jù)如同同一顏色的圖像數(shù)據(jù)一樣使用來進(jìn)行所述顏色插值處理。
此外，根據(jù)本發(fā)明，提供一種圖像處理方法，用于對(duì)圖像數(shù)據(jù)進(jìn)行恢復(fù)處理，以校正由于光學(xué)攝像系統(tǒng)的像差所引起的圖像質(zhì)量的劣化，其中，所述圖像數(shù)據(jù)是通過使用具有多個(gè)像素的圖像傳感器拍攝經(jīng)由所述光學(xué)攝像系統(tǒng)入射的被攝體圖像而獲得的，所述圖像傳感器的各像素被多個(gè)顏色的顏色濾波器其中之一覆蓋，所述圖像處理方法包括以下步驟圖像處理步驟，用于使用串聯(lián)配置的多個(gè)圖像處理部件對(duì)所述多個(gè)顏色的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)順次進(jìn)行基于濾波處理的恢復(fù)處理；以及插值處理步驟，用于對(duì)經(jīng)過了所述恢復(fù)處理的圖像數(shù)據(jù)進(jìn)行各像素的顏色插值處理，其中，在所述圖像處理步驟中，所述多個(gè)圖像處理部件各自對(duì)沒有經(jīng)過所述恢復(fù)處理的各個(gè)顏色的圖像數(shù)據(jù)進(jìn)行所述恢復(fù)處理，并且將空間頻率特性由于所述多個(gè)顏色的顏色濾波器的排列而高于其它顏色的空間頻率特性的顏色的圖像數(shù)據(jù)作為多個(gè)同一顏色的圖像數(shù)據(jù)分別進(jìn)行處理，從而使得通過所述多個(gè)圖像處理部件作為所述多個(gè)同一顏色的圖像數(shù)據(jù)分別進(jìn)行處理的一部分圖像數(shù)據(jù)具有與所述其它顏色的圖像數(shù)據(jù)相同的頻率特性，以及在所述插值處理步驟中，通過將所述多個(gè)顏色的圖像數(shù)據(jù)如同同一顏色的圖像數(shù)據(jù)一樣使用來進(jìn)行所述顏色插值處理。通過以下(參考附圖)對(duì)實(shí)施例的說明，本發(fā)明的其它特征將變得明顯。


包含在說明書中并構(gòu)成說明書一部分的附圖示出了本發(fā)明的實(shí)施例，并與說明書一起用來解釋本發(fā)明的原理。圖I是示出根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)的框圖；圖2是示出顏色成分排列的例子的圖；圖3是示出根據(jù)第一實(shí)施例的圖像處理單元的結(jié)構(gòu)的框圖；圖4A 4E是示出根據(jù)第一實(shí)施例的顏色成分和圖像恢復(fù)成分的圖；圖5A和5B是示出根據(jù)第一實(shí)施例的顏色成分特定頻率特性的圖；圖6是根據(jù)第一實(shí)施例的圖像恢復(fù)處理的流程圖；圖7A和7B是用于說明圖像恢復(fù)濾波器的示意圖8A和SB是用于說明根據(jù)第一實(shí)施例的圖像恢復(fù)濾波器的示意圖；圖9A和9B是示出根據(jù)第一實(shí)施例的圖像恢復(fù)濾波器的恢復(fù)增益的例子和圖像的MTF的例子的圖；圖IOAlOK是示出根據(jù)第一實(shí)施例的顏色插值處理的例子的圖；圖IlA和IlB是各自示出根據(jù)第一實(shí)施例的另一圖像傳感器的像素排列的例子的圖；圖12是示出根據(jù)第一實(shí)施例的另一顏色成分和圖像恢復(fù)成分的圖；圖13是示出根據(jù)第二實(shí)施例的圖像處理單元的結(jié)構(gòu)的框圖；以及
圖14是示出根據(jù)第二實(shí)施例的圖像恢復(fù)處理的流程圖。
具體實(shí)施例方式將參考附圖詳細(xì)說明本發(fā)明的實(shí)施例。第一實(shí)施例圖I示出根據(jù)本發(fā)明實(shí)施例的攝像設(shè)備的基本結(jié)構(gòu)的例子。通過包括光圈IOla和調(diào)焦透鏡IOlb的光學(xué)攝像系統(tǒng)101使被攝體圖像(未示出)入射至圖像傳感器102。圖像傳感器102覆蓋有例如以圖2所示的所謂的Bayer排列所配置的顏色濾波器。構(gòu)成圖像傳感器102的各像素輸出與紅色(R)、綠色(G)和藍(lán)色(B)濾波器中覆蓋著該像素的濾波器的顏色相對(duì)應(yīng)的顏色成分的信號(hào)。圖像傳感器102將成像光轉(zhuǎn)換成電信號(hào)。A/D轉(zhuǎn)換器103將該信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，并且將該數(shù)字信號(hào)輸入給圖像處理單元104。圖像處理單元104包含圖像恢復(fù)處理單元111和進(jìn)行預(yù)定處理的其它圖像處理單元112。特別地，圖像處理單元112進(jìn)行顏色插值處理。來自圖像恢復(fù)處理單元111的輸出圖像的各像素僅包括與濾波器顏色之一相對(duì)應(yīng)的顏色成分的信號(hào)。由于該原因，圖像處理單元112對(duì)恢復(fù)圖像進(jìn)行顏色插值處理，以使各像素具有與所有濾波器顏色相對(duì)應(yīng)的顏色成分的信號(hào)。首先，圖像處理單元104從狀態(tài)檢測(cè)單元107獲得攝像設(shè)備的攝像狀態(tài)的信息。狀態(tài)檢測(cè)單元107可以直接從系統(tǒng)控制器110獲得攝像狀態(tài)的信息，并且可以從光學(xué)攝像系統(tǒng)控制單元106獲得與例如光學(xué)攝像系統(tǒng)有關(guān)的攝像狀態(tài)的信息。然后，圖像恢復(fù)處理單元111從存儲(chǔ)單元108選擇與攝像狀態(tài)相對(duì)應(yīng)的圖像恢復(fù)濾波器，并且對(duì)輸入給圖像處理單元104的圖像進(jìn)行圖像恢復(fù)處理。代替圖像恢復(fù)濾波器，由存儲(chǔ)單元108保持的數(shù)據(jù)也可以是與生成圖像恢復(fù)濾波器所需的OTF有關(guān)的信息。在這種情況下，圖像恢復(fù)處理單元111從存儲(chǔ)單元108選擇與同攝像狀態(tài)相對(duì)應(yīng)的OTF有關(guān)的信息，并且生成與攝像狀態(tài)相對(duì)應(yīng)的圖像恢復(fù)濾波器。然后，圖像恢復(fù)處理單元111對(duì)輸入給圖像處理單元104的圖像進(jìn)行圖像恢復(fù)處理。圖像記錄介質(zhì)109以預(yù)定格式保持圖像處理單元104處理后的輸出圖像。顯示單元105可以顯示通過對(duì)于經(jīng)過了圖像恢復(fù)處理的圖像進(jìn)行顯示用的預(yù)定處理所獲得的圖像，或者可以顯示沒有經(jīng)過圖像恢復(fù)處理或經(jīng)過了簡(jiǎn)單恢復(fù)處理的圖像。系統(tǒng)控制器110進(jìn)行一系列控制操作。光學(xué)攝像系統(tǒng)控制單元106根據(jù)來自系統(tǒng)控制器110的指不，機(jī)械地驅(qū)動(dòng)光學(xué)攝像系統(tǒng)。系統(tǒng)控制器110對(duì)作為f值的攝像狀態(tài)設(shè)置的光圈IOla的開口直徑進(jìn)行控制。AF (自動(dòng)調(diào)焦)機(jī)構(gòu)或手動(dòng)調(diào)焦機(jī)構(gòu)控制調(diào)焦透鏡IOlb的位置，以根據(jù)被攝體距離進(jìn)行焦點(diǎn)調(diào)整。該光學(xué)攝像系統(tǒng)101可以包括諸如低通濾波器或紅外截止濾波器等的光學(xué)元件。在使用諸如對(duì)OTF的特性施加影響的低通濾波器等的元件的情況下，在生成圖像恢復(fù)濾波器時(shí)，需要考慮由該光學(xué)元件所引起的OTF的變化。紅外截止濾波器也對(duì)作為分光波長的PSF的積分值的RGB通道的PSF (尤其是R通道的PSF)施加影響。因此，在生成圖像恢復(fù)濾波器時(shí)，考慮由紅外截止濾波器所引起的PSF的變化。此外，光學(xué)攝像系統(tǒng)101被配置為攝像設(shè)備的一部分，但如單鏡頭反光照相機(jī)一樣，也可以是可更換的。圖3示出根據(jù)第一實(shí)施例的圖像處理單元104的結(jié)構(gòu)。如上所述，輸入給圖像恢復(fù)處理單元111的輸入圖像是RAW數(shù)據(jù)，其中，在RAW數(shù)據(jù)中，各像素具有顏色成分(即如圖2所示那樣的Bayer排列的R、G和B顏色成分)的其中一個(gè)。在第一實(shí)施例中，圖像恢復(fù)處理單元111中的信號(hào)分離單元1101將G成分分離成Gl和G2以獲得R、GU G2和B這四個(gè)圖像恢復(fù)成分。然后，將這四個(gè)圖像恢復(fù)成分輸入給 恢復(fù)濾波器應(yīng)用單元111(Γ1113以對(duì)這些成分應(yīng)用圖像恢復(fù)濾波。圖4Α 4Ε各自示出RAW數(shù)據(jù)中的各顏色成分以及各圖像恢復(fù)成分的例子。圖4A 4E示出RAW數(shù)據(jù)中的三個(gè)顏色成分。圖4A示出G成分。圖4B示出R成分。圖4C示出B成分。圖4A 4E中以白色方塊所表示的各像素表示相應(yīng)的顏色成分。在第一實(shí)施例中，將圖4A所示的G成分分割成圖4D和4E所示的Gl和G2成分，并且對(duì)分割得到的Gl和G2成分應(yīng)用圖像恢復(fù)處理。假定從水平方向上與輸出R成分的信號(hào)的像素相鄰的像素所輸出的G成分的信號(hào)是Gl成分的信號(hào)，并且從與輸出B成分的信號(hào)的像素相鄰的像素所輸出的G成分的信號(hào)是G2成分的信號(hào)。在圖4A 4E中，圖4B示出圖像恢復(fù)成分R，圖4C示出圖像恢復(fù)成分B，圖4D示出圖像恢復(fù)成分G1，并且圖4E示出圖像恢復(fù)成分G2。圖5A和5B是示出圖像傳感器中的顏色成分特定像素排列的空間頻率特性的圖。在假定I表示可以感測(cè)光的各像素(以白色方塊表示)并且O表示無法感測(cè)光的各像素(以黑色方塊表示)的情況下，分別通過m_G(x, y)、m_R(x, y)、m_B(x, y)、m_Gl (x, y)和m_G2 (x, y)來表示圖4A 4E所示的各成分。圖5A和5B示出的空間頻率特性與通過m_G(x，y)、m_R(x, y)、m_B (x, y)、m_Gl (x, y)和m_G2 (x, y)的傅立葉變換所獲得的數(shù)據(jù)相對(duì)應(yīng)。圖5A示出G成分，即作為梳狀函數(shù)的圖4A中的空間頻率特性，其中僅在位置“ ”處存在I。圖5B示出圖4B和4C所示的R和B成分的空間頻率特性。圖5B不同于示出G成分的空間頻率特性的圖5A。另外，G成分被分割成圖像恢復(fù)成分Gl和G2時(shí)所獲得的空間頻率特性與示出R和B成分的空間頻率特性的圖5B所示的相同。在對(duì)三個(gè)顏色成分R、G和B直接進(jìn)行圖像恢復(fù)處理時(shí)，如圖5A和5B所示，由于G成分的空間頻率特性不同于R和B成分的空間頻率特性，因而如上所述，在包括圖像的高頻成分的區(qū)域中可能生成原始圖像中不存在的偽色。與此相對(duì)，將G成分分離成圖像恢復(fù)成分Gl和G2，這使得四個(gè)圖像恢復(fù)成分R、GU G2和B的像素排列表現(xiàn)出相同的空間頻率特性。這使得對(duì)于共通的頻帶進(jìn)行圖像恢復(fù)處理，因此可以抑制由于圖像恢復(fù)處理而引起的偽色的生成。當(dāng)對(duì)三個(gè)顏色成分R、G和B直接進(jìn)行圖像恢復(fù)處理時(shí)，可以根據(jù)用于生成要應(yīng)用于G成分的圖像恢復(fù)濾波器的方式，使得要校正的G成分的頻帶與R和B成分的頻帶一致。然而，該處理中要恢復(fù)的頻帶相當(dāng)于用于將G成分分離成圖像恢復(fù)成分Gl和G2的處理中要恢復(fù)的頻帶。如稍后所述，從圖像恢復(fù)濾波器的卷積時(shí)的處理負(fù)荷的觀點(diǎn)而言，用于將G成分分離成圖像恢復(fù)成分Gl和G2的處理更為有利。下面將參考圖6的流程圖詳細(xì)說明第一實(shí)施例的圖像恢復(fù)處理單元111的圖像恢復(fù)處理的過程。在步驟SI I，如上所述，圖像恢復(fù)處理單元111從狀態(tài)檢測(cè)單元107獲取實(shí)際攝像狀態(tài)的信息。攝像狀態(tài)例如包括變焦位置、開口直徑和被攝體距離。在步驟S12，信號(hào)分離單元1101將由R、G和B成分構(gòu)成的RAW數(shù)據(jù)分離成四個(gè)圖像恢復(fù)成分R、Gl、G2和B。更具體地，可以針對(duì)R、G1、G2和B分別準(zhǔn)備四個(gè)圖像數(shù)據(jù)，其中這四個(gè)圖像數(shù)據(jù)在作為與對(duì)象圖像恢復(fù)成分以外的顏色成分相對(duì)應(yīng)的像素的部分均設(shè)置O。可選地，可以針對(duì)R、GU G2和B分別準(zhǔn)備四個(gè)圖像數(shù)據(jù)，其中這四個(gè)圖像數(shù)據(jù)各自具有1/4大小并且是通過間隔剔除作為與對(duì)象圖像恢復(fù)成分以外的顏色成分相對(duì)應(yīng)的像素的部分所獲得的。
在步驟S13，圖像恢復(fù)處理單元111從存儲(chǔ)單元108選擇適于所獲取到的攝像狀態(tài)和四個(gè)圖像恢復(fù)成分R、G1、G2和B的圖像恢復(fù)濾波器。此時(shí)，可以根據(jù)需要校正所選擇的圖像恢復(fù)濾波器。這是用于離散地準(zhǔn)備攝像狀態(tài)的數(shù)據(jù)以減少存儲(chǔ)單元108中預(yù)先準(zhǔn)備的圖像恢復(fù)濾波器數(shù)據(jù)的數(shù)量、并且在實(shí)際執(zhí)行圖像恢復(fù)處理時(shí)校正圖像恢復(fù)濾波器的操作。另外，在代替圖像恢復(fù)濾波器、存儲(chǔ)單元108保持與生成圖像恢復(fù)濾波器所需的OTF有關(guān)的信息的情況下，根據(jù)所選擇的與OTF有關(guān)的信息來生成與攝像狀態(tài)相對(duì)應(yīng)的圖像恢復(fù)濾波器。下面說明圖像恢復(fù)濾波器。圖7A和7B是示出要應(yīng)用于各像素包含各顏色成分R、G和B的圖像的各顏色平面的圖像恢復(fù)濾波器的例子的示意圖。可以根據(jù)光學(xué)攝像系統(tǒng)的像差量來確定圖像恢復(fù)濾波器的抽頭數(shù)。在這種情況下，使用具有11X 11個(gè)抽頭的二維濾波器。在濾波器的各抽頭與圖像的一個(gè)像素相對(duì)應(yīng)的情況下，在圖像恢復(fù)過程中對(duì)圖像進(jìn)行卷積處理。如圖7A所示，使用通過將圖像恢復(fù)濾波器分割成100個(gè)以上的濾波器所獲得的二維濾波器，可以對(duì)諸如光學(xué)攝像系統(tǒng)的球面像差、彗星像差、軸上色像差和軸外色耀斑等的從成像位置廣泛擴(kuò)散的像差進(jìn)行恢復(fù)。圖7A省略了各抽頭的值。圖7B示出該濾波器的一個(gè)截面?？梢酝ㄟ^上述方法、即通過計(jì)算或測(cè)量光學(xué)攝像系統(tǒng)的光學(xué)元件的OTF并進(jìn)行逆函數(shù)的逆傅立葉變換，來生成該圖像恢復(fù)濾波器。通常，由于需要考慮噪聲的影響，因而可以選擇性地使用用于生成Wiener濾波器或關(guān)聯(lián)的恢復(fù)濾波器的方法。使用Wiener濾波器可以恢復(fù)相位(PTF)的劣化并且針對(duì)各頻帶以不同水平恢復(fù)振幅(MTF)的劣化。另外，OTF可以具有不僅針對(duì)光學(xué)攝像系統(tǒng)還針對(duì)要輸入的圖像而使該OTF劣化的因素。例如，相對(duì)于OTF的頻率特性，使用低通濾波器來抑制高頻成分。另外，圖像傳感器的像素開口的形狀和開口率也對(duì)頻率特性具有影響。另外，這類因素包括光源的分光特性和具有各種波長的濾波器的分光特性。優(yōu)選地，基于包含能夠?qū)е翺TF特性劣化的可能因素的廣義的OTF來生成圖像恢復(fù)濾波器。如果輸入圖像是RGB顏色圖像，則優(yōu)選生成與各顏色成分(即，R、G和B成分)相對(duì)應(yīng)的三個(gè)圖像恢復(fù)濾波器。光學(xué)攝像系統(tǒng)具有色像差，并且對(duì)于各顏色成分在模糊方式上發(fā)生變化。由于該原因，各顏色成分的圖像恢復(fù)濾波器的特性基于色像差相互略有不同。也就是說，圖7A的截面圖對(duì)于各顏色成分有所不同。并非必須根據(jù)方塊排列來確定垂直方向和水平方向上的圖像恢復(fù)濾波器的抽頭數(shù)，并且抽頭數(shù)可以任意改變，只要考慮到卷積處理即可。與要應(yīng)用于各像素具有所有顏色成分R、G和B的圖像的各顏色平面的如上所述的圖像恢復(fù)濾波器進(jìn)行比較，將參考圖8A和SB來說明第一實(shí)施例中所使用的要應(yīng)用于各像素具有一種顏色成分的RAW圖像的圖像恢復(fù)濾波器的例子。該濾波器是針對(duì)存在對(duì)象顏色成分的像素保持了系數(shù)的圖像恢復(fù)濾波器，其中，以白色方塊表示用于保持系數(shù)的各部分，并且以黑色方塊表示保持O的其余部分。在對(duì)R、G和B成分這三個(gè)顏色成分進(jìn)行圖像恢復(fù)處理時(shí)，在未分離G成分的情況下，要應(yīng)用于R和B成分的圖像恢復(fù)濾波器變成圖8A所示的圖像恢復(fù)濾波器，并且要應(yīng)用于G成分的圖像恢復(fù)濾波器變成圖8B所示的圖像恢復(fù)濾波器。與此相對(duì)，第一實(shí)施例在將G成分分離成圖像恢復(fù)成分Gl和G2的情況下應(yīng)用圖像恢復(fù)濾波器，因此可以針對(duì)任意的成分R、G1、G2和B使用如圖8A所示那樣的圖像恢復(fù)濾波器。返回參考圖6，在步驟S14，使用步驟S13所選擇的圖像恢復(fù)濾波器，恢復(fù)濾波器應(yīng)用單元111(Γ1113對(duì)所拍攝的輸入圖像的圖像恢復(fù)成分R、G1、G2和B的各像素進(jìn)行基于濾波處理的卷積處理。這使得可以消除或降低由光學(xué)攝像系統(tǒng)中發(fā)生的像差所引起的圖像的模糊成分。如上所述，使用適合于各顏色圖像恢復(fù)成分R、G1、G2和B的圖像恢復(fù)濾波器，同樣可以校正色像差。第一實(shí)施例中的卷積處理是基于使用圖4B 4E所示的圖像恢復(fù)成分R、G1、G2和B以及圖8A所示的圖像恢復(fù)濾波器的濾波處理的卷積處理。優(yōu)選地，根據(jù)用于使得步驟S12分離得到的各圖像恢復(fù)成分具有數(shù)據(jù)的方式來按照需要改變用于保持圖像恢復(fù)濾波器的方法或用于應(yīng)用濾波器的方法。例如，在針對(duì)R、G1、G2和B分別準(zhǔn)備了對(duì)對(duì)象圖像恢復(fù)成分以外的部分設(shè)置O的四組圖像數(shù)據(jù)的情況下，通過將對(duì)象圖像恢復(fù)成分限制為要經(jīng)過卷積處理的像素，可以省略不必要的計(jì)算。另外，在針對(duì)R、G1、G2和B分別準(zhǔn)備如下四組圖像 數(shù)據(jù)的情況下，該設(shè)備還可以在間隔剔除要使用的系數(shù)以外的系數(shù)的狀態(tài)下保持圖像恢復(fù)濾波器自身，其中這四組圖像數(shù)據(jù)各自具有1/4大小并且是通過間隔剔除要處理的圖像恢復(fù)成分以外的部分而獲得的。這使得可以對(duì)具有1/4大小的圖像數(shù)據(jù)直接應(yīng)用濾波器。在任一情況下，要使用的濾波器的有效系數(shù)的數(shù)量變得明顯少于應(yīng)用于像素都具有所有顏色成分R、G和B的圖像的如圖7A所示的圖像恢復(fù)濾波器的有效系數(shù)的數(shù)量以及應(yīng)用于未被分離的G成分的如圖SB所示的圖像恢復(fù)濾波器的有效系數(shù)的數(shù)量。這降低了卷積處理的負(fù)荷。在對(duì)圖像的各像素進(jìn)行圖像恢復(fù)處理的情況下，圖像恢復(fù)處理單元111完成該處理。由于即使在一種攝像狀態(tài)下，OTF也根據(jù)光學(xué)攝像系統(tǒng)的視角(圖像高度)而改變，因而優(yōu)選地，在根據(jù)圖像高度針對(duì)圖像的各分割區(qū)域改變OTF時(shí)進(jìn)行根據(jù)本發(fā)明的圖像恢復(fù)處理。優(yōu)選地，在進(jìn)行卷積處理的情況下在圖像上掃描圖像恢復(fù)濾波器，并且針對(duì)各區(qū)域順次改變?yōu)V波器。也就是說，該設(shè)備針對(duì)各圖像恢復(fù)成分的各對(duì)象像素執(zhí)行步驟S13和S14。將通過圖像恢復(fù)處理單元111進(jìn)行了圖像恢復(fù)處理的圖像數(shù)據(jù)輸入給圖像處理單元112。由于進(jìn)行了圖像恢復(fù)處理的圖像數(shù)據(jù)保持Bayer排列，因而其它圖像處理單元112對(duì)由圖像傳感器所保持的三個(gè)顏色成分分別進(jìn)行顏色插值處理。除顏色插值處理以外，其它圖像處理單元112通過對(duì)RAW數(shù)據(jù)進(jìn)行諸如伽瑪校正和顏色平衡控制等的已知顯像處理，生成JPEG格式等的圖像文件。將參考圖9A和9B說明圖像恢復(fù)濾波器的恢復(fù)增益和基于圖像恢復(fù)處理的執(zhí)行/不執(zhí)行的圖像的頻率特性。注意，將恢復(fù)增益定義為圖像恢復(fù)處理中的MTF的放大系數(shù)。圖9A所示的圖是第一實(shí)施例的圖像恢復(fù)濾波器的恢復(fù)增益的例子。根據(jù)圖像恢復(fù)成分的上述像素排列的空間頻率特性，可以認(rèn)為要通過圖像恢復(fù)濾波器恢復(fù)的頻帶范圍是直到圖像傳感器的奈奎斯特頻率的1/2為止的頻帶范圍。與此相對(duì)，在對(duì)各像素具有所有顏色成分R、G和B的圖像的各顏色平面進(jìn)行圖像恢復(fù)處理的情況下，可以認(rèn)為，根據(jù)圖像恢復(fù)成分的像素排列的空間頻率特性，要通過圖像恢復(fù)濾波器恢復(fù)的頻帶范圍是直到圖像傳感器的奈奎斯特頻率為止的頻帶范圍。經(jīng)過了根據(jù)第一實(shí)施例的圖像恢復(fù)處理的JPEG格式等的輸出圖像的MTF的改善并不局限于達(dá)到圖像傳感器的奈奎斯特頻率的1/2為止的頻帶。圖9B示出根據(jù)第一實(shí)施例的輸出圖像的區(qū)域中的MTF的例子。顯然，與不進(jìn)行圖像恢復(fù)處理的情況下所獲得的輸出圖像相比，在進(jìn)行圖像恢復(fù)處理的情況下，即使在等于或高于圖像傳感器的奈奎斯特頻 率的頻帶中，MTF也得以改善。這是受到通過其它圖像處理單元112所進(jìn)行的顏色插值處理的影響。對(duì)于如具有Bayer排列的圖像傳感器那樣的圖像傳感器中的顏色插值處理進(jìn)行了研究，并且公開了各種插值技術(shù)。通常使用的方法是用于通過使用其它鄰近顏色成分的像素信息生成插值像素的自適應(yīng)顏色插值處理。這是用于在通過插值處理生成特定像素的成分R的像素值的情況下、通過使用鄰近像素的成分G和B的信息來確定特定像素的成分R的插值方法的方法。不同于用于對(duì)一種顏色成分進(jìn)行簡(jiǎn)單線性插值的方法，這類自適應(yīng)顏色插值處理可以抑制由插值處理所導(dǎo)致的偽色的生成或銳度的劣化。下面使用圖IOAlOK所示的邊緣部分處的像素插值的例子來說明自適應(yīng)顏色插值處理方法的例子。圖IOA是特定邊緣的斷面圖。假定該邊緣是無色的單色部分，并且當(dāng)通過圖像傳感器102的各像素獲取各顏色成分R、G和B的值的情況下，顏色成分R、G和B各自具有如圖IOB所示的由像素值100和200所構(gòu)成的像素排列。實(shí)際上，由于通過以Bayer排列的圖像傳感器102所拍攝的RAW圖像在各像素中具有一種顏色成分，因而在提取各顏色成分的值的情況下，將會(huì)獲得圖10CT10E所示的像素排列。圖10CT10E所示的各顏色成分的像素排列中以黑色方塊所表示的各像素是需要顏色插值處理的像素。顯然，在這種情況下，顏色插值處理后的各顏色成分理想地具有圖IOB所示的像素值。隨后，將圖10CT10E所示的像素排列記為G (X，y)、R(x，y)和B(x，y)，其中，X表示水平方向上的坐標(biāo)，并且y表示垂直方向上的坐標(biāo)，X和I的值在圖10A10K中各自具有0 4的范圍。首先，下面是用于對(duì)圖10CT10E中的各顏色成分進(jìn)行線性插值的例子。在對(duì)G成分進(jìn)行線性插值時(shí)，通過使用與G成分相鄰的四個(gè)像素來計(jì)算等式(6)。G(X，y) = (G(x, y-1) +G(x_l, y) +G(x+1, y) +G(x, y+1))/4 ... (6)根據(jù)要插值的像素的位置，通過使用不同圖案進(jìn)行針對(duì)R成分的線性插值。也就是說，通過使用以等式(7)所表示的以下三個(gè)圖案的其中一個(gè)來進(jìn)行線性插值如果相鄰的左右像素具有值(例如R(2，0))，則R (X，y) = (R (x_l，y) +R (x+1, y)) /2如果相鄰的上下像素具有值(例如R(l，I)),則R (X，y) = (R (x, yl) +R (x, y+1)) /2
如果相鄰的斜角像素具有值(例如R (2，I)),則R(X，y) = (R(χ-l, yl) +R(x+1, y-1) +R(χ-l, y+1) +R(x+1, y+1) )/4 · · · (7)通過根據(jù)要插值的像素的位置應(yīng)用以上述等式(7)表示的三個(gè)圖案的其中一個(gè)，該設(shè)備以與針對(duì)R成分相同的方式進(jìn)行針對(duì)B成分的線性插值。圖10廣IOH示出應(yīng)用上述線性插值的各顏色成分的例子。該插值處理生成了 100和200以外的像素值。因此，顯然，像素值的銳度低于圖IOB所示的像素值的銳度。下面是用于通過使用像素周圍的其它顏色成分的像素信息生成插值像素的自適應(yīng)顏色插值處理的例子。以下將該自適應(yīng)顏色插值處理稱為“自適應(yīng)插值”。設(shè)備以下面的方式對(duì)G成分進(jìn)行自適應(yīng)插值。當(dāng)生成R成分中具有值的像素的G成分(例如G(l，2))時(shí) H_DIFF= (R (x, y) -R (x_2, y))+(R(x, y) -R(x+2,y))V_DIFF= (R (x, y) -R (x, y-2))+(R(x, y) -R (x, y+2))IF (I H_DIFF | > | V_DIFF |) {G (x, y) = (G (x, y-1)+G (x, y+1) )/2}ELSE{G(x, y) = (G(x_l, y) +G (x+1, y))/2}基于以該方式根據(jù)R成分所計(jì)算出的H_DIFF和V_DIFF來判斷插值方向，可以抑制由線性插值所引起的銳度的劣化。盡管以上說明涉及生成R成分中具有值的像素的G成分，但該設(shè)備可以以相同方式對(duì)B成分中具有值的像素的G成分(例如G(2，l))進(jìn)行插值。如上所述，在進(jìn)行插值時(shí)，該設(shè)備未將G成分分離成Gl和G2成分而是將G成分當(dāng)作一種顏色成分進(jìn)行處理，因此與將G成分分離成Gl和G2成分時(shí)相比，可以使用更鄰近的像素的值。這將改善高頻帶中的MTF。如下面給出的等式(8)所示，該設(shè)備通過使用利用上述方法所插值的G信號(hào)來進(jìn)行針對(duì)R成分的自適應(yīng)插值。如果相鄰的左右像素具有值(例如R (2，O))，貝丨JCr= (R(x-1, y) -G (χ-l, y) +R(x+1, y)-G (x+1, y))/2R (x, y) =G (x, y) +Cr如果相鄰的上下像素具有值(例如R(l，l))，貝丨JCr= (R(x, y-1)-G (x, y-l)+R(x, y+1)-G (x, y+1) )/2R (x, y) =G (x, y) +Cr如果相鄰的斜角像素具有值(例如R(2，I)),則Cr= (R(χ-l, y-1) -G (χ-l, y-1)+R (x+1, y-1)-G (x+1, y-1)+R(x~l, y+1)-G (χ-l, y+1)+R (x+1, y+1) -G (x+1, y+1) )/4
R (x, y) =G (x, y) +Cr…(8)該設(shè)備以該方式通過對(duì)從相鄰像素所獲取到的色差信息(R-G)進(jìn)行插值來進(jìn)行自適應(yīng)插值。通過根據(jù)要插值的像素的位置應(yīng)用以上述等式(8)所示的三個(gè)圖案的其中一個(gè)、并且對(duì)從相鄰像素所獲取到的色差信息(B-G)進(jìn)行插值，該設(shè)備以與針對(duì)R成分相同的方式來進(jìn)行針對(duì)B成分的自適應(yīng)插值。圖10廣IOK示出應(yīng)用上述自適應(yīng)插值的各顏色成分的例子。R、G和B像素值相互一致。各像素值與圖IOB所示的像素值一致。進(jìn)行自適應(yīng)插值以使用其它鄰近顏色成分的像素信息生成插值像素，這可以相對(duì)于圖IOB所示的像素排列生成銳度沒有任何劣化的圖像。如上所述，該設(shè)備在頻帶匹配的情況下對(duì)各圖像恢復(fù)成分進(jìn)行圖像恢復(fù)處理，然 后對(duì)各恢復(fù)的顏色成分進(jìn)行自適應(yīng)顏色插值處理，從而即使在高于各顏色成分的像素排列所具有的頻帶的頻帶中也實(shí)現(xiàn)了 MTF的改善。這表示上述效果不局限于一種插值方法，并且圖像恢復(fù)處理校正后的MTF由于圖像恢復(fù)處理之后的顏色插值處理而維持直到圖像傳感器的奈奎斯特頻率，而且MTF的改善量可以根據(jù)所使用的像素插值方法而變化。以上說明了應(yīng)用本發(fā)明的圖像處理單元104的結(jié)構(gòu)和處理。第一實(shí)施例示例性說明了由R、G和B成分所構(gòu)成的一般Bayer排列。然而，本發(fā)明不僅可應(yīng)用于由顏色成分R、G和B所構(gòu)成的像素排列，還可應(yīng)用于由R、G和B以外的多個(gè)顏色的顏色成分所構(gòu)成的像素排列。另外，本發(fā)明可應(yīng)用于圖像傳感器中的各種類型的像素排列。由R、G和B成分所構(gòu)成的一般Bayer排列在由沒有指定任何顏色的像素排列圖案進(jìn)行表示的情況下可以表不為圖IlA所不的排列。Cl、C2和C3各自表不一種顏色成分。與此相對(duì)，考慮如圖IlB所示的排列那樣的顏色成分排列。這是由四個(gè)顏色成分Cl、C2、C3和C4所構(gòu)成的圖像傳感器的像素排列。圖12示出具有該像素排列的各顏色成分以及通過應(yīng)用本發(fā)明所獲得的各圖像恢復(fù)成分的例子。將Cl成分分離成四個(gè)圖像恢復(fù)成分。C2和C3成分在沒有任何改變的情況下用作圖像恢復(fù)成分。將C4成分分離成兩個(gè)圖像恢復(fù)成分。也就是說，將具有與其它顏色成分相比空間頻率特性較高的顏色成分的像素分離成多個(gè)顏色成分以具有與其它顏色成分相同的空間頻率特性。這使得可以在使各圖像恢復(fù)成分的像素排列的空間頻率特性一致的情況下進(jìn)行圖像恢復(fù)處理。這樣，本發(fā)明不僅可應(yīng)用于由R、G和B成分所構(gòu)成的一般Bayer排列，還可應(yīng)用于由各種類型的顏色成分所構(gòu)成的各種類型的像素排列。顯然，各像素排列不局限于矩陣排列。本發(fā)明可應(yīng)用于能夠通過分離圖像傳感器的顏色成分而使各圖像恢復(fù)成分的頻率特性一致的任意排列。第二實(shí)施例下面將說明根據(jù)本發(fā)明第二實(shí)施例的圖像恢復(fù)處理。由于根據(jù)第二實(shí)施例的攝像設(shè)備的基本結(jié)構(gòu)與圖I所示的第一實(shí)施例的基本結(jié)構(gòu)相同，因而省略對(duì)該結(jié)構(gòu)的說明。圖13示出第二實(shí)施例的圖像處理單元104的結(jié)構(gòu)。輸入給圖像恢復(fù)處理單元111的圖像是各像素具有圖2所示的Bayer排列的R、G和B中一種顏色的顏色成分的RAW數(shù)據(jù)。第二實(shí)施例在不將RAW數(shù)據(jù)分離成圖像恢復(fù)成分的情況下，向Bayer排列中的各輸入RAW數(shù)據(jù)原樣應(yīng)用圖像恢復(fù)濾波。在串聯(lián)連接的恢復(fù)濾波器應(yīng)用單元111Γ1117中，分別向四個(gè)圖像恢復(fù)成分應(yīng)用圖像恢復(fù)濾波。
下面將參考圖14詳細(xì)說明圖像恢復(fù)處理單元111中的第二實(shí)施例的圖像恢復(fù)處理的過程。在步驟S21，如上所述，圖像恢復(fù)處理單元111從狀態(tài)檢測(cè)單元107獲取實(shí)際攝像狀態(tài)的信息。攝像狀態(tài)例如包括變焦位置、開口直徑和被攝體距離。在步驟S22，從圖I的存儲(chǔ)單元108中所存儲(chǔ)的圖像恢復(fù)濾波器中選擇適合于所獲取到的攝像狀態(tài)的R成分的圖像恢復(fù)濾波器。此時(shí)，可以根據(jù)需要來校正所選擇的圖像恢復(fù)濾波器。該操作用于通過預(yù)先準(zhǔn)備離散攝像數(shù)據(jù)并且在實(shí)際執(zhí)行圖像恢復(fù)處理時(shí)校正圖像恢復(fù)濾波器，來校正存儲(chǔ)單元108中預(yù)先準(zhǔn)備的圖像恢復(fù)濾波器，從而減少圖像恢復(fù)濾波器的數(shù)據(jù)的數(shù)量。在步驟S23，使用步驟S22所選擇的R成分的圖像恢復(fù)濾波器，恢復(fù)濾波器應(yīng)用單元1114對(duì)所拍攝的輸入圖像的R成分的各像素進(jìn)行基于濾波處理的卷積處理。這可以消除或降低由光學(xué)攝像系統(tǒng)中發(fā)生的像差所導(dǎo)致的圖像的R成分的模糊成分。如上所述，使用適合于各圖像恢復(fù)成分的圖像恢復(fù)濾波器，同樣可以校正色像差。
在步驟S24 S29，該設(shè)備對(duì)G1、G2和B的圖像恢復(fù)成分進(jìn)行圖像恢復(fù)處理。注意，除要校正的顏色成分以外，這種情況下所進(jìn)行的圖像恢復(fù)處理的內(nèi)容與步驟S22和S23中的內(nèi)容相同，因此省略對(duì)該處理的說明。步驟S23、S25、S27和S29中的各圖像恢復(fù)成分的卷積處理是基于使用圖4B 4E所示的各圖像恢復(fù)成分和圖8A所示的圖像恢復(fù)濾波器的濾波處理的卷積處理。將經(jīng)過卷積處理的像素限制為對(duì)象圖像恢復(fù)成分，這可以省略不必要的計(jì)算。顯然，這種情況下的圖像恢復(fù)濾波器的有效系數(shù)的數(shù)量少于應(yīng)用于各像素具有圖7A所示的R、G和B的各顏色成分的圖像的圖像恢復(fù)濾波器的有效系數(shù)的數(shù)量和應(yīng)用于未被分離的G成分的圖像恢復(fù)濾波器(圖8B)的有效系數(shù)的數(shù)量。這降低了卷積處理的負(fù)荷。另外，由于可以將Bayer排列的RAW數(shù)據(jù)在沒有任何變化的情況下用作輸入圖像，因而無需確保信號(hào)分離單元1101或任何新的存儲(chǔ)器。這可以抑制所消耗的存儲(chǔ)量。隨后，該設(shè)備對(duì)圖像的各像素進(jìn)行圖像恢復(fù)處理，并且終止圖像恢復(fù)處理單元111的處理。由于即使在一種攝像狀態(tài)下，OTF也根據(jù)光學(xué)攝像系統(tǒng)的視角(圖像高度)而改變，因而優(yōu)選地，在根據(jù)圖像高度針對(duì)圖像的各分割區(qū)域改變OTF時(shí)進(jìn)行根據(jù)本發(fā)明的圖像恢復(fù)處理。優(yōu)選地，在進(jìn)行卷積處理的情況下在圖像上掃描圖像恢復(fù)濾波器，并且針對(duì)各區(qū)域順次改變?yōu)V波器。也就是說，該設(shè)備對(duì)R成分的各像素執(zhí)行步驟S22和S23，并且以上述相同的方式對(duì)要處理的各圖像恢復(fù)成分執(zhí)行步驟S24 S29。盡管第一實(shí)施例和第二實(shí)施例將圖像恢復(fù)濾波器的應(yīng)用當(dāng)作圖像恢復(fù)處理，但可以在本發(fā)明的過程之前、之后和中間進(jìn)行諸如失真校正處理、周邊光量校正處理和噪聲降低處理等的其它類型的處理，并且將由此產(chǎn)生的過程當(dāng)作圖像恢復(fù)處理。還可以利用讀出并執(zhí)行記錄在存儲(chǔ)器裝置上的程序以進(jìn)行上述實(shí)施例的功能的系統(tǒng)或設(shè)備的計(jì)算機(jī)(或者CPU或MPU等裝置)和通過下面的方法來實(shí)現(xiàn)本發(fā)明的各方面，其中，系統(tǒng)或設(shè)備的計(jì)算機(jī)通過例如讀出并執(zhí)行記錄在存儲(chǔ)器裝置上的程序以進(jìn)行上述實(shí)施例的功能來進(jìn)行上述方法的各步驟。由于該目的，例如通過網(wǎng)絡(luò)或者通過用作存儲(chǔ)器裝置的各種類型的記錄介質(zhì)(例如，計(jì)算機(jī)可讀介質(zhì))將該程序提供給計(jì)算機(jī)。盡管參考特定實(shí)施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開的實(shí)施例。
權(quán)利要求
1.一種圖像處理設(shè)備，用于對(duì)圖像數(shù)據(jù)進(jìn)行恢復(fù)處理，以校正由于光學(xué)攝像系統(tǒng)的像差所引起的圖像質(zhì)量的劣化，其中，所述圖像數(shù)據(jù)是通過使用具有多個(gè)像素的圖像傳感器拍攝經(jīng)由所述光學(xué)攝像系統(tǒng)入射的被攝體圖像而獲得的，所述圖像傳感器的各像素被多個(gè)顏色的顏色濾波器其中之一覆蓋，所述圖像處理設(shè)備包括 分離部件，用于將所述多個(gè)顏色的圖像數(shù)據(jù)分離成各個(gè)顏色的圖像數(shù)據(jù)； 多個(gè)圖像處理部件，用于對(duì)所述分離部件分離得到的各個(gè)顏色的圖像數(shù)據(jù)各自進(jìn)行基于濾波處理的恢復(fù)處理；以及插值處理部件，用于對(duì)經(jīng)過了所述恢復(fù)處理的圖像數(shù)據(jù)進(jìn)行各像素的顏色插值處理，其中，所述分離部件還用于將空間頻率特性由于所述多個(gè)顏色的顏色濾波器的排列而高于其它顏色的空間頻率特性的顏色的圖像數(shù)據(jù)分離成多個(gè)同一顏色的圖像數(shù)據(jù)，從而使得該多個(gè)同一顏色的圖像數(shù)據(jù)具有與所述其它顏色的圖像數(shù)據(jù)相同的空間頻率特性，以及所述插值處理部件還用于通過將所述多個(gè)顏色的圖像數(shù)據(jù)如同同一顏色的圖像數(shù)據(jù)一樣使用來進(jìn)行所述顏色插值處理。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，所述多個(gè)顏色的顏色濾波器包含拜爾排列的顏色濾波器，以及 所述分離部件還用于將所述圖像數(shù)據(jù)的G成分分離成兩個(gè)G成分的圖像數(shù)據(jù)，以使得G成分的頻率特性與R成分和B成分的頻率特性一致。
3.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，所述圖像處理部件所進(jìn)行的濾波處理所使用的濾波器包含通過對(duì)基于所述光學(xué)攝像系統(tǒng)的光學(xué)元件的光學(xué)傳遞函數(shù)的逆函數(shù)所生成的函數(shù)進(jìn)行逆傅立葉變換所獲得的二維濾波器，以及 所述圖像處理部件還用于對(duì)所述濾波器進(jìn)行卷積處理。
4.一種圖像處理設(shè)備，用于對(duì)圖像數(shù)據(jù)進(jìn)行恢復(fù)處理，以校正由于光學(xué)攝像系統(tǒng)的像差所引起的圖像質(zhì)量的劣化，其中，所述圖像數(shù)據(jù)是通過使用具有多個(gè)像素的圖像傳感器拍攝經(jīng)由所述光學(xué)攝像系統(tǒng)入射的被攝體圖像而獲得的，所述圖像傳感器的各像素被多個(gè)顏色的顏色濾波器其中之一覆蓋，所述圖像處理設(shè)備包括 多個(gè)圖像處理部件，其串聯(lián)配置，并且各自用于對(duì)所述多個(gè)顏色的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)進(jìn)行基于濾波處理的恢復(fù)處理；以及 插值處理部件，用于對(duì)經(jīng)過了所述恢復(fù)處理的圖像數(shù)據(jù)進(jìn)行各像素的顏色插值處理，其中，所述多個(gè)圖像處理部件各自用于對(duì)沒有經(jīng)過所述恢復(fù)處理的各個(gè)顏色的圖像數(shù)據(jù)進(jìn)行所述恢復(fù)處理，并且將空間頻率特性由于所述多個(gè)顏色的顏色濾波器的排列而高于其它顏色的空間頻率特性的顏色的圖像數(shù)據(jù)作為多個(gè)同一顏色的圖像數(shù)據(jù)分別進(jìn)行處理，從而使得通過所述多個(gè)圖像處理部件作為所述多個(gè)同一顏色的圖像數(shù)據(jù)分別進(jìn)行處理的一部分圖像數(shù)據(jù)具有與所述其它顏色的圖像數(shù)據(jù)相同的頻率特性，以及 所述插值處理部件還用于通過將所述多個(gè)顏色的圖像數(shù)據(jù)如同同一顏色的圖像數(shù)據(jù)一樣使用來進(jìn)行所述顏色插值處理。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中，所述多個(gè)顏色的顏色濾波器包含拜爾排列的顏色濾波器，以及 所述多個(gè)圖像處理部件包括用于將所述圖像數(shù)據(jù)的G成分分離成頻率特性與所述圖像數(shù)據(jù)的R成分和B成分的頻率特性一致的兩個(gè)G成分、并且對(duì)其中一個(gè)G成分的圖像數(shù)據(jù)進(jìn)行處理的圖像處理部件；用于對(duì)另一個(gè)G成分的圖像數(shù)據(jù)進(jìn)行處理的圖像處理部件；用于對(duì)R成分的圖像數(shù)據(jù)進(jìn)行處理的圖像處理部件；以及用于對(duì)B成分的圖像數(shù)據(jù)進(jìn)行處理的圖像處理部件。
6.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中，所述多個(gè)圖像處理部件所進(jìn)行的濾波處理所使用的各濾波器包含通過對(duì)基于所述光學(xué)攝像系統(tǒng)的光學(xué)元件的光學(xué)傳遞函數(shù)的逆函數(shù)所生成的函數(shù)進(jìn)行逆傅立葉變換所獲得的二維濾波器，以及 所述多個(gè)圖像處理部件還用于對(duì)所述濾波器進(jìn)行卷積處理。
7.一種圖像處理方法，用于對(duì)圖像數(shù)據(jù)進(jìn)行恢復(fù)處理，以校正由于光學(xué)攝像系統(tǒng)的像差所引起的圖像質(zhì)量的劣化，其中，所述圖像數(shù)據(jù)是通過使用具有多個(gè)像素的圖像傳感器拍攝經(jīng)由所述光學(xué)攝像系統(tǒng)入射的被攝體圖像而獲得的，所述圖像傳感器的各像素被多個(gè)顏色的顏色濾波器其中之一覆蓋，所述圖像處理方法包括以下步驟 分離步驟，用于將所述多個(gè)顏色的圖像數(shù)據(jù)分離成各個(gè)顏色的圖像數(shù)據(jù)； 圖像處理步驟，用于對(duì)所述分離步驟中分離得到的各個(gè)顏色的圖像數(shù)據(jù)各自進(jìn)行基于濾波處理的恢復(fù)處理；以及 插值處理步驟，用于對(duì)經(jīng)過了所述恢復(fù)處理的圖像數(shù)據(jù)進(jìn)行各像素的顏色插值處理， 其中，在所述分離步驟中，將空間頻率特性由于所述多個(gè)顏色的顏色濾波器的排列而高于其它顏色的空間頻率特性的顏色的圖像數(shù)據(jù)分離成多個(gè)同一顏色的圖像數(shù)據(jù)，從而使得該多個(gè)同一顏色的圖像數(shù)據(jù)具有與所述其它顏色的圖像數(shù)據(jù)相同的空間頻率特性，以及 在所述插值處理步驟中，通過將所述多個(gè)顏色的圖像數(shù)據(jù)如同同一顏色的圖像數(shù)據(jù)一樣使用來進(jìn)行所述顏色插值處理。
8.一種圖像處理方法，用于對(duì)圖像數(shù)據(jù)進(jìn)行恢復(fù)處理，以校正由于光學(xué)攝像系統(tǒng)的像差所引起的圖像質(zhì)量的劣化，其中，所述圖像數(shù)據(jù)是通過使用具有多個(gè)像素的圖像傳感器拍攝經(jīng)由所述光學(xué)攝像系統(tǒng)入射的被攝體圖像而獲得的，所述圖像傳感器的各像素被多個(gè)顏色的顏色濾波器其中之一覆蓋，所述圖像處理方法包括以下步驟 圖像處理步驟，用于使用串聯(lián)配置的多個(gè)圖像處理部件對(duì)所述多個(gè)顏色的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)順次進(jìn)行基于濾波處理的恢復(fù)處理；以及 插值處理步驟，用于對(duì)經(jīng)過了所述恢復(fù)處理的圖像數(shù)據(jù)進(jìn)行各像素的顏色插值處理， 其中，在所述圖像處理步驟中，所述多個(gè)圖像處理部件各自對(duì)沒有經(jīng)過所述恢復(fù)處理的各個(gè)顏色的圖像數(shù)據(jù)進(jìn)行所述恢復(fù)處理，并且將空間頻率特性由于所述多個(gè)顏色的顏色濾波器的排列而高于其它顏色的空間頻率特性的顏色的圖像數(shù)據(jù)作為多個(gè)同一顏色的圖像數(shù)據(jù)分別進(jìn)行處理，從而使得通過所述多個(gè)圖像處理部件作為所述多個(gè)同一顏色的圖像數(shù)據(jù)分別進(jìn)行處理的一部分圖像數(shù)據(jù)具有與所述其它顏色的圖像數(shù)據(jù)相同的頻率特性，以及 在所述插值處理步驟中，通過將所述多個(gè)顏色的圖像數(shù)據(jù)如同同一顏色的圖像數(shù)據(jù)一樣使用來進(jìn)行所述顏色插值處理。
全文摘要
本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法。該圖像處理設(shè)備對(duì)多個(gè)顏色的圖像數(shù)據(jù)進(jìn)行用于校正由于光學(xué)攝像系統(tǒng)的像差所引起的圖像劣化的恢復(fù)處理，并且包括分離部件，用于將圖像數(shù)據(jù)分離成各個(gè)顏色的圖像數(shù)據(jù)，并且還將空間頻率特性由于所述多個(gè)顏色的顏色濾波器的排列而高于其它顏色的空間頻率特性的顏色的圖像數(shù)據(jù)分離成多個(gè)顏色的圖像數(shù)據(jù)，以使其具有與所述其它顏色相同的空間頻率特性；多個(gè)圖像處理部件，用于對(duì)分離得到的圖像數(shù)據(jù)分別進(jìn)行基于濾波處理的恢復(fù)處理；以及插值處理部件，用于對(duì)經(jīng)過了所述恢復(fù)處理的圖像數(shù)據(jù)進(jìn)行各像素的顏色插值處理。
文檔編號(hào)H04N9/64GK102968761SQ20121031723
公開日2013年3月13日 申請(qǐng)日期2012年8月30日 優(yōu)先權(quán)日2011年8月30日
發(fā)明者加納明 申請(qǐng)人:佳能株式會(huì)社