專利名稱：圖像處理設備、攝像設備和圖像處理方法
技術領域：
本發(fā)明涉及一種圖像處理設備、攝像設備和圖像處理方法，尤其涉及一種使用圖像恢復處理的圖像校正技術。
背景技術：
通過使用攝像設備拍攝被攝體所獲得的圖像的圖像質量尤其因光學攝像系統(tǒng)的像差而劣化。例如，圖像的模糊表示由光學攝像系統(tǒng)的球面像差、彗星像差、像場彎曲和像散等所導致的圖像質量劣化。通過忽略作為光波的特性的衍射的影響，來自被攝體的一個點的光束穿過不具有像差的光學攝像系統(tǒng)在成像面上會聚成相同大小的一個點(焦點)。然而，實際上除衍射的影響以外，焦點還由于光學攝像系統(tǒng)的像差而擴散。光學攝像系統(tǒng)的點擴散函數(PSF)表示焦點周圍的強度分布，即由于衍射和光學 攝像系統(tǒng)的像差而導致的圖像的模糊，因此，將其稱為模糊成分。該模糊成分不是表示由失焦狀態(tài)所導致的模糊，而是表示即使在聚焦狀態(tài)下也由光的衍射和光學攝像系統(tǒng)的像差所導致的模糊。依賴于光的波長的模糊程度的變化可能導致在由光學攝像系統(tǒng)的軸向色像差、顏色球面像差和顏色彗星像差所引起的彩色圖像中的色邊紋。由光學系統(tǒng)的倍率色像差所導致的橫向上的顏色偏差可以表示由依賴于光的波長的攝像倍率的變化所導致的重合失調或相位偏移。通過對點擴散函數(PSF)進行傅立葉變換所獲得的光學傳遞函數(OTF)用作像差的頻率成分信息，并且以復數來表示。光學傳遞函數(OTF)的絕對值、即振幅成分被稱為MTF(調制傳遞函數)，并且將相位成分稱為PTF(相位傳遞函數)。MTF和PTF分別是由像差所導致的圖像劣化的振幅成分和相位成分的頻率特性。通過公式I將相位成分PTF表示為相位角PTF=tan_1 (Im (OTF) /Re (OTF)) . . . (I)其中，Re (OTF)和Im(OTF)分別表示光學傳遞函數的實部和虛部。如上所述，由于光學攝像系統(tǒng)的光學傳遞函數使圖像的振幅成分和相位成分兩者劣化，所以類似于發(fā)生彗星像差的情況、被攝體圖像的各個點相對于焦點不對稱地模糊。倍率色像差表示成像位置由于依賴于光的波長的攝像倍率的變化而移位這一現象。圖像傳感器通常設置有RGB顏色馬賽克濾波器，并且各像素用于獲得R、G和B顏色成分中的一個。除R、G和B波長之間的成像位置的重合失調以外，在每一所獲得的顏色成分內發(fā)生各波長的成像位置的重合失調，即由相位偏移所導致的圖像的擴散。盡管倍率色像差不能正確表示由簡單平行移位所導致的顏色偏差，但是除非特別指明，在本說明書中，將顏色偏差和倍率色像差作為同義詞使用。已知一種被稱為圖像恢復方法或圖像復原方法的、用于使用光學攝像系統(tǒng)的光學傳遞函數(OTF)的信息來校正振幅成分(MTF)和相位成分(PTF)的劣化的方法。因此，以下將用于使用光學攝像系統(tǒng)的光學傳遞函數的信息來校正圖像劣化的處理稱為圖像恢復處理。這里將概要說明圖像恢復處理。假定g(x，y)是劣化圖像，f(x，y)是原始圖像，并且h(x，y)是通過對光學攝像系統(tǒng)的光學傳遞函數進行逆傅立葉變換所獲得的點擴散函數。那么，g(x，y)=h(x，y)*f(x，y) …(2)其中，算符表示卷積，并且(x，y)表示圖像上的坐標。對公式2進行傅立葉變換以獲得二維頻面上的顯示形式，結果產生針對各頻率的積的形式，如通過公式3所示G(u, v) =H (u, v) F (u, v) ... (3)
其中，H表示通過對點擴散函數進行傅立葉變換所獲得的光學傳遞函數，并且(U，v)表示二維頻面上的坐標、即頻率。為了根據所拍攝的劣化圖像獲得原始圖像，僅需要將公式3的兩邊除以H，如公式4所示G (u, v) /H (u, v) =F (u, v) ... (4)通過對F(u，v)進行逆傅立葉變換以返回實面，獲得原始圖像f (x，y)作為恢復圖像。假定在上述經過了逆傅立葉變換的公式中，R為1/H。那么通過對實面上的圖像執(zhí)行卷積處理可以獲得原始圖像，如公式5所示g(x，y)*R(x，y)=f(x，y) …(5)將R(x，y)稱為圖像恢復濾波器。要應用于二維圖像的圖像恢復濾波器通常是具有與圖像的各像素相對應的抽頭(單元)的二維濾波器。此外，隨著圖像恢復濾波器的抽頭(單元)的數量增大，恢復精度通常提高。根據所需圖像質量、圖像處理能力和像差特性等設置抽頭的實際數量。由于圖像恢復濾波器是基于反映光學攝像系統(tǒng)的像差特性的光學傳遞函數，所以可以高精度地校正頻率成分和相位成分的劣化。這類圖像恢復濾波器在根本上不同于如在水平方向和垂直方向上各自具有三個抽頭的邊緣增強濾波器(高通濾波器)那樣的二維濾波器。例如，日本3532368號專利公開了一種方法，該方法用于使用與要使用的熒光波長相對應的點擴散函數來消除通過用于觀察生物體內部的熒光內窺鏡所拍攝的圖像的除聚焦范圍以外的部分的圖像的模糊。注意，由于實際圖像包括噪聲成分，所以使用通過獲得光學傳遞函數的完全倒數所創(chuàng)建的圖像恢復濾波器，放大了噪聲成分，因而使得難以獲得高質量恢復圖像。通過獲得光學傳遞函數的完全倒數所創(chuàng)建的圖像恢復濾波器通過校正(增大)光學攝像系統(tǒng)的MTF，使光學攝像系統(tǒng)從振幅劣化恢復，從而使得MTF對于所有頻率都變成I。如果圖像的振幅成分附加有噪聲的振幅，則噪聲的能量譜隨著MTF增大而增大，從而并非希望地根據MTF的恢復程度(恢復增益)放大了噪聲?？梢匀缦卤硎驹摤F象G(u, v) =H (u, v) F (u, v) +N (u, v) ... (6)G (u, v) /H (u, v) =F (u, v) +N (u, v) /H (u, v). . . (7)其中，N表示噪聲成分。
有一種眾所周知的用于使用如Wiener濾波器(后面詳細說明)那樣的圖像恢復濾波器來抑制恢復圖像中的噪聲的方法，其中，該圖像恢復濾波器用于根據圖像信號和噪聲信號之間的強度比，抑制圖像的高頻側的恢復率。有一種眾所周知的技術用于通過對拍攝圖像進行使用光學攝像系統(tǒng)的點擴散函數的圖像恢復處理校正各種像差、來提高圖像質量。然而，在實際拍攝操作中，輸入圖像的拍攝狀態(tài)與要應用的圖像恢復濾波器的狀態(tài)可能不會最優(yōu)地一致。一個例子是立體被攝體的拍攝圖像。由于攝像設備通過利用自動調焦功能或者手動調焦聚焦于被攝體空間中的一個平面上來拍攝圖像，所以相對銳利地拍攝到位于焦平面中的被攝體。以與相距焦平面的距離相對應的模糊量拍攝到其它被攝體(包括處于不同于焦平面的位置處的同一被攝體的部分)。如果與被攝體距離有關的信息僅包括與焦平面的距離，則選擇或生成針對被攝體 距離和視角的最佳圖像恢復濾波器來使用。因此，由于對聚焦狀態(tài)的被攝體應用最佳圖像恢復濾波器，所以對于這類被攝體可以獲得想要的恢復結果。然而，由于圖像恢復濾波器對于失焦被攝體不是最佳的，所以在一定程度上獲得恢復效果，但是對于這類被攝體不能消除模糊。其它方面，使用照片中的被攝體的模糊作為用于產生被攝體的立體效果、或者表示感興趣的被攝體的方法。例如，有這樣一種拍攝技術，在該拍攝技術中，使用具有淺景深的遠攝鏡頭聚焦于主被攝體，并且有意使背景模糊。考慮到存在這類拍攝技術，上述圖像恢復處理可能是適當的，其中，使得聚焦被攝體更銳利，并且使失焦被攝體保持模糊。然而，如果使用對于處于聚焦距離的被攝體最佳、而對于處于失焦距離的被攝體不是最佳的圖像恢復濾波器來執(zhí)行圖像恢復處理，則在處于失焦距離處的被攝體可能發(fā)生著色。著色在這里表示由于圖像恢復處理之前的圖像的各個顏色成分的模糊程度之間的關系不同于圖像恢復處理之后的圖像的各個顏色成分的模糊程度之間的關系，所以在圖像恢復處理之后，在圖像的失焦距離處的被攝體(失焦被攝體)的邊緣部處出現被攝體不具有的顏色(偽色)。在用于拍攝立體被攝體的操作以外的操作中，也可能發(fā)生這類著色。不管被攝體是否處于聚焦，大體上在拍攝圖像時像差的狀態(tài)不同于通過要應用的圖像恢復濾波器校正后的像差的狀態(tài)時發(fā)生著色。作為用于減小這類著色的方法，提出了一種用于基于圖像恢復處理之前的圖像的顏色信息來校正圖像恢復處理之后的圖像的顏色的方法。也就是說，該方法用于通過確定圖像的各像素的由圖像恢復處理所導致的顏色變化，降低由圖像恢復處理所導致的著色。由于諸如由軸向色像差、顏色球面像差或顏色彗星像差所導致的色邊紋、以及由倍率色像差所導致的顏色偏差等的光學攝像系統(tǒng)的各種像差，因此在圖像恢復處理之前的拍攝圖像中已存在著色。如果在圖像恢復處理之前的圖像中存在這類著色，則在一些情況下，基于圖像恢復處理之前的圖像的顏色信息的方法不能充分抑制圖像恢復處理之后的圖像中的著色。為了提高圖像質量，在圖像恢復處理中所發(fā)生的著色是不可忽略的圖像質量劣化，并且必須進行充分抑制。
日本3532368號專利所述的方法試圖通過對拍攝圖像的失焦范圍執(zhí)行圖像恢復處理來補足光學攝像系統(tǒng)的淺景深。在日本3532368號專利所述的圖像恢復處理中，即使可以提高失焦范圍的銳度，如果在圖像恢復處理之前的拍攝圖像中存在著色，則也不能充分抑制圖像恢復處理之后在圖像中所發(fā)生的著色。

發(fā)明內容
考慮到傳統(tǒng)技術的上述問題做出本發(fā)明，并且本發(fā)明提供一種能夠抑制圖像恢復處理之后的圖像中的著色的圖像處理設備、攝像設備和圖像處理方法。根據本發(fā)明的一個方面，提供一種圖像處理設備，一種圖像處理設備，其用于校正在通過攝像設備所拍攝的圖像中、由所述攝像設備中的光學攝像系統(tǒng)的像差所導致的圖像 質量的劣化，所述圖像處理設備包括第一倍率色像差校正部件，用于針對所述圖像進行對所述光學攝像系統(tǒng)的倍率色像差的校正；第一獲得部件，用于獲得與校正了所述倍率色像差的圖像的著色有關的第一值；圖像恢復處理部件，用于對校正了所述倍率色像差的圖像應用基于表示所述光學攝像系統(tǒng)的像差的函數的圖像恢復濾波器；第二獲得部件，用于獲得與應用了所述圖像恢復濾波器的圖像的著色有關的第二值；以及像素值校正部件，用于根據通過所述第一獲得部件和所述第二獲得部件所獲得的第一值和第二值之間的差異，校正應用了所述圖像恢復濾波器的圖像的像素值。根據本發(fā)明的其它方面，提供一種攝像設備，其包括光學攝像系統(tǒng)，用于形成被攝體的光學圖像；圖像傳感器，用于拍攝所述光學圖像；以及所述的圖像處理設備。根據本發(fā)明的其它方面，提供一種圖像處理方法其用于校正在通過攝像設備所拍攝的圖像中、由所述攝像設備中的光學攝像系統(tǒng)的像差所導致的圖像質量的劣化，該方法包括以下步驟校正步驟，用于針對所述圖像進行對所述光學攝像系統(tǒng)的倍率色像差的校正；第一獲得步驟，用于獲得與校正了所述倍率色像差的圖像的著色有關的第一值；圖像恢復處理步驟，用于對校正了所述倍率色像差的圖像應用基于表示所述光學攝像系統(tǒng)的像差的函數的圖像恢復濾波器；第二獲得步驟，用于獲得與應用了所述圖像恢復濾波器的圖像的著色有關的第二值；以及像素值校正步驟，用于根據在所述第一獲得步驟和所述第二獲得步驟中所獲得的第一值和第二值之間的差異，校正應用了所述圖像恢復濾波器的圖像的像素值。通過以下參考附圖對實施例的說明，本發(fā)明的其它特征將顯而易見。


圖I是示出根據本發(fā)明實施例作為圖像處理設備的例子的攝像設備的結構的例子的框圖；圖2A和2B是用于說明根據本發(fā)明實施例的圖像恢復濾波器的圖；圖3A 3D是用于說明根據本發(fā)明實施例的圖像恢復處理的實空間和頻率空間的特性的圖；圖4A和4B是用于說明考慮倍率色像差而生成圖像恢復濾波器的圖；圖5是示出根據本發(fā)明實施例的倍率色像差檢測/校正處理的流程圖；圖6A和6B是用于說明根據本發(fā)明實施例的倍率色像差校正數據生成方法的圖7是示出根據本發(fā)明第一實施例的圖像恢復處理的流程圖；圖8是示出根據本發(fā)明實施例的點光源的圖；圖9A 9C是用于說明根據本發(fā)明第一實施例的圖像恢復處理的操作和效果的圖；圖IOA IOC是用于說明根據本發(fā)明第一實施例的圖像恢復處理的操作和效果的圖； 圖IlA IlD是各自示出根據本發(fā)明實施例的攝像設備的光學攝像系統(tǒng)的MTF和應用圖像恢復濾波器之后的MTF的空間頻率特性的例子的圖；圖IlE是示出通過應用圖像恢復濾波器所獲得的、根據本發(fā)明實施例的攝像設備的MTF的增大率/減小率(恢復增益)的圖；圖12是示出根據本發(fā)明第二實施例的圖像恢復處理的流程圖；圖13A 13D是用于說明根據本發(fā)明第二實施例的圖像恢復處理的操作和效果的圖；以及圖14A 14D是用于說明根據本發(fā)明第二實施例的圖像恢復處理的操作和效果的圖。
具體實施例方式下面將根據附圖詳細說明本發(fā)明的實施例。首先概要說明根據本發(fā)明實施例的圖像恢復處理和倍率色像差檢測/校正處理。圖像恢復處理基本上，類似于上述傳統(tǒng)圖像恢復處理、使用圖像恢復濾波器。作為圖像恢復濾波器可使用的例子，下面的公式8表示Wiener濾波器的特性。
權利要求
1.一種圖像處理設備，其用于校正在通過攝像設備所拍攝的圖像中、由所述攝像設備中的光學攝像系統(tǒng)的像差所導致的圖像質量的劣化，所述圖像處理設備包括 第一倍率色像差校正部件，用于針對所述圖像進行對所述光學攝像系統(tǒng)的倍率色像差的校正； 第一獲得部件，用于獲得與校正了所述倍率色像差的圖像的著色有關的第一值； 圖像恢復處理部件，用于對校正了所述倍率色像差的圖像應用基于表示所述光學攝像系統(tǒng)的像差的函數的圖像恢復濾波器； 第二獲得部件，用于獲得與應用了所述圖像恢復濾波器的圖像的著色有關的第二值；以及 像素值校正部件，用于根據通過所述第一獲得部件和所述第二獲得部件所獲得的第一值和第二值之間的差異，校正應用了所述圖像恢復濾波器的圖像的像素值。
2.根據權利要求I所述的圖像處理設備，其中，所述圖像恢復濾波器是不校正倍率色像差的濾波器。
3.根據權利要求I所述的圖像處理設備，其中，由R、G和B成分形成所述圖像，與著色有關的所述第一值和所述第二值包含R成分或B成分的值與G成分的值之間的差，并且所述像素值校正部件校正像素的R成分或B成分的值。
4.根據權利要求I所述的圖像處理設備，其中，由R、G和B成分形成所述圖像，與著色有關的所述第一值和所述第二值包含R成分或B成分的值與基于R、G和B成分所生成的亮度成分的值之間的差，并且所述像素值校正部件校正像素的R成分或B成分的值。
5.根據權利要求I所述的圖像處理設備，其中，由R、G和B成分形成所述圖像，并且與著色有關的所述第一值和所述第二值包含與在Y平面中尋找邊緣時所進行的R或B平面相對于G平面的移動有關的顏色偏差方向和大小，并且所述像素值校正部件校正像素的R成分或B成分的值。
6.根據權利要求I所述的圖像處理設備，其中，還包括 第二倍率色像差校正部件，用于從應用了所述圖像恢復濾波器的圖像檢測倍率色像差，并且校正所檢測到的倍率色像差， 其中，所述第二獲得部件獲得與由所述第二倍率色像差校正部件校正了倍率色像差的圖像的著色有關的值。
7.根據權利要求I所述的圖像處理設備，其中，基于所述光學攝像系統(tǒng)的如下點擴散函數生成所述圖像恢復濾波器通過將特定顏色成分的點擴散函數向其它顏色成分的點擴散函數的位置平移，減小了該點擴散函數的顏色成分之間的差。
8.根據權利要求I所述的圖像處理設備，其中，所述圖像恢復濾波器基于所述光學攝像系統(tǒng)的如下光學傳遞函數從該光學傳遞函數的相位的頻率特性中去除了線性成分。
9.一種攝像設備，其包括 光學攝像系統(tǒng)，用于形成被攝體的光學圖像； 圖像傳感器，用于拍攝所述光學圖像；以及 根據權利要求I所述的圖像處理設備。
10.一種圖像處理方法，其用于校正在通過攝像設備所拍攝的圖像中、由所述攝像設備中的光學攝像系統(tǒng)的像差所導致的圖像質量的劣化，該方法包括以下步驟校正步驟，用于針對所述圖像進行對所述光學攝像系統(tǒng)的倍率色像差的校正； 第一獲得步驟，用于獲得與校正了所述倍率色像差的圖像的著色有關的第一值； 圖像恢復處理步驟，用于對校正了所述倍率色像差的圖像應用基于表示所述光學攝像系統(tǒng)的像差的函數的圖像恢復濾波器； 第二獲得步驟，用于獲得與應用了所述圖像恢復濾波器的圖像的著色有關的第二值； 以及 像素值校正步驟，用于根據在所述第一獲得步驟和所述第二獲得步驟中所獲得的第一值和第二值之間的差異，校正應用了所述圖像恢復濾波器的圖像的像素值。
全文摘要
公開一種能夠抑制圖像恢復處理之后的圖像中的著色的圖像處理設備及其控制方法。在校正了光學攝像系統(tǒng)的倍率色像差之后，在應用圖像恢復濾波器之前獲得與著色有關的第一值。然后，應用基于表示光學攝像系統(tǒng)的像差的函數的、優(yōu)選不校正倍率色像差的圖像恢復濾波器。從應用圖像恢復濾波器之后的圖像獲得與著色有關的第二值。根據在應用圖像恢復濾波器前后分別所獲得的第一值和第二值之間的差，進行用于校正著色的像素值校正。
文檔編號H04N9/04GK102970547SQ201210320880
公開日2013年3月13日 申請日期2012年8月31日 優(yōu)先權日2011年8月31日
發(fā)明者加納明 申請人:佳能株式會社