專利名稱：圖像處理設備、圖像處理方法和程序的制作方法
技術領域：
本發(fā)明涉及圖像處理設備、圖像處理方法和程序。具體地說，本發(fā)明涉及對于單板型圖像傳感器的輸出執(zhí)行信號處理的圖像處理設備、圖像處理方法和程序。
背景技術：
當將單板型固態(tài)圖像傳感器用作成像設備的圖像傳感器時，僅獲得單一的光譜靈敏度。因此，通常，通過在與各個像素對應的圖像傳感器上布置諸如R、G和B的不同顏色的濾色器來執(zhí)行彩色成像。在該方法中，對于每一個像素僅獲得一種顏色(例如，R、G和B的任何一種)。因此，產(chǎn)生基于顏色的馬賽克圖像。具體地說，根據(jù)濾色器的模式，對于每一個像素僅獲取顏色信息R或G或B等。該圖像被稱為所謂的馬賽克圖像。為了從馬賽克圖像獲得彩色圖像，必須獲得用于所有像素的每一個的每種顏色的顏色信息?？梢酝ㄟ^經(jīng)由內(nèi)插從每一個像素的周圍像素獲得的顏色信息計算與所有像素的每一個對應的所有顏色(例如，RGB全部)的顏色信息來產(chǎn)生彩色圖像。這個內(nèi)插處理被稱為去馬賽克處理。例如，在圖I (I)中圖示用于成像設備的濾色器的示例。該陣列被稱為拜耳模式(Bayer pattern)，并且以像素為單位來發(fā)射具有特定波長分量的光(R、G或B)。在拜耳模式中，最小單位由四個像素構成，該四個像素包括用于透射綠色(G)的兩個濾色器、用于透射藍色(B)的一個濾色器和用于透射紅色(R)的一個濾色器。隨著圖像傳感器的微型化，該傳感器變得容易被在像素結(jié)構上的微小差異影響。因此，變得顯然的是，即使具有相同的光譜特性的像素(例如，在拜耳模式中的G像素)也因為在結(jié)構上的略微差異而在靈敏度上從像素至像素有所不同。例如，如圖I (2)中所示，G像素包括在R線中的G像素(以下稱為Gr像素)和在B線中的G像素(以下稱為Gb像素)。雖然Gr像素有具有與Gb像素的光譜特性相同的光譜特性的G濾色器，但是可能因為略微的結(jié)構差異而存在靈敏度差異。當對于由具有靈敏度差異的圖像傳感器成像的圖像執(zhí)行上述的去馬賽克處理時，可能原本被確定為平坦部分的在亮度上具有小差異的部分因為在Gb像素和Gr像素之間的DC分量上的差異而被錯誤地確定為邊緣部分。結(jié)果，在選擇用于確定特定像素的像素值的周圍像素中出現(xiàn)錯誤，使得不規(guī)則地混和多個內(nèi)插值。這有可能導致很顯著地突出的偽影的產(chǎn)生。因此，需要在執(zhí)行去馬賽克處理前對于靈敏度差異執(zhí)行校正處理。例如，在專利文件I (日本專利No. 2931520)中描述了去馬賽克處理。當靈敏度差異在整個屏幕上具有相同的趨勢時，可以通過調(diào)整電平和/或偏移來執(zhí)行校正。S卩，因為執(zhí)行校正使得在R線上的G像素(Gr像素)的靈敏度與在B線中的G像素(Gb像素)的靈敏度匹配，所以可以利用系數(shù)A和B來估計下面內(nèi)容。[公式I]
_1] Gh ^ Grx A +B
...(表達式 I)在上面的表達式(表達式I)中，示出在Gb上方的條的數(shù)據(jù)指示通過下述方式而獲得的像素值校正在R線上的G像素(Gr像素)的靈敏度以便匹配Gb像素的靈敏度。在說明書中以Gb (_)的形式寫出在表達式中的在Gb等上方所寫的符號(條)。當靈敏度差異在整個屏幕上具有相同的趨勢時，有效的是，使用通過使用上面的表達式(表達式I)獲得的校正值。然而，在各個像素的位置處的靈敏度差異的產(chǎn)生的起因包括各種因素，諸如像素結(jié)構和入射光的角度。因此，靈敏度從像素至像素(例如，屏幕的上側(cè)和下側(cè))變化。此外，甚至同一像素因為透鏡等的光圈的影響而在靈敏度上改變。也提出了用于根據(jù)像素位置來吸收電平差的方法。該方法測量在每一個區(qū)域的靈敏度上的差異，并且通過基于增益和偏移執(zhí)行校正處理來吸收靈敏度差異。例如，當假定相對于中心的水平距離是X并且假定垂直距離是 時，可以通過使用從每一個區(qū)域的靈敏度差異計算的校正函數(shù)f(x，y)和校正函數(shù)g(x，y)來近似計算每一個像素的校正系數(shù)，并且 可以如下執(zhí)行校正。[公式2]
_ 7] Gb = Gr X /O，y) + g(x，v)…(表達式2)然而，該方法僅實現(xiàn)對于每一個區(qū)域的粗校正。因此，不能吸收在精細區(qū)域之間的靈敏度差異。另外，因為靈敏度也取決于諸如透鏡的光圈和變焦狀態(tài)的光學特性，所以需要大量的精力和時間來測量f (X，y)和/或g(x, y)。也存在通過僅使用關于相鄰像素的信息來吸收靈敏度差異的技術。在專利文件2(日本專利申請公開(JP-A)No. 2005-160044)中，在對于通過如圖I (3)中所示除了用于透射R、G和B的濾色器之外還使用用于透射翠綠色(E)的濾色器獲得的四種顏色的圖像執(zhí)行去馬賽克處理時通過利用G和E的濾色器的光譜特性彼此類似的情況來執(zhí)行圖像處理。通過估計在G像素的位置處的E像素和估計在E像素的位置處的G像素，可以產(chǎn)生在

圖1(4)中所示的圖像。對于如圖I (4)中所示陣列的圖像，變得有可能執(zhí)行與向拜耳模式(圖I (I))應用的去馬賽克處理類似的去馬賽克處理。然而，雖然如圖2中所示G濾色器和E濾色器的光譜特性和/或靈敏度不同，但是因為其光譜特性部分地交迭，所以在G像素和E像素之間存在強相關。因此，可以使用回歸分析的估計來估計在G像素的位置處的E像素或估計在E像素的位置處的G像素。作為示例，圖示估計在E像素的位置處的G像素的技術。如下計算相鄰的E像素的加權平均HiE和mG。[公式3]
Σ(;νχ ·)mE =.......-..........=,-
Σ(',_
i…(表達式3)
權利要求
1.一種圖像處理設備，包括 靈敏度差異校正處理單元，其接收光電轉(zhuǎn)換信號，并且執(zhí)行靈敏度差異校正處理，所述光電轉(zhuǎn)換信號是由圖像傳感器基于通過濾色器入射的入射光輸出的， 其中所述靈敏度差異正處理單元獲取在校正目標像素的周圍存在的具有與所述校正目標像素相同顏色的濾色器單元的像素值；通過向所述校正目標像素的像素值加上在根據(jù)所述像素的位置分類的兩種像素組“A”和“B”的加權平均像素值“a”和“b”之間的差來計算附加值，加權權重對應于所述像素組相對于所述校正目標像素的距離；以及計算所述校正目標像素的所述像素值和所述附加值的平均值作為所述校正目標像素的校正像素值。
2.根據(jù)權利要求I所述的圖像處理設備，其中 所述濾色器以拜耳模式排列，以及 所述靈敏度差異校正處理單元具有下述配置校正通過所述拜耳模式的所述濾色器成像的圖像中包括的Gr像素和Gb像素之間的靈敏度差異。
3.根據(jù)權利要求2所述的圖像處理設備，其中 所述靈敏度差異校正處理單元當對于所述Gr像素或所述Gb像素執(zhí)行校正處理時計算加權像素值平均mGr和mGb，加權權重與所述校正目標像素相鄰的所述Gr像素和所述Gb像素相對于所述校正目標像素的距離對應；通過向所述校正目標像素的所述像素值加上在所述mGr和mGb之間的差來計算附加值；以及計算所述校正目標像素的所述像素值和所述附加值的平均值作為所述校正目標像素的校正像素值。
4.根據(jù)權利要求I至3的任何一項所述的圖像處理設備，其中 所述靈敏度差異校正處理單元通過當包括所述校正目標像素的相鄰的圖像區(qū)域是邊緣區(qū)域時減少所述附加值的貢獻水平來計算最終的校正像素值；以及通過當包括所述校正目標像素的相鄰的圖像區(qū)域是平坦區(qū)域時增大所述附加值的所述貢獻水平來計算所述最終的校正像素值。
5.根據(jù)權利要求I至4的任何一項所述的圖像處理設備，其中 所述靈敏度差異校正處理單元具有其中執(zhí)行去馬賽克處理的配置。
6.根據(jù)權利要求5所述的圖像處理設備，其中 所述靈敏度差異校正處理單元具有下述配置其中通過根據(jù)包括所述去馬賽克處理的處理目標像素在內(nèi)的圖像區(qū)域的邊緣方向確定的結(jié)果來確定所述處理目標像素周圍的參考像素的像素值的貢獻水平，基于所述參考像素的像素值來執(zhí)行用于確定所述處理目標像素的像素值的去馬賽克處理。
7.根據(jù)權利要求6所述的圖像處理設備，其中 所述靈敏度差異校正處理單元具有下述配置其中通過根據(jù)包括所述去馬賽克處理的所述處理目標像素在內(nèi)的所述圖像區(qū)域的所述邊緣方向確定的結(jié)果來將在其中在像素值上的改變小的方向上的所述參考像素的像素值的所述貢獻水平設置為高水平，執(zhí)行用于確定所述處理目標像素的像素值的去馬賽克處理。
8.一種成像設備，包括 成像裝置；以及 根據(jù)權利要求I至7的任何一項所述的靈敏度差異校正處理單元。
9.一種在圖像處理設備中執(zhí)行的圖像處理方法，所述方法包括由靈敏度差異校正處理單元接收光電轉(zhuǎn)換信號，并且執(zhí)行靈敏度差異校正處理，所述光電轉(zhuǎn)換信號是由圖像傳感器基于通過濾色器入射的入射光輸出的，其中 所述靈敏度差異正處理執(zhí)行獲取在校正目標像素的周圍存在的具有與所述校正目標像素相同顏色的濾色器單元的像素值；通過向所述校正目標像素的像素值加上在根據(jù)像素的位置分類的兩種像素組“A”和“B”的加權平均像素值“a”和“b”之間的差來計算附加值，加權權重對應于所述像素組相對于所述校正目標像素的距離；以及計算所述校正目標像素的所述像素值和所述附加值的平均值作為所述校正目標像素的校正像素值。
10.一種程序，所述程序使得在圖像處理設備中執(zhí)行圖像處理，并且使得靈敏度差異校正處理單元接收光電轉(zhuǎn)換信號并執(zhí)行靈敏度差異校正處理，所述光電轉(zhuǎn)換信號是由圖像傳感器基于通過濾色器入射的入射光輸出的，其中 所述靈敏度差異正處理執(zhí)行獲取在校正目標像素的周圍存在的具有與所述校正目標像素相同顏色的濾色器單元的像素值；通過向所述校正目標像素的像素值加上在根據(jù)像素的位置分類的兩種像素組“A”和“B”的加權平均像素值“a”和“b”之間的差來計算附加值，加權權重對應于所述像素組相對于所述校正目標像素的距離；以及計算所述校正目標像素的所述像素值和所述附加值的平均值作為所述校正目標像素的校正像素值。
全文摘要
提供了執(zhí)行對于單板型圖像傳感器通過濾色器產(chǎn)生的圖像信號的靈敏度差異校正處理的設備和方法。對于在由單板型圖像傳感器通過濾色器產(chǎn)生的例如RGB信號的圖像信號中包括的Gr和Gb信號執(zhí)行靈敏度差異校正。獲取具有與校正目標像素相同的顏色的校正目標像素周圍存在的濾色器的像素值。在根據(jù)像素的位置分類的兩種像素組“A”和“B”的加權平均像素值“a”和“b”之間的差被加到校正目標像素的像素值上以計算附加值，其中加權權重對應于該像素組相對于校正目標像素的距離。計算校正目標像素的像素值和附加值的平均值作為校正目標像素的校正的像素值。
文檔編號H04N9/07GK102907103SQ201180025618
公開日2013年1月30日 申請日期2011年5月9日 優(yōu)先權日2010年6月2日
發(fā)明者海津俊, 野村宜邦 申請人:索尼公司