專利名稱：信號(hào)處理裝置、信號(hào)處理方法和信號(hào)處理程序的制作方法
信號(hào)處理裝置、信號(hào)處理方法和信號(hào)處理程序技術(shù)領(lǐng)域
本公開(kāi)涉及信號(hào)處理裝置、信號(hào)處理方法和信號(hào)處理程序。
背景技術(shù)：
近來(lái)，利用諸如CXD或CMOS之類的成像設(shè)備的成像裝置已廣為普及，這種裝置通過(guò)一組成像透鏡拍攝在成像設(shè)備的光接收表面上形成的物體的光學(xué)圖像。通過(guò)這種成像裝置獲得的圖像的分辨率對(duì)應(yīng)于光接收表面上的光接收像素的數(shù)量和成像透鏡的分辨率。
因此，增加光接收像素的數(shù)量并提高成像透鏡的分辨率能有效地提高通過(guò)成像裝置獲得的圖像的分辨率。例如，可以通過(guò)增加光接收表面上設(shè)置的光接收像素的密度和提高成像透鏡組的分辨率，使得通過(guò)成像透鏡組投影在光接收表面上的點(diǎn)像在一個(gè)光接收像素的范圍內(nèi)，從而提高通過(guò)這種成像裝置獲得的圖像的分辨率。
由于近年來(lái)技術(shù)的進(jìn)步，使得增加形成成像設(shè)備的光接收像素的密度變得相對(duì)容易。一種提高成像透鏡組的分辨率的有效方式是減少將形成成像透鏡組的透鏡成型和組裝時(shí)出現(xiàn)的誤差。然而，非常困難的是提高這種透鏡的制造精度，即加工、組裝和調(diào)整的精度。
作為另外一種提高分辨率的方法，JP-A-2009_141742(專利文獻(xiàn)I)公開(kāi)了提高通過(guò)成像裝置獲得的圖像的分辨率的方法，所述方法包括根據(jù)PSF(點(diǎn)散布函數(shù))對(duì)圖像執(zhí)行信號(hào)處理的步驟。
JP-A-2007_72558(專利文獻(xiàn)2)公開(kāi)了包括以下步驟的圖像處理方法使用分帶濾波器(band division filter)將輸入圖像的頻率分量分成多個(gè)波帶并且僅對(duì)輸入信號(hào)的低頻分量與點(diǎn)像分布函數(shù)的反函數(shù)求卷積，從而使卷積的計(jì)算量加倍。發(fā)明內(nèi)容
專利文獻(xiàn)2中公開(kāi)的圖像處理方法的問(wèn)題在于，因?yàn)榉謳V波器的影響，所以不能以足夠高的分辨率重構(gòu)圖像。
在這種情況下，需要提供一種新的改進(jìn)的信號(hào)處理裝置、信號(hào)處理方法和信號(hào)處理程序，其使得將以高精度補(bǔ)償數(shù)據(jù)信號(hào)與諸如點(diǎn)像分布函數(shù)之類的沖激響應(yīng)的卷積。
本公開(kāi)的實(shí)施例涉及包括第一低通濾波器和卷積部分的信號(hào)處理裝置，所述第一低通濾波器用于對(duì)數(shù)據(jù)信號(hào)濾波，所述卷積部分對(duì)所述第一低通濾波器獲得的所述數(shù)據(jù)信號(hào)的低頻分量與補(bǔ)償濾波器求卷積，所述補(bǔ)償濾波器用于補(bǔ)償由于用第二低通濾波器對(duì)沖激響應(yīng)進(jìn)行濾波而獲得的所述沖激響應(yīng)的低頻分量導(dǎo)致的信號(hào)劣化。
第一低通濾波器和第二低通濾波器可以具有相同的特性。
信號(hào)處理裝置還可以包括加法部分，所述加法部分用于將所述卷積部分執(zhí)行的卷積的結(jié)果與所述數(shù)據(jù)信號(hào)相加。
所述數(shù)據(jù)信號(hào)可以是圖像信號(hào)。所述圖像處理設(shè)備還可以包括調(diào)整部分，所述調(diào)整部分用于根據(jù)某個(gè)區(qū)域的邊緣信息來(lái)調(diào)整所述卷積部分執(zhí)行的與所述區(qū)域相關(guān)的卷積的結(jié)果。所述加法部分可以將所述調(diào)整部分執(zhí)行的調(diào)整的結(jié)果與所述數(shù)據(jù)信號(hào)相加。
所述調(diào)整部分可以根據(jù)所述邊緣信息來(lái)調(diào)整與所述區(qū)域相關(guān)的卷積的結(jié)果，使得所述區(qū)域的邊緣分量越弱，所獲得的增益越高。
所述調(diào)整部分可以根據(jù)所述數(shù)據(jù)信號(hào)中的所述區(qū)域的邊緣信息或者所述卷積的結(jié)果中的所述區(qū)域的邊緣信息來(lái)調(diào)整與所述區(qū)域相關(guān)的卷積的結(jié)果。
本公開(kāi)的另一個(gè)實(shí)施例涉及一種信號(hào)處理方法，所述方法包括使用第一低通濾波器對(duì)數(shù)據(jù)信號(hào)濾波；使用第二低通濾波器對(duì)沖激響應(yīng)濾波；設(shè)計(jì)補(bǔ)償濾波器，所述補(bǔ)償濾波器補(bǔ)償由于使用所述第二低通濾波器獲得的所述沖激響應(yīng)的低頻分量導(dǎo)致的信號(hào)劣化；以及對(duì)所述第一低通濾波器獲得的所述數(shù)據(jù)信號(hào)的低頻分量與所述補(bǔ)償濾波器求卷積。
本公開(kāi)的又一個(gè)實(shí)施例涉及用于致使計(jì)算機(jī)用作信號(hào)處理裝置的程序，所述信號(hào)處理裝置包括第一低通濾波器，用于對(duì)數(shù)字信號(hào)濾波；以及卷積部分，所述卷積部分對(duì)所述第一低通濾波器獲得的所述數(shù)據(jù)信號(hào)的低頻分量與補(bǔ)償濾波器求卷積，所述補(bǔ)償濾波器用于補(bǔ)償由于用第二低通濾波器對(duì)沖激響應(yīng)進(jìn)行濾波而獲得的所述沖激響應(yīng)的低頻分量導(dǎo)致的信號(hào)劣化。
如上所述，根據(jù)本公開(kāi)的實(shí)施例，可以用高精度補(bǔ)償數(shù)據(jù)信號(hào)與諸如點(diǎn)像分布函數(shù)之類的沖激響應(yīng)的卷積。


圖I是示出根據(jù)本公開(kāi)的實(shí)施例的圖像處理裝置的構(gòu)造的示意圖2是拜爾排列型CMOS成像設(shè)備的光接收表面上的像素布置的示圖3是具有拜爾排列的圖像的頻帶的說(shuō)明圖4是示出作為比較例的信號(hào)處理部分的構(gòu)造的功能框圖5是示出作為比較例的信號(hào)處理部分的操作的流程圖6是示出作為比較例的通過(guò)信號(hào)處理部分設(shè)計(jì)的圖像的二維頻率響應(yīng)的Y軸斷面的曲線圖7是示出作為比較例的通過(guò)信號(hào)處理部分重構(gòu)的圖像的二維頻率響應(yīng)的Y軸斷面的曲線圖8是示出輸入圖像的二維頻率響應(yīng)的Y軸斷面的曲線圖9是示出作為比較例的根據(jù)圖像處理方法獲得的圖8中示出的輸入圖像的重構(gòu)結(jié)果的二維頻率響應(yīng)的Y軸斷面的曲線圖10是示出根據(jù)本公開(kāi)的第一實(shí)施例的信號(hào)處理部分的構(gòu)造的功能框圖11是示出第一實(shí)施例中設(shè)計(jì)的逆濾波器的二維頻率響應(yīng)的Y軸斷面的曲線圖12是示出本公開(kāi)的第一實(shí)施例的操作的流程圖13是示出根據(jù)本公開(kāi)的第二實(shí)施例的信號(hào)處理部分的構(gòu)造的示意圖14是示出用于計(jì)算邊緣信息的像素位置的示圖
圖15是示出邊緣信息和增益之間的關(guān)系的曲線圖
圖16是示出本公開(kāi)的第二實(shí)施例的操作的流程圖；以及
圖17是示出根據(jù)本公開(kāi)的第二實(shí)施例重構(gòu)的圖像的二維頻率響應(yīng)的Y軸斷面的曲線圖。
具體實(shí)施方式
現(xiàn)在，將參照附圖詳細(xì)描述本公開(kāi)的實(shí)施例。在下面的描述和附圖中，將使用相同的附圖標(biāo)記指示功能和構(gòu)造基本一致的元件。為了避免重復(fù)描述，可以省略這類元件的細(xì)節(jié)。
在下面的描述和附圖中，對(duì)于多個(gè)功能和構(gòu)造基本一致的元件，可以通過(guò)在對(duì)于所有元件都相同的附圖標(biāo)記后跟著的不同字母對(duì)彼此進(jìn)行區(qū)分。當(dāng)不需要彼此區(qū)分功能和構(gòu)造基本一致的多個(gè)元件時(shí)，僅使用相同的附圖標(biāo)記表示元件。
將按照下面的順序描述本公開(kāi)的實(shí)施例。
I.圖像處理裝置的基本構(gòu)造
2.由比較例執(zhí)行的圖像處理
3.第一實(shí)施例
3-1.第一實(shí)施例的信號(hào)處理部分的構(gòu)造
3-2.第一實(shí)施例的操作
4.第二實(shí)施例
4-1.第二實(shí)施例的信號(hào)處理部分的構(gòu)造
4-2.第二實(shí)施例的操作
5.對(duì)描述的總結(jié)
〈I.圖像處理裝置的基本構(gòu)造〉
可以采用各種模式實(shí)現(xiàn)本公開(kāi)，比如，通過(guò)舉例的方式在"3.第一實(shí)施例" 和"4.第二實(shí)施例"中詳細(xì)描述的模式。根據(jù)這些實(shí)施例中的每個(gè)的圖像處理裝置(信號(hào)處理裝置)包括
A.第一低通濾波器220A，其用于對(duì)數(shù)據(jù)信號(hào)進(jìn)行濾波；以及
B.卷積部分240，其用于對(duì)第一低通濾波器獲得的數(shù)據(jù)信號(hào)的低頻分量與補(bǔ)償濾波器求卷積，所述補(bǔ)償濾波器補(bǔ)償由于用第二低通濾波器220B對(duì)沖激響應(yīng)進(jìn)行濾波而獲得的沖激響應(yīng)的低頻分量導(dǎo)致的信號(hào)劣化。
現(xiàn)在，將參照?qǐng)DI至圖3描述本公開(kāi)的實(shí)施例共用的如此描述的基本構(gòu)造。
圖I是示出根據(jù)本公開(kāi)的實(shí)施例的圖像處理裝置I的構(gòu)造的示意圖。如圖I中所示，根據(jù)本公開(kāi)的實(shí)施例的圖像處理裝置I包括成像光學(xué)系統(tǒng)10、光圈2、CM0S成像設(shè)備14、S/H AGC部分16、AD轉(zhuǎn)換部分18、AE檢測(cè)塊24、微計(jì)算機(jī)26和光圈驅(qū)動(dòng)器28。根據(jù)本公開(kāi)的實(shí)施例的圖像處理裝置I可以被用作各種類型的裝置，比如成像裝置、移動(dòng)裝置、車載裝置和醫(yī)療裝置。
成像光學(xué)系統(tǒng)10包括多個(gè)透鏡，并且所述系統(tǒng)通過(guò)光圈12在CMOS成像設(shè)備14 的光接收表面上形成物體的光學(xué)圖像。
CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)成像設(shè)備14將光接收表面上形成的光學(xué)圖像轉(zhuǎn)化為電信號(hào)。CMOS成像設(shè)備14僅是實(shí)施例中可用的成像設(shè)備的示例。例如，替代地，圖像處理裝置I可以包括CXD (電荷耦合器件)成像設(shè)備來(lái)替代CMOS成像設(shè)備14。
S/H AGC部分16對(duì)來(lái)自CMOS成像設(shè)備14的輸出執(zhí)行采樣并保存(S/H)操作并對(duì)其實(shí)施AGC (自動(dòng)增益控制)。AD轉(zhuǎn)換部分18將來(lái)自S/H AGC部分16的輸出轉(zhuǎn)換成數(shù)字格式。將從AD轉(zhuǎn)換部分18輸出的數(shù)字信號(hào)提供到信號(hào)處理部分20和AE檢測(cè)塊24。
信號(hào)處理部分20對(duì)來(lái)自AD轉(zhuǎn)換部分18的數(shù)字輸出執(zhí)行各種類型的信號(hào)處理并通過(guò)輸出端子22將經(jīng)過(guò)處理的信號(hào)輸出到其下游設(shè)置的電路。例如，信號(hào)處理部分20執(zhí)行信號(hào)處理，以提高作為數(shù)字輸出向其輸入的輸入圖像的分辨率，如后面本公開(kāi)的實(shí)施例將詳細(xì)描述的。
AE (自動(dòng)曝光)檢測(cè)塊24檢測(cè)從AD轉(zhuǎn)換部分18輸入的數(shù)字信號(hào)。微計(jì)算機(jī)26 根據(jù)AE檢測(cè)塊24提供的檢測(cè)值向光圈驅(qū)動(dòng)器28提供用于控制打開(kāi)光圈12的控制信號(hào)。 光圈驅(qū)動(dòng)器28根據(jù)微計(jì)算機(jī)26提供的控制信號(hào)驅(qū)動(dòng)光圈12。
(拜爾排列)
CMOS成像設(shè)備14具有按拜爾排列布置的像素。下面將參照?qǐng)D2描述拜爾排列。
圖2是拜耳排列型CMOS成像設(shè)備14的光接收表面上的像素布置的示圖。如圖2 中所示，將檢測(cè)B(藍(lán)色)分量的像素和檢測(cè)G(綠色)分量的像素交替布置在沿拜爾排列的水平方向延伸的第一線(頂部的線)上，并且將檢測(cè)G分量的像素和檢測(cè)R(紅色)分量的像素交替布置在第二線上。在排列的垂直方向(用“V”表示)上設(shè)置了多條具有類似像素布置的線。在每個(gè)像素執(zhí)行光電轉(zhuǎn)換，以使得從CMOS成像設(shè)備14輸出彩色圖像。
圖3是具有拜爾排列的圖像的頻帶的說(shuō)明圖。如圖3中所示，根據(jù)采樣，具有拜爾排列的圖像中的G分量的帶寬是R和B分量的帶寬的兩倍。
<2.在比較例中的圖像重構(gòu)過(guò)程〉
已經(jīng)描述了根據(jù)本公開(kāi)的實(shí)施例的圖像處理裝置的基本構(gòu)造?，F(xiàn)在，將參照?qǐng)D4 至圖9描述比較例中執(zhí)行的圖像重構(gòu)過(guò)程。
圖4是示出作為比較例的信號(hào)處理部分80的構(gòu)造的功能框圖。作為比較例的信號(hào)處理部分80包括PSF表82、逆濾波器設(shè)計(jì)部分84、卷積部分86和加法部分88。
與每個(gè)R、G和B分量及每個(gè)像素關(guān)聯(lián)定義的點(diǎn)像分布函數(shù)P (Z)被保存在PSF表 82中。點(diǎn)像分布函數(shù)不均勻地分布在屏幕上，并且彼此相鄰的像素的點(diǎn)像分布函數(shù)之間的差別不一定大。因此，在具有一定范圍的塊內(nèi)的點(diǎn)像分布函數(shù)可能一律是接近的。例如，使用專利文獻(xiàn)I中公開(kāi)的方法獲得點(diǎn)像分布函數(shù)。替代地，所使用的點(diǎn)像分布函數(shù)可以是光學(xué)設(shè)計(jì)值。
逆濾波器設(shè)計(jì)部分84設(shè)計(jì)與每個(gè)R、G和B分量及每個(gè)像素相關(guān)的點(diǎn)像分布函數(shù) P(z)的逆濾波器K(Z)。例如，逆濾波器設(shè)計(jì)部分84使用專利文獻(xiàn)I中公開(kāi)的方法或者使用使基于維納濾波器(Wiener filter)的輸入信號(hào)的均方差最小的方法來(lái)設(shè)計(jì)逆濾波器K(Z)。
具體地講，逆濾波器設(shè)計(jì)部分84可以通過(guò)根據(jù)下面所示的表達(dá)式I計(jì)算逆濾波器的頻率響應(yīng)K (w)并執(zhí)行逆濾波器的頻率響應(yīng)K (w)的傅里葉逆變換來(lái)設(shè)計(jì)逆濾波器K (z)。 在表達(dá)式I中，P(W)表示PSF的頻率響應(yīng)，并且N(W)表示噪聲分量的頻率響應(yīng)。
K(w) =J(W)-I
權(quán)利要求
1.一種信號(hào)處理裝置，包括第一低通濾波器，對(duì)數(shù)據(jù)信號(hào)濾波；以及卷積部分，對(duì)所述第一低通濾波器獲得的所述數(shù)據(jù)信號(hào)的低頻分量與補(bǔ)償濾波器求卷積，所述補(bǔ)償濾波器用于補(bǔ)償由于用第二低通濾波器對(duì)沖激響應(yīng)進(jìn)行濾波而獲得的所述沖激響應(yīng)的低頻分量導(dǎo)致的信號(hào)劣化。
2.根據(jù)權(quán)利要求I所述的信號(hào)處理裝置，其中所述第一低通濾波器和所述第二低通濾波器具有相同的特性。
3.根據(jù)權(quán)利要求2所述的信號(hào)處理裝置，還包括加法部分，所述加法部分用于將所述卷積部分執(zhí)行的卷積的結(jié)果與所述數(shù)據(jù)信號(hào)相加。
4.根據(jù)權(quán)利要求3所述的信號(hào)處理裝置，其中所述數(shù)據(jù)信號(hào)是圖像信號(hào)，所述裝置還包括調(diào)整部分，所述調(diào)整部分用于根據(jù)某個(gè)區(qū)域的邊緣信息來(lái)調(diào)整所述卷積部分執(zhí)行的與所述區(qū)域相關(guān)的卷積的結(jié)果，所述加法部分將所述調(diào)整部分執(zhí)行的調(diào)整的結(jié)果與所述數(shù)據(jù)信號(hào)相加。
5.根據(jù)權(quán)利要求4所述的信號(hào)處理裝置，其中所述調(diào)整部分根據(jù)所述邊緣信息來(lái)調(diào)整與所述區(qū)域相關(guān)的卷積的結(jié)果，使得所述區(qū)域的邊緣分量越弱，所獲得的增益越高。
6.根據(jù)權(quán)利要求5所述的信號(hào)處理裝置，其中所述調(diào)整部分根據(jù)所述數(shù)據(jù)信號(hào)中的所述區(qū)域的邊緣信息或者所述卷積的結(jié)果中的所述區(qū)域的邊緣信息來(lái)調(diào)整與所述區(qū)域相關(guān)的卷積的結(jié)果。
7.根據(jù)權(quán)利要求6所述的信號(hào)處理裝置，其中所述數(shù)據(jù)信號(hào)是由成像光學(xué)系統(tǒng)成像的圖像信號(hào)；以及所述沖激響應(yīng)是所述成像光學(xué)系統(tǒng)的點(diǎn)像分布函數(shù)。
8.—種信號(hào)處理方法,包括使用第一低通濾波器對(duì)數(shù)據(jù)信號(hào)濾波；使用第二低通濾波器對(duì)沖激響應(yīng)濾波；設(shè)計(jì)補(bǔ)償濾波器，所述補(bǔ)償濾波器補(bǔ)償由于使用所述第二低通濾波器獲得的所述沖激響應(yīng)的低頻分量導(dǎo)致的信號(hào)劣化；以及對(duì)所述第一低通濾波器獲得的所述數(shù)據(jù)信號(hào)的低頻分量與所述補(bǔ)償濾波器求卷積。
9.一種致使計(jì)算機(jī)用作信號(hào)處理裝置的程序，所述信號(hào)處理裝置包括第一低通濾波器，用于對(duì)數(shù)字信號(hào)濾波；以及卷積部分，所述卷積部分對(duì)所述第一低通濾波器獲得的所述數(shù)據(jù)信號(hào)的低頻分量與補(bǔ)償濾波器求卷積，所述補(bǔ)償濾波器用于補(bǔ)償由于用第二低通濾波器對(duì)沖激響應(yīng)進(jìn)行濾波而獲得的所述沖激響應(yīng)的低頻分量導(dǎo)致的信號(hào)劣化。
全文摘要
本發(fā)明提供了一種信號(hào)處理裝置、信號(hào)處理方法和信號(hào)處理程序。該信號(hào)處理裝置包括第一低通濾波器，第一低通濾波器用于對(duì)數(shù)據(jù)信號(hào)濾波；以及卷積部分，對(duì)所述第一低通濾波器獲得的所述數(shù)據(jù)信號(hào)的低頻分量與補(bǔ)償濾波器求卷積，所述補(bǔ)償濾波器用于補(bǔ)償由于用第二低通濾波器對(duì)沖激響應(yīng)進(jìn)行濾波而獲得的所述沖激響應(yīng)的低頻分量導(dǎo)致的信號(hào)劣化。
文檔編號(hào)H04N5/205GK102547072SQ20111042843
公開(kāi)日2012年7月4日 申請(qǐng)日期2011年12月20日 優(yōu)先權(quán)日2010年12月28日
發(fā)明者玉山研, 茂木幸彥 申請(qǐng)人:索尼公司