專利名稱：信號處理方法和信號處理電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信號處理方法和信號處理電路，用于獲得具有高分辨 率的信號，同時控制利用空間像素移位方法的信號處理中所產(chǎn)生的問題， 所述問題的示例是在固體成像設(shè)備中拍攝具有高色度的對象時所產(chǎn)生的 莫爾效應(yīng)。
背景技術(shù)：
使用空間像素移位方法的三板型固體成像設(shè)備通常包括用于G (綠 色)、B (藍(lán)色)、R (紅色)信號的固體成像元件(CCD等)，其中按照如 下方式放置CCD:例如，用于R和B的CCD相對于用于G的CCD在水
平方向上移位半個像素。
根據(jù)這種放置方式，可以解釋為與不采用空間像素移位方法的情況 相比，空間像素移位方法中以雙倍采樣頻率對對象進(jìn)行成像。觀察從用于
各個顏色的CCD所獲得的信號，根據(jù)采樣定理，所包含的頻率為采樣頻 率一半(換句話說，大于或等于奈奎斯特頻率的頻率)的任何高頻分量都 是偽信號，稱作重疊分量。這種放置方式使R和B信號的相位相對于G 信號移位180度，并使所包括的重疊分量的相位以類似的方式移位以180度。
作為空間像素移位方法中的高頻分量替換處理，在各個信號中，以各 個顏色所共有的高頻分量(其中減小了重疊分量)替換包括每個顏色的重 疊分量在內(nèi)的高頻分量。更具體地，與亮度信號相似，根據(jù)各個顏色信號 產(chǎn)生各個顏色的公共信號，并將公共信號的高頻分量用作各個顏色所共有 的高頻分量。例如，以R信號表示具有R和B的相位的信號，且對R信 號和G信號應(yīng)用公式((G + R) /2)，來產(chǎn)生公共信號。因此，在G信號 中所包括的重疊分量與在R和B信號中所包括的重疊分量反相相加，從而抵消了各個重疊分量。將這樣獲得的公共信號的高頻分量用于高頻分量替 換處理，在所述高頻分量替換處理中，將公共信號的高頻分量與每個顏色 的低頻分量相加。結(jié)果，所獲得的每一個信號都具有減小了其中的重疊分 量的高頻分量。
然而，在對象具有高色度的情況下，例如，當(dāng)拍攝接近綠色的對象(包
括其頻率大于或等于奈奎斯特頻率的高頻分量)時，由用于R和B的CCD 所獲得的信號與由用于G的CCD所獲得的信號相比非常小。所以，使用 由用于R和B的CCD所獲得的信號不能抵消由于用于G的CCD中的采 樣處理的誤操作所產(chǎn)生的高頻分量的重疊分量。因此，公共高頻分量仍然 包括重疊分量，導(dǎo)致莫爾效應(yīng)的產(chǎn)生。
為了解決這種上述問題，專利文件1所公開的信號處理電路根據(jù)來自 用于G和R的CCD的、用于產(chǎn)生公共高頻分量的信號的電平，在色度較 高時，減小要與每個顏色的低頻分量相加的公共高頻分量的比率，來控制 莫爾效應(yīng)的產(chǎn)生。
專利文件l:日本專利申請未審公開2004-3251
發(fā)明內(nèi)容
本發(fā)明所要解決的問題
然而，根據(jù)控制莫爾效應(yīng)的傳統(tǒng)方法，當(dāng)對象的色度較高時，減小信 號中包括的高頻分量。換句話說，對象的色度越高，高頻分量中的分辨率 就不可避免地犧牲得越多。
此外，由于公共高頻分量與每個顏色的低頻分量相加，所以與包括高 頻分量在內(nèi)的部分相近的部分更接近于無彩色。
解決問題的手段
為了解決上述問題，本發(fā)明主要的特征在于根據(jù)采樣處理前各個信 號的幅度形狀的局部相似性來產(chǎn)生各個信號所共有的公共高頻分量，已對 所述公共高頻分量進(jìn)行了調(diào)整以抵消重疊分量，調(diào)整所產(chǎn)生的公共高頻分 量的比率，以與原始信號的平衡相一致，并將調(diào)整后的高頻分量與每個信 號的低頻分量相加。本發(fā)明的效果
根據(jù)本發(fā)明，可以控制莫爾效應(yīng)，可以控制高頻分量向無彩色的轉(zhuǎn)變， 而且即使在對象具有高色度的情況下，也可以提供具有高分辨率的信號。 此外，在對象具有低色度的情況下，也可以沒有任何問題地提供具有高分 辨率的信號，因?yàn)樵谶@種情況下，保持了高頻分量替換處理(其中使用傳 統(tǒng)的空間像素移位方法)的效果。
此外，本發(fā)明涉及一種簡單的信號處理方法，不必根據(jù)圖像特征等以 復(fù)雜的方式選擇恰當(dāng)?shù)奶幚?。因此，可以提供?gòu)造簡單但具有滿意效果的 信號處理電路。


圖1是示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的信號處理電路的框圖。
圖2示出了根據(jù)優(yōu)選實(shí)施例的信號處理電路中的公共高頻分量計算 器的構(gòu)造。
圖3示出了根據(jù)優(yōu)選實(shí)施例的信號處理電路中的調(diào)整值設(shè)置器的構(gòu)造。
圖4示出了對象的示例。 圖5示出了對象的示例。
圖6示出了根據(jù)優(yōu)選實(shí)施例的信號處理電路中的信號波形和采樣位置。
圖7示出了根據(jù)優(yōu)選實(shí)施例的信號處理電路中的信號波形和采樣位置。
圖8示出了根據(jù)優(yōu)選實(shí)施例的信號處理電路中的信號波形。
圖9示出了根據(jù)優(yōu)選實(shí)施例的信號處理電路中的信號波形和采樣位置。
圖10示出了根據(jù)優(yōu)選實(shí)施例的信號處理電路中的信號波形和采樣位置。
圖11示出了根據(jù)優(yōu)選實(shí)施例的信號處理電路中的信號波形和采樣位置。圖12示出了根據(jù)優(yōu)選實(shí)施例的信號處理電路中的信號波形和采樣位 圖13示出了根據(jù)優(yōu)選實(shí)施例的信號處理電路中的信號波形。
t考符號描述
謂
101
102
103 110
115
116
117 120
125
126
131
132
133
200
201
202
203
300
301
302
303 401，
高頻分量產(chǎn)生器 G電平計算器 B電平計算器 R電平計算器
501
組元設(shè)置器
公共信號調(diào)整值計算器 每個顏色調(diào)整值計算器 公共高頻分量計算器 公共信號計算器 公共高頻分量分離器 G高頻分量調(diào)整器 B高頻分量調(diào)整器 R高頻分量調(diào)整器 低頻分量分離器 G低頻分量分離器 B低頻分量分離器 R低頻分量分離器 高頻分量加法器 G高頻分量加法器 B高頻分量加法器 R高頻分量加法器 對象
具體實(shí)施方式
以下，將參考附圖來描述本發(fā)明的優(yōu)選實(shí)施例。 優(yōu)選實(shí)施例
在本發(fā)明的優(yōu)選實(shí)施例中，在用于處理視頻信號的信號處理電路中實(shí) 現(xiàn)本發(fā)明。圖1是示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的信號處理電路的框圖。
圖2示出了作為根據(jù)優(yōu)選實(shí)施例的信號處理電路一部分的公共高頻分量計 算器的構(gòu)造。圖3示出了作為根據(jù)優(yōu)選實(shí)施例的信號處理電路一部分的調(diào) 整值設(shè)置器的構(gòu)造。圖4和5示出了對象的示例。圖6-13示出了每個顏色 的信號波形和采樣位置。
按照如下方式獲得信號分別被稱為顏色信號G、 B和R:在用于獲得 視頻信息的G (綠色)、B (藍(lán)色)和R (紅色)CCD中，空間像素移位 方法，將用于R和B的CCD相對于用于G的CCD在水平方向上移位半 個像素。
根據(jù)本優(yōu)選實(shí)施例的信號處理設(shè)備包括低頻分量分離器200、高頻分 量產(chǎn)生器100和高頻分量加法器300。低頻分量分離器200從各個顏色信 號中分離低頻分量LG、LB和LR。高頻分量產(chǎn)生器100產(chǎn)生高頻分量HG、 HB和HR，其中各個信號的重疊分量從所述高頻分量中移除。高頻分量加 法器300將所產(chǎn)生的各個顏色的高頻分量與低頻分量相加，從而產(chǎn)生各個 顏色信號outG、 outB和outR,在所述顏色信號中高頻分量已被替換。在 圖像信號的情況下，具有大于或等于閾值的頻率的分量稱作高頻分量，而 具有小于閾值的頻率的分量稱作低頻分量。閾值的示例是略微低于奈奎斯 特頻率的頻率。然而，所述閾值被有限地用于圖像信號。在諸如音頻信號 之類的任何其他信號中，設(shè)置專用的閾值。
高頻分量產(chǎn)生器100包括用于各個顏色的電平計算器101 、 102和103 、 調(diào)整值設(shè)置器110、公共高頻分量計算器120以及用于各個顏色的高頻分 量調(diào)整器131、 132和133。用于各個顏色的電平計算器101、 102和103 計算各個顏色中的小區(qū)域的DC值。從中提取信號R、 G和B的高頻分量 的空間位置被稱作目標(biāo)位置，將包括目標(biāo)位置及其鄰區(qū)在內(nèi)的空間區(qū)域稱 作小區(qū)域。各個顏色的小區(qū)域的DC值被稱作DC一G、 DC一B禾t1DC一R。
調(diào)整值設(shè)置器110設(shè)置用于調(diào)整各個顏色的信號的第一調(diào)整值—— 增益G1、 B1和R1以及第二調(diào)整值——增益G2、 B2禾BR2。后文中，第一調(diào)整值統(tǒng)稱為增益X1，而第二調(diào)整值統(tǒng)稱為增益X2。公共高頻分量計 算器120計算各個顏色所共有的公共高頻分量HY。高頻分量調(diào)整器131、 132和133根據(jù)高頻分量HY，產(chǎn)生各個顏色的高頻分量HG、 HB和HR。 公共高頻分量計算器120包括公共信號計算器125和公共高頻分量分 離器126，如圖2所示。公共信號計算器125根據(jù)各個顏色的各個顏色信 號G、 B和R和第一調(diào)整值增益XI來計算公共信號Y，所述公共信號Y 用作各個顏色的參考值。公共高頻分量分離器126從公共信號Y中分離公 共高頻分量HY。
調(diào)整值設(shè)置器110包括組元設(shè)置器115、公共信號調(diào)整值計算器116 和每個顏色調(diào)整值計算器117，如圖3所示。組元設(shè)置器115設(shè)置根據(jù)各 個顏色的DC值DC_G、 DC—B和DC—R計算第一和第二調(diào)整值增益XI 和增益X2時所使用的信號。公共信號調(diào)整值計算器116計算第一調(diào)整值 增益X1。每個顏色調(diào)整值計算器117計算第二調(diào)整值增益X2。第二調(diào)整 值增益X2是表示公共高頻分量HY與每個顏色相加時的相加比率的調(diào)整 值。
以下描述了這樣構(gòu)造的、根據(jù)本優(yōu)選實(shí)施例的信號處理電路的操作。 以下給出的描述基于在拍攝圖5中所示的對象501時所獲得的信號的假 設(shè)，所述對象501具有高色度，且包括由黑色和綠色構(gòu)成的色條圖案，所 述色條圖案包括頻率大于或等于奈奎斯特頻率的高頻分量。所述奈奎斯特 頻率表示在CCD沒有被移位的情況下的奈奎斯特頻率。
如圖9所示，在采樣前的信號G、 B和R中，信號G的采樣點(diǎn)分別 標(biāo)以黑色的三角，信號R和B的采樣點(diǎn)分別標(biāo)以黑色的圓點(diǎn)。在使用空間 像素移位方法的三板型固體成像設(shè)備中，在其相位彼此移位180度之后， 采樣各個信號G、 B和R。所以，采樣后信號G以及信號R和B中的每 一個都包括重疊分量的偽信號，如圖10所示。
將信號G、 B和R提供給用于各個顏色的電平計算器101、 102和103 以及低頻分量分離器200的用于各個顏色的低頻分量分離器201、 202和 203。用于各個顏色的低頻分量分離器201、 202和203從所提供的信號G、 B和R中提取低頻分量LG、 LB和LR，并將所提取的分量提供給高頻分 量加法器300的用于各個顏色的高頻分量加法器301、 302和303。用于各個顏色的電平計算器101、 102和103計算所提供的信號R、 G和B的信 號電平。計算DC值DC—G、 DC—B和DC—R，作為信號電平。換句話說， 計算信號R、 G和B的小區(qū)域中的DC值，作為DC值DC—G、 DC—B和 DC一R，如圖11所示。用于各個顏色的電平計算器101、 102和103將計 算后的DC值DC—G、 DC—B和DC—R提供給調(diào)整值設(shè)置器110。
調(diào)整值設(shè)置器110的組元設(shè)置器115執(zhí)行以下處理。在通過采用了空 間像素移位方法的三板型固體成像設(shè)備獲得視頻信號的情況下，信號G的 相位通常與其他信號(R和B)的相位相差180度。所以，具有此特征的 三板型固體成像設(shè)備中的組元設(shè)置器115首先選擇信號G的DC值，作為 設(shè)置第一和第二調(diào)整值時所使用的主調(diào)整DC值。然后，組元設(shè)置器115 選擇在為其他信號的DC值DC—R和DC—B (其相位相對于信號G的相位 移位180度)設(shè)置調(diào)整值時所使用的副調(diào)整DC值。例如，選擇其中噪聲 較小的DC值作為所述副調(diào)整DC值。此外，組元設(shè)置器115將副調(diào)整DC 值(在這種情況下為DC值DC—R)的電平與主調(diào)整DC值(在這種情況 下為DC值DC—G)的電平作比較，并設(shè)置電平較大的DC值作為大電平 DC值Large,并設(shè)置電平較小的DC值作為小電平DC值Small。
在所述選擇和設(shè)置處理之后，組元設(shè)置器115將大電平DC值Large、 小電平DC值Small和變量Sel提供給公共信號調(diào)整值計算器116，并將大 電平DC值Large和小電平DC值Small提供給每個顏色調(diào)整值計算器117。 此時，組元設(shè)置器115在待輸出的變量Sel中提供表示所選信號(在這種 情況下為R)的標(biāo)記，作為副調(diào)整DC值的來源，以及提供表示大電平DC 值Large的信號(在這種情況下為信號G)。當(dāng)獲得了包括大綠色區(qū)域且具 有高色度的對象501 (見圖5)的圖像時，大電平DC值Large被用作主調(diào) 整DC值(-DC值DC—G)，而小電平DC值Small被用作副調(diào)整DC值bDC 值DC一R)。所以，在變量Sd中提供表示選擇信號R作為副調(diào)整DC值的 來源的標(biāo)記和表示選擇G信號作為大電平DC值Large的來源的標(biāo)記。
公共信號調(diào)整值計算器116計算信號R、 G和B的第一調(diào)整值增益 XI。第一調(diào)整值增益X1是用于信號計算中的信號電平調(diào)整的調(diào)整值，類 似于低色度時公共信號計算器125計算公共信號Y的情況。通過這樣設(shè)置 的第一調(diào)整值增益XI來調(diào)整信號R、 G和B的信號電平，以便接近無彩色(每個信號的平衡狀態(tài))。第一調(diào)整值增益X1是基于采樣前信號R、 G 和B的幅度形狀中的局部相似性來設(shè)置的。更具體地，如下設(shè)置第一調(diào)整 值增益X1。
公共信號調(diào)整值計算器116讀取從組元設(shè)置器115提供的變量Sel中 的標(biāo)記，并由此確認(rèn)作為主調(diào)整DC值、副調(diào)整DC值、大電平DC值Large 和小電平DC值Small的來源的信號。然后，公共信號調(diào)整值計算器116 將作為大電平DC值Large的信號的第一調(diào)整值增益XI設(shè)置為"1"，并 將作為小電平DC值Small的信號的DC值的第一調(diào)整值增益XI設(shè)置為 Large/Sma11。此外，公共信號調(diào)整值計算器116將既不用于大電平DC值 Large又不用于小電平DC值Small的信號的DC值的第一調(diào)整值增益XI 設(shè)置為"0"。當(dāng)獲得了包括大綠色區(qū)域且具有高色度的對象501的圖像時， 表示主調(diào)整DC值的信號G的第一調(diào)整值增益Gl設(shè)置為"1 "，表示副調(diào) 整DC值的信號R的第一調(diào)整值增益Rl設(shè)置為Large/Small,而剩余信號 B的第一調(diào)整值增益Bl設(shè)置為"0"。公共信號調(diào)整值計算器116將計算 后的第一調(diào)整值增益X1提供給公共高頻分量計算器120。
將第一調(diào)整值增益XI和信號G、 B和R提供給公共高頻分量計算器 120的公共信號計算器125。使用所提供的這些值和信號，公共信號計算 器125計算用作各個顏色信號的共有值(參考值)的公共信號Y。當(dāng)獲得 了包括大綠色區(qū)域且具有高色度的對象501 (見圖5)的圖像時，采樣前 信號G (大電平DC值Large的來源)和信號R (小電平DC值Small的來 源)的幅度彼此局部相似，且在小區(qū)域中，信號R的幅度小于信號G的 幅度。
所以，如圖12所示，R信號與第一調(diào)整值增益Rl (= "Large/Small") 相乘，G信號與第一調(diào)整值增益G1 (="1")相乘，而B信號與第一調(diào)整 值增益B1 (="0")相乘，以便產(chǎn)生公共信號Y，所產(chǎn)生的公共信號Y具 有與其中重疊分量被抵消的低色度的情況下相同的狀態(tài)。如前所述，用于 提取信號R、 G和B的高頻分量的空間位置稱作目標(biāo)位置，且包括目標(biāo)位 置及其鄰區(qū)在內(nèi)的空間區(qū)域稱作小區(qū)域。公共信號計算器125將所產(chǎn)生的 公共信號Y提供給公共高頻分量分離器126。公共高頻分量分離器126使 用濾波器等來提取公共信號Y的高頻分量，即公共高頻分量HY。將DC值DC—G、 DC—B和DC—R從用于各個顏色的電平計算器101 、 102和103提供給調(diào)整值設(shè)置器110的每個顏色調(diào)整值計算器117。此外， 將大電平DC值Large和小電平DC值Small從用于各個顏色的電平計算 器101、 102和103經(jīng)由組元設(shè)置器115提供給每個顏色調(diào)整值計算器117。 每個顏色調(diào)整值計算器117根據(jù)所提供的這些值來設(shè)置第二調(diào)整值增益 X2。
第二調(diào)整值增益X2是施加與第一調(diào)整值增益XI相反的作用的調(diào)整 值，并且設(shè)置用于產(chǎn)生調(diào)整后的高頻分量HG、 HB和HR。更具體地，第 二調(diào)整值增益X2將其電平已經(jīng)基于第一調(diào)整值增益XI增大后的信號的 高頻分量的比率再次返回到與相關(guān)顏色的原始顏色平衡(各個顏色分量的 平衡)相對應(yīng)的比率。
更具體地，當(dāng)獲得了包括大綠色區(qū)域且具有高色度的對象501的圖像 時，每個顏色調(diào)整值計算器117基于以下計算公式來計算第二調(diào)整值增益 X2。
土曾益G2 = (DC—G/Large) = 1
增益B2 = (DC—B/Large)
增益R2 = (DC_R/Large) = (Small/Large)
當(dāng)產(chǎn)生公共高頻分量HY時，公共高頻分量計算器120使用信號R代 替信號B (第一調(diào)整值增益B1: "0")。然而，在第二調(diào)整值增益X2的 計算中，假設(shè)在信號B中相似地產(chǎn)生公共高頻分量(其中增大第一調(diào)整值 增益B1的信號電平以便抵消重疊分量)，每個顏色調(diào)整值計算器117以與 計算第二調(diào)整值增益R2相似的方式計算第二調(diào)整值增益B2。
公共高頻分量計算器120的公共高頻分量分離器126將所提取的公共 高頻分量HY提供給用于各個顏色的高頻分量調(diào)整器131、 132和133。調(diào) 整值設(shè)置器110的每個顏色調(diào)整值計算器117將所設(shè)置的第二調(diào)整值增益 X2提供給用于各個顏色的高頻分量調(diào)整器131、 132和133。
用于各個顏色的高頻分量調(diào)整器131、 132和133將所提供的公共高 頻分量HY與第二調(diào)整值增益X2相乘，從而計算調(diào)整后的高頻分量HG、 HB和HR。即使在獲得了包括大綠色區(qū)域且具有高色度的對象501的圖像 時，也將公共高頻分量HY乘以每個顏色的第二調(diào)整值增益X2;由此，可以獲得各個顏色的調(diào)整后高頻分量HG、 HB和HR (其中保持了原始顏 色平衡)。用于各個顏色的高頻分量調(diào)整器131、 132和133將計算出的調(diào) 整后高頻分量HG、 HB和HR提供給高頻分量加法器300的、與相關(guān)顏色 相對應(yīng)的、用于各個顏色的高頻分量加法器301、 302、 303。用于各個顏 色的高頻分量加法器301、 302和303將所提供的調(diào)整后高頻分量HG、 HB和HR與低頻分量LG、 LB和LR相加，從而產(chǎn)生輸出信號outG、 outB 和outR，將其輸出到信號處理電路外部。
如前所述，在根據(jù)本優(yōu)選實(shí)施例的信號處理電路中，執(zhí)行以下處理
利用基于第一調(diào)整值增益X1進(jìn)行了調(diào)整的各個顏色信號，產(chǎn)生 其中重疊分量被抵消的公共信號Y;
基于第二調(diào)整值增益X2來調(diào)整所產(chǎn)生的公共信號Y的公共高頻 分量HY，以具有原始顏色平衡；以及
將由前述調(diào)整而獲得的高頻分量HG、 HB和HR與各個信號G、 B和R的低頻分量LG、 LB和LR相加。
因而，即使當(dāng)獲得了包括大綠色區(qū)域且具有高色度的對象501的圖像 時，根據(jù)本優(yōu)選實(shí)施例的信號處理電路也可以獲得可控制其中重疊分量的 信號，且高頻分量在保持高分辨率的同時也不會轉(zhuǎn)變?yōu)闊o彩色，如圖13 所示。
此外，根據(jù)本優(yōu)選實(shí)施例的信號處理電路可以沒有任何問題地處理在 拍攝圖4中所示的對象401時所獲得的信號，所述對象401包括由黑色和 白色構(gòu)成的色條圖案，且具有低色度，所述色條圖案包括頻率大于或等于 奈奎斯特頻率的高頻分量。如前所述，所述奈奎斯特頻率表示在CCD沒 有被移位的情況下的奈奎斯特頻率。
在對圖4中所示的對象401成像時獲得的信號還以與前述信號相似的 方式進(jìn)行表示，如圖6所示。由此獲得的采樣后信號G、 R和B的每一個 都包括重疊分量的偽信號，如圖7所示。然而，在本優(yōu)選實(shí)施例的操作中， 以與前述方式相同的方式移除偽信號。以下，給出詳細(xì)描述。
省略了對與前述操作相似的操作的描述，但引述由該操作獲得的各個 值。小區(qū)域中的DC值DC—G、 DC一B和DC一R基本相同。所以，假定Large =DC—G且Small = DC—R，用于產(chǎn)生公共信號Y的第一調(diào)整值增益XI如下
增益B1 =0;
增益Rl = (Large/Small) = 1 。
由此獲得的公共信號Y與根據(jù)傳統(tǒng)方法獲得的公共信號Y基本相等。 此外，用于調(diào)整從各個顏色的公共信號Y中獲得的公共高頻分量HY 的第二調(diào)整值增益X2如下
增益G2 = (DC—G/Large) = 1; 增益B2 = (DC—B/Large) = 1; 增益R2 = (DC—R/Large) = 1 。
由此獲得的高頻分量與根據(jù)傳統(tǒng)方法獲得的高頻分量基本相等。 所以，如圖8所示，當(dāng)對具有低色度的對象401成像時，由傳統(tǒng)顏色 信號產(chǎn)生其中重疊分量被抵消的公共信號Y，且根據(jù)傳統(tǒng)方法將公共信號 Y的調(diào)整后高頻分量HG、 HB和HR相加。因此，可以獲得可控制其中重 疊分量的高分辨率信號。更具體地，可以提供高分辨率信號，同時沒有任 何問題地保持高頻分量替換處理(其中使用傳統(tǒng)的空間像素移位方法)的 效果。
在本優(yōu)選實(shí)施例的描述中，固體成像元件的示例是CCD。然而，也 可以使用除CCD以外的成像元件，例如CMOS。此外，在此描述中，由 固體成像元件獲得的信號是R、 G和B;然而，也可以是例如C (青色)、 M (品紅色)和Y (黃色)之類的補(bǔ)色信號。此描述中的固體成像元件的 示例是三板型固體成像元件；然而，只要可以獲得相似的效果，固體成像 元件也可以具有包括單板、雙板、四板或更多板在內(nèi)的拜耳陣列(Bayer array)。在此描述中，固體成像元件的移位方向是水平方向；然而，移位 方向也可以為垂直方向，或者既包括水平方向也包括垂直方向。在此描述 中，固體成像元件移位半個像素。然而，可以重新排列拜耳陣列中的顏色 順序，或者可以使用至少雙板，然后固體成像元件以1/n (n是整數(shù))像素 移位，以便抵消重疊分量，其中仍可以獲得相似的效果。
在圖3所示的組元設(shè)置器115中，信號R被用作其相位相對于信號G 的相位移位180度的信號的示例。然而，也可以使用例如信號B或信號R與B進(jìn)行組合的混合信號。此外，可以按照根據(jù)需要進(jìn)行切換的方式來使 用這些信號。
在圖3所示的公共信號調(diào)整值計算器116中，參考在拍攝具有高色度 的對象501的情況下的第一調(diào)整值增益X1，顯示出較大值的信號電平被
用作參考值(共有值)，如下 增益G1 = 1; 增益B1 =0;
增益Rl = (Large/Small) = 1 。
然后，使顯示出較小值的信號與大值信號(參考值)相一致。
然而，也可以在將小值信號的信號電平設(shè)置為參考值之后，使大值信 號的信號電平與小值信號的信號電平(參考值)相一致。此外，可以基于 大值信號和小值信號來計算作為參考值的信號電平，以使兩信號的信號電 平都與計算出的參考值相一致。作為計算參考值的方法，可以計算兩信號 的中間電平或平均值，作為參考值。在將平均值計算作為參考值的情況下， 可以對各個信號進(jìn)行加權(quán)。
在圖11所示的示例中，小區(qū)域被設(shè)置為覆蓋五到六個采樣位置的區(qū) 域；然而，也可以具有更多或更少采樣位置。此外，不必僅由水平區(qū)域組 成小區(qū)域，也可由垂直區(qū)域或水平和垂直兩種方向的區(qū)域組成小區(qū)域。小 區(qū)域的形狀不受限制。
在由于噪聲等使得所使用的信號可能不可靠的情況下，可以在用于各 個顏色的電平計算器101、 102和103中作出將不可靠信號的電平設(shè)置為 相對低這種調(diào)整。
在由于噪聲等使得所使用的信號可能不可靠的情況下，可以在調(diào)整值 設(shè)置器110中調(diào)整各個調(diào)整值。例如，可以調(diào)整第一調(diào)整值增益X1和第 二調(diào)整值增益X2，以便減小第一調(diào)整值增益XI和第二調(diào)整值增益X2對 產(chǎn)生公共信號Y的影響，并減小調(diào)整后高頻分量HG、 HB和HR。
在對所使用的信號進(jìn)行預(yù)處理(諸如使用低通濾波器、帶通濾波器等 的濾波處理)的情況下，可以將濾波后的信號用于各個顏色的電平計算器 101、 102和103的輸入，以便有效地利用所述信號。在對所使用的信號進(jìn) 行后處理(諸如使用低通濾波器、帶通濾波器等的濾波處理)的情況下，可以將濾波后的信號用于各個顏色的電平計算器101、 102和103的輸入， 以便有效地利用所述信號，或者將濾波后的信號用作其輸出。
用于各個顏色的低頻分量分離器201、 202和203分別用于不同的顏 色；然而，可以使用公用操作設(shè)備，所述公用操作設(shè)備也可以應(yīng)用于電平 計算器101、 102和103、高頻分量調(diào)整器131、 132和133以及高頻分量 加法器301、 302和303。
信號處理電路示出了諸如攝像機(jī)之類的成像設(shè)備的電路的一部分。因 此，并未描述攝像機(jī)等中通常執(zhí)行的各種處理。待輸入的信號G、 B和R 可以是預(yù)處理信號G、 B和R。作為預(yù)處理的示例，在先信號的數(shù)據(jù)可以 按照預(yù)保持(pre-hold)的方式用作未進(jìn)行采樣處理的、與空間位置相對 應(yīng)的數(shù)據(jù)，或者可以使用諸如濾波處理之類的另一種插值處理。所述處理 可以是數(shù)字處理或模擬處理。
示意性地示出了圖1 3所示的操作設(shè)備，以便所述操作設(shè)備的操作 易于理解。只要可以找到適用于本發(fā)明的操作和信號，所找到的操作和信 號就可應(yīng)用于本發(fā)明。
在上述優(yōu)選實(shí)施例中，在用于處理視頻信號的信號處理電路中實(shí)施本 發(fā)明；然而，也可以類似地在用于處理音頻信號的信號處理電路中實(shí)施本 發(fā)明。所以，本發(fā)明適用于通過攝像機(jī)、音頻解碼器等的音頻采集。
當(dāng)對包括右耳音頻信號和左耳音頻信號在內(nèi)的立體聲音頻信號執(zhí)行 下述處理對采樣和稀疏相位進(jìn)行移位，并對相移后的音頻信號進(jìn)行合成 (等價于空間像素移位方法)時，可以使表觀采樣間隔和稀疏間隔變窄。 在這種情況下，當(dāng)以各個信號所共有的公共高頻分量(其中減小了重疊分 量)替代包括這兩種音頻信號的重疊分量在內(nèi)的高頻分量時，可以控制重 疊分量。然而，在音頻信號之一的信號電平顯著小于另一音頻信號的信號 電平的情況下，使用信號電平較小的音頻信號不能抵消信號電平較大的音 頻信號中的高頻分量的重疊分量，結(jié)果，公共高頻分量仍然包括重疊分量。 因此，在合成后的音頻信號中將產(chǎn)生由重疊分量所導(dǎo)致的吱嘎聲等。在將 專利文件1所公開的信號處理電路應(yīng)用于音頻信號的情況下，可以或多或 少地控制這種吱嘎聲；然而，信號電平更不平衡的音頻信號將導(dǎo)致包括更 少高頻分量在內(nèi)的音頻信號。當(dāng)信號電平更加失衡時，高頻分量中的分辨率也將犧牲得更多，這將導(dǎo)致音頻局部準(zhǔn)確性的惡化。在針對不可避免地 發(fā)生上述不便的這種音頻信號，實(shí)施本發(fā)明時，可以在不犧牲高頻分量的 分辨率的情況下，控制吱嘎聲。在針對2聲道音頻信號，實(shí)施本發(fā)明的情
況下，優(yōu)選地，成對配置低頻分量分離器200、電平檢測器102 103、高 頻分量調(diào)整器131 133和高頻分量加法器300，以用于右耳和左耳音頻信 號。除2聲道音頻信號以外，本發(fā)明也可以類似地應(yīng)用于5. l聲道音頻信 號之類的多聲道音頻信號。
工業(yè)實(shí)用性
在根據(jù)本法明的、用于執(zhí)行高頻分量替換處理(其中采用空間像素移 位方法)的信號處理方法中，可以提供具有高分辨率的信號，在所述信號 中，即使在對象具有高色度的情況下，也可以控制莫爾效應(yīng)，并控制高頻 分量向無彩色轉(zhuǎn)變。此外，在具有低色度的對象中，也可以沒有任何問題 地提供具有高分辨率的信號，因?yàn)樵谶@種情況下，保持了高頻分量替換處 理(其中使用傳統(tǒng)的空間像素移位方法)的效果。此外，本發(fā)明涉及一種 簡單的信號處理方法，不必根據(jù)圖像特征等以復(fù)雜的方式選擇恰當(dāng)?shù)奶?理。因此，根據(jù)本發(fā)明，可以提供構(gòu)造簡單但具有滿意效果的信號處理電 路。有利地，此信號處理方法可用于照相機(jī)、攝像機(jī)等。
在對像素進(jìn)行稀疏處理的圖像壓縮編碼處理中，當(dāng)對信號(其中，對 稀疏像素的相位進(jìn)行移位)進(jìn)行壓縮、編碼和解碼時，根據(jù)本發(fā)明的信號 處理方法同樣是適用的。因此，有利地，本發(fā)明可用于視頻解碼器等。
此外，可以將本發(fā)明應(yīng)用于音頻信號，并且有效地應(yīng)用于通過攝像機(jī)、 音頻解碼器等的音頻采集。
權(quán)利要求
1.一種信號處理方法，用于處理通過空間像素移位方法獲得的、具有彼此不同的相位的至少兩個信號，所述信號處理方法包括低頻分量分離步驟，用于分離各個信號的低頻分量；公共高頻分量計算步驟，用于將信號的信號電平調(diào)整到各個信號中的均衡狀態(tài)，然后，從調(diào)整后的信號中分離出公共高頻分量；高頻分量調(diào)整步驟，用于通過將公共高頻分量的信號電平調(diào)整到各個信號的原始信號電平，產(chǎn)生針對每一信號的調(diào)整后的高頻分量；以及高頻分量疊加步驟，用于將在高頻分量調(diào)整步驟中進(jìn)行了調(diào)整的調(diào)整后的高頻分量與在低頻分量分離步驟中分離出的低頻分量相加。
2. 根據(jù)權(quán)利要求1所述的信號處理方法，進(jìn)一步包括 第一調(diào)整值設(shè)置步驟，用于針對每一信號設(shè)置第一調(diào)整值，所述第一調(diào)整值用于將各個信號的信號電平調(diào)整到各個信號中的均衡狀態(tài)；以及 第二調(diào)整值設(shè)置步驟，用于針對每一信號設(shè)置第二調(diào)整值，所述第二調(diào)整值用于將已由第一調(diào)整值調(diào)整到均衡狀態(tài)的各個信號的信號電平調(diào)整到原始信號電平，其中在公共高頻分量計算步驟中，基于第一調(diào)整值將各個信號的信號電平調(diào)整到各個信號中的均衡狀態(tài)，以及在高頻分量調(diào)整步驟中，基于第二調(diào)整值將公共高頻分量的信號電平調(diào)整到各個信號的原始信號電平。
3. 根據(jù)權(quán)利要求2所述的方法，其中 高頻分量計算步驟包括公共信號計算步驟，用于計算具有己由第一調(diào)整值調(diào)整到各個信號中 的均衡狀態(tài)的各個信號的共有值的公共信號；以及公共高頻分量分離步驟，用于從公共信號中分離公共高頻分量。
4. 根據(jù)權(quán)利要求2所述的信號處理方法，進(jìn)一步包括組元設(shè)置步驟， 用于設(shè)置作為信號之一的第一信號的信號電平、以及作為信號中的另一個 的第二信號的信號電平，其中在第一調(diào)整值設(shè)置步驟中，基于第一和第二信號的信號電平來設(shè)置第 一調(diào)整值，以及在第二調(diào)整值設(shè)置步驟中，基于第一和第二信號的信號電平來設(shè)置第 二調(diào)整值。
5. 根據(jù)權(quán)利要求4所述的信號處理方法，其中 信號電平是第一和第二信號的DC電平。
6. 根據(jù)權(quán)利要求4所述的信號處理方法，其中 在組元設(shè)置步驟中，將包括用于提取第一和第二信號的空間位置及其鄰區(qū)在內(nèi)的空間區(qū)域中的信號電平設(shè)置為第一和第二信號的信號電平。
7. 根據(jù)權(quán)利要求6所述的信號處理方法，其中 在組元設(shè)置步驟中，將空間區(qū)域中的信號電平的平均值設(shè)置為第一和第二信號的信號電平。
8. 根據(jù)權(quán)利要求6所述的信號處理方法，其中 在組元設(shè)置步驟中，將空間區(qū)域中的信號電平的加權(quán)平均值設(shè)置為第一和第二信號的信號電平。
9. 根據(jù)權(quán)利要求2所述的信號處理方法，其中 在第一調(diào)整值設(shè)置步驟中，基于第一和第二信號的信號電平，設(shè)置第一和第二信號的信號電平的參考值，且將使得第一和第二信號的信號電平 與參考值一致的調(diào)整值設(shè)置為第一調(diào)整值。
10. 根據(jù)權(quán)利要求9所述的信號處理方法，其中 在第一調(diào)整值設(shè)置步驟中，將第一和第二信號的信號電平中較高的一個設(shè)置為參考值。
11. 根據(jù)權(quán)利要求9所述的信號處理方法，其中 在第一調(diào)整值設(shè)置步驟中，將第一和第二信號的信號電平中較低的一個設(shè)置為參考值。
12. 根據(jù)權(quán)利要求9所述的信號處理方法，其中 在第一調(diào)整值設(shè)置步驟中，將第一和第二信號的信號電平的中間值設(shè)置為參考值。
13. 根據(jù)權(quán)利要求4所述的信號處理方法，其中 在組元設(shè)置步驟中，基于第一和第二信號的低頻分量，設(shè)置第一和第二信號的信號電平。
14. 根據(jù)權(quán)利要求4所述的信號處理方法，其中在組元設(shè)置步驟中，基于第一和第二信號的任意頻帶分量，設(shè)置第一 和第二信號的信號電平。
15. 根據(jù)權(quán)利要求4所述的信號處理方法，其中 在組元設(shè)置步驟中，從第一和第二信號中移除噪聲，且基于從其中移除了噪聲的第一和第二信號，設(shè)置第一和第二信號的信號電平。
16. 根據(jù)權(quán)利要求4所述的信號處理方法，其中 在組元設(shè)置步驟中，由于基于信號中包括的噪聲，信號可靠性較低，所以調(diào)整第一和第二信號的信號電平，以降低包括噪聲的信號對第一和第 二調(diào)整值的影響。
17. 根據(jù)權(quán)利要求9所述的信號處理方法，其中 在第一調(diào)整值設(shè)置步驟中，基于以下計算公式設(shè)置第一調(diào)整值 第一調(diào)整值=(參考值/每個信號的信號電平)。
18. 根據(jù)權(quán)利要求17所述的信號處理方法，其中在第二調(diào)整值設(shè)置步驟中，基于以下計算公式設(shè)置第二調(diào)整值第二調(diào)整值=(每個信號的信號電平/參考值)。
19. 根據(jù)權(quán)利要求2所述的信號處理方法，其中 在第一和第二調(diào)整值設(shè)置步驟中，由于基于信號中包括的噪聲，信號可靠性較低，所以調(diào)整第一和第二調(diào)整值，以降低包括噪聲的信號對第一 和第二調(diào)整值的影響。
20. 根據(jù)權(quán)利要求4所述的信號處理方法，其中 第一和第二信號的相位彼此相差180度。
21. 根據(jù)權(quán)利要求4所述的信號處理方法，其中 第一信號是包括具有彼此相等相位的一個或更多個信號在內(nèi)的第一組信號，以及第二信號是包括具有彼此相等相位的一個或更多個信號在內(nèi)的第二 組信號。
22. 根據(jù)權(quán)利要求21所述的信號處理方法，其中 在第一調(diào)整值設(shè)置步驟中，根據(jù)組成第一組信號的每一個信號來設(shè)置第一調(diào)整值，以及在第二調(diào)整值設(shè)置步驟中，根據(jù)組成第二組信號的每一個信號來設(shè)置 第二調(diào)整值。
23. 根據(jù)權(quán)利要求21所述的信號處理方法，其中 第一和第二信號是圖像信號，以及第一組信號是綠色信號，且第二組信號是紅色和藍(lán)色信號。
24. —種信號處理設(shè)備，用于處理通過空間像素移位方法獲得的、具 有彼此不同的相位的至少兩個信號，所述信號處理設(shè)備包括低頻分量分離裝置，用于分離各個信號的低頻分量；公共高頻分量計算裝置，用于將信號的信號電平調(diào)整到各個信號中的 均衡狀態(tài)，然后，從調(diào)整后的信號中分離出公共高頻分量；高頻分量調(diào)整裝置，用于通過將公共高頻分量的信號電平調(diào)整到各個 信號的原始信號電平，產(chǎn)生針對每一信號的調(diào)整后的高頻分量；以及高頻分量疊加裝置，用于將在高頻分量調(diào)整裝置中進(jìn)行了調(diào)整的調(diào)整 后的高頻分量與在低頻分量分離裝置中分離出的低頻分量相加。
25. 根據(jù)權(quán)利要求24所述的信號處理設(shè)備，進(jìn)一步包括 第一調(diào)整值設(shè)置裝置，用于針對每一信號設(shè)置第一調(diào)整值，所述第一調(diào)整值用于將各個信號的信號電平調(diào)整到各個信號中的均衡狀態(tài)；以及 第二調(diào)整值設(shè)置裝置，用于針對每一信號設(shè)置第二調(diào)整值，所述第二調(diào)整值用于將已由第一調(diào)整值調(diào)整到均衡狀態(tài)的各個信號的信號電平調(diào)整到原始信號電平，其中公共高頻分量計算裝置基于第一調(diào)整值將各個信號的信號電平調(diào)整到各個信號中的均衡狀態(tài)，以及高頻分量調(diào)整裝置基于第二調(diào)整值將公共高頻分量的信號電平調(diào)整到各個信號的原始信號電平。
26. 根據(jù)權(quán)利要求25所述的信號處理設(shè)備，其中 高頻分量計算裝置包括公共信號計算裝置，用于計算具有已由第一調(diào)整值調(diào)整到各個信號中 的均衡狀態(tài)的各個信號的共有值的公共信號；以及公共高頻分量分離裝置，用于從公共信號中分離公共高頻分量。
27. 根據(jù)權(quán)利要求25所述的信號處理設(shè)備，進(jìn)一步包括組元設(shè)置裝 置，用于設(shè)置作為信號之一的第一信號的信號電平、以及作為信號中的另 一個的第二信號的信號電平，其中第一調(diào)整值設(shè)置裝置基于第一和第二信號的信號電平來設(shè)置第一調(diào) 整值，以及第二調(diào)整值設(shè)置裝置基于第一和第二信號的信號電平來設(shè)置第二調(diào) 整值。
28. 根據(jù)權(quán)利要求27所述的信號處理設(shè)備，其中 信號電平是第一和第二信號的DC電平。
29. 根據(jù)權(quán)利要求27所述的信號處理設(shè)備，其中 組元設(shè)置裝置將包括用于提取第一和第二信號的空間位置及其鄰區(qū)在內(nèi)的空間區(qū)域中的信號電平設(shè)置為第一和第二信號的信號電平。
30. 根據(jù)權(quán)利要求29所述的信號處理設(shè)備，其中 組元設(shè)置裝置將空間區(qū)域中的信號電平的平均值設(shè)置為第一和第二信號的信號電平。
31. 根據(jù)權(quán)利要求29所述的信號處理設(shè)備，其中 組元設(shè)置裝置將空間區(qū)域中的信號電平的加權(quán)平均值設(shè)置為第一和第二信號的信號電平。
32. 根據(jù)權(quán)利要求25所述的信號處理設(shè)備，其中 第一調(diào)整值設(shè)置裝置基于第一和第二信號的信號電平，設(shè)置第一和第二信號的信號電平的參考值，然后，將使得第一和第二信號的信號電平與 參考值一致的調(diào)整值設(shè)置為第一調(diào)整值。
33. 根據(jù)權(quán)利要求32所述的信號處理設(shè)備，其中 第一調(diào)整值設(shè)置裝置將第一和第二信號的信號電平中較高的一個設(shè)置為參考值。
34. 根據(jù)權(quán)利要求32所述的信號處理設(shè)備，其中 第一調(diào)整值設(shè)置裝置將第一和第二信號的信號電平中較低的一個設(shè)置為參考值。
35. 根據(jù)權(quán)利要求32所述的信號處理設(shè)備，其中 第一調(diào)整值設(shè)置裝置將第一和第二信號的信號電平的中間值設(shè)置為參考值。
36. 根據(jù)權(quán)利要求27所述的信號處理設(shè)備，其中 組元設(shè)置裝置基于第一和第二信號的低頻分量，設(shè)置第一和第二信號的信號電平。
37. 根據(jù)權(quán)利要求27所述的信號處理設(shè)備，其中 組元設(shè)置裝置基于第一和第二信號的任意頻帶分量，設(shè)置第一和第二信號的信號電平。
38. 根據(jù)權(quán)利要求27所述的信號處理設(shè)備，其中 組元設(shè)置裝置從第一和第二信號中移除噪聲，并基于從其中移除了噪聲的第一和第二信號，設(shè)置第一和第二信號的信號電平。
39. 根據(jù)權(quán)利要求27所述的信號處理設(shè)備，其中 由于基于信號中包括的噪聲，信號可靠性較低，所以組元設(shè)置裝置調(diào)整第一和第二信號的信號電平，以降低包括噪聲的信號對第一和第二調(diào)整 值的影響。
40. 根據(jù)權(quán)利要求32所述的信號處理設(shè)備，其中 第一調(diào)整值設(shè)置裝置基于以下計算公式設(shè)置第一調(diào)整值 第一調(diào)整值=(參考值/每個信號的信號電平)。
41. 根據(jù)權(quán)利要求40所述的信號處理設(shè)備，其中 第二調(diào)整值設(shè)置裝置基于以下計算公式設(shè)置第二調(diào)整值 第二調(diào)整值=(每個信號的信號電平/參考值)。
42. 根據(jù)權(quán)利要求25所述的信號處理設(shè)備，其中 由于基于信號中包括的噪聲，信號可靠性較低，所以第一和第二調(diào)整值設(shè)置裝置調(diào)整第一和第二調(diào)整值，以降低包括噪聲的信號對第一和第二 調(diào)整值的影響。
43. 根據(jù)權(quán)利要求27所述的信號處理設(shè)備，其中 第一和第二信號的相位彼此相差180度。
44. 根據(jù)權(quán)利要求27所述的信號處理設(shè)備，其中 第一信號是包括具有彼此相等相位的一個或更多個信號在內(nèi)的第一組信號，以及第二信號是包括具有彼此相等相位的一個或更多個信號在內(nèi)的第二組信號。
45. 根據(jù)權(quán)利要求44所述的信號處理設(shè)備，其中第一調(diào)整值設(shè)置裝置根據(jù)組成第一組信號的每一個信號來設(shè)置第一 調(diào)整值，以及第二調(diào)整值設(shè)置裝置根據(jù)組成第二組信號的每一個信號來設(shè)置第二 調(diào)整值。
46. 根據(jù)權(quán)利要求44所述的信號處理設(shè)備，其中 第一和第二信號是圖像信號，以及第一組信號是綠色信號，且第二組信號是紅色和藍(lán)色信號。
全文摘要
本發(fā)明提出了一種信號處理方法和信號處理電路，產(chǎn)生調(diào)整后的信號所共有的公共高頻分量，并將所產(chǎn)生的公共高頻分量調(diào)整為與原始信號的平衡相對應(yīng)的比率，其中基于采樣前的信號幅度的局部相似性進(jìn)行調(diào)整從而抵消其中的重疊分量，來產(chǎn)生所述調(diào)整后的信號分量。將調(diào)整后的高頻分量與每個信號的低頻分量相加。
文檔編號H04N9/09GK101411206SQ200780010550
公開日2009年4月15日 申請日期2007年3月23日 優(yōu)先權(quán)日2006年3月24日
發(fā)明者千秋久子 申請人:松下電器產(chǎn)業(yè)株式會社