專利名稱：Method for performing digital processing on an image signal output from CCD ...的制作方法
技術領域：
本發(fā)明涉及用于對CXD圖像傳感器輸出的圖像信號執(zhí)行數字處理的方法。
背景技術：
通常，數碼相機或者便攜式攝像機使用CXD (電荷耦合裝置)圖像傳感器或者CMOS 成像裝置來代替膠卷。CCD圖像傳感器包括光敏元件和設置在光敏元件上的濾色片陣列。 光敏元件僅檢測捕捉圖像的亮度。因此，不得不將濾色片陣列設置在光敏元件上以獲得亮 度和色彩值來表征捕捉圖像。主要存在兩種濾色片。一種為包括RGB濾色片的原色濾色片，另一種為包括CMYG 濾色片的補色濾色片。CMYG濾色片陣列比RGB濾色片陣列更準確地檢測捕捉圖像的色彩。因此，CMYG濾 色片陣列廣泛用于便攜式攝像機。用于CCTV(閉路電視)的圖像處理設備的DSP (數字信號處理器)板對通過C⑶相 機所捕捉的圖像執(zhí)行數字圖像處理，包括顏色插值、Y校正、自動曝光和自動白平衡。在 進行圖像處理以后，在屏幕上再現捕捉的圖像。圖像處理設備中的CXD相機包括CXD圖像傳感器，其具有可用于NTSC/PAL(全國 電視系統(tǒng)委員會制式/逐行倒相制式)系統(tǒng)的CMYG色彩陣列(CMYG color array)。通過 A/D轉換器將從CCD圖像傳感器輸出的模擬圖像信號轉換為數字圖像信號。如圖2所示，將從CMYG濾色片陣列所獲得的Cy、Ye、Mg、以及G值存儲在捕捉圖像 的像素中。以傳輸捕捉圖像中的奇數行像素、隨后是捕捉圖像中的偶數行像素的隔行掃描 方法來輸出值Cy、Ye、Mg、以及G作為信號。圖3中示出了 DSP板的模塊，其對捕捉圖像執(zhí)行數字圖像處理。A/D轉換器將從具有CMYG濾色片陣列的CCD圖像傳感器所輸出的模擬圖像信號轉 換為10比特的信號(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)。如圖3所示，將10比特的信 號(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)輸入缺陷信號校正單元1。缺陷信號校正單元1 校正有缺陷的信號(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)。此后，亮度處理單元2和色彩 處理單元3分別從信號(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)中提取亮度Y信號及Cb和 Cr信號。此后，Y校正單元4和γ校正單元5對從亮度處理單元2和色彩處理單元3輸 出的亮度Y信號及Cb和Cr信號執(zhí)行γ校正處理。此后，編碼單元6以NTSC/PAL格式對 亮度Y信號及Cb和Cr信號進行編碼。最后，DAC將經編碼的信號轉換為模擬信號。定時信號生成單元8根據亮度Y信號的幅值來生成調節(jié)電動快門的定時的驅動信 號。將該驅動信號發(fā)送至CCD圖像傳感器。接口單元9具有用于外部連接的內部集成電路。
AE/AWB調節(jié)單元7使用Cb和Cr信號來調節(jié)針對亮度的自動曝光(AE)和針對色 彩的自動白平衡(AWB)。 通過改變Cb和Cr值來調節(jié)自動白平衡。在傳統(tǒng)方法中，當Cb和Cr信號中的每 個均為8比特時，不得不將Cb和Cr值設置為128。S卩，自動白平衡是通過當Cb和Cr值小
3于128時增大其值、而當Cb和Cr值大于128時減小其值來適當調節(jié)的。通過改變亮度Y值來調節(jié)自動曝光。S卩，通過使亮度Y值更接近目標值來調節(jié)自 動曝光。

發(fā)明內容
在傳統(tǒng)方法中，使用Cb和Cr值來調節(jié)自動曝光和自動白平衡。因此，當亮度Y值 太高或者太低時，或者當R、G、以及B值之間的差值太大時，不能適當調節(jié)自動曝光和自動 白平衡。這導致彩色圖像噪聲和低分辨率。因此，本發(fā)明的一個目的是對從YCbCr信號轉換的RGB信號執(zhí)行數字圖像處理。本發(fā)明的另一目的是使用RGB信號和YCbCr信號這兩者來調節(jié)自動曝光和自動白平衡。本發(fā)明的另一目的是為了通用而將RGB信號轉換回ITU-601格式的YCbCr信號。根據本發(fā)明的一個方面，提供了用于對從具有CMYG濾色片陣列的CCD圖像傳感 器輸出的圖像信號執(zhí)行數字處理的方法，該方法包括通過使用顏色插值將10比特的數字 CMYG信號轉換為10比特的第一 YCbCr信號；通過使用插值將10比特的第一 YCbCr信號轉 換為8比特的RGB信號；對8比特的RGB信號執(zhí)行色彩校正并且將8比特經色彩校正的RGB 信號按照遵從格式ITU-601的格式轉換為8比特的第二 YCbCr信號；對8比特的第二 YCbCr 信號進行編碼并且將8比特經編碼的第二 YCbCr信號轉換為模擬視頻信號；并且使用8比 特的RGB信號和8比特的第二 YCbCr信號調節(jié)自動曝光和自動白平衡。自動白平衡的調節(jié)可以包括接收8比特的RGB信號和8比特的第二 YCbCr信號； 當Y值處于目標范圍時選擇相應的RGB信號；當Cb和Cr值之間的差值處于目標范圍內時 選擇相應的RGB信號；以及使R、G、以及B值分別收斂于通過對所選擇的RGB信號的R、G、 以及B值求平均所計算出來的平均R、G、以及B值。調節(jié)自動白平衡可以通過當R、G、以及B值小于所選擇的RGB信號的平均R、G、以 及B值時，可以分別增大R、G、以及B值；當R、G、以及B值大于所選擇的RGB信號的平均R、 G、以及B值時，通過分別減小R、G、以及B值。自動曝光的調節(jié)可以包括接收8比特的RGB信號和8比特的第二 YCbCr信號；當 RGB值處于目標范圍內時選擇相應的Y信號并且將所選擇的Y信號的Y值調節(jié)至目標值。調節(jié)自動曝光可以通過當Y值小于目標值時增大Y值；當Y值大于目標值時減小 Y值。根據本發(fā)明，使用插值對從10比特的第一 YCbCr信號轉換的8比特的RGB信號執(zhí) 行數字圖像處理。這使得在彩色圖像質量上得到改善。此外，使用8比特的RGB信號以及從8比特的RGB信號所轉換的YCbCr信號這兩 者可以改善數字圖像處理的效率并且能夠容易地調節(jié)自動曝光和自動白平衡。為了通用的目的，可以將RGB信號轉換回ITU-601格式的YCbCr信號。


圖1為傳統(tǒng)的圖像處理設備的框圖；圖2為輔助說明使用顏色插值對從具有CMYG色彩陣列的CCD圖像傳感器所輸出的圖像信號執(zhí)行數字處理的傳統(tǒng)方法的色彩編碼示圖；圖3為根據傳統(tǒng)方法執(zhí)行數字處理的DSP板的模塊的框圖；圖4為根據本發(fā)明執(zhí)行數字處理的DSP板的模塊的框圖；圖5為示出將RGB信號轉換為ITU-601格式的YCbCr信號的示圖；圖6為示出調節(jié)自動白平衡的步驟的流程圖；以及圖7為示出調節(jié)自動曝光的步驟的流程圖。
具體實施例方式現在，將給出本發(fā)明的優(yōu)選實施例的詳細描述，在附圖中示出了實例。在用于CCTV(閉路電視)的圖像處理設備中的DSP(數字信號處理器)板對通過 C⑶相機所捕捉的圖像執(zhí)行數學圖像處理，包括顏色插值、Y校正、自動曝光和自動白平 衡。在進行圖像處理以后，在屏幕上再現所捕捉的圖像。圖像處理設備中的CXD相機包括(XD圖像傳感器，具有可用于NTSC/PAL (全國電 視系統(tǒng)委員會制式/逐行倒相制式)系統(tǒng)的CMYG色彩陣列。通過A/D轉換器將從CCD圖 像傳感器所輸出的模擬圖像信號轉換為數字圖像信號。將從CMYG濾色片陣列所獲得的Cy、 Ye、Mg、以及G值存儲在捕捉圖像的像素中。按照傳輸捕捉圖像中的奇數行像素、隨后是捕 捉圖像中的偶數行像素的隔行掃描方式來輸出Cy、Ye、Mg、以及G值作為信號。圖4為根據本發(fā)明執(zhí)行數字處理的DSP板的模塊的框圖。參照圖4，DSP板對10比特的CMYG信號(由A/D轉換器將從CXD圖像傳感器輸出 的模擬圖像信號轉換而來)執(zhí)行包括、校正、自動曝光、以及自動白平衡的操作。定時信 號生成單元18生成525HL/625HL的垂直同步信號、驅動CXD圖像傳感器的信號、用于A/D 轉換器的輸入信號、以及用于DSP的垂直信號和水平信號。A/D轉換器將從用于CCTV的CCD圖像傳感器中按照隔行掃描方式輸出的模擬圖像 信號轉換為(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)信號。將(Mg+Cy)、(Ye+G)、(Mg+Cy)、 以及(Ye+G)信號輸入自動校正單元11。自動校正單元11對于捕捉圖像中的缺陷像素來校 正有缺陷的(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)信號。此后，將(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)信號輸入顏色插值單元12。顏色 插值單元12通過應用顏色插值將(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)信號轉換為10比 特的YCbCr信號。這時，顏色插值單元12將數據臨時存儲在存儲器中以便于稍后使用。Y 值為((Mg+Ye) + (G+Cy))，Cb 值為((Mg+Cy) - (G+Ye))，Cr 值為((Mg+Ye) - (G+Cy))。存儲器對 于提高顏色插值的效率是必要的。通過采用有關鄰近像素的數據來獲得(Mg+Ye)和(G+Cy) 值。第一信號轉換單元13將10比特的YCbCr信號轉換為8比特的RGB信號。通過應 用包括線性插值的各種插值來轉換該信號。將8比特的RGB信號同時輸入到色彩校正單元14和AE/AWB調節(jié)單元17。每個濾 色片的頻率未反映出人對色彩的敏感性。因此，色彩校正單元14對8比特的RGB信號執(zhí)行 色彩校正以更好地表現彩色圖像。因為RGB色彩值可能包括其他色彩，所以通過使用色彩 矩陣來校正色彩。第二信號轉換單元15將經色彩校正的RGB信號轉換為IUT-601格式的YCbCr信
5號。Y校正單元16對YCbCr信號執(zhí)行γ校正。在圖5中，示出了第二信號轉換單元15，其將經色彩校正的RGB信號轉換為 ITU-601格式的YCbCr信號。如圖5所示，在8比特的RGB信號的情況下，在模式0和模式1中，將Y值定義為 具有16 235的范圍并且將Cb和Cr值定義為具有16 240的范圍。定義其范圍以將經 色彩校正的RGB信號轉換為ITU-601格式的YCbCr信號。γ校正單元16對YCbCr信號執(zhí)行γ校正。亮度處理單元20對經γ校正的 YCbCr信號執(zhí)行亮度重新計算(roll-back)操作，即減小明亮區(qū)域的增益而保持黑暗區(qū)域 的增益。數字效果單元21執(zhí)行圖像增強并且將OSD(屏幕上顯示)元素添加至圖像上，以 顯示諸如聲音、頻道、以及時間的信息。編碼單元22以NTSC/PAL格式對YCbCr信號進行編 碼。DAC將經編碼的YCbCr信號轉換為模擬視頻信號。定時信號生成單元18將驅動信號發(fā)送至CXD圖像傳感器，并且生成用于驅動A/D 和用于調節(jié)A/D的Op Amp增益的信號。接口單元19具有用于外部連接的內部集成電路。AE/AWB調節(jié)單元17同時接收來自第一信號轉換單元13的8比特的RGB信號和來 自第二信號轉換單元15的ITU格式的8比特的YCbCr信號。將8比特的RGB信號和8比 特的YCbCr信號用于自動曝光和自動白平衡。參照圖6和圖7，現在將描述自動曝光和自動白平衡的調節(jié)。CCD圖像傳感器并不等同于人眼中的傳感器。例如，實際上，人類總是感知白色物 體的顏色為白色。然而，CCD圖像傳感器感知的白色物體的顏色會隨著光源的頻率而改變。 實際上，白平衡調節(jié)單元通過調節(jié)R/G/B的增益使CCD圖像傳感器能夠感知白色物體的顏 色為白色。AE/AWB調節(jié)單元17基于ITU-601格式的YCbCr信號的Y、Cb、以及Cr值來選擇 RGB信號，以調節(jié)自動曝光和自動白平衡。參照圖6，現在描述AE/AWB調節(jié)單元17執(zhí)行的自動白平衡的調節(jié)。設置Y值的目 標范圍及Cb與Cr值之間的差值的目標范圍(Sll和S12)。分別從第一信號轉換單元1和 第二信號轉換單元13接收8比特的RGB信號和ITU-601格式的8比特的第二 YGbCr信號 (S13)。確定Y值是否處于目標范圍內(S14)。當Y值不處于目標范圍內時，則不選擇相應 的RGB信號(S16)。即，當Y值過高或者過低(例如Y = 255，或者Y = O)時，不選擇相應 的RGB信號。確定Cb與Cr值之間的差值是否處于目標范圍內(S15)。當Cb與Cr值之間的差 值不處于目標范圍內時，則不選擇相應的RGB信號(S16)。即，當Cb與Cr值之間的差值過 高或者過低時，不選擇相應的RGB信號。當Cb與Cr值之間的差值處于目標范圍內時，選擇相應的RGB信號(S17)。分別對 經選擇的RGB信號的R、G、以及B值求平均以獲得平均的R、G、以及B值(S18)。分別將R、 G、以及B值增大或者減小至平均R、G、以及B值(S19)。自動曝光根據環(huán)境光水平通過調節(jié)曝光時間和增益來實現光線的最佳動態(tài)范圍。AE/AWB調節(jié)器17基于ITU-601格式的YCbCr信號和RGB信號這兩者來接收Y信 號以調節(jié)自動曝光。
參照圖7，描述了 AE/AWB調節(jié)單元17執(zhí)行的自動曝光調節(jié)。設置Y的目標值和 RGB值的目標范圍(S21和S22)。分別從第一信號轉換單元13和第二信號轉換單元15接 收RGB信號和ITU-601格式的YCbCr信號(S23)。分別確定R、G、以及B值之間的差值是否處于目標范圍內(S24)。當R、G、以及B 值之間的差值不處于目標范圍內時，則不選擇相應的Y信號(S25)。即，當R、G、以及B值之 間的差值過高或者過低時(例如，當R為255，G為0，以及B為0時)，不選擇相應的RGB信號。當R、G、以及B值之間的差值處于目標范圍內時，則選擇相應的Y值(S26)。當Y 信號的Y值小于或者大于目標Y值時，將Y信號的Y值分別增大或者減小至目標Y值(27)。對于本領域的技術人員而言顯而易見的是，在不背離本發(fā)明的精神和范圍內，可 以在本發(fā)明中進行各種修改和改進。因此，如果該發(fā)明的修改和改進在所附權利要求和其 等同物的范圍內，則本發(fā)明旨在覆蓋該發(fā)明的修改和改進。
權利要求
一種用于對從具有CMYG濾色片陣列的CCD圖像傳感器所輸出的圖像信號執(zhí)行數字處理的方法，所述方法包括通過使用顏色插值，將10比特的數字CMYG信號轉換為10比特的第一YCbCr信號；通過使用插值，將所述10比特的第一YCbCr信號轉換為8比特的RGB信號；對所述8比特的RGB信號執(zhí)行色彩校正，并且將經色彩校正的8比特的RGB信號轉換為具有遵從ITU 601格式的格式的8比特的第二YCbCr信號；對所述8比特的第二YCbCr信號進行編碼，并且將經編碼的8比特的第二YCbCr信號轉換為模擬視頻信號；以及使用所述8比特的RGB信號和所述8比特的第二YCbCr信號調節(jié)自動曝光和自動白平衡。
2.根據權利要求1所述的用于對從具有CMYG濾色片陣列的CCD圖像傳感器所輸出的 圖像信號執(zhí)行數字處理的方法，其中，所述自動白平衡的調節(jié)包括接收所述8比特的RGB信號和所述8比特的第二 YCbCr信號；當Y值處于目標范圍內時，選擇相應的RGB信號；當Cb與Cr值之間的差值處于目標范圍內時，選擇相應的RGB信號；以及使R、G、以及B值分別收斂于平均的R、G、以及B值，所述平均的R、G、以及B值是通過 對選擇的所述RGB信號的R、G、以及B值求平均值而計算得出。
3.根據權利要求2所述的用于對從具有CMYG濾色片陣列的CCD圖像傳感器所輸出的 圖像信號執(zhí)行數字處理的方法，其中，所述自動白平衡通過以下來調節(jié)當所述R、G、以及B 值小于選擇的所述RGB信號的所述平均的R、G、以及B值時，分別增大所述R、G、以及B值； 當所述R、G、以及B值大于選擇的所述RGB信號的所述平均的R、G、以及B值時，分別減小所 述R、G、以及B值。
4.根據權利要求1所述的用于對從具有CMYG濾色片陣列的CCD圖像傳感器所輸出的 圖像信號執(zhí)行數字處理的方法，其中，所述自動曝光的調節(jié)包括接收所述8比特的RGB信號和所述8比特的第二 YCbCr信號；當RGB值處于目標范圍內時，選擇相應的Y信號；以及將選擇的所述Y信號的Y值調節(jié) 至目標值。
5.根據權利要求4所述的用于對從具有CMYG濾色片陣列的CCD圖像傳感器所輸出的 圖像信號執(zhí)行數字處理的方法，其中，所述自動曝光通過以下來調節(jié)當所述Y值小于所述 目標值時，增大所述Y值；當所述Y值大于所述目標值時，減小所述Y值。
全文摘要
文檔編號H04N9/07GK101953169SQ20098010508
公開日2011年1月19日 申請日期2009年2月13日 優(yōu)先權日2008年2月15日
發(fā)明者Yang Seung-Heon 申請人:Semisolution Co Ltd