專(zhuān)利名稱：圖像處理設(shè)備和方法、以及圖像處理設(shè)備的制造方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法、以及圖像處理設(shè)備的制造方法。特別地，本發(fā)明涉及再現(xiàn)更忠實(shí)的色彩并減低噪音的圖像處理設(shè)備和方法、并涉及該圖像處理設(shè)備的制造方法。
背景技術(shù)：
近年來(lái)，面向消費(fèi)者的圖像處理設(shè)備(數(shù)碼相機(jī)、彩色掃描儀等)和圖像處理軟件已得到普及使用，而自己對(duì)通過(guò)例如攝影等而取得的圖像進(jìn)行編輯的用戶數(shù)量已增加了。
伴隨這種情形，對(duì)于高質(zhì)量的圖像也有強(qiáng)烈的要求(對(duì)于更好的色彩的要求、對(duì)于噪音的減少的要求等)?，F(xiàn)狀是當(dāng)購(gòu)入數(shù)碼相機(jī)等時(shí)，占半數(shù)以上的用戶將良好的圖像質(zhì)量作為第1條件。
在數(shù)碼相機(jī)中，一般地，使用圖1所示的三原色RGB的彩色濾光器1。在此例中，如圖1的短虛線所示，彩色濾光器1由所謂Bayer(貝爾)布局構(gòu)成，其中2個(gè)僅允許綠(G)光透過(guò)的G濾光器、1個(gè)僅允許紅(R)光透過(guò)的R濾光器和1個(gè)僅允許藍(lán)(B)光透過(guò)的B濾光器這合計(jì)4個(gè)濾光器定義了最小單元。
圖2表示對(duì)由具有RGB彩色濾光器1的CCD(電荷耦合元件)攝影元件取得的RGB信號(hào)執(zhí)行各種處理的信號(hào)處理部11的構(gòu)成例的框圖。
偏移校正處理部21去除偏移分量，并將所得的圖像信號(hào)輸出至白平衡校正處理部22，該偏移分量包含于從對(duì)由CCD攝影元件取得的信號(hào)執(zhí)行預(yù)定處理的前端13所供給的圖像信號(hào)中。白平衡校正處理部22基于從偏移校正處理部21供給的圖像信號(hào)的色溫度和彩色濾光器1的各濾光器的靈敏度的差別而校正各色的平衡。作為由白平衡校正處理部22做出的校正結(jié)果取得的色彩信號(hào)被輸出至γ(伽瑪)校正處理部23。γ校正處理部23對(duì)從白平衡校正處理部22供給的信號(hào)做γ校正，并將取得的信號(hào)輸出至垂直方向同時(shí)化(time-coincidence)處理部24。垂直方向同時(shí)化處理部24設(shè)有延遲元件，從而從γ校正處理部23供給的、具有時(shí)間上的垂直偏差的信號(hào)被同時(shí)化。
RGB信號(hào)生成處理部25在同一空間的相位對(duì)從垂直方向同時(shí)化處理部24供給的色彩信號(hào)進(jìn)行插值處理、去除信號(hào)的噪音分量的噪音去除處理、限制信號(hào)波段的濾波處理、以及校正信號(hào)波段的高頻分量的高頻校正處理等，并將所得的RGB信號(hào)輸出至亮度信號(hào)生成處理部26和色差信號(hào)生成處理部27。
亮度信號(hào)生成處理部26以預(yù)定的合成比來(lái)合成從RGB信號(hào)生成處理部25供給的RGB信號(hào)，以生成亮度信號(hào)。色差信號(hào)生成處理部27同樣地以預(yù)定的合成比來(lái)合成從RGB信號(hào)生成處理部25供給的RGB信號(hào)，以生成色差信號(hào)(Cb，Cr)。由亮度信號(hào)生成處理部26生成的亮度信號(hào)和由色差信號(hào)生成處理部27生成的色差信號(hào)被輸出至例如設(shè)在信號(hào)處理部11的外部的監(jiān)視器。
按照這樣，一般的做法是對(duì)原始信號(hào)執(zhí)行γ處理后再通過(guò)線性變換對(duì)原始信號(hào)進(jìn)行圖像處理。
作為確定彩色濾光器的條件，首先，再現(xiàn)對(duì)于人眼所見(jiàn)的色彩是忠實(shí)的色彩的“色彩再現(xiàn)特性”是一示例。這些“色彩再現(xiàn)特性”由意味著使色彩接近人眼所見(jiàn)的色彩的“色彩的外部特征”、和意味著在人眼看來(lái)不同的色彩被再現(xiàn)為不同的色彩、而看來(lái)相同的色彩則被再現(xiàn)為相同的色彩的「色彩判別特性」(條件配色匹配)構(gòu)成。其次，當(dāng)生產(chǎn)具有正的靈敏度的光譜分量和具有1個(gè)峰值的光譜靈敏度特性等的濾光器時(shí)，滿足“物理限制”是另一示例。第三，考慮“噪音減低性”是又一示例。
為了生產(chǎn)和評(píng)價(jià)重視“色彩再現(xiàn)特性”的彩色濾光器，迄今使用了例如q因子、μ因子或FOM(優(yōu)點(diǎn)的圖)等濾光器評(píng)價(jià)系數(shù)。這些系數(shù)取0至1的值；彩色濾光器的光譜靈敏度特性愈接近人眼的光譜靈敏度特性(色彩匹配函數(shù))的線性變換，則系數(shù)取愈大的值，即系數(shù)表示愈接近1的值。為了使這些系數(shù)的值接近1，故使光譜靈敏度滿足路德(Luther)條件。
然而，若設(shè)計(jì)彩色濾光器以滿足路德條件，則彩色濾光器如圖3所示具有負(fù)的光譜分量或發(fā)生多個(gè)峰值。為此，彩色濾光器不可能物理地實(shí)現(xiàn)，或即使能實(shí)現(xiàn)也是相當(dāng)困難才實(shí)現(xiàn)的。
因此，當(dāng)通過(guò)除考慮路德條件以外還考慮其他的上述“物理限制”而設(shè)計(jì)彩色濾光器時(shí)，光譜靈敏度的特性通常變成如圖4所示以致負(fù)的光譜分量不出現(xiàn)的特性。圖3的曲線L1和圖4的曲線L11代表R的光譜靈敏度。圖3的曲線L2和圖4的曲線L12代表G的光譜靈敏度。圖3的曲線L3和圖4的曲線L13代表B的光譜靈敏度。
然而，在具有圖4所示的光譜靈敏度的濾光器中，會(huì)出現(xiàn)這樣的問(wèn)題R的光譜靈敏度的特性(曲線L11)和G的光譜靈敏度的特性(曲線L12)重疊很大，而當(dāng)分解(提取)每個(gè)色彩信號(hào)時(shí)，傳播噪音增大。即，為了分解色彩信號(hào)，R信號(hào)和G信號(hào)之間的差需要增大。然而當(dāng)為了增大該差而放大每個(gè)信號(hào)時(shí)，后果是噪音也被放大了，不滿足上述“噪音減低性”。
因此，為了滿足“噪音減低性”，故考慮即使多少犧牲一些“色彩再現(xiàn)特性”，仍使R的光譜靈敏度和G的光譜靈敏度的重疊部分減少，和例如使濾光器成為具有圖5所示的光譜靈敏度特性。
然而，在具有這種特性的濾光器的情形中，有這樣的問(wèn)題在眼睛看來(lái)具有不同色彩的物體被數(shù)碼相機(jī)拍攝成為同一色彩等這樣的所謂“色彩判別特性”惡化了。
“色彩判別特性”的惡化如下進(jìn)一步說(shuō)明。即，圖6表示物體R1和物體R2的光譜反射率，其中物體R1和物體R2的光譜反射率不同。圖7A和圖7B表示當(dāng)標(biāo)準(zhǔn)觀察者的眼睛看見(jiàn)具有圖6的光譜反射率的物體R1和物體R2時(shí)的三色值(X，Y，Z值)(圖7A)，并表示當(dāng)由具有圖5的光譜靈敏度特性的彩色濾光器攝影時(shí)的RGB值(圖7B)。
在圖7A中，物體R1的X、Y、Z值(“0.08”、“0.06”、“0.30”)與物體R2的X、Y、Z值(“0.10”、“0.07”、“0.33”)不同。這表明每個(gè)物體被人眼看成不同的色彩。相反，在圖7B中，物體R1的R、G、B的值和物體R2的R、G、B的值具有同一值(“66.5”、“88.3”、“132.0”)。這意味著在具有圖5的光譜靈敏度特性的數(shù)碼相機(jī)(彩色濾光器)中，每個(gè)物體被攝影成具有相同的色彩，即不區(qū)別物體的色彩。
而且，在通過(guò)使用q因子、μ因子或FOM的彩色濾光器的評(píng)價(jià)中，未考慮“噪音減低特性”，而濾光器從“噪音減低特性”的觀點(diǎn)是不理想的。盡管如此，對(duì)于滿足“色彩再現(xiàn)特性”和“物理限制”兩方的濾光器(滿足路德條件、如圖4所示的濾光器)，卻表示了最高的評(píng)價(jià)(系數(shù)的值為1)。

發(fā)明內(nèi)容
本發(fā)明是鑒于這種狀況而做出的。本發(fā)明旨在能夠再現(xiàn)更忠實(shí)的色彩并減低噪音。
本發(fā)明的圖像處理設(shè)備包括提取裝置，用于提取三原色的第1至第3光以及與三原色的第1至第3光中的第2光具有高相關(guān)的第4光；變換裝置，用于將由提取裝置提取的第1至第4光變換成對(duì)應(yīng)的第1至第4色彩信號(hào)；和信號(hào)生成裝置，用于基于第1至第4色彩信號(hào)而生成對(duì)應(yīng)于三原色的第5至第7色彩信號(hào)，其中信號(hào)生成裝置根據(jù)為了使基于預(yù)定的色塊而計(jì)算的參照值和基于色塊、通過(guò)提取裝置的光譜靈敏度特性計(jì)算的輸出值之間的、在預(yù)定評(píng)價(jià)值處的差分最小而給出的變換方程，而生成第5至第7色彩信號(hào)。
提取第1至第4光的提取裝置具有由分別提取第1至第4光的第1至第4提取部構(gòu)成的單元，而分別提取第2光和第4光的第2提取部和第4提取部可在該單元處對(duì)角地放置。
第2提取部和第4提取部可具有與亮度信號(hào)的可視靈敏度特性近似的光譜靈敏度特性。
三原色的第1至第3光可以分別是紅、綠和藍(lán)光，而第4光可以是綠光。
差分可以是XYZ色彩空間中的差分。
差分可以是均勻知覺(jué)色彩空間中的差分。
差分可以是用于色彩分隔的傳播噪音。
本發(fā)明用于圖像處理設(shè)備的圖像處理方法包括提取步驟，其提取三原色的第1至第3光以及與三原色的第1至第3光中的第2光具有高相關(guān)的第4光；變換步驟，將由提取步驟的處理提取的第1至第4光變換成對(duì)應(yīng)的第1至第4色彩信號(hào)；和信號(hào)生成步驟，基于第1至第4色彩信號(hào)而生成對(duì)應(yīng)于三原色的第5至第7色彩信號(hào)，其中信號(hào)生成步驟根據(jù)為了使基于預(yù)定的色塊而計(jì)算的參照值和基于色塊、通過(guò)提取裝置的光譜靈敏度特性計(jì)算的輸出值之間的、在預(yù)定評(píng)價(jià)值處的差分最小而給出的變換方程，而生成第5至第7色彩信號(hào)。
本發(fā)明的圖像處理設(shè)備的制造方法包括提供變換裝置的第1步驟；和第2步驟，其通過(guò)使用預(yù)定的評(píng)價(jià)系數(shù)來(lái)確定光譜靈敏度特性，從而在由第1步驟的處理提供變換裝置前生成提取三原色的第1至第3光以及與三原色的第1至第3光中的第2光具有高相關(guān)的第4光的提取裝置。
在第2步驟中，形成由分別提取第1至第4光的第1至第4提取部構(gòu)成的單元，作為提取裝置，而分別提取第2光和第4光的第2提取部和第4提取部可在該單元處對(duì)角地放置。
該評(píng)價(jià)系數(shù)可以是用于使第2提取部和第4提取部的光譜靈敏度特性與亮度信號(hào)的可視靈敏度特性近似的評(píng)價(jià)系數(shù)。
該評(píng)價(jià)系數(shù)可以是既考慮色彩再現(xiàn)特性也考慮噪音減低特性的評(píng)價(jià)系數(shù)。
在第2步驟中，三原色的第1至第3光可以分別是紅、綠和藍(lán)光，而第4光可以是綠光。
制造方法進(jìn)一步包括第3步驟，用于生產(chǎn)生成裝置，該生成裝置基于由變換裝置變換第1至第4光而生成的第1至第4色彩信號(hào)，來(lái)生成對(duì)應(yīng)于三原色的第5至第7色彩信號(hào)。


圖1表示傳統(tǒng)的RGB濾光器的示例。
圖2是表示設(shè)在傳統(tǒng)數(shù)碼相機(jī)中的信號(hào)處理部的構(gòu)成示例的框圖。
圖3表示光譜靈敏度特性的示例。
圖4表示光譜靈敏度特性的另一示例。
圖5表示光譜靈敏度特性的又一示例。
圖6表示預(yù)定物體的光譜反射率。
圖7A表示當(dāng)預(yù)定的物體被標(biāo)準(zhǔn)觀察者的眼睛看見(jiàn)時(shí)的三色值的示例。
圖7B表示當(dāng)預(yù)定的物體被彩色濾光器攝影時(shí)的RGB值的示例。
圖8是表示應(yīng)用本發(fā)明的數(shù)碼相機(jī)的構(gòu)成示例的框圖。
圖9表示設(shè)在圖8的數(shù)碼相機(jī)中的4色彩色濾光器的示例。
圖10表示可視靈敏度曲線的示例。
圖11表示評(píng)價(jià)系數(shù)的特征。
圖12是表示圖8的相機(jī)系統(tǒng)LSI的構(gòu)成示例的框圖。
圖13是表示圖12的信號(hào)處理部的構(gòu)成示例的框圖。
圖14是說(shuō)明圖像處理設(shè)備的生產(chǎn)處理的流程圖。
圖15是說(shuō)明圖14的細(xì)節(jié)的流程圖。
圖16表示虛擬曲線的示例。
圖17A表示RGB的特性彼此不重疊的濾光器的UMG值的示例。
圖17B表示R特性和G特性在寬波長(zhǎng)波段上重疊的濾光器的UMG值的示例。
圖17C表示R、G和B的特性彼此適度地重疊的濾光器的UMG值的示例。
圖18表示4色彩色濾光器的光譜靈敏度特性的示例。
圖19是說(shuō)明圖14的步驟S2中線性矩陣確定處理的細(xì)節(jié)的流程圖。
圖20表示色差評(píng)價(jià)結(jié)果的示例。
圖21表示由4色彩色濾光器預(yù)定的物體的色度。
圖22表示設(shè)在圖8的數(shù)碼相機(jī)中的4色彩色濾光器的另一示例。
具體實(shí)施例方式
圖8是表示應(yīng)用本發(fā)明的數(shù)碼相機(jī)的構(gòu)成示例的框圖。
在圖8所示的數(shù)碼相機(jī)中，在由CCD(電荷耦合元件)等構(gòu)成的圖像傳感器45的前面(正對(duì)著鏡片42的面)設(shè)有識(shí)別4種色彩(光)的彩色濾光器。
圖9表示設(shè)在圖8的數(shù)碼相機(jī)45中的4色彩色濾光器61的示例。
如圖9的短虛線所示，4色彩色濾光器61是這樣構(gòu)成的即僅允許紅光透過(guò)的R濾光器、僅允許藍(lán)光透過(guò)的B濾光器、僅允許第1波長(zhǎng)波段中的綠光透過(guò)的G1濾光器和僅允許第2波長(zhǎng)波段中的綠光透過(guò)的G2濾光器這合計(jì)4個(gè)濾光器被設(shè)成最小單元。G1濾光器和G2濾光器在最小單元處配置在相互對(duì)角的位置。
如后面詳述，通過(guò)將由圖像傳感器45取得的圖像色彩設(shè)成4種類(lèi)型、以致增加要取得的色彩信息，當(dāng)與僅取得3種色彩(RGB)的情形比較時(shí)，可能更準(zhǔn)確地表現(xiàn)色彩，并可改進(jìn)再現(xiàn)(“色彩判別特性”)、以使在人眼看來(lái)不同的色彩被再現(xiàn)為不同的色彩、而看來(lái)相同的色彩則被再現(xiàn)為相同的色彩。
從圖10所示的可視靈敏度曲線可以看出，人眼對(duì)亮度敏感。因此，在圖9的4色彩色濾光器61的示例中，添加了具有接近可視靈敏度曲線的光譜靈敏度特性的G2彩色濾光器(對(duì)于與圖1的R、G、B對(duì)應(yīng)的R、G、B的濾光器，添加了新確定的綠G2彩色濾光器)，從而通過(guò)取得更精確的亮度信息，可增加亮度的灰度，并可再現(xiàn)接近眼睛所見(jiàn)的圖像。
作為當(dāng)確定4色彩色濾光器61時(shí)使用的濾光器評(píng)價(jià)系數(shù)，例如使用考慮了“色彩再現(xiàn)特性”和“噪音減低特性”兩方的UMG(統(tǒng)一優(yōu)良測(cè)量)。
在使用UMG的評(píng)價(jià)中，被評(píng)價(jià)的濾光器僅滿足路德條件不使得評(píng)價(jià)值增加，并還考慮到每個(gè)濾光器的光譜靈敏度分布的重疊。因此，當(dāng)與利用q因子、μ因子或FOM評(píng)價(jià)的彩色濾光器的情形比較時(shí)，可更為減低噪音。即，作為使用UMG的評(píng)價(jià)的結(jié)果，光譜靈敏度具有某種程度的重疊。然而，由于選擇了全部特性基本上不像圖4的R特性和G特性那樣重疊的濾光器，故即使當(dāng)為了色彩的分離而對(duì)每個(gè)色彩信號(hào)進(jìn)行放大時(shí)，放大率也不必增大許多，結(jié)果抑制了噪音分量的放大。
由第4濾光器(G2濾光器)抑制噪音的理由將被提到。伴隨著為了擴(kuò)大像素?cái)?shù)而最小化CCD的單元尺寸，為了改進(jìn)靈敏度效率而使原色濾光器的光譜靈敏度曲線變粗，而濾光器的重疊傾向于增大。在這種狀況下添加另一濾光器具有抑制三原色的原始重疊的效果和防止噪音的結(jié)果。
圖11表示各濾光器評(píng)價(jià)系數(shù)的特征。在圖11中，對(duì)于各評(píng)價(jià)系數(shù)，表示出了是否考慮一次可被評(píng)價(jià)的濾光器數(shù)和物體的光譜反射率，并表示出了是否考慮噪音的減低。
如圖11所示，對(duì)于q因子，一次可被評(píng)價(jià)的濾光器數(shù)僅是“1”，而且不考慮物體的光譜反射率和噪音的減低。對(duì)于μ因子，盡管一次可評(píng)價(jià)多個(gè)濾光器，但仍不考慮物體的光譜反射率和噪音的減低。進(jìn)而，對(duì)于FOM，盡管一次可評(píng)價(jià)多個(gè)濾光器并考慮物體的光譜反射率，但卻不考慮噪音的減低。
相形之下，對(duì)于當(dāng)確定4色彩色濾光器61時(shí)使用的UMG，一次可評(píng)價(jià)多個(gè)濾光器，考慮物體的光譜反射率，也考慮噪音的減低。
q因子的細(xì)節(jié)公開(kāi)于“H.E.J.Neugebauer“Quality Factor for Filters WhoseSpectral Transmittances are Differenct from Color Mixture Curves，and ItsApplication to Color Photography(用于光譜透過(guò)率與色彩混和曲線不同的濾光器的品質(zhì)因子，及其在彩色攝影術(shù)中的應(yīng)用)，JOURNAL OF THEOPTICAL SOCIATY OF AMERICA，VOLUME 46，NUMBER 10(美國(guó)光學(xué)協(xié)會(huì)期刊第10期第46卷)”。μ因子的細(xì)節(jié)公開(kāi)于“P.L.Vora和H.J.Trussell，Measure of Goodness of a set of co1or-scanning filters(一組彩色掃描濾光器的良好性測(cè)量)，JOURNAL OF THE OPTICAL SOCIATY OF AMERICA，VOLUME 46，NUMBER 7(美國(guó)光學(xué)協(xié)會(huì)期刊第7期第10卷)”。FOM的細(xì)節(jié)公開(kāi)于“G.Sharma和H.J.Trussell，F(xiàn)igures of Merit for Color Scanners(彩色掃描儀的優(yōu)點(diǎn)的圖)，IEEE TRANSACTION ON IMAGE PROCESSING，VOLUME 6(IEEE的圖像處理的論文集，第6卷)”。UMG的細(xì)節(jié)公開(kāi)于“S.Qμan，N.Ohta和N.Katoh，Optimal Design of Camera Spectral SensitivityFunctions Based on Practical Filter Components(基于實(shí)際濾光器組件的照相機(jī)光譜靈敏度函數(shù)的光學(xué)設(shè)計(jì))，CIC，2001”。
返回圖8的說(shuō)明，微計(jì)算機(jī)41根據(jù)預(yù)定的控制程序來(lái)控制整體的工作。例如，微計(jì)算機(jī)41進(jìn)行使用光圈43的曝光控制、快門(mén)44的開(kāi)/閉控制、TG(定時(shí)發(fā)生器)46的電子快門(mén)的控制、前端47處的增益控制、相機(jī)系統(tǒng)LSI(大規(guī)模集成電路)48的模式控制、參數(shù)控制等。
光圈43調(diào)整由鏡片42聚光的光的通道(光圈)以控制由圖像傳感器45接收到的光量?？扉T(mén)44基于來(lái)自微計(jì)算機(jī)41的指示而控制由鏡片42聚光的光通道。
圖像傳感器45進(jìn)一步包括由CCD和CMOS(互補(bǔ)型金屬氧化物半導(dǎo)體)構(gòu)成的攝影元件。圖像傳感器45將經(jīng)形成于攝影元件的前面的4色彩色濾光器61而入射的光變換成電信號(hào)，并將4種色彩信號(hào)(R信號(hào)、G1信號(hào)、G2信號(hào)、B信號(hào))輸出至前端47。圖像傳感器45設(shè)有圖9的4色彩色濾光器61，從而從經(jīng)鏡片42入射的光中提取每個(gè)R、G1、G2、B的波段的波長(zhǎng)分量(細(xì)節(jié)將參照?qǐng)D18而后述)。
前端47對(duì)從圖像傳感器45供給的色彩信號(hào)執(zhí)行為了去除噪音分量的相關(guān)二重取樣處理、增益控制處理和數(shù)字變換處理等。由前端47進(jìn)行的各種處理所得的圖像數(shù)據(jù)被輸出至相機(jī)系統(tǒng)LSI 48。
如后面的詳述，相機(jī)系統(tǒng)LSI 48對(duì)從前端47供給的圖像數(shù)據(jù)進(jìn)行各種處理，以生成例如亮度信號(hào)和色彩信號(hào)，將色彩信號(hào)輸出至圖像監(jiān)視器50，從而顯示對(duì)應(yīng)于信號(hào)的圖像。
圖像存儲(chǔ)器49由例如DRAM(動(dòng)態(tài)隨機(jī)讀寫(xiě)存儲(chǔ)器)、SDRAM(同步動(dòng)態(tài)隨機(jī)讀寫(xiě)存儲(chǔ)器)等構(gòu)成，并當(dāng)相機(jī)系統(tǒng)LSI 48進(jìn)行各種處理時(shí)被適宜地利用。由半導(dǎo)體存儲(chǔ)器、磁盤(pán)等構(gòu)成的外部存儲(chǔ)介質(zhì)51以可裝入圖8的數(shù)碼相機(jī)的方式構(gòu)成，而由相機(jī)系統(tǒng)LSI 48以JPEG(組合圖片專(zhuān)家組)格式壓縮的圖像數(shù)據(jù)就存儲(chǔ)在其中。
圖像監(jiān)視器50由例如LCD(液晶顯示器)等構(gòu)成，并顯示拍攝的圖像、各種菜單屏幕等。
圖12是表示圖8的相機(jī)系統(tǒng)LSI 48的構(gòu)成示例的框圖。構(gòu)成相機(jī)系統(tǒng)LSI 48的每個(gè)框經(jīng)微計(jì)算機(jī)接口(I/F)73受圖8的微計(jì)算機(jī)41控制。
信號(hào)處理部71對(duì)從前端47供給的4種色彩信息進(jìn)行插值處理、濾光處理、矩陣計(jì)算處理、亮度信號(hào)生成處理和色差信號(hào)生成處理等各種處理，并例如將生成的圖像信號(hào)經(jīng)監(jiān)視器接口77輸出至圖像監(jiān)視器50。
圖像檢測(cè)部72基于來(lái)自前端47的輸出而進(jìn)行自動(dòng)聚焦、自動(dòng)曝光、自動(dòng)白平衡等檢測(cè)處理，并將結(jié)果適宜地輸出至微計(jì)算機(jī)41。
存儲(chǔ)器控制器75控制處理框間數(shù)據(jù)的收發(fā)或預(yù)定的處理框和圖像存儲(chǔ)器49間數(shù)據(jù)的收發(fā)，并例如將從信號(hào)處理部71供給的圖像數(shù)據(jù)經(jīng)存儲(chǔ)器接口74輸出至圖像存儲(chǔ)器49，從而存儲(chǔ)該圖像數(shù)據(jù)。
圖像壓縮/解壓部76對(duì)例如從信號(hào)處理部71供給的圖像數(shù)據(jù)以JPEG格式進(jìn)行壓縮，并將所得的數(shù)據(jù)經(jīng)微計(jì)算機(jī)接口73輸出至外部存儲(chǔ)介質(zhì)51，從而存儲(chǔ)該圖像數(shù)據(jù)。圖像壓縮/解壓部76還對(duì)從外部存儲(chǔ)介質(zhì)51讀出的壓縮數(shù)據(jù)進(jìn)行解壓縮(擴(kuò)展)，并將數(shù)據(jù)經(jīng)監(jiān)視器接口77輸出至圖像監(jiān)視器50。
圖13是表示圖12的信號(hào)處理部71的詳細(xì)構(gòu)成示例的框圖。構(gòu)成信號(hào)處理部71的各框經(jīng)微計(jì)算機(jī)接口73受微計(jì)算機(jī)41控制。
偏移校正處理部91去除從前端47供給的圖像信號(hào)中所含的噪音分量(偏移分量)，并將所得的圖像信號(hào)輸出至白平衡校正處理部92。白平衡校正處理部92基于從偏移校正處理部91供給的圖像信號(hào)的色彩溫度和4色彩色濾光器61的各濾光器的靈敏度的差別而校正各色的平衡。作為由白平衡校正處理部92做出的校正結(jié)果取得的色彩信號(hào)被輸出至垂直方向同時(shí)化處理部93。垂直方向同時(shí)化處理部93設(shè)有延遲元件，從而從白平衡校正處理部92供給的、具有時(shí)間上的垂直偏差的信號(hào)被同時(shí)化(校正)。
信號(hào)生成處理部94在同一空間的相位對(duì)從垂直方向同時(shí)化處理部93供給的RG1G2B的最小單元的2×2像素的色彩信號(hào)進(jìn)行插值處理、去除信號(hào)的噪音分量的噪音去除處理、限制信號(hào)波段的濾波處理、以及校正信號(hào)波段的高頻分量的高頻校正處理等，并將所得的RG1G2B信號(hào)輸出至線性矩陣處理部95。
線性矩陣處理部95基于預(yù)定的矩陣系數(shù)(3×4矩陣)，依下方程(1)進(jìn)行RG1G2B信號(hào)的計(jì)算，并生成3色的RGB信號(hào)。
RGB=abcdefghijkl·RG1G2B...(1)]]>由線性矩陣處理部95生成的R信號(hào)被輸出至γ校正處理部96-1、G信號(hào)被輸出至γ校正處理部96-2、B信號(hào)被輸出至γ校正處理部96-3。
γ校正處理部96-1至96-3對(duì)從線性矩陣處理部95輸出的RGB信號(hào)的每個(gè)信號(hào)進(jìn)行γ校正，并將取得的RGB信號(hào)輸出至亮度(Y)信號(hào)生成處理部97和色差(C)信號(hào)生成處理部98。
亮度信號(hào)生成處理部97依下方程(2)以預(yù)定的合成比合成從γ校正處理部96-1至96-3供給的RGB信號(hào)，以生成亮度信號(hào)。
Y＝0.2126R+0.7152G+0.0722B...(2)色差信號(hào)生成處理部98同樣地以預(yù)定的合成比合成從γ校正處理部96-1至96-3供給的RGB信號(hào)，以生成色差信號(hào)(Cb，Cr)。由亮度信號(hào)生成處理部97生成的亮度信號(hào)和由色差信號(hào)生成處理部98生成的色差信號(hào)例如經(jīng)圖12的監(jiān)視器接口77輸出至圖像監(jiān)視器50。
在具有以上構(gòu)成的數(shù)碼相機(jī)中，當(dāng)指示圖像的攝影時(shí)，微計(jì)算機(jī)41控制TG 46從而由圖像傳感器45拍攝圖像。即，形成于構(gòu)成圖像傳感器45的CCD等攝影元件的前面的4色彩色濾光器61允許4色的光透過(guò)，而透過(guò)的光被CCD攝影元件拍攝。由CCD攝影元件拍攝的光被變換成4色的色彩信號(hào)，并將該信號(hào)輸出至前端47。
前端47對(duì)從圖像傳感器45供給的色彩信號(hào)執(zhí)行為了去除噪音分量的相關(guān)二重取樣處理、增益控制處理和數(shù)字變換處理等，并將所得的圖像數(shù)據(jù)輸出至相機(jī)系統(tǒng)LSI 48。
在相機(jī)系統(tǒng)LSI 48的信號(hào)處理部71中，偏移校正處理部91去除了色彩信號(hào)的偏移分量，而白平衡校正處理部92基于圖像信號(hào)的彩色溫度和4色彩色濾光器61的各濾光器的靈敏度的差別而校正各色的平衡。
由白平衡校正處理部92校正的、具有時(shí)間上的垂直偏差的信號(hào)被垂直方向同時(shí)化處理部93同時(shí)化(校正)。信號(hào)生成處理部94在同一空間的相位對(duì)從垂直方向同時(shí)化處理部93供給的RG1G2B的最小單元的2×2像素的色彩信號(hào)進(jìn)行插值處理、去除信號(hào)的噪音分量的噪音去除處理、限制信號(hào)波段的濾波處理、以及校正信號(hào)波段的高頻分量的高頻校正處理等。
進(jìn)而，在線性矩陣處理部95中，基于預(yù)定的矩陣系數(shù)(3×4矩陣)來(lái)變換由信號(hào)生成處理部94生成的信號(hào)(RG1G2B信號(hào))，生成3色的RGB信號(hào)。由線性矩陣處理部95生成的R信號(hào)被輸出至γ校正處理部96-1、G信號(hào)被輸出至γ校正處理部96-2、B信號(hào)被輸出至γ校正處理部96-3。
γ校正處理部96-1至96-3對(duì)通過(guò)線性矩陣處理部95的處理獲得的RGB信號(hào)的每個(gè)信號(hào)進(jìn)行γ校正，并將取得的RGB信號(hào)輸出至亮度信號(hào)生成處理部97和色差信號(hào)生成處理部98。在亮度信號(hào)生成處理部97和色差信號(hào)生成處理部98中，以預(yù)定的合成比合成從γ校正處理部96-1至96-3供給的R信號(hào)、G信號(hào)和B信號(hào)，生成亮度信號(hào)和色差信號(hào)。由亮度信號(hào)生成處理部97生成的亮度信號(hào)和由色差信號(hào)生成處理部98生成的色差信號(hào)被輸出至圖12的圖像壓縮/解壓部76，從而例如以JPEG格式進(jìn)行壓縮。所得的壓縮數(shù)據(jù)經(jīng)微計(jì)算機(jī)接口73輸出至外部存儲(chǔ)介質(zhì)51，從而存儲(chǔ)該圖像數(shù)據(jù)。
如上述，由于1個(gè)圖像數(shù)據(jù)是基于4種色彩信號(hào)而形成的，故再現(xiàn)特性更接近人眼所見(jiàn)到的。
另一方面，當(dāng)指示了存儲(chǔ)于外部存儲(chǔ)介質(zhì)51的圖像數(shù)據(jù)的回放(顯示)時(shí)，微計(jì)算機(jī)41讀出存儲(chǔ)于外部存儲(chǔ)介質(zhì)51的圖像數(shù)據(jù)，并將圖像數(shù)據(jù)輸出至相機(jī)系統(tǒng)LSI 48的圖像壓縮/解壓部76。在圖像壓縮/解壓部76中，壓縮的圖像數(shù)據(jù)被擴(kuò)展，而對(duì)應(yīng)于經(jīng)監(jiān)視器接口77所獲得的數(shù)據(jù)的圖像顯示在圖像監(jiān)視器50上。
其次，參照?qǐng)D14的流程圖，將要說(shuō)明生產(chǎn)具有以上構(gòu)成的數(shù)碼相機(jī)的處理(過(guò)程)。
在步驟S1處，進(jìn)行4色彩色濾光器確定處理，用于確定設(shè)在圖8的數(shù)碼相機(jī)45中的4色彩色濾光器61的光譜靈敏度特性。在步驟S2處，進(jìn)行線性矩陣確定處理，用于確定在圖13的線性矩陣處理部95中設(shè)定的矩陣系數(shù)。在步驟S1處實(shí)行的4色彩色濾光器確定處理的細(xì)節(jié)將參照?qǐng)D15的流程圖而后述，在步驟S2處實(shí)行的線性矩陣確定處理的細(xì)節(jié)將參照?qǐng)D19的流程圖而后述。
在確定了4色彩色濾光器61和確定了矩陣系數(shù)后，在步驟S3處，生產(chǎn)圖13的信號(hào)處理部71，并且處理前進(jìn)至步驟S4，在此生產(chǎn)圖12的相機(jī)系統(tǒng)LSI 48。進(jìn)而，在步驟S5處，生產(chǎn)如圖8所示的整個(gè)圖像處理設(shè)備(數(shù)碼相機(jī))。在步驟S6處，對(duì)在步驟S5處生產(chǎn)的數(shù)碼相機(jī)的圖像質(zhì)量(“色彩再現(xiàn)特性”和“色彩判別特性”)進(jìn)行評(píng)價(jià)，接著處理完成。
這里，將要說(shuō)明當(dāng)評(píng)價(jià)“色彩再現(xiàn)特性”和“色彩判別特性”等時(shí)參照的物體色彩。物體色彩是由“物體的光譜反射率”、“標(biāo)準(zhǔn)照明的光譜能量分布”和“感知物體的傳感器(彩色濾光器)的光譜靈敏度分布(特性)”的乘積在可視光區(qū)域(例如400至700納米)的范圍內(nèi)積分的值而計(jì)算的。即，物體色彩是由下方程(3)而計(jì)算的。
λ波長(zhǎng)vis可視光區(qū)域(通常400納米～700納米)例如，當(dāng)用眼睛觀察預(yù)定的物體時(shí)，方程(3)的“傳感器的光譜靈敏度分布”以色彩匹配函數(shù)來(lái)表達(dá)，而該物體的物體色彩以X、Y、Z的三色值來(lái)表達(dá)。具體地說(shuō)，X的值由方程(4-1)計(jì)算，Y的值由方程(4-2)計(jì)算，Z的值由方程(4-3)計(jì)算。而方程(4-1)至(4-3)中的常數(shù)k的值由方程(4-4)計(jì)算。
X=k∫visR(λ)·P(λ)·x‾(λ)dλ···(4-1)]]>Y=k∫visR(λ)·P(λ)·y‾(λ)dλ···(4-2)]]>Z=∫visR(λ)·P(λ)·z‾(λ)dλ···(4-3)]]>vis可視光區(qū)域(通常400納米～700納米)R(λ)物體的光譜反射率x(λ)，y(λ)，z(λ)色彩匹配函數(shù)k＝1/∫P(λ)·y(λ)dλ ...(4-4)當(dāng)由數(shù)碼相機(jī)等圖像處理設(shè)備來(lái)拍攝預(yù)定的物體的圖像時(shí)，上方程(3)的“傳感器的光譜靈敏度特性”以彩色濾光器的光譜靈敏度特性來(lái)表達(dá)，而對(duì)于物體的物體色彩，計(jì)算濾光器數(shù)量的色值(例如，RGB濾光器(3種)的情形是RGB值(3個(gè)值))的物體色彩。當(dāng)圖像處理設(shè)備設(shè)有檢測(cè)3種色彩的RGB濾光器時(shí)，具體地說(shuō)，R的值由方程(5-1)計(jì)算，G的值由方程(5-2)計(jì)算，B的值由方程(5-3)計(jì)算。而方程(5-1)中的常數(shù)Kr的值由方程(5-4)計(jì)算，方程(5-2)中的常數(shù)Kg的值由方程(5-5)計(jì)算，方程(5-3)中的常數(shù)Kb的值由方程(5-6)計(jì)算。
R=kr∫visR(λ)·P(λ)·r‾(λ)dλ···(5-1)]]>X=kg∫visR(λ)·P(λ)·g‾(λ)dλ····(5-2)]]>B=kb∫visR(λ)·P(λ)·b‾(λ)dλ···(5-3)]]>vis可視光區(qū)域(通常400納米～700納米)R(λ)物體的光譜反射率r(λ)，g(λ)，b(λ)彩色濾光器的光譜靈敏度分布kr=1/∫visP(λ)·r‾(λ)dλ···(5-4)]]>kg=1/∫visP(λ)·g‾(λ)dλ···(5-5)]]>kb=1/∫visR(λ).b‾(λ)dλ···(5-6)]]>接下來(lái)，參照?qǐng)D15的流程圖，將要說(shuō)明在圖14的步驟S1處進(jìn)行的4色彩色濾光器確定處理。
對(duì)于4色彩色濾光器的確定方法，有各種方法。下面說(shuō)明了這樣的處理的一示例其中將RGB濾光器作為基礎(chǔ)(現(xiàn)有的(圖1的)G濾光器之一被假設(shè)為G1濾光器)、選擇允許與透過(guò)G1濾光器的色彩具有高相關(guān)的色彩透過(guò)的G2濾光器，并添加此濾光器以確定4色彩色濾光器。
在步驟S21處，選擇為了計(jì)算UMG值而使用的色彩目標(biāo)。例如，在步驟S21處，選擇含有許多代表現(xiàn)有色彩的色塊、并含有許多重視人類(lèi)的記憶色(膚色、植物的綠色、天空的藍(lán)色等)的色塊的色彩目標(biāo)。色彩目標(biāo)例如包括IT8.7，麥克白(Macbeth)色彩校驗(yàn)器，格雷泰麥克白(GretagMacbeth)數(shù)碼相機(jī)色彩校驗(yàn)器，CIE，和色條等。
進(jìn)而，取決于目的，從SOCS(標(biāo)準(zhǔn)物體色彩光譜數(shù)據(jù)庫(kù))等數(shù)據(jù)可創(chuàng)建可作為標(biāo)準(zhǔn)的色塊，并可使用之。SOCS的細(xì)節(jié)公開(kāi)于「Joji TAJIMA(田島讓二)，“Statistical Color Reproduction Evaluation by Standard Object ColorSpectra Database(SOCS)(通過(guò)標(biāo)準(zhǔn)物體色彩光譜數(shù)據(jù)庫(kù)(SOCS)的統(tǒng)計(jì)色彩再現(xiàn)評(píng)價(jià))”，Color Forum JAPAN 99(色彩論壇日本99)」。以下說(shuō)明選擇麥克白色彩校驗(yàn)器作為色彩目標(biāo)的情形。
在步驟S22處，確定G2濾光器的光譜靈敏度特性?？墒褂每蓮默F(xiàn)有材料創(chuàng)建的光譜靈敏度特性。而且，以圖16所示的立方樣條曲線(3階樣條函數(shù))來(lái)設(shè)想虛擬曲線C(λ)，可使用虛擬曲線C(λ)的峰值λ0、值w(w1和w2的和被2除的值)和值Δw(從w1減去w2而得的值被2除的值)在圖中所示的范圍內(nèi)變化的光譜靈敏度特性。w和Δw的值被設(shè)成基于半幅寬值的值。λ0、w和Δw的變化方法可例如間隔5納秒進(jìn)行一次。虛擬曲線C(λ)在各自范圍內(nèi)以下方程(6-1)至(6-5)來(lái)表達(dá)。
C(λ)=w23+3w22(w2-|λ-λ0|)+3w2(w2-|λ-λ0|)2-3(w2-|λ-λ0|)36w23Λ≤λ-λ0≤w2···(6-1)]]>C(λ)=w13+3w12(w1-|λ-λ0|)+3w1(w1-|λ-λ0|)2-3(w1-|λ-λ0|)36w13Λ-w1≤λ-λ0≤0···(6-2)]]>C(λ)=(2w2-|λ-λ0|)36w23Λw2≤λ-λ0≤2w2···(6-3)]]>
C(λ)＝0 ∧上述范圍以外 ...(6-5)在此示例中，僅添加了濾光器G2?；蛘?，僅使用圖1的濾光器(R、G、G、B)的R濾光器和B濾光器，而余下的G1、G2濾光器可被定義成綠色附近的上方程(6-1)至(6-5)的虛擬曲線。同樣地，從圖1的濾光器中可僅使用R和G濾光器、G和B濾光器。進(jìn)而，4色彩色濾光器內(nèi)的3色也可被定義成虛擬曲線，或全部4色可被定義成虛擬曲線。
在步驟S23處，欲添加的濾光器(G2濾光器)和現(xiàn)有的濾光器(R濾光器、G1濾光器和B濾光器)被組合，以生產(chǎn)4色彩色濾光器的最小單元(組)。在步驟S24處，對(duì)于在步驟S23處生產(chǎn)的4色彩色濾光器，將UMG用作濾光器評(píng)價(jià)系數(shù)，并計(jì)算UMG值。
如參照?qǐng)D11所說(shuō)明的，當(dāng)使用UMG時(shí)，對(duì)于4色的每個(gè)彩色濾光器，一次可進(jìn)行評(píng)價(jià)。進(jìn)而，不僅通過(guò)考慮物體的光譜反射率而進(jìn)行評(píng)價(jià)，而且還通過(guò)考慮噪音的減低特性而進(jìn)行評(píng)價(jià)。在使用UMG的評(píng)價(jià)中，在每個(gè)濾光器的光譜靈敏度特性中，對(duì)于具有適度重疊的濾光器表示了高評(píng)價(jià)，因此，對(duì)于具有R特性和G特性在寬波長(zhǎng)波段上重疊的特性的濾光器，可防止表示出高評(píng)價(jià)。
圖17A至17C表示在3色彩色濾光器中計(jì)算的UMG值的示例。例如，在具有如RGB特性彼此不重疊的圖17A所示的特性的濾光器中，計(jì)算“0.7942”的UMG值。在具有如R特性和G特性在寬波長(zhǎng)波段上重疊的圖17B所示的特性的濾光器中，計(jì)算“0.8211”的UMG值。在具有如RGB特性適度地重疊的圖17C所示的特性的濾光器中，計(jì)算“0.8879”的UMG值。即，對(duì)于具有如RGB的各自特性適度地重疊的圖17C所示的特性的濾光器，表示了最高評(píng)價(jià)。對(duì)4色彩色濾光器也同樣適用。圖17A的曲線L31、圖17B的曲線L41和圖17C的曲線L51表示R的光譜靈敏度。圖17A的曲線L32、圖17B的曲線L42和圖17C的曲線L52表示G的光譜靈敏度。圖17A的曲線L33、圖17B的曲線L43和圖17C的曲線L53表示B的光譜靈敏度。
在步驟S25處，確定在步驟S24處計(jì)算的UMG值是否大于或等于“0.95”，即預(yù)定的閾值。當(dāng)確定UMG值小于“0.95”時(shí)，處理前進(jìn)至步驟S26，在此拒絕(不使用)生產(chǎn)的4色彩色濾光器。當(dāng)在步驟S26處拒絕4色彩色濾光器時(shí)，處理隨后終止(不實(shí)行圖14的步驟S2及后續(xù)步驟的處理)。
另一方面，當(dāng)在步驟S25處確定在步驟S24處計(jì)算的UMG值大于或等于“0.95”時(shí)，在步驟S27處，該4色彩色濾光器被當(dāng)作用于數(shù)碼相機(jī)的候選濾光器。
在步驟S28處，確定在步驟S27處被當(dāng)作候選濾光器的4色彩色濾光器是否可由現(xiàn)有的材料和染料來(lái)實(shí)現(xiàn)。當(dāng)材料、染料難以取得時(shí)，確定不可識(shí)別該4色彩色濾光器，而處理前進(jìn)至步驟S26，在此拒絕該4色彩色濾光器。
另一方面，當(dāng)在步驟S28處確定材料、染料等可以取得時(shí)，并且可實(shí)現(xiàn)該4色彩色濾光器時(shí)，處理前進(jìn)至步驟S29，在此確定生產(chǎn)的4色彩色濾光器作為用于數(shù)碼相機(jī)的濾光器。此后，執(zhí)行圖14的步驟S2及后續(xù)的處理。
圖18表示在步驟S29處確定的4色彩色濾光器的光譜靈敏度特性示例。
在圖18中，曲線L61表示R的光譜靈敏度，而曲線L62表示G1的光譜靈敏度。曲線L63表示G2的光譜靈敏度，而曲線L64表示B的光譜靈敏度。如圖18所示，G2的光譜靈敏度曲線(曲線L63)與G1的光譜靈敏度曲線(曲線L62)具有高相關(guān)。R的光譜靈敏度、G(G1，G2)的光譜靈敏度和B的光譜靈敏度彼此在適度的范圍內(nèi)重疊。圖18所示的特性是對(duì)圖5所示的3色彩色濾光器的特性添加了G2的特性。
由于利用了按以上方式確定的4色彩色濾光器，結(jié)果，特別地改善了“色彩再現(xiàn)特性”中的“色彩判別特性”。
從光的利用效率的觀點(diǎn)，按以上方式，最好是將與現(xiàn)有RGB濾光器的G濾光器具有高相關(guān)的濾光器作為欲添加的濾光器(G2濾光器)。在此情形中，按照經(jīng)驗(yàn)，希望欲添加的濾光器的光譜靈敏度曲線的峰值處在495至535納米的范圍內(nèi)(與現(xiàn)有G濾光器的光譜靈敏度曲線的峰值臨近)。
當(dāng)添加與現(xiàn)有G濾光器具有高相關(guān)的濾光器時(shí)，通過(guò)僅使用構(gòu)成圖1的最小單元(R、G、G、B)的2個(gè)G濾光器之一作為欲添加的色彩的濾光器，就可生產(chǎn)4色彩色濾光器。因此，在制作步驟中不必加入大的變化。
當(dāng)按以上方式生產(chǎn)4色彩色濾光器并將其設(shè)置在數(shù)碼相機(jī)中時(shí)，4種色彩信號(hào)從信號(hào)生成處理部94提供給圖13的信號(hào)處理部71。結(jié)果，在線性矩陣處理部95中，進(jìn)行從4色(R、G1、G2、B)的信號(hào)生成3色(R、G、B)的信號(hào)的變換處理。由于此變換處理是對(duì)亮度線性(亮度值可由線性變換來(lái)表達(dá))輸入信號(hào)值的矩陣處理，故以下將在線性矩陣處理部95中進(jìn)行的變換處理適宜地稱作“線性矩陣處理”。
其次，參照?qǐng)D19的流程圖，將要說(shuō)明在圖14的步驟S2處執(zhí)行的線性矩陣確定處理。
對(duì)于在圖19的處理中使用的色彩目標(biāo)，使用麥克白色彩校驗(yàn)器，并假設(shè)欲使用的4色彩色濾光器具有圖18所示的光譜靈敏度特性。
在步驟S41處，例如，在CIE(Commission Internationale del’Eclairange-照明光國(guó)際委員會(huì))被作為標(biāo)準(zhǔn)光源的一般日光D65(照明光L(λ))被選擇為照明光。照明光可變成在預(yù)計(jì)圖像處理設(shè)備會(huì)被頻繁地使用的環(huán)境中的照明光。當(dāng)設(shè)想了多個(gè)照明環(huán)境時(shí)，可供多個(gè)線性矩陣。以下說(shuō)明選擇日光D65作為照明光的情形。
在步驟S42處，計(jì)算參照值Xr、Yr、Zr。具體地說(shuō)，參照值Xr由方程(7-1)計(jì)算，Yr由方程(7-2)計(jì)算，Zr由方程(7-3)計(jì)算。
Xr=k∫visR(λ)·L(λ)·x‾(λ)dλ···(7-1)]]>Yr=k∫visR(λ)·L(λ)·y‾(λ)dλ···(7-2)]]>Zr=k∫visR(λ)·L(λ)·z‾(λ)dλ···(7-3)]]>vis可視光區(qū)域(通常400納米～700納米)x(λ)，y(λ)，z(λ)色彩匹配函數(shù)常數(shù)k由方程(8)計(jì)算。k=1/∫visL(λ)·y(λ)dλ···(8)]]>例如，當(dāng)色彩目標(biāo)是麥克白色彩校驗(yàn)器時(shí)，計(jì)算24色的參照值。
其次，在步驟S43處，計(jì)算4色彩色濾光器的輸出值Rf、G1f、G2f和Bf。具體地說(shuō)，Rf由方程(9-1)計(jì)算，G1f由方程(9-2)計(jì)算，G2f由方程(9-3)計(jì)算，而B(niǎo)f由方程(9-4)計(jì)算。
Rf=kr∫visR(λ)·L(λ)·r‾(λ)dλ···(9-1)]]>G1f=kg1∫visR(λ)·L(λ)·g1‾(λ)dλ···(9-2)]]>G2f=kg2∫visR(λ)·L(λ)·g2‾(λ)dλ···(9-3)]]>Bf=kb∫visR(λ)·L(λ)·b‾(λ)dλ···(9-4)]]>vis可視光區(qū)域(通常400納米～700納米)r(λ)，g1(λ)，g2(λ)，b(λ)彩色濾光器的光譜靈敏度分布常數(shù)Kr由方程(10-1)計(jì)算，常數(shù)Kg1由方程(10-2)計(jì)算，常數(shù)Kg2由方程(10-3)計(jì)算，而常數(shù)Kb由方程(10-4)計(jì)算。
kr=1/∫visL(λ)·r‾(λ)dλ···(10-1)]]>kg1=1/∫visL(λ)·g1‾(λ)dλ···(10-2)]]>kg2=1/∫visL(λ)·g2‾(λ)dλ···(10-3)]]>kb=1/∫visL(λ)·b‾(λ)dλ···(10-4)]]>
例如，當(dāng)色彩目標(biāo)是麥克白色彩校驗(yàn)器時(shí)，計(jì)算24色的參考值Rf、G1f、G2f和Bf。
在步驟S44處，用于進(jìn)行變換、以使在步驟S43處計(jì)算的濾光器輸出值與在步驟S42處計(jì)算的參照值XYZref近似的矩陣在XYZ色彩空間中例如以最小平方誤差法計(jì)算。
例如，當(dāng)假設(shè)欲計(jì)算的3×4矩陣是以方程(11)表達(dá)的A時(shí)，矩陣變換(XYZexp)由下列方程(12)表達(dá)。
A=a0a1a2a3a4a5a6a7a8a9a10a11···(11)]]>XYZ exp=X^Y^Z^=a0a1a2a3a4a5a6a7a8a9a10a11·RfG1fG2fBf···(12)]]>關(guān)于參照值的矩陣變換(方程(12))的誤差的平方(E2)以下面的方程(13)來(lái)表達(dá)，而基于此方程，計(jì)算使關(guān)于參照值的矩陣變換誤差最小的矩陣A。
E2＝|XYZref-XYZexp|2...(13)進(jìn)而，最小平方誤差法中使用的色彩空間可變成XYZ色彩空間以外的空間。例如，通過(guò)在將色彩空間變換成對(duì)人類(lèi)知覺(jué)均勻的Lab、Luv、Lch色彩空間(均勻知覺(jué)色彩空間)后進(jìn)行同樣的計(jì)算，可計(jì)算允許知覺(jué)誤差很少量的色彩再現(xiàn)的線性矩陣。由于這些色彩空間的值是從XYZ值由非線性變換計(jì)算的，故在最小平方誤差法中也使用非線性的計(jì)算算法。
按上述計(jì)算的結(jié)果，例如，對(duì)于具有圖18的光譜靈敏度特性的濾光器，計(jì)算以方程(14)表達(dá)的矩陣系數(shù)。
A=0.4760.9050.261-0.6910.21.154-0.061-0.292-0.0040.1480.148-0.481···(14)]]>在步驟S45處確定線性矩陣。例如，當(dāng)生產(chǎn)的最終RGB圖像數(shù)據(jù)以下面的方程(15)來(lái)表達(dá)時(shí)，線性矩陣(LinearM)如以下計(jì)算。
RGBout＝[Ro，Go，Bo]t...(15)即，當(dāng)照明光是D65時(shí)，將sRGB色彩空間變換成XYZ色彩空間的變換方程以含ITU-R709.BT矩陣的方程(16)來(lái)表達(dá)，并由此ITU-R709.BT矩陣的逆矩陣而計(jì)算方程(17)。
XYZ=0.41240.35760.18050.21260.71520.07220.01930.11920.9505·RsRGBGsRGBBsRGB...(16)]]>RsRGBGsRGBBsRGB=3.2406-1.5372-0.4986-0.96891.87580.04150.0557-0.2041.057·XYZ...(17)]]>基于方程(12)的矩陣變換方程、方程(15)和方程(17)的ITU-R709.BT矩陣的逆矩陣而計(jì)算方程(18)。在方程(18)的右邊，含有作為其中ITU-R709.BT矩陣的逆矩陣和上述矩陣A的乘積值的線性矩陣。
R0G0B0=3.2406-1.5372-0.4986-0.96891.87580.04150.0557-0.2041.057·a0a1a2a3a4a5a6a7a8a9a10a11·RfG1fG2fBf...(18)]]>即，3×4線性矩陣(LinearM)以方程(19-1)來(lái)表達(dá)，而對(duì)于例如使用方程(14)的矩陣系數(shù)、具有圖18的光譜靈敏度特性的4色彩色濾光器的線性矩陣，以方程(19-2)來(lái)表達(dá)。
Linear M=10111213141516171819110111]]>=3.2406-1.5372-0.4986-0.96891.87580.04150.0557-0.2041.057·a0a1a2a3a4a5a6a7a8a9a10a11...(19-1)]]>Linear M=1.2381.0840.228-1.55-0.0871.295-0.3090.101-0.018-0.0291.535-0.485...(19-2)]]>按以上方式計(jì)算的線性矩陣被提供給圖13的線性矩陣處理部95。結(jié)果，由于可由線性變換對(duì)代表亮度的信號(hào)(R，G1，G2，B)進(jìn)行矩陣處理，故當(dāng)與像圖2所示的信號(hào)處理部11中的處理那樣，對(duì)執(zhí)行γ處理后所得的信號(hào)進(jìn)行矩陣處理的情形比較時(shí)，就色彩動(dòng)力學(xué)而言可再現(xiàn)更忠實(shí)的色彩。
接下來(lái)，說(shuō)明在圖14的步驟S6處進(jìn)行的評(píng)價(jià)。
當(dāng)對(duì)例如按以上方式生產(chǎn)的、設(shè)有具有圖18的光譜靈敏度特性的4色彩色濾光器的圖像處理設(shè)備(圖8的數(shù)碼相機(jī))的色彩再現(xiàn)特性與設(shè)有圖1所示的3色彩色濾光器的圖像處理設(shè)備的色彩再現(xiàn)特性之間做比較時(shí)，出現(xiàn)以下的差。
例如，當(dāng)麥克白圖由2種圖像處理設(shè)備(設(shè)有4色彩色濾光器的數(shù)碼相機(jī)和設(shè)有3色彩色濾光器的數(shù)碼相機(jī))之一攝影時(shí)的輸出值和參照值之間的Lab色彩空間中的色差由下面的方程(20)計(jì)算。
ΔE=(L1-L2)2+(a1-a2)2+(b1-b2)2...(20)]]>方程中L1-L2表示2個(gè)樣品的亮度差，a1-a2、b1-b2表示2個(gè)樣品的色調(diào)/色度的分量差。
圖20表示由方程(20)的計(jì)算結(jié)果。如圖20所示，在設(shè)有3色彩色濾光器的數(shù)碼相機(jī)的情形中色差是“3.32”，而在設(shè)有4色彩色濾光器的數(shù)碼相機(jī)的情形中色差則是“1.39”。于是，設(shè)有4色彩色濾光器的數(shù)碼相機(jī)的“色彩的外部特征”更出色(色差更小)。
圖21表示當(dāng)具有圖6的光譜反射率的物體R1和R2由設(shè)有4色彩色濾光器的數(shù)碼相機(jī)攝影時(shí)的RGB值。
在圖21中，物體R1的R值被設(shè)成“49.4”、G值被設(shè)成“64.1”、B值被設(shè)成“149.5”。物體R2的R值被設(shè)成“66.0”、G值被設(shè)成“63.7”、B值被設(shè)成“155.6”。因此，如上述，當(dāng)由3色彩色濾光器攝影時(shí)，RGB值如圖7B所示，而每個(gè)物體的色彩未被識(shí)別。相反，在4色彩色濾光器中，物體R1的RGB值和R2的RGB值不同，而與眼睛見(jiàn)到物體的情形(圖7A)一樣，每個(gè)物體的色彩被識(shí)別的情況如圖21所示。即，提供能識(shí)別4種色彩的濾光器的結(jié)果是“色彩判別特性”得以改善。
在以上，如圖9所示，4色彩色濾光器61被排列成B濾光器設(shè)在G1濾光器的左右、而R濾光器設(shè)在G2濾光器的左右的布局。或者，4色彩色濾光器61也可排列成圖22所示的布局。在圖22所示的4色彩色濾光器61中，R濾光器設(shè)在G1濾光器的左右，而B(niǎo)濾光器設(shè)在G2濾光器的左右。而且，由這樣的4色彩色濾光器61布置，與圖9所示的類(lèi)似，“色彩判別特性”、“色彩再現(xiàn)特性”和“噪音減低特性”得以改善。
產(chǎn)業(yè)應(yīng)用性根據(jù)本發(fā)明，可忠實(shí)地再現(xiàn)所攝影的色彩。
進(jìn)而，根據(jù)本發(fā)明，可改善“色彩判別特性”。
此外，根據(jù)本發(fā)明，可改善“色彩再現(xiàn)特性”和“噪音減低特性”。
根據(jù)本發(fā)明，可改善“色彩的外部特征”。
權(quán)利要求
1.一種圖像處理設(shè)備，包括提取裝置，用于提取三原色的第1至第3光、以及與所述三原色的所述第1至第3光中的所述第2光具有高相關(guān)的第4光；變換裝置，用于將由所述提取裝置提取的所述第1至第4光變換成對(duì)應(yīng)的第1至第4色彩信號(hào)；和信號(hào)生成裝置，用于基于所述第1至第4色彩信號(hào)而生成對(duì)應(yīng)于所述三原色的第5至第7色彩信號(hào)，其中所述信號(hào)生成裝置根據(jù)為了使基于預(yù)定色塊而計(jì)算的參照值和基于所述色塊、通過(guò)所述提取裝置的光譜靈敏度特性計(jì)算的輸出值之間的、在預(yù)定評(píng)價(jià)值處的差分最小而給出的變換方程，而生成所述第5至第7色彩信號(hào)。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中提取所述第1至第4光的所述提取裝置具有用于分別提取所述第1至第4光的第1至第4提取部構(gòu)成的單元，而分別提取所述第2光和所述第4光的所述第2提取部和所述第4提取部在所述單元處對(duì)角地放置。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中所述第2提取部和所述第4提取部具有與亮度信號(hào)的可視靈敏度特性近似的光譜靈敏度特性。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述三原色的所述第1至第3光分別是紅、綠和藍(lán)光，而所述第4光是綠光。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述差分是XYZ色彩空間中的差分。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述差分是均勻知覺(jué)色彩空間中的差分。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述差分是用于色分隔的傳播噪音。
8.一種用于圖像處理設(shè)備的圖像處理方法，所述圖像處理方法包括提取步驟，提取三原色的第1至第3光、以及與所述三原色的所述第1至第3光中的所述第2光具有高相關(guān)的第4光；變換步驟，將由所述提取步驟的處理提取的所述第1至第4光變換成對(duì)應(yīng)的所述第1至第4色彩信號(hào)；和信號(hào)生成步驟，基于所述第1至第4色彩信號(hào)而生成對(duì)應(yīng)于所述三原色的第5至第7色彩信號(hào)，其中所述信號(hào)生成步驟根據(jù)為了使基于預(yù)定色塊而計(jì)算的參照值和基于所述色塊、由所述提取裝置的光譜靈敏度特性計(jì)算的輸出值之間的、在預(yù)定的評(píng)價(jià)值處的差分最小而給出的變換方程，而生成所述第5至第7色彩信號(hào)。
9.一種圖像處理設(shè)備的制造方法，該圖像處理設(shè)備包括提取裝置，用于從入射光中提取預(yù)定的色彩分量；和變換裝置，用于將由所述提取裝置提取的色彩分量的光變換成對(duì)應(yīng)的色彩信號(hào)，所述制造方法包括以下步驟提供所述變換裝置的第1步驟；和第2步驟，在所述第1步驟的處理提供所述變換裝置前，通過(guò)使用預(yù)定評(píng)價(jià)系數(shù)來(lái)確定光譜靈敏度特性，來(lái)生產(chǎn)用于提取三原色的第1至第3光、以及與所述三原色的所述第1至第3光中的所述第2光具有高相關(guān)的第4光的提取裝置。
10.根據(jù)權(quán)利要求9所述的制造方法，其中在所述第2步驟中，形成由分別提取所述第1至第4光的第1至第4提取部構(gòu)成的單元，作為所述提取裝置，而分別提取所述第2光和所述第4光的所述第2提取部和所述第4提取部在所述單元處對(duì)角地放置。
11.根據(jù)權(quán)利要求9所述的制造方法，其中所述評(píng)價(jià)系數(shù)是用于使所述第2提取部和所述第4提取部的光譜靈敏度特性與亮度信號(hào)的可視靈敏度特性近似的評(píng)價(jià)系數(shù)。
12.根據(jù)權(quán)利要求11所述的制造方法，其中所述評(píng)價(jià)系數(shù)是既考慮色彩再現(xiàn)特性也考慮噪音減低特性的評(píng)價(jià)系數(shù)。
13.根據(jù)權(quán)利要求9所述的制造方法，其中在所述第2步驟中，所述三原色的第1至第3光分別是紅、綠和藍(lán)光，而所述第4光是綠光。
14.根據(jù)權(quán)利要求9所述的制造方法，進(jìn)一步包括第3步驟，生產(chǎn)生成裝置，所述生成裝置基于由所述變換裝置變換所述第1至第4光而生成的第1至第4色彩信號(hào)，來(lái)生成對(duì)應(yīng)于所述三原色的第5至第7色彩信號(hào)。
全文摘要
一種能夠忠實(shí)地再現(xiàn)色彩并減低噪音的圖像處理設(shè)備和方法、和該圖像處理設(shè)備的制造方法。4色濾光器(61)包括僅允許紅光透過(guò)的R濾光器、僅允許藍(lán)光透過(guò)的B濾光器、僅允許第1波長(zhǎng)波段中的綠光透過(guò)的G1濾光器和僅允許第2波長(zhǎng)波段中的綠光透過(guò)的G2濾光器，作為最小單元。G1濾光器和G2濾光器在最小單元處配置在相互對(duì)角的位置。RGB信號(hào)是基于透過(guò)4色濾光器(61)、由圖像傳感器獲得的4種信號(hào)而生成的。本發(fā)明可適用于諸如數(shù)碼相機(jī)等的圖像處理設(shè)備。
文檔編號(hào)H04N1/60GK1643936SQ0380643
公開(kāi)日2005年7月20日 申請(qǐng)日期2003年2月26日 優(yōu)先權(quán)日2002年3月20日
發(fā)明者水倉(cāng)貴美, 加藤直哉, 中島健, 永濱裕喜 申請(qǐng)人:索尼株式會(huì)社