專利名稱：圖像拾取裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種適于拾取目標(biāo)圖像的圖像拾取裝置和圖像拾取方法，尤其涉及一種適于以適合圖像拾取靈敏度的方式執(zhí)行圖像拾取操作的圖像拾取裝置和圖像拾取方法。
而且，本申請(qǐng)要求于2002年12月25日提交的日本專利申請(qǐng)第2002-375423號(hào)的優(yōu)先權(quán)，在此全文引用作為參考。
背景技術(shù)：
近些年，面向消費(fèi)者的圖像拾取裝置(數(shù)碼相機(jī)、和/或彩色掃描儀等)和圖像處理軟件已經(jīng)普及了。親自通過圖像處理軟件編輯通過圖像拾取裝置拾取目標(biāo)圖像而產(chǎn)生的圖像的用戶日益增加。而且，關(guān)于已經(jīng)由圖像拾取裝置拾取的圖像的圖形質(zhì)量的需求變得更強(qiáng)。在購(gòu)買圖像拾取裝置時(shí)提到圖片質(zhì)量高作為主要條件的用戶比率也日益增加。下面將描述圖像拾取裝置的總體構(gòu)造。
在圖像拾取裝置中，使用例如如圖1所示的用于三原色RGB的濾色鏡1。在該示例中，濾色鏡1由所謂Bayer結(jié)構(gòu)構(gòu)成，以總共四個(gè)濾光器作為由圖1的單條虛線所示的最小單元，其中兩個(gè)G濾光器僅允許綠光(G)通過，一個(gè)R濾光器僅允許紅光(R)通過，并且一個(gè)B濾色鏡僅允許藍(lán)光(B)通過。
圖2是示出信號(hào)處理單元11的結(jié)構(gòu)示例的方框圖，所述信號(hào)處理單元11用于對(duì)由具有RGB濾色鏡1的CCD(電荷耦合裝置)獲取的RGB信號(hào)實(shí)現(xiàn)各種處理。
偏移校正處理單元21用于消除包含在從前端13傳送的圖像信號(hào)中的偏移分量，用以對(duì)由CCD圖像拾取裝置獲取的信號(hào)進(jìn)行預(yù)定處理，以便向白平衡校正處理單元22輸出由此獲得的圖像信號(hào)。白平衡校正處理單元22基于從偏移校正處理單元21傳送的圖像信號(hào)的色溫和濾色鏡1的各個(gè)濾光器的靈敏度的差異來校正各個(gè)顏色的平衡。將經(jīng)受白平衡校正處理單元22校正而獲取的彩色信號(hào)輸出至伽馬(γ)校正處理單元23。伽馬校正處理單元23對(duì)于從白平衡校正處理單元22傳送的信號(hào)執(zhí)行伽馬校正，以便向垂直方向同時(shí)(同步)處理單元24輸出由此獲取的信號(hào)。在垂直方向同時(shí)處理單元24，提供延遲元件。已經(jīng)從伽馬校正處理單元23傳送的信號(hào)的垂直方向的時(shí)移被同時(shí)化(同步化)。
RGB信號(hào)產(chǎn)生處理單元25執(zhí)行用于將從垂直方向同時(shí)處理單元24傳送的彩色信號(hào)插入相同空間的相位的插入處理、用于抑制或消除信號(hào)的噪聲分量的噪聲抑制(消除)處理、用于限制信號(hào)頻帶的過濾處理、和用于校正信號(hào)帶的高頻分量的高頻校正處理等等，以便向亮度信號(hào)產(chǎn)生處理單元26和色差信號(hào)產(chǎn)生處理單元27輸出由此獲得的RGB信號(hào)。
亮度信號(hào)產(chǎn)生處理單元26以預(yù)定合成比率合成已從RGB信號(hào)產(chǎn)生處理單元25傳送的RGB信號(hào)，以便產(chǎn)生亮度信號(hào)(Y)。色差信號(hào)產(chǎn)生處理單元27以預(yù)定合成比率類似地合成從RGB信號(hào)產(chǎn)生處理單元25傳送的RGB信號(hào)，以便產(chǎn)生色差信號(hào)(Cb，Cr)。例如，由亮度信號(hào)產(chǎn)生處理單元26產(chǎn)生的亮度信號(hào)(Y)和由色差信號(hào)產(chǎn)生處理單元27產(chǎn)生的色差信號(hào)(Cb、Cr)被輸出至在信號(hào)處理單元11的外部提供的監(jiān)視器。
以上述的方式，通常執(zhí)行對(duì)原始信號(hào)的伽馬處理，并且之后通過線性變換處理來進(jìn)行圖像處理(線性矩陣處理)。
在上述圖像拾取裝置中，存在下述情況，其中由于當(dāng)拾取目標(biāo)圖像來產(chǎn)生圖像時(shí)，觀看的方式根據(jù)觀察時(shí)的視覺環(huán)境變化，可以不執(zhí)行對(duì)期望顏色的再現(xiàn)。這是在圖像拾取操作(下文稱作圖像拾取光源)時(shí)的光源和在觀察時(shí)的光源(下文稱作觀察光源)的顯色特性彼此大大不同時(shí)發(fā)生的現(xiàn)象。有鑒于此，在待審日本專利申請(qǐng)No.2002-142231等公開中提出了一種即使在通過具有不同于圖像拾取光源的顯色特性的觀察光源再現(xiàn)圖像的情況中也滿意地執(zhí)行顏色再現(xiàn)的方法。而且，圖3和4示出了光譜靈敏度的特性，圖3的曲線L1表示R的光譜靈敏度，曲線L2表示G的光譜靈敏度，以及曲線L3表示B的光譜靈敏度。另外，圖4的曲線L11表示R的光譜靈敏度，曲線L12表示G的光譜靈敏度，以及曲線L13表示B的光譜靈敏度。
另一方面，在上述的圖像拾取裝置中，執(zhí)行線性矩陣處理的添加，并且進(jìn)一步執(zhí)行圖像拾取裝置的濾色鏡的添加，從而能夠顯著地提高顏色再現(xiàn)特性(再現(xiàn)性)。在該示例中，當(dāng)確定所使用的線性矩陣的系數(shù)由此簡(jiǎn)單地最小化色差時(shí)，存在與現(xiàn)有技術(shù)相比可能增加噪聲的情況。

發(fā)明內(nèi)容
本發(fā)明的一方面是提供一種能夠使用系數(shù)來執(zhí)行線性矩陣處理的圖像拾取裝置和圖像拾取方法，其中取決于圖像拾取環(huán)境和/或圖像拾取條件等來考慮顏色再現(xiàn)特性和噪聲減少特性。
根據(jù)本發(fā)明的圖像拾取裝置是指一種包括圖像拾取單元的圖像拾取裝置，所述圖像拾取單元由具有不同光譜特性的濾色鏡組成并用于拾取目標(biāo)圖像，所述圖像拾取裝置包括調(diào)節(jié)部件，用于調(diào)節(jié)顏色再現(xiàn)值和表示噪聲感覺的噪聲值；矩陣系數(shù)確定部件，用于基于調(diào)節(jié)部件的調(diào)節(jié)來確定矩陣系數(shù)；和矩陣變換處理部件，用于基于矩陣系數(shù)對(duì)在圖像拾取器件單元處所拾取的圖像執(zhí)行矩陣變換處理。
另外，根據(jù)本發(fā)明的圖像拾取方法是指一種通過圖像拾取裝置來拾取目標(biāo)圖像的圖像拾取方法，所述圖像拾取裝置包括由具有不同光譜特性的濾色鏡組成的圖像拾取單元并用于拾取目標(biāo)圖像，所述圖像拾取方法包括第一步驟，用于調(diào)節(jié)顏色再現(xiàn)值和表示噪聲感覺的噪聲值；第二步驟，用于基于第一步驟的調(diào)節(jié)來確定矩陣系數(shù)；和第三步驟，用于基于矩陣系數(shù)對(duì)在圖像拾取器件單元處所拾取的圖像執(zhí)行矩陣變換處理。
通過以下給出的實(shí)施例的描述，本發(fā)明的其他方面和通過本發(fā)明獲得的實(shí)際優(yōu)點(diǎn)將變得更加明顯。


圖1是示出傳統(tǒng)RGB濾色鏡的示例視圖；圖2是示出傳統(tǒng)圖像拾取裝置中提供的信號(hào)處理單元的結(jié)構(gòu)示例的方框圖；圖3是示出光譜靈敏度特性的示例視圖；圖4是示出光譜靈敏度特性的另一示例視圖；圖5是示出應(yīng)用本發(fā)明的圖像拾取裝置的結(jié)構(gòu)示例的方框圖；圖6是示出在應(yīng)用本發(fā)明的圖像拾取裝置中提供的四色濾色鏡的示例視圖；圖7是示出光譜發(fā)光效能曲線的示例視圖；圖8是示出估計(jì)系數(shù)的特征的視圖；
圖9是示出應(yīng)用本發(fā)明的圖像拾取裝置具有的照相機(jī)系統(tǒng)LSI的結(jié)構(gòu)示例的方框圖；圖10是示出圖9的信號(hào)處理單元的結(jié)構(gòu)示例的方框圖；圖11是用于解釋圖像處理單元的預(yù)備處理的流程圖；圖12是用于解釋用于確定圖11的步驟S1的確定四色濾色鏡的處理的細(xì)節(jié)流程圖；圖13是示出實(shí)際曲線的示例視圖；圖14(A)到14(C)是示出每個(gè)濾色鏡的UMG值的示例視圖；圖15是示出四色濾色鏡的光譜靈敏度特性的示例視圖；圖16是用于解釋圖11的步驟S2的線性矩陣確定處理的細(xì)節(jié)流程圖；圖17是示出色差的估計(jì)結(jié)果的示例視圖；圖18是示出四色濾色鏡的預(yù)定目標(biāo)的色度的視圖；圖19是示出在應(yīng)用本發(fā)明的圖像拾取裝置中提供的四色濾色鏡的另一示例視圖；圖20是示出自適應(yīng)確定線性矩陣系數(shù)M的流程圖；圖21是示出當(dāng)改變顏色再現(xiàn)特性指數(shù)時(shí)噪聲減少特性指數(shù)的改變狀態(tài)的視圖；圖22是示出四色濾色鏡的光譜靈敏度特性的示例視圖；和圖23是示出圖像的直方圖的視圖。
具體實(shí)施例方式
圖5是示出應(yīng)用本發(fā)明的圖像拾取裝置的結(jié)構(gòu)示例的方框圖。
在圖5所示的圖像拾取裝置中，在由CCD(電荷耦合器件)等組成的圖像傳感器45的正面(與透鏡42相對(duì)的表面)處提供用于在四種顏色(光線)之間進(jìn)行鑒別的濾色鏡。應(yīng)當(dāng)注意，在所述圖像拾取裝置中，在圖5的圖像傳感器45處提供的濾色鏡作為圖6所示的四色濾色鏡61。
四色濾色鏡61由作為由圖6的單虛線表示的最小單元的總計(jì)四個(gè)濾光器組成，其中R濾光器僅允許紅光通過，B濾光器僅允許藍(lán)光通過，G1濾光器僅允許第一波長(zhǎng)帶的綠光通過，和G2濾光器允許第二波長(zhǎng)帶的綠光通過，該G2濾光器與G1濾光器具有高相關(guān)性。而且，G1濾光器和G2濾光器在其最小單元內(nèi)以彼此對(duì)角的位置排列。
如后面詳細(xì)描述的，由圖像傳感器45獲取的圖像的顏色數(shù)量是四種，并且將被獲取的顏色信息增加，從而與其中僅獲取三種顏色(RGB)的情況相比，能夠更精確地表示顏色。而且，變得能夠改善下列事實(shí)眼睛看上去為不同顏色的顏色被再現(xiàn)為不同的顏色，并且看上去相同顏色的顏色被再現(xiàn)為相同的顏色(“顏色的鑒別特性”)。
應(yīng)當(dāng)注意，如從圖7所示的光譜發(fā)光效能所理解的，人眼對(duì)亮度敏感。因此，在圖6所示的四色濾色鏡61中，存在補(bǔ)充的G2濾色鏡，其具有接近于光譜發(fā)光效能曲線的光譜靈敏度特性，在該光譜發(fā)光效能曲線中獲取了更精確的亮度信息，從而可以提高亮度的等級(jí)，并且可以再現(xiàn)接近于眼睛觀看到的圖像(存在關(guān)于對(duì)應(yīng)于圖1的R、G、B的R、G1、B濾光器而新確定的補(bǔ)充綠色G2濾光器)。
而且，作為確定濾色鏡61使用的濾色鏡估算系數(shù)，使用了UMG(UnifiedMeasure of Goodness，優(yōu)度統(tǒng)一測(cè)量)，其是一個(gè)系數(shù)，其中考慮了例如“顏色再現(xiàn)特性”和“噪聲減少特性”。
在使用UMG的估算中，在將被估算的濾光器簡(jiǎn)單滿足路由(router)條件但是也考慮各個(gè)濾光器的光譜靈敏度分布的重疊的情況下，其估算值不會(huì)變高。因此，與利用q因子、μ因子或FOM(質(zhì)量因數(shù))估算濾色鏡的情況相比，可以更多地減少噪聲。也就是，通過使用UMG的估算，選擇其中各個(gè)濾光器的光譜靈敏度特性彼此重疊至一定的程度的濾光器，但是在圖4的R特性和G特性的情況下，基本上所有特性都不重疊。為此，即使在各個(gè)彩色信號(hào)被放大用以分離顏色的情況下，也不必使放大系數(shù)太大。在這之后，抑制放大噪聲分量。
圖8是示出各個(gè)濾光器估算系數(shù)的特征的視圖。注意，圖8示出了與可被一次估算的濾光器的數(shù)量、是否考慮目標(biāo)的光譜反射因子、以及是否關(guān)于各個(gè)估算系數(shù)考慮噪聲的減少相關(guān)的事項(xiàng)。
如圖8所示，q因子表示可被一次估算的濾光器的數(shù)量?jī)H是“1”，并且不考慮目標(biāo)的光譜反射因子和噪聲的減少。而且，μ因子表示當(dāng)可以一次估算多個(gè)濾光器時(shí)不考慮目標(biāo)的光譜反射因子和噪聲的減少。另外，F(xiàn)OM表示當(dāng)可以一次估算多個(gè)濾光器并考慮目標(biāo)的光譜反射因子時(shí)，不考慮噪聲的減少。
相反，在確定四色濾色鏡61中使用的UMG表示一次可估算多個(gè)濾光器，并且考慮目標(biāo)的光譜反射因子也考慮噪聲的減少。
注意，在‘H.E.J.Neugebauer“Quality Factor for Filters Whose SpectralTransmittances are Different from Color Mixture Curves，and Its Application toColor Photography”JOURNAL OF THE OPTICAL SOCIETY OF AMERICA，46卷，NUMBER 10’中公開了q因子的細(xì)節(jié)，并且在‘P.L.Vora and H.J.Trussell，“Measure of Goddness of a set of color-scanning filters”，JOURNAL OF THEOPTICAL SOCIETY OF AMERICA，10卷，NUMBER 7’中公開了μ因子的細(xì)節(jié)。另外，在‘G.Sharma and H.J.Trussell，“Figures of Merit for ColorScanners”，IEEE TRANSACTION ON IMAGE PROCESSING，卷6’中公開了FOM的細(xì)節(jié)，并且在‘S.Quan、N.Ohta、and N.Katoh，“Optimal Design ofCamera Spectral Sensitivity Functions Based on Practical Filter Components”，CIC，2001’中公開了UMG的細(xì)節(jié)。
返回到圖5的解釋，微型計(jì)算機(jī)41根據(jù)預(yù)定控制程序控制整個(gè)操作。例如，微型計(jì)算機(jī)41執(zhí)行光圈43的曝光控制、快門44的打開/關(guān)閉控制、TG(定時(shí)發(fā)生器)46的電子快門的控制、前端47的增益控制、照相機(jī)系統(tǒng)LSI(大規(guī)模集成電路)48的模式控制、和參數(shù)控制等。
光圈43調(diào)節(jié)由透鏡42會(huì)聚的光的通過(光圈)，以便控制由圖像傳感器45接收的光量?？扉T44根據(jù)微型計(jì)算機(jī)41的指示來控制由透鏡42會(huì)聚的光的通過。
圖像傳感器45還包括由CCD或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)組成的圖像拾取裝置，并且用于將通過在圖像拾取裝置的正面處形成的四色濾色鏡61的入射光線轉(zhuǎn)換為電信號(hào)，以便向前端47輸出四種彩色信號(hào)(R信號(hào)、G1信號(hào)、G2信號(hào)、B信號(hào))。在圖像傳感器45，提供圖6的四色濾色鏡61，因此從通過透鏡42的入射光線提取R、G1、G2、B的各個(gè)帶的波長(zhǎng)分量。注意，后面將參考圖15描述其細(xì)節(jié)。
前端47對(duì)從圖像傳感器45傳送的彩色信號(hào)執(zhí)行相關(guān)雙取樣處理以消除噪聲分量、增益控制處理和數(shù)字轉(zhuǎn)換處理等。將經(jīng)受前端47各種處理之后獲得的圖像數(shù)據(jù)輸出至照相機(jī)系統(tǒng)LSI 48。
如后面詳細(xì)所述的，照相機(jī)系統(tǒng)LSI 48對(duì)從前端47傳送的圖像數(shù)據(jù)執(zhí)行各種處理，以便產(chǎn)生例如亮度信號(hào)和彩色信號(hào)，從而將那些信號(hào)輸出至圖像監(jiān)視器50，并且允許圖像監(jiān)視器50顯示與所述信號(hào)對(duì)應(yīng)的圖像。
圖像存儲(chǔ)器49由例如DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)、或者SDRAM(同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)等組成，并且當(dāng)照相機(jī)系統(tǒng)LSI 48執(zhí)行各種處理時(shí)該圖像存儲(chǔ)器49被適當(dāng)?shù)乩谩ｊP(guān)于例如圖5的圖像拾取裝置，構(gòu)成由半導(dǎo)體存儲(chǔ)器或盤等組成的可拆卸的外部存儲(chǔ)介質(zhì)51，由此向其中存儲(chǔ)由照相機(jī)系統(tǒng)LSI 48以JPEG(聯(lián)合圖像專家組)格式壓縮的圖像數(shù)據(jù)。
圖像監(jiān)視器50由例如LCD(液晶顯示器)等組成，并且用于顯示所拾取的圖像和/或各種菜單畫面等。
圖9是示出圖5所示的照相機(jī)系統(tǒng)LSI 48的配置示例的方框圖。通過微型計(jì)算機(jī)接口(I/F)73，由圖5所示微型計(jì)算機(jī)41控制組成照相機(jī)系統(tǒng)LSI 48的各個(gè)塊。
信號(hào)處理單元71對(duì)于從前端47傳送的四種顏色信息執(zhí)行諸如插入處理、過濾處理、矩陣操作處理、亮度信號(hào)產(chǎn)生處理和/或色差信號(hào)產(chǎn)生處理等的各種處理，以便通過監(jiān)視器接口77向圖像監(jiān)視器50輸出所產(chǎn)生的圖像信號(hào)。
圖像檢測(cè)單元72根據(jù)前端47的輸出執(zhí)行諸如自動(dòng)聚焦、自動(dòng)曝光、和/或自動(dòng)白平衡等檢測(cè)處理，以便當(dāng)時(shí)機(jī)需要時(shí)向微型計(jì)算機(jī)41輸出其結(jié)果。
存儲(chǔ)器控制器75控制處理塊之間的數(shù)據(jù)的相互發(fā)送/接收，或者預(yù)定處理塊與圖像存儲(chǔ)器49之間的數(shù)據(jù)的發(fā)送/接收，以便通過存儲(chǔ)器接口74向圖像存儲(chǔ)器49輸出例如從信號(hào)處理單元71傳送的圖像數(shù)據(jù)，并且允許圖像存儲(chǔ)器49存儲(chǔ)所述圖像數(shù)據(jù)。
圖像壓縮/解壓(提取)單元76以例如JPEG格式壓縮從信號(hào)處理單元71傳送的圖像數(shù)據(jù)，以便通過微型計(jì)算機(jī)接口73向外部存儲(chǔ)介質(zhì)51輸出由此獲得的數(shù)據(jù)，從而允許外部存儲(chǔ)介質(zhì)51存儲(chǔ)上述數(shù)據(jù)。圖像壓縮/解壓?jiǎn)卧?6還解壓或提取(擴(kuò)展)已從外部存儲(chǔ)介質(zhì)51讀出的壓縮數(shù)據(jù)，以便通過監(jiān)視器接口77向圖像監(jiān)視器50輸出由此獲得的數(shù)據(jù)。
圖10是示出圖9所示的信號(hào)處理單元71的詳細(xì)配置示例的方框圖。經(jīng)由微型計(jì)算機(jī)接口73，通過微型計(jì)算機(jī)41控制組成信號(hào)處理單元71的各個(gè)塊。
偏移校正處理單元91消除包含在從前端47傳送的圖像信號(hào)中的噪聲分量(偏移分量)，以便向白平衡校正處理單元92輸出由此獲得的圖像信號(hào)。白平衡校正處理單元92用于根據(jù)從偏移校正處理單元91傳送的圖像信號(hào)的色溫和四色濾色鏡61的各個(gè)濾光器的靈敏度之間的差來校正各個(gè)顏色的平衡。將經(jīng)受白平衡校正處理單元92的校正獲取的彩色信號(hào)輸出至垂直方向同時(shí)(同步)處理單元93。在垂直方向同時(shí)處理單元93，提供了延遲元件。因此，同時(shí)化或同步(校正)從白平衡校正處理單元92輸出的信號(hào)(下文稱作RG1 G2B信號(hào))在垂直方向上的時(shí)移。
信號(hào)產(chǎn)生處理單元94執(zhí)行用于將從垂直方向同時(shí)處理單元93傳送的RG1G2B信號(hào)的最小單元的2×2像素彩色信號(hào)插入到相同空間的相位的插入處理、用于消除信號(hào)的噪聲分量的噪聲消除處理、用于限制信號(hào)帶的過濾處理、和用于校正信號(hào)帶的高頻分量的高頻校正處理等，以便將由此獲得的RG1G2B信號(hào)輸出至線性矩陣處理單元95。
線性矩陣處理單元95根據(jù)預(yù)定線性矩陣系數(shù)(3×4矩陣)通過公式(1)來執(zhí)行RG1G2B信號(hào)的運(yùn)算(計(jì)算)，以便產(chǎn)生三色RGB信號(hào)。
RGB=abcdefghijkl·RG1G2B...(1)]]>由線性矩陣處理單元95產(chǎn)生的R信號(hào)被輸出至伽馬校正處理單元96-1，G信號(hào)被輸出至伽馬校正處理單元96-2，以及B信號(hào)被輸出至伽馬校正處理單元96-3。
伽馬校正處理單元96-1至96-3對(duì)已從線性矩陣處理單元95輸出的RGB信號(hào)的各個(gè)信號(hào)執(zhí)行伽馬校正，以便向亮度(Y)信號(hào)產(chǎn)生處理單元97和色差(C)信號(hào)產(chǎn)生處理單元98輸出由此獲取的RGB信號(hào)。
亮度信號(hào)產(chǎn)生處理單元97按照例如公式(2)以預(yù)定合成比率合成從伽馬校正處理單元96-1至96-3傳送的RGB信號(hào)，以便產(chǎn)生亮度信號(hào)(Y)。
Y＝0.2126R+0.7152G+0.0722B ...(2)色差信號(hào)產(chǎn)生處理單元98以預(yù)定合成比率類似地合成從伽馬校正處理單元96-1至96-3傳送的RGB信號(hào)，以便產(chǎn)生色差信號(hào)(C)，從而向帶限制細(xì)化(thinning)處理單元99輸出由此產(chǎn)生的色差信號(hào)(C)。帶限制細(xì)化處理單元99根據(jù)色差信號(hào)(C)產(chǎn)生色差信號(hào)(Cb，Cr)。注意，在通過單芯片2×2顏色編碼獲得的信號(hào)中，顏色信息帶通常不存在，而在亮度信號(hào)中存在該顏色信息帶。因此，帶限制細(xì)化處理單元99對(duì)從彩色信號(hào)產(chǎn)生處理單元98傳送的色差信號(hào)(C)執(zhí)行帶限制處理和細(xì)化處理，從而減少顏色信息數(shù)據(jù)并產(chǎn)生色差信號(hào)(Cb，Cr)。
通過例如圖9所示的監(jiān)視器接口77，將由亮度信號(hào)產(chǎn)生處理單元97產(chǎn)生的亮度信號(hào)(Y)、和由色差信號(hào)產(chǎn)生處理單元98產(chǎn)生的色差信號(hào)(C)、或者由帶限制細(xì)化處理單元99產(chǎn)生的色差信號(hào)(Cb、Cr)輸出至圖像監(jiān)視器50。
在具有上述配置的圖像拾取裝置中，在指示圖像的拍攝的情況下，微型計(jì)算機(jī)41控制TG46通過圖像傳感器45拍攝圖像。也就是，通過在構(gòu)成圖像傳感器45的例如CCD等的圖像拾取裝置(下文稱作CCD圖像拾取裝置)的正面處形成的四色濾色鏡61來發(fā)送四色光線。通過CCD圖像拾取裝置來接收由此發(fā)送的光線。將由CCD圖像拾取裝置接收的光線轉(zhuǎn)換為四色的彩色信號(hào)。將由此獲得的彩色信號(hào)輸出至前端47。
前端47對(duì)從圖像傳感器45傳送的彩色信號(hào)執(zhí)行消除噪聲分量的相關(guān)雙取樣處理、增益控制處理、和數(shù)字轉(zhuǎn)換處理等，以便向照相機(jī)系統(tǒng)LSI 48輸出由此獲得的圖像數(shù)據(jù)。
在照相機(jī)系統(tǒng)LSI 48的信號(hào)處理單元71處，通過偏移校正處理單元91消除彩色信號(hào)的偏移分量，并且通過白平衡校正處理單元92根據(jù)圖像信號(hào)的色溫和四色濾色鏡61的各個(gè)濾光器的靈敏度之間的差異來校正各個(gè)顏色的平衡。
另外，通過垂直方向同時(shí)處理單元93來同時(shí)化或同步(校正)由白平衡校正處理單元92校正的信號(hào)的垂直方向的時(shí)移，并且通過信號(hào)產(chǎn)生處理單元94執(zhí)行用于將從垂直方向同時(shí)處理單元93傳送的RG1G2B信號(hào)的最小單元的2×2像素彩色信號(hào)插入相同空間的相位的插入處理、用于消除信號(hào)的噪聲分量的噪聲消除處理、用于限制信號(hào)帶的過濾處理、和用于校正信號(hào)帶的高頻分量的高頻帶校正處理等。
另外，在線性矩陣處理單元95，根據(jù)預(yù)定線性矩陣系數(shù)M(矩陣3×4)來變換由信號(hào)產(chǎn)生處理單元94產(chǎn)生的信號(hào)(RG1G2B信號(hào))。由此，產(chǎn)生三色的RGB信號(hào)。線性矩陣處理單元95產(chǎn)生的R信號(hào)被輸出至伽馬校正處理單元96-1，G信號(hào)被輸出至伽馬校正處理單元96-2，以及B信號(hào)被輸出至伽馬校正處理單元96-3。
對(duì)于通過線性矩陣處理單元95的處理獲得的RGB信號(hào)的各個(gè)信號(hào)，通過伽馬校正處理單元96-1至96-3執(zhí)行伽馬校正。由此獲取的RGB信號(hào)被輸出至亮度信號(hào)產(chǎn)生處理單元97和色差信號(hào)產(chǎn)生單元98。在亮度信號(hào)產(chǎn)生處理單元97和色差信號(hào)產(chǎn)生處理單元98，以預(yù)定合成比率合成從伽馬校正處理單元96-1至96-3傳送的R信號(hào)、G信號(hào)和B信號(hào)中的每個(gè)信號(hào)。由此，產(chǎn)生亮度信號(hào)(Y)和色差信號(hào)(C)。由亮度信號(hào)產(chǎn)生處理單元97產(chǎn)生的亮度信號(hào)(Y)和由色差信號(hào)產(chǎn)生處理98產(chǎn)生的色差信號(hào)(C)被輸出至圖9的圖像壓縮/提取單元76，并且通過例如JPEG格式壓縮。通過微型計(jì)算機(jī)接口73，經(jīng)受壓縮而獲得的圖像數(shù)據(jù)被輸出至外部存儲(chǔ)介質(zhì)51并被存儲(chǔ)在其中。
由于以上述方式根據(jù)四種彩色信號(hào)形成了一個(gè)圖像數(shù)據(jù)，其再現(xiàn)特性導(dǎo)致更接近于人類的眼睛所見。
另一方面，當(dāng)指示再現(xiàn)(顯示)在外部存儲(chǔ)介質(zhì)51存儲(chǔ)的圖像數(shù)據(jù)時(shí)，通過微型計(jì)算機(jī)41讀出存儲(chǔ)在外部存儲(chǔ)介質(zhì)51中的圖像數(shù)據(jù)。已由此讀出的圖像數(shù)據(jù)被輸出至照相機(jī)系統(tǒng)LSI 48的圖像壓縮/提取單元76。在圖像壓縮/提取單元76，擴(kuò)展壓縮的圖像數(shù)據(jù)。因此，通過監(jiān)視器接口77在圖像監(jiān)視器50上顯示與所獲得的數(shù)據(jù)對(duì)應(yīng)的圖像。
然后，參考圖11所示的流程圖來解釋用于預(yù)備具有上述配置的圖像拾取裝置的處理(過程)。
在步驟S1，執(zhí)行用于確定四色濾色鏡的處理，用以確定在圖5所示的圖像傳感器45提供的四色濾色鏡61的光譜靈敏度特性。在步驟S2，執(zhí)行用于確定矩陣系數(shù)M的線性矩陣系數(shù)M確定處理，所述矩陣系數(shù)M是在圖10所示的線性矩陣處理單元95設(shè)定的。后面將參考圖12所示的流程圖描述在步驟S1執(zhí)行的、用于確定四色濾色鏡的處理細(xì)節(jié)，并且后面將參考圖16所示的流程圖描述在步驟S2執(zhí)行的、用于確定線性矩陣系數(shù)M的處理細(xì)節(jié)。
在確定四色濾色鏡61因此確定矩陣系數(shù)之后，在步驟S3準(zhǔn)備圖10所示的信號(hào)處理單元71。因此，處理繼續(xù)到步驟S4，在步驟S4準(zhǔn)備圖9所示的照相機(jī)系統(tǒng)LSI48。而且，在步驟S5，準(zhǔn)備如圖5所示的整個(gè)圖像拾取裝置(例如數(shù)碼相機(jī))。在步驟S6，執(zhí)行在步驟S5準(zhǔn)備的圖像拾取裝置的圖形質(zhì)量(“顏色再現(xiàn)特性”、“顏色鑒別特性”)的估算。如此，處理完成。
這里，將解釋在估算“顏色再現(xiàn)特性”和“顏色鑒別特性”等中涉及的目標(biāo)顏色。目標(biāo)顏色是通過在可見光范圍(例如400到700nm)內(nèi)積分“目標(biāo)的光譜反射因子”、“標(biāo)準(zhǔn)照明的光譜能量分布”、和“感測(cè)目標(biāo)的傳感器(濾色鏡)的光譜靈敏度分布(特性)”的乘積而獲得的值計(jì)算的。即，通過公式(3)來計(jì)算目標(biāo)顏色。
目標(biāo)顏色＝k∫vis(目標(biāo)的光譜反射因子)·(照明的光譜能量分布)...(3)·(用于感測(cè)目標(biāo)的傳感器的光譜靈敏度分布)dλλ波長(zhǎng)vis可見光區(qū)域(通常400納米至700納米)例如，在通過眼睛觀察預(yù)定目標(biāo)的情況下，公式(3)的“傳感器的光譜靈敏度特性”由顏色匹配函數(shù)表示，以及該目標(biāo)的目標(biāo)顏色由三個(gè)激勵(lì)值X、Y、Z表示。簡(jiǎn)言之，通過公式(4-1)計(jì)算值X，通過公式(4-2)計(jì)算值Y，并且通過公式(4-3)計(jì)算值Z。注意，通過公式(4-4)計(jì)算公式(4-1)到(4-3)中的常數(shù)k的值。
X＝k∫visR(λ)·P(λ)·x(λ)dλ ...(4-1)Y＝k∫visR(λ)·P(λ)·y(λ)dλ ...(4-2)Z＝k∫visR(λ)·P(λ)·z(λ)dλ ...(4-3)R(λ)目標(biāo)的光譜反射因子x(λ)，y(λ)，z(λ)顏色匹配函數(shù)k＝1/∫P(λ)·y(λ)dλ ...(4-4)另外，在通過諸如數(shù)碼相機(jī)等圖像拾取裝置拍攝預(yù)定目標(biāo)圖像的情況下，公式(3)的“傳感器的光譜靈敏度特性”由濾色鏡的光譜靈敏度特性表示，并且計(jì)算例如在RGB濾光器(三種)的情況下目標(biāo)的目標(biāo)顏色值(RGB值(三重))。在圖像拾取裝置處提供用于檢測(cè)三種顏色的RGB濾光器的情況下，實(shí)際上通過公式(5-1)計(jì)算值R，通過公式(5-2)計(jì)算值G，并且通過公式(5-3)計(jì)算值B。而且，通過公式(5-4)計(jì)算公式(5-1)中的常數(shù)kr值，通過公式(5-5)計(jì)算公式(5-2)中的常數(shù)kg值，并且通過公式(5-6)計(jì)算公式(5-3)中的常數(shù)kb值。
R＝kr∫visR(λ)·P(λ)·r(λ)dλ ...(5-1)G＝kg∫visR(λ)·P(λ)·g(λ)dλ ...(5-2)B＝kb∫visR(λ)·P(λ)·b(λ)dλ ...(5-3)r(λ)，g(λ)，b(λ)濾色鏡的光譜靈敏度分布kr＝1/∫visP(λ)·r(λ)dλ...(5-4)kg＝1/∫visP(λ)·g(λ)dλ...(5-5)kb＝1/∫visP(λ)·b(λ)dλ...(5-6)然后，將參考圖12所示的流程圖解釋用于確定四色濾色鏡的處理，所述處理是在圖11所示的步驟S1執(zhí)行的。
注意，盡管存在各種用以確定四色濾色鏡的方法，但是將關(guān)于下面的處理給出解釋其中，例如RGB濾光器作為基礎(chǔ)(一個(gè)現(xiàn)有(圖1)的G濾光器作為G1濾光器)，并且選擇允許與通過G1濾光器發(fā)送的顏色具有高相關(guān)性的顏色穿過的G2濾光器來補(bǔ)充G2濾光器，由此確定四色濾色鏡。
在步驟S21，選擇用于計(jì)算UMG值的顏色對(duì)象。例如，在步驟S21，選擇顏色對(duì)象，其中包含了表示現(xiàn)存顏色的許多色標(biāo)(color patch)，并包含了其中重點(diǎn)在于人類的記憶色(膚色、綠色植物、藍(lán)天等)的許多色標(biāo)。作為顏色對(duì)象，存在例如IT8.7、Macbeth Color Checker、GretargMacbeth DigitalCameraColor Checker、CIE、Color Bar等。
另外，根據(jù)目標(biāo)，可以作為標(biāo)準(zhǔn)的色標(biāo)可以是從諸如SOCS(標(biāo)準(zhǔn)目標(biāo)顏色光譜數(shù)據(jù)庫(kù))等的數(shù)據(jù)準(zhǔn)備的，以使用由此準(zhǔn)備的色標(biāo)。注意，在‘JohjiTajima，“Statistical Color Reproduction Evaluation by Standard Object ColorSpectra Database(SOCS)”，Color forum JAPAN 99’中公開了SOCS的細(xì)節(jié)。下面將結(jié)合Machbeth Color Checker被選擇為顏色對(duì)象的情況給出解釋。
在步驟S22，確定G2濾光器的光譜靈敏度特性。作為光譜靈敏度特性，可以使用可能從現(xiàn)存材料準(zhǔn)備的光譜靈敏度特性，或者可以使用通過如圖13所示的三次樣條函數(shù)曲線(三次樣條函數(shù))假設(shè)虛擬曲線C(λ)而獲得的光譜靈敏度特性，所述三次樣條函數(shù)曲線用于改變所示范圍內(nèi)的虛擬曲線C(λ)的峰值λ0、值w(通過將w1與w2的和除以2而獲得的值)、以及值Δw(通過將w1與w2的差除以2而獲得的值)。注意，基于半值寬度值設(shè)定w和Δw的值。作為改變?chǔ)?、w、Δw的方法，假設(shè)那些值以例如5納米的間距改變。虛擬曲線C(λ)在各自的范圍內(nèi)由下列公式(6-1)到(6-5)表示。
C(λ)=w23+3w22(w2-|λ-λ0|)+3w2(w2-|λ-λ0|)2-3(w2-|λ-λ0|)36w23]]>∧0≤λ-λ0≤w2...(6-1)C(λ)=w13+3w12(w1-|λ-λ0|)+3w1(w1-|λ-λ0|)2-3(w1-|λ-λ0|)36w23]]>∧-w1≤λ-λ0≤0 ...(6-2)C(λ)=(2w2-|λ-λ0|)36w23]]>∧w2≤λ-λ0≤2w2...(6-3)C(λ)=(2w1-|λ-λ0|)36w13]]>∧-2w1≤λ-λ0≤-w1...(6-4)
C(λ)＝0∧上述范圍以外 ...(6-5)注意，盡管在該示例中僅補(bǔ)充了濾光器G2，但是可以使用圖1所示的濾光器(R、G、G、B)的R濾光器和B濾光器來確定剩余的兩個(gè)G1、G2濾光器，作為綠色附近的上述公式(6-1)至(6-5)的虛擬曲線。另外，類似地，可以僅使用圖1所示的濾光器中的R和G、和僅G和B。另外，在四色濾色鏡當(dāng)中，可以定義三色濾色鏡作為虛擬曲線，并且可以定義四色濾色鏡全部為虛擬曲線。
在步驟S23，組合將被補(bǔ)充的濾色鏡(G2濾色鏡)和現(xiàn)存濾色鏡(R濾色鏡、G1濾色鏡、B濾色鏡)，從而準(zhǔn)備四色濾色鏡的最小單元(組)。而且，在步驟S24，UMG被用作關(guān)于在步驟S23準(zhǔn)備的四色濾色鏡的濾色鏡估算系數(shù)。因此，計(jì)算UMG值。
如參考圖8所解釋的，在使用UMG的情況下，對(duì)于各個(gè)四色濾色鏡可以一次執(zhí)行估算。另外，不但通過考慮目標(biāo)的光譜反射因子來執(zhí)行估算，而且通過考慮噪聲的減少特性進(jìn)行估算。由于在使用UMG的估算中，關(guān)于在各個(gè)濾光器的光譜靈敏度特性中具有適當(dāng)重疊的濾光器指示較高的估算，因此能夠抑制對(duì)于例如具有其中R特性和G特性在寬波長(zhǎng)帶相互重疊的特性的濾光器(當(dāng)分離各個(gè)彩色信號(hào)時(shí)噪聲被放大的濾光器)指示較高的估算。
圖14是示出在三色濾光器處計(jì)算的UMG值的示例的視圖。例如，在具有圖14(A)所示的特性的濾光器中，其中RGB的特性互相不重疊，計(jì)算UMG值“0.7942”。在具有圖14(B)所示的特性的濾光器中，其中R特性和G特性在寬波長(zhǎng)帶上互相重疊，計(jì)算UMG值“0.8211”。而且，在具有圖14(C)所示的特性的濾光器中，其中RGB各自的特性適當(dāng)?shù)鼗ハ嘀丿B，計(jì)算UMG值“08879”。也就是，關(guān)于具有圖14(C)所示的特性的濾光器，其中RGB各自的特性適當(dāng)?shù)鼗ハ嗖恢丿B，指示最高估算。這也類似地應(yīng)用于四色濾色鏡。在該示例中，圖14(A)所示的曲線L31、圖14(B)所示的曲線L41和圖14(C)所示的曲線L51表示R光譜靈敏度，圖14(A)所示的曲線L32、圖14(B)所示的曲線L42和圖14(C)所示的曲線L521表示G光譜靈敏度，并且圖14(A)所示的曲線L33、圖14(B)所示的曲線L43和圖14(C)所示的曲線L53表示B光譜靈敏度。
在步驟S25，判斷在步驟S24計(jì)算的UMG值是否是預(yù)定閾值“0.95”或更大的值。在判斷UMG值小于“0.95”的情況下處理繼續(xù)到步驟S26，因此(不使用)禁用準(zhǔn)備的四色濾色鏡。在步驟S26，在禁用四色濾色鏡的情況下，之后完成處理(不執(zhí)行圖11所示的步驟S2及其之后步驟的處理)。
另一方面，在步驟S25，在判斷步驟S24計(jì)算的UMG值是“0.95”或更大的情況下，在步驟S27使該四色濾色鏡成為數(shù)碼相機(jī)中使用的候選濾光器。
在步驟S28，判斷在步驟S27成為候選濾光器的四色濾光器是否可以由現(xiàn)有材料/染料實(shí)現(xiàn)。在難以獲取材料/染料等的情況下，判斷不能實(shí)現(xiàn)這種濾色鏡。處理繼續(xù)到步驟S26。結(jié)果，禁用四色濾色鏡。
另一方面，在判斷可以獲取材料/染料等，從而可以實(shí)現(xiàn)這種濾色鏡的情況下，處理繼續(xù)到步驟S29。因此，由此準(zhǔn)備的四色濾色鏡被確定為在數(shù)碼相機(jī)中使用的濾光器。之后，執(zhí)行圖11所示的步驟S2及其隨后步驟的處理。
圖15是示出已在步驟S29確定的四色濾色鏡的光譜靈敏度特性的示例的視圖。
在圖15中，曲線L61表示R的光譜靈敏度，曲線L62表示G1的光譜靈敏度。而且，曲線L63表示G2的光譜靈敏度，和曲線L64表示B的光譜靈敏度。如圖15所示，G2的光譜靈敏度曲線(曲線L63)與G1的光譜靈敏度曲線(曲線L62)具有較高相關(guān)性。而且，R的光譜靈敏度、G(G1，G2)的光譜靈敏度和B的光譜靈敏度在合適的范圍內(nèi)互相重疊。
通過利用以上述方式確定的四色濾色鏡，變得能夠顯著地提高“顏色再現(xiàn)特性”的“顏色的鑒別特性”。
注意，從光的利用效率的觀點(diǎn)來看，最好是，以上述方式將與現(xiàn)有RGB濾光器的G濾光器具有高相關(guān)性的濾光器制成將被補(bǔ)充的濾光器(G2濾光器)。這樣，期望將被補(bǔ)充的濾光器的光譜靈敏度曲線的峰值在試驗(yàn)上存在于范圍495至535納米內(nèi)(在現(xiàn)存G濾光器的光譜靈敏度曲線的峰值附近)。
而且，在與現(xiàn)存G濾光器具有高相關(guān)性的濾光器的情況下，由于組成圖1所示的最小單元(R、G、G、B)的兩個(gè)G濾光器之一僅被制成將被補(bǔ)充的濾色鏡，從而具有準(zhǔn)備四色濾色鏡的能力，因此不必極大地改變生產(chǎn)處理步驟。
在以上述方式準(zhǔn)備四色濾色鏡并且在數(shù)碼相機(jī)處提供由此準(zhǔn)備的濾色鏡的情況下，由于四種彩色信號(hào)是圖10所示的信號(hào)處理單元71處的信號(hào)產(chǎn)生處理單元94傳遞的，因此在線性矩陣處理單元95處執(zhí)行用于從四色(R、G1、G2、B)信號(hào)產(chǎn)生三色(R、G、B)信號(hào)的變換處理。由于這一變換處理是關(guān)于亮度線性輸入信號(hào)值(亮度值可以由線性變換處理表示)的矩陣處理，因此當(dāng)時(shí)機(jī)需要時(shí)下文中將線性矩陣處理單元95處執(zhí)行的變換處理稱作線性矩陣處理。
然后，將參考圖16所示的流程圖來解釋在圖11所示的步驟S2執(zhí)行的線性矩陣系數(shù)M確定處理。應(yīng)當(dāng)注意，使在線性矩陣系數(shù)M確定處理中使用的顏色對(duì)象為Macbeth Color Checker，并且使所使用的四色濾色鏡具有圖15所示的光譜靈敏度特性。
在步驟S41，例如選擇在CIE(Commision International’s Eclairange，國(guó)際照明委員會(huì))中用作標(biāo)準(zhǔn)光源的普通日光D65(照明光L(λ))作為照明光。注意，所述照明光可被變換為其中期望頻繁使用圖像處理裝置的環(huán)境的照明光等。而且，在存在假設(shè)的多個(gè)照明環(huán)境的情況下，可以想象準(zhǔn)備多個(gè)線性矩陣?，F(xiàn)在將描述日光D65被選擇為照明光的情況。
在步驟S42，計(jì)算參考值Xr、Yr、Zr。簡(jiǎn)言之，通過公式(7-1)計(jì)算參考值Xr，通過公式(7-2)計(jì)算參考值Yr，并且通過公式(7-3)計(jì)算參考值Zr。
Xr＝k∫visR(λ)·L(λ)·x(λ)dλ...(7-1)Yr＝k∫visR(λ)·L(λ)·y(λ)dλ...(7-2)Zr＝k∫visR(λ)·L(λ)·z(λ)dλ...(7-3)R(λ)目標(biāo)的光譜反射因子x(λ)，y(λ)，z(λ)顏色匹配函數(shù)而且，通過公式(8)來計(jì)算常數(shù)k。
k＝1/∫visL(λ)·y(λ)dλ...(8)例如，在顏色對(duì)象是Macbeth Color Checker的情況下，計(jì)算與24種顏色對(duì)應(yīng)的參考值。
然后，在步驟S43，計(jì)算四色濾色鏡的輸出值Rf、G1f、G2f、Bf。簡(jiǎn)言之，通過公式(9-1)計(jì)算Rf，通過公式(9-2)計(jì)算G1f，通過公式(9-3)計(jì)算G2f，并且通過公式(9-4)計(jì)算Bf。
Rf＝kr∫visR(λ)·L(λ)·r(λ)dλ ...(9-1)G1f＝kg1∫visR(λ)·L(λ)·g1(λ)dλ...(9-2)G2f＝kg2∫visR(λ)·L(λ)·g2(λ)dλ...(9-3)Bf＝kb∫visR(λ)·L(λ)·b(λ)dλ ...(9-4)r(λ)，g1(λ)，g2(λ)，b(λ)濾色鏡的光譜靈敏度分布而且，通過公式(10-1)計(jì)算常數(shù)kr，通過公式(10-2)計(jì)算常數(shù)kg1，通過公式(10-3)計(jì)算常數(shù)kg2，并且通過公式(10-4)計(jì)算常數(shù)kb。
kr＝1/∫visL(λ)·r(λ)dλ...(10-1)kg1＝1/∫visL(λ)·g1(λ)dλ...(10-2)kg2＝1/∫visL(λ)·g2(λ)dλ...(10-3)kb＝1/∫visL(λ)·b(λ)dλ...(10-4)例如，在顏色對(duì)象是Macbeth Color Checker的情況下，計(jì)算與24種顏色對(duì)應(yīng)的輸出值Rf、G1f、G2f、Bf。
在步驟S44，在XYZ色彩空間，通過例如誤差最小平方方法計(jì)算用于執(zhí)行將在步驟S43計(jì)算的近似濾光器輸出值變換處理為在步驟S42計(jì)算的參考值(XYZref)的矩陣。
例如，在將要被計(jì)算的3×4矩陣假設(shè)為公式(11)所示的A的情況下，通過下列公式(12)來表示矩陣變換(XYZexp)。
A=a0a2a3a4a4a5a6a7a8a9a10a11...(11)]]>XYZexp=X^Y^Z^=a0a2a3a4a4a5a6a7a8a9a10a11·RfG1fG2fBf...(12)]]>而且，通過下列公式(13)來表示關(guān)于參考值的矩陣變換(公式(12))的誤差的平方(E2)。根據(jù)這一值，計(jì)算最小化關(guān)于參考值的矩陣變換的誤差的矩陣A。
E2＝|XYZref-XYZexp|2...(13)而且，可以將在誤差最小平方方法中使用的色彩空間變化為XYZ色彩空間以外的色彩空間。例如，可以執(zhí)行甚至關(guān)于人類的感觀知覺(感觀統(tǒng)一色彩空間)的、到Lab、Luv、Lch色彩空間的變換處理，之后執(zhí)行類似的操作，從而使得能夠計(jì)算允許感知的誤差較少的顏色再現(xiàn)的線性矩陣。注意，由于通過非線性變換處理從XYZ值計(jì)算色彩空間的這些值，在誤差最小平方方法中也使用非線性計(jì)算算法。
通過上述的操作，由公式(14)表示的矩陣系數(shù)被計(jì)算為關(guān)于具有例如圖15所示的光譜靈敏度特性的濾光器的矩陣系數(shù)。
A=0.4760.9050.261-0.6910.21.154-0.061-0.292-0.0040.1480.148-0.481...(14)]]>
在步驟S45，確定線性矩陣。例如，在將被準(zhǔn)備的最終RGB圖像數(shù)據(jù)假設(shè)由下列公式(15)表示的情況下，以下述方式來計(jì)算線性矩陣(LinearM)。
RGBout＝[R0，G0，B0]t...(15)也就是，在照明光是D65的情況下，通過包括ITU-R709.BT矩陣的公式(16)來表示將sRGB色彩空間變換為XYZ色彩空間的變換表達(dá)，并且通過ITU-R709.BT矩陣的逆矩陣來計(jì)算公式(17)。
XYZ=0.41240.35760.18050.21260.71520.07220.01930.11920.9505·RsRGBGsRGBBsRGB...(16)]]>RsRGBGsRGBBsRGB=3.2406-1.5372-0.4986-0.96891.87580.04150.0557-0.2041.057·XYZ...(17)]]>通過公式(12)的矩陣變換表達(dá)以及公式(15)和(17)的ITU-R709.BT矩陣的逆矩陣，計(jì)算公式(18)。在公式(18)的右邊，包括ITU-R709.BT矩陣的逆矩陣和作為乘以上述矩陣A的值的線性矩陣。
R0G0B0=3.2406-1.5372-0.4986-0.96891.87850.04150.0557-0.2041.057·a0a2a3a4a4a5a6a7a8a9a10a11·RfG1fG2fBr...(18)]]>也就是，通過公式(19-1)來表示3×4線性矩陣(LinearM)。通過公式(19-2)來表示關(guān)于具有圖15所示的光譜分布特性的四色濾色鏡的線性矩陣，其中例如使用了公式(14)的矩陣系數(shù)。
LinearM=lal2l3l4l4l5l6l7l8l8l10l11]]>=3.2406-1.5372-0.4986-0.96891.87580.04150.0557-0.2041.057·a0a2a3a4a4a5a6a7a8a9a10a11...(19-1)]]>LinearM=1.2381.0840.228-1.55-0.0871.295-0.3090.101-0.018-0.0291.535-0.485...(19-2)]]>
以上述方式計(jì)算的線性矩陣被傳送至圖10所示的線性矩陣處理單元95。因此，由于能夠關(guān)于其中亮度可由線性變換表示的信號(hào)(R、G1、G2、B)執(zhí)行矩陣處理，所以從顏色工程學(xué)的角度，與在圖2所示的信號(hào)處理單元11處的處理的情況一樣，與關(guān)于伽馬處理而獲得的信號(hào)執(zhí)行矩陣處理的情況相比，能夠再現(xiàn)具有更高保真度的顏色。
然后，將解釋圖11所示的在步驟S6執(zhí)行的估算。
在執(zhí)行被提供有例如具有圖15所示的光譜靈敏度特性的四色濾色鏡(其以上述的方式被準(zhǔn)備)的圖像拾取裝置的顏色再現(xiàn)特性與被提供有圖1所示的三色濾色鏡的圖像處理單元的顏色再現(xiàn)特性之間的比較的情況下，出現(xiàn)以下描述的差異。
例如，通過下列公式(20)分別計(jì)算當(dāng)Macbeth圖的圖像被兩種圖像輸入裝置(被提供有四色濾色鏡的圖像拾取裝置和被提供有三色濾色鏡的圖像拾取裝置)拾取時(shí)的輸出值與參考值之間的Lab色彩空間的色差。
ΔE=(L1-L2)2+(a1-a2)2+(b1-b2)2...(20)]]>L1-L2表示兩個(gè)樣本之間的亮度差，以及a1-a2、b1-b2表示兩個(gè)樣本的色調(diào)/飽和度的分量差。
圖17是示出公式(20)的計(jì)算結(jié)果的視圖。如圖17所示，在圖像拾取裝置被提供有三色濾色鏡的情況下，色差是“3.32”，而在圖像拾取裝置被提供有四色濾色鏡的情況下，色差是“1.39”。被提供有四色濾色鏡的圖像拾取裝置處的“觀看顏色的方式”更出色(色差很小)。
在圖18，目標(biāo)R1的R值被設(shè)定為“49.4”，其G值被設(shè)定為“64.1”，其B值被設(shè)定為“149.5”，并且目標(biāo)R2的R值被設(shè)定為“66.0”，其G值被設(shè)定為“63.7”，其B值被設(shè)定為“155.6”。因此，在四色濾色鏡中，目標(biāo)R1的RGB值和目標(biāo)R2的RGB值變成彼此不同的值。類似于眼睛所看到的目標(biāo)的情況，鑒別各個(gè)目標(biāo)的顏色。也就是，提供能夠鑒別四種顏色的濾光器，因此改善“顏色的鑒別特性”。
當(dāng)在上面的示例中通過配置來構(gòu)成四色濾色鏡61從而在G1濾光器的左右側(cè)提供B濾光器，并且在如圖6所示的G2濾光器的左右側(cè)提供R濾光器時(shí)，通過如圖19所示的配置來構(gòu)成這種濾色鏡。在圖19所示的四色濾色鏡61中，在G1濾光器的左右側(cè)提供R濾光器，并且在G2濾光器的左右側(cè)提供B濾光器。同樣通過以這種方式構(gòu)成濾色鏡61，變得能夠類似于在圖6所示的濾色鏡提高“顏色的鑒別特性”、“顏色的再現(xiàn)特性”和“噪聲的減少特性”。
同時(shí)，在以這種方式確定線性矩陣系數(shù)M從而最小化色差(ΔE值)的情況下，如果在圖像傳感器45的前級(jí)部分處形成的濾色鏡的光譜靈敏度如圖4所示彼此重疊，則如由公式(21)所示線性矩陣系數(shù)M之間的差變大。
r′(λ)g′(λ)b′(λ)=6.56-5.541.18-2.013.12-0.160.12-0.281.07·r(λ)g(λ)b(λ)...(21)]]>由于在圖像拾取裝置的輸出信號(hào)中包含了非常小的噪聲分量，因此當(dāng)使用這種線性矩陣系數(shù)M來執(zhí)行顏色分離處理時(shí)，也放大了非常小的噪聲分量。因此，產(chǎn)生這樣的必要性，即其中考慮噪聲減少特性，而不是考慮顏色再現(xiàn)特性，從而線性矩陣系數(shù)M之間的差不會(huì)較大。然而，存在以下情況，即其中當(dāng)目標(biāo)圖像實(shí)際由所述圖像拾取裝置拾取時(shí)，利用一種在將重點(diǎn)放在噪聲減少特性而不是顏色再現(xiàn)特性的條件下通過將被成像的場(chǎng)景和/或環(huán)境確定線性矩陣系數(shù)M以便適應(yīng)性執(zhí)行線性矩陣處理的方法，從而可以實(shí)現(xiàn)圖像質(zhì)量的改善。相反，存在以下情況，即其中利用一種將重點(diǎn)放在顏色再現(xiàn)特性而不是噪聲減少特性來確定線性矩陣系數(shù)M以便適應(yīng)性執(zhí)行線性矩陣處理的方法，從而可以實(shí)現(xiàn)圖像質(zhì)量的改善。另外，由于每個(gè)用戶使用圖像拾取裝置的用途不同，因此存在用戶期望任意執(zhí)行線性矩陣系數(shù)M的確定的示例。
有鑒于此，在根據(jù)本申請(qǐng)的發(fā)明的圖像拾取裝置中，為了解決上述問題，根據(jù)圖20所示的流程圖來確定線性矩陣系數(shù)M。
首先，執(zhí)行所使用的圖表和照明燈的確定(步驟S50)。然后，執(zhí)行顏色再現(xiàn)特性指數(shù)ΔE(M)的定義(步驟S51)。然后，執(zhí)行噪聲減少指數(shù)σN(M)的定義(步驟S52)。然后，執(zhí)行EEV(M)(誤差估算值)的定義(步驟S53)。并且，根據(jù)EEV(M)來確定線性矩陣系數(shù)M(步驟S54)。注意，在步驟S54，取決于圖像拾取條件等來適應(yīng)性地改變EEV(M)的系數(shù)，以便確定相應(yīng)的線性矩陣系數(shù)M。下面將解釋各個(gè)步驟的細(xì)節(jié)。
將解釋所使用的圖表和照明燈的確定(步驟S50)。為了確定線性矩陣系數(shù)M，必需確定比色圖表和用于照明該比色圖表的光源。作為比色圖表，存在組成色標(biāo)的可想象的各種反射圖或者傳輸圖，所述色標(biāo)具有多個(gè)統(tǒng)一顏色板，例如Macbeth Color Checker、Digital Camera Color Checker，IT8.7等。作為照明光，存在可想象的照明光(例如D55光源等)，其具有接近于頻繁使用成像拾取裝置的環(huán)境的光的光譜靈敏度。注意，由于可以想象在取決于用戶用途的各種光源下使用圖像拾取裝置，因此照明光不僅限于圖像拾取裝置被頻繁用作照明光的環(huán)境的光。
然后，將解釋顏色再現(xiàn)特性指數(shù)ΔE(M)的定義(步驟S51)。顏色再現(xiàn)特性通過對(duì)象顏色和在圖像拾取裝置的線性矩陣處理單元95處執(zhí)行線性矩陣處理的信號(hào)值所表示的顏色(下文稱作輸出顏色)之間的差來定義。注意，當(dāng)RGB值、YCbCr值或者XYZ值等可不同地想象為顏色的值時(shí)，一種用于使用其中感觀知覺與人眼所看到的相一致的色彩空間的值(L*a*b*value，L*u*v*value等)執(zhí)行定義處理的方法使得能夠更精確地表示色差。例如，當(dāng)比色圖表中的第k個(gè)色標(biāo)的對(duì)象顏色被假設(shè)為L(zhǎng)abref_k(L*ref_k，a*ref_k，b*ref_k)并且圖像拾取裝置的輸出顏色被假設(shè)為L(zhǎng)*a*b*shot_k(L*shot_k，a*shot_kb*shot_k)時(shí)，通過公式(22)來表示該色標(biāo)的色差ΔEk。
ΔEk=(L*ref_k-L*shot_k)2+(a*ref_k-a*shot_k)2+(b*ref_k-b*shot_k)2...(22)]]>而且，作為顏色再現(xiàn)特性指數(shù)ΔE(M)，存在比色圖表的各個(gè)色標(biāo)的可想象的平均ΔE值、和/或其中關(guān)于各個(gè)色標(biāo)執(zhí)行加權(quán)從而重點(diǎn)放在特定顏色的顏色再現(xiàn)特性的值等等。
ΔE=1TotalPatchNum∫k=1TotalPatchNumwk·ΔEk...(23)]]>在上面的公式中，wk表示關(guān)于各個(gè)色標(biāo)的權(quán)重系數(shù)，而TotalPatchNum表示色標(biāo)的總數(shù)。
而且，由于線性矩陣處理實(shí)際上被實(shí)現(xiàn)用來輸出圖像拾取裝置的顏色，L*a*b*shot_k表示線性矩陣系數(shù)M的函數(shù)值。因此，ΔEk和ΔE都導(dǎo)致函數(shù)值M。
ΔE(M)=1TotalPatchNum∫k=1TotalPatchNumwk·ΔEk(M)=]]>1TotalPatchNum∫k=1TotalPatchNumwk·(L*ref_k-L*shot_k(M))2+(a*ref_k-a*shot_k(M))2+(b*ref_k-b*shot_k(M))2...(24)]]>然后，將解釋噪聲減少特性指數(shù)σN(M)的定義(步驟S52)。通過信號(hào)值的標(biāo)準(zhǔn)偏差來定義噪聲減少特性指數(shù)σN(M)，其中在圖像拾取裝置的線性矩陣處理單元95處執(zhí)行線性矩陣處理。作為單個(gè)值，存在可想象的RGB值、YCbCr值或者XYZ值等。在這種情況下，一種用于使用其中感觀知覺與人眼所看到的一致的色彩空間的值(L*a*b*value，L*u*v*value等)定義信號(hào)值的方法使得能夠得到具有與人類感覺到的噪聲感覺更高相關(guān)性的噪聲值σNk。這時(shí)，噪聲值根據(jù)信號(hào)值的色彩空間導(dǎo)致色彩空間的各個(gè)分量的標(biāo)準(zhǔn)偏差。例如，在RGB空間的情況下，噪聲值導(dǎo)致σR，σG，σB。在XYZ空間的情況下，噪聲值導(dǎo)致σX，σY，σZ。在噪聲減少特性指數(shù)σN(M)的定義中，這些噪聲值被用來確定單個(gè)噪聲指數(shù)。例如，在照明光下拾取某一色標(biāo)的圖像的情況下，在考慮亮度和顏色噪聲的前提下，根據(jù)亮度噪聲σL*k和顏色噪聲σa*k，σb*k來定義L*a*b*空間的噪聲值σNk，如例如公式(25)所示。
σNk=(σL*kwL*k)2+(σa*kwa*k)2+(σb*kwb*k)2...(25)]]>在該示例中，wL*k、wa*k、wb*k表示關(guān)于各個(gè)標(biāo)準(zhǔn)偏差值的權(quán)重系數(shù)，并且都是通過關(guān)于人眼所感覺的噪聲感覺的相關(guān)性而適當(dāng)設(shè)置的。注意，使用其他色彩空間的變量值等的噪聲值可以被不同地想象為噪聲值σNk。作為噪聲減少特性指數(shù)σN(M)，存在比色圖表的各個(gè)色標(biāo)的可想象的平均σN值、和/或其中關(guān)于各個(gè)色標(biāo)執(zhí)行加權(quán)從而重點(diǎn)放在特定顏色的噪聲減少特性的值等等。
σN=1TotalPatchNum∫k=1TotalPatchNumwk·σNk...(26)]]>實(shí)際上，由于對(duì)圖像拾取裝置的信號(hào)值實(shí)現(xiàn)線性矩陣處理，因此σNk和σN都導(dǎo)致線性矩陣系數(shù)M的函數(shù)值。
σN(M)=1TotalPatchNum∫k=1TotalPatchNumwk·σNk(M)...(27)]]>然后，將解釋EEV(M)的定義(步驟S53)。通過上述步驟S51和S52的定義，以如公式(28)所示的方式來定義EEV(誤差估算值)(M)，其中考慮了作為線性矩陣系數(shù)M的函數(shù)值的顏色再現(xiàn)特性指數(shù)ΔE(M)和噪聲減少特性指數(shù)σN(M)這兩個(gè)值。
EEV(M)＝l[j{wc·h(ΔE(M))}+k{wn·i(σN(M))}]...(28)在上面的公式中，h、I、j、k、l表示函數(shù)，wc表示關(guān)于色差的權(quán)重系數(shù)，以及wn表示關(guān)于噪聲值的權(quán)重系數(shù)。通過改變wc和wn來確定線性矩陣系數(shù)M從而EEV(M)變成最小，可以進(jìn)行線性矩陣系數(shù)M的確定，其中考慮顏色再現(xiàn)特性和噪聲再現(xiàn)特性兩者。注意，在重點(diǎn)放在顏色再現(xiàn)特性的情況下設(shè)置權(quán)重為使得wc＞wn，并且在重點(diǎn)放在噪聲減少特性的情況下設(shè)置權(quán)重為使得wc＜wn是足夠的。
然后，將解釋用于確定線性矩陣系數(shù)M的部件(步驟S54)。將誤差最小平方方法應(yīng)用于由步驟S53定義的EEV(M)，以便確定線性矩陣系數(shù)M。在這種情況下，在步驟S54，適當(dāng)?shù)卮_定wc和wn以便使用，例如Newton方法、Steepest Descent方法或者Conjugate Gradient方法等作為遞歸算法，并且應(yīng)用誤差最小平方方法，并且由此確定線性矩陣系數(shù)M。
而且，在步驟S54，當(dāng)通過圖像拾取裝置拾取目標(biāo)圖像來通過誤差最小平方方法確定線性矩陣系數(shù)M時(shí)，通過環(huán)境和/或條件等自適應(yīng)改變關(guān)于色差的權(quán)重系數(shù)wc和在步驟S53定義的、關(guān)于EEV(M)的噪聲值的權(quán)重系數(shù)wn。圖21中示出了當(dāng)改變顏色再現(xiàn)特性指數(shù)ΔE(M)時(shí)噪聲值減少特性指數(shù)σN(M)的改變的狀態(tài)。如圖21所示，同樣在一個(gè)圖像拾取裝置中，通過線性矩陣系數(shù)M，存在顏色再現(xiàn)特性指數(shù)ΔE(M)與噪聲減少特性指數(shù)σN(M)的交換。使用這一結(jié)果，根據(jù)各種圖像拾取環(huán)境和條件等來適應(yīng)性地確定線性矩陣系數(shù)M。此外，可以預(yù)先準(zhǔn)備幾組線性矩陣系數(shù)M，以便允許用戶在時(shí)機(jī)需要時(shí)選擇線性矩陣系數(shù)M，以便調(diào)節(jié)顏色再現(xiàn)特性指數(shù)ΔE(M)和噪聲減少特性指數(shù)σN(M)。
這里，將描述一個(gè)實(shí)際的示例，其中在圖像拾取裝置包括由具有如圖22所示的特性的四色濾色鏡組成的CCD圖像拾取裝置的情況下，根據(jù)上述步驟S50到S54確定線性矩陣系數(shù)M。
首先，確定所使用的圖表和照明光(步驟S50)。作為比色圖表，使用Macbeth Color Checker(包括24色的色標(biāo))。作為照明光，使用D55光源(由CIE定義的5500k的標(biāo)準(zhǔn)日光)。注意，假設(shè)使用例如光譜輻射亮度計(jì)測(cè)量各個(gè)光譜數(shù)據(jù)。
然后，執(zhí)行顏色再現(xiàn)特性指數(shù)ΔE(M)的定義(步驟S51)。使得對(duì)象顏色對(duì)應(yīng)于人眼所見，并且使得Lab空間中的色差ΔE為指數(shù)。通常，如公式(29)所示，通過在可見光范圍vis(通常為400nmdao 700nm)內(nèi)對(duì)“目標(biāo)的光譜反射因子”、“照明的光譜亮度”、和“用于感測(cè)目標(biāo)的傳感器的光譜靈敏度”的乘積進(jìn)行積分而獲得的值來定義對(duì)象顏色，目標(biāo)顏色＝∫vis(目標(biāo)的光譜反射因子)·(照明的光譜亮度)·(用于感測(cè)目標(biāo)的傳感器的光譜靈敏度)...(29)
而且，當(dāng)使用表示人眼的光譜靈敏度的顏色匹配函數(shù)時(shí)，可以使用公式(29)通過公式(30)來表示比色圖表的第k個(gè)色標(biāo)的對(duì)象顏色XYZref_k(Xref_k，Yref_k，Zref_k)。
Xref_k=m∫visRk(λ)·L(λ)·x‾(λ)dλYref_k=m∫visRk(λ)·L(λ)·y‾(λ)dλZref_k=m∫visRk(λ)·L(λ)·z‾(λ)dλ...(30)]]>在上面的公式中，Rk(λ)Macebethchart內(nèi)的第k個(gè)色標(biāo)的光譜反射因子L(λ)照明光D55光譜輻射照明x，y，z顏色匹配函數(shù)m＝1/∫visL(λ)·y(λ)dλ而且，通常，使用公式(31)將XYZ空間的顏色轉(zhuǎn)換為L(zhǎng)*a*b*空間的顏色。
L*=116·(Y/Yn)1/3-16a*=500·{(X/Xn)1/3-(Y/Yn)1/3}b*=200·{(Y/Yn)1/3-(Z/Zn)1/3}...(31)]]>在上面的公式中，(Xn，Yn，Zn)表示完全散射反射表面(白光點(diǎn))的XYZ值。
而且，通過使用公式(31)將對(duì)象顏色XYZref_k轉(zhuǎn)換為L(zhǎng)*a*b*ref_k(L*ref_k，a*ref_k，b*ref_k)值。
另外，使用公式(29)通過公式(32)來表示從CCD圖像拾取裝置輸出的信號(hào)值的原始數(shù)據(jù)RGBXraw_k(Rraw_k，Graw_k，Braw_k，Xraw_k)。
Rraw_k=mr∫visRk(λ)·L(λ)·r‾(λ)dλGraw_k=mg∫visRk(λ)·L(λ)·g‾(λ)dλBraw_k=mb∫visRk(λ)·L(λ)·b‾(λ)dλXraw_k=mx∫visRk(λ)·L(λ)·x‾(λ)dλ...(32)]]>在上面的公式中，r，g，b，x照相機(jī)的CCD濾色鏡的光譜靈敏度分布mr＝1/∫visL(λ)·r(λ)dλmg＝1/∫visL(λ)·g(λ)dλmb＝1/∫visL(λ)·b(λ)dλmx＝1/∫visL(λ)·x(λ)dλ
由于圖像拾取裝置在線性矩陣處理單元95使用線性矩陣系數(shù)M(m0到m11)執(zhí)行原始數(shù)據(jù)RGBXraw_k(Rraw_k，Graw_k，Braw_k，Xraw_k)的線性矩陣處理，所以通過公式(33)來表示經(jīng)受線性矩陣處理之后的圖像拾取數(shù)據(jù)。
Rcam_kGcam_kBcam_k=M·Rraw_kGraw_kBraw_kXraw_k]]>=m0m1m2m3m4m5m6m7m8m9m10m11·Rraw_kGraw_kBraw_kXraw_k...(33)]]>另外，RGBcam_k被變換為XYZ值。注意，通常使用的709系統(tǒng)矩陣M709如用于變換處理的公式(34)所示被使用。
XYZ=M709·RGB=0.41240.35760.1805-0.96891.87580.04150.0557-0.2041.057·RGB...(34)]]>然后，使用公式(34)來確定Xcam_k，Ycam_k和Zcam_k。
Xcam_kYcam_kZcam_k=0.41240.35760.1805-0.96891.87580.04150.0557-0.2041.057·Rcam_kGcam_kBcam_k...(35)]]>而且，使用公式(31)來執(zhí)行到L*a*b*值(L*a*b*cam_k(L*cam_k，a*cam_k，b*cam_k))的變換處理，以便通過公式(36)確定比色圖表的第k個(gè)色標(biāo)的色差ΔEk。
ΔEk=(L*ref_k-L*cam_k)2+(a*ref_k-a*cam_k)2+(b*ref_k-b*cam_k)2...(36)]]>注意，由于使用了L*a*b*cam_k，ΔEk可以表示為ΔEk(M)，因?yàn)槠湟彩蔷€性矩陣系數(shù)M的函數(shù)值。顏色再現(xiàn)特性指數(shù)ΔE(M)被定義為各個(gè)色標(biāo)的色差的平均值，如公式(37)所示。
ΔE(M)=1TotalPatchNum∫k=1TotalPatchNumΔEk(M)...(37)]]>在公式中，TotalPatchNum＝24色標(biāo)的總數(shù)然后，執(zhí)行噪聲減少特性指數(shù)σN(M)的定義(步驟S52)。這里，根據(jù)包含在經(jīng)受圖像拾取裝置的線性矩陣處理單元95的線性矩陣處理的信號(hào)值中的σL(M)分量來定義噪聲減少特性指數(shù)σN(M)。
通常，通過公式(38)來定義包含在CCD圖像拾取裝置自身輸出的信號(hào)CV_CCD中的噪聲Noise_raw。
Noise_raw=ShotNoiseCoef·CV_CCD+DarkNoise]]>=ShotNoise+DarkNoise...(38)]]>注意，ShotNoiseCoef和DarkNoise是通過CCD圖像拾取裝置的裝置特性確定的值。DarkNoise表示不取決于信號(hào)值(固定模式噪聲等)的噪聲分量，和ShotNoise表示取決于信號(hào)值(Sensor Dark Noise，Photon Shot Noise等)的噪聲分量。
當(dāng)使用公式(31)時(shí)，通過公式(39)定義包含在將被估算的圖像拾取裝置的第k個(gè)色標(biāo)的原始數(shù)據(jù)中的噪聲分量。
NoiseRraw_k=ShotNoiseCoef·Rraw_k+DarkNoiseNoiseGraw_k=ShotNoiseCoef·Graw_k+DarkNoiseNoiseBraw_k=ShotNoiseCoef·Braw_k+DarkNoiseNoiseXraw_k=ShotNoiseCoef·Xraw_k+DarkNoise...(39)]]>另外，在文獻(xiàn)(P.D.Burns和R.S.Berns，“Error Propagation Anslysis inColor Measurament and Imaging”，Color Research and Application，1997)中，描述了如下解釋的噪聲傳播理論。
當(dāng)預(yù)定輸入信號(hào)X’＝[x1，x2，...，xn]假設(shè)被(m×n)矩陣A線性變換為Y’＝[y1，y2，...，ym]時(shí)，線性變換的信號(hào)由公式(40)表示。
Y’＝A·X’ …(40)當(dāng)輸入信號(hào)X’的變量-協(xié)方差矩陣∑x假設(shè)由公式(41)表示，則對(duì)角分量導(dǎo)致輸入信號(hào)的噪聲變化值。
如果輸入信號(hào)值相互之間沒有相關(guān)性，矩陣分量中的協(xié)方差分量(即非對(duì)角分量)變得等于零。這時(shí)，輸出信號(hào)Y的變量-協(xié)方差矩陣∑y由公式(42)定義。
∑y＝A·∑xA′…(42)注意，公式(42)導(dǎo)致可以通過線性變換而變換的色彩空間之間的噪聲變量值的傳播理論公式。
另外，為了將經(jīng)受圖像拾取裝置的線性矩陣處理單元95的線性矩陣處理的信號(hào)RGBcam_k轉(zhuǎn)換為L(zhǎng)*a*b*cam_k，需要執(zhí)行從RGB空間到XYZ空間的變換處理(下文稱作RGB→XYZ變換處理)，之后執(zhí)行從XYZ空間到L*a*b*space的變換處理(下文稱作XYZ→L*a*b*變換處理)。在RGB→XYZ變換處理中，能夠使用公式(34)所示的709系統(tǒng)M709來執(zhí)行線性變換，而在XYZ→L*a*b*變換處理中，必須以公式(31)所示的方式執(zhí)行非線性變換。然而，在XYZ→L*a*b*變換處理中，因?yàn)樵肼暳亢苄。钥梢允褂肑acobian矩陣JL*a*h*_k進(jìn)行線性近似。因此，能夠以類似于RGB→XYZ變換處理的方式通過線性變換執(zhí)行XYZ→L*a*b*變換處理。
當(dāng)通過將線性矩陣之后的信號(hào)值變換為XYZ值而獲得的值表達(dá)為XYZcam_k(Xcam_k，Ycam_k，Zcam_k)時(shí)，該值可以由公式(43)表示。
JL*a*b*_k=J0D(XYZcam_k)...(43)]]>在上面的公式中，J0如公式(44)所表達(dá)。
J0=01160500-50000200-200...(44)]]>而且，當(dāng)v(a，b)表達(dá)如下時(shí)，(a,b)=13·a23·b13ab>0.0088567.787·b-1ab≤0.008856]]>提供公式(45)。
D(XYZcam_k)=v(Xcam_k,Xn)000v(Ycam_k,Yn)000v(Zcam_k,Zn)...(45)]]>在上面的公式中，將完全散射的反射表面(白光點(diǎn))的XYZ值設(shè)定為XYZn(Xn、Yn、Zn)。
因此，用于將從CCD圖像拾取裝置輸出的原始數(shù)據(jù)線性變換為L(zhǎng)ab值的近似矩陣Mtotal_k如公式(46)所表示。
Mtotal_k=JL*a*b*_k·M709·M...(46)]]>當(dāng)應(yīng)用公式(46)的矩陣和公式(42)所示的噪聲傳播理論的公式時(shí)，可以通過公式(47)來計(jì)算第k個(gè)色標(biāo)處的亮度噪聲(lightness noise)σLk。
ΣL*a*b*_k=Σtotal_k·ΣRGBraw_k·Mtotal_k′]]>
σ2L*kσL*a*kσL*b*kσa*L*kσ2a*kσa*b*kσb*L*kσb*a*kσ2b*k=Mtotal_k·NoiseRawR_k0000NoiseRawG_k0000NoiseRawB_k0000NoiseRawX_k·Mtotal_k′...(47)]]>因此，能夠從公式(47)衍生公式(48)。
σL*k=σ2L*k...(48)]]>注意，由于公式(48)是線性矩陣系數(shù)M的函數(shù)，因此該公式可由σL*k(M)表示。由于噪聲減少特性指數(shù)σN(M)是色標(biāo)的各個(gè)亮度的平均值，可以通過公式(49)來定義σN(M)。
σN(M)=(1/24)·∫k=124σL*k(M)...(49)]]>然后，通過公式(50)來定義EEV(M)(步驟S53)，其中考慮了如上定義的顏色再現(xiàn)特性指數(shù)ΔE(M)和噪聲減少特性指數(shù)σN(M)。
EEV(M)=(wc·ΔE(M))2+(wn·σN(M))2...(50)]]>在上面的公式中，wc關(guān)于顏色再現(xiàn)特性的權(quán)重系數(shù)wn關(guān)于噪聲減少特性的權(quán)重系數(shù)然后，通過誤差最小平方方法來求解公式(50)，以便確定線性矩陣系數(shù)M。當(dāng)例如wc被設(shè)置為1和wn被設(shè)置為2時(shí)，通過公式(51)來表示EEV(M)。
EEV(M)=ΔE(M)2+(2·σN(M))2...(51)]]>通過誤差最小平方方法來求解公式(51)，以便通過公式(52)確定線性矩陣系數(shù)M(步驟S54)。
M=1.57-0.43-0.01-0.12-0.141.25-0.370.26-0.01-0.271.68-0.40...(52)]]>另一方面，其中wc被設(shè)定為1和wn被設(shè)定為0，即重點(diǎn)放在(僅關(guān)注)顏色再現(xiàn)特性的色差矩陣由公式(53)表示。
M=1.480.560.35-1.39-0.222.19-0.01-0.96-0.060.271.93-1.14...(53)]]>當(dāng)執(zhí)行公式(52)與公式(53)之間的比較時(shí)，可以確認(rèn)公式(53)的系數(shù)之間的差明顯更大，并且公式(53)是增加噪聲的矩陣。
這里，將描述用于按照?qǐng)D像拾取裝置的ISO靈敏度的設(shè)定來適應(yīng)性地確定線性矩陣系數(shù)M的實(shí)際示例。圖像拾取裝置按照ISO靈敏度的設(shè)定來放大或衰減從CCD圖像拾取裝置輸入的信號(hào)(下文稱作輸入信號(hào))。當(dāng)圖像拾取裝置的ISO靈敏度的設(shè)定從ISO100變化到ISO200時(shí)，放大輸入信號(hào)，從而它的值變成等于例如兩倍于ISO100時(shí)的值。將由此放大的輸入信號(hào)輸入至圖像拾取裝置。然而，在圖像拾取裝置中，由于不管ISO靈敏度的設(shè)定狀態(tài)如何，都使用關(guān)于所有輸入信號(hào)的相同線性矩陣系數(shù)M來執(zhí)行線性矩陣處理，因此在ISO靈敏度的設(shè)定較高的情況下，在放大輸入信號(hào)之后一起放大包含在輸入信號(hào)中的噪聲分量。因此，即使當(dāng)嘗試提高ISO靈敏度的設(shè)定來獲得高分辨率的圖像時(shí)，也將產(chǎn)生其中包含放大的噪聲分量的圖像。
有鑒于此，在根據(jù)本申請(qǐng)的發(fā)明的圖像拾取裝置中，通過考慮包含在根據(jù)ISO靈敏度設(shè)置而放大或衰減的輸入信號(hào)中的噪聲分量的減少特性來確定線性矩陣系數(shù)M，以便通過使用線性矩陣系數(shù)M來執(zhí)行線性矩陣處理。例如，如表1所示，允許關(guān)于噪聲減少特性的權(quán)重系數(shù)(wn)按照ISO靈敏度的設(shè)置進(jìn)行改變，以便將wc和wn替換到公式(50)中并確定ISO靈敏度的每一設(shè)定的線性矩陣系數(shù)M。因此，由于圖像拾取裝置可以使用基于ISO靈敏度的設(shè)定狀態(tài)而確定的線性矩陣系數(shù)M來執(zhí)行線性矩陣處理，即使使得ISO靈敏度的設(shè)定為高，也不可能在這之后放大噪聲分量，因此具有獲得高分辨率的圖像的能力。
表1

這里，將描述以其中由圖像拾取裝置拾取目標(biāo)圖像的環(huán)境為基礎(chǔ)適應(yīng)性地確定線性矩陣系數(shù)M的示例。例如，在通過圖像拾取裝置拾取諸如夜景等的目標(biāo)圖像的情況下，存在其中暗色部分可能占據(jù)所產(chǎn)生的圖像的大部分的示例。當(dāng)噪聲發(fā)生在暗色部分時(shí)，這種噪聲變得非常明顯。在這種情況下，最好考慮噪聲分量的噪聲減少特性而不是顏色再現(xiàn)特性。
有鑒于此，在根據(jù)本發(fā)明的圖像拾取裝置中，基于其中目標(biāo)圖像被拾取的場(chǎng)景，通過考慮噪聲減少特性和顏色再現(xiàn)特性來確定線性矩陣系數(shù)M，以便使用線性矩陣系數(shù)M執(zhí)行線性矩陣處理。例如，如圖23的直方圖所示，當(dāng)所產(chǎn)生圖像的70％或更多的亮度分量被包含在圖像拾取裝置的亮度動(dòng)態(tài)范圍的一半或更少之內(nèi)時(shí)，重點(diǎn)放在噪聲減少特性，以便確定線性矩陣系數(shù)M。當(dāng)排除上述時(shí)，考慮顏色再現(xiàn)特性和噪聲減少特性來確定線性矩陣系數(shù)M。簡(jiǎn)言之，如表2所示，關(guān)于噪聲減少特性的權(quán)重系數(shù)(wn)被允許按照?qǐng)D像拾取場(chǎng)景來改變，以便將wn和wc替換到公式(50)，從而確定每個(gè)圖像拾取場(chǎng)景的線性矩陣系數(shù)M，因此，由于圖像拾取裝置能夠通過使用基于圖像拾取場(chǎng)景確定的線性矩陣系數(shù)M來執(zhí)行線性矩陣處理，即使暗色部分占據(jù)了所產(chǎn)生圖像的大部分，也能夠防止噪聲分量變得明顯。
表2

這里，將描述基于使用圖像拾取裝置的用戶的請(qǐng)求來適應(yīng)性確定線性矩陣系數(shù)M的實(shí)際示例。具有許多下述示例，其中需要通過圖像拾取裝置拾取目標(biāo)圖像所產(chǎn)生的圖像，并且與按照用戶的使用意圖的顏色再現(xiàn)特性相比，使得噪聲更少。使用目的是圖像拾取裝置的制造公司(制造者)不知道的事務(wù)，而是只有用戶知道的事實(shí)。
有鑒于此，根據(jù)本申請(qǐng)的發(fā)明的圖像拾取裝置用于基于用戶期望的條件來確定線性矩陣系數(shù)M，并且使用該線性矩陣系數(shù)M來執(zhí)行線性矩陣處理。例如，如表3所示，關(guān)于噪聲減少特性的權(quán)重系數(shù)(wn)被允許按照噪聲量調(diào)節(jié)變量來改變，以便將wn和wc替換到公式(50)，從而確定每個(gè)噪聲量調(diào)節(jié)變量的線性矩陣系數(shù)M，并且存儲(chǔ)由此確定的線性矩陣系數(shù)M，從而當(dāng)用戶通過圖像拾取裝置的接口來改變?cè)肼暳空{(diào)節(jié)變量時(shí)，確定預(yù)定的線性矩陣系數(shù)M以使用該線性矩陣系數(shù)M來執(zhí)行線性矩陣處理。因此，由于圖像拾取裝置可以按照用戶的請(qǐng)求使用所確定的線性矩陣系數(shù)M來執(zhí)行線性矩陣處理，因此能夠執(zhí)行對(duì)應(yīng)于用戶的用戶形勢(shì)的噪聲量調(diào)節(jié)。
表3


注意，表3說明了噪聲量調(diào)節(jié)變量的數(shù)值變得越大，則噪聲量減少得越多。而且，代替在圖像拾取操作之前執(zhí)行噪聲量調(diào)節(jié)變量的設(shè)置，可以采用這樣一種方法，即其中，當(dāng)圖像拾取裝置的圖像拾取開始按鈕被按下時(shí)，經(jīng)受使用幾個(gè)線性矩陣系數(shù)M的線性矩陣處理的圖像被保存(存儲(chǔ))到多個(gè)存儲(chǔ)器中。
在以這種方式構(gòu)造的圖像拾取裝置中，由于四色濾色鏡61根據(jù)圖12所示的流程圖被形成于圖像傳感器45的前級(jí)單元處，因此能夠改善“顏色再現(xiàn)特性”的“顏色的鑒別特征”。而且，由于對(duì)其中可以在信號(hào)處理單元71處通過線性變換來表現(xiàn)亮度的信號(hào)(R、G1、G2、B)執(zhí)行了矩陣處理，因此與如圖2所示在信號(hào)處理單元11的處理的情況一樣的、對(duì)于經(jīng)受伽馬處理之后獲得的信號(hào)執(zhí)行矩陣處理的情況相比，可以再現(xiàn)從顏色工程觀點(diǎn)來看具有更高保真度的顏色。而且，由于在信號(hào)處理單元71的線性矩陣處理單元95執(zhí)行的線性矩陣處理中，根據(jù)圖像拾取條件等執(zhí)行了線性矩陣系數(shù)M的確定，因此能夠改善所拾取圖像的顏色再現(xiàn)特性和噪聲再現(xiàn)特征。
注意，已經(jīng)根據(jù)在附圖中圖解并詳細(xì)描述的本發(fā)明的某些優(yōu)選實(shí)施例描述了本發(fā)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明不限于所述實(shí)施例，在不背離所附權(quán)利要求闡述的本發(fā)明的范疇和精神的情況下，可以實(shí)現(xiàn)各種修改、替換構(gòu)造或等效物。
工業(yè)實(shí)用性由于根據(jù)本發(fā)明的圖像拾取裝置包括調(diào)節(jié)單元，用于調(diào)節(jié)表示關(guān)于人眼觀看方式的顏色高保真再現(xiàn)的顏色再現(xiàn)值和表示人類所感覺的噪聲感覺的噪聲值；矩陣系數(shù)確定單元，用于基于調(diào)節(jié)單元的調(diào)節(jié)來確定矩陣系數(shù)；和矩陣變換處理單元，用于基于矩陣系數(shù)來執(zhí)行對(duì)于在圖像拾取裝置中提供的圖像拾取器件單元處所拾取的圖像的矩陣變換處理，根據(jù)圖像拾取環(huán)境和圖像拾取條件來適應(yīng)性地確定線性矩陣系數(shù)X，因此能夠使用線性矩陣系數(shù)M來執(zhí)行線性矩陣處理。
另外，由于根據(jù)本發(fā)明的圖像拾取方法包括第一步驟，用于調(diào)節(jié)表示關(guān)于人眼觀看的顏色高保真再現(xiàn)的顏色再現(xiàn)值和表示人類所感覺的噪聲感覺；第二步驟，用于基于第一步驟的調(diào)節(jié)來確定矩陣系數(shù)；和第三步驟，用于基于矩陣系數(shù)來執(zhí)行對(duì)于在用于拾取目標(biāo)圖像的圖像拾取器件單元處所拾取的圖像的矩陣變換處理，根據(jù)圖像拾取環(huán)境和圖像拾取條件來適應(yīng)性地確定線性矩陣系數(shù)X，因此能夠使用線性矩陣系數(shù)M來執(zhí)行線性矩陣處理。
權(quán)利要求
1.一種圖像拾取裝置，包括由具有不同光譜特性的濾色鏡組成的圖像拾取器件單元，并且用于拾取目標(biāo)圖像，所述圖像拾取裝置包括調(diào)節(jié)部件，用于調(diào)節(jié)顏色再現(xiàn)值和表示噪聲感覺的噪聲值；矩陣系數(shù)確定部件，用于基于調(diào)節(jié)部件的調(diào)節(jié)來確定矩陣系數(shù)；和矩陣變換處理部件，用于基于矩陣系數(shù)對(duì)在圖像拾取器件單元處所拾取的圖像執(zhí)行矩陣變換處理。
2.如權(quán)利要求1所述的圖像拾取裝置，其中所述調(diào)節(jié)部件用于根據(jù)圖像拾取裝置的圖像拾取靈敏度來適應(yīng)性地調(diào)節(jié)顏色再現(xiàn)值和噪聲值。
3.如權(quán)利要求1所述的圖像拾取裝置，其中所述調(diào)節(jié)部件用于根據(jù)圖像拾取裝置執(zhí)行圖像拾取操作的環(huán)境來適應(yīng)性地調(diào)節(jié)顏色再現(xiàn)值和噪聲值。
4.如權(quán)利要求1所述的圖像拾取裝置，其中所述調(diào)節(jié)部件用于任意調(diào)節(jié)顏色再現(xiàn)值和噪聲值。
5.一種通過圖像拾取裝置來拾取目標(biāo)圖像的圖像拾取方法，所述圖像拾取裝置包括由具有不同光譜特性的濾色鏡組成的圖像拾取單元，并用于拾取目標(biāo)圖像，所述圖像拾取方法包括第一步驟，用于調(diào)節(jié)顏色再現(xiàn)值和表示噪聲感覺的噪聲值；第二步驟，用于基于第一步驟的調(diào)節(jié)來確定矩陣系數(shù)；和第三步驟，用于基于矩陣系數(shù)對(duì)在圖像拾取器件單元處所拾取的圖像執(zhí)行矩陣變換處理。
全文摘要
一種圖像拾取裝置，包括具有不同光譜特性的濾色鏡并且包括用于對(duì)目標(biāo)成像的圖像拾取元件部分。所述圖像拾取裝置還包括調(diào)節(jié)部件，用于調(diào)節(jié)顏色再現(xiàn)值和表示噪聲感覺的噪聲值；矩陣系數(shù)確定部件，用于根據(jù)調(diào)節(jié)部件的調(diào)節(jié)來確定矩陣系數(shù)；和矩陣變換處理部件，用于根據(jù)矩陣系數(shù)使由圖像拾取元件部件所拾取的圖像經(jīng)受矩陣變換處理。
文檔編號(hào)G06T1/00GK1732694SQ20038010766
公開日2006年2月8日 申請(qǐng)日期2003年12月2日 優(yōu)先權(quán)日2002年12月25日
發(fā)明者水倉(cāng)貴美, 加藤直哉, 中島健, 永濱裕喜 申請(qǐng)人:索尼株式會(huì)社