專利名稱：針對數(shù)字圖像上相對照度現(xiàn)象的處理方法和相關(guān)處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明包括數(shù)字圖像上相對照度現(xiàn)象的處理方法。本發(fā)明還涉及針對 此類相對照度現(xiàn)象的處理系統(tǒng)。本發(fā)明的目的主要是提出一種針對相對照 度現(xiàn)象的方案，該方案適合于介于數(shù)字圖像拍攝設(shè)備內(nèi)的新型傳感器。
本發(fā)明的領(lǐng)域一般而言是數(shù)字照片領(lǐng)域，更具體而言，是應(yīng)用于數(shù)字 照片的圖像處理領(lǐng)域。數(shù)字照片是指由打印數(shù)字圖像而獲得的照片。 一般 而言，數(shù)字圖像由像素組成，每個像素指示圖像空間的位置和部分，每個 像素具有至少一個像素值。在圖像空間作為平面的矩形部分的意義上，來 自所有照相設(shè)備的稱為"照相圖像，，的圖像是二維圖像。然而，尤其是來自 物理或醫(yī)學(xué)觀測的圖像可具有更多維度，尤其是三維。類似地，來自例如
可攜式攝像機(jī)的視頻可被視為一 系列二維圖像或單個三維圖像在這種情 況下，前兩個維度是圖像的維度而第三維度表示在視頻中的圖4象數(shù)量。
利用數(shù)字拍攝設(shè)備來獲取數(shù)字圖像。 一般而言，數(shù)字拍攝設(shè)備是包括 至少一個傳感器和一個光學(xué)系統(tǒng)、允許獲得數(shù)字圖像的設(shè)備。傳感器是將 光轉(zhuǎn)換成反映數(shù)字圖像中各點(diǎn)的色彩強(qiáng)度的數(shù)字值的系統(tǒng)。傳感器可特別 包括可將光子能量轉(zhuǎn)換成電能量的感光接收器B在標(biāo)準(zhǔn)的傳感器結(jié)構(gòu)中， 這種感光接收器可被定義為一組像點(diǎn)(photosite)。例如在包含兩個綠色 像點(diǎn)、 一個紅色像點(diǎn)以及一個藍(lán)色像點(diǎn)的拜耳(Bayer)結(jié)構(gòu)的情況下， 像點(diǎn)尤其可與特定色彩相關(guān)聯(lián)。 一般而言，光學(xué)系統(tǒng)是由屈光度區(qū)分的一 組透鏡、反射鏡以及透明且均勻的介質(zhì)。
在數(shù)字照相領(lǐng)域，由于如從拍攝到紙上再現(xiàn)的照相制作鏈的數(shù)字化， 越來越頻繁地提出可消除利用數(shù)字拍攝設(shè)備獲取的大量數(shù)字圖像上的某 些明顯缺陷的圖像處理方案。例如，很常見的缺陷是一種被稱為"紅眼，， 的現(xiàn)象。存在其他與照相設(shè)備的使用相關(guān)的問題，不論這些問題事實上是 否是數(shù)字的。因此，例如經(jīng)常遇到失真問題。 一般而言，已知的失真現(xiàn)象 是幾何失真，其特征例如是幾何畸變，在幾何畸變出現(xiàn)時在被拍攝景物中 對準(zhǔn)的目標(biāo)點(diǎn)并未形成對準(zhǔn)的圖像點(diǎn)。此類幾何失真的特征在于依賴于視 場中的位置的圖像放大率改變。可4艮據(jù)在接近視場邊緣時局部放大率是減小還是增大來辨別兩種失真桶形失真和枕形失真。
另一個遇到的問題被稱作橫向色差和縱向色差。 一般而言，已知的色 差現(xiàn)象涉及如同幾何畸變的橫向色差和縱向色差，在色差出現(xiàn)時圖像放大 率根據(jù)波長而改變。在橫向色差情況下，不論波長是多少圖^MF形成于同 一平面上，但是圖像在平面上的位置依賴于波長。在縱向色差情況下，聚 焦平面的位置根據(jù)波長而變化，其依賴于波長而產(chǎn)生不同的模糊。色差在 圖像過渡的附近區(qū)域產(chǎn)生彩虹。在現(xiàn)有技術(shù)中提出了各種方案以便處理此 類問題。
照相領(lǐng)域尤其是數(shù)字照相領(lǐng)域的另一已知問題是稱為相對照度現(xiàn)象 的問題。
相對照度是指引起數(shù)字圖像上的像素值根據(jù)像素在視場中的位置而 變化的現(xiàn)象。例如，對于均勻景物的數(shù)字圖像，相對照度現(xiàn)象對應(yīng)于像素 值根據(jù)像素在視場中的位置而變化。表現(xiàn)為角部的變暗，甚至數(shù)據(jù)的缺失。

圖1示出了此類相對照度現(xiàn)象，這里曲線10表示根據(jù)在圖像中與參考點(diǎn)
有關(guān)的位置的變暗現(xiàn)象，其中變暗現(xiàn)象在縱坐標(biāo)軸上分l表示，而與參考 點(diǎn)有關(guān)的位置在橫坐標(biāo)軸上分M示。
對于來自設(shè)備的圖像，可識別多個相對照度源
-鏡頭由其視場角度和其視場范圍來表征。所述視場角度和視場范 圍被計算以覆蓋特定感光接收器尺寸。相對照度主要是由于鏡頭內(nèi) 的窗口效應(yīng)。i^鏡頭的平行于軸線的全部光束得以傳輸，而傾斜 的光束將部分地被鏡頭框阻擋，以致在臨界角以外不能被傳輸。如 果鏡頭被設(shè)計為對于某光團(tuán)值形成具有感光表面尺寸的全光視場， 則有可能當(dāng)光圏全開時，接收器的表面超過全光下的視場的表面， 這將導(dǎo)致圖像的角部變暗。當(dāng)視場范圍小于感光表面的尺寸時就存 在相對照度現(xiàn)象。
-在被鏡頭覆蓋的視場內(nèi)，由于光度學(xué)和幾何學(xué)的簡單事實，光照 不是與組成圖像的光線的角度嚴(yán)格均勻嚴(yán)格一致的。圖像離軸線越 遠(yuǎn)，相對照度現(xiàn)象越明顯。
-數(shù)字傳感器依照其設(shè)計，根據(jù)作用于它的光線的入射而提供可變 響應(yīng)。圖像離軸線越遠(yuǎn)，相對照度現(xiàn)象越明顯。
-相對照度現(xiàn)象可由于圖像光束被設(shè)備主體或放置在鏡頭視場中的 附件阻擋而引起。這可以例如是由于濾波器框或更一般地由于不合適的遮陽軍引起的。
相對照度現(xiàn)象可用膝光指數(shù)在來自設(shè)備的圖像上測量，相對照度的值 度量由數(shù)字圖像邊緣接收到的光量與數(shù)字圖像中心處接收到的光量之間 的膝光指數(shù)差。
在現(xiàn)有技術(shù)中提出了對這種相對照度現(xiàn)象的方案。
背景技術(shù)：
然而，介于數(shù)字圖像拍攝設(shè)備內(nèi)的新型傳感器的出現(xiàn)引起了新的問 題，稱作彩色相對照度。彩色相對照度是指引起數(shù)字圖像上根據(jù)像素在視 場中的位置的像素值依賴于數(shù)字圖像色彩通道而變化的現(xiàn)象。圖像可以很 多方法分解成通道，從而使圖像的像素對于每個通道對應(yīng)于一個像素值。 在彩色圖^象的特殊情況下，通道的分解(此類通道稱為"色彩通道，，)可特
別利用在RGB， sRGB, LMS， Lab, Yuv， HSL， HSV， XYZ, xyz色 彩空間內(nèi)的分解來執(zhí)行。除了 sRGB之外，這些術(shù)語在例如下列出版物中 定義"Measuring Color", Third Edition, R.W.D.Himt， Fountain Press, Kingston-upon-Thames, England 1998, ISBN 0863433871，或在出版物 "Color Appearance Models", M.Fairchild， Addison Wesley, 1998， ISBN 0201634643中定義。sRGB色彩空間在IEC標(biāo)準(zhǔn)61966-2-1: "Multimedia system and equipment-Colour measurement and management-Part 2-1: Colour management-Default RGB colour space & sRGB，，中描述。在本發(fā) 明的情況下，數(shù)字圖像ii可包括涉及與色彩無關(guān)的其它數(shù)據(jù)的一個或幾個 通道，所述其它數(shù)據(jù)例如是涉及尤其是高度、距離以及溫度的物理量的數(shù) 字值。
在數(shù)字圖像的情況下，觀測彩色相對照度現(xiàn)象是例如在膝光指數(shù)方面 對每個色彩通道的相對照度測量。在彩色相對照度現(xiàn)象情況下瀑光指數(shù)不 總是相同。圖2示出此類彩色相對照度現(xiàn)象此處第一曲線20和第二曲 線21分別表示對于第一彩色通道和第二彩色通道的根據(jù)在圖像中與參考 點(diǎn)有關(guān)的位置的瀑光指數(shù)，其中瀑光指數(shù)在縱坐標(biāo)軸上分M示，而與參 考點(diǎn)有關(guān)的位置在橫坐標(biāo)軸上分級表示?？梢?，彩色相對照度現(xiàn)象隨著色 彩通道不同而變化。此處示出了彩色相對照度現(xiàn)象在單一維度內(nèi)(例如到 點(diǎn)的距離)變化。在另一實施例中，此類彩色相對照度現(xiàn)象根據(jù)圖像的幾 個維度而變化。用光源表示可見能量的物理發(fā)射器。光源的例子是白天不同時間的天 空、氖照明裝置、鴒燈泡。發(fā)光體表示光源的光譜分布。光鐠分布表示根 據(jù)波長的輻射測定量。輻射測定量尤其可以是在光源情況下的光諉膝光量
(spectral exposure )，或在反光材料情況下材料的光鐠反射系數(shù)與光源的 光鐠分布的乘積，或在透光材料情況下材料的透光率與光源的光鐠分布的 乘積。下述為一些發(fā)光體的示例CIEA發(fā)光體，表示具有2856K色溫 的普朗克(Planck)輻射體形式的光源；CIE D65發(fā)光體，其是與大約 6500K色溫相對應(yīng)的平均日光的統(tǒng)計表示；CIE C發(fā)光體，CIE E發(fā)光體， CIE D發(fā)光體(包括CIE D50發(fā)光體)，CIE F發(fā)光體(包括CIE F2, CIE F8或CIE Fll )。此類術(shù)語和其它發(fā)光體示例在例如下列出版物中定 義"Measuring Color", Third Edition, R.W.D. Hunt, Fountain Press， Kingston國upon-Thames， England 1998， ISBN 0863433871 ，或在下列出 版物中定義"Color Appearance Models", M. Fairchild， Addison Wesley, 1998, ISBN 0201634643。
圖3示出了對于給定的色彩通道，彩色相對照度現(xiàn)象對于兩個不同的 發(fā)光體變化。在圖3中，第一曲線30和第二曲線31分別表示對于第一類 發(fā)光體和第二類發(fā)光體的相對照度現(xiàn)象，根據(jù)在橫軸上定標(biāo)的在圖像中與 參考點(diǎn)有關(guān)的位置而在縱軸上定標(biāo)。可見，彩色相對照度現(xiàn)象隨著色彩通 道不同而變化。這里示出了彩色照度現(xiàn)象在單一維度內(nèi)(例如到點(diǎn)的距離) 變化。在另一實施例中，此類彩色照度現(xiàn)象根據(jù)圖像的幾個維度而變化。
給定的發(fā)光體與光源的根據(jù)波長的光鐠分布相關(guān),如圖4和圖5所示， 分別示出了提供第一發(fā)光體光鐠分布的第一曲線40和提供第二發(fā)光體光 鐠分布的第二曲線50。
數(shù)字傳感器上的入射光的光子能量的量可根據(jù)發(fā)光體變化，如圖6 和圖7所示，這兩幅圖分別示出
一第一曲線60,針對給定傳感器，在相同入射角條件下，提供了對于第 一發(fā)光體在兩個不同波長上傳輸?shù)男盘柕姆取?br> -第二曲線70，針對相同的給定傳感器，在相同入射角務(wù)降下，提供了 對于第二發(fā)光體在與圖6中示出的相同的兩個不同波長上傳輸?shù)男盘?的幅度。
可根據(jù)光學(xué)系統(tǒng)的特性，如能夠根據(jù)其上的入射光的波長來改變傳輸 的能量的濾波器的存在，來改變依賴于波長的光子能量的量。數(shù)字傳感器具有光譜響應(yīng)反映了數(shù)字圖像中各點(diǎn)的色彩通道強(qiáng)度的
數(shù)字值的幅;1依賴于傳感器上的入射光的波長。傳感器上的光入射角尤其
依賴于光學(xué)系統(tǒng)的特性，如允許高色差乃至平均光線角度(即在光學(xué)系統(tǒng) 的光軸和經(jīng)過目標(biāo)頂點(diǎn)與光瞳中心的光線之間的角度)值的光學(xué)系統(tǒng)。
如圖8所示，數(shù)字傳感器根據(jù)作用于它的光線的入射角度而在感光接 收器的各部分上表現(xiàn)出不同的響應(yīng)，該圖示出第一曲線80和第二曲線81, 兩條曲線分別對應(yīng)于給定傳感器對于第一入射角il的第一光譜響應(yīng)，以 及同一傳感器對于第二入射角i2給出的第二響應(yīng)。
此類現(xiàn)象的原因可能是
-傳感器的物理構(gòu)成的不對稱性# 點(diǎn)在傳感器上具有不同的注入角度 (implantation angle )，
-根據(jù)像點(diǎn)而不同的m鏡，微透^^L設(shè)計成將入射光線朝著作為像點(diǎn) 的感光接收器的方向聚焦在數(shù)字傳感器上用以改善其效果的光學(xué)系 統(tǒng)，
-根據(jù)像點(diǎn)而不同的布線，
-例如由于非對稱連接或晶體管的存在，根據(jù)像點(diǎn)而不同的三維幾何圖 形，
-視場內(nèi)的不同物理注入(physical implantation), -相鄰像點(diǎn)的不同幾何形狀，
國IR (紅外)濾波器(即特別允許波長包括在例如425nm和675nm之 間的光通過的濾波器)的特性。才艮據(jù)光線的方向，濾波器的透光特性 可變化幾十納米，從而在圖像的角部和中央引起色階上的不同表現(xiàn)。
-根據(jù)像點(diǎn)色彩而不同的取向。
角度越大，入射光線越可能照不到傳感器的最敏感區(qū)域，或例如被遮 蓋轉(zhuǎn)移寄存器的不透光遮擋物所阻擋。 一般而言，當(dāng)入射角增大時傳感器 的響應(yīng)會減弱。點(diǎn)的圖像不是由光線形成，而是由入射角包含在兩個臨界 值之間的一束光線形成。組成此類光束的大量入射角^#1傳感器不同地解 釋(interpret),即對于全部波長而言在感光接收器上的入射光的能量將 有所不同，且這種現(xiàn)象即使對于相鄰的像點(diǎn)也一樣。
相鄰^^點(diǎn)可表示不同的色彩通道。在傳感器上的至少一個幾何位置所 對應(yīng)的每個像點(diǎn)中，除了如上所述的物理特性之外，信號幅度尤其依賴于傳感器的根據(jù)像點(diǎn)上的入射光波長和此類光的入射角度的光譜響應(yīng)，此類 光的光子能量依賴于發(fā)光體和光學(xué)系統(tǒng)的特性。彩色相對照度現(xiàn)象與發(fā)光 體和數(shù)字圖像像素的每個色彩通道中的像素值相關(guān)，所述像素值依賴于傳 感器的一定數(shù)量的像點(diǎn)的信號幅度。
所有此類現(xiàn)象和因素引起相對照度現(xiàn)象、例如在使用數(shù)字圖像拍攝系 統(tǒng)所獲取的照片上的彩色相對照度的發(fā)生。照片的品質(zhì)因此受到影響。

發(fā)明內(nèi)容
本發(fā)明的目的是提出針對上述問題和不便的方案。 一般而言，本發(fā)明 提出一種在包括彩色相對照度水平的任何相對照度現(xiàn)象水平進(jìn)行的數(shù)字 圖像處理方法。為此，本發(fā)明提出了考慮被拍攝景物的發(fā)光體以便對任何 待處理的數(shù)字圖像做出適當(dāng)?shù)男拚?br> 因此本發(fā)明主要涉及一種用于表現(xiàn)景物的待處理的數(shù)字圖像的處理 方法，所述待處理數(shù)字圖像利用包括傳感器和光學(xué)系統(tǒng)的數(shù)字拍攝設(shè)備來
獲取，所述方法特別包括下述各步驟
-確定在所獲取的待處理數(shù)字圖像上所表現(xiàn)景物的發(fā)光體；
-在待處理數(shù)字圖像上根據(jù)發(fā)光體來修正相對照度現(xiàn)象；
除了在先前段落中剛被描述的主要特性，根據(jù)本發(fā)明的方法可表示一 個或多個下述附加特性
-修正的步驟特別包括修正數(shù)字圖像中的相對照度變化和/或數(shù)字圖 像中不同色彩通道間的相對照度變化的步驟；
-特別利用相對照度修正M來執(zhí)行所述修正步驟；
-相對照度修正^lt經(jīng)選擇和/或經(jīng)計算；
-利用白平衡估計算法的結(jié)果來執(zhí)行包括確定景物的發(fā)光體的步驟； -發(fā)光體的確定依賴于用戶的選擇； -發(fā)光體的確定依賴于閃光燈的激活； -修正參數(shù)已針對預(yù)定數(shù)量的發(fā)光體類型被預(yù)先計算； -利用全部或部分所述預(yù)先計算修正M來計算修正參數(shù)； -待處理數(shù)字圖像是多個色彩通道的疊加，針對每個色彩通道來選擇和/或計算修正參數(shù)；
-修正相對照度現(xiàn)象的步驟特別包括在待處理圖像中減小和/或消除 相對照度現(xiàn)象測量偏差和/或?qū)⑾鄬φ斩痊F(xiàn)象測量偏差降低到第一閾值之 下的操作；
-修正相對照度現(xiàn)象的步驟特別包括在待處理圖像中針對每個色彩通 道減小和/或消除相對照度現(xiàn)象測量偏差測量結(jié)果和/或?qū)⑾鄬φ斩痊F(xiàn)象測 量結(jié)果降低到第二閾值之下的操作；
-所述修正參ltA要施加到至少一個色彩通道上的增益值；
-所勤目對照度修正依賴于所述拍攝設(shè)備的至少一個可變參數(shù)，所述
焦距離和/或所估計的成像景物的距離、啄光時間、增益、感光度、瀑光 等級或光團(tuán)；
-在所獲取的待處理數(shù)字圖像上所表現(xiàn)的景物的發(fā)光體的確定使用了 來自在待處理數(shù)字圖像之前獲取的一個或多個數(shù)字圖〗象上的景物的發(fā)光 體的數(shù)據(jù)；
-確定發(fā)光體或修正相對照度現(xiàn)象的步驟中的至少 一個步驟在不同于 拍攝設(shè)備的外部處理設(shè)備中執(zhí)行；
-確定發(fā)光體、修正相對照度現(xiàn)象或修正相對照度現(xiàn)象的步驟中的至 少 一個步驟在拍攝設(shè)備中執(zhí)行；
一修正相對照度的步驟考慮包括在光學(xué)系統(tǒng)和/或傳感器中的一個或 多個濾波器的使相對照度根據(jù)發(fā)光體而變化的特性；
變化的縱向色差的特性。
本發(fā)明還涉及一種數(shù)字圖像處理系統(tǒng)，所述數(shù)字圖像處理系統(tǒng)用于處 理表現(xiàn)景物的數(shù)字圖像，所述數(shù)字圖像利用特別包括傳感器和光學(xué)系統(tǒng)的 數(shù)字拍攝設(shè)備來獲取，所述數(shù)字圖像處理系統(tǒng)能夠?qū)嵤└鶕?jù)至少一個上述 權(quán)利要求所述的方法，所述數(shù)字圖像處理系統(tǒng)包括用于確定在所獲取的待 處理數(shù)字圖像上所表現(xiàn)的景物的發(fā)光體的裝置，以及用于在所述待處理數(shù) 字圖像上根據(jù)發(fā)光體來修正相對照度的裝置。在本發(fā)明的具體實施例中， 所述數(shù)字圖像處理系統(tǒng)至少部分地集成在所述拍攝設(shè)備中。
通過閱讀下面的描述將更好地理解本發(fā)明及其各種應(yīng)用。
具體實施例方式
為處理任何相對照度現(xiàn)象，根據(jù)本發(fā)明的方法提出兩個基本步驟，下 面描述其多種實施方式。
根據(jù)本發(fā)明的方法的第 一步驟包括確定在拍攝在待處理數(shù)字圖像上 可見的景物期間存在的發(fā)光體。
在實施這個步驟的第一示例中，將使用白平衡估計算法。
事實上，給定光源對應(yīng)于根據(jù)波長的光語分布。這意味著在特定光源
下更多或更少地表現(xiàn)例如位于400nm和800nm之間的特定波長(因此更 多或更少地表現(xiàn)可見物的特定色彩)。例如，在鵠照明時，對于1氐色溫， 與可見物視場中的藍(lán)色對應(yīng)的波長的輻射測定量與和紅色波長相關(guān)的測 量量相比幾乎得不到表現(xiàn)，當(dāng)光源的色溫增加時此類比例相反。不論何種 發(fā)光體，人眼天然地補(bǔ)償色彩間平衡的這種差異，因此在低色溫時將灰色 墻壁解釋為灰色，正如在高色溫時一樣。補(bǔ)償特別包括修正色彩通道間的 比例，以便尤其在色彩通道比例方面，在已知環(huán)境下獲得接i^眼的圖像 效果。傳感器不會自動地補(bǔ)償根據(jù)波長而不同的輻射測定量。因此，在低 溫光源如鎢燈泡條件下通過傳感器得到灰色墻壁的圖像由于缺少藍(lán)色而 將具有黃色主色調(diào)。
當(dāng)眼睛觀察照片時，發(fā)光體的色彩補(bǔ)償依賴于觀看照片的地點(diǎn)的光 線，而不是所拍攝的景物中存在的光線。因此，在照相的情況下，在再現(xiàn) 圖像之前進(jìn)行補(bǔ)償是很重要的。在數(shù)字照相設(shè)備中，此類補(bǔ)償利用嵌入式 數(shù)字處理在設(shè)備內(nèi)實現(xiàn)。用于補(bǔ)償色彩的方法包括應(yīng)用白平衡算法，使得 數(shù)字圖像呈現(xiàn)盡可能接iiA眼在拍攝環(huán)境下所獲得的色彩效果。多數(shù)數(shù)字 拍攝設(shè)備配備了自動白平衡確定算法。自動白平衡算法的一種實施包括 考慮來自傳感器的圖像中的色彩通道比例，例如紅色對綠色和/或藍(lán)色對 綠色的比例，從而確定要施加到每個色彩通道上的模擬和/或數(shù)字增益形 式的倍增因子。在本發(fā)明的情況下，使用自動白平衡算法使得可獲取與對 應(yīng)于光源的發(fā)光體有關(guān)的數(shù)據(jù)。通過下述過程來使用數(shù)據(jù)以補(bǔ)償通道根 據(jù)位置和/或通道和/或通道的最大數(shù)量和發(fā)光體來施加增益，以i更消除由 光學(xué)系統(tǒng)和傳感器(包括光學(xué)元件，如濾波器和皿鏡)引起的依賴于圖 像中位置的色彩和強(qiáng)度的變化。與發(fā)光體有關(guān)的數(shù)據(jù)的例子包括要施加到 各通道以^更補(bǔ)償通道的增益。數(shù)據(jù)的另 一個例子是NxN矩陣(N是表示通道數(shù)的自然整數(shù))，所述矩陣包含N個^象素通道，并且旨在^多正在彩色 相對照度待修正的N個通道間不同的變化。彩色相對照度的^多正^t可 以是帶格式的數(shù)字?jǐn)?shù)據(jù)，例如標(biāo)量、表、多項式、矩陣、插值表。數(shù)據(jù)的 一個例子是針對各色彩通道的多項式。多項式依賴于圖像在視場中的位 置。多項式可以另:表示^f象素在二維空間中的坐標(biāo)的X、 Y、 X和Y的形式， 或是R形式的多項式，R表示到視場中可作為圖像幾何中心的點(diǎn)或其它 位置的距離，所述中心的坐標(biāo)可根據(jù)通道而不同?？赏ㄟ^下述方法獲得所 述數(shù)據(jù)在每個像素中針對各通道估算多項式，或者利用為圖像的幾何區(qū) 域提供值(例如所有KX或KY像素的值KX和KY用于二維圖像，像素 的相同或不同數(shù)量依賴于圖像的幾何坐標(biāo))的數(shù)值表。
例如，自動白平衡算法所提供的數(shù)據(jù)可以是使alpha藍(lán)色水平低于綠 色水平并使beta紅色水平高于綠色水平的類型，這使得能識別鴒發(fā)光體。 此外，數(shù)據(jù)是使gamma藍(lán)色水平低于綠色水平并4吏delta紅色水平高于 綠色水平的類型，使得例如能識別稱作"D65"的日光發(fā)光體。
在另 一實施例中，實施根據(jù)本發(fā)明的方法的設(shè)備的用戶提^f吏得能夠 確定標(biāo)識的數(shù)據(jù)。在第一種情況下，這可根據(jù)來自其正使用的設(shè)備的請求 來進(jìn)行。例如，在LCD (液晶)屏上的可顯式菜單給出了標(biāo)準(zhǔn)發(fā)光體的 列表；在此類菜單中，可發(fā)現(xiàn)例如下列選項鵠、氖照明裝置、日光、多 云、暗處、閃光燈、用戶定義的色溫、自動模式。其它發(fā)光體例如在下列 出版物中定義"Measuring Color",Third Edition，R.W.D. Hunt,Fountain Press, Kingston曙upon-Thames， England 1998, ISBN 0863433871，或 "Color Appearance Models", M. Fairchild， Addison Wesley, 1998， ISBN 0201634643。
因此用戶利用設(shè)備上要由他/她激活的適當(dāng)按鈕來選擇列表中的 一個 發(fā)光體。
在第二種情況下，所述i殳備可^吏用與所考慮i殳備的使用M有關(guān)的數(shù)
據(jù)；例如，風(fēng)景功能被選擇意味著用戶正在室外使用他/她的設(shè)備，因此 所確定的發(fā)光體是日光。
在有利的實施方式中，釆用與用于拍攝待處理圖像的閃光燈的使用有 關(guān)的數(shù)據(jù)，從而確定與圖HJH"應(yīng)的場景的發(fā)光體。
在通過考慮如模擬增益、數(shù)字增益和曝光時間(用自動曝光算法)的關(guān)的光量之后，閃光燈被激活。如果光量不足，則配有閃光燈的數(shù)字拍攝 設(shè)備可觸發(fā)閃光設(shè)備以便拍攝畫面。
閃光燈對應(yīng)于光源并因此對應(yīng)于發(fā)光體，其光鐠分布是已知的。在本
發(fā)明的實施例中，還設(shè)想了發(fā)光體的估計是基于考慮了以下情況的計算 沒有閃光燈情況下場景的發(fā)光體，以及盡管發(fā)光體是閃光燈，但;1A在例 如目標(biāo)太遠(yuǎn)以致閃光燈不能奏效的圖像拍攝的情況下。
在具體實施方式
中，發(fā)光體的確定是通過就在獲取待處理數(shù)字圖像之 前自動推斷所獲取數(shù)字圖像的發(fā)光體來執(zhí)行的。
事實上，多數(shù)數(shù)字拍攝設(shè)備配有至少兩種工作模式。即一種模式可作 為"預(yù)覽"模式而另 一種模式作為"拍攝，，模式。"拍攝"模式對應(yīng)于圖4棘最 大分辨率由算法序列處理的模式。為允許用戶可見其打算拍攝的景物，"預(yù) 覽"模式的實施使得他能獲得連續(xù)的圖像視頻流，其尺度常低于最大分辨 率以便符合計算時間約束條件。此類視頻流利用稱為"RAW"的圖像來獲 得，在"RAW"圖像上針對每個圖像計算發(fā)光體。發(fā)光體的計算是例如利 用在低分辨率圖像上確定的統(tǒng)計值(如低分辨率圖像的平均區(qū)域中的色彩 平面之間的比例)、然后利用例如在計算表中累加此類統(tǒng)計值的系統(tǒng)來執(zhí) 行，所述計算表包含用于標(biāo)準(zhǔn)發(fā)光體(如鎢、氖照明裝置、不同溫度的日 光以及多云)的色彩比值。為避免在發(fā)光體計算過程中的急劇變化，考慮 基于視頻流的普通圖像之前的特定數(shù)量的圖像所計算的發(fā)光體，以便選擇 普通圖像的發(fā)光體。當(dāng)從"預(yù)覽"模式過渡到"拍攝，，模式時應(yīng)用相同的原
圖像的發(fā)光體而獲得。作為示例，注意在"預(yù)覽"模式中鎢發(fā)光體到日光發(fā) 光體的發(fā)光體過渡，自動白平衡產(chǎn)生的數(shù)據(jù)表示有必要在鵠發(fā)光體中很大 程度地增大藍(lán)色通道上的信號而在日光模式中更緩和地增大藍(lán)色通道上 的信號。在很多預(yù)定義的圖像中，藍(lán)色通道上的信號從中等到高的轉(zhuǎn)變是行的。
相比而言，RAW圖像上的發(fā)光體的計算是例如利用最大分辨率圖像 上確定的統(tǒng)計值(如在最大分辨率圖像的平均區(qū)域中的色彩平面之間的比 例)、然后利用例如在計算表中累加此類統(tǒng)計值的系統(tǒng)來執(zhí)行的，所述計 算表包含用于標(biāo)準(zhǔn)發(fā)光體(如鴒、氖照明裝置、不同溫度的日光以及多云) 的色彩比值。
根據(jù)本發(fā)明的方法的另一步驟包括根據(jù)在第一步驟中確定的發(fā)光體來選擇和/或計算相對照度現(xiàn)象的修正M 。
相對照度現(xiàn)象的修正參數(shù)是在各像素中對各通道上的像素值的彩色 相對照度的修正。對彩色相對照度的修正包括根據(jù)位置和/或通道和/或通
道的最大數(shù)量以^U^光體來施加增益，以便消除由光學(xué)系統(tǒng)和傳感器(包
括如濾波器和微透鏡的光學(xué)元件)引起的依賴于圖像中的位置的強(qiáng)度和色 彩的變化。
用于彩色相對照度現(xiàn)象的修正參數(shù)的示例是針對各色彩通道的多項 式。多項式依賴于圖#^視場中的位置。多項式可以是表示像素在二維空
間中的坐標(biāo)的X、 Y、 X和Y的形式，或是R形式的多項式，R表示到視 場中可作為圖像幾何中心的點(diǎn)或其它位置的距離，所述中心的坐標(biāo)可4艮據(jù) 通道而不同?？赏ㄟ^下述方法獲得要施加的增益在每個像素中針對各通 道估算多項式，或者利用為圖像的幾何區(qū)域提供值(例如所有KX或KY 像素的值KX和KY用于二維圖像，像素的相同或不同數(shù)量依賴于圖像的 幾何坐標(biāo))的數(shù)值表。
為此，在該另一步驟的第一實施方式中，從預(yù)先計算的并存儲在可由 實施本方法的設(shè)備訪問的存儲模塊中的參數(shù)的列表中做出對修正參數(shù)的 選擇。預(yù)先計算參數(shù)列表包含與典型發(fā)光體、優(yōu)選地與最常見發(fā)光體相對 應(yīng)的參數(shù)。在該第一實施方式中，當(dāng)確定了發(fā)光體并生成了關(guān)于此發(fā)光體 的數(shù)據(jù)，但是表示此發(fā)光體的數(shù)據(jù)不直接與修正^4M目關(guān)時，選擇與由最 接近所生成信息的數(shù)據(jù)所標(biāo)記的發(fā)光體相關(guān)的修正>#*。
在第二實施方式中，當(dāng)確定了發(fā)光體并生成了關(guān)于此發(fā)光體的數(shù)據(jù)， 但是表示此發(fā)光體的數(shù)據(jù)不直接與修正M相關(guān)時，利用預(yù)先計算的M 來計算對應(yīng)于確定的發(fā)光體的修正;|*。所述計算例如通過對與修正^ 對其有效的被識別發(fā)光體最接近的發(fā)光體的識別機(jī)制來進(jìn)行。與被識別發(fā) 光體最接近的發(fā)光體是其數(shù)據(jù)定義了例如與包含被識別發(fā)光體的數(shù)據(jù)的 此類發(fā)光體的數(shù)據(jù)量相等的維度區(qū)間(dimension interval )的那些發(fā)光體。 在一個示例中，被識別發(fā)光體的修正<#*1通過對與修正^14:對其有效的 被識別發(fā)光體最接近的發(fā)光體的修正M進(jìn)行插值來確定的。插值導(dǎo)致例 如加權(quán)以便進(jìn)行干涉，從而使得在選##正>|*時可對接近被識別發(fā)光體 的特定發(fā)光體提供額外的權(quán)重。
在特定實施方式中，修正參數(shù)不僅依賴于所確定的發(fā)光體，還依賴于 表示為可變參數(shù)的其它^t，在這些其它^t中，對于待處理數(shù)字圖像而 言尤其可發(fā)現(xiàn)下述項-光學(xué)系統(tǒng)的焦距，相對照度現(xiàn)象依賴于形成圖像的光線的角度；
-光學(xué)系統(tǒng)的光團(tuán)開口；
-數(shù)字傳感器的響應(yīng)；
-調(diào)焦距離和/或與成像景物的估計距離；
-附件的使用使用例如濾波器或遮陽軍的附件可引起相對照度現(xiàn)象；
-數(shù)字圖像的膝光等級可影響相對照度現(xiàn)象。該現(xiàn)象由特別針對集成在 設(shè)備中的處理軟件的修改所引起。
在選擇或計算了修正M之后，進(jìn)行根據(jù)本發(fā)明的方法的第二基本步 驟。第三步驟包括在待處理數(shù)字圖像上修正觀察到的相對照度現(xiàn)象。
在此步驟的第一實施方式中，在待處理圖像中執(zhí)行包括減小和/或消 除相對照度現(xiàn)象測量偏差和/或?qū)⑾鄬φ斩痊F(xiàn)象測量偏差降低到第一閾值 之下的操作。
使用修正參數(shù)來在每個像素上施加增益，從而修正此像素的每個色彩 通道的l象素值。
可通過針對每個色彩通道、根據(jù)像素在圖像視場中的位置來計算多項 式的值，在每個像素中估計彩色相對照度的修正^。多項式可以是表示 寸象素在二維空間中的坐標(biāo)的X、 Y、 X和Y的形式?？赏ㄟ^以坐標(biāo)X1、 Yl或坐標(biāo)X2、 Y2 (對應(yīng)于例如包含坐標(biāo)為XI、 Yl的像素的幾何區(qū)域的 中心)來估算多項式，在每個色彩通道中確定要為修正彩色相對照度而施 加到位置像素X1、 Yl的增益。多項式可以是R形式，R表示到視場中 可作為圖像幾何中心的點(diǎn)或其它位置的距離，所述中心的坐標(biāo)可根據(jù)通道 而不同。可通過以距離Rl或距離R2 (例如對應(yīng)于包含位于與視場點(diǎn)ol 距離Rl處的像素的幾何區(qū)域的中心)來估算多項式，在每個色彩通道中 確定要為修正彩色相對照度而施加到與視場中的點(diǎn)ol距離Rl的像素的 增益。要施加的增益可通過訪問數(shù)值表的數(shù)字?jǐn)?shù)據(jù)來確定，所述數(shù)值表針 對圖像的幾何區(qū)域提供要選擇的和/或通過插值來計算的值，例如所有KX 或KY像素的值KX和KY用于二維圖像，像素的相同或不同數(shù)量依賴于 圖像的幾何坐標(biāo)。對像素的彩色相對照度修正可以是與方形像素的色彩通 道數(shù)量相對應(yīng)的維度矩陣的應(yīng)用。在上述的所有相對照度修正示例中，可 對每個色彩通道中的修正強(qiáng)度施加權(quán)重因子，例如要特別通過上述方法之 一而施加到對色彩通道cl估算的增益的系數(shù)kl,以及要特別通過上述方 法之一而施加到對色彩通道c2估算的增益的系數(shù)k2。在第二實施方式中，在待處理圖像中執(zhí)行包括針對每個色彩通道減小 和/或消除相對照度現(xiàn)象測量結(jié)果和/或?qū)⑾鄬φ斩痊F(xiàn)象測量結(jié)果降低到第 二閾值之下的操作。
可在下述情況下，將修正M例如施加到傳感器上可在例如光子能 量到電能的變換期間，在數(shù)字傳感器的各像點(diǎn)中的每個色彩通道上施加不 同的模擬增益，所述電能表現(xiàn)為每個通道中的像素值和數(shù)字圖像的各像 素。
修正參數(shù)也可例如通過將各像素的各通道中的像素值與相應(yīng)色彩通 道的數(shù)字增益和在該同一色彩通道內(nèi)的彩色相對照度的修正參數(shù)的估計 結(jié)果的乘積相乘，在施加數(shù)字增益的同時直接施加到數(shù)字圖像上。
根據(jù)本發(fā)明的方法的兩個主要步驟或更具體描述的另外步驟中的一 個或多個步驟，可被實施在獲取數(shù)字圖像的拍攝設(shè)備內(nèi)，或在例如嵌入了 適當(dāng)?shù)奶幚碥浖木艽蛴C(jī)或個人計算機(jī)等的任何外圍設(shè)備內(nèi)。
本發(fā)明還涉及任何由一個或多個電子設(shè)備組成的系統(tǒng)，此類設(shè)備之一 可以是例如獲取數(shù)字圖像的拍攝設(shè)備，包括用于實施根據(jù)本發(fā)明的方法的 三個主要步驟的各種必需的手段。在這些手段中有例如白平衡估計算法、 用于白平衡估計算法以便確定發(fā)光體的解釋算法、用于存儲預(yù)先計算的修
正參數(shù)的方法、集成在例如微處理器中的計算能力、使用預(yù)先計算修正參 數(shù)的修正參數(shù)、用于修正像素值以便修正相對照度現(xiàn)象的算法。
相對照度修正可考慮像素在各色彩通道中的像素值的特定特性，例如 飽和像素值，即與對應(yīng)于彩通道的傳感器信號的最大和/或最小幅度的最 大和/或最小像素值相等或接近的像素值。像素在各色彩通道中的像素值 特性的另一示例是像素針對各色彩通道的像素值的組合結(jié)果，例如像素的
所有色彩通道的像素值的線性組合。考慮像素在各色彩通道中的像素值的 特性的另 一示例是,根據(jù)在針對各色彩通道向所考慮^象素的1象素值施加相 對照度的修正增益期間到達(dá)閾值的第一個像素值，來保持所有色彩通道的 像素值之間的比例。
相對照度的特殊示例通常被稱作"漸牽"(vignetting )。漸暈可以是例 如由光學(xué)儀器制造者在設(shè)計光學(xué)器件時實施的特殊操作，其包括阻擋一個 或多個鏡頭的邊緣上的光線，從而引起在角部比在中心低的相對照度的效 果。
權(quán)利要求
1. 一種用于表現(xiàn)景物的待處理數(shù)字圖像的處理方法，所述待處理數(shù)字圖像利用包括傳感器和光學(xué)系統(tǒng)的數(shù)字拍攝設(shè)備來獲取，所述方法特別包括下述各步驟-確定在所獲取的待處理圖像上所表現(xiàn)的景物的發(fā)光體；-在所獲取的待處理數(shù)字圖像上根據(jù)所述發(fā)光體來修正相對照度。
2. 如上述權(quán)利要求所述的方法，其中所述修正的步驟特別包括修正 所述數(shù)字圖像中的相對照度變化和/或所述數(shù)字圖像中不同色彩通道間的 相對照度變化的步驟。
3. 如上述權(quán)利要求所述的方法，其中特別利用相對照度修正參數(shù)來 執(zhí)行所述修正步驟。
4. 如上述權(quán)利要求所述的方法，其中所述照度修正參數(shù)經(jīng)選擇和/ 或經(jīng)計算。
5. 如上述權(quán)利要求之一所述的方法，其中利用白平衡估計算法的結(jié) 果來執(zhí)行確定所述景物的發(fā)光體的步驟。
6. 如上述權(quán)利要求之一所述的方法，其中所iOL光體的確定依賴于 用戶的選捧。
7. 如上述權(quán)利要求之一所述的方法，其中所述發(fā)光體的確定依賴于 閃光燈的激活。
8. 如上述權(quán)利要求之一以及權(quán)利要求3所述的方法，其中所勤目對 照度修正參數(shù)已針對預(yù)定數(shù)量的典型發(fā)光體來預(yù)先計算。
9. 如權(quán)利要求8所述的方法，其中利用全部或部分所述預(yù)先計算的 相對照度修正#來計算所述相對照度修正>$*。
10. 如上述權(quán)利要求之一以及權(quán)利要求3所述的方法，其中所述待處 理數(shù)字圖像是多個色彩通道的疊加，所勤目對照度4務(wù)正針對每個色彩通道 來執(zhí)行。
11. 如上a利要求所述的方法，其中修正所^目對照度的步驟特別 包括在所述待處理圖像中減小和/或消除相對照度測量偏差和/或?qū)⑾鄬φ斩葴y量偏差降低到第 一 閾值之下的IMt 。
12. 如權(quán)利要求9或10所述的方法，其中修正所勤目對照度的步驟特別包括在所述待處理圖像中針對每個色彩通道減小和/或消除相對照度 測量結(jié)果和/或?qū)⑾鄬φ斩葴y量結(jié)果降低到第二閾值之下的操作。
13. 如權(quán)利要求9到ll之一所述的方法，其中所述相對照度修正包 括^^象素向至少 一個所述色彩通道施加增益。
14. 如至少一個上述權(quán)利要求以及權(quán)利要求3所述的方法，其中所述 相對照度修正依賴于所述拍攝設(shè)備的至少一個可變M,所述可變M特 別是由所述拍攝設(shè)備使用以獲取所述待處理數(shù)字圖像的焦距、調(diào)焦距離和 /或所估計的與成像景物的距離、膝光時間、增益、感光度、膝光等級或 光團(tuán)。
15. 如上述權(quán)利要求之一所述的方法，其中在所獲取的待處理數(shù)字圖 像上所表現(xiàn)的景物的發(fā)光體的確定使用了來自在所述待處理數(shù)字圖像之 前獲取的一個或多個數(shù)字圖像上的景物的發(fā)光體的數(shù)據(jù)。
16. 如至少一個上述權(quán)利要求所述的方法，其中確定所述發(fā)光體或修 正所述相對照度現(xiàn)象的步驟中的至少一個步驟在不同于所述拍才IB更備的 外部處理設(shè)備內(nèi)執(zhí)行。
17. 如至少一個上述權(quán)利要求所述的方法，其中確定所^X光體、修 正所述相對照度現(xiàn)象或修正所述相對照度現(xiàn)象的步驟中的至少一個步驟 在所述拍攝設(shè)備內(nèi)執(zhí)行。
18. 如上述權(quán)利要求之一所述的方法，其中修正所i44目對照度的步驟 考慮包括在所述光學(xué)系統(tǒng)和/或所述傳感器中的一個或多個濾波器的4吏所 勤目對照度才艮據(jù)所a光體而變化的特性。
19. 如上述權(quán)利要求之一所述的方法，其中修正所勤目對照度的步驟 的特性。
20. —種數(shù)字圖像處理系統(tǒng)，用于處理表現(xiàn)景物的數(shù)字圖像，所述數(shù) 字圖l象利用特別包括傳感器和光學(xué)系統(tǒng)的數(shù)字拍^B更備來獲取，所述數(shù)字 圖像處理系統(tǒng)能夠?qū)嵤└鶕?jù)至少一個上i^5L利要求所述的方法，所述數(shù)字的發(fā)光體的裝置、用于在所述待處理數(shù)字圖4象上根據(jù)所述發(fā)光體來修正相 對照度的裝置。
21. 如前一權(quán)利要求所述的系統(tǒng)，其特征在于所述數(shù)字圖像處理系統(tǒng) 集成在所述拍攝設(shè)備內(nèi)。
全文摘要
本發(fā)明涉及用于數(shù)字圖像處理的方法以及相關(guān)系統(tǒng)，所述數(shù)字圖像處理針對包括彩色相對照度現(xiàn)象的任何相對照度現(xiàn)象來進(jìn)行。為此，在本發(fā)明的上下文中，提出了考慮被拍攝景物的發(fā)光體以便對任何待處理數(shù)字圖像做出適當(dāng)?shù)男拚?br> 文檔編號H04N5/217GK101444083SQ200780017550
公開日2009年5月27日 申請日期2007年4月5日 優(yōu)先權(quán)日2006年4月6日
發(fā)明者弗雷德里克·吉查德, 米夏埃爾·克拉克 申請人:德克索實驗室