圖像數(shù)據(jù)處理方法以及圖像數(shù)據(jù)處理裝置的制作方法

文檔序號：7921063閱讀：166來源：國知局

專利名稱：圖像數(shù)據(jù)處理方法以及圖像數(shù)據(jù)處理裝置的制作方法
技術領域：
本發(fā)明涉及圖像處理方法和圖像處理裝置，具體地說，本發(fā)明涉及實現(xiàn) 適當白平衡處理和獲得清楚圖像的圖像處理方法和圖像處理裝置。
背景技術：
當利用攝影機捕獲圖像時，閃光(電子閃光，頻閃儀)被用做一輔助光源。近年來，已經(jīng)迅速流行一種DSC (數(shù)字靜態(tài)圖片攝影機)，并經(jīng)常利用所述DSC執(zhí)行閃光成像。通過利用所述閃光，可以執(zhí)行諸如補助光(一種當在人的面部具有很強的陰影時消弱該陰影的技術)、背景光補償(一種在諸如利用背景陽光拍照情況下避免黑暗曝光的技術)、捕光(一種引入一"光點，，照射到眼瞳中，從而使所述瞳孔被描述為具有一非常美麗外觀的技術) 和日光同步(日光同步；一種在白天或夜間使用輔助眼的技術)等的各種成像處理。另一方面，當執(zhí)行閃光成像時，可能出現(xiàn)色彩的不平衡或變白。本發(fā)明的目的就是提供一種能夠校正在這種閃光成像中產(chǎn)生的不希望現(xiàn)像的適當?shù)难b置。
通常，數(shù)字攝影機提供一白平衡(WB)調節(jié)，以便可以捕獲例如白色的白色目標。例如，當在其中使用自然光、照明光和閃光(頻閃光)等照射目標的光具有高色溫和強藍(B)光分量的光分量場合下執(zhí)行成像時，所述白平衡被調節(jié)為抑制對藍光的敏感度并對紅光的敏感度相對高，相反，當在其中用于照射目標的光具有低色溫和強紅(R)光的光分量場合執(zhí)行成像時，所述白平衡被調節(jié)為抑制對紅光的敏感度和使對藍光(B)的敏感度相對高。
所述白平衡調節(jié)對于執(zhí)行一調節(jié)處理是非常有用的，在該調節(jié)處理中，根據(jù)在成像時所使用光源設置一調節(jié)參數(shù)。例如，當執(zhí)行閃光成像時，根據(jù) 對應于將被使用的閃光所具有的光分量的參數(shù)執(zhí)行所述白平衡調節(jié)。但是，在其中具有除所述閃光以外的周圍光的場合下，當執(zhí)行閃光成像時，所述閃光和周圍光這兩種光都照射到所述目標上，從而使反射光到達所述攝影機的圖像分量上，并進而執(zhí)行所述成像。當執(zhí)行這種成像時，如果根據(jù)所述閃光執(zhí)行所述白平衡調節(jié)，那么，被更多閃光照射的目標部分被調節(jié) 為自然顏色。但是，在所述閃光沒有到達并僅借助于反射周圍光執(zhí)行成像的區(qū)域，例如背景圖像區(qū)域，如果根據(jù)基于所述閃光的光分量所設置的參數(shù)執(zhí) 行白平衡調節(jié)，那么將不能適當?shù)貓?zhí)行所述白平衡調節(jié)，從而使得該區(qū)域可能作為具有一非自然顏色的區(qū)域被輸出。
相反，如果對所捕獲到的所有圖像執(zhí)行所述白平衡調節(jié)，可以認為所述白平衡調節(jié)是根據(jù)所述背景部分執(zhí)行的，即僅通過周圍光執(zhí)行成像，和具有較多閃光的部分被調節(jié)為非自然顏色。
為了解決這些問題，已經(jīng)提出了一系列結構。例如，日本專利申請公開
No.8-51632披露了一種結構，在這種結構中，獲取沒有燃亮閃光所捕獲到的圖像和燃亮閃光所捕獲到的圖像，這兩個被捕獲到的圖像被分成多個塊，比較用于每個塊的亮度值，和基于所述亮度值比較的結果，相對于通過燃亮所述閃光捕獲到的圖像執(zhí)行每個塊均不相同的白平衡調節(jié)。
通過選擇根據(jù)用于每個塊的所述閃光的白平衡調節(jié)、根據(jù)所述閃光和周圍光的中間的白平衡調節(jié)或根據(jù)所述周圍光的白平衡調節(jié)中的任一白平衡調節(jié)執(zhí)行所述白平衡調節(jié)。但是，利用這樣一種結構，必須在每個塊基礎上執(zhí)行處理，因此，存在一個問題，即當發(fā)生塊失真或目標移動等時，不能精確地執(zhí)行所述處理。
日本專利申請公開No.2000-308068披露了下述處理結構，在這種處理結構中，以光圈被全部打開的方式通過燃亮所述閃光執(zhí)行成像，曝光時間被縮短，然后在不燃亮所述閃光并以原始預期的曝光條件執(zhí)行所述成像。這里，前者被認為是第一圖像，和后者被認為是第二圖像。此外，在所述第一圖像中，多于一預定級別的像素被注冊為一主目標區(qū)域，其它的則被注冊為一背景區(qū)域。然后，根據(jù)所述閃光對該第一圖像進行白平衡調節(jié)，根據(jù)周圍光對該第二圖像進行白平衡調節(jié)，然后，第一圖像的所述主目標區(qū)域和第二圖像的所述背景區(qū)域被結合到一起作為最后的記錄圖像。
但是，在這個結構中，對于那些被周圍光和閃光同時照射到的目標不能正確地執(zhí)行所述白平衡調節(jié)。此外，除了上述曰本專利申請公開No.2000-308068以外，曰本專利申請公開No.2000-307940還披露了一種被添加有一圖像模糊檢測裝置的結構。當它確定存在一模糊時，上述第一圖像被原樣地改變成一記錄圖像，從而不執(zhí) 行結合所述第一圖像和所述第二圖像的處理。因此，當檢測到所述模糊時，將不能排除由于所述閃光和周圍光之間的色溫差而導致的不自然。
此外，日本專利申請公開No.H8-340542 4皮露了一種結構，在這種結構中，在通過燃亮所述閃光和不燃亮所述閃光捕獲的相應圖像像素的亮度值之間執(zhí)行一分割，從而獲得所述閃光的組成比，然后，在所述組成比的基礎上，針對通過燃亮所述閃光而捕獲的圖像執(zhí)行所述白平衡調節(jié)。
但是，在該結構中，對于借助于反射的閃光和周圍光的混合所捕獲的圖像，基于所述閃光的組成比，對所述閃光和周圍光簡單地插入一白平衡參數(shù)，從而以生成所述最后圖像。但是，當考慮實際光的反射模型時，應當獨立處理所述閃光的分量和所述周圍光的分量，并且，不可能僅僅通過對借助于所述閃光和反射的周圍光的混合所捕獲到的圖像進行處理來生成較佳的最后圖像。
最近的攝影機是在用于機械的燃亮所述閃光的頻閃儀和所述攝影機的成像單元之間交換信息，并使所述頻閃儀發(fā)射精確的光數(shù)量，從而使所述攝影機能夠利用精確的曝光執(zhí)行成像。該系統(tǒng)被稱之為TTL (經(jīng)過鏡頭)自動曝光控制系統(tǒng)，并且這種技術被廣泛使用。
圖l示出了一典型照片IO的例子，該照片是在這種情況下使用一頻閃儀在暗室中對個人外形成像所獲得的。個人A的投影圖像是ll。在暗室中的投影圖像是12。取得該照片的過程如下所述。個人A已經(jīng)處于所述暗室之中。成像器攜帶具有所述頻閃儀的攝影機并靠近個人A取像。
在成像期間，所述TTL自動曝光控制系統(tǒng)累積和測量由所述頻閃儀發(fā)射并從一對像目標反射后返回到所述攝影機的每個光的數(shù)量。在測量一精確數(shù) 量光的定時處，所述攝影機指令頻閃儀側停止發(fā)射光，借此能夠獲得一精確曝光的圖像。
但是，與圖l所示的照片相似，當個人A的投影圖像11很小時，從所述頻閃儀發(fā)射的絕大部分光都沒有照射到所述個人A上，而是由位于相對遠處的室內墻壁所反射的光。因此，返回光的數(shù)量很小，從而所述TTL自動餘光控制系統(tǒng)確定光的數(shù)量是不充分的，并且調節(jié)而增加從所述頻閃儀發(fā)射的
8光的數(shù)量。
該調節(jié)處理的結果使成像時所述頻閃光的數(shù)量增加，從而使得由直接靠
近所述成像裝置(攝影機)的個人A所反射的總的光數(shù)量相對于所述頻閃光而言被明顯增加，借此，所述個人A的投影圖像部分的像素數(shù)據(jù)的值極度地增高并處于飽和狀態(tài)。
通過使用數(shù)字值，所述像素數(shù)據(jù)被表示如下。在上述的例子中，雖然一方法是公知的，每個像素數(shù)據(jù)中的紅(R)、綠(G)和藍(B)中的每一個都被表示為256 ( 0-256)標度，但個人A (特別是諸如臉部的淺褐色部分) 是由(R, G, B) = ( 255， 255, 255 )表示的。這是由于由所述頻閃儀發(fā)射的閃光太多地照射到靠近攝影機站立的個人A上所引起的。
換言之，這是由于頻閃光的數(shù)量很高，從而使得在由個人A反射的總光量中的R分量超過了 255， G分量超過了 255和B分量也超過了 255。 ( R, G， B) = (255， 255， 255 )表示最亮的白。這就是所謂的"白化"。個人A 臉部的投影圖像不是淺褐色而是純白色。
當(R， G, B) = ( 255或更多，255或更多，255或更多)時所獲取的像素數(shù)據(jù)中的每一個實際上都具有不同的色調。但是，光是被過度地照射到所述目標上的，因此，它們可以被統(tǒng)一表示為(R， G， B) = (255， 255， 255 )，和變成純白色。
在曰本專利申請公開No.2000-278598中描述了一種為解決所謂的"白化，，問題而提出的結構。該專利申請公開披露了一種對過曝光圖像中具有高亮度的圖像信號進行移位補償處理的結構。具體地說，該結構生成一輸入信號亮度級別和一輸出信號亮度級別的移位轉換特征曲線，以便調節(jié)所述輸出信號的高亮度部分，即利用一灰度系數(shù)(gamma)校正表對所述高亮度部分進行補償。
但是，即使是應用上述日本專利申請公開No.2000-278598中描述的技術，每個具有(R， G， B) = ( 255， 255， 255 )的輸入信號被轉換為某個設置輸出值。事實上，具有(R， G, B)-(255或更多，255或更多，255或更多)的像素數(shù)據(jù)總是具有不能解決上述"白化，，問題的相同的值。換言之，應當具有各種像素值的目標圖像被設置為相同的顏色和亮度，從而不能再現(xiàn) 這些目標顏色和亮度的分布。
9

發(fā)明內容
針對相關技術中存在的上述問題做出了本發(fā)明，并提供了一種圖像數(shù)據(jù) 處理方法、一種圖像數(shù)據(jù)處理裝置和一種計算機程序，它們能夠允許對在周
圍光和閃光被混合在一起的環(huán)境下捕獲到的圖像執(zhí)行一較佳的白平衡調節(jié)，并且即使是當檢測到一圖像模糊時也允許一較佳的白平衡調節(jié)而不會發(fā)生失敗。
此外，在執(zhí)行到所述目標的光照射以便捕獲圖像的結構中，本發(fā)明提供了一種圖像數(shù)據(jù)處理方法、一種圖像數(shù)據(jù)處理裝置和一種計算機程序，它們能夠解決所述目標太靠近所述成像裝置以及照射到所述目標上面的光量過
多而導致所述目標圖像的值(R， G, B)被飽和為白化的問題，和即使是對于一被過度照射的目標也可以生成再現(xiàn)其精確顏色和亮度的圖像。本發(fā)明的第一方面是一圖像數(shù)據(jù)處理方法，其特征在于一從構成借助于使第一光源發(fā)光導致的一成像處理所獲取的第二數(shù)據(jù) 圖像的每個像素的像素值中減去借助于使前述第一光源不發(fā)光導致的一圖像處理所獲取的第一圖像數(shù)據(jù)的相應像素值，借此以獲得與在僅有前述第一光源照射環(huán)境下捕獲到的圖像相對應的差圖像數(shù)據(jù)的步驟；
一差圖像數(shù)據(jù)像素值調節(jié)處理步驟，用于針對前述差圖像數(shù)據(jù)執(zhí)行像素值調節(jié)處理；和
一最終像素值調節(jié)圖像生成步驟，用于使用在前述差圖像數(shù)據(jù)像素調節(jié) 處理步驟中生成的經(jīng)調節(jié)的一像素數(shù)據(jù)，以便生成一最終像素值調節(jié)圖像。
此外，根據(jù)本發(fā)明圖像數(shù)據(jù)處理方法的一較佳實施例，前述圖像數(shù)據(jù)處理方法的特征還在于包括一第一圖像數(shù)據(jù)像素值調節(jié)處理步驟，用于對前迷第一圖像數(shù)據(jù)執(zhí)行像素值調節(jié)處理，其中，前述最終像素值調節(jié)圖像生成步驟是一對由前述差圖像數(shù)據(jù)像素值調節(jié)處理步驟和前述第一圖像數(shù)據(jù)像素值調節(jié)處理步驟獲取的經(jīng)調節(jié)像素值的兩個圖像數(shù)據(jù)的相應像素執(zhí)行像素值加法處理、從而生成一最終像素值調節(jié)圖像數(shù)據(jù)的步驟。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述像素值調節(jié)處理是一白平衡調節(jié)處理，前述差圖像數(shù)據(jù)像素值調節(jié)處理步驟是根據(jù) 基于前述第一光源的光分量設置的參數(shù)的白平衡調節(jié)處理，和前述第一圖像數(shù)據(jù)像素值調節(jié)處理步驟是根據(jù)基于不包含前述第一光源的周圍光分量設置的參數(shù)的白平衡調節(jié)處理。此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述參數(shù)是
由3x3矩陣表示的參數(shù)，和所述矩陣被用于對構成每個像素顏色的顏色分量轉換。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述3x3矩陣是除對角分量以外被設置為0的矩陣。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述圖像數(shù) 據(jù)處理方法的特征在于還包括一像素值加法步驟，用于將在前述差圖像數(shù)據(jù) 像素值調節(jié)處理步驟中生成的經(jīng)調節(jié)像素值的圖像數(shù)據(jù)的每個像素的像素值加到前述第一圖像數(shù)據(jù)的相應像素的像素值上，其中，前述最終像素值調節(jié)圖像生成步驟是一對在前述像素值加法步驟中生成的圖像數(shù)據(jù)執(zhí)行所述像素值調節(jié)從而生成所述最終像素值調節(jié)圖像數(shù)據(jù)的步驟。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述像素值調節(jié)處理是所述白平衡調節(jié)處理，和前述差圖像數(shù)據(jù)像素值調節(jié)處理步驟是根據(jù)基于不包含前述第一光源的周圍光分量所設置參數(shù)的白平衡調節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述圖像數(shù) 據(jù)處理方法的特征在于還包括一用于根據(jù)多個圖像數(shù)據(jù)的差數(shù)據(jù)檢測其中目標移動的的移動部分的移動檢測步驟，和一用于對前述移動部分執(zhí)行像素值調節(jié)處理的移動部分像素值調節(jié)步驟。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述移動部分像素值調節(jié)步驟的特征在于包括一當前述第一光源被導致發(fā)光或不發(fā)光時計算兩個光源的光強度標量比，作為對應于與移動部分相鄰的靜止部分的一像素的數(shù)據(jù)的步驟；一使用一徑向基礎函數(shù)(RBF: Radial Basis Function ) 計算與所述移動部分的每個像素對應的光強度標量比的步驟；一第一像素值計算步驟，用于在與所述移動部分的每個像素對應的所述光強度標量比的基礎上計算在與僅具有前述第一光源的照射環(huán)境中捕獲的圖像等效的一圖像
中所述移動部分每個像素的像素值作為所述第一像素值；一第二像素值計算步驟，用于在與所述移動部分的每個像素對應的所述光強度標量比的基礎上計算在與不包括前述第一光源的周圍光照射環(huán)境中捕獲的圖像的一圖像中
所述移動部分的每個像素的像素值作為所述第二像素值；一第一像素值調嗜處理步驟，用于基于在前述第一像素值計算步驟中計算的所述第一像素值執(zhí) 行所述像素值調節(jié)處理；一第二像素值調節(jié)處理步驟，用于基于在前述第二像素值計算步驟計算的所述第二像素值執(zhí)行所述像素值調節(jié)處理；和一像素值加法步驟，用于將在前述第一像素值調節(jié)處理步驟和在前述第二像素值調節(jié)處理步驟所生成的兩個調節(jié)像素值相加。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述像素值調節(jié)處理是所述白平衡調節(jié)處理，前述第一像素值調節(jié)處理步驟是根據(jù)基于所述第一光源的前述光分量所設置的參數(shù)的所述白平衡調節(jié)處理，和前述第二像素值調節(jié)處理步驟是根據(jù)基于不包含前述第一光源的周圍光所設置的參數(shù)的白平衡調節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述移動部分像素值調節(jié)步驟的特征在于還包括一計算所述移動部分的內部周邊像素的像素值與和所述移動部分內部周邊像素相鄰的所述移動部分的外部周邊相素的平均相素值的顏色分量比(ar， ag， ab)的步驟；一通過將所述移動部分中的所有內部周邊像素認為是釆樣點并在每個像素對應的所屬顏色分量比的基礎上構成所述徑向基礎函數(shù)(RBF: Radial Basis Function )的步驟；和在前述徑向基礎函數(shù)(RBF)的基礎上計算與所述移動部分的每個像素對應的顏色分量比，并倍增將被補償圖像的顏色分量比，以便獲得一補償像素值的步驟。
此外，根據(jù)本發(fā)明圖像數(shù)據(jù)處理方法的一較佳實施例，前述圖像數(shù)據(jù)處理方法的特征在于還包括一用于根據(jù)多個圖像數(shù)據(jù)的差數(shù)據(jù)檢測其中一目標在移動的移動部分的移動檢測步驟；一當前述移動部分整個圖像的比例大于一預定閾值時在借助于使前述第一光源發(fā)光導致的一圖像處理所獲取的圖像數(shù)據(jù)的基礎上執(zhí)行所述像素值調節(jié)處理的步驟，其中，基于所述第二圖像數(shù)據(jù)的所述像素值調節(jié)數(shù)據(jù)被設置為一最終像素值調節(jié)數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，基于前述第二圖像數(shù)據(jù)的所述像素值調節(jié)處理的特征在于是根據(jù)基于前述第一光源的光分量所設置的參數(shù)的白平衡調節(jié)處理、根據(jù)基于不包含前述第一光源的周圍光所設置的參數(shù)的白平衡調節(jié)處理或根據(jù)基于在前述第一光源和不包含前述第一光源光分量的周圍光分量之間的一中間分量所設置的參數(shù)的白平 -衡調節(jié)處理。
此外，根據(jù)本發(fā)明的第二方面提供了一種圖像數(shù)據(jù)處理裝置，其特征在于包括一存儲器，用于存儲借助于使所述第一光源不發(fā)光導致的一成像處理所獲取的一第一圖像數(shù)據(jù)，和借助于使前述第一光源發(fā)光導致的一成像處理所
獲取的一第二圖像數(shù)據(jù)；和
一數(shù)據(jù)處理單元，用于基于在前述存儲器中存儲的所述圖像數(shù)據(jù)執(zhí)行一像素值調節(jié)處理，
其中，前述數(shù)據(jù)處理單元具有
一差圖像數(shù)據(jù)獲取單元，用于從構成前述第二圖像數(shù)據(jù)的每個像素的像素值中減去前述第一圖像數(shù)據(jù)的相應像素的像素值，以便獲取與僅具有前述第一光源的照射環(huán)境中捕荻到的所述圖像相對應的所述差圖像數(shù)據(jù)；
一差圖像數(shù)據(jù)像素值調節(jié)單元，用于對前述差圖像數(shù)據(jù)執(zhí)行所述像素值調節(jié)處理；和
一最終像素值調節(jié)單元，用于使用在前述差圖像數(shù)據(jù)像素值調節(jié)單元中生成的經(jīng)調節(jié)像素值的圖像數(shù)據(jù)執(zhí)行一最終像素值調節(jié)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實施例，前述數(shù)據(jù)處理單元還包括一第一圖像數(shù)據(jù)像素值調節(jié)單元，用于執(zhí)行關于前述第一圖像數(shù)據(jù)的所述像素值調節(jié)處理，和前述最終像素值調節(jié)單元被配置成對在前述差圖像數(shù)據(jù)像素值調節(jié)單元和前述第一圖像數(shù)據(jù)像素值調節(jié)單元中生成的經(jīng)調節(jié)像素值的兩個圖像數(shù)據(jù)的相應像素執(zhí)行像素值加法處理，并生成所述最終像素值調節(jié)圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實施例，前述像素值調節(jié)處理是所述白平衡調節(jié)處理，前述差圖像數(shù)據(jù)像素值調節(jié)單元被配置成根據(jù)基于前述第一光源的光分量所設置的參數(shù)執(zhí)行所述白平衡調節(jié)處理，和前述第一圖像數(shù)據(jù)像素值調節(jié)單元根據(jù)基于不包括前述第一光源的周圍光分量所設置的參數(shù)執(zhí)行所述白平衡調節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實施例，前述數(shù)據(jù)處理單元還包括一像素值加法單元，用于將在前述差圖像數(shù)據(jù)像素值調節(jié)單元中生成的經(jīng)調節(jié)像素值的所述圖像數(shù)據(jù)的每個像素的像素值加到前述第一圖像數(shù)據(jù)的相應像素的一像素值上，和前述最終像素值圖像生成單元執(zhí)行關于在前述像素值加法單元中生成的所述圖像數(shù)據(jù)的像素值調節(jié)，并生成所述最終像素值調節(jié)圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實施例，前述像素值調節(jié)處理是所述白平衡調節(jié)處理，和前述差圖像數(shù)據(jù)像素值調節(jié)單元根據(jù)基于不包括前述第一光源的周圍光分量所設置的參數(shù)執(zhí)行所述白平衡調節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實施例，前述數(shù)據(jù)處理單元的特征在于還包括一移動檢測單元，用于在多個圖像數(shù)據(jù)的所述差數(shù)
據(jù)的基礎上檢測一目標的移動部分；還包括一移動部分像素值調節(jié)單元，用于執(zhí)行關于前述移動部分的像素值調節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實施例，前述移動部分像素值調節(jié)單元的特征在于當前述第一光源被導致發(fā)光和不發(fā)光時計算兩個光源的光強度標量比作為對應于與一移動部分相鄰的靜止部分的一像素對應的數(shù)據(jù)；使用一徑向基礎函數(shù)(RBF: Radial Basis Function )計算與所述移動部分每個像素對應的所述光強度標量比；在與所述移動部分的每個像素對應的光強度標量比的基礎上，計算在等效于僅具有前述第一光源的照射環(huán)境中捕獲的圖像的一圖像中所述移動部分的每個像素的所述像素值，作為所述第一像素值；在與所述移動部分的每個像素對應的所述光強度標量比的基礎上，計算在等效于其中不包括前述第一光源的周圍光照射環(huán)境中捕獲的圖像的一圖像中所述移動部分的每個像素的像素值，作為所述第二像素值；在前述第一像素值的基礎上，執(zhí)行所述像素值調節(jié)處理；在前述第二像素值的基礎上，執(zhí)行所述像素值調節(jié)處理；和將所生成的兩個調節(jié)像素值相加，以此執(zhí)行一移動部分像素值調節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實施例，前述像素值調節(jié)處理是所述白平衡調節(jié)處理，作為所述白平衡調節(jié)處理，執(zhí)行根據(jù)基于前述第一光源的光分量所設置的參數(shù)的前述第一像素值調節(jié)處理作為所述白平衡調節(jié)處理，執(zhí)行根據(jù)基于不包括前述第一光源的周圍光分量所設置的參數(shù)的前述第二像素值調節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實施例，前述移動郜分像素值調節(jié)單元的特征在于計算所述移動部分一內部周邊像素的像素值與和所述移動部分的該內部周邊像素相鄰的所述移動部分的一外部周邊像素的像素值的顏色分量比(ar， ag, ab)，在認定所述移動部分中的所有內部
周邊像素是采樣點并基于對應于每個像素的所述顏色分量比構建一徑向基礎函數(shù)(RBF: Radial Basis Fuction),在前述徑向基礎函數(shù)(RBF )的基礎上計算與所述移動部分的每個像素對應的所述顏色分量比，和倍增將被補償的一圖像的所述顏色分量比并由此獲得一補償?shù)南袼刂怠?br> 此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實施例，前述數(shù)據(jù)處理單元的特征在于當由前述移動檢測單元檢測到的前述移動部分的整個圖. 像的比例大于一預定閾值時，基于借助于使前述第一光源發(fā)光的成像處理所獲取的第二圖像數(shù)據(jù)執(zhí)行所述像素值調節(jié)處理，從而使基于前述第二圖像數(shù) 據(jù)的所述像素值調節(jié)數(shù)據(jù)被設置為所述最終像素值調節(jié)數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實施例，基于前述第二圖像數(shù)據(jù)的所述像素值調節(jié)處理的特征在于根據(jù)基于前述第一光源的光分量所設置的參數(shù)執(zhí)行所述白平衡調節(jié)處理、根據(jù)基于不包括前述第一光源的周圍光分量所設置的參數(shù)執(zhí)行白平衡調節(jié)處理或根據(jù)基于在前述第一光源的光分量和不包括前述第一光源的周圍光分量之間的一中間光分量所設置的參數(shù)執(zhí)行所述白平衡調節(jié)處理。
此外，本發(fā)明的第三方面是一種圖像數(shù)據(jù)處理方法，該方法的特征在于一借助于使前述第一光源不發(fā)光導致的一成像處理獲取第一圖像數(shù)據(jù) 的步驟；
一借助于使前述第一光源發(fā)光導致的一成像處理獲取一第二圖像數(shù)據(jù) 的步驟；
一從構成前述第二圖像數(shù)據(jù)的每個像素的像素值中減去前述第一圖像數(shù)據(jù)的相應像素的像素值，以便獲取與在只有前述第一光源的照射環(huán)境中捕獲的圖像對應的一差圖像數(shù)據(jù)的步驟；
一差圖像數(shù)據(jù)像素值調節(jié)處理步驟，用于執(zhí)行關于前述差圖像數(shù)據(jù)的像素值調節(jié)處理；和
一最終像素值調節(jié)圖像生成步驟，用于使用在前述差圖像數(shù)據(jù)像素值調節(jié)處理步驟中生成的經(jīng)調節(jié)的像素值圖像數(shù)據(jù)生成一最終像素值調節(jié)圖像。
此外，本發(fā)明的第四方面是一種圖像數(shù)據(jù)處理方法，其特征在于
一在所述第一光源的發(fā)光條件相同的場合獲取不同時間捕獲到的多個圖像數(shù)據(jù)的步驟；
一基于在前述多個圖像數(shù)據(jù)中的比較獲取移動信息的步驟；和
一根據(jù)基于前述移動信息所設置的白平衡執(zhí)行關于前述多個圖像數(shù)據(jù) 中的一個、一部分、全部或者其它圖像數(shù)據(jù)的處理的步驟。此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，在根據(jù)基于前述移動信息所設置的白平衡執(zhí)行關于在捕獲前述多個圖像數(shù)據(jù)的時間周期內捕獲到的所述其它圖像數(shù)據(jù)的處理的步驟中，剛好在捕獲前述多個圖像數(shù)據(jù)的前后調節(jié)相應部分的白平衡。
此外，根據(jù)本發(fā)明的所述圖像數(shù)據(jù)處理方法的一較佳實施例，在根據(jù)基于前述移動信息所設置的白平衡執(zhí)行所述處理的步驟中，當基于前述移動信息確定一移動較大時，在周圍光、所述閃光或虛擬光源的中間周圍光和所屬閃光的基礎上執(zhí)行所述白平衡調節(jié)處理。
此外，根據(jù)本發(fā)明的所述圖像數(shù)據(jù)處理方法的一較佳實施例，基于前述移動信息執(zhí)行所述白平衡處理的步驟的特征在于還包括一自適應地轉換用于所述圖像每個部分的白平衡調節(jié)處理，而不是用于整個圖像的均衡處理的步驟，其中，在前迷移動信息的基礎上，進一步根據(jù)與一相應部分相鄰的靜止部分的圖像數(shù)據(jù)內插所述圖像，以獲得所述相應部分的圖像數(shù)據(jù)。
此外，本發(fā)明的第五方面是一種圖像數(shù)據(jù)處理裝置，其特征在于
一成像裝置，用于借助于使一第一光源不發(fā)光導致的一成像處理和使前述第一光源發(fā)光導致的一成像處理獲取多個圖像數(shù)據(jù)；
一存儲器，用于存儲借助于使前述第一光源不發(fā)光導致的所述成像處鐘獲取的第一圖像數(shù)據(jù)和借助于使前述第一光源發(fā)光導致的所述成像處理獲' 取的第二圖像數(shù)據(jù)；和
一數(shù)據(jù)處理單元，用于在存儲在前述存儲器中的圖像數(shù)據(jù)的基礎上執(zhí)行一像素值調節(jié)處理，其中，
前述數(shù)據(jù)處理單元包括
一差圖像數(shù)據(jù)獲取單元，用于從構成前述第二圖像數(shù)據(jù)的每個像素的像素值中減去前述第一圖像數(shù)據(jù)相應像素的像素值，從而獲取與在僅有前述第一光源的照射環(huán)境中捕獲到的所述圖像對應的一差圖像數(shù)據(jù)；
一差圖像數(shù)據(jù)像素值調節(jié)單元，用于執(zhí)行關于前述差圖像數(shù)據(jù)的像素值調節(jié)處理；和
一最終像素值調節(jié)單元，用于通過使用在前述差圖像數(shù)據(jù)像素值調節(jié)普元中生成的經(jīng)調節(jié)的像素值的圖像數(shù)據(jù)執(zhí)行一最終像素值調節(jié)。
此外，本發(fā)明的第六方面是一種圖像數(shù)據(jù)處理裝置，其特征在于一用于在所述第一光源的發(fā)光和成像條件相同的場合獲取不同時間捕獲到的多個圖像數(shù)據(jù)的裝置；
一用于在前述多個圖像數(shù)據(jù)當中進行比較的基礎上獲取移動信息的裝置；和
一用于根據(jù)基于前述移動信息所設置的白平衡執(zhí)行關于前述多個圖像數(shù)據(jù)中的一個、一部分、全部或者其它圖像數(shù)據(jù)處理的裝置。
此外，本發(fā)明的第七方面是一種計算機程序，用于執(zhí)行與所述圖像數(shù)據(jù) 相關的處理，該計算機程序的特征在于
一借助于使一第一光源不發(fā)光導致的一成像處理獲取一第一圖像數(shù)據(jù)
的步驟；
一借助于使前述第一光源發(fā)光導致的一成像處理獲取一第二圖像數(shù)據(jù) 的步驟；
一從構成前述第二圖像數(shù)據(jù)的每個像素的像素值中減去前述第一圖像數(shù)據(jù)相應像素的像素值，從而獲取與在前述僅有前述第一光源的照射環(huán)境中捕獲到的所述圖像對應的一差圖像數(shù)據(jù)的步驟；
一差圖像數(shù)據(jù)像素值調節(jié)處理步驟，用于執(zhí)行關于前述差圖像數(shù)據(jù)的像素值調節(jié)處理；和
一最終像素值調節(jié)圖像生成步驟，用于通過使用在前述差圖像數(shù)據(jù)像素值調節(jié)處理步驟中生成的經(jīng)調節(jié)的像素值圖像數(shù)據(jù)生成一最終像素值調f" 圖像。
此外，本發(fā)明的第八方面是一種圖像數(shù)據(jù)處理方法，用于對一具有飽和像素值的圖像數(shù)據(jù)執(zhí)行一像素值補償處理，該方法的特征在于
一臨時補償像素值計算步驟，用于輸入包括將被補償并具有其中所述圖像數(shù)據(jù)中的至少部分像素被設置為最大像素值的一飽和像素的第一圖像數(shù) 據(jù)以及在不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲到的一個或多個子圖像數(shù)據(jù)的多個圖像數(shù)據(jù)，基于多個輸入圖像數(shù)據(jù)中相互對應的像素值差獲取一指出在獲取每個圖像數(shù)據(jù)時曝光條件差的曝光條件差數(shù)據(jù)，和在所述曝光條件差數(shù)據(jù)的基礎上計算在前述第一圖像數(shù)據(jù)中所述飽和像素的臨時補償像素值；和
一補償像素值計算步驟，用于執(zhí)行一標準化處理，以便將前述臨時補傳像素值校正為可輸出范圍內的一像素值。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述第一圖像數(shù)據(jù)在所述飽和像素位置(Xc， Yc)中具有所述像素值(Rcl、 Gcl， Bel )，并且是在不飽和像素(Xu， Yu)中具有所述像素值(Rul, Gul, Bul)的圖像數(shù)據(jù)；前述子圖像數(shù)據(jù)包括作為曝光強度低于前述第一圖像數(shù)據(jù)的捕獲圖像的所述第二圖像數(shù)據(jù)和作為曝光強度低于所述第二圖像數(shù)據(jù)的捕獲圖像的第三圖像數(shù)據(jù)，前述臨時補償像素值計算步驟根據(jù)下述等式執(zhí)行一計算，假設在所述第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)中對應于前迷第一圖像數(shù)據(jù)的不飽和像素(Xu， Yu)的部分中的像素值是(Ru2， Gu2， Bu2 )和(Ru3, Gu3, Bu3)，
p(Xm,:kw)=
「(扁-闊)「 (G"l-G"3)、禮(i w2-扁)J L Gw2-Gw3 乂
+
廣(編-扁)、
扁)乂 ...(等式i)
S，闊 ...(等式2)
和在上述等式i和2的基礎上計算所述曝光條件差數(shù)據(jù)s。此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述補償像素值計算步驟的特征在于還根據(jù)下述等式執(zhí)行一處理，假設在所述第二圖像
數(shù)據(jù)和第三圖像數(shù)據(jù)中與前述第一圖像數(shù)據(jù)的飽和像素(Xc， Yc)對應的位置的像素值是(Rc2， Gc2， Bc2)和(Rc3, Gc3， Bc3 ),
Rcq = ( Rc2-Rc3 ) x S + Rc3
Gcq = ( Gc2-Gc3 ) x S + Gc3
Bcq = ( Bc2-Bc3 ) x S + Bc3 ...(等式3 )
和基于前述等式3 ，計算前述第一圖像數(shù)據(jù)中所述飽和像素的臨時補償像素值(Rcq, Gcq, Bcq )。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述補償像素值計算步驟的特征在于計算前述第一像素的不飽和像素(Xu, Yu)的像素值(Ru， Gu, Bu)的所有數(shù)據(jù)的最大值Dmax、關于所述飽和像素(Xc， Yc)的前述臨時補償像素值(Rcq， Gcq， Bcq )，根據(jù)下述等式執(zhí)行所述計算處理，在不飽和像素(Xu, Yu)的情況下，
Ruf=Ru/Dmax
Guf=Gu/Dmax
Buf=Bu/Dmax，在飽和像素(Xc, Yc)的情況下，
Rcf=Rcq/Dmax
Gcf=Gcq/Dmax
Bcf=Bcq/Dmax ...(等式4)
和基于前述等式4，計算前述第一圖像數(shù)據(jù)的不飽和像素的補償像素值 (Ruf, Guf, Buf)以及所述飽和像素的補償像素值(Rcf, Gcf， Bcf)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，在前述第一圖像數(shù)據(jù)和一個或多個子圖像數(shù)據(jù)之間的曝光條件的差是照射光強度的差，和前述臨時補償像素值計算步驟基于在多個圖像數(shù)據(jù)的照射光強度的差計算照射光量的比值，作為前述曝光條件差數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，在前述第一圖像數(shù)據(jù)和一個或多個子圖像數(shù)據(jù)之間的曝光條件的差是曝光時間的差，和前述臨時補償像素值計算步驟基于多個圖像數(shù)據(jù)曝光時間的差計算照射光強度的比值，作為前述曝光條件差數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述臨時補償像素值計算步驟和前述補償像素值計算步驟的特征在于計算與前述第一圖像中彩色圖像的每個信號分量相關的補償數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實施例，前述臨時補償像素值計算步驟和前述補償像素值計算步驟的特征在于根據(jù)前述第一圖像的亮度分量計算所述補償數(shù)據(jù)。
此外，本發(fā)明的第九方面是一種成像方法，用于捕獲將被存儲到一存儲器中的圖像數(shù)據(jù)，該方法的特征在于
一成像步驟，用于通過設置不同的曝光條件捕獲圖像；
一臨時補償像素值計算步驟，用于輸入包括將被補償并具有其中該圖像數(shù)據(jù)中的至少部分像素被設置為一最大像素值的第一圖像數(shù)據(jù)和一個或多個在不同于所述第一圖像數(shù)據(jù)曝光條件下捕獲的子圖像數(shù)據(jù)的多個圖像，基于在所述多個圖像數(shù)據(jù)中彼此對應的像素值差獲取用于指出在獲取每個圖像數(shù)據(jù)時曝光條件的差的曝光條件差數(shù)據(jù)，和基于所述曝光條件差計算在前述第一圖像數(shù)據(jù)中的飽和像素的臨時補償像素值；
一補償像素值計算步驟，用于執(zhí)行一標準化處理，以便將前述臨時補償像素值校正為一可輸出范圍的像素值；和一存儲步驟，用于存儲由前述補償像素值計算步驟補償?shù)南袼厮M成的所述圖形數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述成像方法的一較佳實施例，在前述曝光條件之間的差是照射光強度的差或者是曝光時間的差，前述成像步驟在照射光強度或曝光時間的不同設置條件下捕獲多個圖像，和前述臨時補償像素值計算步驟在所述多個圖像數(shù)據(jù)的照射光強度或曝光時間差的基礎上計算照射光強度比作為前述曝光條件差數(shù)據(jù)。
此外，本發(fā)明的第十方面是一種圖像數(shù)據(jù)處理裝置，用于對一具有一飽和像素值的圖像數(shù)據(jù)執(zhí)行像素值補償處理，所述圖像數(shù)據(jù)處理裝置的特征在
于包括
一臨時補償像素值計算裝置，用于輸入包括將被補償并具有其中該圖像數(shù)據(jù)中的至少部分像素被設置為一最大像素值的飽和像素的一第一圖像數(shù) 據(jù)和一個或多個在不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲的子圖像數(shù)
據(jù)的多個圖像數(shù)據(jù)，基于多個圖像數(shù)據(jù)中彼此對應的像素值差獲取一用于指出在獲取每個圖像數(shù)據(jù)時曝光調節(jié)差的曝光條件差數(shù)據(jù)，和基于所述曝光條
件差數(shù)據(jù)計算前述第一圖像數(shù)據(jù)中所述飽和像素的臨時補償像素值；和
一補償像素值計算裝置，用于執(zhí)行一標準化處理，以便將前述臨時補馇像素值校正為在一可輸出范圍內的像素值。
此外，本發(fā)明的第十一方面是一計算機程序，用于對具有一飽和像素值的圖像數(shù)據(jù)執(zhí)行包括像素值補償處理的圖像數(shù)據(jù)處理，所述計算機程序的特
征在于
一臨時補償像素值計算步驟，用于輸入包括將被補償并具有其中所述圖像數(shù)據(jù)中的至少部分像素被設置為一最大像素值的飽和像素的第一圖形數(shù) 據(jù)和一個或多個在不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲的子圖像數(shù) 據(jù)的多個圖像，在多個輸入圖像數(shù)據(jù)中相應像素值差的基礎上獲取一指出在獲取每個圖像數(shù)據(jù)時曝光條件差的曝光條件差數(shù)據(jù)，和在所述曝光條件差的基礎上計算在前述第一圖像數(shù)據(jù)中所述飽和像素的臨時補償像素值；和
一補償像素值計算步驟，用于執(zhí)行一格式化處理，以便將前述臨時補償像素值校正為在一可輸出范圍內的像素值。
根據(jù)本發(fā)明的所述結構，可以就在諸如周圍光、閃光等不同光分量相互混合在一起的環(huán)境中所捕獲到的圖像穩(wěn)定地調節(jié)所述白平衡，并能夠獲取自然色調的圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明的結構，由于它被結構成能夠就將被在諸如周圍光、閃光等多種不同種類照射光條件下捕獲的圖像轉換成在單種光照射環(huán)境中捕獲或生成所述圖像，并相對于單種光照射的每個環(huán)境中的圖像執(zhí)行根據(jù)基于每種照射光顏色分量(色溫)所設置的參數(shù)的白平衡調節(jié)以合成所述圖像，借此，實現(xiàn)了其中減少了閃光和周圍光之間的色溫差的穩(wěn)定的白平衡調節(jié)處理。
此外，根據(jù)本發(fā)明的結構，由于它被結構成就目標本身的移動部分能夠以與靜止部分相鄰的像素值為基礎調節(jié)和設置所述像素值，所以可以產(chǎn)生像素間平滑變化的自然圖像數(shù)據(jù)。
此外，本發(fā)明的結構對所述像素數(shù)據(jù)提供適當?shù)南袼刂笛a償，在所述像素數(shù)據(jù)中，由于靠近所述成像裝置的目標處于諸如附著到諸如攝影機的成像裝置上的頻閃儀的照射光的過度照射之下，所以，該目標圖像的所述像素值被飽和。
此外，根據(jù)本發(fā)明的結構，基于在不同曝光條件下的多個圖像數(shù)據(jù)獲得所述飽和像素值的臨時補償像素值，和該臨時補償像素值被標準化處理，從而再次被校正為所述可輸出的像素值并進而被輸出或記錄，借此，在一精確補償像素值計算和所述補償像素值的基礎上，可以輸出和存儲一個清晰的圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明的結構，輸入多個圖像數(shù)據(jù)，包括將被補償和具有其中是該圖像數(shù)據(jù)中至少部分像素被設置為一最大像素值的飽和像素的第一圖像數(shù)據(jù)和一個或多個在不同于所述第一圖像數(shù)據(jù)曝光條件下捕獲的子圖
像數(shù)據(jù)；基于所述多個圖像數(shù)據(jù)中相互對應的像素值差，獲取所述曝光奈棒差數(shù)據(jù)，該數(shù)據(jù)指出在獲取每個圖像數(shù)據(jù)時的曝光條件的差；在所述曝光條件差數(shù)據(jù)的基礎上，計算前述第一圖像數(shù)據(jù)中的所述飽和像素的臨時補償像素值；和執(zhí)行一格式化處理，以將前述臨時補償像素值校正為一可輸出范圍內的像素值，然后，在一精確補償像素值計算和所述補償像素值的基礎上，輸出和存儲一清晰的圖像數(shù)據(jù)。
另外，一與本發(fā)明相符的計算機程序是一種能夠被提供用于一計算機系
統(tǒng)的計算機程序，所述計算機系統(tǒng)能夠例如借助于一種以計算機可讀形式提供的記錄介質和通信媒體執(zhí)行各種程序碼，所述記錄介質諸如是CD、 FD和MO,所述通信媒體諸如是一個網(wǎng)絡。通過提供這種計算機可讀形式的程序，
可以在計算機系統(tǒng)上實現(xiàn)根據(jù)該程序的處理。
通過下面基于本發(fā)明的例子和附圖的詳細描述，本發(fā)明的其它方面、特性和優(yōu)點將變得更加明顯。

圖1用于解釋有關在利用頻閃儀等照射下捕獲的圖像的問題；圖2A和圖2B解釋本發(fā)明圖像處理裝置中捕獲的多個圖像的曝光條件；圖3用于解釋本發(fā)明所述圖像處理裝置的硬件結構的例子；圖4用于解釋本發(fā)明所述圖像處理裝置中圖像獲取的例子，圖5A至圖5C解釋本發(fā)明圖像處理裝置中多個被捕獲到的圖像的例子；圖6的流程圖用于解釋本發(fā)明所述圖像處理裝置中的像素值補償處理；圖7的流程圖用于解釋本發(fā)明所述圖像處理裝置中的像素值補償處理V 圖8的流程圖用于解釋本發(fā)明所述圖像處理裝置中的像素值補償處理；圓9的功能框圖示出了用于在本發(fā)明所述圖像處理裝置中執(zhí)行的與每個功能相關的像素值補償；
圖IO用于解釋在本發(fā)明的所述圖像處理裝置中捕獲的多個圖像的曝光
條件；
圖11示出了本發(fā)明所述圖像數(shù)據(jù)處理裝置的結構；
圖12的流程圖用于解釋本發(fā)明圖像數(shù)據(jù)處理方法的過程；
圖13的流程圖用于解釋本發(fā)明圖像數(shù)據(jù)處理方法中基于多個圖像數(shù)據(jù) 的白平衡調節(jié)處理的過程；
圖14A至圖14D的曲線示出了本發(fā)明圖像數(shù)據(jù)處理方法中基于多個圖像數(shù)據(jù)的白平衡調節(jié)處理的原理；
圖15A至圖15D用于解釋在本發(fā)明所述圖像數(shù)據(jù)處理方法中基于所述多個圖像數(shù)據(jù)的移動部分的檢測處理；
圖16的流程圖用于解釋在本發(fā)明所述圖像數(shù)據(jù)處理方法中所述移動部分的像素值調節(jié)處理；
圖17的曲線用于解釋本發(fā)明所述圖像數(shù)據(jù)處理方法中所述移動部分的像素值調節(jié)處理；
圖18用于解釋一種機制，在該機制下執(zhí)行本發(fā)明所述圖像數(shù)據(jù)處理法中基于所述多個圖像數(shù)據(jù)的白平衡像素值調節(jié)處理；
圖19的流程圖用于解釋在本發(fā)明所述圖像數(shù)據(jù)處理方法中基于所述多個圖像數(shù)據(jù)的白平衡調節(jié)處理的過程；
圖20用于解釋一種機制，在該機制下，執(zhí)行本發(fā)明所述圖像處理方法中基于所述多個圖像的像素值調節(jié)處理。
具體實施例方式
此后，將結合附圖描述一圖像數(shù)據(jù)處理方法，一成像裝置，以及用于根據(jù)本發(fā)明對圖像進行處理的一裝置和方法。將依次描述以下二個主題。
1. 用于由于過度光照射而導致的飽和像素值的補償處理
2. 在其中周圍光和閃光被相互混合的環(huán)境中圖像的較佳白平衡調節(jié)處理 [1.用于由于過度光照射而導致的飽和像素值的補償處理]
首先，描述本發(fā)明用于對由于過度光照射而導致的飽和像素值執(zhí)行補償處理的圖像處理裝置、成像裝置和方法的概況。在本發(fā)明中，捕獲至少三小或更多個以不同成像模式捕獲的圖像。如圖2 (a)和(b)所示，所述多個圖像的成像模式在所述圖像的曝光時間和光強度方面是變化的。第一圖像是將要被補償?shù)膱D像，和第二圖像和第三圖像是被用于對所述第一圖像進行補償處理的子圖像。
與傳統(tǒng)方式類似，當例如頻閃儀的發(fā)光裝置發(fā)射光時，將被進行補償處理的所述第一圖像被曝光。因此，當將被捕獲圖像的目標存在于相對于所述成像裝置一近距離位置和一遠距離位置時，過度的光量被照射到位于靠近所述成像裝置的成像目標上，從而所述圖像(稱做第一圖像)的值(R, G, B) 被飽和。另外，在下面的描述中，雖然所述發(fā)射裝置被描述為頻閃儀或一閃光，但當所述發(fā)射裝置不僅利用了所述頻閃儀和閃光，而且還有其它不同的光照射裝置時，也可以應用本發(fā)明的結構。
作為所述子圖像的第二圖像是通過將所述曝光時間設置得短于所述第' 一圖像的曝光時間所捕獲到的圖像，或者是在其中所述頻閃儀的光強度被減小到所述第一圖像成像時的光強度的情況中捕獲的圖像(稱做第二圖像)。
此外，作為第三圖像的子圖像是一個通過將所述曝光時間設置為比所述第二圖像的曝光時間更短時捕獲到的圖像，或者是在其中所述頻閃儀的光強度仍然低于所述第二圖像成像(或沒有發(fā)射光)的情況中捕獲的圖像(稱做第三圖像)。
由于第二圖像與第三圖像具有較少的頻閃光(strobe light)的曝光時間和較低的強度，所以，從整體上看圖像變得較暗。即使它是一個靠近所述成像裝置(攝影機)和距離作為光發(fā)射裝置的頻閃儀比較近的目標，照射光的強度也減小，因此，所捕獲到圖像的像素也不會出現(xiàn)飽和的情況。
由于所述第二圖像和第三圖像是暗圖像，所以它沒有被用于觀看。但是，它們包括被所述第一圖像丟失的有用信息。即，有關色度的信息。換言之，從所述第二圖像和第三圖像中可以獲得每個像素中R: G: B的比例關系。根據(jù)這個信息，恢復第一圖像中飽和像素的數(shù)據(jù)(特別是色度)。
下面將說明本發(fā)明的一特定結構。首先，結合圖3說明本發(fā)明一圖像處理裝置的硬件結構的例子。結合圖3描述圖像處理裝置100的每個構成組件。另外，圖3所示的圖像處理裝置100也能夠被插入到所述成像裝置(攝影機) 中。
作為該圖像處理裝置100的主控器的CPU (中央處理單元)101在操作系統(tǒng)(OS)的控制下執(zhí)行各種應用程序。CPU101能夠執(zhí)行一應用程序以補償從作為成像裝置的數(shù)字攝影機150經(jīng)外部設備接口 106 —次下載到一 HDD111中的圖像。如圖所示，CPU101借助總線107與其它設備互連。
存儲器102是一個用于存儲在CPU101中執(zhí)行的程序碼或用于臨時存儲運行中操作數(shù)據(jù)的存儲設備。應當理解，圖示存儲器102既包括諸如ROM 的非易失存儲器，也包括諸如DRAM的易失存儲器。
顯示控制器103是一專用控制器，用于實際處理由CPU101發(fā)出的繪制命令。在顯示控制器103中處理的一繪制數(shù)據(jù)例如在被一次寫入一幀緩存器 (未示出)之后通過顯示器108輸出給一屏幕。例如，從HDD(111)再現(xiàn) 的圖像和由CPU101處理的圖像被顯示在屏幕1os上，借此使用戶能夠看到它們。
輸入設備接口 104是一個用于將諸如鍵盤109、鼠標UO等用戶輸入設備連接到系統(tǒng)100上的設備。所述用戶能夠經(jīng)過鍵盤109和鼠標110輸X用于處理和顯示所述圖像的命令等。
網(wǎng)絡*接口 105可以^4居諸如以太網(wǎng)(Ethernet)的一預定通信協(xié)^U尋系統(tǒng)IOO連接到諸如LAN (局域網(wǎng))的本地網(wǎng)絡和諸如因特網(wǎng)(Internet)的廣域網(wǎng)上。在一網(wǎng)絡上，以透明狀態(tài)連接多個主機端和服務器(未示出)，和建立一分布式計算環(huán)境。在所述網(wǎng)絡上，可以對分布軟件程序和數(shù)據(jù)內容等提供服務。例如，一圖像數(shù)據(jù)可被從其中保存有由其它服務器捕獲到的圖像的其
它服務器中經(jīng)過所述網(wǎng)絡下載到HDD ( 111 )。
外部設備接口 106是一用于將諸如數(shù)字攝影機、硬盤驅動器(HDD )111 和媒體設備112的外部設備連接到系統(tǒng)100的設備。
HDD111是一個用于固定地承載作為存儲介質的磁盤、在存儲容量、數(shù) 據(jù)傳輸速度等方面優(yōu)于其它外部存儲裝置并能夠提供隨機訪問的外部存儲裝置。把將被執(zhí)行的軟件程序放置到所述HDDU1上被稱之為在所述系統(tǒng)中 "安裝(to install )"所述程序。通常，將由CPU101執(zhí)行的操作系統(tǒng)的程序碼、應用程序和設備驅動程序等被以非易失方式存儲在HDDlll中。例如，下面將要描述的圖像補償程序可以被安裝到HDD111中。
媒體驅動器112是一個被安裝在諸如CD (高密度盤)、MO (磁光盤)、 DVD(數(shù)字通用盤)的便攜式介質160上的設備，用于訪問它們的數(shù)據(jù)記錄側。
便攜式介質160被用于主要備份一軟件程序和數(shù)據(jù)文件等作為計算機
可讀的數(shù)據(jù)，并用于在系統(tǒng)之間移動它們(即，包括銷售、流通和分配) 通過使用這些便攜式介質，可以在多個設備當中實際流通和分配用于執(zhí)行成像處理的應用程序。
另外，圖3所示成像處理裝置100的例子可以被實現(xiàn)為來自美國IBM 公司的個人計算機"PC/AT ( Personal Computer/Advanced Technology)，，的一兼容機或一后繼的機器。當然，就該實施例而言，也可以使用裝備有其它作為圖像處理裝置100的結構的計算機。此外，還可以通過將其插入到所述數(shù) 字攝影機內將其實現(xiàn)為在所述數(shù)字攝影機內執(zhí)行處理的結構。
下面將描述在本發(fā)明圖像處理裝置中執(zhí)行的圖像處理的一特定例子。如圖4所示，一攝影者利用作為所述成像裝置的攝影機(數(shù)字攝影機)210對個人A ( 250 )成像。所述個人A ( 250 )位于暗室200中，所述攝影者利用頻閃儀211承載攝影機(數(shù)字攝影機)210，和所述攝影機210位于靠近個人A (250)的位置處。
攝影機210檢測周圍光的強度并以"頻閃串行成像(strobe serial imaging)，，的模式自動成像。另一方面，攝影者操作一有意添加到所述數(shù)字攝影機上的按鈕，以便以"頻閃串行成像，，的模式成像。另外，所述"頻閃串行成像"模式是這樣一種模式，在這種模式下，持續(xù)地捕荻將被在所述圖像處理裝置中進行處理的多個圖像，并且這不是一個通用術語。
在所述"頻閃串行成像"模式下，當所述攝影者推動一個釋放按鈕時，自動地執(zhí)行多個圖像(例如三個圖像)的串行成像。在所述"頻閃串行成像，，模式下，當一釋放按鈕被推動時，首先執(zhí)行所述成像，同時使一頻閃儀以一傳統(tǒng)方式發(fā)射光。所捕獲到的圖像被立即捕獲到所述數(shù)字攝像機中的一存儲器 (幀存儲器)中作為第一圖像。
在將所述第一圖像捕獲到所述存儲器之中后，再次執(zhí)行成像，同時使所述頻閃儀發(fā)射弱于成像所述第一圖像時的光。然后，將其捕獲到所述攝像機中的存儲器中作為第二圖像。此外，在此之后，在不使所述頻閃儀發(fā)光的情況下再次執(zhí)行所述成像。然后，將其捕獲到所述數(shù)字攝像機的存儲器中作為第三圖像。
另外，不存在獲取這些圖像的順序規(guī)則。另一方面，可以通過使用多個成像裝置在基本上相同的時間處執(zhí)行成像。此外，通過推動所述釋放按鈕三次，在有意控制所述頻閃儀的光強度的同時，上述第一圖像、第二圖像以及第三圖像都可以被所述攝影者捕獲到。
根據(jù)所述成像可獲得例如圖5所示的圖像。圖5 (a)是利用普通光照射捕獲到的所述第一圖像，圖5 (b)是利用低強度光照射捕獲到的所述第二圖像，和圖5 (c)是利用更低強度的光照射捕獲到的第三圖像。
圖6以流程圖的形式示出了在本發(fā)明所述圖像處理裝置100中執(zhí)行的處理過程。通過使用圖6，將參考圖3所示的圖像處理裝置詳細說明本發(fā)明所述圖像處理裝置中執(zhí)行的處理。
首先，在圖6的步驟1，所述圖像處理裝置100的使用者將用于成像的數(shù)字攝像機連接到外部接口 106上。另一方面，當所捕獲到的數(shù)據(jù)位于諸如 MO的便攜式介質中時，所述便攜式介質被安裝在媒體驅動器112中。
在步驟2，從諸如數(shù)字攝像機或MO的所述便攜式介質中取出將被處理的圖像數(shù)據(jù)，并將其復制到例如HDDlll中。這里，被捕獲到的圖像數(shù)據(jù)是多個在上述"頻閃串行成像，，模式下捕獲到的多個圖像，即在不同曝光條件下捕獲到的多個圖像數(shù)據(jù)。例如，它們是如圖5所示的三個圖像數(shù)據(jù)。在步璩 2S,所述圖像數(shù)據(jù)被進一步發(fā)送給存儲器102。當然，雖然它不需要被一次復制到HDDlll中，但是，最好將它們復制到HDD111中，以便可以在不連接到諸如數(shù)字攝像機或MO的所述便攜式介質的情況下再次觀看它們。然后，處理進行到步驟3。
在步驟3， CPU101分析第一圖像數(shù)據(jù)，例如圖5 (a)所示利用普通光照射所捕獲到的第一圖像數(shù)據(jù)，并提取一飽和的圖像數(shù)據(jù)區(qū)域，該區(qū)域是通過由CPU101判斷所述圖像數(shù)據(jù)中的每個像素是否存在具有三個分量R、 G 和B當中的255像素值的一個或多個分量而確定的。
換言之，提取具有像素值R=255或像素值G=255或像素值B=255的值的一像素作為一飽和像素。所述飽和像素位置被設置為(Xc， Yc)。不飽和的像素位置被設置為(Xu， Yu)。然后，處理進行到步驟4。
在步驟4，在所述第二圖像和第三圖像的基礎上計算在步驟3中獲得的所述第一圖像中的飽和像素位置(Xc, Yc)的補償像素數(shù)據(jù)，即在所述第二圖像和第三圖像的基礎上計算所述補償像素圖像。下面將結合圖7和圖8描述步驟4的特定處理。另外，在圖7和圖8中，步驟41-45示出了圖6所示步驟4的詳細處理，和步驟51-52示出了圖6所示步驟5的詳細處理(格式化處理)。這些處理是由CPU101執(zhí)行下述的處理實現(xiàn)的。
首先，在步驟41,確定所述第一圖像的飽和的像素(飽和像素)的位置 (Xc， Yc)和所述第一圖像中沒有飽和的像素(未飽和像素)的位置(Xu， Yu),從而獲取像素位置信息。所述飽和的像素(飽和像素)是其中R、 G 和B中的任何一個都被設置為最大值(例如，255 )的一個像素。所述未飽和像素是其它像素，即其中R、 G和B的任何一個都沒有被設置為所述最大值(例如，255 )的像素。
接著，在步驟42,從所述第二圖像和第三圖像中取出與所述第一圖像中飽和的像素(飽和像素)的位置(Xc， Yc)相同位置中的像素。所述第一飽和的像素的R、 G和B分別被表示為Rcl、 Gcl和Bcl。在從第二圖像取出的相同位置處的像素的R、 G和B^皮分別表示為Rc2、 Gc2和Bc2。此外，在從第三圖像取出的相同位置處的像素的R、 G和B被分別表示為Rc3、 Gc3 和Bc3。
此外，從所述第二圖像和第三圖像中取出與在所述第一圖像中還沒有飽和的像素(未飽和像素)的位置(Xu, Yu)相同位置中的像素。所述第一未飽和像素的R、 G和B分別由Rul、 Gul個Bul表示。從所述第二圖像中取出的相同位置中的像素的R、 G和B分別由Ru2、 Gu2和Bu2表示。此外，從所述第三圖像中取出的相同位置中的像素的R、 G和B分別由Ru3、 Gu3 和Bu3表示。
接著，在步驟42,針對所述第一圖像中沒有飽和的像素(飽和像素)的每個位置(Xu， Yu )如下計算(等式1 ) P ( Xu， Yu ):
,(題-扁)),f (CM-Gw3)丫 , f (濕-扁)
...(等式i)
相對于在所述第一圖像中關于沒有飽和的所述像素的位置(Xu， Yu)，利用等式l計算P(Xu， Yu)。進一步，在步驟44，計算所有像素位置的P (Xu， Yu)的平均值S，所述平均值是由下述(等式2)計算的
J 闊 (等式2)
在上述(等式1)和(等式2)中，(Xu， Yu)是所述第一圖像中沒有飽和的像素的位置。n是所述第一圖像中沒有飽和的像素的總數(shù)。
由上述(等式l)和(等式2)計算的S指出"當成像第一圖像時所發(fā) 射的頻閃光的強度=[高強度頻閃光]"與"當成像第二圖像時所發(fā)射的頻閃光的強度=[低強度頻閃光]，，的比值。即，可以是，S指出隨著每個圖像數(shù)據(jù)的曝光條件不同數(shù)據(jù)的照射光強度的比值。
換言之，(Rul-Ru3、 Gul-Gu3、 Bul-Bu3 )是通過從關于所述第一圖像中未飽和像素(未飽和像素)的所述第一圖像的像素值(Rul、 Gul、 Bul) 分別減去所述第三圖像的相應位置中的像素值(Ru3、 Gu3、 Bu3)所得到的差值。所述差值指出通過消除周圍光分量在純碎利用所述[高強度照射光]直接照射的投影位置中的像素值。這里所述[高強度照射光]是指當獲取所述第一圖像時發(fā)射的頻閃光。
類似的，(Ru2-Ru3， Gu2-Gu3， Bu2-Bu3 )是通過從在與在所述第一圖像中未飽和的像素(未飽和像素)對應的位置中的所述第二圖像的像素值 (Ru2， Gu2, Bu2)中減去在所述第三圖像的相應位置中的像素值(Ru3, Gu3， Bu3)所得到的差值。通過消除周圍光分量，所述差值構成了純碎利用所述[低強度頻閃光]照射的一投影圖像的差值。這里所述[低強度頻閃光]是指當獲取所述第二圖像時發(fā)射的光。
因此，借助于上述(等式2)所計算的曝光條件差數(shù)據(jù)S指出"當成像所述第一圖像時發(fā)射的頻閃光的強度=[高強度頻閃光]"與"當成像所述第二圖像時發(fā)射的頻閃光的強度=[低強度頻閃光]"的比值。
由此，借助于在不同發(fā)光條件下捕獲到的三個圖像的基礎上執(zhí)行的圖像分析處理，可以計算"當成像所述第一圖像時發(fā)射的頻閃光的強度=[高強度頻閃光]"與"當成像所述第二圖像時發(fā)射的頻閃光的強度=[讀強度頻閃光]"的比值S。
另外，在所述成像裝置(攝像機)側或連接到所述攝像機的控制單元，如果可以正確地控制頻閃發(fā)射的強度以獲取指出"當成像所述第一圖像時發(fā) 射的頻閃光的強度=[高強度頻閃光]"與"當成像所述第二圖像時發(fā)射的頻閃光的強度=[低強度頻閃光]"的比值的數(shù)據(jù)，那么，所獲取的數(shù)據(jù)被作為S。
接著，在步驟45 (圖8)，捕獲在所述第一圖像中被飽和的所述像素(飽和像素)的位置(Xc， Yc)，和根據(jù)下述(等式3)使用所述曝光條件差數(shù) 據(jù)S計算每個位置(Xc, Yc)中的臨時補償像素值(Rcq， Gcq, Bcq)。
Rcq = ( Rc2陽Rc3 ) x S + Rc3
Gcq = ( Gc2陽Gc3 ) x S + Gc3
Bcq = ( Bc2-Bc3 ) x S + Bc3 (等式3 )
然后，利用(等式3)表示的所述臨時補償像素值(Rcq, Gcq, Bcq)
分別被設置為相對于在第一像素中的飽和像素位置(Xc， Yc)的臨時補償像素值。
其中，(Xc, Yc)是所述第一圖像中被飽和像素(飽和像素)的位直。由上述(等式3)所計算的值(Rcq， Gcq， Bcq)是所述像素的值，假設所發(fā)射的光強度是"當成像所述第二圖像時所發(fā)射的頻閃光的強度=[低強度頻閃光]，，的S倍。換言之，它們是假設當利用"當取所述第一圖像時的頻閃光的強度=[高強度頻閃光]"照射時它們沒有被飽和的前提下的所述像素的值。
因此，由上述(等式3)所計算的像素值可以是超過實際圖像像素值的最大值(例如，255 )的值。
由此，在圖6所示處理流程的步驟4 (圖7和8的步驟41-45 )中，執(zhí)行一處理，用于利用假設其沒有被飽和的一個假設的像素值、即一個假設的臨時補償像素值(Rcq， Gcq， Bcq)來替換所述第一圖像中的飽和像素。接著，在步驟5，對于在步驟4對應于在所述飽和像素位置(Xc， Yc) 中的像素(Rc， Gc, Bc)和在未飽和像素位置(Xu， Yu)中由像素(Ru， Gu， Bu)構成的所述第一圖像的組成像素值所計算的臨時補償像素值(Rcq， Gcq， Bcq)執(zhí)行一格式化處理。
如上所述，對于在步驟4像素數(shù)據(jù)替換處理中所計算的臨時補償像素值
(Rcq， Gcq， Bcq ),所有Rc、 Bcq或Gcq的值并不總是被設置在范圍O-255 之內，其中的任何一個值都可以超過255。在這種場合下不能輸出圖像。然后，執(zhí)行所述格式化處理，以便使所有像素的R、 G和B的值都可以被限制到可允許的輸出值，例如在0-255的范圍內，從而正確的計算補償像素值
(Rcf, Gcf, Bcf)。
下面將結合圖8的步驟51和52描述一具體的格式化處理。首先，在步驟51,計算所述第一圖像的最大像素值Dmax。
換言之，分別獲得所述第一圖像的未飽和像素(Xu, Yu)的像素值(Ru, Gu, Bu)和由根據(jù)所述飽和像素(Xc， Yc)在步驟4 (=步驟41-45)計算的所述臨時補償像素值(Rcq, Gcq， Bcq)構成的所述第一圖像的所有像素的像素值，并計算所有的最大值Dmax。
接著，在步驟52，將所述第一圖像的組成像素的每個像素值除以在步驟 51中計算的最大像素值Rmax、 Gmax或Bmax,和利用下述(等式4)分別計算在所述未飽和像素位置(Xu， Yu)中的補償像素值(Rus, Guf， Buf) 和在所述飽和像素位置(Xc， Yc)中的補償像素值(Rcf， Gcf， Bcf)。 (1)在未飽和像素(Xu， Yu)的情況下，
Ruf= ( Ru/Dmax ) x 255
Guf= ( Gu/Dmax) x 255
Buf= ( Bu/Dmax ) x 255
在飽和像素(Xc， Yc)情況下，
Rcf= ( Rcq/Dmax) x 255
Gcf= ( Gcq/Dmax) x 255
Bcf= ( Bcq/Dmax) x 255 (等式4 )
由上述(等式4)計算的像素值，即在未飽和像素位置(Xu, Yu)中的補償像素值(Ruf， Guf, Buf)和在飽和像素位置(Xc， Yc)中的補償像素值(Rcf, Gcf， Bcf)可以被保持在0-255之間的值。這些補償像素值被用作輸出像素值。
所述格式化處理并不局限于上述處理。也可以使用諸如在日本專利申請
No.2002-025464中描述其它格式化處理。上述日本專利申請是同樣由本發(fā)明的申請人申請的專利申請。它提供了一種用于將具有寬動態(tài)范圍的圖像(即具有超過255的值的圖像)轉換成具有較窄動態(tài)范圍的圖像(即其所有像素值的R, G和B都在0-255范圍之間的圖像)而不會被人的視覺感到不適應的處理方法。通過使用這種處理方法，計算構成所述第一圖像的未飽和像素位置(Xu， Yu)中的補償像素值(Ruf， Guf， Buf)和飽和像素位置(Xc， Yc)中的補償像素值(Rcf, Gcf， Bcf)，借此以將所有像素的R、 G和B的值保持在0-255的范圍內。
在圖6的步驟5 (圖8的步驟51和52)的格式化處理之后，處理移動到步驟6。在步驟6，在步驟5重新寫入的所述第一圖像被輸出和處理結束。這個圖像是由在未飽和像素位置(Xu, Yu)中的補償像素值(Ruf， Guf， Buf)和在飽和像素位置(Xc， Yc)中的補償像素值(Rcf， Gcf, Bcf)構成的。
被如此獲得的圖像是這樣一個圖像，在該圖像中，利用假設沒有被飽和所述像素來替換所述第一原始圖像中被飽和的像素，這消除了傳統(tǒng)的缺陷。換言之，能夠避免當一目標在附近時由于頻閃成像導致所述(R, G, B)的值被飽和和導致最亮的白色。
圖9示出了一功能框圖，用于解釋本發(fā)明圖像處理裝置中的處理。所述圖像處理裝置能夠以例如具有如前面使用圖3描述的一 CPU的PC等來實現(xiàn)。在所述CPU中執(zhí)行如參考圖6-8所描述的其中記錄有所述處理過程的程序，從而實現(xiàn)所述補償像素值的計算。圖9是一功能框圖，該圖示出了主要在所述CPU中執(zhí)行并被單獨分塊的處理功能。
在成像單元301中，捕獲其中上述曝光條件是變化的多個圖像(見圖2 和圖5)，和該多個圖像被存儲在存儲器302中。在像素值鑒別單元303中，相對于存儲在所述存儲器302中的多個圖像執(zhí)行像素值鑒別處理，和執(zhí)行所述多個圖像的像素值的獲取處理。
在像素區(qū)域劃分單元304中，在像素值鑒別單元303中獲得的所述第一圖像中的像素值被分成一飽和像素區(qū)域和一未飽和像素。所述飽和像素是其中三個分量R, G和B中一個或者多個分量具有最大值(例如，255 )的像素。其它的像素是未飽和像素。
第一到第三圖像的所有像素值數(shù)據(jù)都被取入臨時補償像素值計算單元
305。通過使用上述等式l-3，計算所述第一圖像中所述飽和像素位置(Xc, Yc)內的臨時補償像素值(Rcq, Gcq， Bcq )。
在補償像素值計算單元(格式化處理單元)306中，從像素區(qū)域劃分單元304輸入所述第一圖像的未飽和像素(Xu， Yu)的像素值(Ru, Gu, Bu )。此外，從臨時補償像素值計算單元305輸入所述第一圖像的飽和像素(Xc， Yc)的臨時補償像素值(Rcq， Gcq， Bcq )。根據(jù)上述的(等式4),分別計算在未飽和像素位置(Xu, Yu)中的所述補償像素值(Ruf, Guf， Buf)和在飽和像素位置(Xc， Yc)中的所述補償像素值(Rcf， Gcf, Bcf)。
在輸出單元307中，輸出根據(jù)在補償像素值計算單元(格式化處理單元) 306中所計算的補償像素值的圖像數(shù)據(jù)。
另外，圖9所示的結構也可以被配置為一成像裝置(攝像機)。如果是這種情況，如結合上述圖3所述的圖像處理裝置結構可以被插入到所述咸像裝置(攝像機)中，借此以在由例如DVD、 CD、閃存等構成的存儲器單元中存儲所述補償圖像數(shù)據(jù)。所述成像單元根據(jù)上述描述執(zhí)行持續(xù)設置不同曝光條件的處理，獲取多個圖像(見圖2和圖5),和使所述成像處理單元(見圖3)包含在所述成像裝置中提供的CPU,以便執(zhí)行上述處理，從而基于在所述存儲器單元中的補償像素值計算所述補償像素值并存儲所述圖像數(shù)據(jù)。
在根據(jù)當前結構的成像裝置中，基于多個圖像所補償?shù)膱D像數(shù)據(jù)被存儲在所述存儲器單元中，從而可以保留其中所述飽和像素值被補償?shù)那逦鷪D像數(shù)據(jù)作為記錄數(shù)據(jù)。
根據(jù)本發(fā)明的圖像處理裝置或成像裝置，對于具有其中由于普通照射光而導致過度照射光從而使所述像素值為最大并處于飽和狀態(tài)的像素區(qū)域的圖像數(shù)據(jù)，通過補償所述像素值計算較佳像素值，借此輸出或記錄所述清, 的圖像數(shù)據(jù)。 "
另外，在上述的例子中，雖然描述了利用普通頻閃光成像、利用低強度頻閃光成像和利用最小強度頻閃光成像的基于三種類型圖像執(zhí)行像素值補償?shù)慕Y構例，但是它也可以被配置成使用在不同曝光條件下捕獲的四種或更多種圖像執(zhí)行補償處理。在這種情況下，計算其中每一個都具有利用上述(等式2)所獲得的強度的多個頻閃光的比值。通過將(等式3)運用于它們當
32中的每一個，計算所述臨時補償像素值。在將所述臨時補償像素值的平均值
設置為一最終臨時補償像素值之后，可以借助于(等式4)執(zhí)行所述格式化處理。
此外，在上述的較佳實施例中，雖然描述了使用通過改變所述頻閃光的強度捕獲的多個圖像的處理，但是，可以對通過改變曝光時間而捕獲的多個圖像執(zhí)行類似的補償處理，換言之，可以借助于上述(等式2)計算基于每個圖像數(shù)據(jù)曝光時間差的照射光量的比值S，執(zhí)行類似的補償像素值計算處理等等。
此外，如圖10所示，在取所述第一圖像之前，在不發(fā)射所述頻閃光的情況可以捕獲一第三，圖像(third'image )，捕獲 (1 )第三，圖像(沒有頻閃光)
(2) 第一圖像(普通頻閃光)
(3) 第二圖像(低強度頻閃光)，和
(4) 第三圖像(沒有頻閃光)，
計算"所述第三圖像和所述第三'圖像的平均值，，，和所計算的圖像可以被用作上述中的所述第三圖像。由此，通過執(zhí)行平均處理，可以補償在串行成像期間由個人A的移動所引起的"圖像間的位移"，并可以減少噪聲。、此外，在上述的較佳實施例中，所述像素值被表示為關于由三種主要顏色(R, G， B)構成的所述圖像數(shù)據(jù)的補償?shù)睦印＝柚陬愃频奶幚?，?可以對不是彩色圖像的黑白圖像、即只有亮度數(shù)據(jù)的圖像執(zhí)行亮度補償。此外，對于由除RGB以外的顏色所表示的圖像數(shù)據(jù)，可以通過補償每個數(shù)據(jù) 值來補償飽和的數(shù)據(jù)。下面將描述用于在其中周圍光和閃光被混合環(huán)境中成像的較佳白平衡調節(jié)處理裝置。
圖11示出了根據(jù)移實施例的當前例的一成像裝置的結構。如圖ll所示，根據(jù)該較佳實施例的成像裝置裝備有透鏡501、可變光圈502、固態(tài)圖像認件503、關聯(lián)雙采樣電路504、 A/D轉換器505、 DSP塊506、定時發(fā)生器507:> D/A轉換器508、視頻編碼器509、視頻監(jiān)視器510、編碼解碼器(CODEC) 511、存儲器512、 CPU513、輸入設備514、閃光控制單元515和閃光發(fā)射裝置516。
33這里，輸入設備514包括諸如是在攝像機殼體中的記錄按鈕的多個手動操作按鈕。此外，DSP塊506是一個具有用于信號處理的處理器和用于圖像的RAM的塊，所述用于信號處理的處理器能夠對存儲在所述用于圖像的 RAM中的圖像數(shù)據(jù)執(zhí)行先前所編程的圖像處理。所述DSP塊在下面將簡稱之為DSP。
下面將描述較佳實施例的這些例子的操作。
通過一光學系統(tǒng)并到達所述固態(tài)圖像組件503的入射光首先到達成像表面上的每個光接收器，然后借助于在所述光接收器處的光電轉換被轉換為電信號，借助于關聯(lián)雙采樣電路504消除噪聲，借助于A/D轉換器505轉換為數(shù)字信號，然后暫時存儲在數(shù)字信號處理單元(DSP) 506中的圖像存儲器中。另外，如果需要，閃光發(fā)射裝置516可以在成像情況下經(jīng)過閃光控制單元M5被導致發(fā)光。
在成像期間，定時發(fā)生器507控制一信號處理系統(tǒng)，以便以一固定的幀速率保持圖像捕獲。在一像素流也被以一固定速率傳送到其中執(zhí)行了適當?shù)?圖像處理的數(shù)字信號處理單元(DSP) 506之后，圖像數(shù)據(jù)被傳送給D/A轉換器508和/或編碼解碼器(CODEC )511。 D/A轉換器508將從數(shù)字信號& 理單元(DSP) 506傳送的所述圖像數(shù)據(jù)轉換為模擬信號，該模擬信號并由視頻編碼器509轉換為視頻信號，借此，可以借助于視頻監(jiān)視器510監(jiān)視所述視頻信號。視頻監(jiān)視器510在實施例的當前例中起所述攝像機的取景器的作用。此外，編碼解碼器(CODEC) 511對從數(shù)字信號處理單元(DSP) 506 接收的所述圖像數(shù)據(jù)編碼，和編碼后的圖像數(shù)據(jù)被記錄在存儲器512中。這里，存儲器512可以是使用半導體的記錄設備、磁記錄介質、磁光記錄介質和光記錄介質等。
雖然上面描述了實施例的較佳例子的數(shù)字攝影機的整個系統(tǒng)，但是在施例的當前例子中，本發(fā)明是在數(shù)字信號處理單元(DSP) 506中的圖像處理中實現(xiàn)的。下面將詳細描述所述圖像處理的一部分。
如上所述，實施例當前例的圖像處理單元實際上是在數(shù)字信號處理單元 (DSP) 506中提供的。因此，在實施例當前例的結構中，所述圖像處理單元對輸入的圖像信號流的操作是如下實現(xiàn)的即所述操作單元順序地執(zhí)行在數(shù)字信號處理單元(DPS) 506中的預定程序碼所描述的操作。在下面的說明中，借助于一流程圖來描述在所述程序中執(zhí)行的每個處理的過程。但是，
34除了所述實施例的當前例所描述的所述程序的較佳實施例以外，本發(fā)明還可以被結構安裝一硬件電路，該硬件電路被用于實現(xiàn)與下述功能等效的處理。
圖12的流程圖用于解釋對所述數(shù)字信號處理單元(DSP) 506內輸入的圖像信號流執(zhí)行的所述白平衡(WB)調節(jié)處理的過程。
在步驟IOI，使用預先設置的光圈和快門速度，在沒有閃光的情況下執(zhí) 行成像，在步驟102，在沒有閃光情況下捕獲到的圖像被作為一圖像數(shù)據(jù)I, 存儲在一存儲器中。
在步驟103，與步驟101類似，使用預先設置的所述光圈和快門速度，借助于閃光執(zhí)行所述成像。在步驟104,利用閃光所捕獲到的該圖像被作為圖像數(shù)據(jù)12存儲在所述存儲器中。
接著，在步驟105,與步驟101類似，使用預先設置的光圈和快門速度，再次在沒有閃光的情況下執(zhí)行成像。在步驟106，在沒有閃光情況下捕獲到的所述圖像被作為圖像數(shù)據(jù)13存儲在所述存儲器中。
另外，當繼續(xù)成像時，例如以約1/100的第二間隔連續(xù)成像時，執(zhí)行步驟IOI、 103和105的成像。使用從各成像步驟中獲得的多個圖像，執(zhí)行所述白平衡調節(jié)處理并生成其白平衡(WB)被調節(jié)的圖像數(shù)據(jù)。
此外，在步驟102、 104和106中存儲在所述存儲器中的圖像數(shù)據(jù)I,、 12 和13被認為是在模糊補償中得到調節(jié)的圖像。換言之，當在攝取三個圖像I,、 12和13的時間處發(fā)生模糊時，所述模糊首先被補償，然后被存儲在所述存儲器中。
換言之，當所捕獲到的圖像是一模糊圖像時，在步驟101和102之間、步驟103和104之間以及步驟105和106之間補償所述模糊，然后經(jīng)過補償的圖像被存儲到所述存儲器中。因此，存儲在所述存儲器中的圖像數(shù)據(jù)I,、 12和13就像一攝像機被安裝在三腳架上的情況下它們被連續(xù)捕獲一樣。
另外，模糊補償處理可以使用一傳統(tǒng)已知的處理。例如，使用一加速傳感器檢測位移從而移動透鏡的方法、讀出適當?shù)牟糠忠员憧梢允褂靡粓D像組件捕獲分辨率高于目標分辨率的圖像從而不引起位移的方法、或者僅借助于不使用傳感器的圖像處理校正模糊的方法都是傳統(tǒng)和被廣泛使用的方法。.
接著在步驟107,檢測在步驟IOI、 103和105成像三個圖像期間是否' 存在緣自所述成像目標本身移動的圖像模糊。檢測是否存在由所述成像目標本身的移動導致的任一圖像模糊的處理是通過比較三個圖像中的兩個圖像
35執(zhí)行的。例如，使用所述圖像I,和圖像l3能夠檢測一移動部分。作為一個例子，對圖像圖像I！和圖像13的每個像素取一個差。當所述差大于某個閾值時，相應的像素可以被注冊為一移動部分。當它確定不存在由于成像目標本身的
移動而導致的圖像模糊時(步驟108: No)，處理進行到步驟112。而當檢測到一移動時(步驟108: Yes)，處理進行到步驟109。
在步驟109，確定是否可應用對在步驟107檢測到的所述移動部分執(zhí)行白平衡(WB)調節(jié)的補償處理。該確定處理使用，例如基于在步驟107中被注冊為所述移動部分的像素數(shù)量與整個圖像的相書數(shù)量的比值所執(zhí)行的處理。例如，當被注冊為所述移動部分的像素數(shù)量與整個圖像的像素數(shù)量的比值[比值A]大于某個預定的固定閾值[閾值]時，它確定不可能補償所述像素。當所述比值小于所述閾值時，則確定可以對其進行補償。
當在步驟109確定不可能對其進行補償時，處理進行到步驟113。當確定可以對其進行補償時，處理進行到步驟IIO。
在步驟113，對利用閃光捕獲到的圖像數(shù)據(jù)12執(zhí)行白平衡(WB)調節(jié)，生成輸出圖像R，所述處理結束。用于所述白平衡調節(jié)的參數(shù)值是根據(jù)周圍光分量設置的參數(shù)、根據(jù)閃光分量設置的參數(shù)、或者是基于周圍光和閃光的中間分量設置的參數(shù)。由于設置了三種參數(shù)，所以能夠執(zhí)行所述白平衡(WB ) 調節(jié)。另外，這個白平衡調節(jié)方法是一種傳統(tǒng)執(zhí)行的方法，因此，在這里省略對它們的描述。另外，將被使用的參數(shù)是由一3x3矩陣表示的參數(shù)，并JL 是用于轉換構成每個像素顏色的顏色分量的矩陣。至于所述3x3矩陣，使用了除對角以外設置為0的一矩陣。
下面將描述基于步驟110和步驟S112的多個圖像數(shù)據(jù)的白平衡(WB ) 調節(jié)處理。在步驟110和步驟S112的處理是相同的處理。下面將結合圖13 詳細描述該處理。
在步驟201 ，取得在利用閃光捕獲圖像數(shù)據(jù)12的分量和在沒有閃光情況下捕獲的圖像I,的所述像素的每種顏色的分量之間的差，以便生成一差圖像并將其存儲在所述存儲器中。如果所述成像目標在其中沒有閃光執(zhí) 行成像的步驟101和在其中利用閃光執(zhí)行成像的步驟103中確實沒有移動，那么，所述差圖像F^2-I,等效于在某種場合下僅利用閃光照射成像目標捕獲到的一圖像，在所述場合下，沒有周圍光，只有從所述成像目標反射的閃光，并入射到所述攝像機的所述固態(tài)成像組件上。接著，在步驟202,相對于閨
36像F執(zhí)行依據(jù)所述閃光的色溫的白平衡(WB)調節(jié)。換言之，在根據(jù)通過依據(jù)所述閃光調節(jié)所述差圖像數(shù)據(jù)F所建立的參數(shù)的基礎上執(zhí)行所述白平衡 (WB)調節(jié)。此外，當所述閃光太亮或太暗時，執(zhí)行一強度調節(jié)，以便使所述圖像的亮度可以變得較佳，從而生成一補償圖像F，。
接著，在步驟203，根據(jù)周圍光執(zhí)行關于在沒有閃光情況下捕獲到的圖像數(shù)據(jù)h的白平衡(WB)調節(jié)。換言之，基于通過依據(jù)周圍光調節(jié)在沒有閃光情況下捕獲到的圖像數(shù)據(jù)I,所建立的參數(shù)執(zhí)行所述白平衡(WB )調節(jié)，并由此生成一補償圖像V。
這是通過一種傳統(tǒng)使用和廣泛公知的白平衡(WB)調節(jié)執(zhí)行的。在Ef 本專利申請公開No.2001-78202中披露了一種可應用的技術。在日本專利申請公開No.2001-78202中，獲得目標顏色分量數(shù)據(jù)和周圍光的頻譜分布作為來自利用閃光捕獲到的圖像12和沒有利用閃光捕獲到的圖像I,之間的差圖像 F的發(fā)光分量數(shù)據(jù)，以及一已知閃光的頻譜特征。使用所述發(fā)光分量數(shù)據(jù)，執(zhí)行圖像I!的所述白平衡(WB)調節(jié)。
接著，在步驟204,通過將所述差圖像F，加到所述補償圖像If上生成白平衡(WB)調節(jié)圖像R。根據(jù)上述步驟，所述白平衡(WB)調節(jié)圖像R是這樣一種圖像，即相對于沒有移動的部分,借助于閃光的分量和借助于周圍光的分量獨自地受到所述白平衡(WB)調節(jié)。
圖14的曲線用于解釋根據(jù)圖13所示流程執(zhí)行的基于兩個圖像的白平衡 (WB)調節(jié)處理圖像R的生成原理。換言之，該曲線用于解釋基于沒有閃光捕獲到的圖像I,和利用閃光捕獲到的圖像l2生成所述白平衡(WB)調節(jié) 圖像R的原理。
圖14 (a)的曲線示出了利用閃光捕獲到的所述圖像數(shù)據(jù)12的坐標位置 (x， y)中作為RGB空間上的矢量V3的一像素。所述矢量V3具有作為(R， G， B)的值的(ir, ig， ib)。所述矢量V3是一個基于包括周圍光分量和閃光分量的照射光而獲取的像素值。
因此，該矢量V3等效于矢量V1和V2的和，所述矢量V1基于通過只利用周圍光分量成像獲取的相同坐標(x， y)中的所述像素值，即在沒有閃光情況下捕獲到的像素數(shù)據(jù)Ip和所述矢量V2包括當在只有閃光而沒有周圍光的假定條件下執(zhí)行成像時捕獲到的圖像的像素值分量。
因此，由矢量V1表示的像素值被從矢量V3中減掉，以便獲取矢量V2
37的像素值，即當在只有閃光而沒有周圍光的假定條件下執(zhí)行成像時捕獲到的
所述圖像的像素值。圖14 (b)的矢量V2示出了這個結果。根據(jù)基于在由所述矢量V2表示的僅有閃光照射條件的像素值中的閃光分量所設置的參數(shù)，執(zhí)行所述白平衡調節(jié)，以便計算補償像素值并獲得具有所述補償像素值的矢量V2'。由利用矢量V2，表示的像素值所構成的圖像對應于作為在圖3 所示步驟202中所述白平衡調節(jié)的結果的所述補償圖像F。換言之，圖14 (a)和圖14 (b)的處理等效于圖13所示流程中的步驟201和202。
圖14 (c)示出了一處理，在該處理中，根據(jù)基于周圍光分量所設置的參數(shù)對與基于在沒有閃光捕獲到的所述圖像數(shù)據(jù)I,的像素值的矢量VI對應的像素值執(zhí)行所述白平衡(WB)調節(jié)，借此獲得所述補償像素值并荻得具
有該補償像素值的矢量vr。由矢量vr表示的像素值構成的圖像對應于作
為圖13所示步驟203中白平衡調節(jié)結果獲得的補償圖像ir。換言之，圖14 (c)的處理等效于圖13所示流程的步驟203。
圖14 (d)示出了一處理，在該處理中，由對應于圖14 (b)所示補償圖像F，的矢量V2，表示的所述像素值被加到由對應于圖14 (c)所示補償圖
像V的矢量vr表示的像素值上，借此以生成具有一最終白平衡調節(jié)像素i
的白平衡調節(jié)圖像數(shù)據(jù)R。換言之，在某個坐標(x, y)處的白平衡調節(jié)像素值是由對應于圖14 (b)所示補償圖像F，的矢量V2，所表示的像素值與由對應于圖14 (c)所示補償圖像V的矢量Vl，表示的像素值的結果之和。即，圖14 (d)的處理等效于圖13所示流程的步驟204。
在這種方式中，實施例當前例的白平衡調節(jié)處理被安排為包含周圍光芬量和閃光分量的圖像被分割成兩個圖像，即僅利用周圍光分量捕獲的圖像和僅利用閃光分量捕獲的圖像。僅利用周圍光分量捕獲的圖像被根據(jù)基于所述周圍光分量所設置的參數(shù)進行白平衡調節(jié)處理，和僅利用閃光分量捕獲的圖像被根據(jù)基于閃光分量所設置的參數(shù)進行所述白平衡調節(jié)處理，從而將這些補償像素值再次相相加，以獲得以最終的所述白平衡調節(jié)圖像R。在這種方式下，借助于適用于每個光學分量的參數(shù)相對于兩個獨立的光學分量執(zhí)行所述白平衡調節(jié)，從而可以執(zhí)行以精確的白平衡調節(jié)。換言之，可以就像在其中周圍光和閃光是相同顏色的場合中被捕獲一樣地生成一經(jīng)過調節(jié)的圖像。
步驟的描述將繼續(xù)返回到圖12所示的流程。當執(zhí)行如上步驟112所述基于多個圖像的白平衡調節(jié)時，所述白平衡調節(jié)圖像R被設置為一最終輸出
38圖像，和處理結束。
另一方面，如果執(zhí)行如上述步驟110所述基于多個圖像的白平衡調節(jié)處理，那么其情況如下確定是否存在由成像目標本身的移動所導致的圖像模糊和確定將可能對所述圖像模糊進行補償。在步驟lll,在步驟110中生成的白平衡調節(jié)圖像R當中，對由成像目標本身移動所導致的模糊圖像區(qū)域、即所述移動部分區(qū)域執(zhí)行所述像素值補償處理。換言之，對在步驟107檢測到的所述移動部分執(zhí)行一消除處理，從而校正所述白平衡調節(jié)圖像R?？紤] 到利用閃光捕獲到的圖像數(shù)據(jù)12的像素值對應于一從中檢測到作為一輸入的所述移動的所述部分，所以，所述校正處理可以確定關于在所述白平tf調節(jié)圖像R中沒有移動部分的像素值的從中檢測到所述移動的所述部分的像素值，借此例如以合成一最終圖像。
該合成技術將予以描述。在圖像中出現(xiàn)的目標的顏色如下通過所述目標反射光，并入射到一圖像組件并被捕獲。例如，當在所述白光源下在所述圖像上的某個目標是紅色的時，所述目標將反射其頻率等于紅色的可見光，并準確地吸收頻率等于其它顏色的光。換言之，一個目標能夠具有對每個頻率光的特殊反射系數(shù)。現(xiàn)在假設所述目標的RGB各顏色分量的光反射系數(shù) 由(Or， Og, Ob)表示，某種色溫的光由(lr， lg， lb)表示。當所述光出現(xiàn)
時，即當利用所述攝像機捕獲到由目標(Or, Og， Ob)反射的光(lr, lg, lb)
時，構成被捕獲圖像的所述像素的值U， Ig， Ib)可用下述(等式5)表示 "r, Ig, Ib) = (k*ir*Or,k*Ig*Og，k*Ib*Ob ) ... (等式5)
在上述的等式中，k是一表示所述光的強度的標度值。然后，例如具有
諸如周圍光和閃光的作為兩種照射光的光源1 (hr, llg， l!b)光源2(l2r, l2g， l2b)。當攝像機捕獲到由某個目標(Or， Og， Ob)反射的這兩種光的光時，
被所述攝像機捕獲到的圖像的像素值(ir， Ig， Ib)可由下述等式(等式6) 來表示
(ipig，itX(k，^+k i2r"Or，(k一hg+k2n2g;rog,(k,u+k2"2b;rOb)…
(等式6)
其中，k!是表示光源1的強度的標度值，和k2是表示光源2的強度的標度值。
現(xiàn)在假設，(V-k! * Or， Og^k! * Og,和0 =]^ * Ob,則上述等式(等式6 )
可以被轉換為下述等式(等式7):
39(ir， Ig， Ib) =((llr+k，*l2r)*Or，，(llg+k，*l2g)*Og，，(llb+k，*l2b)*Ob，)
(等式7)
其中，k，-k2/kp和k，是兩個光源的光強度標度比值。即，k，是在由感興趣的像素捕獲的所述目標的一部分中由光源1和光源2發(fā)射的光的強度的標度比值。
現(xiàn)在，讓我們考慮某個像素值(iP ig， ib)，該像素值位于通過所述目標反射周圍光和閃光這兩種光所捕獲的圖像12上。在上述等式(等式7)中的光源l是周圍光，和光源2是所述閃光。周圍光的顏色(lh， llg, llb)可以利用傳統(tǒng)的用于自動白平衡調節(jié)的方法進行測量。此外，由于所述閃光的顏色"2r， l2g， l2b)為閃光設備所特有，所以，它們是已知的并能夠被事先設
置。當k，也是已知的時，像素(ir, ig， ib)可以被分解成周圍光分量(llr*Or，，
llg*Og，， llb*Ob，)和閃光分量(k，*l2r*Or，， k，*l2g*Og，， k，*l2b*Ob，)。所述周圍光分量和閃光分量被分離并單獨承受一 WB處理。通過將需要重新結構的圖像相加，可以消除由周圍光和閃光之間的色溫差引起的圖像的不自然性。
在結合圖12所述的流程中，相對于在步驟S107檢測到的移動部分，根據(jù)上述處理在步驟Slll執(zhí)行所述像素值補償。此后，將描述該處理的一特定例子。
如上所述，在步驟107中，檢測由所述目標本身的移動而導致的圖像模糊是否是在步驟IOI、 103和105中的三個圖像成像期間。通過比較所述三個圖像中的兩個圖像執(zhí)行是否存在任何由所述目標本身引起的圖像模糊的才全測處理。
例如如圖15所示，當在執(zhí)行串行成像(a)沒有閃光的圖像I。 (b)利用閃光的圖像12和(c )沒有閃光的圖像13的同時球600滾動時，捕獲在(a) 的圖像I,和(c)的圖像13之間的差圖像(d) IrIP并檢測區(qū)域610，該區(qū) 域產(chǎn)生了由所述目標本身的移動引起的圖像模糊。
結合圖16和17說明所述移動部分的像素值補償處理的特定處理過程。圖16的流程圖示出了所述移動部分的像素值補償處理的一特定處理過程，圖17示出了包括用于補償?shù)乃鲆苿硬糠值南袼貐^(qū)域，該區(qū)域在圖15中是區(qū)域610的一部分。
如圖17所示，在確定將要移動的圖像區(qū)域內，確定將不移動的所述困像區(qū)域的相鄰像素(包括在周圍8個像素中的位置中的像素)被定義為所述
40移動部分的內部周邊像素650。另外，在確定將要移動的一圖像區(qū)域內，.除所述內部周邊像素650以外的像素是移動非周邊像素652。
此外，在確定將不移動的所述圖像區(qū)域內，確定將要移動的所述圖像區(qū) 域的相鄰像素(包括在周圍8個像素中的位置中的像素)被定義為所述移動部分的外部周邊像素651。另外，在步驟103確定將不移動的部分中，除所述移動部分的所述外部周邊像素651以外的像素是靜止部分653的非周邊像素。
相對于所述移動部分的像素，光源1 (周圍光)的強度(標度值)k!與
光源2 (閃光)的強度(標度值)k2的比值，即光強標度比k^k2/k!是未知
的。現(xiàn)在假設一正確經(jīng)受目標白平衡(WB)調節(jié)和所述移動部分已經(jīng)被補償?shù)南袼鼐哂幸环N所述移動部分和所述靜止部分的像素值平滑改變的像素結構。在該假設情況下，相對于所述移動部分的外部周邊像素651計算光強標度比k，的值。相對于所述移動部分的外部周邊像素651，由于在上述等式
(等式7)中的周圍光分量(llr*Or，， llg*Og，，和llb*Ob，)等于沒有閃光捕獲的圖像數(shù)據(jù)I!中的對應像素的值，所以，可以在利用閃光捕獲的圖像數(shù)據(jù) 12的像素值(1 ig，")和等式(等式7)的基礎上計算所述光強標度比k，=k2/k, 的值。相對于移動部分651，外部周邊像素651的光源1 (周圍光)的強度
(標度值)k,與光源2 (閃光)的強度(標度值)k2的比值k^k2/k!的計算處理是在圖16所示步驟301執(zhí)行的。
根據(jù)步驟301的處理，可以計算相對于移動部分的外部周邊像素651的光強標度比k，。但是，與包括在所述移動部分中的像素對應的光強標度比k，的值是未知的。根據(jù)對應于所述移動部分的外部周邊像素651所計算的k' 的值對對應于包括在所述移動部分中的像素的光強標度比k，的值進行內插。作為內插方法的一個例子所給出的處理是使用徑向基礎函數(shù)(RBF: Radial Basis Function )。有關使用所述RBF進行數(shù)據(jù)內插的文獻例如是J.C.Carr的 "利用Radial Basis Function(徑向基礎函數(shù))的三維對像的重構和表示"，ACM SIGGRAPH2001 ,Los Angeles，CA，pp67-76,和12-17 August2001 。
所述Radial Basis Function (徑向基礎函數(shù))是指其中一個色調值隨著到一中心點的距離的增加(或減少)而減少(或增加)，輪廓線變成一超球面
(兩維中的圓或橢圓)。為了通過構建一個被用于使一條線穿過其高度未知的釆樣點并變得盡可能平滑的函數(shù)解決估計一未知點高度值的問題，已經(jīng)知
41道可以僅添加位于已知采樣點中心的RBF。具體地說，當所述采樣點位于兩
維空間時，使所述采樣點是<
(其中，c:，cf分別表
c產(chǎn)(cf,cf)
示在一采樣點處的一X坐標值和一Y坐標值)和使各點處的高度為、 j/2J(1 s "")，然后，使用所述RBF以下述等式(等式8 )表示預期函數(shù)/(J):
/(^ = /^)+|^一(--c") … (等式8)
其中，p(J^;7。 + ^x + ^^;/。另外，作為一基礎函數(shù)0(J)的例子，還有
x
或^ 0)=
X
2
log
X
等。但是，不能只利用上述等式(等式8)來規(guī)定
k)(l^、"),lp,如^、2)。然后計算滿足下述等式(等式9)的
^ja化"),ip,如"2):
tA=:￡Ac;=l;A《=。 … (等式9)
因此，可以根據(jù)/(^)=/7 (;) + t(i^(^-c)和等式(等式9)計算(未
如果/(S)是通過假設在是一個采樣的所述移動部分中的所述外部周邊像素651中的光強標度比k，構成的，那么，可以計算在任一位置中的光強標度此k，。這個處理是基于圖16步驟302所示的所述采樣點的光強標度比k，(在所述移動部分的外部周邊像素651中的k，)的RBF結構處理。
借助于所述RBF結構處理，可以假定被確定將要移動部分的光源l(周
圍光)的強度(標度值)ki與對應于利用閃光捕獲的圖像數(shù)據(jù)l2上每個像素的光源2 (閃光)的強度(標度值)k2的比值，即對應于包括在所述移動部分中的每個像素的光強標度比K， k，-k2/k"通過使用與每個像素對應的假定光強標度比k，，所述圖像12的移動區(qū)域部分被分解為周圍光分量和閃光分量，和根據(jù)每種光的色溫分別執(zhí)行所述白平衡(WB)調節(jié)處理。，、
換言之，由于能夠計算所述移動部分的每個像素位置中的光強標度比 k，，所以，所述k，、在利用閃光捕獲的圖像數(shù)據(jù)12的每個像素位置中的像素值(ir, ig, ib)和光源1 (周圍光)的已知光分量(llr, llg， llb)以及光源 2 (閃光)的光分量(l2r， l2g, l2b)都被代入到上述等式(等式7)中，從
42而獲得僅僅基于所述光源(周圍光)的所述目標的反射系數(shù)(CV, Og，， Ob，)。此外，計算當只利用周圍光分量照射時的所述目標的像素值(1^*0/, lig*Og，， llb*0b，)和只利用閃光分量照射時所述目標的像素值(k，*l2r*(V, k，*l2g*Og，， k，*l2b*Ob，)，并通過根據(jù)在前結合圖13和14描述的各光分量所設置的獨立參數(shù)對其中的每一個執(zhí)行二次白平衡調節(jié)。借助于所述調節(jié)數(shù)據(jù) 的重組處理，計算所述最終白平衡調節(jié)像素值。
概括地說，所述移動部分的像素值的補償過程執(zhí)行下述a-f的處理。
a. 首先，作為與移動部分相鄰的靜止部分的像素對應的數(shù)據(jù)，計算在所捕獲到的目標的部分像素中的兩種光之間的光強標度比，這兩種光是僅從上述第一光源發(fā)射的光和從沒有上述第一光源的周圍光發(fā)射的光。
b. 使用徑向基礎函數(shù)(RBF: Radial Basis Function ),計算對應于所述移動部分的每個像素的所述光強標度比。
c. 在對應于所述移動部分的每個像素的所述光強標度比的基礎上，計算與僅利用所述第一光源的照射環(huán)境下捕獲到的圖像等效的圖像中所述移動部分的每個像素的像素值，作為所述第一像素值。
d. 在對應于所述移動部分的每個像素的所述光強標度比的基礎上，計算與在不包括所述第一光源的周圍光照射環(huán)境下捕獲到的圖像等效的圖像中所述移動部分的每個像素的像素值，作為所述第二像素值。
e. 在所述第一像素值的基礎上執(zhí)行所述像素值調節(jié)處理(白平衡調節(jié))，和在所述第二像素值的基礎上執(zhí)行所述像素值調節(jié)處理(白平衡調節(jié))。
f. 將兩個生成的被調節(jié)的像素值相加。
由此，相對于包括在所述移動部分中的所述像素的白平衡(WB)調節(jié) 像素值重寫在圖12步驟110中生成的圖像數(shù)據(jù)R,借此以獲得所述第一補償圖像數(shù)據(jù)R，。換言之，只有相對于由所述目標的移動引起的所述移動區(qū)域的像素值被重置以用于在步驟111中所捕獲到的圖像，并重寫在步驟110所生成的白平衡調節(jié)圖像R，以便獲得所述第一補償圖像數(shù)據(jù)R，。
另外，如在圖13所示處理流程中所述，當執(zhí)行所述閃光的級別(level) 補償(S202)時，在執(zhí)行等效級別補償之后以及當計算所述移動部分的像素值時，基于周圍光分量和閃光分量的白平衡調節(jié)像素值被相加。
由此，所述移動部分的像素值被重置，和與所述圖像R的移動部分區(qū)域對應的像素被改寫。這個處理是圖16步驟303中的處理。
43但是，在以在上述移動區(qū)域中重置的像素值重寫已經(jīng)在步驟110中生成的所述白平衡調節(jié)圖像R的方式獲得的所述第一補償圖像R，中，在所述移動部分的所述重置像素和原始圖像R的靜止部分的像素之間的邊界不可能是平滑的。一個原因是不可能精確地測量周圍光的顏色。另一個原因是在利用閃光等捕獲的圖像12中可能發(fā)生增白現(xiàn)像。因此，為了照顧這種情況，還要執(zhí)行平滑設置所述邊界部分的顏色轉換處理。
具體地說，執(zhí)行圖16中步驟304-306所示的處理。首先，在步驟304，在所述第一補償圖像R，的移動部分的所述內部周邊像素650的像素值的某個像素a654 (見圖17)的像素值和與所述像素a654相鄰的像素(在包括在8個周圍像素中的位置中的像素)的所述移動部分的外部周邊像素(圖17 中的像素655 )的所述第一補償圖像R，的值的平均值之間計算每種顏色分量的比值(ocp ag, ab)。該比值被用作對應于所述像素a654的顏色補償比數(shù) 據(jù)。類似的，計算與在所述移動部分中所述內部周邊像素650的所有位置中
的每個像素對應的每個顏色分量的比值(ar， Otg, OCb)，作為與所述像素對應
的顏色補償比數(shù)據(jù)，并用作與每個像素對應的顏色補償比值數(shù)據(jù)。接著，在步驟305，使用作為采樣點的所述移動部分中所有內部周邊像素650建立基于所述顏色補償比值數(shù)據(jù)的RBF。 X
最后，在步驟306，相對于所述移動部分的每個像素，根據(jù)基于所建立的顏色補償比值數(shù)據(jù)的RBF,計算與所述移動部分的每個像素對應的顏色補償比值數(shù)據(jù)((V ocg， ab)，和將在所述第一補償圖像R，中設置的每個像素的像素值乘以對應像素的顏色補償比值數(shù)據(jù)(ar， ag, ab)，借此以獲得一個新的像素值，并在將所述像素值認定為是所述移動部分的像素的情況下執(zhí)行一第二顏色轉換。通過執(zhí)行所述第二顏色轉換除了所獲得的第二補償圖像 R，，是所述輸出圖像。這個處理是在圖16所示步驟306中執(zhí)行的處理。
另外，在通過圖16所示步驟303執(zhí)行的處理獲得的所述第一補償圖像 R，中，當在所述移動部分的圖像和靜止部分的圖像之間的邊界具有平滑連接時，可以省略步驟304到步驟306的處理。
在上面的描述中，描述了相對于在其它點處內插在所述采樣點處的值的方法以及使用所述RBF的方法，但是，其它的方法也可以被用于內插。上述處理是圖12中的步驟111的處理的具體例子。因此，當從串行捕獲的多個圖像中檢測到基于目標本身移動的圖像模糊時，執(zhí)行根據(jù)圖16所示流程
44的處理，由上述處理生成的所述第二補償圖像R"或所述第一補償圖像R，是最后輸出的圖像。
另外，當事先已知所述目標本身沒有移動時，不再需要圖12中的步驟 107到111的處理。此外，由于步驟108的判定總是"NO",所以，不需要執(zhí) 行步驟108的判定處理，因此，不再需要創(chuàng)建和存儲用于在步驟108進行判定的數(shù)據(jù)的步驟105和106。
因此，當事先已知所述目標本身沒有移動時，在步驟105中沒有閃光捕獲到的圖像13不再是需要的圖像。在這種情況下，只有沒有閃光捕獲到的圖像I,和利用閃光捕獲到的圖像12這兩種圖像。
此外，使用將閃光稱之為當所述目標是暗的時發(fā)射光的發(fā)光裝置的術語進行了描述。除此之外，所述閃光還經(jīng)常被稱之為頻閃光，它并不局限于所述閃光，由此，本發(fā)明被應用于當所述目標是暗的時通常發(fā)光的發(fā)光裝置。
如上所述，在較佳實施例的例子中，關于利用多種不同光、閃光、周圍光等照射捕獲到的圖像，獲取并生成在單一照射光環(huán)境下捕獲到的圖像；相對于在各單一照射光環(huán)境下的圖像，執(zhí)行根據(jù)基于各照射光的顏色分量(色溫)所設置的參數(shù)的白平衡調節(jié)處理；通過合成這些圖像，可以實現(xiàn)其中閃光和周圍光的色溫差被減小的精確白平衡調節(jié)處理。
圖18的框圖示出了執(zhí)行根據(jù)所述較佳實施例的例子的處理的數(shù)字信號處理單元(DSP)(與圖11的DSP506等效)的功能結構。
下面將描述圖18所示的所述數(shù)字信號處理單元(DSP)中的處理并與圖12所示的流程對比。
分別在圖12的步驟101-106中捕獲的沒有閃光的圖像I,、利用閃光的圖像12和沒有閃光的圖像13分別被存儲在幀存儲器701、 702和703中。另夕卜，內置于所述數(shù)字信號處理單元(DSP)中的一存儲器或連接到總線上的一存儲器(圖11的存儲器512)可被用做存儲圖像的幀存儲器。
在移動檢測單元709中執(zhí)行步驟S107的移動檢測。如前結合圖15所述，該處理是借助于沒有閃光的圖像Ii和沒有閃光的圖像13的差數(shù)據(jù)執(zhí)行的檢測處理。
在步驟112基于多個圖像數(shù)據(jù)的白平衡調節(jié)處理是如先前結合圖13和圖14所描述處理。
首先，在沒有閃光的圖像^和利用閃光的圖像l2的基礎上，在一差圖像
45計算單元704中計算所述差圖像數(shù)據(jù)F42-I,(見圖13， S201)。接著，在一白平衡調節(jié)單元707中根據(jù)基于所述閃光的分量所設置的參數(shù)對所述差圖像數(shù)據(jù)即與僅利用閃光照射捕獲到的圖像等效的圖像F執(zhí)行所述白平衡調節(jié)處理(圖13, S202)。此外，在白平衡調節(jié)單元705中對沒有閃光的圖像h執(zhí)行根據(jù)基于在周圍光分量假定單元706中估計的周圍光分量的估計值所設置的參數(shù)的白平衡調節(jié)處理(圖13， S203 )。
此外，在像素值加法單元708中將由這兩種白平衡調節(jié)處理所捕獲的兩個圖像的像素值相加(圖13， S204)。
當移動部分沒有包括在所捕獲到的圖像中時，在移動部分補償像素值計算單元710中不執(zhí)行處理，但具有在所述像素值加法單元708中相加的像素值的圖像數(shù)據(jù)被經(jīng)過一輸出開關單元712輸出，作為一白平衡調節(jié)圖像。目的地是一用于進行數(shù)字-模擬轉換的D/A轉換器508 (見圖11 )、用于編碼處理的編解碼器511等。
另一方面，所述目標本身的移動區(qū)域是作為在移動檢測單元709中借助于基于沒有閃光的圖像Ii和沒有閃光的圖像13的差數(shù)據(jù)的移動檢測的結果檢測的。此外，在移動部分補償像素值計算單元710中，執(zhí)行如在前結合圖16 和圖17所述的所述移動部分像素值的補償(轉換)，經(jīng)過輸出開關單元712 輸出具有其中所述移動部分已經(jīng)被替換為所述補償像素值的像素值的圖像。
白平衡調節(jié)單元711執(zhí)行圖12處理流程中步驟113的處理。換言之, 當在移動檢測單元709中檢測到所述移動區(qū)域時，但是如果由于在整個圖像中移動區(qū)域的比例太大而確定補償是不可能的，那么，輸入利用閃光的圖像 12，和執(zhí)行根據(jù)預定參數(shù)的白平衡調節(jié)，從而經(jīng)過所述輸出開關單元712輸出它。
另外，圖18所示的結構示出了每個獨立的處理單元，以便解釋所述功能，但是，實際的處理可以利用所述DSP中的一處理器根據(jù)一用于執(zhí)行與上述每個處理流程相符的程序來執(zhí)行。
(白平衡調節(jié)處理的實施例的第二個例子)
在上述白平衡調節(jié)處理中，如結合圖13和圖14所述，可以計算關于周圍光分量和閃光分量中每種光分量的單一照射光圖像數(shù)據(jù)。相對于所述圖像，描述了所述結構例，在這種結構中，根據(jù)基于周圍光分量和閃光分量所設置的參數(shù)執(zhí)行所述白平衡調節(jié)處理。
46下面將說明關于對應于僅具有閃光照射光條件的差圖像數(shù)據(jù)F-l2-I！的結構例子，其中，所述白平衡調節(jié)處理是根據(jù)基于周圍光分量所設置的參數(shù) 執(zhí)行的。
圖19示出了基于等效于圖13所示流程的實施例的當前例的多個圖像數(shù) 據(jù)的白平衡調節(jié)處理流程。
在步驟401,獲得在利用閃光捕獲到的圖像數(shù)據(jù)12的像素和沒有閃光捕獲的圖像h的像素之間的每個顏色分量的差，以生成將被存儲在所述存儲器中的差圖像F-l2-Ii 。所述差圖像F-l2-I！與以其中在沒有周圍光場合下僅利用閃光照射所述成像目標、僅有從所述成像目標反射的閃光入射到攝像機固態(tài) 成像組件上的方式捕獲到的圖像等效。接著，在步驟402，相對于所述圖像 F，執(zhí)行根據(jù)周圍光的色溫的白平衡(WB)調節(jié)以生成補償圖像F，。即，才艮據(jù)基于所述差圖像數(shù)據(jù)F與所述周圍光的色溫相匹配所設置的參數(shù)執(zhí)行所述白平衡(WB)調節(jié)，從而生成所述補償圖像F，。
在這種情況下，由于允許在所述差圖像F和沒有閃光捕獲到的圖像I！的各個像素之間進行直接補償，所以，執(zhí)行所述白平衡調節(jié)處理，以便使所述閃光可以與所述周圍光的顏色相匹配。作為該WB處理的一特定的例子，使用在沒有閃光情況下捕獲到的像素(r。 gi， bi),位于與所述差圖像F的像素(rf， gf， bf)相同位置處的像素、所述差圖像F的所述像素的分量R、 B與在沒有閃光情況下捕獲到的圖像I,的像素的G信號的級別相匹配，然后，使用下述(等式10 )和(等式11 )執(zhí)行所述像素值的轉換。
r;^/(g,/g,) … (等式IO)
^-6/(g,/g/) … (等式U)
然后，通過比較和r,以及&和&得到下述值。
仏=r, / =(r, * g,)《r/ * g,) … (等式12 )
"fi = 6, / Z ) =* g,) * g,) … (等式13 )
通過對所有的像素使用上述(等式12)和(等式13)獲得的a和仏來
計算所述WB參數(shù)。通過將所獲得的參數(shù)乘以所述圖像F的每個像素的R分量和B分量執(zhí)行所述白平衡調節(jié)。根據(jù)該處理，圖像F被轉換成如同在利用與周圍光具有相同顏色的閃光照射時所捕獲到的圖像，從而被用做所述圖像 F,。
進一步，在步驟403，所述差圖像F，與在沒有閃光時捕獲到的圖像I,被
47合成到一起，從而生成第一白平衡調節(jié)圖像Rh所述第一白平衡調節(jié)圖像 R,變成其周圍光和閃光的色溫彼此相互匹配的圖像。
最后，在步驟404，執(zhí)行相對于所述第一白平衡調節(jié)圖像R,的白平衡調
節(jié)處理，并進一步生成一第二白平衡調節(jié)圖像R2。
在步驟404,由用戶設置的值可被用于所述WB的參數(shù)。通過使用已知的自動白平衡技術，可以被改變，以便使所述第二白平衡調節(jié)處理圖像R2 可以具有一自然的色調。
通過使用根據(jù)較佳實施例的該例子的處理，獲得了強調了周圍光分量的所述白平衡調節(jié)。具體地說，當由于晚間光而使周圍光微紅時，即當具有較高的R分量時，根據(jù)周圍光的調節(jié)，獲得諸如將整個圖像調節(jié)到微紅色調的結果。
圖20的框圖示出了執(zhí)行根據(jù)較佳實施例的該例子的所述數(shù)字信號處理單元(DSP)(等效于圖11所示的DSP506)的基本結構。
下面將結合圖20描述在數(shù)字信號處理單元(DSP)中執(zhí)行的處理并與圖19所示的流程對比。
在圖12的步驟101-106中捕獲的沒有閃光的圖像I,、利用閃光的圖像 12和沒有閃光的圖像13被分別存儲在幀存儲器801、 802和803中。
在沒有閃光的圖像I,和利用閃光的圖像12的基礎上，在差圖像計算單元 804中計算所述差圖像數(shù)據(jù)F-l2-I,(圖19， S401)。接著，在白平衡調節(jié)單元805中對所述差圖像數(shù)據(jù)F-Irlp即與僅具有閃光照射條件下捕獲到的圖像等效的所述圖像F執(zhí)行根據(jù)基于周圍光分量所設置的參數(shù)的白平衡調節(jié)處理(圖19， S402)。進一步，在像素值加法單元806中，通過該白平衡調節(jié) 處理所捕獲到的補償圖像F，的像素值和沒有閃光的圖像h的像素值被相相加，并生成第一白平衡調節(jié)圖像R！(圖19, S403 )。然后，在所述白平衡調節(jié)單元807中，執(zhí)行相對于所述第一白平衡調節(jié)圖像R,的白平衡調節(jié)，并
生成第二白平衡調節(jié)圖像R2。
當所述移動部分沒有包括在所捕獲的圖像中時，在移動部分補償像素值計算單元809中不執(zhí)行所述處理，經(jīng)過輸出開關單元811輸出作為所述白平衡調節(jié)圖像的第二白平衡調節(jié)圖像R2。目的地是執(zhí)行數(shù)字-模擬的轉換的D/A 轉換器508 (見圖11)、執(zhí)行編碼處理的編碼器511。
另一方面，作為借助于基于沒有閃光的圖像I，和沒有閃光的圖像13的差
48數(shù)據(jù)移動檢測的結果，在運動檢測單元808中檢測目標本身的移動區(qū)域。此外，在移動部分補償像素值計算單元809中，執(zhí)行如前面結合圖16和圖17 所述的移動部分的像素值的補償(轉換)，并經(jīng)過輸出開關單元811輸出具有其中所述移動部分已經(jīng)被所述補償像素值替換的像素值數(shù)據(jù)的圖像。
白平衡調節(jié)單元810在圖12所示的處理流程的步驟113執(zhí)行所述處理。換言之，當在移動檢測單元808中檢測到所述移動區(qū)域時，但是如果它確定由于整個圖像中的移動區(qū)域的比例太大而導致不可能進行補償，那么，輸入利用閃光的圖像12，并執(zhí)行根據(jù)一預定參數(shù)的白平衡調節(jié)，從而經(jīng)過所述輸出開關單元811輸出它。
另外，圖20所示的結構單獨地示出了每個處理單元，以便解釋所述功能，但是，實際處理可以是通過在所述DSP中的一處理器根據(jù)用于執(zhí)行與上述每個處理流程相符的處理的程序執(zhí)行的。
根據(jù)較佳實施例的該例子，能夠獲得強調了周圍光分量的白平衡調節(jié)。
已經(jīng)就特定的實施例詳細地描述了本發(fā)明，但是，對于本領域普通技術人員來講很明顯，在不脫離本發(fā)明的范圍的前提下可以對所述較佳實施例的例子做出修改或替換。換言之，僅僅是借助于舉例披露了本發(fā)明，因此該說明的內容并不是作為限制，所附權利要求被解釋為確定本發(fā)明的特性。
另外，可以借助于硬件、軟件或軟硬件的結合來執(zhí)行上述的一系列處理。當借助于軟件執(zhí)行處理時，具有所記錄的處理順序的程序可以被插入到置于一專用硬件設備內部的一計算機內的一存儲器中，另外，可以使用能夠執(zhí)行各種處理插入其中和執(zhí)行所述程序的一通用計算機。
例如，所述程序可以事先被記錄到作為記錄介質的一硬盤或一 ROM(只讀存儲器)中。另外，所述程序還可以被永久或暫時地存儲到諸如軟盤、 CD-ROM (高密度盤只讀存儲器)、MO (磁光)盤、DVD (數(shù)字通用盤)、磁帶、半導體存儲器等的可拆卸記錄介質中。
另外，所述程序可以經(jīng)過上述可拆卸記錄介質安裝到一計算機中、從下載一側無線發(fā)送給所述計算機、或者經(jīng)導線或諸如LAN (局域網(wǎng))、Internet 等的網(wǎng)絡發(fā)送給所述計算機。所述計算機可以接收待被安裝到諸如內置硬盤的記錄介質中的如此發(fā)送的程序。
另外，上述說明書中所描述的各種處理不僅可以按照上述的時間順序執(zhí) 行，還可以根據(jù)需要或根據(jù)執(zhí)行所述處理的設備的吞吐能力來執(zhí)行。此外，
49在該說明書中，系統(tǒng)是指多個設備的邏輯組結構，因此，不必在同一個殼體中提供每個設備。工業(yè)實用性
如上所述，根據(jù)本分明的結構，可以精確地調節(jié)在諸如周圍光和閃光的不同光分量相互混合的環(huán)境下所捕獲到的圖像的白平衡，并獲取自然色調的圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明的結構，由于它是被如下構建的，即就將被在諸如周圍光和閃光等多個不同種類照射光下捕獲的圖像而言，在單種光照環(huán)境中捕獲或生成所述圖像，并根據(jù)基于每種照射光的顏色分量(色溫)所設置的參數(shù)執(zhí)行關于在每個單種照射光環(huán)境下圖像的白平衡調節(jié)，以便合成它們，所以可以實現(xiàn)一其中閃光和周圍光之間的色溫差被減小的精確白平衡調節(jié)處理。
此外，根據(jù)本發(fā)明的結構，由于它是被如下構建的，即就所述目標本身的移動部分而言，基于相鄰的無移動部分的像素值調節(jié)和設置所述像素值，所以，可以生成像素間可以平滑變化的自然圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明的結構，可以對所述圖像數(shù)據(jù)提供一種適當?shù)南袼刂?補償，在所述圖像數(shù)據(jù)中，由于靠近諸如攝像機的成像裝置的所述目標被諸如頻閃儀的照射光的過度照射而導致所述目標圖像的像素值被飽和。
此外，根據(jù)本發(fā)明的結構，在不同曝光條件下基于多個圖像數(shù)據(jù)獲得所
述飽和像素的臨時補償像素值，和對該臨時補償像素值執(zhí)行格式化處理，以便將其再次校正為可輸出的像素值，然后輸出或記錄，借此，能夠在精確補
償像素值計算和所述補償像素值的基礎上輸出和存儲一清晰的圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明的結構，輸入包括將被補償和具有其中所述圖像數(shù)據(jù) 中的至少部分像素值被設置為最大像素值的第一圖像數(shù)據(jù)和一個或多個在
不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲的子圖像數(shù)據(jù)的多個圖像數(shù)揚;" 在所述多個輸入圖像數(shù)據(jù)的相應像素值差的基礎上，獲取曝光條件差數(shù)據(jù)，該數(shù)據(jù)指出在獲取每個圖像數(shù)據(jù)時所述曝光條件的差；在所述曝光條件差的基礎上，計算在上述第一圖像數(shù)據(jù)中所述飽和像素的臨時補償像素值；和執(zhí) 行所述格式化處理，以便將所述臨時補償像素值校正為一可輸出范圍內的像素值，由此，在所述精確補償像素值計算和所述補償像素值的基礎上，輸出和存儲所述清晰的圖像數(shù)據(jù)。
50
權利要求
1. 一種圖像數(shù)據(jù)處理方法，用于相對于具有一飽和像素值的圖像數(shù)據(jù)執(zhí)行一像素值補償處理，該方法的特征在于包括一臨時補償像素值計算步驟，輸入多個圖像數(shù)據(jù)，所述多個圖像數(shù)據(jù)包括將被補償并具有其中所述圖像數(shù)據(jù)的至少部分像素被設置為最大像素值的飽和像素的第一圖像數(shù)據(jù)和一個或多個在不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲到的子圖像數(shù)據(jù)；在多個輸入圖像數(shù)據(jù)彼此對應像素值差的基礎上，獲取曝光條件差數(shù)據(jù)，該數(shù)據(jù)指出在獲取每個圖像數(shù)據(jù)時的曝光條件差；和基于所述曝光條件差數(shù)據(jù)計算所述第一圖像數(shù)據(jù)中所述飽和像素的臨時補償像素值；和一補償像素值計算步驟，執(zhí)行一標準化處理，以便將所述臨時補償像素值校正為在一可輸出范圍內的像素值。
2.根據(jù)權利要求1所述的圖像數(shù)據(jù)處理方法，其特征在于所述第一圖像數(shù)據(jù)具有在飽和像素位置(Xc， Yc)中的像素值(Rcl,Gcl， Bcl )和在非飽和像素位置(Xu, Yu)中的像素值(Rul， Gul, Bul ); 所述子圖像數(shù)據(jù)包括曝光強度低于所述第一圖像數(shù)據(jù)曝光強度時捕獲到的一第二圖像數(shù)據(jù)和其曝光強度低于所述第二圖像數(shù)據(jù)的曝光強度時捕獲到的一第三圖像數(shù)據(jù)；所述臨時補償像素值計算步驟根據(jù)下述等式執(zhí)行一計算處理，并假設在所述第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)中與所述第一圖像數(shù)據(jù)的非飽和像素 (Xu， Yu)對應的位置中的所述像素值是(Ru2， Gu2， Bu2)和(Ru3， Gu3, Bu3 )， _<formula>formula see original document page 2</formula>...(等式l)S，闊 ...(等式2)和基于上述(等式1 )和(等式2 )計算一曝光條件差數(shù)據(jù):S。
3.根據(jù)權利要求1所述的圖像數(shù)據(jù)處理方法，其特征在于所述補償像素值計算步驟根據(jù)下述等式執(zhí)行一計算處理，假設在所述第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)中與所述第一圖像數(shù)據(jù)的飽和像素(Xc, Yc)對應的位置的像素值是(Rc2， Gc2， Bc2)和(Rc3, Gc3, Bc3 ):Rcq= ( Rc2-Rc3 ) xS+Rc3Gcq= ( Gc2-Gc3 ) xS+Gc3Bcq= (Bc2-Bc3 ) xS+Bc3 ... (等式3 )和基于上述(等式3 ),計算所述第一圖形數(shù)據(jù)的所述飽和像素的臨時補償像素值(Rcq, Gcq， Bcq )。
4. 根據(jù)權利要求1所述的圖像數(shù)據(jù)處理方法，其特征在于所述補償像素值計算步驟根據(jù)下述等式執(zhí)行計算處理，計算所述第一圖像的非飽和像素(Xu， Yu)的像素值(Ru， Gu， Bu)的所有數(shù)據(jù)的最大值 Dmax,相對于飽和像素(Xc, Yc)的臨時補償像素值(Rcq, Gcq， Bcq)，其中，非飽和像素(Xu， Yu)，Ruf=Ru/DmaxGuf=Gu/DmaxBuf=Bu/Dmax其中，飽和像素(Xc， Yc)， Rcf=Rcq/Dmax Gcf=Gcq/Dmax Bcf=Bcq/Dmax...... (等式4)和基于(等式4)，計算所述第一圖像數(shù)據(jù)的非飽和像素的補償像素值 (Ruf， Guf， Buf)和所述飽和像素的補償像素值(Rcf, Gcf， Bcf)。
5. 根據(jù)權利要求1所述的圖像數(shù)據(jù)處理方法，其特征在于在照射光強度方面，在所述第一圖像數(shù)據(jù)和一個或多個子圖像數(shù)據(jù)之間的曝光條件的差是不同的；和所述臨時補償像素值計算步驟基于作為所述曝光調節(jié)差數(shù)據(jù) 的多個圖像數(shù)據(jù)的照射光強的差計算照射光數(shù)量的比值。
6. 根據(jù)權利要求1所述的圖像數(shù)據(jù)處理方法，其特征在于在曝光時間方面，在所述第一圖像數(shù)據(jù)和所述一個或多個子圖像數(shù)據(jù)之間的曝光條件差是不同的，和所述臨時補償像素值計算步驟基于在作為曝光條件差數(shù)據(jù)的多個圖像數(shù)據(jù)的曝光時間差計算照射光強的比值。
7. 根據(jù)權利要求1所述的圖像數(shù)據(jù)處理方法，其特征在于所述臨時補償像素值計算步驟和所述補償像素值計算步驟的特征在于計算關于所述第一圖像中彩色圖像的每個信號分量的補償數(shù)據(jù)。
8. 根據(jù)權利要求1所述的圖像數(shù)據(jù)處理方法，其特征在于所述臨時補償像素值計算步驟和所述補償像素值計算步驟根據(jù)所述第一圖像的亮度分量計算所述補償數(shù)據(jù)。
9. 一種用于捕獲將被存儲到一存儲單元中的圖像數(shù)據(jù)的方法，其特征在于一成像步驟，基于所設置的不同曝光條件捕獲圖像；一臨時補償像素值計算步驟，輸入多個圖像數(shù)據(jù)，該多個圖像數(shù)據(jù)包括將被補償并且具有其中所述圖像數(shù)據(jù)中的至少部分像素被設置為最大像素值的飽和像素的第一圖像數(shù)據(jù)和其曝光條件不同于所述第一圖像數(shù)據(jù)曝光條件下捕獲的一個或多個子圖像數(shù)據(jù)；基于所述多個輸入圖像數(shù)據(jù)的彼此對應的像素值差獲取一曝光條件差數(shù)據(jù)，該數(shù)據(jù)指出獲取每個圖像數(shù)據(jù)時曝光條件的差；和基于所述曝光條件差數(shù)據(jù)計算所述第一圖像數(shù)據(jù)中飽和像素的臨時補償像素值；一補償像素值計算步驟，用于執(zhí)行一標準化處理，以便將所述臨時補償像素值校正為在一可輸出范圍內的像素值；和一存儲步驟，用于存儲由利用所述補償像素值計算步驟所補償?shù)南袼刂?所構成的圖像數(shù)據(jù)。
10. 根據(jù)權利要求9所述的成像方法，其特征在于在所述曝光條件之間的差是所述照射光強方面的差或是在曝光時間方面的差，所述成像步驟在照射光強或曝光時間的不同設置條件下捕獲多個圖像數(shù)據(jù)，和所述臨時補償像素值計算步驟基于作為曝光條件差數(shù)據(jù)的所述多個圖像數(shù)據(jù)的照射光強或曝光時間的差計算照射光強的比值。
11. 一種捕獲的圖像數(shù)據(jù)處理裝置，用于相對于具有一飽和像素值的圖像數(shù)據(jù)執(zhí)行像素值補償處理，所述圖像數(shù)據(jù)處理裝置的特征在于包括一臨時補償像素值計算裝置，用于輸入多個圖像數(shù)據(jù)，該多個圖像數(shù)據(jù) 包括將被補償并具有其中至少部分所述圖像數(shù)據(jù)的的像素被設置為一最大值的飽和像素的第一圖像數(shù)據(jù)和在與不同于所述第一圖像數(shù)據(jù)曝光條件下捕獲的一個或多個子圖像數(shù)據(jù)；基于所述多個輸入圖像數(shù)據(jù)中彼此對應的像素值差獲取一曝光條件差數(shù)據(jù)，該數(shù)據(jù)指出在獲取每個圖像數(shù)據(jù)時曝光條件的差，和基于所述曝光條件差數(shù)據(jù)計算所述第一圖像中所述飽和像素的一臨時補償像素值；和一補償像素值計算裝置，用于執(zhí)行一標準化處理，以便將所述臨時補償像素值校正為在一可輸出范圍內的像素值。
全文摘要
提供圖像數(shù)據(jù)處理方法和圖像數(shù)據(jù)處理裝置，用于相對于具有一飽和像素值的圖像數(shù)據(jù)執(zhí)行一像素值補償處理。該方法包括臨時補償像素值計算步驟，輸入多個圖像數(shù)據(jù)，所述多個圖像數(shù)據(jù)包括將被補償并具有其中所述圖像數(shù)據(jù)的至少部分像素被設置為最大像素值的飽和像素的第一圖像數(shù)據(jù)和一個或多個在不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲到的子圖像數(shù)據(jù)；在多個輸入圖像數(shù)據(jù)彼此對應像素值差的基礎上，獲取曝光條件差數(shù)據(jù)，該數(shù)據(jù)指出在獲取每個圖像數(shù)據(jù)時的曝光條件差；和基于所述曝光條件差數(shù)據(jù)計算所述第一圖像數(shù)據(jù)中所述飽和像素的臨時補償像素值；和補償像素值計算步驟，執(zhí)行標準化處理，以便將所述臨時補償像素值校正為在可輸出范圍內的像素值。
文檔編號H04N5/235GK101448086SQ20081017407
公開日2009年6月3日申請日期2003年6月19日優(yōu)先權日2002年7月18日
發(fā)明者大木光晴, 山田類申請人:索尼株式會社

完整全部詳細技術資料下載