專利名稱：圖像處理方法、圖像處理裝置和計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理方法和圖像處理設(shè)備以及計(jì)算機(jī)程序，更具體地說，本發(fā)明涉及圖像處理方法和圖像處理設(shè)備以及計(jì)算機(jī)程序，它們每一個(gè)都用于通過使用多個(gè)圖像使得圖像調(diào)整能夠緩解環(huán)境光和閃光燈光之間的色溫差異問題，并且它們每一個(gè)都使得即使在用于圖像調(diào)整的多個(gè)圖像之間發(fā)生圖像抖動(dòng)(image shake)的情況下也能夠?qū)崿F(xiàn)有效的高速校正處理。
背景技術(shù)：
在照相機(jī)攝影術(shù)中閃光燈(flash)(電閃光燈或閃光燈(strobe))被用作輔助光源。近些年來，DSC(digital still camera，數(shù)碼照相機(jī))快速普及，并且也經(jīng)常一起使用DSC執(zhí)行閃光燈攝影術(shù)。閃光燈能夠被用于執(zhí)行各種攝影術(shù)，例如補(bǔ)充光(fill-in light)(用于削弱在人臉上出現(xiàn)的過強(qiáng)的陰影等的技術(shù))、背光補(bǔ)償(用于在人背對(duì)太陽站立照像時(shí)防止人臉失去陰影細(xì)節(jié)的技術(shù))、眼神光(catch light)(用于漂亮地拍攝眼睛的瞳孔和在瞳孔中反射的閃爍的“光點(diǎn)”的技術(shù))、以及日光同步閃光燈(日光同步，在白天或夜間使用閃光燈作為輔助光線的技術(shù))。另一方面，在執(zhí)行閃光燈攝影術(shù)時(shí)存在這樣的情況，即，顏色平衡被削弱或發(fā)生強(qiáng)光照射部分細(xì)節(jié)丟失。本發(fā)明的一個(gè)目的是提供一種適當(dāng)?shù)难b置，其能夠校正在閃光燈攝影術(shù)中出現(xiàn)的不希望有的現(xiàn)象。
通常，在數(shù)字照相機(jī)中執(zhí)行白平衡(WB)，以便能夠在白光中拍攝白色物體的圖像。例如，以這樣的方式執(zhí)行白平衡調(diào)整，即，當(dāng)將要在照射到物體的光的色溫較高并且藍(lán)色(B)光較強(qiáng)的光分量(component)環(huán)境，例如自然光、照明光或閃光燈(strobe)，中拍攝圖像時(shí)，抑制對(duì)藍(lán)色光的敏感度，相反，當(dāng)將要在照射到物體的光的色溫較低且紅色(B)光較強(qiáng)的光分量環(huán)境中拍攝圖像時(shí)，抑制對(duì)紅色光的敏感度，從而使得藍(lán)色(B)光的敏感度相對(duì)提高。
通常，在白平衡調(diào)整執(zhí)行的調(diào)整處理中，調(diào)整參數(shù)是根據(jù)在圖像捕獲(capture)期間將要使用的光源來設(shè)置的。例如，當(dāng)執(zhí)行使用閃光燈的圖像捕獲時(shí)，依照與所使用的閃光燈的光分量相對(duì)應(yīng)的參數(shù)來執(zhí)行白平衡調(diào)整。
但是，如果在除了閃光燈光之外還存在環(huán)境光的情況下執(zhí)行使用閃光燈的圖像捕獲，則有兩類光，即，閃光燈光和環(huán)境光照射到物體上，并且從該物體反射的光到達(dá)照相機(jī)的圖像攝像(pickup)元件，從而執(zhí)行圖像捕獲。在這種圖像捕獲的情況中，如果根據(jù)閃光燈光執(zhí)行白平衡調(diào)整，則物體上被大量閃光燈光照射的部分被調(diào)整到自然光。但是，如果對(duì)閃光燈光不能到達(dá)且僅以環(huán)境光的反射光被捕獲的區(qū)域，例如，背景圖像區(qū)域，執(zhí)行按照與閃光燈光的光分量匹配的參數(shù)設(shè)置的白平衡調(diào)整，則，適當(dāng)?shù)陌灼胶庹{(diào)整沒有被執(zhí)行，并且所述區(qū)域被輸出為具有非自然光的區(qū)域。
相反地，如果對(duì)所捕獲的整個(gè)圖像執(zhí)行與背景部分相匹配的白平衡調(diào)整，即，基于僅僅使用環(huán)境光捕獲圖像的假設(shè)的白平衡調(diào)整，則，被大量閃光燈光照射的部分將會(huì)被調(diào)整成非自然光。
為了克服這個(gè)問題，已經(jīng)建議了幾種結(jié)構(gòu)。例如，專利文件1(日本專利申請(qǐng)公開文件Hei8-51632)公開了一種結(jié)構(gòu)，該結(jié)構(gòu)獲得一個(gè)不使用閃光燈拍攝的圖像和一個(gè)使用閃光燈拍攝的圖像，將這兩個(gè)圖像的每一個(gè)都分割成塊，以塊為單位對(duì)它們的亮度值進(jìn)行比較，并在對(duì)亮度值的比較結(jié)果的基礎(chǔ)上對(duì)使用閃光燈拍攝的圖像的每一塊執(zhí)行不同的白平衡調(diào)整。
在白平衡調(diào)整中，選擇并執(zhí)行與閃光燈光匹配的白平衡調(diào)整、與介于閃光燈光和環(huán)境光之間的光匹配的白平衡調(diào)整、和與環(huán)境光匹配的白平衡調(diào)整之間的任何一個(gè)。但是，這種結(jié)構(gòu)需要以塊為單位執(zhí)行處理，這導(dǎo)致了諸如發(fā)生塊失真的問題，以及當(dāng)物體移動(dòng)時(shí)不能進(jìn)行(effect)正確處理的問題。
專利文件2(日本專利申請(qǐng)公開文件JP-A-2000-308068)公開了下述處理結(jié)構(gòu)。也就是說，使用閃光燈和全開光圈以及較短的曝光時(shí)間來拍攝圖像，并且在那之后，在最初打算的曝光條件下不使用閃光燈來拍攝圖像。前者和后者分別稱為第一圖像和第二圖像。此外，在第一圖像中，具有不少于預(yù)定的電平(level)的像素被登記為主物體區(qū)，其它的像素被登記為背景區(qū)。在這之后，對(duì)第一圖像施行與閃光燈光相匹配的白平衡調(diào)整，并對(duì)第二圖像施行與環(huán)境光相匹配的白平衡調(diào)整，并且組合第一圖像的主物體區(qū)和第二圖像的背景區(qū)以生成最終記錄的圖像。
但是，在這種結(jié)構(gòu)中，不可能正確地實(shí)現(xiàn)對(duì)使用環(huán)境光和閃光燈光兩者照射的物體的白平衡調(diào)整。
專利文件3(日本專利申請(qǐng)公開文件JP-A-2000-307940)公開了一種結(jié)構(gòu)，該結(jié)構(gòu)向上述專利文件2的結(jié)構(gòu)添加了圖像抖動(dòng)檢測(cè)裝置。在這種結(jié)構(gòu)中，如果確定發(fā)生了抖動(dòng)，則不對(duì)上述第一圖像進(jìn)行修改而將其用作記錄的圖像，并且不執(zhí)行將第一圖像和第二圖像組合的處理。因此，如果檢測(cè)到抖動(dòng)，則由于閃光燈光和環(huán)境光之間的色溫差異所造成的不自然不能被解決。
專利文件4(日本專利申請(qǐng)公開文件Hei8-340542)公開了一種結(jié)構(gòu)，該結(jié)構(gòu)對(duì)使用閃光燈拍攝的圖像的每個(gè)像素的亮度以及沒使用閃光燈而拍攝的圖像的相應(yīng)像素的亮度執(zhí)行分割(division)，以便得到閃光燈光的貢獻(xiàn)率，并在該貢獻(xiàn)率的基礎(chǔ)上對(duì)使用閃光燈拍攝的圖像執(zhí)行白平衡調(diào)整。
在這個(gè)結(jié)構(gòu)中，使用閃光燈光和環(huán)境光的混合反射光拍攝的圖像被在閃光燈光貢獻(xiàn)率的基礎(chǔ)上簡(jiǎn)單地插入了用于閃光燈光和環(huán)境光的白平衡參數(shù)，由此生成最終圖像。但是，如果考慮光的物理反射模型，則應(yīng)該獨(dú)立地處理來源于閃光燈光的分量和來源于環(huán)境光的分量，并且，僅僅通過處理用閃光燈光和環(huán)境光的混合反射光拍攝的圖像不可能生成最佳結(jié)果的圖像。
日本專利申請(qǐng)公開文件Hei8-51632[專利文件2]日本專利申請(qǐng)公開文件JP-A-2000-308068[專利文件3]日本專利申請(qǐng)公開文件JP-A-2000-307940[專利文件4]日本專利申請(qǐng)公開文件Hei8-340542發(fā)明內(nèi)容[本發(fā)明將要解決的問題]本發(fā)明是考慮到上述相關(guān)技術(shù)的問題而構(gòu)想的，并且本發(fā)明提供一種圖像處理方法和一種圖像處理設(shè)備，以及一種計(jì)算機(jī)程序，它們中的每一個(gè)都能夠?qū)υ诃h(huán)境光和閃光燈光的混合環(huán)境中拍攝的圖像執(zhí)行最佳的圖像調(diào)整，并且即使在檢測(cè)到圖像抖動(dòng)時(shí)，它們也能夠以高速度高效率無誤地執(zhí)行諸如最佳白平衡調(diào)整的像素值校正。
在第一方面，本發(fā)明的優(yōu)選實(shí)施例提供一種圖像處理方法，包括下列步驟以具有不同像素值的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的相對(duì)應(yīng)的像素值為基礎(chǔ)計(jì)算圖像差值或圖像比值；基于圖像數(shù)據(jù)的特定區(qū)域的圖像差值或圖像比值計(jì)算估計(jì)值；并且基于在所述估計(jì)值計(jì)算步驟計(jì)算出的所述特定區(qū)域的圖像差值或圖像比值的估計(jì)值、以及所述第二圖像數(shù)據(jù)，生成該特定區(qū)域的校正圖像。
此外，本發(fā)明的另一個(gè)示范實(shí)施例的特征在于，當(dāng)A(x，y)表示所述第一圖像數(shù)據(jù)的每個(gè)像素(x，y)的像素值向量，B(x，y)表示所述第二圖像數(shù)據(jù)的相應(yīng)像素(x，y)的像素值向量時(shí)，所述圖像差值d(x，y)是如下計(jì)算的向量d(x，y)＝A(x，y)-B(x，y)并且所述圖像比值d(x，y)是d(x，y)＝A(x，y)/(B(x，y)+e)其中e是固定值。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述第一圖像數(shù)據(jù)是在無閃光燈輔助而捕獲的圖像和閃光燈輔助而捕獲的圖像的基礎(chǔ)上對(duì)其施行了像素值調(diào)整的白平衡調(diào)整的圖像(white balance adjustedimage)R，所述第二圖像數(shù)據(jù)是閃光燈圖像I2，并且所述特定區(qū)域是在其中檢測(cè)到物體的運(yùn)動(dòng)的運(yùn)動(dòng)存在區(qū)域；當(dāng)R(x，y)表示該白平衡調(diào)整的圖像R的每個(gè)像素(x，y)的像素值向量，而I2(x，y)表示該閃光燈圖像I2的相應(yīng)像素(x，y)的像素值向量時(shí)，所述圖像差值d(x，y)是如下計(jì)算的向量d(x，y)＝R(x，y)-I2(x，y)并且圖像比值d(x，y)是d(x，y)＝R(x，y)/(I2(x，y)+e)其中e是作為固定值計(jì)算的向量；并且所述校正圖像生成步驟是下述步驟以在所述估計(jì)值計(jì)算步驟中計(jì)算出的所述運(yùn)動(dòng)存在區(qū)域中的圖像差值或圖像比值的估計(jì)值以及所述閃光燈圖像I2為基礎(chǔ)，生成該運(yùn)動(dòng)存在區(qū)域的校正圖像。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述估計(jì)值計(jì)算步驟包括初始值設(shè)置步驟，以在所述特定區(qū)域的鄰近區(qū)域中確定的圖像差值或圖像比值為基礎(chǔ)，設(shè)置所述圖像數(shù)據(jù)的該特定區(qū)域的圖像差值或圖像比值的初始值；以及平滑處理執(zhí)行步驟，對(duì)在該初始值設(shè)置步驟中設(shè)置的初始值執(zhí)行基于平滑濾波器的平滑處理。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述設(shè)置初始值的步驟是下述步驟以初始值設(shè)置目標(biāo)像素的鄰近像素的圖像差值或圖像比值為基礎(chǔ)，設(shè)置該初始值設(shè)置目標(biāo)像素的初始值，其中，已經(jīng)為所述鄰近像素設(shè)置了圖像差值或圖像比值。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述設(shè)置初始值的步驟包括下述步驟應(yīng)用掩碼圖像，以便區(qū)分所述初始值設(shè)置目標(biāo)像素與已經(jīng)為其設(shè)置了圖像差值或圖像比值的像素。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述校正圖像生成步驟是下述步驟以在所述估計(jì)值計(jì)算步驟中計(jì)算出的所述特定區(qū)域中的圖像差值或圖像比值的估計(jì)值、以及所述第二圖像數(shù)據(jù)為基礎(chǔ)，生成該特定區(qū)域的校正圖像。在使用圖像差值的處理中，所述校正圖像生成步驟被執(zhí)行為將在所述估計(jì)值計(jì)算步驟中計(jì)算出的該特定區(qū)域中的圖像差值的估計(jì)值與該特定區(qū)域中的所述第二圖像數(shù)據(jù)相加的步驟；而在使用圖像比值的處理中，該校正圖像生成步驟被執(zhí)行為將在所述估計(jì)值計(jì)算步驟中計(jì)算出的該特定區(qū)域的圖像比值的估計(jì)值與該特定區(qū)域中的所述第二圖像數(shù)據(jù)相乘的步驟。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述第一圖像數(shù)據(jù)是以無閃光燈輔助而捕獲的圖像和閃光燈捕獲的圖像為基礎(chǔ)對(duì)其施行了像素值調(diào)整的白平衡調(diào)整的圖像R；所述第二圖像數(shù)據(jù)是閃光燈輔助的圖像I2；而所述特定區(qū)域是在其中檢測(cè)到物體的運(yùn)動(dòng)的運(yùn)動(dòng)存在區(qū)域。在使用圖像差值的處理中，所述校正圖像生成步驟被執(zhí)行為將在所述估計(jì)值計(jì)算步驟中計(jì)算出的該特定區(qū)域中的圖像差值的估計(jì)值與所述運(yùn)動(dòng)存在區(qū)域中的該閃光燈圖像I2相加的步驟；而在使用圖像比值的處理中，所述校正圖像生成步驟被執(zhí)行為將在所述估計(jì)值計(jì)算步驟中計(jì)算出的該特定區(qū)域中的圖像比值的估計(jì)值與該運(yùn)動(dòng)存在區(qū)域中的該閃光燈圖像I2相乘的步驟。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述估計(jì)值計(jì)算步驟包括初始值設(shè)置步驟，以在所述特定區(qū)域的鄰近區(qū)域中確定的圖像差值或圖像比值為基礎(chǔ)，設(shè)置所述圖像數(shù)據(jù)的該特定區(qū)域的圖像差值或圖像比值的初始值；和濾波處理步驟，按照像素值轉(zhuǎn)換表達(dá)式對(duì)在所述初始值設(shè)置步驟中設(shè)置的初始值執(zhí)行像素值轉(zhuǎn)換處理，并校正該特定區(qū)域的圖像差值或圖像比值，其中，所述像素值轉(zhuǎn)換表達(dá)式對(duì)應(yīng)于使用基于所述第二圖像數(shù)據(jù)設(shè)置其加權(quán)值(weight)的濾波器的濾波處理。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述初始值設(shè)置步驟是下述步驟以初始值設(shè)置目標(biāo)像素的鄰近像素的圖像差值或圖像比值為基礎(chǔ)，設(shè)置該初始值設(shè)置目標(biāo)像素的初始值，其中，已經(jīng)為所述鄰近像素設(shè)置了圖像差值或圖像比值。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述初始值設(shè)置步驟包括下述步驟應(yīng)用掩碼圖像，以便區(qū)分所述初始值設(shè)置目標(biāo)像素與已經(jīng)為其設(shè)置了圖像差值或圖像比值的像素。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述第一圖像數(shù)據(jù)是以無閃光燈輔助而捕獲的圖像和閃光燈捕獲的圖像為基礎(chǔ)對(duì)其施行了像素值調(diào)整的白平衡調(diào)整的圖像R；所述第二圖像數(shù)據(jù)是閃光燈圖像I2；并且所述特定區(qū)域是在其中檢測(cè)到物體的運(yùn)動(dòng)的運(yùn)動(dòng)存在區(qū)域；并且其特征在于，所述濾波處理步驟是下述步驟使用包含函數(shù)的表達(dá)式執(zhí)行像素值校正處理，其中，所述函數(shù)的加權(quán)值是根據(jù)構(gòu)成所述閃光燈圖像I2的圖像數(shù)據(jù)的像素的像素值而設(shè)置的。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述濾波處理步驟是使用下述轉(zhuǎn)換表達(dá)式執(zhí)行像素值校正處理的步驟d′(x,y,ch)=1Σi,jw(|I2(x,y,ch)-I2(i,j,ch)|)Σi,j{w(|I2(x,y,ch)-I2(i,j,ch)|)d(i,j,ch)}]]>其中，d(x，y，ch)是與在像素位置(x，y)處的每個(gè)通道[ch]的圖像差值或圖像比值d相對(duì)應(yīng)的值，而I2(x，y，ch)是與所述閃光燈圖像I2的像素值相對(duì)應(yīng)的值；d’(x，y，ch)是在該像素位置(x，y)處的通道[ch]的圖像差值d的更新的像素值；i和j是用于計(jì)算在像素位置(x，y)處的值d的更新的值d’的參考像素位置。當(dāng)k表示任意自然數(shù)時(shí)，則x-k≤i≤x+k和y-k≤j≤y+k，并且w(x)是根據(jù)構(gòu)成閃光燈圖像I2的圖像數(shù)據(jù)的像素的像素值設(shè)置加權(quán)值的加權(quán)函數(shù)。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述轉(zhuǎn)換表達(dá)式中的加權(quán)函數(shù)w(x)是由下述表達(dá)式表示的函數(shù)w(x)=exp(-x22σ2)]]>
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，上述轉(zhuǎn)換表達(dá)式中用于計(jì)算像素位置(x，y)的值的更新的值d’的參考像素位置i、j為x-k≤i≤x+k和y-k≤j≤y+k，其中，k是任意自然數(shù)，并且k是1、2和3中的任何一個(gè)。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于還包括步驟在存儲(chǔ)器中存儲(chǔ)基于無閃光燈輔助而捕獲的圖像的無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L；在存儲(chǔ)器中存儲(chǔ)基于閃光燈捕獲的圖像的閃光燈輔助的高分辨率圖像數(shù)據(jù)I2H和閃光燈分辨率圖像數(shù)據(jù)I2L；在存儲(chǔ)其中存儲(chǔ)基于無閃光燈輔助而拍攝的圖像的無閃光燈輔助的低分辨率圖像數(shù)據(jù)I3L；以及以所述無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L和所述無閃光燈輔助的低分辨率圖像數(shù)據(jù)I3L為基礎(chǔ)檢測(cè)運(yùn)動(dòng)存在區(qū)域。所述無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L被設(shè)置為第一圖像數(shù)據(jù)，而所述閃光燈輔助的低分辨率圖像數(shù)據(jù)I2L被設(shè)置為第二圖像數(shù)據(jù)，并且計(jì)算所述估計(jì)值以生成對(duì)其施行了白平衡調(diào)整處理以及對(duì)運(yùn)動(dòng)區(qū)域的像素值校正處理的白平衡調(diào)整的圖像R。在所述校正圖像生成步驟中，以所述像素值經(jīng)過調(diào)整的圖像R、所述閃光燈輔助的高分辨率圖像數(shù)據(jù)I2H和閃光燈輔助的低分辨率圖像數(shù)據(jù)I2L的相應(yīng)像素值為基礎(chǔ)生成最終的高分辨率校正圖像RH。
此外，本發(fā)明的圖像處理方法的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述校正圖像生成步驟具有步驟獲得有關(guān)所述像素值經(jīng)過調(diào)整的圖像R的相對(duì)于所述閃光燈輔助的低分辨率圖像數(shù)據(jù)I2L的相應(yīng)像素的像素值轉(zhuǎn)換信息；以及執(zhí)行閃光燈輔助的高分辨率圖像數(shù)據(jù)I2H的像素值轉(zhuǎn)換。
此外，在第二方面，本發(fā)明的另一個(gè)優(yōu)選實(shí)施例提供了一種圖像處理設(shè)備，其特征在于用于以具有不同像素值的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的相應(yīng)像素值為基礎(chǔ)計(jì)算圖像差值或圖像比值的部件；估計(jì)部件，用于基于圖像數(shù)據(jù)的特定區(qū)域的圖像差值或圖像比值計(jì)算估計(jì)值；生成部件，用于以由所述估計(jì)部件計(jì)算出的所述特定區(qū)域的圖像差值或圖像比值的估計(jì)值、以及所述第二圖像數(shù)據(jù)為基礎(chǔ)，生成該特定區(qū)域的校正圖像。
此外，本發(fā)明的圖像處理裝置的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述估計(jì)部件包括初始值設(shè)置部分，用于以在所述特定區(qū)域的鄰近區(qū)域中確定的圖像差值或圖像比值為基礎(chǔ)，設(shè)置所述圖像數(shù)據(jù)的該特定區(qū)域的圖像差值或圖像比值的初始值；以及平滑處理執(zhí)行部分，用于對(duì)由所述初始值設(shè)置部分設(shè)置的初始值執(zhí)行基于平滑濾波器的平滑處理。
此外，本發(fā)明的圖像處理裝置的另一個(gè)優(yōu)選實(shí)施例的特征在于，所述估計(jì)值計(jì)算步驟包括初始值設(shè)置部分，用于以在所述特定區(qū)域的鄰近區(qū)域中確定的圖像差值或圖像比值為基礎(chǔ)，設(shè)置所述圖像數(shù)據(jù)的該特定區(qū)域的圖像差值或圖像比值的初始值；以及濾波處理部分，用于按照像素值轉(zhuǎn)換表達(dá)式對(duì)由所述初始值設(shè)置部分設(shè)置的初始值執(zhí)行像素值轉(zhuǎn)換處理，并校正該特定區(qū)域的圖像差值或圖像比值，其中，所述像素值轉(zhuǎn)換表達(dá)式對(duì)應(yīng)于使用以所述第二圖像數(shù)據(jù)為基礎(chǔ)設(shè)置其加權(quán)值的濾波器的濾波處理。
此外，在第三方面，本發(fā)明的另一個(gè)優(yōu)選實(shí)施例提供一種用于執(zhí)行圖像處理的計(jì)算機(jī)程序，其特征在于以具有不同像素值的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的相應(yīng)像素值為基礎(chǔ)計(jì)算圖像差值或圖像比值的步驟；基于圖像數(shù)據(jù)的特定區(qū)域的圖像差值或圖像比值計(jì)算估計(jì)值的估計(jì)值計(jì)算步驟；以在所述估計(jì)值計(jì)算步驟中計(jì)算出的所述特定區(qū)域的圖像差值或圖像比值的估計(jì)值、以及所述第二圖像數(shù)據(jù)為基礎(chǔ)，生成該特定區(qū)域的校正圖像的校正圖像生成步驟。
此外，本發(fā)明的計(jì)算機(jī)程序的另一個(gè)優(yōu)選實(shí)施例還包括在存儲(chǔ)器中存儲(chǔ)基于無閃光燈輔助而捕獲的圖像的無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L的步驟；在存儲(chǔ)器中存儲(chǔ)基于閃光燈捕獲的圖像的閃光燈輔助的高分辨率圖像數(shù)據(jù)I2H和閃光燈分辨率圖像數(shù)據(jù)I2L的步驟；在存儲(chǔ)器中存儲(chǔ)基于無閃光燈輔助而拍攝的圖像的無閃光燈輔助的低分辨率圖像數(shù)據(jù)I3L的步驟；以及以所述無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L和所述無閃光燈輔助的低分辨率圖像數(shù)據(jù)I3L為基礎(chǔ)檢測(cè)運(yùn)動(dòng)存在區(qū)域的步驟。該無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L被設(shè)置為所述第一圖像數(shù)據(jù)，而該閃光燈輔助的低分辨率圖像數(shù)據(jù)I2L被設(shè)置為所述第二圖像數(shù)據(jù)，并且計(jì)算所述估計(jì)值以生成對(duì)其施行了白平衡調(diào)整處理和對(duì)運(yùn)動(dòng)區(qū)域的像素值校正處理的白平衡調(diào)整的圖像R。在所述校正圖像生成步驟中，以所述像素值經(jīng)過調(diào)整的圖像R、所述閃光燈輔助的高分辨率圖像數(shù)據(jù)I2H和所述閃光燈輔助的低分辨率圖像數(shù)據(jù)I2L的相對(duì)應(yīng)的像素值為基礎(chǔ)，生成最終高分辨率校正圖像RH。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例的計(jì)算機(jī)程序是能夠由存儲(chǔ)介質(zhì)和通信介質(zhì)提供的計(jì)算機(jī)程序，所述存儲(chǔ)介質(zhì)和通信介質(zhì)以計(jì)算機(jī)可讀的格式向能夠執(zhí)行各種程序代碼的通用計(jì)算機(jī)系統(tǒng)提供計(jì)算機(jī)程序，例如，諸如CD、FD、MO的存儲(chǔ)介質(zhì)，以及諸如網(wǎng)絡(luò)的通信介質(zhì)。通過以計(jì)算機(jī)可讀格式提供該程序，在計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)了按照該程序的處理。
通過以下參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行的具體說明，本發(fā)明的其它目的、特征和優(yōu)點(diǎn)將變得更加明顯。順便提及，此處所使用的術(shù)語“系統(tǒng)”的意思是多個(gè)設(shè)備的邏輯集合結(jié)構(gòu)，并且不限于各個(gè)構(gòu)成設(shè)備都包括在同一個(gè)機(jī)架中的結(jié)構(gòu)。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，有可能以例如白平衡調(diào)整的圖像數(shù)據(jù)的運(yùn)動(dòng)不存在區(qū)域的像素值以及諸如運(yùn)動(dòng)存在區(qū)域的特定區(qū)域的閃光燈圖像數(shù)據(jù)為基礎(chǔ)，對(duì)諸如運(yùn)動(dòng)存在區(qū)域的特定區(qū)域的像素值高效率地執(zhí)行校正處理。因此，有可能生成平滑地連接到白平衡調(diào)整的圖像數(shù)據(jù)的圖像，并且還有可能生成反映有關(guān)運(yùn)動(dòng)存在區(qū)域的閃光燈圖像數(shù)據(jù)的紋理信息的圖像。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，在對(duì)運(yùn)動(dòng)存在區(qū)域的像素值校正處理中，在運(yùn)動(dòng)存在區(qū)域中設(shè)置了白平衡調(diào)整的圖像數(shù)據(jù)與閃光燈圖像數(shù)據(jù)之間的差值或比值的初始值之后，由平滑濾波器執(zhí)行平滑處理，并且計(jì)算運(yùn)動(dòng)存在區(qū)域中的圖像差值或圖像比值的估計(jì)值，以便以該估計(jì)值為基礎(chǔ)執(zhí)行運(yùn)動(dòng)存在區(qū)域的像素值校正，由此實(shí)現(xiàn)使用減少的計(jì)算量的高速處理。
此外，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，在對(duì)運(yùn)動(dòng)存在部分像素區(qū)域的校正中，執(zhí)行根據(jù)像素值轉(zhuǎn)換表達(dá)式的濾波處理，所述像素值轉(zhuǎn)換表達(dá)式使用確定的系數(shù)，以便將閃光燈捕獲的圖像I2的像素值考慮進(jìn)去。因此，反映閃光燈捕獲的圖像I2的紋理(texture)的像素值校正被執(zhí)行，并且即使在運(yùn)動(dòng)存在區(qū)域中，邊緣部分失真(fuzziness)、顏色模糊(blur)等也被解決，由此有可能生成反映閃光燈捕獲的圖像I2的紋理的圖像。
此外，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，在使用低分辨率圖像的白平衡調(diào)整和對(duì)運(yùn)動(dòng)存在部分的像素值校正已經(jīng)被執(zhí)行之后，有可能以校正圖像數(shù)據(jù)與低分辨率圖像數(shù)據(jù)的對(duì)應(yīng)性為基礎(chǔ)生成高分辨率校正圖像，由此能夠利用小的存儲(chǔ)量實(shí)現(xiàn)高速處理，并且最終能夠獲得高分辨率校正圖像。


圖1是示出本發(fā)明的圖像處理設(shè)備的結(jié)構(gòu)的視圖；圖2是用于說明本發(fā)明的圖像處理方法的流程圖；
圖3是用于說明本發(fā)明的圖像處理方法中基于多個(gè)圖像數(shù)據(jù)的白平衡調(diào)整處理的過程的流程圖；圖4是用于說明本發(fā)明的圖像處理方法中基于多個(gè)圖像數(shù)據(jù)的白平衡調(diào)整處理的原則的視圖；圖5是用于說明本發(fā)明的圖像處理中基于多個(gè)圖像數(shù)據(jù)的運(yùn)動(dòng)部分檢測(cè)處理的視圖；圖6是用于說明本發(fā)明的圖像處理中對(duì)運(yùn)動(dòng)部分的像素值調(diào)整處理的流程圖；圖7是用于說明本發(fā)明的圖像處理中對(duì)運(yùn)動(dòng)部分的像素值調(diào)整處理的視圖；圖8是用于說明執(zhí)行本發(fā)明的圖像處理中基于多個(gè)圖像數(shù)據(jù)的像素值調(diào)整處理的機(jī)制的視圖；圖9是用于說明本發(fā)明的圖像處理方法中基于多個(gè)圖像數(shù)據(jù)的白平衡調(diào)整處理的過程的流程圖；圖10是用于說明執(zhí)行本發(fā)明的圖像處理中基于多個(gè)圖像數(shù)據(jù)的像素值調(diào)整處理的機(jī)制的視圖；圖11是用于說明本發(fā)明的圖像處理中對(duì)運(yùn)動(dòng)部分的像素值調(diào)整處理的視圖；圖12是用于說明本發(fā)明的第二實(shí)施例中對(duì)運(yùn)動(dòng)部分的像素值調(diào)整處理的流程圖；圖13是用于說明本發(fā)明的第二實(shí)施例中對(duì)運(yùn)動(dòng)部分的像素值調(diào)整處理的視圖；圖14是用于說明對(duì)圖像差值d的初始值設(shè)置方法的視圖，所述方法在本發(fā)明的第二實(shí)施例中對(duì)運(yùn)動(dòng)部分的像素值調(diào)整處理中執(zhí)行；圖15是用于說明本發(fā)明的第二實(shí)施例中運(yùn)動(dòng)部分校正像素值計(jì)算部分的結(jié)構(gòu)和處理的視圖；圖16是用于說明本發(fā)明的第三實(shí)施例中對(duì)運(yùn)動(dòng)部分的像素值調(diào)整處理和設(shè)置圖像差值d的初始值的方法的視圖；圖17是用于說明本發(fā)明的第三實(shí)施例中對(duì)運(yùn)動(dòng)部分的像素值調(diào)整處理的流程圖；圖18是用于說明本發(fā)明的第三實(shí)施例中對(duì)運(yùn)動(dòng)部分的像素值調(diào)整處理的視圖；圖19是用于說明本發(fā)明的第三實(shí)施例中的運(yùn)動(dòng)部分校正像素值計(jì)算部分的結(jié)構(gòu)和處理的視圖；圖20是用于說明本發(fā)明的第四實(shí)施例中的處理的流程圖。
101 透鏡102 光圈103 攝像元件104 相關(guān)雙采樣電路(CDS)105 A/D轉(zhuǎn)換器106 數(shù)字信號(hào)處理部分(DSP)107 定時(shí)生成器108 D/A轉(zhuǎn)換器109 視頻編碼器110 視頻監(jiān)視器111 編解碼器(CODEC)112 存儲(chǔ)器113 CPU114 輸入設(shè)備115 閃光燈控制部分116 閃光燈設(shè)備200 球210 區(qū)域250 運(yùn)動(dòng)存在部分的內(nèi)邊界像素251 運(yùn)動(dòng)存在部分的外邊界像素252 運(yùn)動(dòng)存在部分的非內(nèi)邊界像素253 運(yùn)動(dòng)不存在部分的非外邊界像素254 像素a255a 的鄰近像素301、302、303 存儲(chǔ)器
304 差值圖像計(jì)算部分305 白平衡調(diào)整部分306 環(huán)境光分量估計(jì)部分307 白平衡調(diào)整部分308 像素值相加部分309 運(yùn)動(dòng)檢測(cè)部分310 運(yùn)動(dòng)部分校正像素值計(jì)算部分311 白平衡調(diào)整部分312 輸出切換部分401、402、403 幀存儲(chǔ)器404 差值圖像計(jì)算部分405 白平衡調(diào)整部分406 像素值相加部分407 白平衡調(diào)整部分408 運(yùn)動(dòng)檢測(cè)部分409 運(yùn)動(dòng)部分校正像素值計(jì)算部分410 白平衡調(diào)整部分411 輸出切換部分550 運(yùn)動(dòng)存在部分像素區(qū)域551 運(yùn)動(dòng)不存在部分像素區(qū)域560 白平衡調(diào)整的圖像R561 閃光燈圖像I2564 白平衡調(diào)整的圖像R581 運(yùn)動(dòng)存在部分像素區(qū)域中的像素582 到584運(yùn)動(dòng)不存在部分像素區(qū)域的像素701 運(yùn)動(dòng)不存在部分像素區(qū)域白平衡調(diào)整的圖像R702 圖像I2存儲(chǔ)幀存儲(chǔ)器710 運(yùn)動(dòng)部分校正像素值計(jì)算部分711 圖像差值(圖像比值)d計(jì)算部分712 運(yùn)動(dòng)存在像素區(qū)域圖像差值(圖像比值)d初始值設(shè)置部分713 平滑處理部分
714 運(yùn)動(dòng)部分最終校正像素值計(jì)算部分821 運(yùn)動(dòng)存在部分像素區(qū)域中的像素822 到824運(yùn)動(dòng)不存在部分像素區(qū)域中的像素860 白平衡調(diào)整的圖像R861 閃光燈圖像I2862 運(yùn)動(dòng)存在部分像素區(qū)域中的鄰近部分的圖像差值d863 運(yùn)動(dòng)存在部分像素區(qū)域中的圖像差值d的估計(jì)值864 白平衡調(diào)整的圖像R901 運(yùn)動(dòng)不存在部分像素區(qū)域的白平衡調(diào)整的圖像R902 圖像I2存儲(chǔ)幀存儲(chǔ)器910 運(yùn)動(dòng)部分校正像素值計(jì)算部分911 圖像差值(圖像比值)d計(jì)算部分912 運(yùn)動(dòng)存在像素區(qū)域圖像差值(圖像比值)d初始值設(shè)置部分913 濾波處理部分914 運(yùn)動(dòng)部分最終校正像素值計(jì)算部分具體實(shí)施方式
下面，將參照

根據(jù)本發(fā)明的圖像處理方法和圖像處理設(shè)備的多個(gè)實(shí)施例。
首先，給出關(guān)于根據(jù)本發(fā)明的優(yōu)選實(shí)施例的圖像處理方法和圖像處理設(shè)備的實(shí)施例1的說明，所述圖像處理方法和圖像處理設(shè)備都對(duì)在環(huán)境光和閃光燈光混合的環(huán)境中的圖像捕獲執(zhí)行最佳的白平衡調(diào)整處理。
圖1是示出根據(jù)本實(shí)施例的攝像裝置的結(jié)構(gòu)的方框圖。如圖1所示，根據(jù)本實(shí)施例的攝像裝置有透鏡101、光圈102、固態(tài)攝像元件103、相關(guān)雙采樣電路104、A/D轉(zhuǎn)換器105、DSP模塊106、定時(shí)發(fā)生器107、D/A轉(zhuǎn)換器108、視頻編碼器109、視頻監(jiān)視器110、編解碼器(CODEC)111、存儲(chǔ)器112、CPU 113、輸入設(shè)備114、閃光燈控制設(shè)備115和閃光燈設(shè)備116。
輸入設(shè)備114表示在照相機(jī)機(jī)身上提供的諸如記錄按鈕的操作按鈕。DSP模塊106是具有信號(hào)處理處理器和圖像RAM的模塊，并且其被構(gòu)造成使得信號(hào)處理處理器能夠?qū)Υ鎯?chǔ)在圖像RAM中的圖像數(shù)據(jù)執(zhí)行預(yù)先編程的圖像處理。DSP模塊在下文中簡(jiǎn)單地稱為DSP。
下面，將說明本實(shí)施例的一般操作。
通過光軸到達(dá)固態(tài)攝像元件103的入射光首先到達(dá)在固態(tài)攝像元件103的攝像表面的各個(gè)光接收元件，并且在各個(gè)光接收元件處通過光電轉(zhuǎn)換被轉(zhuǎn)換成了電信號(hào)。電信號(hào)被相關(guān)雙采樣電路104施行噪聲衰減，并且被A/D轉(zhuǎn)換器105轉(zhuǎn)換成數(shù)字信號(hào)，隨后，被暫時(shí)存儲(chǔ)到數(shù)字信號(hào)處理部分(DSP)106的圖像存儲(chǔ)器中。順便提及，在圖像捕獲過程中，如果有必要，可以通過閃光燈控制設(shè)備115來使閃光燈設(shè)備116閃光。
在執(zhí)行圖像攝像的同時(shí)，定時(shí)發(fā)生器107控制信號(hào)處理系統(tǒng)，以便將圖像捕獲維持在固定的幀頻。像素流也被以固定的速率發(fā)送到數(shù)字信號(hào)處理部分(DSP)106，并且在執(zhí)行了適當(dāng)?shù)膱D像處理之后，圖像數(shù)據(jù)被發(fā)送到D/A轉(zhuǎn)換器108和編解碼器(CODEC)111中的一個(gè)或兩者。D/A轉(zhuǎn)換器108將從數(shù)字信號(hào)處理部分(DSP)106發(fā)送來的圖像數(shù)據(jù)轉(zhuǎn)換成模擬信號(hào)，并且視頻編碼器109將該模擬信號(hào)轉(zhuǎn)換成視頻信號(hào)，從而使得該視頻信號(hào)能夠在視頻監(jiān)視器110上被監(jiān)視。該視頻監(jiān)視器110擔(dān)任了本實(shí)施例中的照相機(jī)取景器的角色。編解碼器(CODEC)111對(duì)從數(shù)字信號(hào)處理部分(DSP)106發(fā)送來的圖像數(shù)據(jù)進(jìn)行編碼，并且編碼后的圖像數(shù)據(jù)被記錄在存儲(chǔ)器112上。存儲(chǔ)器112可以是例如使用半導(dǎo)體、磁記錄介質(zhì)、磁光記錄介質(zhì)、光記錄介質(zhì)等的記錄設(shè)備。
以上說明了根據(jù)本實(shí)施例的數(shù)字?jǐn)z像機(jī)的整個(gè)系統(tǒng)，并且，在本實(shí)施例中，本發(fā)明被實(shí)現(xiàn)為數(shù)字信號(hào)處理部分(DSP)106中的圖像處理。下面將詳細(xì)說明該圖像處理。
如上所述，本實(shí)施例的圖像處理部分實(shí)際上由數(shù)字信號(hào)處理部分(DSP)106實(shí)現(xiàn)。因此，在本實(shí)施例的結(jié)構(gòu)中，以這樣的方式實(shí)現(xiàn)圖像處理部分的操作，即，在數(shù)字圖像處理部分(DSP)106的內(nèi)部，運(yùn)算單元對(duì)輸入圖像信號(hào)的流順序地執(zhí)行以預(yù)定程序代碼寫成的操作。下面，將參照流程圖說明執(zhí)行程序的各個(gè)處理步驟的順序。但是，可以不以將在本實(shí)施例中說明的程序的形式來構(gòu)造本發(fā)明，而是通過結(jié)合實(shí)現(xiàn)與將在下面說明的功能等效的處理的硬件電路來構(gòu)造。
圖2是流程圖，用于說明將在數(shù)字信號(hào)處理部分(DSP)106內(nèi)部對(duì)輸入圖像信號(hào)流執(zhí)行的白平衡(WB)調(diào)整處理的過程。
在步驟S101，通過使用預(yù)設(shè)的光圈和快門速度執(zhí)行不用閃光燈的圖像捕獲，在步驟S102，該無閃光燈輔助而捕獲的圖像被作為圖像數(shù)據(jù)I1存儲(chǔ)在存儲(chǔ)器中。在步驟103，與步驟101類似，通過使用預(yù)設(shè)的光圈和快門速度執(zhí)行使用閃光燈的圖像捕獲，與步驟101類似，在步驟104，該閃光燈捕獲的圖像被作為圖像數(shù)據(jù)I2存儲(chǔ)在存儲(chǔ)器中。
然后，在步驟105，與步驟S101類似，再次通過使用預(yù)設(shè)的光圈和快門速度執(zhí)行不使用閃光燈的圖像捕獲，并且在步驟S106，該無閃光燈輔助而捕獲的圖像被作為圖像數(shù)據(jù)I3存儲(chǔ)在存儲(chǔ)器中。
順便提及，步驟S101、S103和S105的圖像捕獲是作為連續(xù)的圖像捕獲，例如，間隔為1/100秒的連續(xù)圖像捕獲，而被執(zhí)行的。通過使用在各個(gè)圖像捕獲步驟中獲得的多個(gè)圖像執(zhí)行白平衡(WB)調(diào)整處理，并且，生成一個(gè)經(jīng)過白平衡(WB)調(diào)整的圖像數(shù)據(jù)。
此外，在步驟S101、S104和S106中存儲(chǔ)在存儲(chǔ)器中的圖像數(shù)據(jù)I1、I2和I3是校正過手抖動(dòng)的圖像。也就是說，如果在捕獲三個(gè)圖像I1、I2和I3的過程中出現(xiàn)了手抖動(dòng)，則在將這些圖像存儲(chǔ)到存儲(chǔ)器中之前，對(duì)它們進(jìn)行了針對(duì)手抖動(dòng)的校正。更具體地說，如果所捕獲的圖像是由于手抖動(dòng)而模糊不清的圖像，則在步驟S101和S102之間、步驟S103和S104之間和步驟S105和S106之間執(zhí)行手抖動(dòng)校正，并且校正過的圖像被存儲(chǔ)到存儲(chǔ)器中。因此，存儲(chǔ)在存儲(chǔ)器中的圖像數(shù)據(jù)I1、I2和I3變成了使用固定在三角架上的照相機(jī)連續(xù)拍攝的相似的圖像。
順便提及，在手抖動(dòng)校正處理中，有可能應(yīng)用傳統(tǒng)公知的處理。例如，有可能應(yīng)用此前已經(jīng)廣泛使用的方法，例如，通過使用加速度傳感器檢測(cè)偏移并移動(dòng)透鏡的方法、通過使用攝像元件拍攝分辨率比目標(biāo)分辨率高的圖像并讀取出適當(dāng)?shù)牟糠忠苑乐拱l(fā)生偏移的方法、以及僅僅通過圖像處理而不使用任何傳感器來校正手抖動(dòng)的方法。
然后，在步驟S107，檢測(cè)在步驟S101、S103和S105中捕獲三個(gè)圖像的過程中是否發(fā)生了由于物體本身的運(yùn)動(dòng)而引起的圖像抖動(dòng)。通過比較三個(gè)圖像中的兩個(gè)圖像來執(zhí)行對(duì)于是否發(fā)生了由于物體本身的運(yùn)動(dòng)而引起的圖像抖動(dòng)的檢測(cè)處理。例如，圖像I1和圖像I3可以被用于檢測(cè)運(yùn)動(dòng)部分。舉例來說，存在這樣的方法，即，發(fā)現(xiàn)圖像I1中和圖像I3中的每個(gè)像素之間的差異，并且如果差異不小于特定閾值，則將相應(yīng)的像素登記為發(fā)生運(yùn)動(dòng)的部分。如果確定不存在由物體本身的運(yùn)動(dòng)引起的圖像抖動(dòng)(步驟S108否)，則處理前進(jìn)到步驟S112。如果檢測(cè)到運(yùn)動(dòng)(步驟S108是)，則處理前進(jìn)到步驟S109。
在步驟S109，確定是否能夠?qū)υ诓襟ES107中檢測(cè)到的運(yùn)動(dòng)部分執(zhí)行為了執(zhí)行適當(dāng)?shù)陌灼胶?WB)調(diào)整而進(jìn)行的校正處理。該判定處理采用例如根據(jù)登記為運(yùn)動(dòng)部分的像素?cái)?shù)目與整個(gè)圖像的像素?cái)?shù)目的比值來進(jìn)行判定的方法。例如，如果被登記為運(yùn)動(dòng)部分的像素?cái)?shù)目與整個(gè)圖像的像素?cái)?shù)目的比值[比值A(chǔ)]不小于某預(yù)設(shè)的閾值[閾值]，則確定校正是不可能的，反之，如果該比值小于閾值，則確定校正是可能的。
如果在步驟S109中確定校正是不可能的，則處理前進(jìn)到步驟S113，反之，如果確定校正是可能的，則處理前進(jìn)到步驟S110。
在步驟S113，對(duì)閃光燈圖像I2執(zhí)行白平衡(WB)調(diào)整并生成輸出圖像R，并且處理結(jié)束。用于白平衡的參數(shù)值可以采用根據(jù)環(huán)境光分量設(shè)置的參數(shù)，或者可以采用根據(jù)閃光燈光分量設(shè)置的參數(shù)，或者可以采用環(huán)境光和閃光燈光之間的中間分量的基礎(chǔ)上設(shè)置的參數(shù)。執(zhí)行設(shè)置了其中的這些參數(shù)的白平衡(WB)調(diào)整。順便提及，這種白平衡調(diào)整方法是此前執(zhí)行過的方法，此處將省略對(duì)其的詳細(xì)說明。所使用的參數(shù)是由3×3矩陣表示的參數(shù)，并且是由將被應(yīng)用到對(duì)構(gòu)成每個(gè)像素的顏色的顏色分量的轉(zhuǎn)換的矩陣表示的參數(shù)。除其對(duì)角線上的分量之外的分量都被設(shè)置為0的矩陣被應(yīng)用到該3×3矩陣。
下面將說明在步驟S110和S112中基于多個(gè)圖像數(shù)據(jù)的白平衡(WB)調(diào)整處理。步驟S110和S112執(zhí)行相同的處理。該處理的細(xì)節(jié)將參照?qǐng)D3說明。
在步驟S201，獲得閃光燈圖像I2的分量和無閃光燈輔助而捕獲的圖像I1的像素的各個(gè)顏色的分量之間的差值，并且生成差值圖像F＝I2-I1，并將其存儲(chǔ)在存儲(chǔ)器中。如果在不使用閃光燈光執(zhí)行圖像捕獲的步驟S101和使用閃光燈光執(zhí)行圖像捕獲的步驟S103之間物體沒有移動(dòng)，則差值圖像F＝I2-I1變?yōu)榈刃в诋?dāng)物體僅僅由閃光燈光照明而完全沒有環(huán)境光存在，并且僅僅閃光燈光從物體反射并進(jìn)入固態(tài)攝像元件時(shí)，由照相機(jī)的固態(tài)攝像元件獲得的圖像。然后，在步驟S202，對(duì)圖像F執(zhí)行與閃光燈光的色溫相匹配的白平衡(WB)調(diào)整。即，在按照閃光燈光設(shè)置的參數(shù)的基礎(chǔ)上對(duì)差值圖像數(shù)據(jù)F執(zhí)行白平衡(WB)調(diào)整。并且，如果閃光燈光過度地亮或暗，則執(zhí)行電平調(diào)整，以使得圖像的亮度變?yōu)樽罴?，從而生成校正圖像(corrected image)F’。
然后，在步驟S203，對(duì)無閃光燈輔助而捕獲的圖像數(shù)據(jù)I1執(zhí)行與環(huán)境光匹配的白平衡(WB)調(diào)整。也就是說，基于按照環(huán)境光設(shè)置的參數(shù)對(duì)無閃光燈輔助而捕獲的圖像數(shù)據(jù)I1執(zhí)行白平衡(WB)調(diào)整，從而生成校正圖像I1’。
這通過此前已經(jīng)廣為人知的白平衡(WB)調(diào)整來執(zhí)行。例如，有可能使用在日本專利申請(qǐng)公開文件JPA-2001-78202中說明的技術(shù)。在JPA-2001-78202中，從使用閃光燈拍攝的圖像I2與不使用閃光燈拍攝的圖像I1之間的差值圖像F以及存在的閃光燈的光譜特性中，獲得作為照明分量數(shù)據(jù)的對(duì)象顏色分量數(shù)據(jù)和環(huán)境光的光譜分布。通過使用該照明分量數(shù)據(jù)執(zhí)行圖像I1的白平衡(WB)調(diào)整。
然后，在步驟S204中，將差值圖像F’與校正圖像I1相加在一起以生成經(jīng)過白平衡(WB)調(diào)整的圖像R。通過上述步驟，對(duì)于不存在運(yùn)動(dòng)的部分，經(jīng)過白平衡(WB)調(diào)整的圖像變成了對(duì)由閃光燈光產(chǎn)生的分量和由環(huán)境光產(chǎn)生的分量獨(dú)立地進(jìn)行了白平衡(WB)調(diào)整的圖像。
圖4是用于說明按照?qǐng)D3的流程執(zhí)行基于兩個(gè)圖像生成經(jīng)過白平衡(WB)調(diào)整的圖像R的原理的視圖，也就是說，圖4是用于說明基于閃光燈捕獲的圖像數(shù)據(jù)I1和無閃光燈輔助的圖像I2生成經(jīng)過白平衡(WB)調(diào)整的圖像R的原理的視圖。
在圖4A的視圖中，位于閃光燈圖像I2中特定坐標(biāo)位置(x，y)的像素被表示為RGB空間中的向量V3。向量V3具有作為(R、G和B)的值的(ir、ig和ib)。該向量V3是在包含環(huán)境光分量和閃光燈光分量?jī)烧叩恼彰鞴獾幕A(chǔ)上獲得的像素值。
因此，該向量V3等效于向量V1和向量V2的和，其中向量V1基于僅僅利用環(huán)境光分量從圖像獲取獲得的在相同的坐標(biāo)(x，y)處的像素值，即，無閃光燈輔助而捕獲的圖像數(shù)據(jù)I1的像素值，而向量V2由在不存在環(huán)境光而僅存在閃光燈光的假定條件下執(zhí)行圖像捕獲時(shí)所獲得的圖像的像素值分量構(gòu)成。
因此，通過從向量V3所表示的像素值中減去向量V1所表示的像素值，來獲得向量V2的像素值，即，在不存在環(huán)境光而僅存在閃光燈光的假定條件下執(zhí)行圖像捕獲時(shí)所獲得的圖像的像素值。這一結(jié)果由圖4B中的向量V2示出。向量V2基于僅僅由閃光燈光照射的條件，對(duì)于由向量V2所表示的像素值，按照基于閃光燈光分量設(shè)置的參數(shù)執(zhí)行白平衡調(diào)整，從而得到校正像素值，進(jìn)而得到由校正像素值構(gòu)成的向量V2。由該向量V2表示的像素值所形成的圖像對(duì)應(yīng)于所獲得的作為圖3中步驟S202的白平衡調(diào)整的結(jié)果的校正圖像F’。也就是說，圖4A和4B的處理對(duì)應(yīng)于圖3的流程中的步驟S201和202。
圖4C示出了這樣的處理，即，按照基于環(huán)境光分量設(shè)置的參數(shù)，對(duì)與向量V1相對(duì)應(yīng)的像素值執(zhí)行白平衡調(diào)整，從而得到校正像素值，進(jìn)而得到由校正像素值構(gòu)成的向量V1，其中向量V1基于無閃光燈輔助而捕獲的圖像數(shù)據(jù)I1的像素值。由該向量V1表示的像素值所形成的圖像對(duì)應(yīng)于所獲得的作為圖3中步驟S203的白平衡調(diào)整結(jié)果的校正圖像I1’。也就是說，圖4C的處理對(duì)應(yīng)于圖3的流程中的步驟S203。
圖4D示出了將由向量V2表示的像素值與由向量V1表示的像素值相加，并生成白平衡調(diào)整的圖像數(shù)據(jù)R的處理，其中，向量V2對(duì)應(yīng)于圖4B中示出的校正圖像F’，向量V1對(duì)應(yīng)于圖4C中示出的校正圖像I1’，白平衡調(diào)整的圖像數(shù)據(jù)R具有最終的經(jīng)過白平衡調(diào)整的像素值。也就是說，在特定的坐標(biāo)(x，y)處的經(jīng)過白平衡調(diào)整的像素值，是通過將由向量V2所表示的像素值與由向量V1所表示的像素值相加在一起而獲得的像素值，其中向量V2與圖4B中示出的校正圖像F’相對(duì)應(yīng)，而向量V1與圖4C中示出的校正圖像I1’相對(duì)應(yīng)。也就是說，圖4D的處理對(duì)應(yīng)于圖3的流程中的步驟S204。
因此，本實(shí)施例的白平衡調(diào)整處理的結(jié)構(gòu)使得包含環(huán)境光分量和閃光燈光分量?jī)烧叩膱D像被分離成兩個(gè)圖像，即，僅僅使用環(huán)境光分量拍攝的圖像和僅僅使用閃光燈光分量拍攝的圖像，并且對(duì)于僅僅使用環(huán)境光分量拍攝的圖像，按照基于環(huán)境光分量設(shè)置的參數(shù)執(zhí)行白平衡調(diào)整，而對(duì)于僅僅使用閃光燈光分量拍攝的圖像，則按照基于閃光燈光分量設(shè)置的參數(shù)執(zhí)行白平衡調(diào)整，由此再次將這些校正像素值相加在一起以獲得最終的白平衡調(diào)整的圖像R。通過這種方式，使用適合于各個(gè)光分量的參數(shù)對(duì)兩個(gè)光分量獨(dú)立地施行白平衡調(diào)整，借此執(zhí)行適當(dāng)?shù)陌灼胶庹{(diào)整。也就是說，有可能使生成的經(jīng)過調(diào)整的圖像看上去好像是在環(huán)境光和閃光燈光具有相同顏色的情況下捕獲的。
回到圖2的流程，下面將進(jìn)一步說明其步驟。當(dāng)在步驟S112中執(zhí)行了基于上述多個(gè)圖像的白平衡調(diào)整處理時(shí)，白平衡調(diào)整的圖像R被作為最終的輸出圖像輸出，并且處理到達(dá)結(jié)束點(diǎn)。
另一方面，在步驟S110中執(zhí)行基于上述多個(gè)圖像的白平衡調(diào)整處理的情況意味著這樣的情況確定發(fā)生了由于物體本身的運(yùn)動(dòng)而引起的圖像抖動(dòng)，并且該圖像抖動(dòng)是可校正的。在步驟S110中生成的經(jīng)過白平衡調(diào)整的圖像R，對(duì)于該圖像R中由于物體本身的運(yùn)動(dòng)而引起圖像抖動(dòng)的圖像區(qū)域，即，運(yùn)動(dòng)部分區(qū)域，在步驟S111執(zhí)行像素值校正處理。也就是說，對(duì)在步驟S107中檢測(cè)出的運(yùn)動(dòng)部分的像素值執(zhí)行特殊的處理，從而對(duì)白平衡調(diào)整的圖像R進(jìn)行修改。舉例來說，對(duì)于修改處理，存在這樣一種方法輸入與檢測(cè)到運(yùn)動(dòng)的部分相對(duì)應(yīng)的閃光燈圖像I2的像素值，參照白平衡調(diào)整的圖像R中沒有運(yùn)動(dòng)的部分的像素值，確定檢測(cè)到運(yùn)動(dòng)的部分的像素值，并合成最終的圖像。
下面將說明這種合成方法。圖像中出現(xiàn)的對(duì)象的顏色，是通過從對(duì)象反射而且入射到攝像元件并由攝像元件攝像的光而獲得的。例如，如果在白光光源下某對(duì)象在圖像中是紅色的，則該對(duì)象具有高度反射與紅色相對(duì)應(yīng)的頻率的可見光并吸收與其它顏色相對(duì)應(yīng)的頻率的光的特性。也就是說，可以說對(duì)象對(duì)于不同頻率的光具有特有的反射率。在下文中，用(or，og，ob)表示對(duì)象對(duì)于相對(duì)于RGB顏色分量的光的反射率，并用(lr，lg，lb)表示特定色溫的光。當(dāng)光(lr，lg，lb)被對(duì)象(or，og，ob)反射而產(chǎn)生的光被照相機(jī)作為圖像所攝像時(shí)，用下面的表達(dá)式(表達(dá)式1)來表示構(gòu)成所攝像的圖像的像素值(ir，ig，ib)(ir，ig，ib)＝(k×lr×or，k×lg×og，k×lb×ob)……(表達(dá)式1)在上面的表達(dá)式中，k是表示光強(qiáng)度(intensity)的標(biāo)量值。
現(xiàn)在假定存在兩種照射光，例如環(huán)境光和閃光燈光，并且存在光源1(l1r，l1g，l1b)和光源2(l2r，l2g，l2b)。如果這兩種光被特定的對(duì)象(or，og，ob)反射而產(chǎn)生的光被照相機(jī)攝像，則可以用下面的表達(dá)式(表達(dá)式2)表示照相機(jī)所攝像的圖像的像素值(ir，ig，ib)(ir，ig，ib)＝((k1×l1r+k2×l2r)×or，(k1×l1g+k2×l2g)×og，(k1×l1b+k2×l2b)×ob)……(表達(dá)式2)在該表達(dá)式中，k1是表示光源1的光強(qiáng)度的標(biāo)量值，k2是表示光源2的光強(qiáng)度的標(biāo)量值。
使得or’＝k1×or，og’＝k1×og，并且ob’＝k1×ob，則上面的表達(dá)式(表達(dá)式2)能夠被轉(zhuǎn)換成下面的表達(dá)式(表達(dá)式3)(ir，ig，ib)＝((l1r+k’×l2r)×or’，(l1g+k’×l2g)×og’，(l1b+k’×l2b)×ob’)……(表達(dá)式3)
在該表達(dá)式中，k’＝k2/k1，并且k’是兩個(gè)光源的光強(qiáng)度標(biāo)量比值。也就是說，k’是在感興趣像素所攝像的物體的部分中，分別從光源1和光源2照射的光的強(qiáng)度標(biāo)量比值。
此處將考慮通過從對(duì)象反射的兩種光，即環(huán)境光和閃光燈光而攝像的圖像I2上的特定像素值(ir，ig，ib)。假定在上述表達(dá)式(表達(dá)式3)中，光源1是環(huán)境光，而光源2是閃光燈光?？梢酝ㄟ^已經(jīng)在此之前執(zhí)行過的自動(dòng)白平衡調(diào)整中使用的方法測(cè)量環(huán)境光的顏色(l1r，l1g，l1b)。由于閃光燈光的顏色(l2r，l2g，l2b)是閃光燈設(shè)備所特有的，因此這個(gè)顏色是已知的，并且能夠被預(yù)設(shè)。此外，如果k’是已知的，則像素(ir，ig，ib)能夠被分解成環(huán)境光分量(l1r×or’，l1g×og’，l1b×ob’)和閃光燈光分量(k’×l2r×or’，k’×l2g×og’，k’×l2b×ob’)。環(huán)境光分量和閃光燈光分量被分離，并被獨(dú)立地進(jìn)行WB處理，并且，如果將作為結(jié)果的圖像相加在一起并重構(gòu)(reconstructed)，則有可能解決由于環(huán)境光和閃光燈光之間的色溫差異而引起的圖像不自然。
對(duì)于在參照?qǐng)D2說明的流程的步驟S107中檢測(cè)到的運(yùn)動(dòng)部分，按照上述處理執(zhí)行步驟S111的像素值校正。下面將說明具體的處理的例子。
如上所述，在步驟S107中，檢測(cè)在步驟S101、S103和S105中對(duì)三個(gè)圖像的捕獲期間，是否發(fā)生了由物體本身的運(yùn)動(dòng)引起的圖像抖動(dòng)。這種處理，即，檢測(cè)是否出現(xiàn)了由于物體本身的運(yùn)動(dòng)而引起的圖像抖動(dòng)，是通過比較三個(gè)圖像中的兩個(gè)圖像來執(zhí)行的。
例如，如圖5所示，在連續(xù)地捕獲A無閃光燈輔助圖像I1、B閃光燈圖像I2和C無閃光燈輔助圖像I3期間，球200正在滾動(dòng)，在這種情況下，獲得了A的圖像I1和C的圖像I3之間的差值圖像DI3-I1，從而檢測(cè)出在其中出現(xiàn)了由于物體本身的運(yùn)動(dòng)而引起的圖像抖動(dòng)的區(qū)域210。
下面將參照?qǐng)D6和7說明對(duì)運(yùn)動(dòng)部分進(jìn)行的像素值校正處理的具體處理過程。圖6是示出對(duì)運(yùn)動(dòng)部分進(jìn)行的像素值校正處理的具體處理過程的流程圖，而圖7示出了包含作為校正目標(biāo)的運(yùn)動(dòng)部分，即，圖5所示的區(qū)域210的像素區(qū)域。
如圖7所示，在確定為正在移動(dòng)的圖像區(qū)域中，確定為未移動(dòng)的圖像區(qū)域的鄰近像素(每個(gè)像素都排列在由8個(gè)像素圍繞的位置)被定義為運(yùn)動(dòng)存在部分的內(nèi)邊界像素250。此外，在確定為正在移動(dòng)的圖像區(qū)域中，除了內(nèi)邊界像素250之外的像素被定義為運(yùn)動(dòng)存在非內(nèi)邊界像素252。
并且，在被確定為未移動(dòng)的圖像區(qū)域中，排列在被確定為運(yùn)動(dòng)的圖像區(qū)域的鄰近位置的像素(每個(gè)像素都排列在被8個(gè)像素圍繞的位置)被定義為運(yùn)動(dòng)存在部分的外邊界像素251。此外，在被確定為未移動(dòng)的圖像區(qū)域中，除了運(yùn)動(dòng)存在部分的外邊界像素251之外的像素被定義為運(yùn)動(dòng)不存在非外邊界像素253。
對(duì)于運(yùn)動(dòng)存在部分的任何像素，光源1(環(huán)境光)的強(qiáng)度(標(biāo)量值)k1與光源2(閃光燈光)的強(qiáng)度(標(biāo)量值)k2的比值，即，光強(qiáng)度標(biāo)量比值k’＝k2/k1是未知的。此處假定目標(biāo)圖像在白平衡(WB)中被正確地調(diào)整過，并且其運(yùn)動(dòng)部分被校正過，并且，目標(biāo)圖像具有這樣的像素構(gòu)成其中的運(yùn)動(dòng)存在部分與其運(yùn)動(dòng)不存在部分的像素值平滑的變化。
在這一假設(shè)下，獲得了關(guān)于運(yùn)動(dòng)存在部分外邊界像素251的每個(gè)像素的光強(qiáng)度標(biāo)量比值k’的值。對(duì)于這些運(yùn)動(dòng)存在部分外邊界像素251的每個(gè)像素，上述表達(dá)式(表達(dá)式3)中的環(huán)境光分量(l1r×or’，l1g×og’，l1b×ob’)等于無閃光燈輔助而捕獲的圖像數(shù)據(jù)I1中相應(yīng)像素的值，從而能夠在閃光燈圖像I2的像素值(ir，ig，ib)和表達(dá)式(表達(dá)式3)的基礎(chǔ)上得到光強(qiáng)度標(biāo)量比值k’＝k2/k1的值。計(jì)算光源1(環(huán)境光)的強(qiáng)度(標(biāo)量值)k1與光源2(閃光燈光)的強(qiáng)度(標(biāo)量值)k2的比值k’＝k2/k1的處理即圖6中步驟S301的處理。
從該步驟S301的處理，得到了關(guān)于運(yùn)動(dòng)存在部分外邊界像素251中每個(gè)像素的光強(qiáng)度標(biāo)量比值k’。但是，與包含在運(yùn)動(dòng)存在部分內(nèi)的各個(gè)像素相對(duì)應(yīng)的光強(qiáng)度標(biāo)量比值k’的值是未知的。然而，與包含在運(yùn)動(dòng)存在部分中的這些各個(gè)像素相對(duì)應(yīng)的光強(qiáng)度標(biāo)量比值k’的值是從計(jì)算出的與運(yùn)動(dòng)存在部分外邊界像素251相對(duì)應(yīng)的k’的值插值(interpolate from)得到的。作為插值方法的一個(gè)例子，能夠列舉出使用徑向基函數(shù)(RBFRadial Basis Functions)的處理。
舉例來說，作為關(guān)于使用徑向基函數(shù)(RBF)的數(shù)據(jù)插值的參考文件，能夠列舉出J.C.Carr等人的“Reconstruction and Representation of 3D Objectswith Radial Basis Function”，ACM SIGGRAPH 2001，Los Angeles，CA，pp.67-76，12-17 August 2001。
徑向基函數(shù)(Radial Basis Function)是其值隨著到中心點(diǎn)的距離的增加而單調(diào)減小(或增加)的函數(shù)，從而其恒值線(contour)形成超球面(在三維的情況下為圓或橢圓)。已知的，如果將要解決的問題是通過構(gòu)造經(jīng)過具有已知高度的采樣點(diǎn)并變得盡量平滑的函數(shù)來估計(jì)未知點(diǎn)的高度，則以已知采樣點(diǎn)為中心的RBF可以重疊(superimpose)。
具體來說，如果采樣點(diǎn)存在于二維空間內(nèi)，則如下定義采樣點(diǎn){c→i=cix,ciy)}(1≤i≤n),]]>其中cix和ciy分別表示采樣點(diǎn)i處的x坐標(biāo)值和y坐標(biāo)值。用{hi}＝(1≤i≤n)表示在各個(gè)點(diǎn)處的高速，則期望的函數(shù)f(x→)]]>通過使用RBF由下面的表達(dá)式(表達(dá)式4)表示f(x→)=p(x→)+Σi=1ndjφ(x→-c→j)]]>……(表達(dá)式4)這里， 為p(x→)=p0+p1x+p2y]]>順便提及，基函數(shù)(basefunction)的例子φ(x→)]]>為φ(x→)=|x→|,]]>或φ(x→)=|x→|2log|x→|]]>但是，不能僅僅用上面的表達(dá)式(表達(dá)式4)確定{di}(1≤i≤n)，{pi}(1≤i≤2)。由于這個(gè)原因，得到滿足下面的表達(dá)式(表達(dá)式5)的{di}(1≤i≤n)，{pi}(1≤i≤2)Σj=1ndj=Σj=1ndjcjx=Σj=1ndjcjy=0]]>……(表達(dá)式5)因此，從下面的表達(dá)式f(c→i)=hi=p(c→i)+Σj=1ndjφ(c→i-c→j)]]>以及表達(dá)式(表達(dá)式5)，有可能得到(未知數(shù)的數(shù)目n+3，表達(dá)式的數(shù)目n+3){di}(1≤i≤n)，{pi}(1≤i≤2)。
如果將運(yùn)動(dòng)存在部分非外邊界像素251中的光強(qiáng)度標(biāo)量比值k’用作采樣，并且構(gòu)造了下面的表達(dá)式f(x→)]]>則能夠得到任意位置的光強(qiáng)度標(biāo)量比值k’。
這一處理是基于在圖6示出的步驟S302中的采樣點(diǎn)處的光強(qiáng)度標(biāo)量比值k’(運(yùn)動(dòng)存在部分非外邊界像素251中的k’)的RBF構(gòu)造處理。
通過該RBF構(gòu)造處理，執(zhí)行對(duì)光源1(環(huán)境光)的強(qiáng)度(標(biāo)量值)k1于光源2(閃光燈光)的強(qiáng)度(標(biāo)量值)k2的比值的估計(jì)，該比值與閃光燈圖像I2中被確定為運(yùn)動(dòng)的部分中的各個(gè)像素相對(duì)應(yīng)，即，光強(qiáng)度標(biāo)量比值k’k’＝k2/k1與運(yùn)動(dòng)存在部分中包含的各個(gè)像素相對(duì)應(yīng)。使用估計(jì)出的對(duì)應(yīng)于各個(gè)像素的光強(qiáng)度標(biāo)量比值k’將圖像I2的運(yùn)動(dòng)存在區(qū)域部分分解成環(huán)境光分量和閃光分量，并且按照各個(gè)光的色溫單獨(dú)地執(zhí)行白平衡(WB)調(diào)整處理。
也就是說，由于得到了運(yùn)動(dòng)存在部分中每個(gè)像素位置處的光強(qiáng)度標(biāo)量比值k’，因此，將該k’和閃光燈圖像I2中每個(gè)像素位置處的像素值(ir、ig和ib)、以及光源1(環(huán)境光)的已知光分量(l1r，l1g，l1b)和光源2(閃光燈光)的已知光分量(l2r，l2g，l2b)代入到上述表達(dá)式(表達(dá)式3)中，由此得到僅僅基于光源1(環(huán)境光)的物體的反射率(or’，og’，ob’)。
此外，得到了在僅僅用環(huán)境光分量照射的情況下的物體的像素值(l1r×or’，l1g×og’，l1b×ob’)，以及在僅僅用閃光燈光分量照射的情況下的物體的像素值(k’×l2r×or’，k’×l2g×og’，k’×l2b×ob’)，并且對(duì)各個(gè)像素值執(zhí)行了基于獨(dú)立的參數(shù)設(shè)置的兩個(gè)白平衡調(diào)整，其中所述參數(shù)與上面參照?qǐng)D3和4提到的各個(gè)光分量相對(duì)應(yīng)，并且，通過重新合成這些經(jīng)過調(diào)整的數(shù)據(jù)的處理計(jì)算出了最終的經(jīng)過白平衡調(diào)整的像素值。
校正運(yùn)動(dòng)存在部分的像素值的過程可以被概括為下面a到f的處理。
a、首先，作為與鄰近運(yùn)動(dòng)存在部分的運(yùn)動(dòng)不存在部分的像素相對(duì)應(yīng)的數(shù)據(jù)，對(duì)于其圖像被像素中的任何一個(gè)像素所攝像的物體的每個(gè)部分，得到了兩種光源的光強(qiáng)度標(biāo)量比值，即，僅從第一光源照射的光和僅僅用環(huán)境光而不用第一光源照射的光的光強(qiáng)度標(biāo)量比值。
b、應(yīng)用徑向基函數(shù)(RBFRadial basis function)計(jì)算與運(yùn)動(dòng)存在部分的每個(gè)像素相對(duì)應(yīng)的光強(qiáng)度標(biāo)量比值。
c、在與運(yùn)動(dòng)存在部分的每個(gè)像素相對(duì)應(yīng)的光強(qiáng)度標(biāo)量比值的基礎(chǔ)上，計(jì)算出與在僅由第一光源照射的環(huán)境中捕獲的圖像相對(duì)應(yīng)的圖像中的運(yùn)動(dòng)存在部分的每個(gè)像素的像素值，作為第一像素值。
d、在與運(yùn)動(dòng)存在部分的每個(gè)像素相對(duì)應(yīng)的光強(qiáng)度標(biāo)量比值的基礎(chǔ)上，計(jì)算出與在不包含第一光源的環(huán)境光照射的環(huán)境下捕獲的圖像相對(duì)應(yīng)的圖像中運(yùn)動(dòng)存在部分的每個(gè)像素的像素值，作為第二像素值。
e、在第一像素值的基礎(chǔ)上執(zhí)行像素值調(diào)整處理(白平衡調(diào)整)，并且在第二像素值的基礎(chǔ)上執(zhí)行像素值調(diào)整處理(白平衡調(diào)整)。
f、將生成的兩個(gè)經(jīng)過調(diào)整的像素值相加在一起。
通過這種方式，相對(duì)于包含在運(yùn)動(dòng)部分中的像素的經(jīng)過白平衡(WB)調(diào)整的像素值被重寫(overwrite)到在圖2的步驟S110中生成的圖像數(shù)據(jù)R上，以得到第一校正圖像數(shù)據(jù)R。也就是說，在步驟S111中僅重新設(shè)置了由于捕獲的圖像中的物體的運(yùn)動(dòng)而引起的運(yùn)動(dòng)部分的像素值，并且該像素值被重寫到了在步驟S110中生成的經(jīng)過白平衡調(diào)整的圖像R上，以得到第一校正圖像數(shù)據(jù)R’。
順便提及，如之前在圖3的處理流程中提到的，在已經(jīng)執(zhí)行了對(duì)閃光燈光的電平調(diào)整(S202)的情況下，在計(jì)算運(yùn)動(dòng)部分的像素值期間執(zhí)行等效的電平調(diào)整，并且在那之后，對(duì)基于環(huán)境光和閃光燈光分量的經(jīng)過白平衡調(diào)整的像素值執(zhí)行加法。
通過這種方法，運(yùn)動(dòng)部分的像素值被重新設(shè)置，并且與運(yùn)動(dòng)部分相對(duì)應(yīng)的圖像R的像素被重寫。該處理就是圖6的步驟S303的處理。
但是，在通過用在運(yùn)動(dòng)存在部分中已經(jīng)被重新設(shè)置的像素值重寫在步驟S110中生成的白平衡調(diào)整的圖像R得到的第一校正圖像R’中，存在這樣的情況原始圖像R的運(yùn)動(dòng)不存在部分的像素與運(yùn)動(dòng)存在部分的重新設(shè)置的像素的邊界不是平滑連接的?？梢哉J(rèn)為這種情況的一個(gè)原因是未能正確地測(cè)量環(huán)境光的顏色，或者是在閃光燈捕獲的圖像I2中出現(xiàn)了高亮度(highlight)細(xì)節(jié)的損失。由于這個(gè)原因，為了應(yīng)對(duì)那種情況，執(zhí)行用于平滑邊界部分的進(jìn)一步的顏色轉(zhuǎn)換處理。
具體地說，執(zhí)行圖6中步驟S304到S306的處理。在步驟S304中，關(guān)于單個(gè)顏色分量(αr，αg，αb)，得到第一校正圖像R’(參照?qǐng)D7)的運(yùn)動(dòng)存在部分內(nèi)邊界像素250中特定像素a254的像素值與像素a254的鄰近像素(排列在包含在周圍的8個(gè)像素中的位置的像素)中的運(yùn)動(dòng)存在部分外邊界像素(圖7中的像素255)的第一校正圖像R’中的值的平均值的比值。將這些比值作為與像素a254相對(duì)應(yīng)的顏色分量數(shù)據(jù)進(jìn)行存儲(chǔ)。
類似的，計(jì)算出關(guān)于排列在運(yùn)動(dòng)存在部分內(nèi)邊界像素250中所有位置的各個(gè)像素所對(duì)應(yīng)的單個(gè)顏色分量(αr，αg，αb)的比值，以作為像素顏色分量比值數(shù)據(jù)，并將其存儲(chǔ)為與各個(gè)像素相對(duì)應(yīng)的顏色分量比值數(shù)據(jù)。
然后，在步驟S305中，通過將運(yùn)動(dòng)存在部分內(nèi)邊界像素250的所有像素作為采樣點(diǎn)使用來構(gòu)造基于顏色分量比值數(shù)據(jù)的RBF。最后，在步驟S306中，對(duì)于運(yùn)動(dòng)存在部分的每個(gè)像素，在基于所構(gòu)造的顏色分量比值數(shù)據(jù)的RBF的基礎(chǔ)上，得到與運(yùn)動(dòng)存在部分的各個(gè)像素相對(duì)應(yīng)的顏色分量比值數(shù)據(jù)(αr，αg，αb)，并且將在第一校正圖像R’中設(shè)置的各個(gè)像素的像素值乘以相應(yīng)圖像的顏色分量比值數(shù)據(jù)(αr，αg，αb)，由此計(jì)算出新的像素值，以執(zhí)行第二顏色轉(zhuǎn)換，在第二顏色轉(zhuǎn)換中，用這些像素值替代運(yùn)動(dòng)存在部分的像素。通過執(zhí)行這一顏色轉(zhuǎn)換處理而獲得的第二校正圖像R”被提供為輸出圖像。該處理就是圖6的步驟S306的處理。
順便提及，如果在通過執(zhí)行圖6中步驟S301到S303的處理而獲得的第一校正圖像R’中，運(yùn)動(dòng)存在部分圖像和運(yùn)動(dòng)不存在部分圖像之間的邊界平滑連接，則可以省略步驟S304到步驟S306的處理。
上述說明談到使用在不同于插入點(diǎn)的采樣點(diǎn)處給定的值插入點(diǎn)的方法時(shí)，參考了使用RBF的方法，但是這種方法并不是限制性的，也可以使用其它方法執(zhí)行插值。上述處理是圖2的步驟S111的具體處理的例子。通過這種方式，如果從連續(xù)捕獲的圖像中檢測(cè)到基于物體本身的運(yùn)動(dòng)的圖像抖動(dòng)，則執(zhí)行按照?qǐng)D6示出的流程的處理，并且由上述處理生成的第二校正圖像R”或第一校正圖像R’被作為最終的輸出圖像提供。
順便提及，如果預(yù)先已知物體本身沒有移動(dòng)，則圖2中步驟S107到S111的處理是不必要的。此外，由于步驟S108中的判斷必然是“否”，因此不需要執(zhí)行步驟S108的判斷處理，從而使得用來創(chuàng)建并存儲(chǔ)將被用于步驟S108的判斷的數(shù)據(jù)的步驟S105和S106也是不必要的。
因此，如果預(yù)先已知物體本身沒有運(yùn)動(dòng)，則在步驟S105中捕獲的無閃光燈輔助而捕獲的圖像I3就是不必要的圖像，并且，在這種情況下，僅僅需要捕獲兩個(gè)圖像，即，無閃光燈輔助而捕獲的圖像I1和閃光燈捕獲的圖像I2。
在本說明書中，術(shù)語“閃光燈”(flash)被用于描述在暗的物體的情況下發(fā)射光的照明設(shè)備，但是這種設(shè)備也被稱為閃光燈(strobe)。因此，本發(fā)明并不僅限于閃光燈，而是能夠廣泛地應(yīng)用到在暗的物體的情況下發(fā)射光的照明設(shè)備。
如上所述，在本實(shí)施例中，對(duì)于在諸如閃光燈光與環(huán)境光的多個(gè)不同的光照射下分別捕獲的圖像，獲得或生成在使用單一種類的光照明的環(huán)境中捕獲的每個(gè)圖像，并按照基于各個(gè)照射光的顏色分量(色溫)設(shè)置的參數(shù)，對(duì)在由單一種類的光照明的環(huán)境中捕獲的每個(gè)圖像分別執(zhí)行白平衡調(diào)整，并且這些經(jīng)過調(diào)整的圖像被合成。因此，有可能實(shí)現(xiàn)適當(dāng)?shù)陌灼胶庹{(diào)整處理，使得閃光燈光和環(huán)境光之間的色溫差異被縮小。
圖8是示出按照本實(shí)施例執(zhí)行處理的數(shù)字信號(hào)處理部分(DSP)(其與圖1中的DSP 106相對(duì)應(yīng))的功能構(gòu)造的方框圖。
將參照?qǐng)D2示出的流程圖說明圖8示出的數(shù)字信號(hào)處理部分(DSP)中的處理。
在圖2的步驟S101到S106，無閃光燈輔助而捕獲的圖像I1、閃光燈捕獲的圖像I2和無閃光燈輔助而捕獲的圖像I3被分別存儲(chǔ)在幀存儲(chǔ)器301、302和303中。順便提及，對(duì)于圖像存儲(chǔ)幀存儲(chǔ)器，也可以使用在數(shù)字信號(hào)處理部分(DSP)內(nèi)部構(gòu)造的存儲(chǔ)器或總線連接的存儲(chǔ)器(圖1的存儲(chǔ)器112)。
由運(yùn)動(dòng)檢測(cè)部分309執(zhí)行步驟107的運(yùn)動(dòng)檢測(cè)處理。這被作為之前參照?qǐng)D5所說明的使用基于無閃光燈輔助而捕獲的圖像I1和無閃光燈輔助而捕獲的圖像I3的不同數(shù)據(jù)的檢測(cè)處理而執(zhí)行。
在步驟S112中基于上述多個(gè)圖像的白平衡調(diào)整處理是之前參照?qǐng)D3和4所說明的處理。
首先，在差值圖像計(jì)算部分304中基于無閃光燈輔助而捕獲的圖像I1和閃光燈捕獲的圖像I2得到差值圖像F＝I2-I1(圖3，S201)。然后，由白平衡調(diào)整部分307對(duì)差值圖像數(shù)據(jù)F＝I2-I1，即，與在僅有閃光燈光照射的條件下捕獲的圖像相對(duì)應(yīng)的圖像F，執(zhí)行按照基于閃光燈光的分量設(shè)置的參數(shù)的白平衡調(diào)整處理(圖3，步驟S202)。此外，白平衡調(diào)整部分305對(duì)無閃光燈輔助而捕獲的圖像I1執(zhí)行按照基于環(huán)境光分量的估計(jì)值設(shè)置的參數(shù)的白平衡調(diào)整處理(圖3，步驟S203)，其中，環(huán)境光分量的估計(jì)值是有環(huán)境光分量估計(jì)部分306估計(jì)的。
并且，在像素值相加部分308中將通過這兩個(gè)白平衡調(diào)整處理而獲得的兩個(gè)圖像的像素值相加在一起(圖3，S204)。
如果被捕獲的圖像不包含運(yùn)動(dòng)部分，則在運(yùn)動(dòng)部分校正像素值計(jì)算部分310中不執(zhí)行處理，并且將具有在像素值相加部分308中被相加在一起的像素值的圖像數(shù)據(jù)作為經(jīng)過白平衡調(diào)整處理的圖像經(jīng)由輸出切換部分312輸出。該圖像數(shù)據(jù)被輸出到D/A轉(zhuǎn)換器108、編解碼器111等，D/A轉(zhuǎn)換器108執(zhí)行數(shù)字/模擬轉(zhuǎn)換(參照?qǐng)D1)，編解碼器111執(zhí)行編碼處理。
另一方面，如果作為使用根據(jù)無閃光燈輔助而捕獲的圖像I1和無閃光燈輔助而捕獲的圖像I3的差值數(shù)據(jù)而執(zhí)行的運(yùn)動(dòng)檢測(cè)的結(jié)果，在運(yùn)動(dòng)檢測(cè)部分309中檢測(cè)到對(duì)象本身的運(yùn)動(dòng)區(qū)域，則在運(yùn)動(dòng)部分校正像素值計(jì)算部分310中還要執(zhí)行之前已經(jīng)參照?qǐng)D6和7說明的對(duì)運(yùn)動(dòng)存在部分的像素值的校正(轉(zhuǎn)換)，并且經(jīng)由輸出切換部分312輸出具有下述像素值數(shù)據(jù)的圖像在該像素值數(shù)據(jù)中，用校正像素值替換了運(yùn)動(dòng)存在部分。
白平衡調(diào)整部分311執(zhí)行圖2的處理流程中步驟S113的處理。也就是說，如果確定校正是不可能的，例如，在運(yùn)動(dòng)檢測(cè)部分309中檢測(cè)到運(yùn)動(dòng)區(qū)域，但是運(yùn)動(dòng)區(qū)域在整個(gè)圖像中的比例很高，在這種情況下，白平衡調(diào)整部分311接收輸入的閃光燈捕獲的圖像I2，執(zhí)行按照預(yù)設(shè)的參數(shù)的白平衡調(diào)整處理，并經(jīng)由輸出切換部分312輸出該經(jīng)過調(diào)整的圖像。
為了便于對(duì)其功能進(jìn)行說明，圖8中的構(gòu)造被分成各個(gè)處理部分示出，但是實(shí)際的處理可以由DSP中的處理器按照程序來執(zhí)行，該程序根據(jù)上述處理流程中的每一個(gè)來執(zhí)行處理。
在上述白平衡調(diào)整處理中，參考了參照?qǐng)D3和4所說明的構(gòu)造例子，在該構(gòu)造例子中，對(duì)于環(huán)境光分量和閃光燈光分量，得到了基于單一種類照射光的圖像數(shù)據(jù)，并且對(duì)那些圖像數(shù)據(jù)中的每一個(gè)，都執(zhí)行了按照基于相應(yīng)的環(huán)境光分量和閃光燈光之一而設(shè)置的參數(shù)的白平衡調(diào)整處理。
下面的說明參照這樣的構(gòu)造例子對(duì)與僅有閃光燈光照射的條件相對(duì)應(yīng)的差值圖像數(shù)據(jù)F＝I2-I1執(zhí)行按照基于環(huán)境光設(shè)置的參數(shù)的白平衡調(diào)整處理。
圖9示出了本實(shí)施例中根據(jù)多個(gè)圖像數(shù)據(jù)的白平衡調(diào)整處理流程，其中，該流程與之前提到的實(shí)施例中圖3的流程相對(duì)應(yīng)。
在步驟S401中，得到閃光燈圖像I2的分量與無閃光燈輔助而捕獲的圖像I1的像素的各個(gè)顏色分量之間的差值，并且生成差值圖像F＝I2-I1，并將其存儲(chǔ)在存儲(chǔ)器中。差值圖像F＝I2-I1變得等效于在下述情況下由照相機(jī)的固態(tài)攝像元件攝像的圖像，該情況即物體僅被閃光燈光照射，完全沒有環(huán)境光存在，并且僅僅有閃光燈光從物體反射并進(jìn)入固態(tài)攝像元件。然后，在步驟S402中，對(duì)圖像F執(zhí)行于環(huán)境光的色溫相匹配的白平衡(WB)調(diào)整，從而生成校正圖像F’。也就是說，基于按照環(huán)境光的色溫設(shè)置的參數(shù)對(duì)差值圖像數(shù)據(jù)F執(zhí)行白平衡(WB)調(diào)整，從而生成校正圖像F’。
此時(shí)，通過將差值圖像F的每個(gè)像素與無閃光燈輔助而捕獲的圖像I1的像素中相應(yīng)的像素直接進(jìn)行比較來執(zhí)行白平衡調(diào)整處理，從而使閃光燈光與環(huán)境光的顏色匹配。作為這種WB處理的具體例子，采用與像素(rf，gf，bf)處于相同位置的無閃光燈輔助而捕獲的圖像I1的像素(ri，gi，bi)，來根據(jù)無閃光燈輔助而捕獲的圖像I1的像素的G信號(hào)的電平，對(duì)差值圖像F的像素的R和B分量執(zhí)行像素值轉(zhuǎn)換，該像素值轉(zhuǎn)換使用下面的式6和7rf’＝rf×(gi/gf) ……(表達(dá)式6)bf’＝bf×(gi/gf) ……(表達(dá)式7)然后，比較rf’與rf以及bf’與bf進(jìn)行比較以獲得下面的值ar＝ri/rf’＝(ri×gf)/(rf×gi)(表達(dá)式8)ab＝bi/bf’＝(bi×gf)/(bf×gi)(表達(dá)式9)對(duì)于所有像素，通過對(duì)從表達(dá)式8和9得到的ar和ab進(jìn)行平均而得到WB參數(shù)。用得到的參數(shù)乘以圖像F的每個(gè)像素的R分量和B分量，由此執(zhí)行白平衡調(diào)整。通過這個(gè)處理，圖像F被轉(zhuǎn)換成看上去像是在具有與環(huán)境光相同顏色的閃光燈光下拍攝到的圖像，并且該圖像被存儲(chǔ)為圖像F’。
此外，在步驟S403中，差值圖像F’和無閃光燈輔助而捕獲的圖像I1被合成以生成第一白平衡調(diào)整的圖像R1。在第一白平衡調(diào)整的圖像R1中，環(huán)境光和閃光燈光的色溫彼此一致。
最后，在步驟S404中，對(duì)第一白平衡調(diào)整的圖像R1進(jìn)一步執(zhí)行白平衡調(diào)整，由此生成第二白平衡調(diào)整的圖像R2。
可以使用由用戶設(shè)置的值作為用于步驟S404中的WB的參數(shù)，或者也可以使用公知的自動(dòng)白平衡技術(shù)來轉(zhuǎn)換第一白平衡調(diào)整的圖像R1，以使得最終的第二白平衡調(diào)整的圖像R2具有自然的色調(diào)。
按照本實(shí)施例的處理，有可能實(shí)現(xiàn)更多地考慮環(huán)境光分量的白平衡調(diào)整處理。具體地說，有可能實(shí)現(xiàn)根據(jù)環(huán)境光的調(diào)整；例如，如果環(huán)境光由于日出等是偏紅色的，也就是說，環(huán)境光包含大量R分量，則使用偏紅的色調(diào)調(diào)整整個(gè)圖像。
圖10是示出執(zhí)行根據(jù)本實(shí)施例的處理的數(shù)字信號(hào)處理部分(DSP)(與圖1的DSP 106相對(duì)應(yīng))的功能結(jié)構(gòu)的方框圖。
將參照?qǐng)D9示出的流程圖說明圖10中示出的數(shù)字信號(hào)處理部分(DSP)中的處理。
在圖2的步驟S101到S106中，將無閃光燈輔助而捕獲的圖像I1、閃光燈捕獲的圖像I2和無閃光燈輔助而捕獲的圖像I3分別存儲(chǔ)在幀存儲(chǔ)器401、402和403中。
在差值圖像計(jì)算部分404中基于無閃光燈輔助而捕獲的圖像I1和閃光燈捕獲的圖像I2而得到差值圖像數(shù)據(jù)F＝I2-I1(圖9，S401)。然后，由白平衡調(diào)整部分405對(duì)差值圖像數(shù)據(jù)F＝I2-I1執(zhí)行按照基于環(huán)境光分量而設(shè)置的參數(shù)的白平衡調(diào)整處理(圖9，步驟S402)，其中的差值圖像數(shù)據(jù)F＝I2-I1是與在僅有閃光燈光照射的條件下捕獲的圖像相對(duì)應(yīng)的圖像F。接著，在像素值相加部分406中將由該白平衡調(diào)整處理獲得的差值圖像F’的像素值與無閃光燈輔助而捕獲的圖像I1的那些像素值相加在一起，從而生成第一經(jīng)過白平衡調(diào)整處理的圖像R1(圖9，S403)。此外，在白平衡調(diào)整部分407中，對(duì)第一白平衡調(diào)整的圖像R1執(zhí)行白平衡調(diào)整，由此生成第二白平衡調(diào)整的圖像R2。
如果被捕獲的圖像不包含運(yùn)動(dòng)部分，則在運(yùn)動(dòng)部分校正像素值計(jì)算部分409中不執(zhí)行處理，并且將第二白平衡調(diào)整的圖像R2作為白平衡調(diào)整的圖像經(jīng)由輸出切換部分411輸出。圖像R2被輸出到D/A轉(zhuǎn)換器108、編解碼器111等，D/A轉(zhuǎn)換器108執(zhí)行數(shù)字/模擬轉(zhuǎn)換(參照?qǐng)D1)，編解碼器111執(zhí)行編碼處理。
另一方面，如果作為使用根據(jù)無閃光燈輔助而捕獲的圖像I1和無閃光燈輔助而捕獲的圖像I3的差值數(shù)據(jù)而執(zhí)行的運(yùn)動(dòng)檢測(cè)的結(jié)果，在運(yùn)動(dòng)檢測(cè)部分408中檢測(cè)到了對(duì)象本身的運(yùn)動(dòng)區(qū)域，則在運(yùn)動(dòng)部分校正像素值計(jì)算部分409中還要執(zhí)行之前已經(jīng)參照?qǐng)D6和7說明的對(duì)運(yùn)動(dòng)存在部分的像素值的校正(轉(zhuǎn)換)，并且經(jīng)由輸出切換部分411輸出具有下述像素值數(shù)據(jù)的圖像在該像素值數(shù)據(jù)中，用校正像素值替換了運(yùn)動(dòng)存在部分。
白平衡調(diào)整部分410執(zhí)行圖2的處理流程中步驟S113的處理。也就是說，如果確定校正是不可能的，例如，在運(yùn)動(dòng)檢測(cè)部分408中檢測(cè)到運(yùn)動(dòng)區(qū)域，但是運(yùn)動(dòng)區(qū)域在整個(gè)圖像中的比例很高，在這種情況下，白平衡調(diào)整部分410接收輸入的閃光燈捕獲的圖像I2，執(zhí)行按照預(yù)設(shè)的參數(shù)的白平衡調(diào)整處理，并經(jīng)由輸出切換部分411輸出該經(jīng)過調(diào)整的圖像。
為了便于對(duì)其功能進(jìn)行說明，圖10中的構(gòu)造被分成各個(gè)處理部分示出，但是實(shí)際的處理可以由DSP中的處理器按照程序來執(zhí)行，該程序根據(jù)上述處理流程中的每一個(gè)來執(zhí)行處理。
根據(jù)本實(shí)施例，有可能實(shí)現(xiàn)更多地考慮環(huán)境光分量的白平衡調(diào)整。

對(duì)于本發(fā)明的實(shí)施例2，類似于上面的說明，下面的說明是關(guān)于一種結(jié)構(gòu)的，所述結(jié)構(gòu)采用與實(shí)施例1中圖2的步驟S111的處理不同的技術(shù)作為圖2的步驟S111的處理，即在圖像處理方法和圖像處理設(shè)備中對(duì)運(yùn)動(dòng)部分的像素值校正方法，所述的圖像處理方法和圖像處理設(shè)備兩者都對(duì)在環(huán)境光和閃光燈光混合的環(huán)境下捕獲的圖像執(zhí)行最佳的白平衡調(diào)整處理。舉例來說，本方法能夠?qū)崿F(xiàn)對(duì)高分辨率圖像的高速處理。
在上述的實(shí)施例1中，已經(jīng)提到了能夠減小閃光燈光與環(huán)境光之間的色溫差值的結(jié)構(gòu)。將該結(jié)構(gòu)概括如下首先，從使用閃光燈拍攝的圖像和不使用閃光燈拍攝的圖像之間的差值圖像中提取閃光燈光分量，在那之后，對(duì)該差值圖像和不使用閃光燈而拍攝的圖像施行顏色轉(zhuǎn)換，并對(duì)它們重新合成，以減小環(huán)境光和閃光燈光之間的色溫差。
根據(jù)該結(jié)構(gòu)，雖然必需連續(xù)地捕獲多個(gè)圖像，但是即使在捕獲期間物體等運(yùn)動(dòng)的情況下，也有可能妥善處理。也就是說，以閃光燈圖像、無閃光燈輔助的圖像和閃光燈圖像的順序連續(xù)地捕獲三個(gè)圖像，并且從兩個(gè)無閃光燈輔助的圖像之間的差異檢測(cè)物體的運(yùn)動(dòng)部分，通過使用徑向基函數(shù)，根據(jù)運(yùn)動(dòng)區(qū)域之外的像素的數(shù)據(jù)，對(duì)被反射的閃光燈光分量與被反射的環(huán)境光分量的比值執(zhí)行插值處理。
也就是說，在實(shí)施例1中，按照?qǐng)D6中示出的處理流程執(zhí)行圖1中示出的步驟S111的處理，即，對(duì)白平衡調(diào)整的圖像R的運(yùn)動(dòng)部分的像素值校正處理。
但是，在某些情況下，上述的運(yùn)動(dòng)部分補(bǔ)償方法需要大存儲(chǔ)器容量和高計(jì)算成本。具體地說，該方法具有這樣的問題將被校正的圖像的分辨率越高，引起的必要存儲(chǔ)器容量和計(jì)算成本的增長(zhǎng)越大。
實(shí)施例2解決了上述問題，并且提供了這樣的結(jié)構(gòu)的例子在使用閃光燈執(zhí)行的圖像捕獲期間，有可能解決由于環(huán)境光和閃光燈光之間色溫的差異而引起的不自然，并且進(jìn)而，即使檢測(cè)到圖像抖動(dòng)，也有可能最優(yōu)地且高效率地處理，而且不會(huì)失敗，甚至如果目標(biāo)圖像的分辨率很高，也有可能高速率高效率地執(zhí)行處理。
根據(jù)實(shí)施例2的圖像處理設(shè)備具有與之前參照?qǐng)D1說明的實(shí)施例1的構(gòu)造相似的構(gòu)造。實(shí)施例2的區(qū)別在于數(shù)字信號(hào)處理部分(DSP)106的處理。下面將說明根據(jù)實(shí)施例2的圖像處理的細(xì)節(jié)。
以這樣的方式實(shí)現(xiàn)圖像處理，即，在DSP 106中，運(yùn)算單元對(duì)輸入圖像信號(hào)流順序地執(zhí)行以預(yù)定的程序代碼寫成的操作。下面，將參照流程圖說明執(zhí)行程序的各個(gè)處理步驟的順序。但是，可以不以將在本實(shí)施例中說明的程序的形式構(gòu)成本發(fā)明，而是通過結(jié)合實(shí)現(xiàn)與將在下面說明的功能等效的處理的硬件電路來構(gòu)成本發(fā)明。
按照實(shí)施例1中的上述圖2中示出的流程圖執(zhí)行本實(shí)施例中的白平衡(WB)校正處理過程中的基本處理。也就是說，按照閃光燈圖像、無閃光燈輔助圖像和閃光燈圖像的順序連續(xù)地捕獲三個(gè)圖像，并在這些圖像的基礎(chǔ)上執(zhí)行白平衡調(diào)整。
在本實(shí)施例中，能夠在高得多的速度下以高得多的效率執(zhí)行圖2中示出的步驟S111中對(duì)運(yùn)動(dòng)部分的像素值校正處理。具體來說，在對(duì)高分辨率圖像數(shù)據(jù)的處理期間，即使在裝置具有較小的存儲(chǔ)器容量的情況下也能以高速率執(zhí)行適當(dāng)?shù)南袼刂敌Ｕ幚怼?br> 在圖2示出的步驟S110中執(zhí)行的基于上述多個(gè)圖像的白平衡調(diào)整處理的情況意味著確定發(fā)生了由于物體本身的運(yùn)動(dòng)引起的圖像抖動(dòng)并且該圖像抖動(dòng)可以校正的情況。在步驟S111中，對(duì)在步驟S110中生成的白平衡調(diào)整的圖像R中的由于物體本身的運(yùn)動(dòng)而引起的圖像抖動(dòng)的圖像區(qū)域，即，運(yùn)動(dòng)圖像區(qū)域，執(zhí)行像素值校正處理。也就是說，對(duì)在步驟S107中檢測(cè)到的運(yùn)動(dòng)部分的像素值執(zhí)行額外的處理，以便對(duì)白平衡調(diào)整的圖像R進(jìn)行修改。對(duì)于修改處理，舉例來說，存在這樣一種方法輸入與白平衡調(diào)整的圖像R中檢測(cè)到運(yùn)動(dòng)的部分相對(duì)應(yīng)的閃光燈圖像I2的像素值，參考白平衡調(diào)整的圖像R中不存在運(yùn)動(dòng)的部分的像素值，確定檢測(cè)到運(yùn)動(dòng)的部分的像素值，并合成最終的圖像。
下面將說明根據(jù)本實(shí)施例的像素值校正處理的細(xì)節(jié)。
圖11是示出作為在圖2的步驟S107中執(zhí)行的運(yùn)動(dòng)檢測(cè)處理的結(jié)果而獲得的數(shù)據(jù)的一個(gè)例子的示意圖。
在圖11中，由圖2的流程中的步驟S107確定為運(yùn)動(dòng)的部分稱為運(yùn)動(dòng)存在部分像素區(qū)域550，而被確定為沒有運(yùn)動(dòng)的部分稱為運(yùn)動(dòng)不存在部分像素區(qū)域551。
在之前參照?qǐng)D3提到的在步驟S204中獲得的圖像，即，白平衡調(diào)整的圖像R中的運(yùn)動(dòng)不存在部分像素區(qū)域551的構(gòu)成像素，可以認(rèn)為是通過對(duì)在圖2的步驟S103和S104中使用閃光燈拍攝的并且存儲(chǔ)在存儲(chǔ)器中的圖像I2施行正確的顏色轉(zhuǎn)換以減少閃光燈光和環(huán)境光之間的顏色差異而獲得的圖像。另一方面，由于物體的運(yùn)動(dòng)對(duì)像素值產(chǎn)生了影響，因此對(duì)于白平衡調(diào)整的圖像R的運(yùn)動(dòng)存在部分像素區(qū)域550的構(gòu)成像素，可以認(rèn)為很有可能顏色轉(zhuǎn)換沒能正確地生效。
因此，對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550地像素，直接對(duì)閃光燈圖像I2施加顏色轉(zhuǎn)換，從而執(zhí)行得到最終的白平衡調(diào)整的圖像R的處理。
在實(shí)施例1中，圖1中示出的步驟S111的處理，即，對(duì)白平衡調(diào)整的圖像R的運(yùn)動(dòng)部分執(zhí)行的像素值校正處理，被執(zhí)行為按照?qǐng)D6示出的處理流程使用徑向基函數(shù)的插值處理。
在本實(shí)施例中，以與實(shí)施例1不同的順序執(zhí)行對(duì)白平衡調(diào)整的圖像R的運(yùn)動(dòng)部分的像素值校正處理。下面，將參照?qǐng)D12示出的流程圖對(duì)根據(jù)本實(shí)施例2的運(yùn)動(dòng)部分的像素值校正處理的順序進(jìn)行說明。
圖12是示出圖2所示出的步驟S111的處理，即對(duì)白平衡調(diào)整的圖像R的運(yùn)動(dòng)部分的像素值校正處理的細(xì)節(jié)的流程圖。下面將說明每個(gè)步驟的處理。
首先，在步驟S501，使用按照?qǐng)D2示出的步驟S110，即圖3的處理流程生成的白平衡調(diào)整的圖像R，和在圖2示出的步驟S103和S104中使用閃光燈拍攝的并存儲(chǔ)在存儲(chǔ)器中的圖像I2，基于下面的表達(dá)式(表達(dá)式21)得到圖像差值d(x，y)＝R(x，y)-I2(x，y) ……(表達(dá)式21)在該表達(dá)式中，d(x，y)、R(x，y)和I2(x，y)是與在像素位置(x，y)處的各個(gè)圖像的顏色相對(duì)應(yīng)的向量。將上式當(dāng)作向量計(jì)算來執(zhí)行。
在該表達(dá)式(表達(dá)式21)中，得到了白平衡調(diào)整的圖像R的與閃光燈圖像I2的每個(gè)像素值之間的圖像差值d，但是，也可以如下面給出的表達(dá)式(表達(dá)式22)那樣，計(jì)算和采用白平衡調(diào)整的圖像R的每個(gè)像素值與閃光燈圖像I2的相對(duì)應(yīng)的像素值的比值，即圖像比值d，以此來代替白平衡調(diào)整的圖像R的和閃光燈圖像I2的每個(gè)像素值之間的差值。
d(x，y)＝R(x，y)/(I2(x，y)+e) ……(表達(dá)式22)在上述的表達(dá)式(表達(dá)式22)中，“e”是向量，對(duì)該向量所具有的每個(gè)元素分別設(shè)置了足夠小的固定值，例如，基底(floor)值。(表達(dá)式22)中的符號(hào)“/”表示這樣的計(jì)算用向量中的各個(gè)元素除以向量中的元素，并將結(jié)果設(shè)置為向量的各個(gè)元素。使用“e”的目的是防止d(x，y)在I2(x，y)的元素變?yōu)?時(shí)變得無法計(jì)算。
如果正確地得到關(guān)于整個(gè)圖像的在白平衡調(diào)整的圖像R和閃光燈圖像I2之間的圖像差值或圖像比值d(x，y)，則有可能在閃光燈圖像I2的基礎(chǔ)上計(jì)算最終的白平衡調(diào)整的圖像R。也就是說，有可能計(jì)算R(x，y)＝d(x，y)+I2(x，y)或R(x，y)＝(I2(x，y)+e)×d(x，y)。順便提及，符號(hào)“×”表示這樣的計(jì)算用向量的各個(gè)元素乘以向量的元素，并將結(jié)果設(shè)置為向量的各個(gè)元素。
然而，有可能運(yùn)動(dòng)存在部分像素區(qū)域550作為運(yùn)動(dòng)圖像出現(xiàn)，從而使得如果將從上述表達(dá)式(表達(dá)式21)或(表達(dá)式22)計(jì)算出的圖像差值或圖像比值d(x，y)不作修改地施加到像素區(qū)域550，則不能實(shí)現(xiàn)最優(yōu)的顏色。
出于這個(gè)原因，在本實(shí)施例中，通過使用從運(yùn)動(dòng)不存在部分像素區(qū)域551得到的圖像差值或圖像比值d(x，y)執(zhí)行平滑插值來計(jì)算相對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550的最終的像素值，即，最終的白平衡調(diào)整的圖像R。否則，通過使用利用圖像比值d(x，y)的插值濾波處理來執(zhí)行平滑插值計(jì)算，從而計(jì)算出最終的白平衡調(diào)整的圖像R。舉例來說，可以通過上述這樣的方法實(shí)現(xiàn)插值濾波處理按照在運(yùn)動(dòng)存在部分像素區(qū)域550的周圍的像素值或在像素區(qū)域550中實(shí)際觀察到的像素值的轉(zhuǎn)換狀態(tài)，逐漸地從區(qū)域550的周圍插入像素值，并且，執(zhí)行低通濾波處理。順便提及，本發(fā)明的插值濾波處理不限于這種方法。
根據(jù)本方法，甚至是對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550，也有可能在保持運(yùn)動(dòng)存在部分像素區(qū)域550的閃光燈圖像I2的紋理的同時(shí)，生成具有與最終的白平衡調(diào)整的圖像R類似的顏色的圖像。
圖13是用于說明插值處理的視圖，所述插值處理通過使用上述的(表達(dá)式21)得到相對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550的最終的校正像素值，上述的(表達(dá)式21)即用于計(jì)算白平衡調(diào)整的圖像R和閃光燈圖像I2的每個(gè)像素值之間的圖像差值d的表達(dá)式。
在圖13中，為了便于解釋，數(shù)據(jù)被示為一維排列，并且將在該圖例的基礎(chǔ)上對(duì)處理進(jìn)行說明，但是，實(shí)際上處理是在二維平面上執(zhí)行的。在圖1 3A到13C的每一個(gè)中，水平軸表示像素位置，而垂直軸表示像素值(亮度或R、G和B值)。
圖13A示出了白平衡調(diào)整的圖像R 560和閃光燈圖像I2561的像素值在運(yùn)動(dòng)不存在部分像素區(qū)域551和運(yùn)動(dòng)存在部分像素區(qū)域550中的轉(zhuǎn)換。
圖13B示出了運(yùn)動(dòng)不存在部分像素區(qū)域551中與運(yùn)動(dòng)存在部分像素區(qū)域550接近的部分的像素值的轉(zhuǎn)換。也就是說，圖13B示出了上述(表達(dá)式21)的值562，即，白平衡調(diào)整的圖像R和閃光燈圖像I2的每個(gè)像素之間的圖像差值。
在圖13B中示出的運(yùn)動(dòng)不存在部分像素區(qū)域551中示出的虛線表示通過平滑地插入圖像差值d的值562而獲得的運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像差值d的估計(jì)的值563。用于圖像差值d的估計(jì)的值563的計(jì)算處理方法將在后面說明。
在圖13C中，用點(diǎn)線示出了通過將圖13B中示出的運(yùn)動(dòng)存在部分像素區(qū)域550中的估計(jì)的圖像差值d563加到圖13A中示出的運(yùn)動(dòng)存在部分像素區(qū)域550中的閃光燈圖像I2561的值而獲得的結(jié)果，以作為運(yùn)動(dòng)存在部分像素區(qū)域550中的最終的白平衡調(diào)整的圖像R564。
將在圖13C中用點(diǎn)線示出的運(yùn)動(dòng)存在部分像素區(qū)域550中的該白平衡調(diào)整的圖像R 564和運(yùn)動(dòng)不存在部分像素區(qū)域551中的經(jīng)過白平衡調(diào)整的像素R560作為最終的白平衡調(diào)整的圖像R輸出。最終的輸出圖像變成了這樣的圖像其中，圖13C中示出的在運(yùn)動(dòng)存在部分像素區(qū)域550中用點(diǎn)線示出的白平衡調(diào)整的圖像R 564和運(yùn)動(dòng)不存在部分像素區(qū)域551中的白平衡調(diào)整的圖像R 560平滑地連接。在該輸出圖像中保留了運(yùn)動(dòng)存在部分像素區(qū)域550中閃光燈圖像I2561的紋理。
將會(huì)注意到，即使不是使用由上述的表達(dá)式(表達(dá)式21)給出的圖像差值，而是將使用上述的表達(dá)式(表達(dá)式22)的圖像比值d用作d(x，y)，也能夠執(zhí)行與上述方法類似的校正方法。也就是說，使用圖像比值d代替圖13B中示出的圖像差值d，并且與圖13B中示出的運(yùn)動(dòng)不存在部分像素區(qū)域551中示出的點(diǎn)線類似，圖像比值d的值被平滑地插入到運(yùn)動(dòng)存在部分像素區(qū)域550中，從而計(jì)算在運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像比值d的估計(jì)值。在那之后，用運(yùn)動(dòng)存在部分像素區(qū)域550中的閃光燈圖像I2的像素乘以圖像比值d，借此就能夠計(jì)算運(yùn)動(dòng)存在部分像素區(qū)域550的白平衡調(diào)整的圖像R。
下面將說明使用白平衡調(diào)整的圖像R和閃光燈圖像I2的每個(gè)像素值之間的圖像差值或圖像比值的插值方法的細(xì)節(jié)。
在執(zhí)行了圖12示出的流程中的步驟S501之后，作為插值的預(yù)處理，在步驟S502中得到相對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550的每個(gè)像素的圖像差值或圖像比值d(x，y)的初始值。在后面的說明中將涉及得到圖像差值d(x，y)的方法，但是類似的技術(shù)能夠被應(yīng)用到想要得到圖像比值d(x，y)的情況。
首先，準(zhǔn)備掩碼圖像(mask image)M，掩碼圖像具有的每一個(gè)像素都用兩個(gè)值中的一個(gè)表示，并且對(duì)于運(yùn)動(dòng)不存在部分像素區(qū)域551的每個(gè)像素，都設(shè)置為M(x，y)＝1，而對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550的每個(gè)像素，都設(shè)置為M(x，y)＝0。
檢查圖像的每個(gè)像素，以便從M(x，y)＝0的像素中，即運(yùn)動(dòng)存在部分像素區(qū)域550的像素中選擇與M(x，y)＝1的像素，即，運(yùn)動(dòng)不存在部分像素區(qū)域551相鄰的像素(由8或4個(gè)鄰近的像素包圍)。
然后，計(jì)算與感興趣的像素相鄰的M(x，y)＝1的像素的圖像差值d(x，y)的平均值。將該平均值設(shè)置為在感興趣的像素的位置處的圖像差值d(x，y)的初始值。
下面將參照?qǐng)D14說明具體的處理。例如，如圖14所示，在具有運(yùn)動(dòng)存在部分像素區(qū)域550和運(yùn)動(dòng)不存在部分像素區(qū)域551的圖像的情況中，運(yùn)動(dòng)存在部分像素區(qū)域550中與運(yùn)動(dòng)不存在部分像素區(qū)域551相鄰的像素581的圖像差值d(x，y)的初始值被設(shè)置為運(yùn)動(dòng)不存在部分像素區(qū)域中與像素581相鄰的像素582、583和584的平均值。
通過類似的技術(shù)確定相對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550中與運(yùn)動(dòng)不存在部分像素區(qū)域551相鄰的像素的初始值。然后，對(duì)于新設(shè)置了其初始值的像素，將掩碼圖像的M(x，y)的值改為1。接著，在對(duì)與M(x，y)＝1的像素相鄰的所有像素(每一個(gè)被8或4個(gè)鄰近的像素包圍)都設(shè)置了初始值之后，從M(x，y)＝0的像素中，即，從包含在運(yùn)動(dòng)存在部分像素區(qū)域550中的像素中，對(duì)新設(shè)置了其初始值的像素設(shè)置M(x，y)＝1。也就是說，從圖14所示的運(yùn)動(dòng)存在部分像素區(qū)域550的周圍部分向中心部分順序地確定運(yùn)動(dòng)存在部分550的圖像差值d(x，y)的初始值。重復(fù)執(zhí)行這一處理直到所有像素都被設(shè)置為M(x，y)＝1。
通過該處理，確定了包含在運(yùn)動(dòng)存在部分像素區(qū)域550中的所有像素的圖像差值d(x，y)的初始值。該處理就是圖12所示的流程中步驟S502的處理。
在得到了運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像差值d(x，y)的初始值之后，執(zhí)行圖12所示的流程中步驟S503的處理。
在步驟S503，僅僅對(duì)運(yùn)動(dòng)存在部分像素區(qū)域550的像素的圖像差值執(zhí)行平滑濾波。舉例來說，平滑濾波可以使用運(yùn)動(dòng)平均濾波，其對(duì)包含在n×n的方形附近的像素值求平均。從該平滑處理有可能獲得這樣的效果僅僅平滑地連接運(yùn)動(dòng)存在部分像素區(qū)域550的圖像差值d的值，同時(shí)固定運(yùn)動(dòng)不存在部分像素區(qū)域551的圖像差值的值。
在步驟S503執(zhí)行的這個(gè)平滑處理中，檢查在該平滑濾波中每個(gè)像素的圖像差值d(x，y)的每個(gè)顏色分量是如何變化的，并將圖像差值d(x，y)的每個(gè)顏色分量的變化的最大值(像素值變化最大值)存儲(chǔ)在存儲(chǔ)器中。
然后，在步驟S504，確定在步驟S502的平滑處理中被存儲(chǔ)的圖像差值d(x，y)的每個(gè)顏色分量的變化最大值是否大于預(yù)設(shè)的閾值。如果像素值變化最大值較小，則處理前進(jìn)到步驟S506，并且平滑處理結(jié)束。
如果在步驟S502的平滑處理中被存儲(chǔ)的圖像差值d(x，y)的每個(gè)顏色分量的變化的最大值(像素值變化最大值)大于預(yù)設(shè)的閾值，則確定運(yùn)動(dòng)存在部分像素區(qū)域550的圖像差值d仍沒有被平滑地插值，并且處理前進(jìn)到步驟S505。
在步驟S505，確定到目前為止已經(jīng)對(duì)圖像差值d的運(yùn)動(dòng)存在部分像素區(qū)域550的像素執(zhí)行的平滑濾波的次數(shù)是否超過了預(yù)設(shè)的閾值，并且，如果次數(shù)較大，則處理前進(jìn)到步驟S506。如果次數(shù)較小，則處理返回到步驟S503，并且再次執(zhí)行平滑濾波，以便再次執(zhí)行對(duì)運(yùn)動(dòng)存在部分像素區(qū)域550的平滑處理。
在對(duì)圖像差值d的運(yùn)動(dòng)存在部分像素區(qū)域550的像素執(zhí)行平滑濾波的次數(shù)已經(jīng)大于預(yù)設(shè)的閾值的情況下，即使重復(fù)地執(zhí)行平滑濾波，也不能獲得圖像差值d的變化。因此，預(yù)先將預(yù)定的平滑處理的執(zhí)行次數(shù)確定為閾值，并且如果達(dá)到了該閾值，則在該時(shí)間點(diǎn)使平滑處理到達(dá)結(jié)束點(diǎn)，并且處理前進(jìn)到下一步。
在步驟S506，將在上述平滑處理中獲得的運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像差值d確定為估計(jì)的圖像差值d 563。也就是說，將圖像差值d確定為圖13B所示的運(yùn)動(dòng)存在部分像素區(qū)域550中的估計(jì)的圖像差值d 563。
然后，在步驟S507中，使用上述處理中計(jì)算出的圖像差值d和閃光燈圖像I2生成運(yùn)動(dòng)存在部分像素區(qū)域550的最終的白平衡調(diào)整的圖像R。
也就是說，生成了圖13C所示的運(yùn)動(dòng)存在部分像素區(qū)域550的最終的白平衡調(diào)整的圖像R。通過將圖13B中所示的運(yùn)動(dòng)存在部分像素區(qū)域550中的估計(jì)的圖像差值d 563與圖13A所示的運(yùn)動(dòng)存在部分像素區(qū)域550的閃光燈圖像I2561的值相加而獲得的結(jié)果被設(shè)置為運(yùn)動(dòng)存在部分像素區(qū)域550的最終的白平衡調(diào)整的圖像R 564。
上述的處理例子是使用按照上述的表達(dá)式(表達(dá)式21)得到的白平衡調(diào)整的圖像R和閃光燈圖像I2的每個(gè)像素值的圖像差值d的例子。但是，如果使用按照上述的表達(dá)式(表達(dá)式22)而得到的白平衡調(diào)整的圖像R和閃光燈圖像I2的每個(gè)像素值的圖像差值d，則在這種情況下，在步驟S507中，將運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像比值d和閃光燈圖像I2的每個(gè)像素的元素相乘，以生成最終的白平衡調(diào)整的圖像R。
通過上述的處理，能夠生成最終的輸出圖像R。
下面將參照?qǐng)D15說明本實(shí)施例中的運(yùn)動(dòng)部分校正像素值計(jì)算部分的結(jié)構(gòu)。
本實(shí)施例中的運(yùn)動(dòng)部分校正像素值計(jì)算部分被設(shè)置為與之前在實(shí)施例1中提到的圖8中示出的運(yùn)動(dòng)部分校正像素值計(jì)算部分310相對(duì)應(yīng)，或者與圖10中所示的運(yùn)動(dòng)部分校正像素值計(jì)算部分409相對(duì)應(yīng)。
圖15中示出的結(jié)構(gòu)將被說明。運(yùn)動(dòng)部分校正像素值計(jì)算部分710具有圖像差值(圖像比值)計(jì)算部分711、運(yùn)動(dòng)存在像素區(qū)域圖像差值(圖像比值)d初始值計(jì)算部分712、平滑處理部分713和運(yùn)動(dòng)部分最終的校正像素值計(jì)算部分714。
圖像差值(圖像比值)計(jì)算部分711接收運(yùn)動(dòng)不存在部分像素區(qū)域白平衡調(diào)整的圖像R 701的輸入和閃光燈圖像I2的每個(gè)圖像數(shù)據(jù)的輸入，并按照上述的表達(dá)式(表達(dá)式21)或(表達(dá)式22)計(jì)算運(yùn)動(dòng)不存在部分像素區(qū)域中的圖像差值d或圖像比值d。該處理與圖13A中示出的“d”相對(duì)應(yīng)。
運(yùn)動(dòng)存在像素區(qū)域圖像差值(圖像比值)d初始值計(jì)算部分712設(shè)置運(yùn)動(dòng)存在部分像素區(qū)域中的圖像差值(圖像比值)d的初始值。如之前參照?qǐng)D14所說明的，該處理首先將運(yùn)動(dòng)不存在像素區(qū)域的鄰近像素，即，位于運(yùn)動(dòng)存在像素區(qū)域中與運(yùn)動(dòng)不存在像素區(qū)域相鄰的部分中的像素的圖像差值(圖像比值)d的平均值設(shè)置為初始值，然后，執(zhí)行向運(yùn)動(dòng)存在像素區(qū)域的內(nèi)部順序地確定圖像差值(圖像比值)d的初始值的處理。
平滑處理部分713在已經(jīng)在運(yùn)動(dòng)存在像素區(qū)域圖像差值(圖像比值)d初始值計(jì)算部分712中設(shè)置的運(yùn)動(dòng)存在像素區(qū)域圖像差值(圖像比值)d的初始值的基礎(chǔ)上使用例如平滑濾波來執(zhí)行平滑處理，并且確定運(yùn)動(dòng)存在像素區(qū)域中的圖像差值(圖像比值)的估計(jì)值d。也就是說，確定圖13B中示出的運(yùn)動(dòng)存在部分像素區(qū)域550中的估計(jì)的圖像差值d 563。
運(yùn)動(dòng)部分最終的校正像素值計(jì)算部分714接收在平滑處理部分713中平滑過的圖像差值(圖像比值)的估計(jì)值d和閃光燈圖像I2的輸入，并生成運(yùn)動(dòng)存在部分像素區(qū)域550的最終的白平衡調(diào)整的圖像R。也就是說，生成圖13C所示的運(yùn)動(dòng)存在部分像素區(qū)域550的最終的白平衡調(diào)整的圖像R。
通過將圖13B所示的運(yùn)動(dòng)存在部分像素區(qū)域550中的估計(jì)的圖像差值d563與圖13A所示的運(yùn)動(dòng)存在部分像素區(qū)域550中的閃光燈圖像I2561的值相加而獲得的結(jié)果被設(shè)置為運(yùn)動(dòng)存在部分像素區(qū)域550的最終的白平衡調(diào)整的圖像R 564，并被輸出。
在使用按照表達(dá)式(表達(dá)式22)得到的白平衡調(diào)整的圖像R和閃光燈圖像I2的每個(gè)像素值的圖像差值d的情況中，在步驟S507，將運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像比值d和閃光燈圖像I2的每個(gè)像素的元素相乘，以生成最終的白平衡調(diào)整的圖像R，并將其輸出。
如上所述，根據(jù)本實(shí)施例的像素值校正處理，有可能借助于使用平滑濾波的簡(jiǎn)單處理對(duì)運(yùn)動(dòng)存在部分像素區(qū)域執(zhí)行適當(dāng)?shù)念伾D(zhuǎn)換。
在上述實(shí)施例中，提到了執(zhí)行白平衡調(diào)整處理的例子。但是，上述技術(shù)不僅能夠用于解決白平衡調(diào)整處理，還能夠用于解決一般的數(shù)據(jù)處理問題。
也就是說，在如圖13所示的在特定區(qū)域中定義了特定的數(shù)據(jù)(圖13的區(qū)域551)，但是將要在其它的區(qū)域(圖13的區(qū)域550)中定義數(shù)據(jù)的情況下，本發(fā)明的處理是有用的。
假定給出了由圖13所示的區(qū)域550指示的區(qū)域，并且給定了在與該區(qū)域相鄰的數(shù)據(jù)區(qū)域551中的參考數(shù)據(jù)561。此時(shí)，能夠生成具有與參考數(shù)據(jù)561相同的特性(圖像紋理)的插值數(shù)據(jù)(圖13的插值數(shù)據(jù)564)。
這種數(shù)據(jù)處理不僅能夠應(yīng)用于上述實(shí)施例中的圖像數(shù)據(jù)的白平衡處理，而且還能夠應(yīng)用于一般的數(shù)據(jù)處理。也就是說，本實(shí)施例不限于白平衡調(diào)整的問題。
下面將說明本發(fā)明的實(shí)施例3，對(duì)實(shí)施例3的說明將參照在圖像處理方法和圖像處理設(shè)備中采用與實(shí)施例1和2不同的技術(shù)作為圖2的流程中步驟S111的處理，即，對(duì)運(yùn)動(dòng)部分的像素值校正處理方法的結(jié)構(gòu)。與上述的方法和裝置類似，所述的圖像處理方法和圖像處理設(shè)備對(duì)在環(huán)境光和閃光燈光混合的環(huán)境中捕獲的圖像執(zhí)行最佳的白平衡調(diào)整處理。
在實(shí)施例1中，提到了這樣的結(jié)構(gòu)從兩個(gè)無閃光燈輔助的圖像之間的差值檢測(cè)物體的運(yùn)動(dòng)部分，并且，使用徑向基函數(shù)，基于從運(yùn)動(dòng)部分之外的像素的數(shù)據(jù)得到的反射的閃光燈光分量與反射的環(huán)境光分量的比值，對(duì)運(yùn)動(dòng)部分中包含的像素執(zhí)行插值處理。在實(shí)施例2中，提到了由通過平滑濾波器簡(jiǎn)化了的處理對(duì)運(yùn)動(dòng)部分執(zhí)行像素值校正的結(jié)構(gòu)。
實(shí)施例3提供了一個(gè)結(jié)構(gòu)例子，在該結(jié)構(gòu)中設(shè)置濾波器，根據(jù)閃光燈圖像I2的圖像數(shù)據(jù)動(dòng)態(tài)地確定所述濾波器的加權(quán)值，并且，所述結(jié)構(gòu)通過使用設(shè)置的濾波器對(duì)運(yùn)動(dòng)存在像素執(zhí)行像素值校正。
實(shí)施例3的圖像處理設(shè)備具有與之前參照?qǐng)D1說明的結(jié)構(gòu)類似的結(jié)構(gòu)，并且，在實(shí)施例3中，在數(shù)字信號(hào)處理部分(DSP)106中執(zhí)行根據(jù)閃光燈圖像I2的圖像數(shù)據(jù)的濾波器設(shè)置處理和使用濾波器的像素值校正處理。下面將說明根據(jù)實(shí)施例3的圖像處理的細(xì)節(jié)。
圖像處理以這樣的方式實(shí)現(xiàn)在DSP 106內(nèi)部，算術(shù)單元對(duì)輸入的圖像信號(hào)順序地執(zhí)行以預(yù)定的程序代碼寫成的操作。下面將參照流程圖說明執(zhí)行程序的各個(gè)處理步驟的順序。但是，本發(fā)明可以不以將要在本實(shí)施例中說明的程序的形式構(gòu)成，而是通過結(jié)合實(shí)現(xiàn)與下面將要說明的功能等效的處理的硬件電路來構(gòu)成。
與之前提到的實(shí)施例1類似，本實(shí)施例中白平衡(WB)校正處理過程的基本順序是根據(jù)圖2所示的流程圖的處理。也就是說，以閃光燈圖像、無閃光燈輔助的圖像和閃光燈圖像的順序連續(xù)地捕獲三個(gè)圖像，并在這些圖像的基礎(chǔ)上執(zhí)行白平衡調(diào)整。
在本實(shí)施例中，能夠以高得多的準(zhǔn)確度和高得多的效率執(zhí)行圖2所示的步驟S111中對(duì)運(yùn)動(dòng)部分的像素值校正處理。在圖2所示的步驟S110中執(zhí)行基于上述多個(gè)圖像的白平衡調(diào)整處理的情況意味著這樣的情況確定發(fā)生了由于物體本身的運(yùn)動(dòng)的圖像抖動(dòng)，并且該圖像抖動(dòng)是可校正的。在步驟S111中，對(duì)白平衡調(diào)整的圖像R中由于物體本身的運(yùn)動(dòng)而引起圖像抖動(dòng)的圖像區(qū)域，即，運(yùn)動(dòng)部分區(qū)域，執(zhí)行像素值校正處理。也就是說，對(duì)在步驟S107中檢測(cè)到的運(yùn)動(dòng)部分的像素值執(zhí)行額外的處理，從而修改白平衡調(diào)整的圖像R。作為修改處理，舉例來說存在這樣的方法輸入與白平衡調(diào)整的圖像R中檢測(cè)到運(yùn)動(dòng)的部分相對(duì)應(yīng)的閃光燈圖像I2的像素值，參照白平衡調(diào)整的圖像R中不存在運(yùn)動(dòng)的部分，確定檢測(cè)到運(yùn)動(dòng)的部分的像素值，并合成最終的圖像。
根據(jù)本實(shí)施例的像素值校正處理的細(xì)節(jié)將在下面說明。
如在之前的實(shí)施例中所說明的，作為在圖2的步驟S107中執(zhí)行的運(yùn)動(dòng)檢測(cè)處理的結(jié)果而獲得的數(shù)據(jù)就是與16中所示的示意圖相對(duì)應(yīng)的數(shù)據(jù)。
在圖16中，在圖2所示的流程中的步驟S107中確定為運(yùn)動(dòng)的部分是運(yùn)動(dòng)存在部分像素區(qū)域550，而確定為沒有運(yùn)動(dòng)的部分是運(yùn)動(dòng)不存在部分像素區(qū)域551。
在之前參照?qǐng)D3提及的步驟S204中獲得的圖像，即，白平衡調(diào)整的圖像R的運(yùn)動(dòng)不存在部分像素區(qū)域551的構(gòu)成像素能夠被認(rèn)為是通過對(duì)在圖2所示的步驟S103和S104中使用閃光燈拍攝并被存儲(chǔ)的圖像I2正確地施行顏色轉(zhuǎn)換以減少閃光燈光和環(huán)境光之間的顏色差異而獲得的像素。另一方面，對(duì)于白平衡調(diào)整的圖像R的運(yùn)動(dòng)存在部分像素區(qū)域550的構(gòu)成像素，由于物體的運(yùn)動(dòng)對(duì)像素值產(chǎn)生了影響，因此可以說顏色轉(zhuǎn)換不能產(chǎn)生正確的效果的可能性很高。
因此，對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550的像素，直接對(duì)閃光燈圖像I2施加顏色轉(zhuǎn)換，以執(zhí)行得到最終的白平衡調(diào)整的圖像R的處理。
在實(shí)施例1中，將圖1所示的步驟S111的處理，即，對(duì)白平衡調(diào)整的圖像R的運(yùn)動(dòng)部分的像素值校正處理，作為按照?qǐng)D6示出的處理流程使用徑向基函數(shù)的插值處理而執(zhí)行。在實(shí)施例2中，按照?qǐng)D12示出的處理流程執(zhí)行使用平滑濾波的校正處理。
在本實(shí)施例中，以與實(shí)施例1和2不同的順序執(zhí)行對(duì)白平衡調(diào)整的圖像R的運(yùn)動(dòng)部分的像素值校正處理。下面將參照?qǐng)D16示出的流程圖說明根據(jù)本實(shí)施例3的運(yùn)動(dòng)部分的像素值校正處理的順序。
圖16是示出圖2所示的步驟S111的處理的流程圖，即，圖16示出了按照本實(shí)施例3執(zhí)行對(duì)白平衡調(diào)整的圖像R的運(yùn)動(dòng)部分的像素值校正處理的具體順序。下面將說明該處理的每個(gè)步驟。
首先，在步驟S601，使用按照?qǐng)D2所示的步驟S110，即圖3的處理流程生成的白平衡調(diào)整的圖像R以及在圖2的步驟S103和S104中使用閃光燈拍攝并存儲(chǔ)在存儲(chǔ)器中的圖像I2，在下面的表達(dá)式(表達(dá)式31)的基礎(chǔ)上得到圖像差值dd(x，y)＝R(x，y)-I2(x，y) ……(表達(dá)式31)在這個(gè)表達(dá)式中，d(x，y)、R(x，y)和I2(x，y)是與在像素位置(x，y)處的各個(gè)圖像的顏色相對(duì)應(yīng)的向量。將上面的表達(dá)式作為向量計(jì)算來執(zhí)行。
在表達(dá)式(表達(dá)式31)中，得到了白平衡調(diào)整的圖像R中和閃光燈圖像I2中每個(gè)像素值之間的圖像差值d，但是也可以不計(jì)算白平衡調(diào)整的圖像R中和閃光燈圖像I2中每個(gè)像素值之間的差值，而是如下面的表達(dá)式(表達(dá)式32)所給出的，計(jì)算白平衡調(diào)整的圖像R中的每個(gè)像素值與閃光燈圖像I2中相應(yīng)的像素值的比值，即，圖像比值dd(x，y)＝R(x，y)/(I2(x，y)+e)……(表達(dá)式32)在上面的表達(dá)式(表達(dá)式32)中，“e”是對(duì)其中的元素分別設(shè)置了足夠小的固定值，例如，基底值(floor value)的向量。(表達(dá)式32)中的符號(hào)“/”表示這樣的計(jì)算用向量中的各個(gè)元素除以向量中的元素，并將結(jié)果設(shè)置為向量的各個(gè)元素。使用“e”的目的是防止d(x，y)在I2(x，y)的元素變?yōu)?時(shí)變得無法計(jì)算。
如果正確地得到關(guān)于整個(gè)圖像的在白平衡調(diào)整的圖像R和閃光燈圖像I2之間的圖像差值或圖像比值d(x，y)，則有可能在閃光燈圖像I2的基礎(chǔ)上計(jì)算最終的白平衡調(diào)整的圖像R。也就是說，有可能計(jì)算R(x，y)＝d(x，y)+I2(x，y)或R(x，y)＝(I2(x，y)+e)×d(x，y)。順便提及，符號(hào)“×”表示這樣的計(jì)算用向量的各個(gè)元素乘以向量的元素，并將結(jié)果設(shè)置為向量的各個(gè)元素。
然而，有可能運(yùn)動(dòng)存在部分像素區(qū)域550作為運(yùn)動(dòng)圖像出現(xiàn)，從而使得如果將從上述表達(dá)式(表達(dá)式31)或(表達(dá)式32)計(jì)算出的圖像差值或圖像比值d(x，y)不作修改地施加到像素區(qū)域550，則不能實(shí)現(xiàn)最優(yōu)的顏色。
出于這個(gè)原因，在本實(shí)施例中，通過使用從運(yùn)動(dòng)不存在部分像素區(qū)域551得到的圖像差值或圖像比值d(x，y)執(zhí)行插值來計(jì)算相對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550的最終的像素值，即，最終的白平衡調(diào)整的圖像R。圖像差值或圖像比值d(x，y)被用于執(zhí)行對(duì)運(yùn)動(dòng)存在部分550的像素值校正。
根據(jù)本方法，甚至是對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550，也有可能在保持運(yùn)動(dòng)存在部分像素區(qū)域550的閃光燈圖像I2的紋理的同時(shí)，生成具有與最終的白平衡調(diào)整的圖像R類似的顏色的圖像。
圖18是用于說明插值處理的視圖，所述插值處理通過使用上述的(表達(dá)式31)得到相對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550的最終的校正像素值，上述的(表達(dá)式31)即用于計(jì)算白平衡調(diào)整的圖像R中和閃光燈圖像I2中的每個(gè)像素值之間的圖像差值d的表達(dá)式。
在圖18中，為了便于解釋，數(shù)據(jù)被示為一維排列，并且將在該圖例的基礎(chǔ)上對(duì)處理進(jìn)行說明，但是，實(shí)際上處理是在二維平面上執(zhí)行的。在圖18A到18C的每一個(gè)中，水平軸表示像素位置，而垂直軸表示像素值(亮度或R、G和B值)。
圖18A示出了白平衡調(diào)整的圖像R 860和閃光燈圖像I2861的像素值在運(yùn)動(dòng)不存在部分像素區(qū)域551和運(yùn)動(dòng)存在部分像素區(qū)域550中的轉(zhuǎn)換。
圖18B示出了運(yùn)動(dòng)不存在部分像素區(qū)域551中與運(yùn)動(dòng)存在部分像素區(qū)域550接近的部分的圖像差值d的值862。也就是說，圖18B示出了使用上述的(表達(dá)式31)計(jì)算的值862，即，白平衡調(diào)整的圖像R和閃光燈圖像I2的每個(gè)像素之間的圖像差值d的值862。
在圖18B中示出的運(yùn)動(dòng)存在部分像素區(qū)域550中的虛線表示在與運(yùn)動(dòng)存在部分像素區(qū)域550接近的運(yùn)動(dòng)不存在部分像素區(qū)域551的圖像差值d的值862a和圖像差值d的值862的基礎(chǔ)上估計(jì)的值，即，通過平滑地插入運(yùn)動(dòng)不存在部分像素區(qū)域551的圖像差值d的值862a和862b而獲得的運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像差值d的估計(jì)的值863。
運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像差值d的估計(jì)值863是通過執(zhí)行下面的步驟(1)和(2)而確定的估計(jì)值(1)設(shè)置初始的圖像差值d的步驟；以及(2)借助于按照閃光燈圖像I2的圖像數(shù)據(jù)動(dòng)態(tài)地確定其加權(quán)值的濾波器來校正初始的圖像差值d的步驟。稍后將說明用于運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像差值d的估計(jì)值863的計(jì)算處理方法。
在圖18C中，用點(diǎn)線示出了通過將圖18B中示出的運(yùn)動(dòng)存在部分像素區(qū)域550中的估計(jì)的圖像差值d 863加到圖18A中示出的運(yùn)動(dòng)存在部分像素區(qū)域550中的閃光燈圖像I2861的值而獲得的結(jié)果，作為運(yùn)動(dòng)存在部分像素區(qū)域550中的最終的白平衡調(diào)整的圖像R864。
將在圖18C中的運(yùn)動(dòng)存在部分像素區(qū)域550中用點(diǎn)線示出的該白平衡調(diào)整的圖像R 864和運(yùn)動(dòng)不存在部分像素區(qū)域551中的經(jīng)過白平衡調(diào)整的像素R860作為最終的白平衡調(diào)整的圖像R輸出。最終的輸出圖像變成了這樣的圖像其中，圖18C中示出的在運(yùn)動(dòng)存在部分像素區(qū)域550中用點(diǎn)線示出的白平衡調(diào)整的圖像R 864和運(yùn)動(dòng)不存在部分像素區(qū)域551中的白平衡調(diào)整的圖像R 860平滑地連接。在該輸出圖像中保留了運(yùn)動(dòng)存在部分像素區(qū)域550中閃光燈圖像I2861的紋理。
將會(huì)注意到，即使不是使用由上述的表達(dá)式(表達(dá)式31)給出的圖像差值d，而是將使用上述的表達(dá)式(表達(dá)式32)的圖像比值d用作d(x，y)，也能夠執(zhí)行與上述方法類似的校正方法。也就是說，使用圖像比值d代替圖18B中示出的圖像差值d，并且與圖18B中示出的運(yùn)動(dòng)不存在部分像素區(qū)域551中示出的點(diǎn)線類似，圖像比值d的值被平滑地插入到運(yùn)動(dòng)存在部分像素區(qū)域550中，從而計(jì)算在運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像比值d的估計(jì)值。在那之后，用運(yùn)動(dòng)存在部分像素區(qū)域550中的閃光燈圖像I2861的像素乘以圖像比值d，即，執(zhí)行乘法處理而不是加法處理，借此就能夠計(jì)算運(yùn)動(dòng)存在部分像素區(qū)域550的白平衡調(diào)整的圖像R。
下面將說明使用白平衡調(diào)整的圖像R和閃光燈圖像I2的每個(gè)像素值之間的圖像差值或圖像比值的插值方法的細(xì)節(jié)。
如上所述，通過執(zhí)行下面的步驟(1)和(2)確定運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像差值d的估計(jì)的值863(1)設(shè)置初始的圖像差值d的步驟；以及(2)借助于按照閃光燈圖像I2的圖像數(shù)據(jù)動(dòng)態(tài)地確定其加權(quán)值的濾波器來校正初始的圖像差值d的步驟。
首先，將在下面說明設(shè)置運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像差值d的初始值的處理。
在執(zhí)行了圖17所示流程中步驟S601之后，在步驟S602得到相對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550的每個(gè)像素的圖像差值或圖像比值d(x，y)的初始值。在后面的說明中，將提到得到圖像差值d(x，y)的方法，但是，類似的技術(shù)也能夠應(yīng)用于得到圖像比值d(x，y)的情況。
首先，準(zhǔn)備掩碼圖像M，掩碼圖像M具有的每一個(gè)像素都用兩個(gè)值中的一個(gè)表示，并且對(duì)于運(yùn)動(dòng)不存在部分像素區(qū)域551的每個(gè)像素(x，y)，都設(shè)置為M(x，y)＝1，而對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550的每個(gè)像素(x，y)，都設(shè)置為M(x，y)＝0。
檢查圖像的每個(gè)像素，以便從M(x，y)＝0的像素中，即運(yùn)動(dòng)存在部分像素區(qū)域550的像素中選擇與M(x，y)＝1的像素，即，運(yùn)動(dòng)存在部分像素區(qū)域550，相鄰的像素(由8或4個(gè)鄰近的像素包圍)。
然后，計(jì)算與感興趣的像素相鄰的M(x，y)＝1的像素的圖像差值d(x，y)的平均值。將該平均值設(shè)置為在感興趣的像素的位置(x，y)處的圖像差值d(x，y)的初始值。
下面將參照?qǐng)D16說明具體的處理。例如，如圖16所示，在具有運(yùn)動(dòng)存在部分像素區(qū)域550和運(yùn)動(dòng)不存在部分像素區(qū)域551的圖像的情況中，運(yùn)動(dòng)存在部分像素區(qū)域550中與運(yùn)動(dòng)不存在部分像素區(qū)域551相鄰的像素821的圖像差值d(x，y)的初始值被設(shè)置為運(yùn)動(dòng)不存在部分像素區(qū)域551中與像素821相鄰的像素822、823和824的平均值。
通過類似的技術(shù)確定相對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550中與運(yùn)動(dòng)不存在部分像素區(qū)域551相鄰的像素的初始值。然后，對(duì)于新設(shè)置了其初始值的像素，將掩碼圖像的M(x，y)的值改為1。接著，在對(duì)與M(x，y)＝1的像素相鄰的所有像素(每一個(gè)被8或4個(gè)鄰近的像素包圍)都設(shè)置了初始值之后，從M(x，y)＝0的像素中，即，從包含在運(yùn)動(dòng)存在部分像素區(qū)域550中的像素中，對(duì)新設(shè)置了其初始值的像素設(shè)置M(x，y)＝1。也就是說，從圖16所示的運(yùn)動(dòng)存在部分像素區(qū)域550的周圍部分向中心部分順序地確定運(yùn)動(dòng)存在部分550的圖像差值d(x，y)的初始值。重復(fù)執(zhí)行這一處理，直到所有像素都被設(shè)置為M(x，y)＝1。
通過該處理，確定了包含在運(yùn)動(dòng)存在部分像素區(qū)域550中的所有像素的圖像差值d(x，y)的初始值。該處理就是圖17所示的流程中步驟S602的處理。
在通過上述處理得到了運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像差值d(x，y)的初始值之后，執(zhí)行圖1 6所示流程中的步驟S603到S606的處理。該處理即上述的處理(2)借助于按照閃光燈圖像I2的圖像數(shù)據(jù)動(dòng)態(tài)地確定其加權(quán)值的濾波器來校正初始的圖像差值d的步驟。
在步驟S603中，通過使用濾波器的濾波處理僅僅計(jì)算圖像差值d中與運(yùn)動(dòng)存在部分像素區(qū)域550的像素相關(guān)的初始的圖像差值d的校正值d’。
在本實(shí)施例中，用于計(jì)算初始的圖像差值d的校正值d’的濾波處理所使用的濾波器不是實(shí)施例2中所使用的平滑濾波器，而是其加權(quán)值被按照閃光燈圖像I2的圖像數(shù)據(jù)動(dòng)態(tài)地設(shè)置的濾波器。
例如，下面的表達(dá)式被用作計(jì)算表達(dá)式，以用于借助于與一個(gè)像素值校正處理相對(duì)應(yīng)的濾波器處理，得到在運(yùn)動(dòng)存在部分像素區(qū)域550中的每一個(gè)像素位置(x，y)處的圖像差值d(x，y)的更新的像素值。
d′(x,y,ch)=1Σi,j(|I2(x,y,ch)-I2(i,j,ch)|)Σi,j{w(|I1(x,y,ch)-I2(i,j,ch)|)d(i,j,ch)}]]>……(表達(dá)式33)在上述的表達(dá)式(表達(dá)式33)中，d(x，y，ch)和I2(x，y，ch)分別表示在像素位置(x，y)處的每個(gè)通道(channel)[ch]的差值圖像d和閃光燈圖像I2的像素值。術(shù)語“通道”的意思是顏色圖像的每個(gè)通道，具體來說，即紅、綠和藍(lán)(RGB)通道中的每一個(gè)。此外，d’(x，y，ch)表示在像素位置(x，y)處的每個(gè)通道[ch]的差值圖像d的新的像素值，即，更新的像素值。
并且，上述的表達(dá)式(表達(dá)式33)中的i和j表示用于計(jì)算像素位置(x，y)處的像素差值d的更新的值d’的參考像素的位置。i和j的值的范圍分別為x-k≤i≤x+k和y-k≤j≤y+k，其中，k是自然數(shù)，并且將k設(shè)置為近似為1到3的相對(duì)較小的值。
在k＝1的情況中，用于計(jì)算像素位置(x，y)處的像素差值d的更新的值d’的參考像素僅僅是鄰近像素位置(x，y)的像素。在k＝3的情況中，用于計(jì)算像素位置(x，y)處的像素差值d的更新的值d’的參考像素被設(shè)置為包含排列在包圍像素位置(x，y)的右邊、左邊、上邊和下邊的每一邊上的三個(gè)像素的區(qū)域。k的值是預(yù)設(shè)的值。
在上面的表達(dá)式(表達(dá)式33)中，函數(shù)w(x)是加權(quán)函數(shù)，例如，用下面的表達(dá)式(表達(dá)式34)表示的函數(shù)w(x)=exp(-x22σ2)]]>……(表達(dá)式34)在上面的表達(dá)式(表達(dá)式34)中，α是使用預(yù)設(shè)值的參數(shù)。
通過使用上面的表達(dá)式(表達(dá)式34)示出的加權(quán)函數(shù)w(x)，從上面的表達(dá)式(表達(dá)式33)計(jì)算運(yùn)動(dòng)存在部分像素區(qū)域550中像素位置(x，y)處的圖像差值d(x，y)的值。
如圖17的流程所示，通過使用上面地表達(dá)式(表達(dá)式33)更新運(yùn)動(dòng)存在部分像素區(qū)域550中像素位置(x，y)處的圖像差值d(x，y)的值的處理，即，濾波處理，被反復(fù)地執(zhí)行，直到預(yù)定的條件(將在步驟S604和S605中定義的條件)被滿足。也就是說，在接下來的濾波處理中，從上述的表達(dá)式(表達(dá)式33)計(jì)算的更新的像素值d’(x，y，ch)被設(shè)置為表達(dá)式(表達(dá)式33)的像素d(x，y，ch)的值，并且計(jì)算新的更新的像素值d’(x，y，ch)的處理被重復(fù)地執(zhí)行。
重復(fù)地執(zhí)行通過上述的表達(dá)式(表達(dá)式33)的像素值更新(濾波處理)，以便校正運(yùn)動(dòng)存在部分像素區(qū)域550中像素位置(x，y)處的圖像差值d(x，y)的值，從而無需改變運(yùn)動(dòng)不存在部分像素區(qū)域551的圖像差值d(x，y)的值而校正運(yùn)動(dòng)存在部分像素區(qū)域550中像素位置(x，y)處的圖像差值d(x，y)的值。因此，有可能按照閃光燈圖像I2861的紋理和邊緣獲得平滑(smoothing)運(yùn)動(dòng)存在部分像素區(qū)域550中像素位置(x，y)處的圖像差值d(x，y)的值的效果。
檢查在運(yùn)動(dòng)存在部分像素區(qū)域550中像素位置(x，y)處的圖像差值d(x，y)的值的每個(gè)顏色分量(每個(gè)通道)在該濾波處理中是如何變化的，并且存儲(chǔ)每個(gè)顏色分量的變化的最大值。
然后，在圖17所示的流程的步驟S604，對(duì)于使用上面的表達(dá)式(表達(dá)式33)的像素值更新(濾波處理)，將圖像差值d(x，y)的值的每個(gè)顏色分量(每個(gè)通道)的變化的最大值與預(yù)設(shè)的閾值進(jìn)行比較。也就是說，如果通過一個(gè)濾波處理(使用表達(dá)式33的像素值更新處理)而獲得的更新的值d’和更新前的該像素值d之間的差d’-d小于所述預(yù)設(shè)的閾值，就確定出即使重復(fù)地執(zhí)行濾波處理(使用表達(dá)式33的像素值更新處理)，像素值地變化量也是小的，并且連續(xù)的處理僅僅提供很小的效果。因此，處理使像素值更新處理到達(dá)結(jié)束點(diǎn)，并且前進(jìn)到步驟S606。
也就是說，在步驟S604，如果確定出不滿足“像素值變化量的最大值＞閾值”，則處理前進(jìn)到步驟S606，并且執(zhí)行確定相對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550的圖像差值(圖像比值)d的估計(jì)值的處理。
在步驟S604中，如果確定出滿足“像素值變化量的最大值＞閾值”，則確定出運(yùn)動(dòng)存在部分像素區(qū)域550中像素位置(x，y)處的圖像差值d(x，y)還沒有被平滑地校正，并且處理前進(jìn)到步驟S605。
在步驟S605，確定在步驟S603中通過使用上述的表達(dá)式(表達(dá)式33)執(zhí)行像素值更新處理(濾波處理)的次數(shù)是否大于預(yù)定的閾值數(shù)目。如果滿足“像素值更新處理(濾波處理)的執(zhí)行次數(shù)＞閾值數(shù)目”，則處理前進(jìn)到步驟S606。
如果不滿足“像素值更新處理(濾波處理)的執(zhí)行次數(shù)＞閾值數(shù)目”，則處理返回到步驟S603，并重復(fù)地執(zhí)行根據(jù)上述的表達(dá)式(表達(dá)式33)校正運(yùn)動(dòng)存在部分像素區(qū)域550中像素位置(x，y)處的圖像差值d(x，y)的處理(濾波處理)。
如果在步驟S604確定出不滿足“像素值變化量的最大值＞閾值”，或者如果在步驟S605中確定出滿足“像素值更新處理(濾波處理)的執(zhí)行次數(shù)＞閾值數(shù)目”，則根據(jù)上述的表達(dá)式(表達(dá)式33)校正運(yùn)動(dòng)存在部分像素區(qū)域550中像素位置(x，y)處的圖像差值d(x，y)的處理(濾波處理)被完成，并且處理前進(jìn)到步驟S606，并且執(zhí)行確定相對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域550的圖像差值(圖像比值)d的估計(jì)值的處理。
在步驟S606，將在上述的濾波處理中得到的運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像差值d確定為估計(jì)的圖像差值d。通過該處理計(jì)算出的運(yùn)動(dòng)存在部分像素區(qū)域550中像素位置(x，y)處的圖像差值d(x，y)對(duì)應(yīng)于在圖18B所示的運(yùn)動(dòng)存在部分像素區(qū)域550中的估計(jì)的圖像差值d 863。
然后，在步驟S607，執(zhí)行將通過使用上述的表達(dá)式(表達(dá)式33)的濾波處理而計(jì)算出其值的運(yùn)動(dòng)存在部分像素區(qū)域550中像素位置(x，y)處的圖像差值d(x，y)的值(圖18B所示的估計(jì)的圖像差值d 863)與閃光燈圖像I2(圖18A中示出的閃光燈捕獲的圖像I2861)相加的處理，以便生成運(yùn)動(dòng)存在部分像素區(qū)域550中的白平衡調(diào)整的圖像R。也就是說，從R＝I2+d，計(jì)算出運(yùn)動(dòng)存在部分像素區(qū)域550中的白平衡調(diào)整的圖像R的像素值。
該結(jié)果就是由圖18C的運(yùn)動(dòng)存在部分像素區(qū)域550中的虛線示出的白平衡調(diào)整的圖像R。最終的校正圖像，即白平衡調(diào)整的圖像R是這樣的圖像其中，運(yùn)動(dòng)不存在部分像素區(qū)域551中的白平衡調(diào)整的圖像R 860與運(yùn)動(dòng)存在部分像素區(qū)域550中由虛線示出的白平衡調(diào)整的圖像R相連接。
如圖18C所示，最終的白平衡調(diào)整的圖像R是這樣的圖像在運(yùn)動(dòng)存在部分像素區(qū)域550中由虛線示出的白平衡調(diào)整的圖像R 864與在運(yùn)動(dòng)不存在部分像素區(qū)域551中的白平衡調(diào)整的圖像R 860平滑地連接。此外，在該輸出圖像中，保留了運(yùn)動(dòng)存在部分像素區(qū)域550中閃光燈圖像I2861的紋理。
將會(huì)注意到，即使不是使用由上述的表達(dá)式(表達(dá)式31)給出的圖像差值d，而是使用由上述的表達(dá)式(表達(dá)式32)給出的圖像比值d，也能夠執(zhí)行與上述方法相似的校正方法。在這種情況下，在步驟S607，執(zhí)行這樣的處理將運(yùn)動(dòng)存在部分像素區(qū)域550中圖像位置(x，y)處的圖像比值d(x，y)的值乘以閃光燈圖像I2，其中，在運(yùn)動(dòng)存在部分像素區(qū)域550的值是通過使用圖像比值d的濾波處理來計(jì)算的。上述處理被執(zhí)行，以生成運(yùn)動(dòng)存在部分像素區(qū)域550中的白平衡調(diào)整的圖像R。也就是說，從R＝I2×d，計(jì)算出運(yùn)動(dòng)存在部分像素區(qū)域550中白平衡調(diào)整的圖像R的像素值。
也就是說，使用圖像比值d來替代圖18B中示出的圖像差值d，并且，與圖18B所示的運(yùn)動(dòng)不存在部分像素區(qū)域551中示出的虛線類似，圖像比值d的值被平滑地插入到了運(yùn)動(dòng)存在部分像素區(qū)域550中，由此計(jì)算運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像比值d的估計(jì)值。在那之后，用運(yùn)動(dòng)存在部分像素區(qū)域550中的閃光燈圖像I2561的像素乘以圖像比值d，由此就能夠計(jì)算出運(yùn)動(dòng)存在部分像素區(qū)域550中的白平衡調(diào)整的圖像R。
下面將參照?qǐng)D19說明本實(shí)施例中運(yùn)動(dòng)部分校正像素值計(jì)算部分的結(jié)構(gòu)。
本實(shí)施例中的運(yùn)動(dòng)部分校正像素值計(jì)算部分被設(shè)置成與在之前的實(shí)施例1中提到的圖8所示的運(yùn)動(dòng)部分校正像素值計(jì)算部分310相對(duì)應(yīng)，或者與圖10所示的運(yùn)動(dòng)部分校正像素值計(jì)算部分409相對(duì)應(yīng)。
圖19中示出的結(jié)構(gòu)將被描述。運(yùn)動(dòng)部分校正像素值計(jì)算部分910具有圖像差值(圖像比值)計(jì)算部分911、運(yùn)動(dòng)存在部分像素區(qū)域圖像差值(圖像比值)d初始值計(jì)算部分912、濾波處理部分913和運(yùn)動(dòng)部分最終校正像素值計(jì)算部分914。
圖像差值(圖像比值)計(jì)算部分911接收運(yùn)動(dòng)不存在部分像素區(qū)域白平衡調(diào)整的圖像R 901的輸入和存儲(chǔ)在閃光燈圖像I2存儲(chǔ)幀存儲(chǔ)器902中的閃光燈圖像I2的每個(gè)圖像數(shù)據(jù)的輸入，并且按照上述的表達(dá)式(表達(dá)式31)或(表達(dá)式32)來計(jì)算運(yùn)動(dòng)不存在部分像素區(qū)域中的圖像差值d或圖像比值d。該處理與圖18B中所示的運(yùn)動(dòng)不存在部分像素區(qū)域551中的圖像差值d 862相對(duì)應(yīng)。
運(yùn)動(dòng)存在像素區(qū)域圖像差值(圖像比值)d初始值計(jì)算部分912設(shè)置運(yùn)動(dòng)存在部分像素區(qū)域中的圖像差值(圖像比值)d的初始值。如之前參照?qǐng)D16所說明的，該處理首先將運(yùn)動(dòng)不存在部分像素區(qū)域的鄰近像素的圖像差值(圖像比值)d的平均值設(shè)置為初始值，其中，所述的像素位于運(yùn)動(dòng)存在像素區(qū)域中與運(yùn)動(dòng)不存在像素區(qū)域相鄰的部分中，并且隨后順序地向運(yùn)動(dòng)存在像素區(qū)域內(nèi)部確定圖像差值(圖像比值)的初始值。
濾波處理部分913按照上述的表達(dá)式(表達(dá)式33)執(zhí)行對(duì)在運(yùn)動(dòng)存在像素區(qū)域圖像差值(圖像比值)d初始值計(jì)算部分912中設(shè)置的運(yùn)動(dòng)存在像素區(qū)域圖像差值(圖像比值)d的初始值進(jìn)行更新的濾波處理。該濾波處理是使用基于閃光燈圖像I2生成的濾波器的濾波處理，即，按照上述的表達(dá)式(表達(dá)式33)執(zhí)行更新的濾波處理。
如參照?qǐng)D17的流程所說明的，濾波處理部分913在由一次濾波處理所產(chǎn)生的像素值的最大變化小于預(yù)設(shè)的閾值、或?yàn)V波處理的次數(shù)大于預(yù)設(shè)的閾值次數(shù)的條件下，將使用表達(dá)式(表達(dá)式33)的濾波處理帶到結(jié)束，并且，確定運(yùn)動(dòng)存在像素區(qū)域中圖像差值(圖像比值)的估計(jì)值d。也就是說，確定圖18B中所示的運(yùn)動(dòng)存在部分像素區(qū)域550中估計(jì)的圖像差值d 863。
運(yùn)動(dòng)部分最終校正像素值計(jì)算部分914接收在濾波處理部分913中對(duì)其施行了濾波處理的圖像差值(圖像比值)的估計(jì)值d的輸入，并從圖像I2存儲(chǔ)幀存儲(chǔ)器902接收閃光燈圖像I2的輸入，并且生成運(yùn)動(dòng)存在部分像素區(qū)域550的最終的白平衡調(diào)整的圖像R。也就是說，生成了圖18C中所示的運(yùn)動(dòng)存在部分像素區(qū)域550的最終的白平衡調(diào)整的圖像R。
通過將圖18B所示的運(yùn)動(dòng)存在部分像素區(qū)域550中的估計(jì)的圖像差值d863與圖18A所示的運(yùn)動(dòng)存在部分像素區(qū)域550中的閃光燈捕獲的圖像I2861的值相加而獲得的結(jié)果被設(shè)置為圖18C所示的運(yùn)動(dòng)存在部分像素區(qū)域550的最終的白平衡調(diào)整的圖像R 864，并被作為運(yùn)動(dòng)存在部分像素區(qū)域550的最終的白平衡調(diào)整的圖像R 864輸出。
在使用按照表達(dá)式(表達(dá)式32)得到的白平衡調(diào)整的圖像R和閃光燈捕獲的圖像I2的每個(gè)像素值的圖像比值d的情況下，則將運(yùn)動(dòng)存在部分像素區(qū)域550中的圖像比值d與閃光燈捕獲的圖像I2的每個(gè)像素的元素相乘，以生成并輸出最終的白平衡調(diào)整的圖像R。
如上所述，根據(jù)本實(shí)施例的像素值校正處理，有可能借助于使用濾波器的處理對(duì)運(yùn)動(dòng)存在部分像素區(qū)域執(zhí)行適當(dāng)?shù)念伾D(zhuǎn)換，由此，運(yùn)動(dòng)存在部分像素區(qū)域中校正像素值變成了保留了閃光燈捕獲的圖像I2的紋理的像素值，并且能夠生成自然得多的圖像。
當(dāng)執(zhí)行根據(jù)第二實(shí)施例的使用平滑濾波器的處理時(shí)，很難執(zhí)行符合原始圖像的圖像差值或圖像比值的像素校正，并且依照?qǐng)D像的種類，可能會(huì)出現(xiàn)邊緣部分失真(fuzziness)和顏色模糊(blur)。但是，本實(shí)施例采用了這樣的結(jié)構(gòu)其按照表達(dá)式33設(shè)置了使用確定的系數(shù)的像素值轉(zhuǎn)換表達(dá)式，以便將第二圖像，即閃光燈圖像I2的像素值也考慮進(jìn)去，并執(zhí)行濾波處理。因此，反映閃光燈圖像I2的紋理的像素值校正被執(zhí)行，并且即使在運(yùn)動(dòng)存在部分中，也解決了邊緣部分失真、顏色模糊等問題，從而有可能生成反映閃光燈圖像I2的紋理的圖像。
在本實(shí)施例中，參照了在其中執(zhí)行了白平衡調(diào)整處理的例子，但是，上述根據(jù)本發(fā)明的技術(shù)不僅能夠被應(yīng)用到白平衡調(diào)整處理，而且還能夠被應(yīng)用到這樣的情況在例如修改特定圖像的一部分的像素值的圖像處理中，修改圖像的一部分，使其變得與另一個(gè)圖像的特征相似。也就是說，按照表達(dá)式33設(shè)置像素值轉(zhuǎn)換表達(dá)式，該像素值轉(zhuǎn)換表達(dá)式使用通過使用第二圖像的特征而確定的系數(shù)，并且執(zhí)行濾波處理以修改第一圖像的一部分的像素值，從而有可能生成這樣的圖像其具有第二圖像的特征，同時(shí)又保留了第一圖像的顏色。
上述的實(shí)施例1到3中的每一個(gè)都具有這樣的結(jié)構(gòu)連續(xù)地捕獲三個(gè)圖像，即，無閃光燈輔助的圖像、閃光燈圖像和無閃光燈輔助的圖像，并且生成一個(gè)輸出圖像。在上述每個(gè)實(shí)施例中，都假定這些圖像具有相同的分辨率。但是，由于期望對(duì)具有例如幾百萬像素分辨率的圖像執(zhí)行處理，因此為了執(zhí)行該處理，需要存儲(chǔ)三個(gè)圖像的圖像數(shù)據(jù)，進(jìn)而使得具有能夠存儲(chǔ)各種處理圖像數(shù)據(jù)的大容量的存儲(chǔ)器變成是必需的。因此，隨著像素?cái)?shù)目的增加，將要執(zhí)行的計(jì)算的數(shù)量將變得巨大。
在圖1所示的裝置結(jié)構(gòu)中，如果例如CCD(電荷耦合器件)被用作固態(tài)攝像元件103，則很難以高速率連續(xù)捕獲幾百萬像素的圖像。一般的數(shù)碼相機(jī)具有這樣的功能以高速率從固態(tài)攝像元件103讀取低分辨率的圖像，并在圖像捕獲期間以例如1/30秒的間隔在照相機(jī)所附的顯示器上相繼顯示該圖像。
本實(shí)施例提供一種結(jié)構(gòu)的例子，它能夠通過使用以這種方式捕獲的低分辨率的圖像，以高速率高效率地解決環(huán)境光和閃光燈光之間的色溫差。
示出根據(jù)本實(shí)施例的圖像處理設(shè)備和攝像裝置的方框圖與圖1類似，并且對(duì)該方框圖的說明與之前的說明類似，在這里省略。
圖20是用于說明本實(shí)施例的處理過程的流程圖。下面將說明圖20所示的流程圖的每一個(gè)步驟。
首先，在步驟S701，通過使用預(yù)先設(shè)置的光圈和快門速度，不使用閃光燈執(zhí)行圖像捕獲，并且在步驟S702，將以在步驟S701拍攝的圖像為基礎(chǔ)的低分辨率圖像I1L存儲(chǔ)在存儲(chǔ)器中。低分辨率圖像I1L是其分辨率比固態(tài)攝像元件103(參照?qǐng)D1)的原始捕獲圖像的分辨率低的圖像。有多種方法可用于從攝像的高分辨率圖像生成低分辨率圖像I1L。例如，存在簡(jiǎn)單地子采樣(subsampling)像素的方法和得到多個(gè)鄰近像素的平均值并形成一個(gè)新的像素的方法。如上面所提到的，一般的數(shù)碼相機(jī)具有以例如每秒30幀的速度在低分辨率顯示器上顯示在圖像捕獲期間由固態(tài)攝像元件103攝像的圖像的功能，此時(shí)所使用的方法能夠被不作修改地應(yīng)用。
當(dāng)以在步驟S701中拍攝的圖像為基礎(chǔ)的無閃光燈輔助的低分辨率圖像I1L將被存儲(chǔ)到存儲(chǔ)器中時(shí)，該存儲(chǔ)處理可以被作為低分辨率圖像數(shù)據(jù)存儲(chǔ)處理來執(zhí)行，因而將被存儲(chǔ)到存儲(chǔ)器中的數(shù)據(jù)量較小，并且將數(shù)據(jù)存儲(chǔ)到存儲(chǔ)器中所需的處理時(shí)間被減少。因此，處理能夠以高速前進(jìn)到下一個(gè)步驟。
然后，在步驟S703中，使用閃光燈拍攝圖像，并且在步驟S704中，兩個(gè)圖像，即以在步驟S703中拍攝的圖像為基礎(chǔ)的閃光燈輔助的高分辨率圖像I2H和閃光燈輔助的低分辨率圖像I2L被存儲(chǔ)在存儲(chǔ)器中。閃光燈輔助的低分辨率圖像I2L是低分辨率圖像，其分辨率與無閃光燈輔助的低分辨率圖像I1L的分辨率相同，并且得到閃光燈輔助的低分辨率圖像I2L的方法與上述方法相同。閃光燈輔助的高分辨率圖像I2H是具有將被最終輸出的期望分辨率的圖像，并且它的分辨率比無閃光燈輔助的低分辨率圖像I1L和閃光燈輔助的低分辨率圖像I2L的分辨率高。
然后，在步驟S705，再次不使用閃光燈拍攝圖像，并且在步驟S706，以在步驟S705中拍攝的圖像為基礎(chǔ)的無閃光燈輔助的低分辨率圖像I3L被存儲(chǔ)在存儲(chǔ)器中。無閃光燈輔助的低分辨率圖像I3L具有與無閃光燈輔助的低分辨率圖像I1L和閃光燈輔助的低分辨率圖像I2L相同的分辨率，并且得到無閃光燈輔助的低分辨率圖像I3L的方法與上述方法相同。
接下來步驟S707到S713的處理與在之前的實(shí)施例中提到的圖2的流程圖的步驟S107到S113的處理完全相同，從而省略對(duì)它們的說明。
但是，在步驟S707到S713中將要處理的目標(biāo)圖像數(shù)據(jù)是低分辨率圖像，即無閃光燈輔助的低分辨率圖像I1L、閃光燈輔助的低分辨率圖像I2L和無閃光燈輔助的低分辨率圖像I3L。白平衡調(diào)整的圖像R是基于這些低分辨率圖像而生成的。對(duì)于運(yùn)動(dòng)部分，生成了具有校正像素值的白平衡調(diào)整的圖像R，所述校正像素值是通過如下處理計(jì)算的之前在實(shí)施例1中提到的使用RadialBasis Function(徑向基函數(shù))的處理、基于之前在實(shí)施例2中提到的使用平滑濾波器的平滑處理的處理、如實(shí)施例3所述的使用基于閃光燈捕獲的圖像設(shè)置其加權(quán)值的濾波器的處理等。
最后，在步驟S714，在基于低分辨率圖像生成的白平衡調(diào)整的圖像R、閃光燈輔助的低分辨率圖像I2L和閃光燈輔助的高分辨率圖像I2H的基礎(chǔ)上生成最終的高分辨率圖像RH。
首先，相對(duì)于閃光燈輔助的高分辨率圖像I2H的每個(gè)像素I2H(x，y)，得到與閃光燈輔助的低分辨率圖像I2L和白平衡調(diào)整的圖像R的各自的位置(x’，y’)相關(guān)的像素位置I2L(x’，y’)和R(x’，y’)的像素值。
順便提及，x’和y’不一定是整數(shù)。作為得到(x’，y’)處的像素值的方法，采用通常被廣泛使用的圖像插值技術(shù)，例如最近鄰(nearest in the vicinity of)方法，雙線性(bilinear)方法和雙三次(bicubic)方法。
然后，得到基于低分辨率圖像生成的白平衡調(diào)整的圖像R的像素R(x’，y’)的像素值與閃光燈輔助的低分辨率圖像I2L的相應(yīng)像素I2L(x’，y’)的像素值的比值。
相對(duì)于該基于低分辨率圖像數(shù)據(jù)的像素值比值R(x’，y’)∶I2L(x’，y’)，設(shè)置基于高分辨率圖像數(shù)據(jù)的像素值比值RH(x，y)∶I2H(x，y)。
由于閃光燈輔助的高分辨率圖像I2H的每個(gè)像素值是已知的，因此將像素I2H(x，y)與基于低分辨率圖像的像素值比值R(x’，y’)∶I2L(x’，y’)相乘以計(jì)算最終的高分辨率圖像RH的像素RH(x，y)。
對(duì)閃光燈輔助的高分辨率圖像I2H的所有像素執(zhí)行該計(jì)算，以生成最終的經(jīng)過白平衡調(diào)的高分辨率圖像RH。也就是說，從低分辨率圖像獲得用于從閃光燈輔助的低分辨率圖像I2L轉(zhuǎn)換到白平衡調(diào)整的圖像R的轉(zhuǎn)換信息，并基于該轉(zhuǎn)換信息，執(zhí)行轉(zhuǎn)換高分辨率圖像，即，閃光燈輔助的高分辨率圖像I2H的每個(gè)像素值的處理，以生成高分辨率白平衡調(diào)整的圖像RH。
根據(jù)該處理方法，步驟S707到S713的處理中處理的目標(biāo)圖像數(shù)據(jù)是低分辨率圖像，即，無閃光燈輔助的低分辨率圖像I1L、閃光燈輔助的低分辨率圖像I2L和無閃光燈輔助的低分辨率圖像I3L，并且，步驟S707到S713被作為基于低分辨率圖像生成白平衡調(diào)整的圖像R的處理而執(zhí)行。因此，像素的數(shù)目被減少，并且計(jì)算量也被減少，從而使得高速處理成為可能。同樣，對(duì)于運(yùn)動(dòng)部分的校正處理，有可能在諸如之前在實(shí)施例1中提到的使用RadialBasis Function(徑向基函數(shù))的處理、或基于之前在實(shí)施例2中提到的使用平滑濾波器的平滑處理的處理、或如實(shí)施例3所述的使用基于閃光燈捕獲的圖像設(shè)置其加權(quán)值的濾波器的處理的任何處理中，都有可能獲得高速處理。
此外，由于僅僅需要將兩個(gè)無閃光燈輔助而捕獲的圖像數(shù)據(jù)中每一個(gè)的低分辨率圖像數(shù)據(jù)存儲(chǔ)到存儲(chǔ)器中，因此本實(shí)施例能夠被應(yīng)用于具有小存儲(chǔ)容量的裝置和模型。
因此，本實(shí)施例的處理也能夠在使用具有相對(duì)較低的處理能力的處理器，并具有小存儲(chǔ)器容量的模型和裝置中執(zhí)行，并且，使得這些模型和裝置能夠?qū)⒆罱K獲得的圖像數(shù)據(jù)作為高分辨率白平衡調(diào)整的圖像數(shù)據(jù)輸出。
以上，已經(jīng)參照具體實(shí)施例詳細(xì)說明了本發(fā)明。但是，很顯然，在不脫離本發(fā)明的精神的前提下，本領(lǐng)域技術(shù)人員能夠進(jìn)行修改和替換。也就是說，以上對(duì)本發(fā)明的說明是說明性的，不應(yīng)解釋為限制本發(fā)明。本發(fā)明的精神將從所附的權(quán)利要求書中理解到。順便提及，在上述每個(gè)實(shí)施例中，術(shù)語“閃光燈”被用于說明在暗的物體的情況中發(fā)射光的照明設(shè)備，但是該設(shè)備也被稱為閃光燈(strobe)。因此，本發(fā)明并不僅限于閃光燈，而是能夠廣泛地應(yīng)用到在暗的物體的情況下發(fā)射光的照明設(shè)備。
上文中提到的處理序列能夠由硬件、軟件或硬件和軟件兩者的合成結(jié)構(gòu)執(zhí)行。在將要執(zhí)行使用軟件的處理的情況中，記錄處理序列的程序可以被以可執(zhí)行狀態(tài)安裝在包括在專用硬件中的計(jì)算機(jī)的存儲(chǔ)器中，或者程序可以被以可執(zhí)行狀態(tài)安裝在能夠執(zhí)行各種處理的通用計(jì)算機(jī)中。
例如，可以預(yù)先將該程序記錄在用作記錄介質(zhì)的硬盤或ROM(只讀存儲(chǔ)器)中。或者，該程序可以被暫時(shí)地或永久地存儲(chǔ)(記錄)在諸如軟盤、CD-ROM(光盤只讀存儲(chǔ)器)、MO(磁光)盤、DVD(數(shù)字光盤)、磁盤和半導(dǎo)體存儲(chǔ)器的可移動(dòng)記錄介質(zhì)中。這些可移動(dòng)記錄介質(zhì)能夠被作為所謂的軟件包(package software)提供。
不僅可以從上述類型的記錄介質(zhì)將該程序安裝到計(jì)算機(jī)中，而且還可以將該程序從下載網(wǎng)站無線地發(fā)送到計(jì)算機(jī)，或者可以經(jīng)由諸如LAN(局域網(wǎng))或因特網(wǎng)的網(wǎng)絡(luò)將該程序有線發(fā)送到計(jì)算機(jī)。計(jì)算機(jī)接收以這種方式發(fā)送的程序，并能夠?qū)⒃摮绦虬惭b到諸如內(nèi)部硬盤的記錄介質(zhì)中。
將會(huì)注意到，在說明書中說明的各種處理不僅可以按照說明在時(shí)序的基礎(chǔ)上被執(zhí)行，而且可以根據(jù)執(zhí)行處理的裝置的處理能力和要求被并行或個(gè)別地執(zhí)行。此外，此處使用的術(shù)語“系統(tǒng)”的意思是多個(gè)設(shè)備的邏輯集合結(jié)構(gòu)，而不是限于各個(gè)構(gòu)成設(shè)備都包含在同一機(jī)架中的結(jié)構(gòu)。
工業(yè)適用性如上所述，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，有可能基于運(yùn)動(dòng)不存在區(qū)域的像素值，對(duì)諸如運(yùn)動(dòng)存在區(qū)域的特定區(qū)域的像素值高效率地執(zhí)行校正處理，所述運(yùn)動(dòng)不存在區(qū)域的像素值例如白平衡調(diào)整的圖像數(shù)據(jù)和諸如運(yùn)動(dòng)存在區(qū)域的特定區(qū)域的閃光燈圖像數(shù)據(jù)。因此，有可能生成平滑地連接到白平衡調(diào)整的圖像數(shù)據(jù)的圖像，并且也有可能生成反映有關(guān)運(yùn)動(dòng)存在區(qū)域的閃光燈圖像數(shù)據(jù)的紋理信息的圖像。因此，本發(fā)明能夠被應(yīng)用于用來捕獲具有運(yùn)動(dòng)部分的圖像的數(shù)碼相機(jī)等。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，在對(duì)運(yùn)動(dòng)存在區(qū)域的像素值校正處理中，在運(yùn)動(dòng)存在區(qū)域中設(shè)置了白平衡調(diào)整的圖像數(shù)據(jù)與閃光燈圖像數(shù)據(jù)之間的比值或差值的初始值之后，由平滑濾波器執(zhí)行平滑處理，并且計(jì)算運(yùn)動(dòng)存在區(qū)域中的圖像差值或圖像比值的估計(jì)值，以便在該估計(jì)值的基礎(chǔ)上執(zhí)行對(duì)運(yùn)動(dòng)存在區(qū)域的像素值校正，從而使得使用減少的計(jì)算量的高速處理得以實(shí)現(xiàn)。因此，本發(fā)明能夠被應(yīng)用于用來捕獲具有運(yùn)動(dòng)部分的圖像的數(shù)碼相機(jī)等。
此外，根據(jù)如本發(fā)明的第三實(shí)施例所述的像素值校正處理，有可能借助于使用濾波器的處理對(duì)運(yùn)動(dòng)存在部分像素區(qū)域執(zhí)行適當(dāng)?shù)念伾D(zhuǎn)換，并且相對(duì)于運(yùn)動(dòng)存在部分像素區(qū)域的校正像素值變成了保留了閃光燈捕獲的圖像I2的紋理的像素值，從而有可能生成自然得多的圖像。當(dāng)執(zhí)行使用平滑濾波器的處理時(shí)，很難執(zhí)行相對(duì)于原始圖像的圖像差值或圖像比值的像素校正，并且根據(jù)圖像的類型，有可能出現(xiàn)邊緣部分失真和顏色模糊。但是，根據(jù)如第三實(shí)施例所述的像素值校正處理，提供了這樣一種結(jié)構(gòu)其根據(jù)使用確定的系數(shù)的像素值轉(zhuǎn)換表達(dá)式執(zhí)行濾波處理，以便將閃光燈捕獲的圖像I2的像素值考慮進(jìn)去。因此，反映閃光燈捕獲的圖像I2的紋理的像素值校正被執(zhí)行，并且即使在運(yùn)動(dòng)存在區(qū)域中，也解決了邊緣部分失真、顏色模糊等問題，從而有可能生成反映閃光燈捕獲的圖像I2的紋理的圖像。
此外，根據(jù)本發(fā)明，在執(zhí)行了使用低分辨率圖像的白平衡調(diào)整運(yùn)動(dòng)存在部分的像素值校正之后，有可能在校正圖像數(shù)據(jù)與低分辨率圖像數(shù)據(jù)相對(duì)應(yīng)的基礎(chǔ)上生成高分辨率校正圖像，從而利用小存儲(chǔ)器容量獲得了高速處理，并且能夠最終獲得高分辨率校正圖像。因此，本發(fā)明適合用于具有有線存儲(chǔ)器容量的數(shù)碼相機(jī)。
權(quán)利要求
1.一種圖像處理方法，包括下列步驟基于具有不同像素值的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的相對(duì)應(yīng)的像素值計(jì)算圖像差值或圖像比值；基于圖像數(shù)據(jù)的特定區(qū)域的圖像差值或圖像比值計(jì)算估計(jì)值；基于在所述估計(jì)值計(jì)算步驟計(jì)算出的所述特定區(qū)域的圖像差值或圖像比值的估計(jì)值、以及所述第二圖像數(shù)據(jù)，生成該特定區(qū)域的校正圖像。
2.如權(quán)利要求1所述的圖像處理方法，其中，所述圖像差值d(x，y)包括如下計(jì)算的向量d(x，y)＝A(x，y)-B(x，y)其中，A(x，y)表示所述第一圖像數(shù)據(jù)的每個(gè)像素(x，y)的像素值向量，而B(x，y)表示所述第二圖像數(shù)據(jù)的相應(yīng)像素(x，y)的像素值向量；并且所述圖像比值d(x，y)是d(x，y)＝A(x，y)/(B(x，y)+e)其中e是固定值。
3.如權(quán)利要求1所述的圖像處理方法，其中所述第一圖像數(shù)據(jù)包括以無閃光燈輔助而捕獲的圖像和閃光燈輔助而捕獲的圖像為基礎(chǔ)對(duì)其施行了像素值調(diào)整的白平衡調(diào)整的圖像R，所述第二圖像數(shù)據(jù)包括閃光燈輔助的圖像I2，并且所述特定區(qū)域包括在其中檢測(cè)到物體的運(yùn)動(dòng)的運(yùn)動(dòng)存在區(qū)域；所述圖像差值d(x，y)包括如下計(jì)算的向量d(x，y)＝R(x，y)-I2(x，y)其中R(x，y)表示該白平衡調(diào)整的圖像R的每個(gè)像素(x，y)的像素值向量，而I2(x，y)表示該閃光燈輔助的圖像I2的相應(yīng)像素(x，y)的像素值向量；圖像比值d(x，y)是d(x，y)＝R(x，y)/(I2(x，y)+e)其中e是固定值；并且所述校正圖像生成步驟包括下述步驟以在所述估計(jì)值計(jì)算步驟中計(jì)算出的所述運(yùn)動(dòng)存在區(qū)域中的圖像差值或圖像比值的估計(jì)值、以及所述閃光燈輔助的圖像I2為基礎(chǔ)，生成該運(yùn)動(dòng)存在區(qū)域的校正圖像。
4.如權(quán)利要求1所述的圖像處理方法，其中，所述計(jì)算估計(jì)值的步驟還包括初始值設(shè)置步驟，以在所述特定區(qū)域的鄰近區(qū)域中確定的圖像差值或圖像比值為基礎(chǔ)，設(shè)置所述圖像數(shù)據(jù)的該特定區(qū)域的圖像差值或圖像比值的初始值；以及平滑處理執(zhí)行步驟，執(zhí)行對(duì)在該初始值設(shè)置步驟中設(shè)置的初始值施加的基于平滑濾波器的平滑處理。
5.如權(quán)利要求4所述的圖像處理方法，其中，所述設(shè)置初始值的步驟包括下述步驟以初始值設(shè)置目標(biāo)像素的鄰近像素的圖像差值或圖像比值為基礎(chǔ)，設(shè)置該初始值設(shè)置目標(biāo)像素的初始值，其中，已經(jīng)為所述鄰近像素設(shè)置了圖像差值或圖像比值。
6.如權(quán)利要求5所述的圖像處理方法，其中，所述設(shè)置初始值的步驟包括下述步驟應(yīng)用掩碼圖像，以便區(qū)分所述初始值設(shè)置目標(biāo)像素與已經(jīng)為其設(shè)置了圖像差值或圖像比值的像素。
7.如權(quán)利要求1所述的圖像處理方法，其中所述生成校正圖像的步驟還包括下述步驟以在所述估計(jì)值計(jì)算步驟中計(jì)算出的所述特定區(qū)域中的圖像差值或圖像比值的估計(jì)值、以及所述第二圖像數(shù)據(jù)為基礎(chǔ)，生成該特定區(qū)域的校正圖像；以及如果使用圖像差值，則所述生成校正圖像的步驟被執(zhí)行為將在所述估計(jì)值計(jì)算步驟中計(jì)算出的該特定區(qū)域中的圖像差值的估計(jì)值與該特定區(qū)域中的所述第二圖像數(shù)據(jù)相加的步驟；并且如果使用圖像比值，則所述校正圖像生成步驟被執(zhí)行為將在所述估計(jì)值計(jì)算步驟中計(jì)算出的該特定區(qū)域的圖像比值的估計(jì)值與該特定區(qū)域中的所述第二圖像數(shù)據(jù)相乘的步驟。
8.如權(quán)利要求1所述的圖像處理步驟，其中所述第一圖像數(shù)據(jù)包括以無閃光燈輔助而捕獲的圖像和閃光燈輔助而捕獲的圖像為基礎(chǔ)對(duì)其施行了像素值調(diào)整的白平衡調(diào)整的圖像R；所述第二圖像數(shù)據(jù)包括閃光燈輔助的圖像I2；所述特定區(qū)域包括在其中檢測(cè)到物體的運(yùn)動(dòng)的運(yùn)動(dòng)存在區(qū)域；以及如果使用圖像差值，則所述生成校正圖像的步驟被執(zhí)行為將在所述估計(jì)值計(jì)算步驟中計(jì)算出的該特定區(qū)域中的圖像差值的估計(jì)值與所述運(yùn)動(dòng)存在區(qū)域中的該閃光燈輔助的圖像I2相加的步驟；并且如果使用圖像比值，則所述校正圖像生成步驟被執(zhí)行為將在所述估計(jì)值計(jì)算步驟中計(jì)算出的該特定區(qū)域中的圖像比值的估計(jì)值與該運(yùn)動(dòng)存在區(qū)域中的該閃光燈輔助的圖像I2相乘的步驟。
9.如權(quán)利要求1所述的圖像處理方法，其中，所述計(jì)算估計(jì)值的步驟還包括初始值設(shè)置步驟，以在所述特定區(qū)域的鄰近區(qū)域中確定的圖像差值或圖像比值為基礎(chǔ)，設(shè)置所述圖像數(shù)據(jù)的該特定區(qū)域的圖像差值或圖像比值的初始值；以及濾波處理步驟，按照像素值轉(zhuǎn)換表達(dá)式對(duì)在所述初始值設(shè)置步驟中設(shè)置的初始值執(zhí)行像素值轉(zhuǎn)換處理，并校正該特定區(qū)域的圖像差值或圖像比值，其中，所述像素值轉(zhuǎn)換表達(dá)式對(duì)應(yīng)于使用基于所述第二圖像數(shù)據(jù)設(shè)置其加權(quán)值的濾波器的濾波處理。
10.如權(quán)利要求9所述的圖像處理方法，其中，所述初始值設(shè)置步驟還包括下述步驟以初始值設(shè)置目標(biāo)像素的鄰近像素的圖像差值或圖像比值為基礎(chǔ)，設(shè)置該初始值設(shè)置目標(biāo)像素的初始值，其中，已經(jīng)為所述鄰近像素設(shè)置了圖像差值或圖像比值。
11.如權(quán)利要求9所述的圖像處理方法，其中，所述初始值設(shè)置步驟還包括下述步驟應(yīng)用掩碼圖像，以便區(qū)分所述初始值設(shè)置目標(biāo)像素與已經(jīng)為其設(shè)置了圖像差值或圖像比值的像素。
12.如權(quán)利要求9所述的圖像處理方法，其中所述第一圖像數(shù)據(jù)包括以無閃光燈輔助而捕獲的圖像和閃光燈輔助而捕獲的圖像為基礎(chǔ)對(duì)其施行了像素值調(diào)整的白平衡調(diào)整的圖像R；所述第二圖像數(shù)據(jù)包括閃光燈輔助的圖像I2；所述特定區(qū)域包括在其中檢測(cè)到物體的運(yùn)動(dòng)的運(yùn)動(dòng)存在區(qū)域；并且所述濾波處理步驟包括下述步驟使用包含函數(shù)的表達(dá)式執(zhí)行像素值校正處理，其中，所述函數(shù)的加權(quán)值是根據(jù)構(gòu)成所述閃光燈輔助的圖像I2的圖像數(shù)據(jù)的像素的像素值而設(shè)置的。
13.如權(quán)利要求9所述的圖像處理方法，其中所述濾波處理步驟包括使用下述轉(zhuǎn)換表達(dá)式執(zhí)行像素值校正處理的步驟d′(x,y,ch)=1Σi,jw(|I2(x,y,ch)-I2(i,j,ch)|)Σi,j{w(|I2(x,y,ch)-I2(i,j,ch)|)d(i,j,ch)}]]>其中，d(x，y，ch)是與像素位置(x，y)處的每個(gè)通道[ch]的圖像差值或圖像比值d相對(duì)應(yīng)的值，而I2(x，y，ch)是與所述閃光燈輔助的圖像I2的像素值相對(duì)應(yīng)的值；d’(x，y，ch)是在該像素位置(x，y)處的通道[ch]的圖像差值d的更新的像素值；i和j是用于計(jì)算像素位置(x，y)處的值d的更新的值d’的參考像素位置；如果k表示任意自然數(shù)，則x-k≤i≤x+k和y-k≤j≤y+k，并且w(x)是根據(jù)構(gòu)成閃光燈輔助的圖像I2的圖像數(shù)據(jù)的像素的像素值而設(shè)置加權(quán)值的加權(quán)函數(shù)。
14.如權(quán)利要求13所述的圖像處理方法，其中，所述轉(zhuǎn)換函數(shù)中的加權(quán)函數(shù)w(x)是由下述表達(dá)式表示的函數(shù)w(x)=exp(-x22σ2)]]>
15.如權(quán)利要求13所述的圖像處理方法，其中，上述轉(zhuǎn)換表達(dá)式中用于計(jì)算像素位置(x，y)的值的更新的值的參考像素位置i、j為x-k≤i≤x+k和y-k≤j≤y+k，其中，k是任意自然數(shù)，并且k是1、2和3中的任何一個(gè)。
16.如權(quán)利要求1所述的圖像處理方法，還包括步驟在存儲(chǔ)器中存儲(chǔ)基于無閃光燈輔助的圖像的無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L；在存儲(chǔ)器中存儲(chǔ)基于閃光燈輔助的圖像的閃光燈輔助的高分辨率圖像數(shù)據(jù)和閃光燈分辨率圖像數(shù)據(jù)I2L；在存儲(chǔ)其中存儲(chǔ)基于無閃光燈輔助的圖像的閃光燈輔助的低分辨率圖像數(shù)據(jù)I3L；并且，以所述無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L和所述無閃光燈輔助的低分辨率圖像數(shù)據(jù)I3L為基礎(chǔ)檢測(cè)運(yùn)動(dòng)存在區(qū)域；其中所述無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L被設(shè)置為第一圖像數(shù)據(jù)，而所述閃光燈輔助的低分辨率圖像數(shù)據(jù)I2L被設(shè)置為第二圖像數(shù)據(jù)，以便計(jì)算估計(jì)值并生成白平衡調(diào)整的圖像R，包括白平衡調(diào)整處理和對(duì)運(yùn)動(dòng)區(qū)域的像素值校正處理；并且在所述校正圖像生成步驟中，以所述像素值經(jīng)過調(diào)整的圖像R、所述閃光燈輔助的高分辨率圖像數(shù)據(jù)I2H和閃光燈輔助的低分辨率圖像數(shù)據(jù)I2L的相應(yīng)像素值為基礎(chǔ)生成最終的高分辨率校正圖像RH。
17.如權(quán)利要求16所述的圖像處理方法，其中，所述校正圖像生成步驟還包括步驟獲得有關(guān)所述像素值經(jīng)過調(diào)整的圖像R的相對(duì)于所述閃光燈輔助的低分辨率圖像數(shù)據(jù)I2L的相應(yīng)像素的像素值轉(zhuǎn)換信息；以及執(zhí)行閃光燈輔助的高分辨率圖像數(shù)據(jù)I2H的像素值轉(zhuǎn)換。
18.一種圖像處理裝置，包括計(jì)算部件，用于基于具有不同像素值的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的相應(yīng)像素值計(jì)算圖像差值或圖像比值；估計(jì)部件，用于基于圖像數(shù)據(jù)的特定區(qū)域的圖像差值或圖像比值計(jì)算估計(jì)值；生成部件，用于基于由所述估計(jì)部件計(jì)算出的所述特定區(qū)域的圖像差值或圖像比值的估計(jì)值、以及所述第二圖像數(shù)據(jù)，生成該特定區(qū)域的校正圖像。
19.如權(quán)利要求18所述的圖像處理裝置，其中，所述估計(jì)部件還包括初始值設(shè)置單元，用于以在所述特定區(qū)域的鄰近區(qū)域中確定的圖像差值或圖像比值為基礎(chǔ)，設(shè)置所述圖像數(shù)據(jù)的該特定區(qū)域的圖像差值或圖像比值的初始值；以及平滑處理執(zhí)行單元，用于執(zhí)行對(duì)由所述初始值設(shè)置單元設(shè)置的初始值施加的基于平滑濾波器的平滑處理。
20.如權(quán)利要求18所述的圖像處理裝置，其中，所述估計(jì)部件還包括初始值設(shè)置單元，用于以在所述特定區(qū)域的鄰近區(qū)域中確定的圖像差值或圖像比值為基礎(chǔ)，設(shè)置所述圖像數(shù)據(jù)的該特定區(qū)域的圖像差值或圖像比值的初始值；以及濾波單元，用于按照像素值轉(zhuǎn)換表達(dá)式對(duì)在所述初始值設(shè)置步驟中設(shè)置的初始值執(zhí)行像素值轉(zhuǎn)換處理，并校正該特定區(qū)域的圖像差值或圖像比值，其中，所述像素值轉(zhuǎn)換表達(dá)式對(duì)應(yīng)于使用以所述第二圖像數(shù)據(jù)為基礎(chǔ)設(shè)置其加權(quán)值的濾波器的濾波處理。
21.一種計(jì)算機(jī)可讀程序，用于使計(jì)算機(jī)執(zhí)行下列步驟基于具有不同像素值的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的相應(yīng)像素值計(jì)算圖像差值或圖像比值；基于圖像數(shù)據(jù)的特定區(qū)域的圖像差值或圖像比值計(jì)算估計(jì)值；基于在所述估計(jì)值計(jì)算步驟中計(jì)算出的所述特定區(qū)域的圖像差值或圖像比值的估計(jì)值、以及所述第二圖像數(shù)據(jù)，生成該特定區(qū)域的校正圖像。
22.如權(quán)利要求21所述的計(jì)算機(jī)程序，還包括步驟在存儲(chǔ)器中存儲(chǔ)基于無閃光燈輔助的圖像的無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L；在存儲(chǔ)器中存儲(chǔ)基于閃光燈輔助的圖像的閃光燈輔助的高分辨率圖像數(shù)據(jù)I2H和閃光燈分辨率圖像數(shù)據(jù)I2L；在存儲(chǔ)器中存儲(chǔ)基于無閃光燈輔助的圖像的無閃光燈輔助的低分辨率圖像數(shù)據(jù)I3L；以及以所述無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L和所述無閃光燈輔助的低分辨率圖像數(shù)據(jù)I3L為基礎(chǔ)檢測(cè)運(yùn)動(dòng)存在區(qū)域；其中，該無閃光燈輔助的低分辨率圖像數(shù)據(jù)I1L被設(shè)置為所述第一圖像數(shù)據(jù)，而該閃光燈輔助的低分辨率圖像數(shù)據(jù)I2L被設(shè)置為所述第二圖像數(shù)據(jù)，以便計(jì)算所述估計(jì)值，并生成白平衡調(diào)整的圖像R，包括白平衡調(diào)整處理和對(duì)運(yùn)動(dòng)區(qū)域的像素值校正處理；并且，在所述校正圖像生成步驟中，以所述像素值經(jīng)過調(diào)整的圖像R、所述閃光燈輔助的高分辨率圖像數(shù)據(jù)I2H和所述閃光燈輔助的低分辨率圖像數(shù)據(jù)I2L的相應(yīng)像素值為基礎(chǔ)，生成最終的高分辨率校正圖像RH。
全文摘要
被攝像的圖像數(shù)據(jù)的運(yùn)動(dòng)存在區(qū)域的像素值能夠被高效率地校正。對(duì)諸如運(yùn)動(dòng)存在區(qū)域的特定區(qū)域的像素值校正包括步驟設(shè)置白平衡調(diào)整的圖像數(shù)據(jù)與存在閃光燈光照射的圖像數(shù)據(jù)之間的差值或比值的初始值；按照基于存在閃光燈光照射的圖像數(shù)據(jù)指定加權(quán)值的轉(zhuǎn)換公式轉(zhuǎn)換該初始值，或者按照用于計(jì)算運(yùn)動(dòng)存在區(qū)域中的圖像差值或圖像比值的平滑濾波器轉(zhuǎn)換該初始值；并且使用估計(jì)值校正運(yùn)動(dòng)存在區(qū)域的像素值。在使用低分辨率圖像的白平衡調(diào)整之后和在校正運(yùn)動(dòng)存在區(qū)域的像素值之后，基于校正圖像與低分辨率圖像數(shù)據(jù)的對(duì)應(yīng)性生成高分辨率校正圖像。
文檔編號(hào)H04N9/73GK1846447SQ20048002533
公開日2006年10月11日 申請(qǐng)日期2004年8月10日 優(yōu)先權(quán)日2003年9月4日
發(fā)明者山田類 申請(qǐng)人:索尼株式會(huì)社