本發(fā)明涉及進(jìn)行動(dòng)態(tài)圖像的白平衡校正的圖像處理裝置、圖像處理方法。

背景技術(shù)：

以往，進(jìn)行自動(dòng)校正動(dòng)態(tài)圖像的白平衡(wb)的自動(dòng)白平衡(awb)處理。此時(shí)，如果以幀單位計(jì)算最佳的wb增益并使用計(jì)算出的wb增益進(jìn)行awb處理，則圖像的顏色和明亮度按照每幀變化，會(huì)感覺到閃爍，很難觀察圖像。因此，在awb處理中，使用根據(jù)多幀的wb增益求出的滯后增益(hysteresisgain)(抑制了每幀的值的上下變動(dòng)的wb增益)進(jìn)行wb校正。

但是，例如在日本特開2003-348601號(hào)公報(bào)中記載了如下的自動(dòng)白平衡控制方法和電子照相機(jī)：在動(dòng)態(tài)圖像拍攝模式中，在動(dòng)態(tài)圖像拍攝開始時(shí)進(jìn)行了awb處理后，不實(shí)施動(dòng)態(tài)圖像拍攝中的定期的awb處理，而是固定wb增益，并且監(jiān)視ae評(píng)價(jià)值，在ae評(píng)價(jià)值變動(dòng)了規(guī)定值以上的情況下，自動(dòng)解除wb增益的固定，再次執(zhí)行awb處理。由此，能夠減輕控制部的處理負(fù)擔(dān)，能夠?qū)崿F(xiàn)電子照相機(jī)等的低價(jià)格化。

而且，上述日本特開2003-348601號(hào)公報(bào)所記載的技術(shù)不以減輕閃爍為目的，但是，通過固定wb增益，能夠期待抑制由于wb增益按照每幀變動(dòng)而引起的閃爍的效果。進(jìn)而，根據(jù)場(chǎng)景變化自動(dòng)解除wb增益的固定，由此，能夠設(shè)定適合于每個(gè)場(chǎng)景的白平衡。

但是，在上述日本特開2003-348601號(hào)公報(bào)所記載的技術(shù)中，當(dāng)從鎖定(固定)wb增益的狀態(tài)向解除鎖定的狀態(tài)轉(zhuǎn)移時(shí)，在鎖定剛剛解除之后，wb增益在幀間大幅變化，閃爍變得明顯。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是鑒于上述情況而完成的，其目的在于，提供如下的圖像處理裝置、圖像處理方法：能夠在解除了白平衡用的增益的鎖定后，抑制閃爍，并且白平衡能夠在短時(shí)間內(nèi)進(jìn)行追隨。

本發(fā)明的某個(gè)方式的圖像處理裝置具有：自動(dòng)白平衡增益運(yùn)算部，其按照每幀計(jì)算構(gòu)成動(dòng)態(tài)圖像的一幀的白平衡增益gs，并且按照每幀根據(jù)時(shí)間序列的多幀的白平衡增益gs計(jì)算滯后增益gh；白平衡校正部，其使用所述滯后增益gh進(jìn)行白平衡校正；控制部，其在從進(jìn)行鎖定指示到進(jìn)行鎖定解除指示為止的鎖定中，將鎖定指示時(shí)刻的滯后增益gh作為固定增益gf，通過所述固定增益gf，使所述白平衡校正部進(jìn)行白平衡校正；以及增益調(diào)整部，其在進(jìn)行了所述鎖定解除指示后，對(duì)所述滯后增益gh進(jìn)行校正而計(jì)算修正滯后增益gh’，當(dāng)按照時(shí)間序列通過整數(shù)n表示幀的編號(hào)時(shí)，使用0以上1以下的權(quán)重α，計(jì)算出幀n的修正滯后增益gh’(n)，其中，幀(n-1)的修正滯后增益gh’(n-1)和幀n的白平衡增益gs(n)之間的變化率d越大，則該權(quán)重α的值越大，所述控制部對(duì)所述白平衡校正部進(jìn)行控制，使得代替幀n的滯后增益gh(n)而使用所述修正滯后增益gh’(n)來進(jìn)行對(duì)幀n的白平衡校正。

本發(fā)明的某個(gè)方式的圖像處理方法具有以下步驟：自動(dòng)白平衡增益運(yùn)算步驟，按照每幀計(jì)算構(gòu)成動(dòng)態(tài)圖像的一幀的白平衡增益gs，并且按照每幀根據(jù)時(shí)間序列的多幀的白平衡增益gs計(jì)算滯后增益gh；白平衡校正步驟，使用所述滯后增益gh進(jìn)行白平衡校正；控制步驟，在從進(jìn)行鎖定指示后到進(jìn)行鎖定解除指示為止的鎖定中，將鎖定指示時(shí)刻的滯后增益gh作為固定增益gf，通過所述固定增益gf，在所述白平衡校正步驟中進(jìn)行白平衡校正；以及增益調(diào)整步驟，在進(jìn)行了所述鎖定解除指示后，對(duì)所述滯后增益gh進(jìn)行校正而計(jì)算修正滯后增益gh’，在按照時(shí)間序列通過整數(shù)n表示幀的編號(hào)時(shí)，使用0以上1以下的權(quán)重α，計(jì)算出針對(duì)幀n的修正滯后增益gh’(n)，其中，幀(n-1)的修正滯后增益gh’(n-1)和幀n的白平衡增益gs(n)的變化率d越大，則該權(quán)重α的值越大，所述控制步驟是如下步驟：對(duì)所述白平衡校正步驟進(jìn)行控制，使得代替幀n的滯后增益gh(n)而使用所述修正滯后增益gh’(n)來進(jìn)行對(duì)幀n的白平衡校正。

附圖說明

圖1是示出應(yīng)用了本發(fā)明的實(shí)施方式1的圖像處理裝置的攝像裝置的結(jié)構(gòu)的框圖。

圖2是示出上述實(shí)施方式1的圖像處理部的白平衡調(diào)整功能的結(jié)構(gòu)的框圖。

圖3是示出應(yīng)用了上述實(shí)施方式1的圖像處理裝置的攝像裝置的作用的流程圖。

圖4是示出上述實(shí)施方式1中、白平衡用的增益的鎖定中和前后的增益變化的狀況的一例的時(shí)序圖。

圖5是示出上述實(shí)施方式1中、計(jì)算鎖定剛剛解除之后的幀的應(yīng)用增益的狀況的線圖。

圖6是用于說明上述實(shí)施方式1中、計(jì)算鎖定剛剛解除之后的幀的應(yīng)用增益時(shí)使用的選擇增益的選擇方法的圖。

圖7是示出上述實(shí)施方式1中、計(jì)算應(yīng)用于圖像的增益時(shí)使用的權(quán)重α的例子的線圖。

圖8是示出上述實(shí)施方式1中、在進(jìn)行了鎖定指示時(shí)和進(jìn)行了鎖定解除指示時(shí)產(chǎn)生被攝體亮度的差分的狀況的線圖。

圖9是示出上述實(shí)施方式1中、使權(quán)重α根據(jù)系數(shù)k變化的狀況的線圖。

圖10是示出上述實(shí)施方式1中、使改變權(quán)重α的系數(shù)k根據(jù)進(jìn)行了鎖定指示時(shí)和進(jìn)行了鎖定解除指示時(shí)的被攝體亮度的差分變化的例子的線圖。

圖11是示出上述實(shí)施方式1中、計(jì)算對(duì)鎖定剛剛解除之后的幀的下一幀應(yīng)用的修正滯后增益的狀況的線圖。

圖12是示出上述實(shí)施方式1中、表示白平衡處于鎖定中的鎖定中顯示的一例的圖。

圖13是示出上述實(shí)施方式1中、表示白平衡已調(diào)整的已調(diào)整顯示的一例的圖。

圖14是示出上述實(shí)施方式1中、表示白平衡處于調(diào)整中的調(diào)整中顯示的一例的圖。

具體實(shí)施方式

下面，參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。

[實(shí)施方式1]

圖1～圖14示出本發(fā)明的實(shí)施方式1，圖1是示出應(yīng)用了圖像處理裝置的攝像裝置的結(jié)構(gòu)的框圖。

如圖1所示，該攝像裝置具有鏡頭11、鏡頭驅(qū)動(dòng)部12、鏡頭驅(qū)動(dòng)控制電路13、攝像元件14、攝像電路15、模擬/數(shù)字轉(zhuǎn)換部(a/d轉(zhuǎn)換部)16、總線17、sdram18、圖像處理部19、動(dòng)態(tài)圖像編解碼器20、存儲(chǔ)器接口(存儲(chǔ)器i/f)21、記錄介質(zhì)22、lcd驅(qū)動(dòng)器23、lcd24、電子取景器(evf)25、眼睛傳感器26、ae處理部27、閃存28、操作部29、微計(jì)算機(jī)30。

鏡頭11是使被攝體的光學(xué)像成像在攝像元件14的攝像區(qū)域中的攝像光學(xué)系統(tǒng)。該鏡頭11例如具有用于調(diào)節(jié)焦點(diǎn)位置并進(jìn)行對(duì)焦的對(duì)焦鏡頭、用于對(duì)要穿過的光束的范圍進(jìn)行控制的光學(xué)光圈。

鏡頭驅(qū)動(dòng)部12包括致動(dòng)器等驅(qū)動(dòng)源，使對(duì)焦鏡頭在鏡頭11的光軸方向上移動(dòng)，使光學(xué)光圈的開口直徑變化。

鏡頭驅(qū)動(dòng)控制電路13根據(jù)來自微計(jì)算機(jī)30的指令，通過經(jīng)由鏡頭驅(qū)動(dòng)部12驅(qū)動(dòng)對(duì)焦鏡頭，對(duì)對(duì)焦位置進(jìn)行調(diào)整，通過驅(qū)動(dòng)光學(xué)光圈，對(duì)光圈值進(jìn)行調(diào)整。

攝像元件14是如下的攝像部：通過對(duì)由鏡頭11成像的被攝體的光學(xué)像進(jìn)行光電轉(zhuǎn)換并進(jìn)行攝像，生成模擬圖像信號(hào)并進(jìn)行輸出，例如構(gòu)成為具有原色拜耳排列的濾色器的彩色攝像元件。

攝像電路15針對(duì)從攝像元件14讀出的模擬圖像信號(hào)降低復(fù)位噪聲等，之后進(jìn)行波形整形，進(jìn)而進(jìn)行增益放大以使得成為目標(biāo)明亮度。

a/d轉(zhuǎn)換部16將從攝像電路15輸出的模擬圖像信號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)(適當(dāng)稱為圖像數(shù)據(jù))。

總線17是用于將攝像裝置內(nèi)的某個(gè)場(chǎng)所產(chǎn)生的各種數(shù)據(jù)或控制信號(hào)轉(zhuǎn)送到攝像裝置內(nèi)的其他場(chǎng)所的轉(zhuǎn)送路。本實(shí)施方式中的總線17與a/d轉(zhuǎn)換部16、sdram18、圖像處理部19、動(dòng)態(tài)圖像編解碼器20、存儲(chǔ)器接口21、lcd驅(qū)動(dòng)器23、evf25、眼睛傳感器26、ae處理部27、微計(jì)算機(jī)30連接。

從a/d轉(zhuǎn)換部16輸出的圖像數(shù)據(jù)經(jīng)由總線17進(jìn)行轉(zhuǎn)送，暫時(shí)存儲(chǔ)在sdram18中。

sdram18是暫時(shí)存儲(chǔ)從a/d轉(zhuǎn)換部16輸出的圖像數(shù)據(jù)、由圖像處理部19進(jìn)行處理后或處理中途的圖像數(shù)據(jù)、由動(dòng)態(tài)圖像編解碼器20進(jìn)行處理后或處理中途的圖像數(shù)據(jù)等各種數(shù)據(jù)的存儲(chǔ)部。

圖像處理部19對(duì)圖像數(shù)據(jù)進(jìn)行各種圖像處理，生成顯示用或記錄用的圖像。例如，圖像處理部19進(jìn)行去馬賽克處理、顏色再現(xiàn)處理、噪聲降低處理等圖像處理。進(jìn)而，該圖像處理部19具有作為對(duì)圖像的白平衡進(jìn)行調(diào)整的白平衡調(diào)整部的功能，參照?qǐng)D2和圖3等在后面說明該白平衡調(diào)整功能的結(jié)構(gòu)和作用。

動(dòng)態(tài)圖像編解碼器20以motionjpeg或mpeg等適當(dāng)處理方式對(duì)動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行壓縮解壓縮。另外，關(guān)于靜態(tài)圖像，該動(dòng)態(tài)圖像編解碼器20可以兼作為壓縮解壓縮部，也可以不同于動(dòng)態(tài)圖像編解碼器20來設(shè)置jpeg處理部等。通過微計(jì)算機(jī)30對(duì)由該動(dòng)態(tài)圖像編解碼器20進(jìn)行處理后的動(dòng)態(tài)圖像數(shù)據(jù)附加文件頭等，經(jīng)由存儲(chǔ)器接口21，作為動(dòng)態(tài)圖像文件記錄在記錄介質(zhì)22中。

存儲(chǔ)器接口21是進(jìn)行在記錄介質(zhì)22中記錄圖像數(shù)據(jù)的控制的記錄控制部，進(jìn)而，還從記錄介質(zhì)22中讀出圖像數(shù)據(jù)。

記錄介質(zhì)22是非易失地存儲(chǔ)由圖像處理部19進(jìn)行處理后的記錄用的圖像數(shù)據(jù)(動(dòng)態(tài)圖像數(shù)據(jù)、靜態(tài)圖像數(shù)據(jù)等)的記錄部，例如由能夠相對(duì)于攝像裝置進(jìn)行拆裝的存儲(chǔ)卡等構(gòu)成。因此，記錄介質(zhì)22不需要是攝像裝置固有的結(jié)構(gòu)。

lcd驅(qū)動(dòng)器23讀出sdram18中存儲(chǔ)的圖像數(shù)據(jù)并將其轉(zhuǎn)換為影像信號(hào)，對(duì)lcd24進(jìn)行驅(qū)動(dòng)控制，使lcd24顯示基于影像信號(hào)的圖像。

lcd24是通過上述lcd驅(qū)動(dòng)器23的驅(qū)動(dòng)控制來顯示圖像、并且顯示該攝像裝置的各種信息的顯示部。

evf25是如下的顯示部：經(jīng)由目鏡等放大觀察圖像，顯示圖像數(shù)據(jù)的圖像，并且顯示該攝像裝置的各種信息。

這里，在lcd24或evf25中進(jìn)行的攝像裝置的各種信息的顯示中，包含表示白平衡是處于鎖定中、處于調(diào)整中、還是已調(diào)整的顯示。

眼睛傳感器26配設(shè)在evf25的附近，是用于檢測(cè)是否存在接近物體的傳感器。例如，在對(duì)evf25進(jìn)行目鏡觀察時(shí)，通過該眼睛傳感器26檢測(cè)到存在接近物體(用戶的眼睛)。進(jìn)而，如后所述，眼睛傳感器26還用作在設(shè)定了動(dòng)態(tài)圖像拍攝模式時(shí)用于供用戶進(jìn)行鎖定白平衡或鎖定解除的操作的操作部。

ae處理部27根據(jù)從a/d轉(zhuǎn)換部16輸出的圖像數(shù)據(jù)測(cè)定被攝體亮度，例如計(jì)算apex系統(tǒng)中的bv值。這里計(jì)算出的bv值用于基于微計(jì)算機(jī)30的自動(dòng)曝光(ae)控制、即鏡頭11的光學(xué)光圈的控制、光學(xué)快門或電子快門的曝光時(shí)間的控制、基于所設(shè)定的iso感光度等的亮度增益的控制等。

閃存28是非易失地存儲(chǔ)由微計(jì)算機(jī)30執(zhí)行的處理程序(包含用于通過圖像處理裝置執(zhí)行圖像處理方法的程序即圖像處理程序)、該攝像裝置的各種信息的存儲(chǔ)介質(zhì)。這里，作為閃存28存儲(chǔ)的信息，例如舉出用于確定攝像裝置的機(jī)型名稱和制造編號(hào)、圖像處理中使用的參數(shù)、表、函數(shù)或用戶設(shè)定的設(shè)定值等作為幾個(gè)例子。通過微計(jì)算機(jī)30來讀取該閃存28存儲(chǔ)的信息。

操作部29用于對(duì)該攝像裝置進(jìn)行各種操作輸入，包含用于接通/斷開攝像裝置的電源的電源按鈕、圖像的拍攝指示中使用的釋放按鈕、用于進(jìn)行記錄圖像的再現(xiàn)的再現(xiàn)按鈕、用于進(jìn)行攝像裝置的設(shè)定等的菜單按鈕、項(xiàng)目的選擇操作中使用的十字鍵和選擇項(xiàng)目的確定操作中使用的ok按鈕等操作按鈕。

這里，釋放按鈕用于靜態(tài)圖像的拍攝指示，并且用于指示動(dòng)態(tài)圖像的記錄開始和記錄結(jié)束，例如構(gòu)成為具有1st(第一)釋放開關(guān)和2nd(第二)釋放開關(guān)的兩級(jí)式操作按鈕。

并且，能夠使用菜單按鈕、十字鍵、ok按鈕等進(jìn)行設(shè)定的項(xiàng)目包括拍攝模式(靜態(tài)圖像拍攝模式、動(dòng)態(tài)圖像拍攝模式等)、記錄模式(記錄像素?cái)?shù)、壓縮形式、壓縮率等)、再現(xiàn)模式等。當(dāng)對(duì)該操作部29進(jìn)行操作時(shí)，與操作內(nèi)容對(duì)應(yīng)的信號(hào)輸出到微計(jì)算機(jī)30。

微計(jì)算機(jī)30是對(duì)攝像裝置進(jìn)行總括控制的控制部。微計(jì)算機(jī)30在從操作部29受理用戶的操作輸入后、或從眼睛傳感器26輸入檢測(cè)結(jié)果后，根據(jù)閃存28中存儲(chǔ)的處理程序，從閃存2中讀入處理所需要的參數(shù)，執(zhí)行與操作內(nèi)容對(duì)應(yīng)的各種順序。

例如，微計(jì)算機(jī)30在設(shè)定了靜態(tài)圖像拍攝模式時(shí)，根據(jù)是否由眼睛傳感器26檢測(cè)到存在接近物體，判定是否正在進(jìn)行目鏡觀察。并且，微計(jì)算機(jī)30在設(shè)定了動(dòng)態(tài)圖像拍攝模式時(shí)，根據(jù)眼睛傳感器26的檢測(cè)結(jié)果，判定為進(jìn)行了來自用戶的鎖定指示的輸入或進(jìn)行了來自用戶的鎖定解除指示的輸入。這里，鎖定指示是用于固定白平衡用的增益的指示，鎖定解除指示是用于解除白平衡用的增益的固定的指示。

具體而言，在動(dòng)態(tài)圖像拍攝模式中，通過使手等物體接近眼睛傳感器26，在第一次檢測(cè)到接近物體的情況下設(shè)為鎖定指示的輸入，在第二次檢測(cè)到接近物體的情況下設(shè)為鎖定解除指示的輸入等。

但是，使用眼睛傳感器26的輸入指示的方法不限于此。例如，也可以通過在眼睛傳感器26的附近擺動(dòng)手掌，在檢測(cè)到接近的物體的有無連續(xù)切換的情況下設(shè)為鎖定指示或鎖定解除指示的輸入。由此，能夠可靠地避免非意圖的物體接近眼睛傳感器26的情況下的誤動(dòng)作等。

關(guān)于來自用戶的鎖定指示和鎖定解除指示的輸入，不僅能夠通過眼睛傳感器26進(jìn)行，還能夠通過設(shè)置在操作部29上的按鈕、開關(guān)、觸摸面板等進(jìn)行。但是，當(dāng)在動(dòng)態(tài)圖像拍攝時(shí)對(duì)按鈕等進(jìn)行操作時(shí)，圖像有時(shí)抖動(dòng)，所以，通過使用能夠以非接觸的方式進(jìn)行鎖定指示和鎖定解除指示的眼睛傳感器26，可以避免這種抖動(dòng)。

另外，在攝像裝置附帶遙控器的情況下，也可以經(jīng)由遙控器進(jìn)行鎖定指示和鎖定解除指示的輸入?；蛘撸ㄟ^在智能手機(jī)上安裝用于遠(yuǎn)程操作攝像裝置的程序，也可以從智能手機(jī)進(jìn)行鎖定指示和鎖定解除指示的輸入。

接著，圖2是示出圖像處理部19的白平衡調(diào)整功能的結(jié)構(gòu)的框圖。

作為白平衡調(diào)整功能的結(jié)構(gòu)，圖像處理部19具有自動(dòng)白平衡(awb)增益運(yùn)算部31、增益調(diào)整部32、光源顏色適合度判定部33、白平衡校正部34、亮度測(cè)定部35。

圖像處理部19中的白平衡調(diào)整功能可以用于靜態(tài)圖像和動(dòng)態(tài)圖像中的任意一方，但是，下面，主要舉出用于動(dòng)態(tài)圖像時(shí)的例子進(jìn)行說明。

awb增益運(yùn)算部31按照每幀計(jì)算構(gòu)成動(dòng)態(tài)圖像的一幀的白平衡(wb)增益gs，并且按照每幀根據(jù)時(shí)間序列的多幀的wb增益gs計(jì)算滯后增益gh。

即，awb增益運(yùn)算部31計(jì)算構(gòu)成彩色圖像的rgb各成分中的、應(yīng)用于r成分的增益gr和應(yīng)用于b成分的增益gb。僅對(duì)r成分和b成分計(jì)算增益是因?yàn)?，利用另外的亮度調(diào)整電路等對(duì)圖像的明亮度進(jìn)行調(diào)整即可，所以，不使亮度相當(dāng)成分即g成分變化(因此，也可以說針對(duì)g成分的增益gg為gg＝1)。下面，代表這些增益gr、gb，僅表述為增益g等。

在計(jì)算增益g時(shí)，首先，awb增益運(yùn)算部31根據(jù)以幀單位取得的動(dòng)態(tài)圖像數(shù)據(jù)中的一幀的圖像數(shù)據(jù)，計(jì)算適合于將該一幀圖像中的白色的被攝體顯示為白色的wb增益gs。即，當(dāng)按照時(shí)間序列通過整數(shù)n表示構(gòu)成動(dòng)態(tài)圖像數(shù)據(jù)的幀的編號(hào)時(shí)，awb增益運(yùn)算部31按照每幀來計(jì)算針對(duì)第n個(gè)幀n的wb增益gs(n)。

接著，awb增益運(yùn)算部31例如根據(jù)當(dāng)前幀n的wb增益gs(n)和過去的1個(gè)以上的幀n-1、n-2、…的wb增益gs(n-1)、gs(n-2)、…，計(jì)算應(yīng)用于當(dāng)前幀n的圖像數(shù)據(jù)的滯后增益gh(n)。

作為一例，awb增益運(yùn)算部31根據(jù)當(dāng)前幀n的wb增益gs(n)和前一幀(n-1)的滯后增益gh(n-1)，計(jì)算當(dāng)前幀n的滯后增益gh(n)(使用前一幀(n-1)的wb增益gs(n-1)計(jì)算滯后增益gh(n-1)，所以，如果使用該計(jì)算法，則當(dāng)前幀n的滯后增益gh(n)是根據(jù)當(dāng)前幀和過去的1個(gè)以上的幀的wb增益gs而計(jì)算的)。不限于該例子，滯后增益gh可以使用公知的適當(dāng)計(jì)算方法，但是，采用抑制增益值按照每幀上下變動(dòng)并追隨于拍攝場(chǎng)景的白平衡的變化的方法即可。

包含白平衡被鎖定的鎖定中(將白平衡被鎖定的期間適當(dāng)稱為鎖定期間)在內(nèi)，awb增益運(yùn)算部31按照每幀進(jìn)行這種滯后增益gh(n)的計(jì)算。

在進(jìn)行鎖定解除指示而白平衡的鎖定期間結(jié)束后，增益調(diào)整部32對(duì)應(yīng)用于圖像的滯后增益gh進(jìn)行校正，計(jì)算修正滯后增益gh’。

在鎖定解除指示后的、由光源顏色適合度判定部33判定為調(diào)整了白平衡的狀態(tài)之前的期間(以下適當(dāng)稱為調(diào)整中期間)內(nèi)，進(jìn)行基于該增益調(diào)整部32的增益值的調(diào)整。因此，通過微計(jì)算機(jī)30進(jìn)行控制，使得在該調(diào)整中期間以外，增益調(diào)整部32的動(dòng)作停止。由此，增益調(diào)整部32不進(jìn)行動(dòng)作，所以，能夠?qū)崿F(xiàn)處理負(fù)荷的減輕和消耗電力的削減。

這里，圖4是示出白平衡用的增益的鎖定中和前后的增益變化的狀況的一例的時(shí)序圖。另外，圖4的橫軸通過幀編號(hào)來表示時(shí)間的經(jīng)過。

在由微計(jì)算機(jī)30進(jìn)行鎖定指示的幀nl之前，增益gr、gb根據(jù)拍攝場(chǎng)景而變化。然后，在從進(jìn)行了鎖定指示的幀nl到進(jìn)行了鎖定解除指示的幀n0的鎖定中，微計(jì)算機(jī)30進(jìn)行控制，以使得將鎖定指示時(shí)刻的滯后增益作為圖5所示的固定增益gf，通過該固定增益gf，使白平衡校正部34進(jìn)行白平衡校正。因此，在進(jìn)行了鎖定解除指示的幀n0之前，維持進(jìn)行了鎖定指示的幀nl的增益gr、gb。在幀n0之后，增益gr、gb再次根據(jù)拍攝場(chǎng)景而變化。

此時(shí)，如圖5的虛線所示，在從幀nl到幀n0的鎖定中，也進(jìn)行基于awb增益運(yùn)算部31的滯后增益gh(n)的計(jì)算。此時(shí)，進(jìn)行了鎖定解除指示的幀n0的滯后增益gh(n0)的增益值和在鎖定中應(yīng)用的固定增益gf的增益值有時(shí)相差規(guī)定值(例如識(shí)別為產(chǎn)生了顏色變化的規(guī)定值)以上，所以，當(dāng)在鎖定解除指示后立即應(yīng)用滯后增益gh時(shí)，白平衡的變化增大，會(huì)識(shí)別到閃爍。

為了減輕這種閃爍而進(jìn)行的調(diào)整是基于增益調(diào)整部32的滯后增益gh的增益值的調(diào)整，通過該調(diào)整來計(jì)算修正滯后增益gh’。在后面詳細(xì)說明該增益調(diào)整部32如何計(jì)算修正滯后增益gh’。

光源顏色適合度判定部33按照每幀判定是否是調(diào)整了白平衡的狀態(tài)(適合于光源顏色的狀態(tài))。光源顏色適合度判定部33例如在應(yīng)用于幀圖像的白平衡用的增益的時(shí)間變化減小而逐漸接近一定的值時(shí)，能夠判定為適合于光源顏色。但是，也可以使用其他的適當(dāng)方法來判定是否適合于光源顏色。

白平衡校正部34根據(jù)微計(jì)算機(jī)30的控制，除了鎖定期間和上述調(diào)整中期間以外，使用由awb增益運(yùn)算部31計(jì)算出的滯后增益gh進(jìn)行白平衡調(diào)整。并且，白平衡校正部34根據(jù)微計(jì)算機(jī)30的控制，在鎖定期間內(nèi)使用固定增益gf進(jìn)行白平衡調(diào)整。進(jìn)而，白平衡校正部34根據(jù)微計(jì)算機(jī)30的控制，在上述調(diào)整中期間內(nèi)使用由增益調(diào)整部32調(diào)整后的修正滯后增益gh’進(jìn)行白平衡調(diào)整。

亮度測(cè)定部35測(cè)定幀圖像的被攝體亮度。如后面參照?qǐng)D8～圖10等說明的那樣，這里測(cè)定出的被攝體亮度用于對(duì)計(jì)算修正滯后增益gh’時(shí)使用的權(quán)重α進(jìn)行校正。

另外，在圖像處理裝置例如應(yīng)用于攝像裝置的情況下，如上所述，由于設(shè)置了測(cè)定被攝體亮度的ae處理部27，所以，也可以省略亮度測(cè)定部35，使用由ae處理部27測(cè)定出的被攝體亮度(該情況下，ae處理部27兼作為亮度測(cè)定部)。

接著，圖3是示出應(yīng)用了圖像處理裝置的攝像裝置的作用的流程圖。主要通過執(zhí)行閃存28中存儲(chǔ)的處理程序的微計(jì)算機(jī)30的控制，作為包含圖像處理部19的攝像裝置內(nèi)的各部的動(dòng)作來進(jìn)行該圖3所示的處理。

在未圖示的主處理中，在攝像裝置設(shè)定為動(dòng)態(tài)圖像拍攝模式且在lcd24等中進(jìn)行實(shí)時(shí)取景顯示時(shí)，例如當(dāng)通過按壓釋放按鈕而指示了動(dòng)態(tài)圖像的記錄開始時(shí)，進(jìn)入該處理，將處理中使用的標(biāo)志adj初始化為0(步驟s0)。另外，在圖3中，與編程中的使用方法同樣地使用等號(hào)“＝”。即，除了標(biāo)注“？”的情況以外，“adj＝”表示將“＝”的右邊的值代入標(biāo)志adj中。

這里，標(biāo)志adj是表示是否是由上述增益調(diào)整部32進(jìn)行增益值的調(diào)整的調(diào)整中期間的標(biāo)志，在0時(shí)表示不是調(diào)整中期間，在1時(shí)表示是調(diào)整中期間。

并且，在該初始化的時(shí)刻，通過微計(jì)算機(jī)30的控制，停止增益調(diào)整部32的動(dòng)作。

然后，開始進(jìn)行動(dòng)態(tài)圖像的記錄(步驟s1)。

如上所述，每當(dāng)取得構(gòu)成動(dòng)態(tài)圖像的幀圖像時(shí)，awb增益運(yùn)算部31計(jì)算僅所取得的幀的wb增益gs、以及所取得的幀和過去的幀的滯后增益gh(步驟s2)。

根據(jù)微計(jì)算機(jī)30的控制，這里計(jì)算出的滯后增益gh例如暫時(shí)存儲(chǔ)在sdram18(或者也可以是圖像處理部19或微計(jì)算機(jī)30中的未圖示的存儲(chǔ)部等。以下同樣。)中(步驟s3)。

然后，根據(jù)經(jīng)由作為操作部發(fā)揮功能的眼睛傳感器26(或操作部29，以下同樣)的來自用戶的輸入指示，微計(jì)算機(jī)30判定是否進(jìn)行了用于鎖定白平衡的鎖定指示(步驟s4)。

這里，在判定為未進(jìn)行鎖定指示的情況下，判定標(biāo)志adj是否為1(步驟s4a)。

例如在剛剛開始進(jìn)行該圖3所示的處理之后等，在上述步驟s0中設(shè)定為adj＝0，所以，這里判定為標(biāo)志adj不是1。

該情況下，白平衡校正部34使用滯后增益gh(n)，針對(duì)幀n進(jìn)行白平衡校正(步驟s13a)。

然后，將圖13所示的已調(diào)整顯示24a重疊在步驟s13a中進(jìn)行了白平衡調(diào)整后的幀圖像上，顯示在作為顯示部的例如lcd24中(步驟s16)。

這里，圖13是示出表示白平衡已調(diào)整的已調(diào)整顯示24a的一例的圖。在該圖13所示的顯示例中，顯示表示設(shè)定為執(zhí)行自動(dòng)白平衡的模式的“awb”的文字，但是，沒有附加后述圖12的鎖定中顯示24l所示的表示鎖定中的文字“-l”。進(jìn)而，文字顏色和文字部分背景顏色也不是圖12的鎖定中顯示24l所示的反轉(zhuǎn)顏色，而是通常的顏色。

然后，例如根據(jù)是否再次按壓了釋放按鈕，判定是否指示了動(dòng)態(tài)圖像的記錄結(jié)束(步驟s18)。

這里，在判定為未指示動(dòng)態(tài)圖像的記錄結(jié)束的情況下，返回步驟s2，進(jìn)行上述處理。

在進(jìn)行這種步驟s2、s3、s4、s4a、s13a、s16、s18的循環(huán)處理(既不是鎖定期間，也不是調(diào)整中期間，而是通常期間的處理)的過程中，例如在經(jīng)由眼睛傳感器26等操作部進(jìn)行了鎖定指示的情況下，在上述步驟s4中判定為進(jìn)行了鎖定指示。

該情況下，假設(shè)在增益調(diào)整部32處于動(dòng)作中時(shí)，在微計(jì)算機(jī)30進(jìn)行控制以使得停止增益調(diào)整部32的動(dòng)作后，進(jìn)入鎖定期間的處理，將在進(jìn)行了鎖定指示的時(shí)刻取得的最新的滯后增益gh作為固定增益gf，例如保存在sdram18中(步驟s5)。

然后，根據(jù)微計(jì)算機(jī)30的控制，白平衡校正部34針對(duì)所取得的幀圖像，使用固定增益gf進(jìn)行白平衡調(diào)整(步驟s6)。

另一方面，即使在鎖定中，如上所述，awb增益運(yùn)算部31也計(jì)算wb增益gs和滯后增益gh(步驟s7)，將計(jì)算出的滯后增益gh例如暫時(shí)存儲(chǔ)在sdram18中(步驟s8)。

接著，步驟s6中進(jìn)行了白平衡調(diào)整后的幀圖像顯示在作為顯示部的例如lcd24中。在該lcd24的顯示圖像中，例如通過基于微計(jì)算機(jī)30的控制的圖像處理部19的重疊功能，如圖12所示，重疊表示自動(dòng)白平衡處于鎖定中的鎖定中顯示24l(步驟s9)。

這里，圖12是示出表示白平衡處于鎖定中的鎖定中顯示24l的一例的圖。在該圖12所示的顯示例中，在表示設(shè)定為執(zhí)行自動(dòng)白平衡的模式的“awb”的文字之后，附加表示處于鎖定中的文字“-l”，并且，文字顏色和文字部分背景顏色成為與上述圖13的已調(diào)整顯示24a反轉(zhuǎn)的顏色。

然后，判定是否經(jīng)由眼睛傳感器26等操作部進(jìn)行了鎖定解除指示(步驟s10)。

這里，在判定為未進(jìn)行鎖定解除指示的情況下，例如根據(jù)是否再次按壓了釋放按鈕，判定是否指示了動(dòng)態(tài)圖像的記錄結(jié)束(步驟s11)。

然后，在判定為未指示動(dòng)態(tài)圖像的記錄結(jié)束的情況下，返回步驟s6，進(jìn)行上述處理。

另一方面，在步驟s10中判定為進(jìn)行了鎖定解除指示的情況下，在標(biāo)志adj中設(shè)定1(步驟s10a)。

然后，返回步驟s2，計(jì)算wb增益gs和滯后增益gh，在步驟s3中存儲(chǔ)滯后增益gh，進(jìn)行步驟s4的判定。

如果是剛剛在步驟s10中判定為進(jìn)行了鎖定解除指示之后，則在該步驟s4中判定為未進(jìn)行鎖定指示。該情況下，進(jìn)一步進(jìn)行步驟s4a的處理，判定標(biāo)志adj是否為1。

如果是剛剛進(jìn)行了鎖定解除指示之后，則由于在上述步驟s10a中設(shè)定為adj＝1，所以，在該步驟s4a中判定為標(biāo)志adj為1。

于是，進(jìn)入調(diào)整中期間的處理，微計(jì)算機(jī)30使增益調(diào)整部32的動(dòng)作開始，增益調(diào)整部32計(jì)算修正滯后增益gh’(步驟s12)。

這里，首先，參照?qǐng)D5來說明針對(duì)鎖定剛剛解除之后的幀(n0+1)的修正滯后增益gh’的計(jì)算處理。圖5是示出計(jì)算鎖定剛剛解除之后的幀的應(yīng)用增益的狀況的線圖。

如圖5的虛線所示，鎖定中計(jì)算出的滯后增益gh(n)推移成與鎖定中應(yīng)用的固定增益gf不同的值。因此，如果在鎖定解除指示后直接應(yīng)用滯后增益gh(n)，則如上所述有時(shí)識(shí)別為閃爍。

因此，增益調(diào)整部32如下所述那樣，根據(jù)進(jìn)行了鎖定解除指示的幀n0的滯后增益gh(n0)、鎖定剛剛解除之后的幀(n0+1)的wb增益gs(n0+1)、以及鎖定中應(yīng)用的固定增益gf，來計(jì)算應(yīng)用于幀(n0+1)的應(yīng)用增益ga即修正滯后增益gh’(n0+1)。

在計(jì)算修正滯后增益gh’(n0+1)時(shí)，首先，增益調(diào)整部32將滯后增益gh(n0)和wb增益gs(n0+1)中的任意一方設(shè)定為選擇增益gc。

這里，圖6是用于說明計(jì)算鎖定剛剛解除之后的幀的應(yīng)用增益ga時(shí)使用的選擇增益gc的選擇方法的圖。另外，在圖6中省略幀編號(hào)的圖示。

增益調(diào)整部32按照增益值的順序排列固定增益gf、滯后增益gh(n0)、wb增益gs(n0+1)。具體而言，在圖6中，示出以固定增益gf為中心、滯后增益gh(n0)和wb增益gs(n0+1)成為什么樣的順序的模式(1)～(6)。

模式(1)～(4)示出固定增益gf不位于滯后增益gh(n0)與wb增益gs(n0+1)之間的情況。此時(shí)，將滯后增益gh(n0)和wb增益gs(n0+1)中的順序更接近固定增益gf的一方(圖6中附加陰影的一方)作為選擇增益gc。

并且，模式(5)、(6)示出固定增益gf位于滯后增益gh(n0)與wb增益gs(n0+1)之間的情況。此時(shí)，將滯后增益gh(n0)作為選擇增益gc。

這樣決定了選擇增益gc后，增益調(diào)整部32使用權(quán)重α，通過下面的數(shù)式1計(jì)算修正滯后增益gh’(n0+1)。

[數(shù)式1]

gh’(n0+1)＝α×gf+(1-α)×gc

這里，增益調(diào)整部32根據(jù)固定增益gf和選擇增益gc的變化率d，將權(quán)重α設(shè)定為圖7所示的0以上1以下的值。這里，圖7是示出計(jì)算應(yīng)用于圖像的增益時(shí)使用的權(quán)重α的例子的線圖。

首先，下面的數(shù)式2是變化率d的計(jì)算方法的一例。

[數(shù)式2]

d＝abs{1-(gf/gc)}

這里，abs表示取絕對(duì)值。

但是，變化率d的計(jì)算方法不限于采用該數(shù)式2，例如也可以采用下面的數(shù)式3。這里，在數(shù)式2中，將選擇增益gc和固定增益gf的差分(gc-gf)除以選擇增益gc，但是，在該數(shù)式3中，將差分(gc-gf)除以固定增益gf。

[數(shù)式3]

d＝abs{(gc/gf)-1}

進(jìn)而，不限于此，例如也可以使用差分(gc-gf)的絕對(duì)值等，該情況下，不是變化率，而是變化量，將權(quán)重α設(shè)定為變化量的函數(shù)即可。

如圖7所示，在變化率d小于規(guī)定變化率d0(0≦d<d0)的情況下，增益調(diào)整部32設(shè)定為α＝1。此時(shí)，根據(jù)數(shù)式1，成為gh’(n0+1)＝gf，在鎖定剛剛解除之后，也應(yīng)用固定增益gf。這是因?yàn)?，在固定增益gf和選擇增益gc的變化率d較小的情況下，判斷為實(shí)質(zhì)上不需要使增益變化，抑制了白平衡以幀單位上下變動(dòng)。

進(jìn)而，在變化率d成為規(guī)定變化率d0時(shí)，增益調(diào)整部32設(shè)定為α＝0，然后，設(shè)定為變化率d從規(guī)定變化率d0起越大，則權(quán)重α的值越大(即，單調(diào)增加)。

這意味著，如果變化率d為規(guī)定變化率d0以上，則判斷為需要使增益變化，在d＝d0時(shí)設(shè)定為α＝0，以使得以盡可能短的幀數(shù)返回適當(dāng)?shù)脑鲆妗５?，在變化率d較大的情況下，使α(d)增加以使其逐漸接近1或下面說明的上限值α0，幀間的增益變化量不會(huì)過大，抑制在適當(dāng)范圍內(nèi)。

并且，關(guān)于d0≦d時(shí)單調(diào)增加時(shí)的權(quán)重α的上限，可以設(shè)為α本身的上限值即1.0，但是，也可以設(shè)置小于1.0的規(guī)定上限值α0(0<α0<1)，逐漸接近該上限值α0。

進(jìn)而，在圖7所示的例子或后述圖9所示的例子中，d0≦d時(shí)的α的單調(diào)增加呈平滑的曲線形狀，但是，為了減輕根據(jù)變化率d計(jì)算權(quán)重α?xí)r的運(yùn)算負(fù)荷，也可以使用連接直線線段而構(gòu)成的折線等。作為具體例，舉出使用如下折線：從(d，α)＝(d0，0)的點(diǎn)到滿足d0<d1的點(diǎn)(d，α)＝(d1，α0)，α直線增加，在d1≦d時(shí)，取α＝α0的一定值。

另外，權(quán)重α如上所述根據(jù)變化率d而變化，但是，除此之外，還可以將其他要因作為參數(shù)進(jìn)行變化。

參照?qǐng)D8～圖10對(duì)根據(jù)鎖定中的被攝體亮度的變化量使權(quán)重α變化的例子進(jìn)行說明。

首先，圖8是示出在進(jìn)行了鎖定指示時(shí)和進(jìn)行了鎖定解除指示時(shí)產(chǎn)生被攝體亮度的差分的狀況的線圖。

當(dāng)設(shè)亮度測(cè)定部35(或ae處理部27，以下同樣)針對(duì)進(jìn)行了鎖定指示的幀nl的圖像數(shù)據(jù)測(cè)定出的被攝體亮度為bv(nl)、亮度測(cè)定部35針對(duì)進(jìn)行了鎖定解除指示的幀n0的圖像數(shù)據(jù)測(cè)定出的被攝體亮度為bv(n0)時(shí)，表示鎖定期間前后的被攝體亮度的變化量的差分δbv如下面的數(shù)式4所示。

[數(shù)式4]

δbv＝bv(n0)-bv(nl)

例如如圖10所示計(jì)算與該差分δbv對(duì)應(yīng)的系數(shù)k。這里，圖10是示出使改變權(quán)重α的系數(shù)k根據(jù)進(jìn)行了鎖定指示時(shí)和進(jìn)行了鎖定解除指示時(shí)的被攝體亮度的差分δbv變化的例子的線圖。

在該圖10所示的例子中，設(shè)系數(shù)k為差分δbv的函數(shù)k(δbv)，在差分δbv為負(fù)時(shí)、即在鎖定期間的前后被攝體亮度降低時(shí)(δbv<0時(shí))，系數(shù)k取1，在差分δbv為正時(shí)，隨著差分δbv增大，系數(shù)k從1起單調(diào)減小。這里，在δbv<0時(shí)直接設(shè)系數(shù)k為1，僅在0<δbv時(shí)使系數(shù)k減小，這是因?yàn)?，肉眼具有如下特性：與被攝體變暗時(shí)相比，在被攝體變亮?xí)r，對(duì)顏色變化更為敏感。

使用這種系數(shù)k使權(quán)重α(d)變化。這里，圖9是示出使權(quán)重α根據(jù)系數(shù)k變化的狀況的線圖。

在該圖9所示的例子中，預(yù)先準(zhǔn)備基本權(quán)重α0(d)并例如存儲(chǔ)在閃存28等中，增益調(diào)整部32根據(jù)差分δbv計(jì)算系數(shù)k，例如如下面的數(shù)式5所示，在d0≦d的范圍內(nèi)將k與基本權(quán)重α0(d)相乘，由此求出權(quán)重α(d)。

[數(shù)式5]

α(d)＝k×α0(d)

這樣，增益調(diào)整部32在0以上1以下的范圍內(nèi)校正權(quán)重α，以使得差分δbv越大，則針對(duì)變化率d的權(quán)重α的值越小。

并且，這里，增益調(diào)整部32使改變針對(duì)變化率d的權(quán)重α的值的系數(shù)k根據(jù)鎖定期間前后的被攝體亮度的差分δbv而自動(dòng)變化，但是不限于此，例如也可以根據(jù)經(jīng)由操作部的來自用戶的操作輸入使系數(shù)k變化。

例如，在通過操作部29的鎖定解除指示按鈕的按下操作來進(jìn)行鎖定解除指示的情況下，也可以根據(jù)鎖定解除指示按鈕的按下時(shí)間δt比規(guī)定最短按下時(shí)間δt0長多少(即δt-δt0)而使系數(shù)k變化，即，也可以使系數(shù)k作為按下時(shí)間延長量(δt-δt0)的函數(shù)k(δt-δt0)進(jìn)行變化。

或者，也可以在鎖定解除指示按鈕中設(shè)置壓力檢測(cè)部，根據(jù)鎖定解除指示按鈕的按下壓力p比規(guī)定最低按下壓力p0大多少(即p-p0)而使系數(shù)k變化，即，也可以使系數(shù)k作為按下壓力增加量(p-p0)的函數(shù)k(p-p0)進(jìn)行變化。

另外，圖7所示的權(quán)重α(d)、圖9所示的基本權(quán)重α0(d)、圖10所示的系數(shù)k等可以作為函數(shù)預(yù)先存儲(chǔ)在閃存28中，但是，例如也可以僅利用表等存儲(chǔ)函數(shù)上的特定點(diǎn)，使用最接近期望點(diǎn)的點(diǎn)的值，或者通過插值運(yùn)算求出期望點(diǎn)的值。

接著，參照?qǐng)D11，對(duì)在鎖定剛剛解除之后的幀的下一幀(n0+2)或該幀以后的幀、即步驟s14(或步驟s15)中判定為光源顏色適合(白平衡已調(diào)整)之前的調(diào)整中期間內(nèi)，由增益調(diào)整部32計(jì)算的修正滯后增益gh’進(jìn)行說明。

圖11是示出計(jì)算應(yīng)用于鎖定剛剛解除之后的幀的下一幀(n0+2)的修正滯后增益gh’(n0+2)的狀況的線圖。

在設(shè)比鎖定剛剛解除之后的幀更靠后的幀的編號(hào)為n＝(n0+2)、(n0+3)、…時(shí)，增益調(diào)整部32使用上述0以上1以下的權(quán)重α(例如參照?qǐng)D7)，通過下面的數(shù)式6計(jì)算針對(duì)幀n的修正滯后增益gh’(n)。

[數(shù)式6]

gh’(n)＝α×gh’(n-1)+(1-α)×gs(n)

另外，圖11所示的狀況是n＝(n0+2)時(shí)的狀況。

但是，這里，使權(quán)重α的值變化的變化率d是前一幀(n-1)的修正滯后增益gh’(n-1)和當(dāng)前幀n的wb增益gs(n)的變化率，例如如下面的數(shù)式7所示進(jìn)行計(jì)算。

[數(shù)式7]

d＝abs[1-{gh’(n-1)/gs(n)}]

或者，也可以代替數(shù)式7，例如如下面的數(shù)式8所示進(jìn)行計(jì)算(或者，也可以將權(quán)重α設(shè)定為變化量的函數(shù)，代替變化率而使用變化量)，這些與上述同樣。

[數(shù)式8]

d＝abs[{gs(n)/gh’(n-1)}-1]

如果針對(duì)當(dāng)前幀n得到wb增益gs(n)，則能夠使用前一幀(n-1)中使用的修正滯后增益gh’(n-1)和權(quán)重α，通過上述數(shù)式6，計(jì)算應(yīng)用于當(dāng)前幀n的修正滯后增益gh’(n)。

微計(jì)算機(jī)30在計(jì)算出修正滯后增益gh’(n)的情況下，對(duì)白平衡校正部34進(jìn)行控制，以使得代替幀n的滯后增益gh(n)而使用修正滯后增益gh’(n)，進(jìn)行對(duì)幀n(例如n＝(n0+1)、(n0+2)、…)的白平衡校正。由此，白平衡校正部34使用修正滯后增益gh’(n)，進(jìn)行對(duì)幀n的白平衡校正(步驟s13)。

接著，光源顏色適合度判定部33進(jìn)行光源顏色適合度判定處理(步驟s14)，在該光源顏色適合度判定處理中，求出是否是調(diào)整了幀n的圖像的白平衡的狀態(tài)(是否適合于光源顏色)。

然后，判定光源顏色適合度判定部33的判定處理結(jié)果是否表示白平衡已調(diào)整(步驟s15)。

這里，在判定為白平衡已調(diào)整的情況下，將標(biāo)志adj設(shè)定為0(步驟s15a)。此時(shí)，微計(jì)算機(jī)30進(jìn)行控制，以使得停止增益調(diào)整部32的動(dòng)作。

接著，通過進(jìn)行上述步驟s16的處理，將圖13所示的已調(diào)整顯示24a重疊在步驟s13中進(jìn)行了白平衡調(diào)整后的幀圖像上，顯示在作為顯示部的例如lcd24中。

并且，在步驟s15中判定為白平衡還不是已調(diào)整而是處于調(diào)整中的情況下，將圖14所示的調(diào)整中顯示24b重疊在步驟s13中進(jìn)行了白平衡調(diào)整后的幀圖像上，顯示在作為顯示部的例如lcd24中(步驟s17)。這里，圖14是示出表示白平衡處于調(diào)整中的調(diào)整中顯示24b的一例的圖。該調(diào)整中顯示24b例如成為如下顯示：通過使與已調(diào)整顯示24a相同的顯示以適當(dāng)?shù)臅r(shí)間間隔進(jìn)行閃爍，表示處于調(diào)整中。

另外，圖12～圖14所示的顯示是一例，不限于這些顯示，當(dāng)然可以使用其他顯示。并且，圖12～圖14所示的顯示與其他一般的各種信息顯示同樣，也可以由用戶按照期望設(shè)定顯示的接通/斷開。

在進(jìn)行了步驟s16或步驟s17的處理后，進(jìn)行上述步驟s18的處理，判定是否指示了動(dòng)態(tài)圖像的記錄結(jié)束。

然后，在判定為未指示動(dòng)態(tài)圖像的記錄結(jié)束的情況下，返回步驟s2，進(jìn)行上述處理。此時(shí)，在步驟s15中判定為白平衡不是已調(diào)整的情況下，由于依然是adj＝1，所以，通過步驟s4a的判定而進(jìn)入步驟s12的處理(調(diào)整中期間的處理)。另一方面，在步驟s15中判定為白平衡已調(diào)整的情況下，由于在步驟s15a中設(shè)定為adj＝0，所以，通過步驟s4a的判定而進(jìn)入步驟s13a的處理(既不是鎖定期間，也不是調(diào)整中期間，而是通常期間的處理)。

另一方面，在步驟s11或步驟s18中判定為指示了動(dòng)態(tài)圖像的記錄結(jié)束的情況下，微計(jì)算機(jī)30對(duì)動(dòng)態(tài)圖像數(shù)據(jù)附加文件頭等，經(jīng)由存儲(chǔ)器接口21，作為動(dòng)態(tài)圖像文件記錄在記錄介質(zhì)22中(步驟s19)。

在記錄該動(dòng)態(tài)圖像文件時(shí)，微計(jì)算機(jī)30進(jìn)一步進(jìn)行控制，以使得將表示進(jìn)行了鎖定指示的時(shí)刻的信息、表示進(jìn)行了鎖定解除指示的時(shí)刻的信息、固定增益gf(應(yīng)用于r成分的增益gr和應(yīng)用于b成分的增益gb)與動(dòng)態(tài)圖像關(guān)聯(lián)起來進(jìn)行記錄(例如記錄在文件頭等中)。

這里，表示進(jìn)行了鎖定指示和鎖定解除指示的時(shí)刻的信息可以是鎖定開始幀編號(hào)和鎖定結(jié)束幀編號(hào)，也可以是表示鎖定開始時(shí)刻的時(shí)間碼和表示鎖定結(jié)束時(shí)刻的時(shí)間碼。

由此，能夠簡(jiǎn)單地判別動(dòng)態(tài)圖像文件中包含的多個(gè)幀圖像中的哪個(gè)幀圖像是白平衡的鎖定中取得的圖像。

在這樣記錄動(dòng)態(tài)圖像文件后，然后，從該處理返回未圖示的主處理。

另外，上述說明了在鎖定期間結(jié)束后計(jì)算修正滯后增益gh’的例子，但是不限于此。即使不是鎖定期間結(jié)束后的調(diào)整中期間，例如在由光源顏色適合度判定部33判定為白平衡不適合于光源顏色的情況下、或由光源顏色適合度判定部33判定為白平衡和光源顏色的適合度乖離規(guī)定值以上的情況下等，也可以計(jì)算修正滯后增益gh’。該情況下，從判定為不適合(或乖離規(guī)定值以上)后到再次由光源顏色適合度判定部33判定為適合于光源顏色之前的期間成為調(diào)整中期間。

并且，上述在動(dòng)態(tài)圖像的記錄中進(jìn)行基于增益調(diào)整部32的增益調(diào)整，但是，除此之外，例如也可以在實(shí)時(shí)取景時(shí)進(jìn)行基于增益調(diào)整部32的增益調(diào)整(相反，為了降低消耗電力，也可以在實(shí)時(shí)取景時(shí)關(guān)閉基于增益調(diào)整部32的增益調(diào)整)。

根據(jù)這種實(shí)施方式1，在進(jìn)行了鎖定解除指示后，通過數(shù)式6計(jì)算修正滯后增益gh’(n)，使白平衡校正部34使用計(jì)算出的修正滯后增益gh’(n)進(jìn)行幀圖像的白平衡校正，所以，在白平衡用的增益的鎖定解除后，能夠抑制閃爍，并且能夠使白平衡在短時(shí)間內(nèi)進(jìn)行追隨。由此，能夠減輕針對(duì)圖像的動(dòng)態(tài)變化的不舒服感。

并且，在幀n0進(jìn)行了鎖定解除指示的情況下，增益調(diào)整部32通過數(shù)式1計(jì)算修正滯后增益gh’(n0+1)，所以，能夠抑制剛剛進(jìn)行鎖定解除指示之后的白平衡的極端變化，并且，能夠適當(dāng)進(jìn)行調(diào)整以使得接近期望的白平衡。

特別地，通過選擇滯后增益gh(n0)和wb增益gs(n0+1)中的順序更接近固定增益gf的一方作為選擇增益gc，能夠有效地抑制相對(duì)于鎖定中應(yīng)用的固定增益gf的白平衡的變化量。并且，在無法確定接近固定增益gf的一方的順序的情況下，與wb增益gs(n0+1)相比，優(yōu)先將滯后增益gh(n0)作為選擇增益gc，能夠有效地抑制白平衡以幀單位上下變動(dòng)。

進(jìn)而，在0以上1以下的范圍內(nèi)校正權(quán)重α，使得鎖定期間前后的被攝體亮度的差分δbv越大，則針對(duì)變化率d的權(quán)重α的值越小，所以，在鎖定中向被攝體亮度較高的一方變化、肉眼相對(duì)于白平衡變化的感受性提高的情況下，也能夠適當(dāng)?shù)匾种崎W爍。

并且，在根據(jù)來自操作部的輸入，在0以上1以下的范圍內(nèi)校正權(quán)重α，使得針對(duì)變化率d的權(quán)重α的值變化的情況下，用戶能夠按照期望控制白平衡的追隨性。

而且，在變化率d小于規(guī)定變化率d0的情況下，設(shè)定為α＝1，所以，能夠抑制變化率d較小的情況下的增益的上下變動(dòng)，能夠排除閃爍。

而且，在由光源顏色適合度判定部33判定為是調(diào)整了白平衡的狀態(tài)時(shí)，停止增益調(diào)整部32的動(dòng)作，所以，能夠減輕處理負(fù)荷，能夠削減消耗電力。

在白平衡的鎖定中進(jìn)行鎖定中顯示24l，所以，用戶能夠在視覺上容易地確認(rèn)處于鎖定中。

并且，在白平衡處于調(diào)整中時(shí)進(jìn)行調(diào)整中顯示24b，所以，用戶能夠在視覺上容易地確認(rèn)處于調(diào)整中。

而且，在白平衡已調(diào)整時(shí)進(jìn)行已調(diào)整顯示24a，所以，用戶能夠在視覺上容易地確認(rèn)已調(diào)整。

進(jìn)而，通過使用眼睛傳感器26作為用于輸入鎖定指示或鎖定解除指示的操作部，能夠以非接觸的方式進(jìn)行操作，能夠?qū)⑹褂冒粹o操作等的情況下的圖像抖動(dòng)防患于未然。特別是在動(dòng)態(tài)圖像拍攝時(shí)利用lcd24而幾乎不利用evf25的照相機(jī)等中，能夠?qū)崿F(xiàn)眼睛傳感器26的有效利用。

而且，在記錄動(dòng)態(tài)圖像時(shí)，將表示進(jìn)行了鎖定指示的時(shí)刻的信息、表示進(jìn)行了鎖定解除指示的時(shí)刻的信息、固定增益gf與動(dòng)態(tài)圖像關(guān)聯(lián)起來進(jìn)行記錄，所以，能夠在圖像記錄后的期望時(shí)刻簡(jiǎn)單地判別白平衡的鎖定中取得的幀。

另外，上述各部也可以構(gòu)成為電路。而且，任意的電路只要能夠發(fā)揮同一功能即可，可以作為單一電路進(jìn)行安裝，也可以組合多個(gè)電路進(jìn)行安裝。進(jìn)而，任意的電路不限于構(gòu)成為用于發(fā)揮目標(biāo)功能的專用電路，也可以構(gòu)成為通過使通用電路執(zhí)行處理程序來發(fā)揮目標(biāo)功能。

并且，上述主要說明了圖像處理裝置，但是，也可以是進(jìn)行與圖像處理裝置相同的處理的圖像處理方法，還可以是用于使計(jì)算機(jī)進(jìn)行與圖像處理裝置相同的處理的圖像處理程序、記錄該圖像處理程序的計(jì)算機(jī)可讀取的非暫時(shí)性的記錄介質(zhì)等。